用 unix 哲學 (unix philosophy) 看待資料庫這回事



簡述：使用 Kafka 作為傳遞資料的水管(pipe)
文章中先引述了，工程師們使用很久的 unix 工具以及法則來說明背後的強大之處，例如：awk, sort, grep,uniq ，都希望只做一件事情，不讓事情太過龐大，並且使用 command 來做例子，awk | sort > file，見文中圖片，這是他的組合性，工具本身不知道資料哪裡來，也不管資料往哪裡走，處理完也不會產生其他問題，只要每個工具只做一件事情，而且使用 |(pipe) 來接在一起，就可以組合出強大的功用。
這樣的概念與這一兩年風潮流行的 pure function 不是相同嗎？
1. 不產生 side effect
2. 每次輸入相同，會得到相同輸出
配合其組合性就變成其他的 operator ，這也是 Rx 家族在說的事情，希望至此你已經懂這邊的 philosophy 了。
＝＝＝＝＝
回到主題，用這件事情來看待資料庫時呢？可以明顯發現到資料庫本身做了許許多多的事情，備份/搜尋/預測/分析等等事情，philosophy 已經在那邊了，技術到這邊了，我們常使用的資料庫怎麼還沒變化呢，文章開始分析資料庫問題所在，並且指出現有的工具早已存在，缺的是那個 pipe ，而目前最接近的工具就是 Apache Kafka 。

推薦影片：https://www.youtube.com/watch?v=Gqdr0DiNh5g

留言

張貼留言

這個網誌中的熱門文章

Raspberry pi 樹莓派系列 :安裝瀏覽器

圖片
(首圖與內文無關) 前言     小魯一開始在使用RPI的時候,實在是還不太習慣內建的瀏覽器,所以就先從習慣的軟體下手 而下方就是各種瀏覽器的安裝筆記了 目錄 epiphany-browser Firefox Chrome epiphany-browser 介紹 這是款由RPI基金會所提供的新型瀏覽器,基於   Epiphany 所製作,以下是瀏覽器的使用情況 根據官方部落的的介紹,這款瀏覽器擁有以下特色 對於HTML5的支持性大幅提升 附有 JavaScript JIT 支持硬體解碼 針對ARMv6 blitting 函式優化 讀取頁面時擁有更好的互動 能夠快速滾動 安裝步驟 sudo apt-get update sudo apt-get dist-upgrade sudo apt-get install epiphany-browser Firefox 介紹 Iceweasel 是一個 網路瀏覽器 ，是 Mozilla Firefox 瀏覽器的 Debian 再發布版。<取自WIKI> 安裝步驟 $ sudo apt-get install iceweasel   Chromium 介紹 Chromium 是一款由Google 所主導的輕量瀏覽器 ，為 Google發展自家的瀏覽器 Google Chrome 而開啟的計畫，所以Chromium相當於Google Chrome的工程版或稱實驗版 安裝步驟 $ sudo apt-get install chromium 如果遇過error ，請先嘗試以下動作 $ sudo apt-get update 參考資料 http://www.raspberrypi.org/web-browser-released/ http://www.raspberrypi.org/forums/viewtopic.php?f=30&t=39725 http://theurbanpenguin.com/wp/?p=3249
繼續閱讀

『如何說出好故事｜故事架構介紹｜輕鬆做出大師級故事架構』

圖片
『前言』 這是一篇介紹如何寫出好的故事架構的方法，內容取材自 Dan Harmon(丹。哈蒙)，當代最強的（寫作家？），由他所提出的 Story circle，只要用八個步驟解構你的故事，就可以編織出一個充滿娛樂性且信服於人的故事，掌握好當中的原則，不管是之後想要寫腳本，或是進行內容行銷的撰寫，文案的產出，都可以使用，廢話不多說，讓我們開始吧。 『故事』 Story Circle 是 Dan Harmon 在精煉出千面英雄以及英雄之旅兩本經典的故事架構寫作書後的產物，每一個故事，都會需要一個主要開始進行冒險，接著在冒險中獲得成長，回到故鄉，這固然是很老套的劇情，但是卻十分受用，像是迪士尼的電影就很多都是這典型的故事流程，例如：阿拉丁、鋼鐵人等。下面將介紹主要是哪八個步驟，先是介紹主角在這步驟中的順序以及發展，接著也講述，這八個步驟在圓環當中的相關性。 『哪八個步驟？』 Dan Harmon 在介紹自己的 Story Circle 時，曾經簡化成以下口訣，『You Need GO! Search Find Take Return Change』，分表代表主角在整個旅程中所遇到的事件。下面我會使用 Coco(可可夜總會)來作為例子。 ㄧ、You: 認識主角，建立世界觀 當我們開始進行故事前，得先讓觀眾知道整個故事的世界觀為何，從而帶出主角所處在的環境，這裡最好是越快建立越好，通常這裡故事可能先由主角的家庭成員介紹起，帶到主角朋友，以及些日常生活狀況等。在可可夜總會中，故事開頭介紹，生長在墨西哥長大的 Miguel ，三代都從事著製鞋業，爸爸如此，其兒子 Miguel 也應該如此，然而 Miguel 的志向卻是在音樂上，而且嚮往過世已久的音樂家 de la Cruz (德古拉斯) 二、Need: 主角追求些什麼 世界觀建立好之後，接著放入主角不滿的現狀為何，也就是給予需求，誘發出主角開始旅途的契子。在可可夜總會中，我們了解 Miguel 所處的環境跟自己的不滿，家裡人不斷阻止 Miguel 的音樂之路，甚至在 Miguel 進行嗜好時，從而打斷並強烈威脅他，至此 Miguel 的目標跟動機已然開朗，成為音樂家。 三、GO! 前往未知世界 主角為了取得之前的需求，而開始踏入自己不
繼續閱讀

『目標管理｜SMART原則｜最有效的目標管理原則』

圖片
『前言』 這是一篇關於如何使用 SMART 原則來幫忙制定一個合理可量化的目標，這個不論是在個人年度計畫使用、社群短期目標建立、或是企業長期目標規劃上都是滿不錯的選擇，而且是由彼得杜拉克所提出的，我想這是滿好 follow 且已經被多數人使用的原則，而且用處可大可小，想跟大家分享下我最近讀下來的心得與感想。 『故事』 新的一年又即將到來，不論你處於人生哪個階段，我相信或多或少製作過個人年度願望清單，例如把減肥、發大財、找到新對象等，在今年沒有達成的遺憾，想要在新的一年間補回來，期望有更好的自己。但更多的是，每年因為現實壓力，不論是家庭因素、公司問題、或是出現意料之外的事件等，導致自己無法將願望清單上的東西逐一刪去，結果新的一年又到了，如此反反覆覆下，就會覺得沒有計畫也沒差。 其實這不是計畫的問題，而是在於你所記錄上去的東西有沒有被量化或者是被審視過，例如說想要減肥好了，結果你在願望清單上寫”我要減肥”，這個很好了，只是缺少許多細節，例如具體數字、打算在幾月之前完成、你要怎麼開始執行等，有許多細節需要被撰寫下來，而 SMART原則，正是用來處理這種問題，用來審視各種**目標**是否有辦法被有效地管理。 SMART原則是由五個英文單字的開頭縮寫組合而成，分別代表 Specific(具體的)、Measurable(可測量的)、Attainable(可達成的)、Relevant(相關性)、明確截止日期(Time-based)。我們回到剛剛“我要減肥”這個例子，來看看我們怎麼樣來改進我們的目標。先假設我說兩個月好了，從農曆新年開始算起大概是 2/1 號，時間限制在 8 週裡面來進行減重的行為，那麼要減多少呢？就先設定個十五公斤吧，因為我想回到年輕的樣貌，接下來是要怎麼減重，我應該開始減少每餐外食吃的量，然後每週抽個三天出來慢跑1.5小時好了，因為工作太忙，這樣應該就可以達到我所設定的目標。 好的，至此我想我們已經比一開始好上許多了，我們有具體時限跟執行策略，不是一句“我要減肥”而已。恭喜你，現在我們來用看 SMART 原則審視一下我們剛剛的規劃。首先很明顯的，Specific 已經鮮明許多，八週內減重15公斤，Time-based 也在其中體現出來，公斤本身可以使用 weight scale 進行量測，再來是
繼續閱讀