廉價硬件支撐起海量存儲系統
新浪科技:Google有多少機器可以用來作為存儲?
郄小虎:這個屬于商業機密,可以告訴你超過上萬臺。
新浪科技:一開始Google還窮的時候不會有上萬臺機器,一開始怎么解決這個問題的?
郄小虎:這個是很有趣的問題,Google一開始走的路線是以大量廉價硬件和高質量軟件結合解決這個問題。
新浪科技:廉價硬件。
郄小虎:剛剛提到數據庫的問題,可以從市場上買最高端的服務器和數據庫,但這些數據庫沒有辦法處理Google的訪問量。我們采用的辦法是用大量的廉價的機器,構成大規模的機群,這些機群用的硬件,都是你可以在市場上找到最廉價的硬件。
在早期,我記得當時Google,曾經用卡車去買來了大量廢棄的內存條,我們高質量的內存條可以保證,儲存數據和讀出來的數據是一致的,這些低水平的Cye內存條是不能保證這點。你寫進去的是1,出來的可能是0。像這樣低質量的內存條,一般人家不會要的,但Google會要,我們可以檢測到,從這樣的錯誤中如何會恢復。
新浪科技:大家比較關心的是,一個錯的信息我們為什么要?難道把錯的信息提供給用戶嗎?
郄小虎:當我們有一百臺機器之后,如果有一臺機器跟其它九十九臺不一致,不能避免每一臺都給出正確的答案,大部分給出同一個答案的應該是正確的。
新浪科技:多個機器一塊來算。
郄小虎:對。很多時候是多臺機器對同一個請求進行計算,進行投票的機制。在早期沒有足夠的資金購買高端硬件的情況下,我們工程師想到非常聰明的解決方法。
新浪科技:現在不會再做這種?
郄小虎:有一些理念直到今天被應用。我們一直相信,大規模的機群通過協同工作,可以達到高端機器不能達到的行動。
新浪科技:剛才講到機器學習系統,機器是通過什么樣的原理學習的,通過我們自己編的軟件,是有歸納還是什么過程,可以做到機器的學習呢?
郄小虎:這個是數學的建模過程,簡單的講它是根據歷史來預測將來。如果說,我們看到在過去大部分用戶的廣告請求中,我們能夠發現一些模式,那么我們會把這種模式,用來對未來進行預測。
支付原則:接納山羊作為廣告費
新浪科技:我們今天實際上在最后,也想問tiger一個問題,我們看到Google今天新的CEO上任之后,有很多改變,我們想知道在最開始的時候,Google的創始人包括在現在為止,對這個系統怎么看,他們當中有好玩的小故事沒有?
郄小虎:我們兩位創始人對系統要求相當高,對每一個產品來講都要求我們能打造出非常優秀的廣告平臺。在一開始在我們廣告平臺沒有完全搭建之前,他們已經有了非常長遠的宏偉規劃,其中有一個有趣的小故事。我們在廣告平臺建立時需要先設計一個系統,使廣告商支付他們產生的費用。
在這個系統設計開始,Google創始人提出,在電子商務不發達的國家,我們必須支持以當地接受的形式進行支付的過程。比如說你在中亞的某個地區,大部分的交易是以物異物的交易,你必須允許廣告商用他養的山羊來支付廣告費用。
新浪科技:現在沒有人給Google交羊是吧?
郄小虎:我們希望將來有一天是會實現的。
新浪科技:今天我們和tiger回憶了Google最賺錢的體系和發展,他有哪些失敗怎么走向成功,他有很多經驗,希望將來Google有更多的故事跟各位分享,我們今天的活動就到這里,謝謝tiger,謝謝大家!
想認識全國各地的創業者、創業專家,快來加入“中國創業圈”
|