蘋果北卡羅來納梅登數據中心俯瞰圖(騰訊科技配圖)
騰訊科技訊(瑞雪)北京時間3月15日消息,《連線》雜志近日刊載文章稱,蘋果和Facebook都正在從企業級固態硬盤廠商Fusion-io那里購買新一代的硬件設備,旨在推動自身數據中心的發展。文章指出,內存世界和硬盤世界之間的界限正在變得模糊,而閃存卡在很大程度上被認為是服務器存儲的未來。
以下是這篇文章的全文:
如果你雇一架飛機,就能飛過蘋果在北卡羅來納州林地中運營著的規模宏大的數據中心,為這座占據50萬平方英尺(約合4.6萬平方米)的大型設施拍下一些遠景照片,它是蘋果iCloud網絡服務背后的推動力。而如果你是步行的話,那么不妨靠得近一些。或許你甚至可以偷偷看一眼太陽能電站或是生物質能發電廠,它們為這座數據中心提供電力。但蘋果不會允許你進入到這座建筑物里面,也不會告訴你在那里可能會找到什么。如果能知道那就太好了。
跟谷歌(微博)和亞馬遜一樣,蘋果也向全球范圍內的數億人提供網絡服務——最新的統計數字顯示,iCloud的用戶人數超過了2.5億——這就需要全新的硬件和軟件,其數據中心里的設備需要比大多數其他數據中心都要更有效率。你可以認為這是未來的技術;隨著網絡服務的繼續增長,蘋果和谷歌之流所使用的技術將逐漸滲入世界其他地方。事實上,在很多情況下,這種滲透已經開始了。
“這些互聯網巨頭都是先驅者。”數據中心領域中的長期分析師、目前負責運營在線技術研究社區Wikibon的大衛·佛羅耶(David Floyer)說道。
我們所知道的事情是,蘋果正在花費大量資金從一家名為Fusion-io的公司那里購買新一代的硬件設備,后者是一家企業級固態硬盤廠商。按照相關規定,Fusion-io需要披露通常在其營收中占有較大比例的客戶信息;據這家總部位于鹽湖城的公司發布的最新年報顯示,2012年該公司營收的25%(8980萬美元)來自于蘋果。這只是來自一家公司的一個數據而已,但這個數據可以作為一個“標桿”,向我們展示現代的數據中心正在走向何方。
在蘋果于北卡羅來納州梅登(Maiden)運營的數據中心或是其他類似規模的數據中心里,你會看到成千上萬的服務器。Fusion-i生產的一種纖巧的卡片會被插入這些服務器,跟數以百計的大容量閃存擠在一起,這些東西把持著你智能手機上的所有軟件和數據。你可以把這種卡片視為通常會被用于服務器的老式硬盤的替代品,它在很大程度上就像是一塊硬盤,能存儲各種信息。不過,這種卡片沒有任何活動件,這意味著它一般會更加可靠。跟傳統硬盤相比,它消耗的電量更小,而且能讓你更快地讀寫數據。
但那只是這種卡片的功能之一,它同時還可作為加強版的服務器主存儲子系統運行,這個子系統是中央處理器暫時緩存數據的地方,以便在需要時迅速調用。你知道,今時今日速度超快的處理器不僅是讓硬盤根不上它的速度,就連主存儲器也是如此——硬盤轉速過慢,內存空間過小——而通過自身生產的閃存卡,Fusion-io的目標是克服這兩個瓶頸。
“如果愿意的話,你可以把它做成傳統硬盤的樣子,但也能像現在的樣子,讓一個系統內部能容納更多的硬盤。”Fusion-io首席執行官大衛·弗林(David Flynn)說道,這位工程師與連續創業家里克·懷特(Rick White)在2006年聯手創建了這家公司。“我們之所以將其稱為Fusion-io,是因為它是內存與硬盤的融合體,而且兩者是密不可分的。”
其結果就是,像蘋果這樣的公司能更有效地處理從互聯網各處流入其數據中心的所有請求。這個數據中心能更快地交付數據,而且是在所用服務器更少的情況下做到這一點——對于規模如此龐大的業務來說,用較少的服務器來交付數據是一件至關重要的事情。這就是為何蘋果要花那么多錢在Fusion-io身上的原因所在,也是為何其他許多公司正朝著同一個方向前進的原因所在。在2012年,Facebook花在從Fusion-io那里購買硬件的錢比蘋果更多,為1.0779億美元。整體來說,在過去幾年時間里,這兩家互聯網巨頭已經在Fusion-io身上花了將近5億美元,而云計算公司Salesforce.com等規模較小但卻正在增長中的公司也同樣正在使用這種閃存卡。
Fusion-io已經在這些龐大的數據中心里取得了如此巨大的成功,這促使其他許多公司也爭相跟風。就在上周,科技巨頭EMC剛剛發布了一整套新的閃存卡產品,硅谷創業公司Violin Memory也已經推出閃存卡。另一家創業公司Virident Systems正在開發類似的產品,世界上最大的硬盤廠商之一希捷將在不久以后利用Virident閃存卡“突襲”大型互聯網公司及其他公司。
Fusion-io閃存卡(騰訊科技配圖)
希捷已經在向大型互聯網公司——包括蘋果、Facebook、谷歌、微軟和亞馬遜在內——直接出售硬盤驅動器,未來也將繼續這樣做。但這家公司現在所關注的是,數據中心未來將走向何方。“內存世界和硬盤世界之間的界限正在變得模糊。”希捷新閃存硬件業務部門的負責人加里·根特里(Gary Gentry)說道。“人們已經受到了Fusion-io的啟發。”
但這種趨勢并非是由一家公司所推動的。谷歌也正在自己的服務器內部使用閃存卡——去年夏天我們從谷歌全球數據中心網絡負責人烏爾斯·霍爾澤(Urs Holzle)那里聽說了這個消息——而據硅谷傳言稱,這家搜索巨頭正在生產自己的閃存卡。微軟告訴我們說,這家公司也在自己的數據中心中使用類似的閃存卡,而且在很大程度上認為這將是服務器存儲的未來。
微軟服務器工程總經理Kushagra Vaid指出,閃存能進一步改進服務器存儲子系統,原因是其具有“非易失性”,意味著當你關閉或是重啟服務器時,數據不會丟失。在研究人員正尋找其他辦法來改進服務器存儲的同時,Vai認為“正在非易失性存儲領域中發生的創新”是所有可能性中最有趣的。
Fusion-io聯合創始人大衛·弗林(中)和里克·懷特(右)
靈感源自糟糕的想法
如果你對Fusion-io稍有了解,那么就會知道這家公司的首席科學家是史蒂夫·沃茲尼亞克(Steve Wozniak),也就是與其高中時代的好友史蒂夫·喬布斯(Steve Jobs)聯手創立蘋果的那個人,人們經常都會親切地把他叫作沃茲。對于Fusion-io的新一代存儲產品而言,沃茲就像是會走路的公關宣傳品,但這個想法并不是他的,而是發源于里克·懷特和大衛·弗林。
在聯手創立Fusion-io以前,懷特和弗林曾在一家名為Realm Systems的公司中共事,這家公司出售一種能放在人們口袋里的電腦,這種電腦的設計目的是讓人們能把自己的在線身份帶到任何地方去——你可以把它插入另一臺電腦,通過指紋掃描或是其他方式來認證身份,然后就能在一瞬間登陸所有軟件應用——但是這種產品從來都沒有真正“起飛”,其部分原因是這家公司的資金陷入了干涸狀態。
當兩人開動腦筋構思創建一家新公司的想法時,華特建議稱,他們應該把Realm微型電腦內部的處理器改變下用途。他對弗林說,如果他們能把數百個這樣的處理器連到一起,那么就能創造出一種低能耗的超級電腦,可在數據中心內部運行海量應用。弗林是一名工程師,他曾在勞倫斯·利弗莫爾國家實驗室(Lawrence Livermore National Labs)等機構中制造過超級電腦。他對懷特說道,那是一個糟糕透頂的想法——“他提醒我說,那些微型電腦中的處理器不能做到浮點處理。”懷特回憶道。但是,這種想法觸發了另外一個想法。
除了處理器以外,Realm微型電腦中還有閃存。他們用閃存來代替硬盤驅動器,作為對構成其存儲子系統的DRAM(動態隨機存取存儲器)的補充。弗林認識到,把所有這些微型處理器連到一起是沒有意義的,但可以對服務器進行重新構建,使其看起來更像是Realm電腦。
現在有很多公司都已經在提供固態硬盤,這是一種旨在模仿硬盤驅動器的閃存設備,看起來與硬盤驅動器相似,能插入相同的接口。但弗林的目標則是另一種不同的東西,他想要生產一種同時還能模仿服務器存儲子系統的閃存設備。“我從事過有關超級電腦的工作。”弗林說道。“我知道這些大型系統最大的問題就是缺少存儲空間。”
從設計方面來看,今天的服務器處理器只能使用特定數量的DRAM。從理論上來說,存儲空間上限是4TB,也就是4000GB;但在實際上,大多數服務器所裝配的DRAM都要少得多。弗林的想法是,開發一種相當于二級存儲子系統的產品,從而容納多得多的數據,而這種想法的結果就是Fusion-io閃存卡得以誕生。這種閃存卡并非插入硬盤驅動器的控制器,而是直接插入PCIe接口;換而言之,這種閃存卡與處理器之間的距離變得更近,繞過了運行硬盤驅動器所需要的全部額外硬件和協議。
在今天看來,這像是一件顯而易見應該去做的事情;但在當時,這種想法是相當偏離常規的。這不僅是公司習慣了在服務器內部僅使用硬盤驅動器和DRAM的緣故,而且還是因為它們將大部分數據都在服務器以外進行存儲——也就是存儲在所謂的“存儲區域網”(SAN,storage area network)中。而通過自己生產的閃存卡,Fusion-io尋求取代這些笨重的儀器,它把這種閃存卡稱為“手心里的SAN”。
最早的大客戶是Facebook
Fusion-io在2007年秋天推出了閃存卡,當時這家公司所獲得的第一個大客戶就是Facebook。弗林與保羅·薩博(Paul Saab)是好友,后者是一名Facebook軟件開發者,也是FreeBSD開源操作系統的知名捐助人之一。隨后,這兩家公司之間的關系就開始不斷地進展。時至今日,Fusion-io甚至將跟Facebook工程師一起合作設計新的閃存卡。
蘋果則來的比較晚一些。一種很自然的想法會是,Fusion-io與蘋果之間的合作關系是由沃茲尼亞克——他是在2008年加盟Fusion-io,出任該公司首席科學家的——推動的,但據弗林說,事實并非如此。跟通常做法一樣,蘋果并未對有關討論該公司使用閃存卡一事的請求作出回應,但Facebook則是另一種態度。跟蘋果不同,這家社交網絡巨頭樂于公開自己數據中心內部使用的硬件和軟件,而該公司新時代的系統應該會讓你很好地了解這些閃存卡能如何重塑服務器。
最初,Facebok將這種閃存卡用在運行其數據庫軟件的服務器中,這也是其他公司對閃存固態硬盤通常的用法。基本上來說,這些閃存卡取代了硬盤驅動器。通過在閃存卡而非硬盤驅動器中運行數據庫軟件的方式,Facebook能大幅提高狀態更新、用戶評論以及其他社交網絡交流活動的交付速度。
“當一項請求進入數據庫層面時,我們想要能以非常快的速度對其作出應答。”Facebook硬件設計主管弗蘭克·弗蘭科夫斯基(Frank Frankovsky)曾這樣對我們說道。“對用戶來說,這是在整體往返時間方面所作出的一種重大改進。”與此同時,這些閃存設備還能減少因設備故障而帶來的麻煩。正如弗蘭科夫斯基所說,數據中心內部硬盤驅動器比其他任何設備都更容易出故障。今天,Faceobok甚至會通過這些閃存卡來啟動數據庫服務器。
除了運行數據庫軟件的服務器以外,Facebook目前還正在把這種閃存卡用于其他服務器;而且,閃存卡不僅只是取代硬盤驅動器,同時也正在取代內存。從傳統上來說,Facebook還運營著另一個層面的服務器,用來運行所謂的“Memcached”緩存系統,這是為了對用戶最關注的東西提供更加迅速的回應;通過這種數據,甚至不必訪問數據庫層面就能迅速回應。這套系統運轉得非常好,但Facebook目前正在對這些服務器也作出改造,創造一個新的軟件平臺,這個平臺能在閃存卡而非在主存儲器中緩存數據。
通過這個名為“McDipper”的新平臺,Facebook能緩存的數據量遠超以往。“閃存能讓每臺服務器的容量提高最多二十倍,同時仍可支持每秒鐘數萬次的操作。”這家公司在最近發表的一篇博客文章中說道。“很明顯這正是對這個問題的解答。”
微軟的Kushagra Vaid指出,雖然這種設備的速度仍舊遠遠低于主存儲器,但已經足夠快,而且能耗較低。當數據中心的規模達到微軟、Facebook或蘋果的水平時,保持較低的能耗就跟其他任何事情一樣重要了。他進一步指出,使用閃存設備的關鍵點在于,這種設備能帶來更多的選擇,而且從長期來看,這些選擇只會日益擴張。“這個新的平臺架構只花了兩年時間就已被創造出來。”他解釋道。“到今天,在如何平衡性能和能耗的問題上,應用已經變得更加精明,原因是其可以在系統內存和非易失性存儲器之間選擇合適的平衡點。”
軟件公司
Facebook是從頭開始構建McDipper平臺的,這也可以證明閃存卡到底正在多大程度上改變數據中心。現有軟件并非為了在閃存卡上運行而設計的,因此必須設計新的軟件。這就是為何Fusion-io會有工程師在蘋果和Facebook等最大客戶的數據中心里工作的原因所在,同時也是為何這家公司要聘用多名因善于Linux內核相關工作而著稱的軟件開發者的原因所在。在大型互聯網數據中心里,大多數機器搭載的開源操作系統的核心都是這種軟件。克里斯·梅森(Chris Mason)是這些開發者中的一員,他曾負責一個名為Btrfs的Linux文件系統;此外還有詹斯·艾克索伯(Jens Axbo),他曾開發過多種Linux數據輸入和輸出相關工具。
“與人們在過去數十年時間里一直都在使用的存儲設備相比,現在的存儲設備已經大不相同,它們打破了一整套規則,以迥異于以往的方式運行,能做到以前不可能做到的許多事情。”梅森說道。“但你必須要對核心軟件作出改變,才能做到這一點。”
梅森和弗林解釋道,之所以要對Linux及其他軟件作出改變,目的是要對其進行調整,從而在最大程度上利用閃存卡。同時,這還是為了讓公司能更加容易地開發自己的軟件。現在,Fusion-io正在提供一個軟件開發工具包,方便開發者設計基于閃存卡的工具。弗林說道,今時今日的Fusion-io已經在很大程度上變成了一家軟件公司,而不是硬件公司。
這一點在這家公司最近為“開源計算項目”(Open Compute Project)所作出的貢獻中可見一斑,這是由Facebook牽頭進行的一個項目,旨在為數據中心創造出新的硬件設計,并且將這些設計與全世界共享。在這個冬天,Fusion-io將其閃存卡設計開源化,公布了除控制器以外的其他所有信息,目的是推動人們開發出更多能運行其新軟件的閃存設備。
弗林說道,他們的希望看到的是,廣達(Quanta)和緯創(Wistron)這樣的電腦廠商將在服務器主板中直接整合閃存,從而使其更加靠近處理器。畢竟,那才是數據中心未來將走向的方向。