【干貨】從Google的PaaS平臺(tái)說(shuō)起，解析中美Docker生態(tài)圈

36大數(shù)據(jù) ? 9年前掃碼分享

我是創(chuàng)始人李巖：很抱歉！給自己產(chǎn)品做個(gè)廣告，點(diǎn)擊進(jìn)來(lái)看看。

作者：王璞

本文選自清華大數(shù)據(jù)產(chǎn)業(yè)聯(lián)合會(huì)會(huì)員、數(shù)人云CEO王璞博士在5月18日第八屆中國(guó)云計(jì)算大會(huì)上主題為“中美容器之融合與變革”的分享，以下是演講實(shí)錄：

容器VS虛擬化

首先我科普一點(diǎn)什么是容器技術(shù)。容器技術(shù)其實(shí)本身并不是什么嶄新的技術(shù)，大家經(jīng)常拿容器技術(shù)跟虛擬化技術(shù)比較。有一個(gè)通俗的說(shuō)法，容器是極度輕量的虛擬機(jī)。怎么理解大家看這個(gè)圖，左邊圖展示的是虛擬機(jī)，物理服務(wù)器里裝操作系統(tǒng)，再裝上虛擬機(jī)管理軟件，生成很多虛擬機(jī)，然后虛擬機(jī)再裝操作系統(tǒng)再裝各種各樣的應(yīng)用。右邊圖展示的是容器，物理服務(wù)器里裝操作系統(tǒng)，絕大多數(shù)情況下，容器基于的操作系統(tǒng)是Linux操作系統(tǒng)，然后Linux里裝一個(gè)容器軟件，最常見的是Docker，用Docker運(yùn)行各種各樣的容器，容器里面不需要再裝一次操作系統(tǒng)里，容器里面只裝各種各樣的應(yīng)用就好了。這兩張圖對(duì)比大家看出來(lái)容器跟虛擬機(jī)比最大的優(yōu)勢(shì)就是輕量很多，容器里面不需要再裝一遍操作系統(tǒng)。容器里面的應(yīng)用重用容器外面的操作系統(tǒng)，特別是Linux內(nèi)核這些操作系統(tǒng)核心組件。再一點(diǎn)，容器是用于對(duì)應(yīng)用進(jìn)行封裝，容器里面是各種各樣的應(yīng)用程序。用容器封裝應(yīng)用時(shí)，會(huì)把程序本身和依賴庫(kù)都打包在一起，這樣容器應(yīng)用具有可移植性，在不同的Linux環(huán)境下都可以運(yùn)行，而不需要再安裝依賴庫(kù)。容器本身的理念是非常非常簡(jiǎn)單的。

容器的技術(shù)發(fā)展歷程

容器技術(shù)本身并不是嶄新的，倒推到2000年Free BSD的Jail，2005年出現(xiàn)的Solaris Containers這些都是容器技術(shù)的早期實(shí)現(xiàn)。Docker屬于容器技術(shù)的一種。Docker有鏡像的概念，Docker鏡像和虛擬機(jī)鏡像不一樣的特點(diǎn)就是Docker的鏡像是分層的，最下面是基礎(chǔ)的鏡像，是基礎(chǔ)Linux環(huán)境，上面每一層鏡像裝不同應(yīng)用。Docker鏡像分層最大的好處就是應(yīng)用分發(fā)很方便，每次分發(fā)Docker應(yīng)用的時(shí)候，只需要下載更新部分的鏡像，而不用重新下載整個(gè)鏡像，實(shí)現(xiàn)應(yīng)用增量分發(fā)更新。容器本身用于封裝各種應(yīng)用，容器之外還有各種管理需求。

這是容器的技術(shù)棧，中間部分是兩個(gè)容器的示例，還是服務(wù)器上面裝操作系統(tǒng)，再裝上Docker運(yùn)行各種Docker應(yīng)用，應(yīng)用在運(yùn)行時(shí)還有其他各種需求，比如網(wǎng)絡(luò)、服務(wù)發(fā)現(xiàn)、負(fù)載均衡、任務(wù)調(diào)度等需求，這些需求本身是Docker技術(shù)無(wú)法滿足的，還需要各種相應(yīng)的周邊技術(shù)。這樣，容器技術(shù)棧慢慢演化成一個(gè)PaaS的環(huán)境了。

這是美國(guó)的容器技術(shù)相關(guān)的生態(tài)圈，大家看到各種各樣的廠商，估計(jì)近百家，都在美國(guó)的容器生態(tài)圈。我特別想畫出一張Docker技術(shù)中國(guó)生態(tài)圈，很遺憾現(xiàn)在還畫不出像美國(guó)一樣豐富的Docker生態(tài)圈，但是我相信未來(lái)兩三年時(shí)間內(nèi)我們也能畫出非常豐富的Docker關(guān)于中國(guó)的生態(tài)圈。

云計(jì)算分為三層，SaaS、PaaS、IaaS，這三層隨著云計(jì)算發(fā)展得到不同程度的發(fā)展，比如說(shuō)SaaS的發(fā)展，由于各行各業(yè)的互聯(lián)網(wǎng)相關(guān)業(yè)務(wù)發(fā)展，SaaS以服務(wù)為中心，SaaS提供各種各樣的服務(wù)，各種互聯(lián)網(wǎng)業(yè)務(wù)型的，HR、財(cái)務(wù)、CRM等等，這些不同的服務(wù)，企業(yè)應(yīng)用的服務(wù)都可以以SaaS方式交付這些都有彈性特征。另外一方面云計(jì)算發(fā)展以后對(duì)于大規(guī)模數(shù)據(jù)中心的需求越來(lái)越旺盛，數(shù)據(jù)中心規(guī)模越來(lái)越大，數(shù)據(jù)中心相對(duì)管理負(fù)責(zé)度也增加很多，跟數(shù)據(jù)中心相關(guān)就是IaaS和PaaS，數(shù)據(jù)中心是云計(jì)算云端真正計(jì)算的載體。比如說(shuō)IaaS以資源為中心，IaaS要提供資源彈性，數(shù)據(jù)中心里面IaaS管理整個(gè)數(shù)據(jù)中心資源，讓整個(gè)資源以彈性方式提供出來(lái)。PaaS在數(shù)據(jù)中心以應(yīng)用為中心，PaaS提供應(yīng)用的彈性，這是云計(jì)算的三層，都得到不同程度的發(fā)展。但是跟IaaS和SaaS相比PaaS發(fā)展其實(shí)是相對(duì)滯后的。比如說(shuō)上一代PaaS沒(méi)有解決好本身復(fù)雜度的問(wèn)題，后面我簡(jiǎn)單介紹一下。

Docker催生的新一代PaaS

2014年前后上一代PaaS基本上是市場(chǎng)的最低點(diǎn)，我2014年回國(guó)跟國(guó)內(nèi)同行討論我們?nèi)绾巫鲆粋€(gè)PaaS，PaaS有沒(méi)有前景，2014年國(guó)內(nèi)同行都對(duì)PaaS持懷疑的態(tài)度，Docker2013年在美國(guó)誕生的，Docker出來(lái)以后催生新一代的PaaS，很重要一點(diǎn)Docker出來(lái)以后形成事實(shí)上應(yīng)用交付的標(biāo)準(zhǔn)，未來(lái)大家普遍這樣認(rèn)為，未來(lái)企業(yè)級(jí)應(yīng)用都會(huì)以容器Docker的形式進(jìn)行交付。這樣很好的一點(diǎn)Docker定義了企業(yè)級(jí)客戶和PaaS之間的一個(gè)邊界，這個(gè)邊界怎么理解?就是企業(yè)只需要關(guān)心自己的業(yè)務(wù)應(yīng)用、業(yè)務(wù)程序，企業(yè)業(yè)務(wù)程序分裝在容器里面，PaaS只需要提供標(biāo)準(zhǔn)的容器運(yùn)行環(huán)境，有了清晰邊界以后PaaS復(fù)雜度大大降低，PaaS作為一個(gè)標(biāo)準(zhǔn)，之前沒(méi)有容器的時(shí)候PaaS和企業(yè)客戶之間邊界在哪里?邊界在于程序編程語(yǔ)言這個(gè)層面，比如說(shuō)Heroku等需要支持各樣的開發(fā)語(yǔ)言，上一代的PaaS復(fù)雜度非常高，新一代的PaaS由于Docker定義一個(gè)標(biāo)準(zhǔn)，新一代PaaS可以不用管業(yè)務(wù)應(yīng)用拿java還是其他語(yǔ)言寫的，解決Docker運(yùn)行所需要的CPU、網(wǎng)絡(luò)、負(fù)載均衡、報(bào)警等常見的企業(yè)內(nèi)部的需求，這樣新一代PaaS復(fù)雜度大大降低，這個(gè)也就是我說(shuō)為什么Docker出現(xiàn)催生了新一代的PaaS。

很重要一點(diǎn)中國(guó)和美國(guó)在新一代PaaS發(fā)展方向是齊頭并進(jìn)的。

新一代PaaS平臺(tái)在中美落地情況

這張圖我列一下新一代PaaS在中美兩國(guó)落地的情況，左上角是新一代PaaS在美國(guó)落地的情況，右下角是新一代PaaS在國(guó)內(nèi)落地的情況。基本上大家可以看出來(lái)新一代PaaS落地從互聯(lián)網(wǎng)公司到IT巨頭到傳統(tǒng)行業(yè)都有各種各樣的落地。落地的這些企業(yè)并不是所有我只是挑一些有代表性的，從有代表性落地企業(yè)來(lái)看國(guó)內(nèi)和美國(guó)其實(shí)幾乎處在同一個(gè)起跑線上。

Google 的 PaaS

講到PaaS不得不講一下谷歌的PaaS，其中一個(gè)原因有很大影響力，尤其是谷歌內(nèi)部的PaaS非常復(fù)雜、功能無(wú)比的強(qiáng)大，我之前在谷歌工作過(guò)，我見過(guò)谷歌的PaaS是怎么運(yùn)作的。首先幾個(gè)特點(diǎn)，谷歌內(nèi)部的PaaS分層的，PaaS管理東西很多，PaaS只管理應(yīng)用，跟應(yīng)用相關(guān)還有很多東西，資源分配，任務(wù)調(diào)動(dòng)等等，谷歌PaaS以一種容器方式分裝分發(fā)，谷歌有著名的分布式文件系統(tǒng)，還有各種各樣數(shù)據(jù)管理的數(shù)據(jù)，還有Big Table、 MapReduce，這是谷歌分布式應(yīng)用編程的范式，這是PaaS提供的能力。

谷歌PaaS的特點(diǎn)是什么?就是輕量，輕量怎么理解?PaaS支撐應(yīng)用快速迭代快速上線，大家提的持續(xù)交付持續(xù)集成的概念。谷歌PaaS是以應(yīng)用為中心的，PaaS平臺(tái)一定提供應(yīng)用彈性能力，讓各種各樣應(yīng)用按需使用資源，PaaS平臺(tái)提供容錯(cuò)能力把開發(fā)運(yùn)維復(fù)雜度降低，這三點(diǎn)我稱之為應(yīng)用PaaS平臺(tái)的輕量特性。

再一點(diǎn)谷歌內(nèi)部的PaaS非常強(qiáng)大，谷歌資源管理和任務(wù)調(diào)動(dòng)數(shù)據(jù)，可以管理谷歌兩百多臺(tái)服務(wù)器統(tǒng)一進(jìn)行管理。為了讓大家更深刻的理解，我找了一張谷歌數(shù)據(jù)的照片，這是谷歌數(shù)據(jù)中心照片的一角，很多機(jī)柜，每個(gè)機(jī)柜里面有差不多20臺(tái)服務(wù)器左右。這張照片我想強(qiáng)調(diào)一點(diǎn)是什么?這么大規(guī)模的數(shù)據(jù)中心其實(shí)硬件故障頻率很高的，這張圖是我從谷歌一個(gè)數(shù)據(jù)中心的PPT報(bào)告上摘下來(lái)的，就是說(shuō)一個(gè)谷歌新建的數(shù)據(jù)中心平均下來(lái)一年要發(fā)生這么多各種各樣的故障。舉個(gè)例子第一個(gè)故障一年大概有半次左右過(guò)熱，一年有一次的供電單元有故障。一年至少有一個(gè)機(jī)架做挪動(dòng)，至少有一次機(jī)架進(jìn)行排線，一年可能有12次路由器重啟，3次路由器故障，每年大概有上千次服務(wù)器宕機(jī)，由硬件故障造成的宕機(jī)，一年有數(shù)千次的硬盤損壞。目前大規(guī)模數(shù)據(jù)中心基本都是用X86服務(wù)器，都不是像大型機(jī)或小型機(jī)這樣的高可靠硬件。基于X86服務(wù)器的數(shù)據(jù)中心怎么應(yīng)對(duì)這些硬件故障，保障應(yīng)用服務(wù)高可靠，這是PaaS和IaaS一起要做的工作。

基于Docker的新一代PaaS

這里面我主要把新一代PaaS的特性給它勾勒了出來(lái)，跟谷歌的PaaS有相似的地方，新一代PaaS基于微服務(wù)理念打造的，特別是像谷歌的PaaS分層管理。新一代PaaS也有輕量的特性，介紹谷歌PaaS的輕量特性，應(yīng)用要具有彈性要分布發(fā)布，再一個(gè)容錯(cuò)性強(qiáng)、易于維護(hù)，PaaS也要對(duì)計(jì)算資源故障進(jìn)行容錯(cuò)。這里面特別強(qiáng)調(diào)一點(diǎn)大規(guī)模數(shù)據(jù)中心或者現(xiàn)在這種數(shù)據(jù)中心對(duì)于硬件管理方式有兩種，一種上一代的寵物型管理方式，另外是放養(yǎng)型的。對(duì)于寵物型的數(shù)據(jù)中心管理方式其實(shí)是很常見的，比如說(shuō)對(duì)于數(shù)據(jù)庫(kù)服務(wù)器，一般企業(yè)里面數(shù)據(jù)庫(kù)服務(wù)器絕對(duì)不允許宕機(jī)，數(shù)據(jù)庫(kù)宕機(jī)所有應(yīng)用全部宕了，所以要有人為維護(hù)，DBA，人圍機(jī)器去轉(zhuǎn)，這是寵物型對(duì)數(shù)據(jù)中心的管理，一旦數(shù)據(jù)庫(kù)宕機(jī)人馬上去修。另外是放養(yǎng)型跟寵物型相反，放養(yǎng)型什么意思?比如說(shuō)谷歌這樣的量級(jí)中心，兩百萬(wàn)臺(tái)服務(wù)器不可能保證每一臺(tái)服務(wù)器都是處于工作狀態(tài)，一定有一些服務(wù)器處于故障狀態(tài)，要通過(guò)軟件PaaS平臺(tái)保證上面應(yīng)用服務(wù)不宕機(jī)，PaaS對(duì)于軟硬件都要有很強(qiáng)的容錯(cuò)能力，放養(yǎng)型的工作管理必然極大降低對(duì)數(shù)據(jù)中心維護(hù)，包括PaaS本身，維護(hù)成本運(yùn)維成本都會(huì)大大降低，這是新一代PaaS很重要的特性主要就是輕量。

數(shù)人云的新一代PaaS實(shí)現(xiàn)

接下來(lái)簡(jiǎn)單講一點(diǎn)點(diǎn)我們數(shù)人云對(duì)于新一代PaaS是怎么實(shí)現(xiàn)的?其實(shí)最主要就是分層的實(shí)現(xiàn)，分層實(shí)現(xiàn)這是谷歌提出來(lái)的理念。大規(guī)模數(shù)據(jù)中心是云端計(jì)算的載體，大規(guī)模數(shù)據(jù)中心的軟硬件系統(tǒng)是IT行業(yè)最高科技的結(jié)晶。這么多復(fù)雜系統(tǒng)拼在一起組成大規(guī)模的數(shù)據(jù)中心，對(duì)外提供云計(jì)算服務(wù)能力，不是一套系統(tǒng)能夠全部做下來(lái)的，一定是分層實(shí)現(xiàn)的。

我們實(shí)現(xiàn)新一代云計(jì)算平臺(tái)首先有一個(gè)是核心模塊，核心模塊本身也是分好幾個(gè)層面的，核心模塊基本上圍繞運(yùn)行時(shí)的基本管理提供比如說(shuō)容器運(yùn)行的標(biāo)準(zhǔn)環(huán)境，這個(gè)核心模塊包括幾個(gè)層面，首先應(yīng)用的封裝用到的是Docker的技術(shù)，這是很火的容器技術(shù)。光有應(yīng)用封裝不夠的，應(yīng)用封裝完應(yīng)用運(yùn)行還有別的需求，需要CPU、內(nèi)存需求等等，資源分配核心模塊里面功能我們基于Apache來(lái)做的，應(yīng)用不是運(yùn)行在一臺(tái)服務(wù)器，大規(guī)模數(shù)據(jù)中心有成百上千臺(tái)服務(wù)器，對(duì)于大規(guī)模的集群里面應(yīng)用該怎么調(diào)度這是很關(guān)鍵的模塊，我們用的是任務(wù)調(diào)度模塊做的。比如說(shuō)應(yīng)用分發(fā)，涉及到應(yīng)用的更新上線等等，比如說(shuō)老版本的應(yīng)用已經(jīng)運(yùn)行了，新版本應(yīng)用程序我要分發(fā)下去，新版本應(yīng)用我要有一個(gè)分發(fā)的倉(cāng)庫(kù)存在什么地方，這時(shí)Docker的鏡像倉(cāng)庫(kù)用于應(yīng)用分發(fā)。

核心模塊還要管理網(wǎng)絡(luò)，我們很多客戶提出來(lái)不同應(yīng)用之間的網(wǎng)絡(luò)要進(jìn)行應(yīng)用隔離，有些應(yīng)用可達(dá)有些應(yīng)用不可達(dá)，這都需要對(duì)容器之間網(wǎng)絡(luò)進(jìn)行有效管理。我們通過(guò)Calico來(lái)實(shí)現(xiàn)網(wǎng)絡(luò)管理。

還有服務(wù)發(fā)現(xiàn)，容器運(yùn)行環(huán)境在大規(guī)模數(shù)據(jù)中心里面，對(duì)于容器調(diào)度不是靜態(tài)調(diào)度，不是一個(gè)容器應(yīng)用就跑到一臺(tái)服務(wù)器上，它是動(dòng)態(tài)調(diào)度的，不同應(yīng)用之間我有通信需求，我應(yīng)用A怎么找到應(yīng)用B就需要有應(yīng)用發(fā)現(xiàn)的需求，這是核心模塊的基本功能。

周邊模塊支撐應(yīng)用運(yùn)行方便應(yīng)用運(yùn)維，周邊模塊體現(xiàn)出新一代PaaS平臺(tái)的應(yīng)用度。

周邊模塊很重要一塊就是持續(xù)集成，這是企業(yè)客戶對(duì)于PaaS平臺(tái)很強(qiáng)需求的一點(diǎn)，因?yàn)檫@些業(yè)務(wù)應(yīng)用大家需要快速迭代，這是互聯(lián)網(wǎng)給大家?guī)?lái)的企業(yè)級(jí)IT最大的沖擊，應(yīng)用怎么做到快速上線需要持續(xù)的集成，開發(fā)人員做的新的代碼怎么持續(xù)集成各種各樣的應(yīng)用而且發(fā)布出去。

再一個(gè)彈性伸縮這也是互聯(lián)網(wǎng)帶來(lái)新業(yè)務(wù)的特點(diǎn)，互聯(lián)網(wǎng)業(yè)務(wù)最大特點(diǎn)就是集中爆發(fā)，很經(jīng)典例子就是淘寶雙十一，12306大家訂票，彈性伸縮是PaaS平臺(tái)必須提供的性能，沒(méi)有彈性面對(duì)集中爆發(fā)的業(yè)務(wù)需求這個(gè)后臺(tái)支撐不了，彈性伸縮我們用API實(shí)現(xiàn)的。再一個(gè)監(jiān)控報(bào)警，任何企業(yè)生產(chǎn)環(huán)境系統(tǒng)不是孤立存在的，一定有各種各樣的監(jiān)控報(bào)警，生產(chǎn)系統(tǒng)誰(shuí)也不能保證100%的正常。

再一個(gè)日志的處理，這是企業(yè)很強(qiáng)的需求，生產(chǎn)環(huán)境里面各種各樣的業(yè)務(wù)都有，生產(chǎn)環(huán)境都是比較大規(guī)模的集群環(huán)境，不同應(yīng)用產(chǎn)生的日志留在不同的服務(wù)器上，怎么把這些日志在分布式環(huán)境下進(jìn)行統(tǒng)一收集查詢統(tǒng)一處理，需要有日志統(tǒng)一管理，我們主要用的是ELK這個(gè)模式。

再一點(diǎn)就是文件存儲(chǔ)，企業(yè)生產(chǎn)環(huán)境數(shù)據(jù)中心里面業(yè)務(wù)應(yīng)用必然有一些數(shù)據(jù)存下來(lái)，就要存在文件系統(tǒng)上，文件存儲(chǔ)我們用的是Hadoop的文件系統(tǒng)。再有對(duì)于數(shù)據(jù)的管理，多個(gè)應(yīng)用要對(duì)數(shù)據(jù)同時(shí)進(jìn)行讀寫操作，對(duì)于數(shù)據(jù)訪問(wèn)管理等等這些我們用的是HDFS。還有我們用Kafka消息隊(duì)列來(lái)處理不同應(yīng)用之間的異步通訊需求，未來(lái)Kafka可以替代企業(yè)服務(wù)總線。還有數(shù)據(jù)處理，現(xiàn)在企業(yè)對(duì)于大數(shù)據(jù)處理有很強(qiáng)的需求，大家用Hadoop還有Spark這些，我們主要用Spark做大數(shù)據(jù)處理更快。

前面介紹一下我們做的新一代PaaS平臺(tái)的核心模塊和周邊模塊，我簡(jiǎn)單給大家演示一下我們的程序，這是我們對(duì)于應(yīng)用管理做的，我們做到應(yīng)用統(tǒng)一管理，各種各樣的應(yīng)用通過(guò)這個(gè)平臺(tái)統(tǒng)一的分發(fā)部署。再一個(gè)集群管理，它的PaaS也要向下管理各個(gè)集群的資源。中間有一個(gè)紅點(diǎn)代表某一臺(tái)集群主機(jī)是異常的，異常沒(méi)有關(guān)系，上面應(yīng)用把這個(gè)平臺(tái)容錯(cuò)自動(dòng)遷走遷移到其他地方，一兩臺(tái)主機(jī)宕機(jī)不影響整個(gè)的應(yīng)用使用。再一個(gè)應(yīng)用管理，散落在不同集群上。跟日志相關(guān)的數(shù)據(jù)統(tǒng)一收集起來(lái)方便后臺(tái)運(yùn)維人員管理。軟件定義世界，這是我們所有做軟件的人非常喜歡的一句話，現(xiàn)在大家日常工作生活都跟各種各樣的軟件在打交道，之前有大家提的隨著云計(jì)算發(fā)展提出的軟件定義存儲(chǔ)、軟件定義計(jì)算、軟件定義網(wǎng)絡(luò)等等。再進(jìn)一步的提法軟件定義數(shù)據(jù)中心。我剛才講PaaS講到很多數(shù)據(jù)中心的概念，說(shuō)到底我喜歡軟件定義世界這句話。

這個(gè)背景圖其實(shí)就是黑客帝國(guó)電影的主題圖。黑客帝國(guó)里邊講的是未來(lái)人類生活在虛擬軟件定義世界里面。這個(gè)軟件定義世界正在發(fā)生，每個(gè)人現(xiàn)在每天都要大量跟各種各樣的軟件打交道。隨著云計(jì)算新一代PaaS平臺(tái)普及，隨著容器技術(shù)如火如荼的發(fā)展和推廣，下一步就是不僅僅是軟件定義世界了，我們最后會(huì)達(dá)到容器定義的世界，所有的軟件都是以容器形式交付運(yùn)行的，歡迎大家來(lái)到容器定義的世界。

via：數(shù)據(jù)派

End.