Hive的工作流程｜面試必備

最近小編的一位朋友小華學(xué)習(xí)了hiveSQL的一些常見場景及應(yīng)用，也通過很多示例做了大量練習(xí)， 在心態(tài)上有一點小飄了，于是前兩天去面試了一家大數(shù)據(jù)公司。

面試官一開始也是給面子，問了hiveSQL操作窗口函數(shù)的兩道SQL題，小華都毫無疑問做出來了，心里正美著的時候，面試官來了hive的靈魂三問：hive是如何與hadoop結(jié)合的？hive的架構(gòu)大致構(gòu)成是？hive的運行流程是？于是傻眼的小華面試完之后來找到小編，希望小編能夠說一下hive這方面的內(nèi)容。

要說明白hive的整體工作流程，首先需要了解一下hive的架構(gòu)設(shè)計

Hive架構(gòu)設(shè)計包括三個部分

1. Hive Clients，Hive客戶端，它為不同類型的應(yīng)用程序提供不同的驅(qū)動，使得Hive可以通過類似Java、Python等語言連接，同時也提供了JDBC和ODBC驅(qū)動。

2. Hive Services，Hive服務(wù)端，客戶端必須通過服務(wù)端與Hive交互，主要包括：

3. 用戶接口組件（CLI，HiveServer，HWI），它們分別以命令行、與web的形式連接Hive。

4. Driver組件，該組件包含編譯器、優(yōu)化器和執(zhí)行引擎，它的作用是將hiveSQL語句進行解析、編譯優(yōu)化、生成執(zhí)行計劃，然后調(diào)用底層MR計算框架。

5. Metastore組件，元數(shù)據(jù)服務(wù)組件。Hive數(shù)據(jù)分為兩個部分，一部分真實數(shù)據(jù)保存在HDFS中，另一部分是真實數(shù)據(jù)的元數(shù)據(jù)，一般保存在MySQL中，元數(shù)據(jù)保存了真實數(shù)據(jù)的很多信息，是對真實數(shù)據(jù)的描述。

6. Hive Storage and Computing ，包括元數(shù)據(jù)存儲數(shù)據(jù)庫和Hadoop集群。Hive元數(shù)據(jù)存儲在RDBMS中，Hive數(shù)據(jù)存儲在HDFS中，查詢由MR完成。

對Hive整體架構(gòu)設(shè)計有一定了解之后，我們再來看看Hive實際的工作流程

接下來細化一下每個步驟。

簡而言之，Hive接到命令之后，首先會去元數(shù)據(jù)庫獲取元數(shù)據(jù)，然后把元數(shù)據(jù)信息和作業(yè)計劃發(fā)送Hadoop集群執(zhí)行任務(wù)，再將最終的結(jié)果返回。

熟悉了Hive的整個工作流程，相信下回再遇到Hive相關(guān)的面試，你也能對答如流了。趕緊再熟悉一下吧～