26.7K
9289
Hadoop系統架構
美國阿帕奇（Apache）軟件基金會開發的分布式系統基礎架構。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。
Hadoop由Apache軟件基金會于2005年秋正式引入。2006年3月，映射-化簡（MapReduce）編程模型和Nutch分布式文件系統（Nutch distributed file system，NDFS）分別被納入Hadoop項目中。基于Hadoop的應用與開發非常廣泛，有很多公司開始提供基于Hadoop的商業軟件、支持、服務以及培訓，如企業軟件公司、云計算基礎設施公司、數據安全公司等。
Hadoop由3部分組成：MapReduce負責計算，Hadoop分布式文件系統（Hadoop distributed file system，HDFS）負責存儲數據，另一種資源協調者（yet another resource negotiator，YARN）為統一資源調度器，負責管理計算資源，如中央處理器和內存等。
Hadoop的優點主要有：①高可靠性。Hadoop按位存儲和處理數據的能力。②高擴展性。Hadoop是在可用的計算機集群間分配數據并完成計算任務的，這些集群可以方便地擴展到數以千計的節點中。③高效性。Hadoop能夠在節點之間動態地移動數據，并保證各個節點的動態平衡。④高容錯性。Hadoop能夠自動保存數據的多個副本，并且能夠自動將失敗的任務重新分配。⑤低成本。與一體機、商用數據倉庫相比，Hadoop是開源的，項目的軟件成本因此會大大降低。
