mesos屬于大數(shù)據(jù)計(jì)算平臺(tái)的哪類組件?
首先,一個(gè)典型的大數(shù)據(jù)解決方案,即大數(shù)據(jù)系統(tǒng)平臺(tái)的構(gòu)建,涉及多個(gè)層面,如數(shù)據(jù)采集傳輸、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)計(jì)算、資源管理、任務(wù)調(diào)度等。在每個(gè)流程階段,都有多個(gè)組件可供選擇,關(guān)鍵是滿足實(shí)際需求。舉一些簡單的例子來說明一些典型的組件:
文件存儲(chǔ):HadoopHDFS離線計(jì)算:HadoopMapReduce、Sparkstreaming、實(shí)時(shí)計(jì)算:Storm、SparkStreamingK-V、NOSQL數(shù)據(jù)庫:Hbase、Redis、MongoDB資源管理:YARN、Mesos日志收集:Flume、Scribe、Logstash和Kibana消息系統(tǒng):Kafka、StormMQ、ZeroMQ和RabbitMQ查詢分析:Hive、Impala、Presto、Phoenix、SparkSQL、Flink、Kylin和Druid分布式協(xié)調(diào)服務(wù):Zookeeper集群管理和監(jiān)控:Ambari、Ganglia、Nagios