Google与Yahoo的那些利器

17 十二月, 2010 (14:53) | HBase, Hadoop, MiddleWare, zookeeper, 云计算, 架构设计 繁体 English    DeliciOus    分享到新浪微博
作者: H.E. | 您可以转载, 但必须以超链接形式标明文章原始出处和作者信息及版权声明
网址: http://www.javabloger.com/article/hdfs-mahout-mapreduce-pig-hbase-zookeeper.html
豆瓣读书 向你推荐有关 HBaseHadoopMiddleWarezookeeper云计算架构设计、 类别的图书。

   在Google还没有出世之前Yahoo绝对是互联网中的大佬,Google没有出世之前也没有人怀疑过能有谁能动摇Yahoo在互联网中的大佬的地位,Google的问世对于Yahoo来说是噩梦的开始,特别是在互联网搜索领域中Google不仅仅在运营模式还是在技术上都领先于Yahoo,还创出了PangRank的算法,成为今天业内的一项标准。

   对于Google简单搜索的页面而言后端服务器数量是超级庞大的,有最新统计资料显示Google全球的计算机数量加起来有1000w台,这样的一个庞大而复杂的计算系统,当然是要有一套强大的体系支撑,其中最最著名的就是Google的文件系统简称GFS(Google File System),在这个GFS上存放了Google所有的数据,例如:你Gmail中的数据就放在上面了跑着。目前据Google保守估计有200个的GFS集群,其中有些集群的服务器数量超过5000台。

   在Yahoo默认了若干年后,一个小孩在纸上画了一个大象,激发了Doug Cutting这位大牛人的灵感,决定采用他儿子画的那只小象作为Hadoop项目的吉祥物, Doug Cutting是 Lucene 的创始人,也是Hadoop项目的创始人, Doug Cutting创造的Hadoop是一个用Java语言实现的软件框架,他在看了Google的几篇论文以后就在硬生生的把Google这些牛x的分技术都山寨了一把, 例如:HDFS类似Google的GFS,HBase类似Google的BigTable,Zookeeper类似Google的Chubby,pig类似Google的Sawzall。我列了一下Google被Yahoo 和 Doug Cutting 山寨的产品列表,如图所示:
Hadoop

查看大图请点击这里

通过Hadoop的开源项目对分布式计算进行简化可以让更多的人可以体验到分布式计算和云计算的快乐和价值,在此向Doug Cutting致敬。
 

相关文章:
Hbase入门6 -白话MySQL(RDBMS)与HBase之间
Lily-建立在HBase上的分布式搜索
MySQL向Hive/HBase的迁移工具

HBase入门5(集群) -压力分载与失效转发
Hive入门3–Hive与HBase的整合
HBase入门篇4
HBase入门篇3
HBase入门篇2-Java操作HBase例子
HBase入门篇
基于Hbase存储的分布式消息(IM)系统-JABase
 

–end–

豆瓣读书  向你推荐有关 HBase Hadoop MiddleWare zookeeper 云计算 架构设计、 类别的图书。



Creative Commons License
本文由J2ee企业顾问-黄毅创作,并已采用创作共用署名2.5中国大陆版许可证授权。

评论

评论也是有版权的!




8747