Home > Back-end >  Google three papers of substance
Google three papers of substance

Time:11-14

Google comes from the United States, convenient people's life, but I am not a computer professional students explanation may not be perfect, so I hereby explain roughly,
Google的三大理论分别为File-System,Bigtable,MapReduce,第一个简称GFS,除了客户端以外,一个 GFS 集群还包括一个 Master 节点和若干个 Chunk Server,它们会作为用户级进程运行在普通的 Linux 机器上,在存储文件时,GFS 会把文件切分成若干个拥有固定长度的 Chunk(块)并存储,Master 在创建 Chunk 时会为它们赋予一个唯一的 64 位 Handle(句柄),并把它们移交给 Chunk Server,而 Chunk Server 则以普通文件的形式将每个 Chunk 存储在自己的本地磁盘上,为了确保 Chunk 的可用性,GFS会把每个 Chunk 备份成若干个 Replica 分配到其他 Chunk Server 上,第二个是Google Bigtable,相比于传统的关系型数据库,bigtable 提供了分布式的非结构化的数据存储,但没有提供sql的语义,所以是数据NoSQL的数据库,事实上它还是一个分布式的多层map的存储的结构,在bigtable 用了其他的很多的Google的组件,使用Google分布式文件系统(GFS)存储日志和数据文件, BigTable还依赖一个高可用的,持久化的分布式锁服务组件,叫做Chubby,用于选举, 一般会运行在共享的集群中,依赖于共享集群的任务调度,第三个Google MapReduce,它所执行的分布式计算会以一组键值对作为输入,输出另一组键值对,用户则通过编写 Map 函数和 Reduce 函数来指定所要进行的计算,由用户编写的Map 函数将被应用在每一个输入键值对上,并输出若干键值对作为中间结果,之后,MapReduce 框架则会将与同一个键 II 相关联的值都传递到同一次 Reduce 函数调用中, Google源于生活但很多人却不懂,我只能大致解释,
  • Related