热点推荐

查看: 5956|回复: 11

大规模分布式系统架构与设计实战

[复制链接]

1418

主题

1532

帖子

3万

积分

管理员

Rank: 9Rank: 9Rank: 9

积分
39191
发表于 2018-2-4 14:36:51 | 显示全部楼层 |阅读模式




内容简介  · · · · · ·

【编辑推荐】

        绝技源于江湖、将军发于卒伍,本书包含作者从程序员到首席架构师十多年职业生涯所积累的实战经验。

        这不是一本讲怎么使用Hadoop的书,而是一本讲实现Hadoop功能的书,本书系统讲解构建大规模分布式系统的核心技术和实现方法,包含开源的代码,手把手教你掌握分布式技术

【内容简介】

本书从作者的实战经验出发,深入浅出地讲解了如何建立一个Hadoop那样的分布式系统,实现对多台计算机CPU、内存、硬盘的统一利用,从而获取强大计算能力去解决复杂问题。一般互联网企业的分布式存储计算系统都是个大平台,系统复杂、代码庞大,而且只适合公司的业务,工程师很难下载安装到自己的电脑里学习和吃透。本书对分布式核心技术进行了大量归纳和总结,并从中抽取出一套简化的框架和编程API进行讲解,方便工程师了解分布式系统的主要技术实现。这不是一本空谈概念、四处摘抄的书,这本书包含了大量精炼示例,手把手教你掌握分布式核心技术。

本书主要内容

        分布式并行计算的基本原理解剖;

        分布式协调的实现,包括如何实现公共配置管理,如何实现分布式锁,如何实现集群管理等;

        分布式缓存的实现,包括如何提供完整的分布式缓存来利用多机内存能力;

        消息队列的实现,包括如何实现发送和接收模式;

        分布式文件系统的实现,包括如何像操作本地文件一样操作远程文件,并利用多机硬盘存储能力;

        分布式作业调度平台的实现,包括资源隔离、资源调度等。

【参考阅读】

978-7-111-43052-0 大规模分布式存储系统:原理解析与架构实战

978-7-111-40392-0 分布式系统:概念与设计(原书第5版)

978-7-111-45244-7 Hadoop应用开发技术详解

978-7-111-41766-8 Hadoop技术内幕:深入解析Hadoop Common和HDFS架构设计与实现原理

978-7-111-42226-6 Hadoop技术内幕:深入解析MapReduce架构设计与实现原理

978-7-111-44534-0 Hadoop技术内幕:深入解析YARN架构设计与实现原理

978-7-111-43514-3 网站数据分析:数据驱动的网站管理、优化和运营

978-7-111-42591-5 数据挖掘:实用案例分析





作者简介  · · · · · ·

彭渊 资深架构师,现任华为企业中间件首席架构师,主要负责中间件和大数据。前淘宝高级专家(花名:千峰),先后在淘宝交易、淘宝中间件、集团核心系统、阿里金融等部门工作。曾任金蝶总体架构部SOA架构师,负责设计ESB。曾艰苦创业,编写和销售财务软件。在Java技术领域从业十多年,撰写过多款开源软件,其中,淘宝分布式技术框架Fourinone为其代表作。他拥有软件著作权的代表作有:BS系列软件(包括财务进销存、OA产品、CRM等)、FMS视频会议、Flash网站生成软件(华军可下载),所有软件作品均贡献99%代码。




目录  · · · · · ·前 言
第1章概述        1
1.1分布式计算、并行计算、云计算概述        1
1.2分布式产品Hadoop、ZooKeeper、HBase概述        6
1.3Fourinone的产生背景        12
第2章分布式并行计算的原理与实践        14
2.1分布式并行计算模式        14
2.1.1最初想到的master-slave结构        14
2.1.2“包工头-职介所-手工仓库-工人”模式        15
2.1.3基于消息中枢的计算模式        17
2.1.4基于网状直接交互的计算模式        18
2.1.5并行结合串行模式        22
2.1.6包工头内部批量多阶段处理模式        23
2.1.7计算集群模式和兼容遗留计算系统        24
2.1.8工人计算的服务化模式        26
2.2跟Hadoop的区别        28
2.3关于分布式的一些概念与产品        30
2.4配置文件和核心API介绍        35
2.5实践与应用        36
2.5.1一个简单的示例        36
2.5.2工头工人计算模式更完整的示例        39
2.5.3工人合并互相say hello的示例        44
2.5.4 实现Hadoop经典实例Word Count        48
2.5.5分布式多机部署的示例        52
2.5.6分布式计算自动部署的示例        53
2.5.7计算过程中的故障和容灾处理        57
2.5.8计算过程中的相关时间属性设置        60
2.5.9如何在一台计算机上一次性启动多个进程        63
2.5.10如何调用C/C++程序实现        68
2.5.11如何中止工人计算和超时中止        68
2.5.12使用并行计算大幅提升递归算法效率        73
2.5.13使用并行计算求圆周率π        81
2.5.14从赌钱游戏看PageRank算法        86
2.5.15使用并行计算实现上亿排序        96
2.5.16工人服务化模式应用示例        104
2.6实时流计算        107
第3章分布式协调的实现        111
3.1协调架构原理简介        111
3.2核心API        113
3.3权限机制        115
3.4相对于ZooKeeper的区别        116
3.5与Paxos算法的区别        117
3.6实践与应用        119
3.6.1如何实现公共配置管理        119
3.6.2如何实现分布式锁        126
3.6.3如何实现集群管理        129
3.6.4多节点权限操作示例        134
3.6.5领导者选举相关属性设置        137
第4章分布式缓存的实现        139
4.1小型网站或企业应用的缓存实现架构        139
4.2大型分布式缓存系统实现过程        140
4.3一致性哈希算法的原理、改进和实现        147
4.4解决任意扩容的问题        152
4.5解决扩容后数据均匀的问题        153
4.6分布式Session的架构设计和实现        154
4.7缓存容量的相关属性设置        156
4.8缓存清空的相关属性设置        158
第5章消息队列的实现        162
5.1闲话中间件与MQ        162
5.2JMS的两种经典模式        163
5.3如何实现发送接收的队列模式        164
5.4如何实现主题订阅模式        168
第6章分布式文件系统的实现        173
6.1FTTP架构原理解析 174
6.2搭建配置FttpAdapter环境        177
6.3访问集群文件根目录        179
6.4访问和操作远程文件        181
6.5集群内文件复制和并行复制        184
6.6读写远程文件        187
6.7解析远程文件        189
6.8并行读写远程文件        191
6.9批量并行读写远程文件和事务补偿处理        194
6.10如何进行整型读写        198
6.11基于整型读写的上亿排序        205
第7章分布式作业调度平台的实现        219
7.1调度平台的设计与实现        219
7.2资源隔离的实现        224
7.3资源调度算法        226
7.4其他作业调度平台简介        227
7.4.1其他MPI作业资源调度技术        227
7.4.2Mesos和Yarn简介        229
· · · · ·


下载链接回复可见:


游客,如果您要查看本帖隐藏内容请回复


本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册

x
回复

使用道具 举报

0

主题

2

帖子

16

积分

Lv1码农小白

Rank: 1

积分
16
发表于 2018-2-5 17:12:58 | 显示全部楼层
fsdfsfsdfsfsf
回复

使用道具 举报

0

主题

42

帖子

205

积分

永久VIP会员

Rank: 3Rank: 3

积分
205
发表于 2018-2-6 10:22:48 | 显示全部楼层
看看看看看
回复

使用道具 举报

0

主题

1

帖子

13

积分

Lv1码农小白

Rank: 1

积分
13
发表于 2018-2-6 17:32:07 | 显示全部楼层
学习,提高分布式架构设计能力
回复

使用道具 举报

0

主题

1

帖子

12

积分

Lv1码农小白

Rank: 1

积分
12
发表于 2018-2-7 08:36:44 | 显示全部楼层
下载看看
回复

使用道具 举报

0

主题

127

帖子

414

积分

永久VIP会员

Rank: 3Rank: 3

积分
414
发表于 2018-4-1 17:38:20 | 显示全部楼层
999999999999999
回复

使用道具 举报

0

主题

221

帖子

613

积分

永久VIP会员

Rank: 3Rank: 3

积分
613
发表于 2018-4-4 12:31:16 | 显示全部楼层
大规模分布式系统架构与设计实战
回复

使用道具 举报

0

主题

225

帖子

771

积分

永久VIP会员

Rank: 3Rank: 3

积分
771
发表于 2018-8-17 22:40:52 | 显示全部楼层
gggggggggggggggggggggg
回复

使用道具 举报

0

主题

141

帖子

530

积分

永久VIP会员

Rank: 3Rank: 3

积分
530
发表于 2018-12-17 22:46:32 | 显示全部楼层
学习学习
回复

使用道具 举报

0

主题

5

帖子

12

积分

Lv1码农小白

Rank: 1

积分
12
发表于 2019-1-11 18:59:37 | 显示全部楼层
什么版本的呢
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

快速回复 返回顶部 返回列表