综合知识、生活百科、读书笔记
日期:2022/11/19 18:22作者:小编人气:
《大数据架构之道与项目实战》是2018年清华大学出版社出版的图书,作者是常耀斌、郑智民、周贤波。
定价:75元
印刷日期:2018.12.10本书从总体技术要求出发,深入分析了全栈技术的各自优势和套用场景,传授了三十多种主流技术的架构设计、技术原理和集成方法。第 1章介绍企业级大数据平台服务的总体设计,突出研究经典设计模式之美、吸纳分散式技术的精髓、深耕微架构的演变内涵。第 2章~第 9章是项目实战环节,介绍高并发採集、灵活转发、高可扩展海量存储、高并发海量存储、高可靠海量存储、实时计算、智慧型分析和自定义迁移等微服务,手把手传授架构设计和核心代码,让读者掌握商用微服务产品开发全流程。目录第 1章 企业级大数据平台服务的总体设计1.1平台架构设计的总体技术要求1.2微服务引擎的可扩展性设计1.3微服务引擎的优秀解决方案1.3.1 高并发採集微服务1.3.2 灵活转发微服务1.3.3 高可扩展海量存储服务1.3.4 高并发海量存储服务1.3.5 高可靠海量存储服务1.3.6 实时计算服务1.3.7 基于机器学习的智慧型分析服务1.3.8 自定义迁移服务1.4设计小结· 17第 2章 大数据高并发採集微服务引擎2.1核心需求分析和优秀解决方案2.2服务引擎的技术架构设计2.2.1 Maven与 Eclipse集成配置2.2.2 Mina2.0框架以及业务设计2.2.3 设备协定规範制定及数据包设计2.2.4 按照设备和数据类型进行业务树构建2.2.5 按照设备的数据包状态进行解析2.2.6 按照通用方式进行高并发入库2.3核心技术讲解及模组化设计2.3.1 Spring Maven Web服务构建2.3.2 Spring Boot微服务构建2.3.3 数据包定义和实现2.3.4 业务树构建和实现2.3.5 数据包状态进行解析实现2.3.6 按照通用方式进行高并发入库实现2.3.7 客户端模拟器工具类进行高并发测试2.4项目小结·第 3章 大数据灵活转发微服务引擎3.1核心需求分析和优秀解决方案3.2服务引擎的技术架构设计3.3核心技术讲解及模组化实现3.3.1SpringMVCWeb服务构建3.3.2SpringBoot微服务构建3.3.3灵活配置和通用工具类构建3.3.4创建传送数据主题,注册观察者对象3.3.5启动多执行绪进行数据传送3.3.6採用Post策略模式进行数据传送3.3.7採用ActiveMQ策略模式进行数据传送3.4项目小结·1734.1核心需求分析和优秀解决方案4.2服务引擎的技术架构设计4.3核心技术讲解及模组化实现4.3.1SpringMVC的工作原理及执行流程4.3.2SpringMVCWeb服务构建4.3.3SpringBootWeb微服务构建4.3.4统一对外数据接收接口及通用类4.3.5MySQL对智慧型终端运动数据的分状态和分策略处理4.3.6MySQL对智慧型终端运动数据的分职责处理4.3.7MySQL对智慧型终端运动数据的统一入库处理4.4项目小结第5章大数据高并发海量存储微服务引擎5.1核心需求分析和优秀解决方案5.2服务引擎的技术架构设计5.3核心技术讲解及模组化实现5.3.1SpringMVC和SpringBoot集成MongoDB5.3.2MongoTemplate核心类实现Dao层接口5.3.3基于MongoDB处理智慧型终端运动数据5.3.4基于MongoDB管道技术处理体检数据5.3.5基于AngularJS架构可视化体检数据5.4项目小结·第6章大数据高可靠海量存储微服务引擎6.1核心需求分析和优秀解决方案6.2服务引擎的技术架构设计6.3核心技术讲解及模组化实现6.3.1Hadoop完全分散式集群构建6.3.2SpringMVC和SpringBoot集成Hbase6.3.3HbaseTemplate核心类实现Dao层接口6.3.4Hbase集群的智慧型终端运动数据Controller接口6.3.5Hbase集群的智慧型终端运动数据Service接口6.3.6Hbase集群的智慧型终端运动数据Dao接口6.4项目小结第7章大数据实时计算微服务引擎7.1核心需求分析和优秀解决方案7.2服务引擎的技术架构设计7.3核心技术讲解及模组化实现7.3.1分散式採集服务Flume部署及数据採集7.3.2分散式讯息服务Kafka部署及数据传送7.3.3创建HBase资料库和Spark环境7.3.4分散式实时处理引擎SparkStreaming原理及数据处理7.3.5构建BD_RTPServer_DP工程实现数据处理7.3.6构建BD_RTPServer_Boot服务实现可视化7.4项目小结第8章大数据智慧型分析微服务引擎8.1核心需求分析和优秀解决方案8.2服务引擎的技术架构设计8.3核心机器学习算法讲解和套用8.3.1逻辑回归的原理分析8.3.2支持向量机原理分析8.3.3决策树原理分析8.3.4聚类算法原理分析8.3.5关联规则算法原理分析8.3.6协同过滤原理分析8.4Spark架构原理与数据预测8.4.1YARN运行架构工作原理8.4.2SparkMlib核心技术8.4.3SpringMaven工程构建8.4.4决策树预测体检费用8.4.5逻辑回归预测体检费用8.4.6随机森林预测体检费用8.4.7支持向量机预测疾病机率8.4.8协同过滤推荐药品8.5项目小结第9章大数据自定义迁移微服务引擎9.1核心需求分析和优秀解决方案9.2服务引擎的技术架构设计9.3核心技术讲解及模组化实现9.3.1Hadoop生态的核心组件9.3.2HBase工作原理9.3.3Sqoop工作原理9.3.4MapReduce工作原理9.3.5Sqoop抽取历史数据到HDFS9.3.6构建工程BD_CustomTransfer_Maven9.3.7智慧型终端运动数据从MySQL数据迁移到Hive9.4项目小结点击展开全文大数据架构之道与项目实战