×

  首页 >   全部课程 > 大数据平台架构部署与运维实战

大数据平台架构部署与运维实战

企业定制,团体报名请您

在线预约

课程代码:4301培训课时:4天,30课时

该班级优惠招生中 在线咨询

备注:详情可拨打 400-690-6115 或在线咨询客服人员

课程简介

大数据已经成为当前IT领域中发展最为快速的技术方向之一,并且正在广泛而深入的影响着我们的生活。对于传统的IT技术从业者而言,学习并掌握大数据技术,已经成为能否应对未来技术挑战的关键之一。东方瑞通针对大数据技术,专门设置面向大数据运维和大数据开发方向的公开课课程。 本大纲面向大数据运维方向。课程内容全面涵盖大数据特性、Hadoop生态系统、流行的大数据解决方案、大数据分布式集群部署与维护、集群规划、trouble shooting等内容。同时,也将深入讲解大数据中的核心技术和组件。包含MapReduce与Yarn、HDFS存储系统管理、Spark与Scala语言概述,数据加载、HBase分布式数据库技术,Storm以及Flink等的部署及集成等。 综合深入:全面探讨大数据技术的运维技术与相关内容,快速建立你的大数据运维知识体系。 课堂吸收:在课堂上除了讲解相关理论知识以外,还涉及相当数量的实验及动手操作内容。 学以致用:授课过程中穿插大量从真实案例中总结的真知灼见。 视频复习:提供完整的授课视频,随时学习,温故而知新。

开课信息

面授查看更多

地点时间培训类型在线报名

北京 2019-10-19 周末班 在线报名

学员基础

本课程适合如下情况的学员

期望掌握大数据知识架构并从事大数据部署及运维的IT从业人员

具备Oracle或者其他数据库基础知识的数据库管理与开发人员

具备Linux等OS管理与维护知识的IT运维人员


课程目标

掌握大数据集群的安装配置运维管理

掌握HDFS集群的部署与操作

掌握MapReduce程序的运行与处理

掌握Spark集群管理

掌握HBase数据库的运维与管理

掌握Flink流式数据处理架构

了解市面上流行的大数据商业平台与解决方案


展示全部

课程大纲

课程模块

课程内容

大数据生态系统

l 大数据的定义与4V特征

l 大数据的应用与价值

l 大数据与数据库、数据仓库

l 大数据与云计算的关系

l 大数据与AI的关系

l 大数据技术现状及前景展望

l 大数据生态系统及关键组件

大数据集群环境部署

l 软件版本选取与介质下载

l 操作系统安装与配置

l 网络配置与SSH设置

l 集群层部署

l 大数据安装与测试

HDFS分布式文件存储系统

l HDFS设计原则

l HDFS架构

l HDFS读写流程

l HDFS相关参数与设置

l HDFS关键特性

l HDFS文件操作与分布式存储维护

MapReduce&Yarn

l 分布式计算概述

l MapReduce运算架构

l splitshuffle

l MapReduce样例程序

l Yarn工作机制

l Yarn资源分配与调度

l 程序运行与logview结果分析

Spark生态系统

l Spark生态

l Spark vs MapReduce

l Spark特性与架构

l Spark工作机制

l RDDDataFrameDataSet

l Spark SQL

l Structured Streaming

l Spark集群部署

l Scala语言

l 样例程序

HBase分布式NoSQL数据库

l SQLNoSQLNewSQL数据库

l 按行存储vs按列存储

l Key-Value存储模型

l HBase架构

l RegionColumn Family

l HBase读写流程

l Hfilecompaction

l HBase集群部署

l HBase常见操作

Flink安装、部署与运维

l 流数据处理框架

l Flink架构与工作原理

l DataStream

l Flink关键特性

l Flink窗口

l Flink checkpoint机制详解

l Flink集群部署

l Flink样例程序

l Flink集群维护

大数据平台规划

l 通用规划考量

l 硬件选择

l 虚拟化技术

l 云平台部署

l 网络配置

l 节点配置与管理

大数据平台运维

l 大数据平台监控

l 参数调整与优化

l 日志收集与分析

l 缩容/扩容

常见大数据商业平台对比

l 华为FusionInsight HD大数据平台

l 阿里云大数据MaxComputeDataWorksQuickBI & PAI

l MapR大数据整体解决方案

大数据平台实战案例

某金融公司大数据分析平台构建与实施

l 金融行业大数据技术实施现状

l 需求分析

l 大数据软件选型需要考量的几个问题

l 大数据组件选取与组合

l 集群os部署

l 软件部署与测试

l 程序运行与调优

l 实战中的重点与难点解析


课程推荐

  • PowerPoint专项应用——PPT商用演示文稿设计与专业演讲

    课程代码:X209培训课时:6小时


    本课程由培训经验10年以上的专业讲师精心设计,提升学员利用PPT进行演讲的专业能力;掌握演示文稿的节奏控制与演说表达的经典方法;学会运用互动、问答技巧,提升演讲、培训的效果;掌握幻灯片整体设计能力,将演示内容图形化、图示化、图表化直观表达。


  • 跨平台软件架构师

    课程代码:X404培训课时:24课时

    学习本课程将1、深入理解构架的重要性; 
    2、系统地掌握构架开发的技术和方法; 
    3、掌握构架分析的步骤和方法; 
  • PMP®项目管理

    课程代码:7052培训课时:63课时(共9天:5天精讲、3天考试辅导、1天串讲)

    PMP®是“Project Management Professional”的缩写,是由美国项目管理协会(PMI®)开发并推广的项目管理资格认证,也是目前国际项目管理界含金量最高的证书,在全球190多个国家和地区得到了高度认可。来自官方的最新数据显示,全球PMP®证书持有者的数量已经突破80万,中国大陆地区的PMP®数量已经超过13万,约占全球总量的1/6。PMP®认证培训所使用的教材为PMI主持开发的《项目管理知识体系指南(PMBOK指南)》,现在的最新版本是第5版。 中国大陆地区的PMP®考试由国家外国专家局负责组织实施,每年有四次考试,分别是三月、六月、九月和十二月,具体考试日期及考试相关问题请咨询东方瑞通的课程顾问。 PMP®培训的官方授权机构叫REP(Registered Education Providers ),东方瑞通是PMI®授权的REP®之一。 参加东方瑞通的PMP®项目管理培训可获得如下后续服务: 1、培训期间每个班都会配备班主任,全程为学员服务。 2、培训期间还会建立QQ群、微信群,考前全程提供在线辅导。 3、学员通过考试后,还可以参加东方瑞通组织的各种免费及收费活动,积攒PDU。

    PMP® is a registered mark of the Project Management Institute, Inc.

提示

老学员报名 非老学员报名