尚硅谷大数据项目之电商数仓构建流程

本系列内容涵盖了尚硅谷大数据技术下的电商数仓构建流程，包括数据采集、数仓需求分析、集群搭建注意事项、集群规划、物理机内存规划、阿里云服务器基本配置、JaVA安装、阿里云框架安装、日志数据在生产环境中的来源、模拟日志生成模块使用指南、awk处理文本、Kafka集群部署、Kafka生产者性能测试、Kafka消费者性能测试、Kafka服务器和分区数计算、脚本准备、Hadoop框架配置、DataNo!dE多目录配置、数据存储均衡、Hadoop LZO压缩格式支持、测试HDFS读写性能、测试HDFS排序性能、集群参数调优、ZookeepeR安装、xcall讲解、阿里云安全组、采集Flume架构选型、自定义FlumeInterceptor、采集Flume配置文件以及脚本、改变Logban配置、下游Flume架构选择、编写下游Flume时间戳拦截器、下游Flume的配置、日志采集集群整体测试以及开关脚本、业务数据同步概述、数据同步策略选择、数据同步工具选择、DataX概述、设计理念、运行流程、Sqoop对比、部署、使用概述、Mysql到HDFS案例、用户行为日志、日志内容、日志结构、数据通道、更换模拟器、采集通道演示、电商术语、数据熟悉、数据同步、DataX回顾、数据同步工具、Maxwell概述、输出格式、原理、安装说明、mysql启动Binlog、mysql建库、配置、通道测试、启停脚本、全量同步、数据通道、datax配置文件说明、datax数据同步测试、配置文件生成脚本说明、配置文件生成脚本测试、一键生成脚本、数据同步脚本、测试、总结、问题回顾、数据仓库概述、数据建模概述、ER模型概念、关系模型对应关系、数据库规范化、三范式函数依赖、三范式说明、举例分析、维度模型、事实表概述、事务事实表、周期快照事实表、累计型快照事实表、维度表、设计要点、设计流程、对同步策略的影响、分层规划、数仓构建流程、数据调研、明确数据域、构建总线矩阵、明确统计指标、指标体系概念、对于建模的意义、流程回顾、设计流程、总结、环境准备、运行环境、兼容性问题、Hive环境检测、Hive-on-SpARK环境配置、Hive-on-Spark环境测试、yarn环境配置、Hive-on-spark错误排查思路、开发环境、DataGrip使用说明、数据准备、ODS层设计要点、日志表设计思路、JSoNSerde说明、JSON表演示、嵌套结构说明、建表语句、数据装载、Hive复杂数据类型、get_json_object函数说明、数据装载脚本、业务表数据结构、全量表建表语句、增量表建表语句、建表操作、数据装载脚本、HiveServer2问题说明、DataGrip元数据显示异常问题说明、业务总线矩阵、维度建模意义、维度设计流程、商品维度表、确定主维表和相关维表、确定维度属性、数据装载、建表语句、活动维度表、地区维度表、日期维度表、用户维度表、数据装载过程分析、装载过程补充、数据流向、首日装载、每日装载思路分析、每日装载、年龄问题说明、数据装载脚本、DWD层设计要点、交易域加购事务事实表、建表语句、数据装载、数据流向、首日装载、每日装载、下单事务事实表、建表语句、数据装载、取消订单事务事实表、建表语句、数据装载、支付成功事务事实表、建表语句、数据装载、退单事实表、数据装载、退款成功事实表、购物车周期快照事实表、优惠券领取事实表、优惠券使用(下单)事实表、优惠券使用(支付)事实表、互动域收藏事实表、评价事实表、流量域说明、页面浏览事实表、建表语句、数据装载、启动事实表、事实表划分思路、动作事实表、建表语句、数据装载、曝光事实表、错误事实表、用户注册事实表、数据装载、用户登录事实表、数据装载脚本、测试、DWS层设计理论、设计实践、提取派生指标、最近1日表设计、最近n日表设计、下单人数问题处理、降低汇总表粒度、任务说明、DWS层设计-需求分析、各渠道流量统计、用户变动统计、用户留存率、用户新增活跃统计、漏斗分析、新增交易用户统计、各年龄段下单人数、复购率、交易综合统计、各省份交易统计、优惠券&活动补贴率、整理派生指标、交易域用户商品粒度订单最近1日汇总表、数据装载、交易域用户商品粒度订单最近n日汇总表、数据装载、交易域省份粒度订单汇总表、流量域会话粒度页面浏览汇总表、流量域访客页面粒度页面浏览汇总表、交易域活动&优惠券粒度订单汇总表、用户粒度订单历史至今汇总表、数据装载、用户粒度支付历史至今汇总表、每日装载补充思路、用户粒度登录历史至今汇总表、设计思路总结、装载脚本、DWS层-历史至今汇总表、数据装载脚本、ADS层需求说明、流量主题、各渠道流量统计、用户路径分析、用户变动统计、用户留存、新增活跃统计、漏斗分析、新增交易用户统计、各年龄段下单用户统计、各品牌复购率、各品牌交易统计、各分类商品购物车存量top3、交易综合统计、各省份交易综合统计、事实表维度表时间关联、工作流调度、DolphinScheduler概述、核心架构、部署说明、部署准备工作、初始化数据库、配置一键部署脚本、一键部署、启停说明、单机模式说明、安全中心管理、工作流概念、定义工作流、运行工作流、定时调度工作流、传参、引用资源、告警通知、失败重跑、内存不足问题、工作流规划、新数据准备、用户行为日志、业务数据、调度说明、实操上传脚本文件、分发脚本依赖组件&环境变量说明、定义工作流、提交工作流、单机模式注意事项、快照说明、工作流执行结果查看、Superset概述、部署Miniconda、创建python环境、部署、启停、使用Mysql驱动安装、对接数据源、趋势图、桑基图&地图、仪表盘布局调整、总结。