第5章 大数据技术 ★★★

🟢 基础⏱ 3 分钟1161 字

🟢 基础 | 课程B·信息技术导论 · 约占理论卷 40%（≈60 分）

  • 基本概念：规模巨大、类型多样、增长快速，无法用常规工具在合理时间内完成采集、存储、处理的数据集合
  • 主要特性 4V/5V ★★★：Volume（体量大）、Velocity（速度快）、Variety（类型多样：结构化/半结构化/非结构化）、Value（价值密度低）〔+Veracity 真实性〕——四 V 的英文与中文对应填空
  • 发展历程★：萌芽（数据库/统计阶段）→ 2008 年《Nature》推出 Big Data 专刊、2011 年《Science》跟进，概念普及 → Hadoop 等开源生态成熟 → 国家大数据战略（2015 年我国促进大数据发展行动纲要）→ 数据要素化
  • 与云计算关系：云计算提供存储与计算资源（基础设施），大数据是其上的数据与处理需求——云为"手"，数为"料"；与 AI 关系：大数据是人工智能的"养料"（数据驱动学习）
  • 关键技术 ★★★：
    • Hadoop ★★：Apache 开源分布式框架；核心三件：HDFS（分布式文件系统）+ MapReduce（分布式计算模型）+ YARN（资源调度）；特点：分而治之、横向扩展、容错（副本）
    • MapReduce ★★：Map（映射）——把任务分解到各节点；Reduce（归约）——汇总各节点结果；两阶段思想填空高频
    • NoSQL：处理海量非结构化/半结构化数据（衔接课程 B 第 1 章）；Redis/MongoDB/HBase
    • 数据采集/爬虫：网络爬虫按规则抓取网页（工具：Python Requests/Scrapy）；遵守 robots 协议
    • 数据清洗：处理缺失值（填补）、异常值（剔除）、重复数据（去重）、格式不一致；工具 Pandas（Python 库）——清洗属于数据预处理
    • 数据分析/挖掘：批处理（离线、历史数据——Hadoop MapReduce、Spark Core）vs 流处理（实时、连续数据流——Flink、Storm）★★；挖掘任务：分类（有监督：决策树、KNN、朴素贝叶斯）、聚类（无监督：K-Means）、关联规则（"啤酒与尿布"—Apriori）、回归预测 ★
    • 数据可视化：图表直观呈现——Tableau、ECharts（百度开源 JS 库）、Python Matplotlib/Seaborn；常用图：柱状、折线、饼图、热力图、词云
  • 应用领域：精准营销与推荐、金融风控、智慧交通、工业互联网（预测性维护）、农业、医疗健康、政务（一网通办）
  • 趋势：与 AI 深度融合、实时化、数据湖、隐私计算（联邦学习）、数据要素市场化