COMP9313

大数据管理

课程定位 COMP9313 是 UNSW 计算机硕士专业在‘分布式计算与海量数据处理’维度的巅峰核心课。它解决了开发者在单机算力瓶颈下的终极命题：当数据量达到 PB 级、单台机器无法容纳时，如何利用成百上千台服务器协同工作？如何保证分布式系统的容错性与一致性？它是通往大数据工程师 (Data Engineer)、分布式系统架构师、及大型云平台（如 AWS, Google Cloud）研发岗位的实战通行证。它将经典的 MapReduce 思想、现代的 Apache Spark 生态与海量图形挖掘深度整合，是培养‘具备处理行星级数据能力开发者’的必修课。 技术栈与学习内容 课程围绕‘分布式存储与计算算力’展开。核心技术栈包括：Apache Spark (Scala/Python)、Hadoop 生态、HDFS 分布式文件系统、MapReduce 模型以及 Spark Streaming。学习内容涵盖：Spark 核心算子优化（RDD, DataFrame, Dataset）、分布式连接算法 (Shuffle Join, Broadcast Join)、海量流式数据处理、以及最具算法挑战的‘海量图数据管理（如 PageRank 在 Spark 上的实现）’。此外，课程引入了简单的 NoSQL 分布式数据库原理。课程强调‘算法的并行效率与集群资源的极致调度’。 课程结构 10 周理论高频产出与两个极具挑战的分布式编程项目结合。评估体系完全对接硅谷大数据标准：包含针对并行算法时间开销分析的每周 Lab、两个要求在真实集群环境运行的大型分布式处理项目（Major Project，涉及海量文本挖掘或社交网络分析）、以及一场强调分布式一致性证明、算子执行计划分析与故障恢复逻辑判定的期末综合大考。该课极其强调‘分布式思维（Thinking in Parallel）’。 适合人群 计算机硕士、或打算冲击大厂数据架构岗位的理工科生。必须具备扎实的 Java/Python 基础及 COMP9311 (数据库) 功底。如果你想搞清楚‘为什么 Google 能够秒搜全球网页’、或者渴望在未来的 AI 底层数据流水线中建立核心算力优势，这门课是你的神功。建议每周投入 25-30 小时进行代码重构与集群调试。