Week 9
End-to-End Data Service Project
40%
独立开发一个完整的 Web 服务，涉及数据自动化抓取、存储、ML 预测 API 及前端可视化看板。
COMP9321
数据服务工程
6 学分难度 中等
课程定位 COMP9321 是 UNSW 计算机硕士专业在‘数据生命周期管理’维度的核心必修课。它解决了从‘脏数据’到‘在线服务’的闭环难题：如何高效抓取海量 Web 数据？如何设计鲁棒的 RESTful API？如何将机器学习模型转化为可落地的 API 服务？它是通往全栈数据工程师 (Full-stack Data Engineer)、机器学习架构师、及后端开发岗位的实战门票。它将 Python 数据处理与现代 Web 服务架构深度整合，是培养‘具备服务化意识的数据专家’的必修课。 技术栈与学习内容 课程围绕‘数据、API、服务’三位一体。核心技术栈包括：Python Pandas 库、Flask/FastAPI 框架、RESTful 架构设计原则、SQL/NoSQL (MongoDB) 数据库、以及基于 Swagger 的 API 文档化。学习内容涵盖：数据清洗与集成、语义化 Web (RDF, JSON-LD) 基础、OAuth 2.0 安全认证、以及最重要的‘ML-as-a-Service’——如何将训练好的模型封装成在线预测服务。课程强调‘数据的一致性与 API 的可用性’。 课程结构 10 周理论高频产出与三个渐进式项目结合。评估由每周的‘数据管道’Lab、一个要求全栈实现的‘综合数据驱动 Web 服务’Major Project（涉及从抓取到展示的全流程）、以及一场强调架构设计、认证逻辑与数据转换协议的期末综合大考组成。该课极其强调‘文档化 (Swagger)’与‘错误处理机制’。 适合人群 计算机硕士、数据科学硕士、或打算转行数据开发的工科生。必须具备扎实的 Python 编程基础。如果你想在面试中展示出‘不仅会算模型，还能把模型部署到生产环境’的工程能力，这门课是你的不二之选。建议每周投入 15-20 小时进行代码重构。
Course decision
选课先看
先看考核重心、截止节奏和入门要求，再决定这门课是否适合你的学期安排。
考核总权重
100%
3 项考核
最高单项
40%
End-to-End Data Service Project
期末考试
有
以官方 outline 为准
Hurdle
2 项
需要单独满足
Deadline map
考核时间线
按截止周排列作业节点；持续考核会保留在下方完整考核结构中。
Week 10
Data Integration Lab
20%
限时现场机考，要求在 60 分钟内完成三个异构数据源的合并与标准化输出。
Week 11
Final Examination
40%
综合考察 REST 设计规范、安全协议、数据转换逻辑及架构思维的深度笔试。
Syllabus
每周大纲
默认只展示每周独有的知识重点；节奏、考核、Tutorial 和避坑信息按需展开。
- 1
数据服务导论与生命周期
ETL 流程概述，数据的多样性 (JSON, CSV, XML)，REST vs GraphQL 哲学对比。
- 2
数据清洗与探索分析 (EDA)
Pandas 高级索引、缺失值插补、数据透视表，利用 Python 进行异构数据整合。
- 3
RESTful API 设计原则
资源导向架构，HTTP 动词规范，状态码含义，HATEOAS 约束初步。
- 4
Flask 框架与后端实现
路由定义，请求解析 (Request Parsing)，响应构建，利用 Flask-RESTX 实现自动 Swagger 文档。
- 5
数据存储：SQL vs NoSQL
关系数据库范式与非关系数据库 (MongoDB) 的选型，利用 SQLAlchemy 进行 ORM 映射。
- 6
灵活性周 (Flex Week)
复习 API 认证逻辑，冲刺 Major Project 的数据获取层，练习正则表达式抓取。
- 7
安全、认证与授权
JWT 令牌机制，API Key 管理，OAuth 2.0 流程详解，解决服务端跨域 (CORS) 冲突。
- 8
语义化 Web 与互操作性
资源描述框架 (RDF)，Schema.org 应用，JSON-LD 在搜索引擎优化中的作用。
- 9
机器学习服务化 (MLaaS)
模型持久化 (Pickle/Joblib)，设计预测端点，处理异步数据请求，Docker 容器化初步。
- 10
数据服务架构与总结
微服务拆分，API 网关概念，全学期数据工程大闭环复盘；期末 CTF 指南。
Assessment
考核结构
Data Integration Lab
限时现场机考，要求在 60 分钟内完成三个异构数据源的合并与标准化输出。
20%
Week 10
End-to-End Data Service ProjectHurdle
独立开发一个完整的 Web 服务，涉及数据自动化抓取、存储、ML 预测 API 及前端可视化看板。
40%
Week 9
Final ExaminationHurdle
综合考察 REST 设计规范、安全协议、数据转换逻辑及架构思维的深度笔试。
40%
Week 11
From Seniors
学长留下的
基础信息谁都查得到,真正值钱的是过来人的经验。
学姐说
比你早一年的学长留下的真实经验 —— ChatGPT 给不了。
这门课还没有学长经验,你可以是第一个 —— 注册后在课内分享。
往年考点 / 踩坑
这门课暂无往年考点记录。
毕业生去向(整体)
下面是匠人学院毕业生整体去过的公司分布(来自脱敏校友证言)。这是全平台的总体去向,不代表选这门课的人一定去这些公司。
统计自 317 份脱敏校友证言
Deloitte
6 位校友岗位:Graduate Program · Graduate Consulting · Platform Engineer · Web developer · Platform engineer
Zerologix
4 位校友岗位:Frontend Dev · junior frontend developer · Front-end Developer · Full Stack Developer
Servian
4 位校友岗位:Full-stack Developer · Data Engineer · Consultant
关于这块数据,我们说实话
雇主墙来自脱敏毕业生证言（testimonials）的整体分布，无法关联到具体学员或其所选课程；仅作为毕业生去向的总体社会证明展示。
我们没有"某位学长选了这门课、后来进了哪家公司"这种可查询的个人去向档案 —— 校友证言是脱敏的,无法关联到具体的人或他选过的课。所以这里只给整体分布,不给个人路径,不编。