暑假项目
2023年暑期英国剑桥大学深度强化学习（线下）报名通知
一、项目内容
本项目依托剑桥大学格顿学院设计，课程将探讨深度强化学习的最新潜力，侧重于强化学习和深度学习的基础知识（包括卷积神经网络、图形神经网络、生成神经网络和Transformer模型），并将分享机器人和游戏中的实例，从而加强学生对深度学习核心理念的了解，提升相关的研究技能与实用技巧。
项目包含20小时的授课和4小时的问答互动与技术辅导环节，按要求完成项目可获得剑桥大学格顿学院的官方成绩单与项目证书。
更多介绍可参考附件. 英国剑桥大学深度强化学习项目。
二、课程安排
讲座内容 |
实践内容 |
主题：强化学习导论 强化学习的算法和框架；遗传算法，帕累托前沿 强化学习与深度学习的联系（Transformers模型、图形神经网络）； 强化学习案例分析； 如何撰写相关文章 |
主题：科学计算工具简介 Jupyter Notebook的基本使用以及LaTeX； 强化学习框架中的基本组件； 小组项目说明 |
主题：环境 环境复杂性建模 多智能体强化学习（MARL） Q-Learning以及Actor-Critic模型 基于政策的学习； 马尔可夫决策过程、动态编程和贝尔曼方程； 强化学习与深度学习的联系 |
主题：环境 强化学习框架中的基本组件； 马尔可夫决策过程； OpenAI Gym简介 小组项目说明 |
主题：优化 强化学习与控制优化 深度Q网络 强化学习与深度学习的联系 强化学习案例 Transformers模型和图像分析集成 |
Pytork简介；备份图； 使用马尔可夫决策过程进行优化 （动态编程、贝尔曼方程、策略迭代、值迭代） 项目进展汇报
|
主题：集成与控制 机器人与贡献度分配问题 冗余度机器人的自适应运动控制 多智能体强化学习与机器人 强化学习与其他深度学习技巧的整合； |
主题：无模型算法 基于价值的算法（蒙特卡罗、时间差分学习、SARSA、Q-learning、DQN及其变体） 项目进展汇报
|
主题：集成 与图形神经网络的集成；关注和信息传递模型； 与AUTO-ML和ML系统的集成； |
主题：无模型算法 基于策略的算法（策略梯度、增强）； Actor-Critic算法 项目进展汇报 |
主题：图神经网络（GNN）与强化学习 图示学习与强化学习的关联 |
图神经网络练习 项目进展汇报 |
主题：监管图神经网络 图神经网络与游戏的理论与运用 |
主题：图神经网络练习 DGL, Spektral, Pytorch 项目进展汇报 |
主题：无监管图神经网络 图神经网络与机器人 |
主题：图神经网络练习 DGL, Spektral, Geometric Pytorch 项目进展汇报 |
图神经网络（GNN）与强化学习： |
项目进展汇报 |
项目回顾与总结 小组项目成果陈述 |
|
三、报名要求
1. 英语要求：托福79，或雅思6.0，或大学英语四级500分，或大学英语六级470分，或专四/专八通过，或Duolingo105；
2. 学术要求：项目学生应具备Python语言与编程方面的基本知识与技巧，大一学生需参加Python技能在线测试，并在项目申请时提交测试结果证书。
四、时间安排
1. 项目时间：2023年7月24日- 8月4日
2. 报名截止日期：2023年4月12日
五、项目费用
约人民币3.15万元。
费用包括学费、校内住宿、学校设施使用、餐费（一般为每日两餐、以及项目所安排的晚宴与下午茶）、文化体验活动、医疗与意外保险、接送机以及项目服务费，不包括国际机票、英国签证费与其它个人消费。
六、项目报名
1. 登录本科生国际交流项目管理系统进行报名；
2. 在报名系统中生成“学生短期境外学习或活动备案表”，由辅导员及学院教学副院长认可后在系统中上传PDF文件；
3. 需同时在www.usiea.org 填写《世界名校访学项目报名表》。
七、项目咨询
1. 教务部国际教育室杨老师，电话：81382922，邮箱：yangning@bit.edu.cn
2. 项目咨询QQ群：685190998
八、项目咨询会
时间：2023/04/08 15:00（周六）
腾讯会议号：463-168-922
教务部
2023年4月5日