Skip to content

Commit 0fc2ada

Browse files
wgyhhhhwgyhhhh
committed
📝 完善参考文献
1 parent b36d098 commit 0fc2ada

9 files changed

Lines changed: 772 additions & 7 deletions

File tree

‎.history/docs/index_20260422235016.md‎

Lines changed: 16 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,16 @@
1+
---
2+
title: 欢迎页面
3+
comments: true # 开启评论
4+
---
5+
6+
# 欢迎
7+
8+
本笔记是对赵世钰老师所著《强化学习中的数学原理》的个人思考与总结，笔者将其做成了网页模式，方便大家随时随地在掌上设备阅读。在此基础上，我还补充了对书中核心算法的实现，以便读者能获得更直观的理解。书中首先从基础概念入手，讲解Bellman公式和Bellman最优公式，接着扩展到基于模型（model-based）和无模型（model-free）的强化学习算法，最终推广到基于函数逼近的强化学习算法。若读者在强化学习方面没有背景知识，只需具备一定的线性代数和概率论基础即可阅读本书。而对于已有一些强化学习知识的读者，本笔记则可以帮助他们深入理解相关问题。
9+
10+
# 说明
11+
12+
1. 本笔记并不仅仅希望翻译原书，而是同步实现书中的一些例子和算法。这些代码在[(核心算法实现)](https://wgyhhh.top/Mathematical-Foundations-of-Reinforcement-Learning-Notes/python/code/)中可以找到，笔者正在积极实现更多算法。同时笔者希望通过网页嵌入IDE使得读者可以在网页端运行代码，正在找寻方法实现此功能。
13+
2. 本笔记在每个页面最下方均添加了讨论区，以供大家友好地进行讨论。
14+
3. 关于若干定理的证明，笔者暂时没有把他们整理到笔记当中，预计将在今年6月前完成对关键证明的整理和补充。
15+
4. 由于本人的知识水平有限，对于一些地方的翻译和解释可能不到位，也欢迎大家发现问题后及时发布issue或者在问题当页发布评论。
16+
5. 关于原书参考文献问题，现已完成同步，详见[(参考文献)](.Appendix/References/)页面。

‎.history/docs/index_20260422235144.md‎

Lines changed: 15 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,15 @@
1+
---
2+
title: 欢迎页面
3+
comments: true # 开启评论
4+
---
5+
6+
# 欢迎
7+
8+
本笔记是对赵世钰老师所著《强化学习中的数学原理》的个人思考与总结，笔者将其做成了网页模式，方便大家随时随地在掌上设备阅读。在此基础上，我还补充了对书中核心算法的实现，以便读者能获得更直观的理解。书中首先从基础概念入手，讲解Bellman公式和Bellman最优公式，接着扩展到基于模型（model-based）和无模型（model-free）的强化学习算法，最终推广到基于函数逼近的强化学习算法。若读者在强化学习方面没有背景知识，只需具备一定的线性代数和概率论基础即可阅读本书。而对于已有一些强化学习知识的读者，本笔记则可以帮助他们深入理解相关问题。
9+
10+
# 说明
11+
12+
1. 本笔记并不仅仅希望翻译原书，而是同步实现书中的一些例子和算法。这些代码在[(核心算法实现)](https://wgyhhh.top/Mathematical-Foundations-of-Reinforcement-Learning-Notes/python/code/)中可以找到，笔者正在积极实现更多算法。同时笔者希望通过网页嵌入IDE使得读者可以在网页端运行代码，正在找寻方法实现此功能。
13+
2. 本笔记在每个页面最下方均添加了讨论区，以供大家友好地进行讨论。
14+
3. 关于若干定理的证明，笔者暂时没有把他们整理到笔记当中，预计将在今年6月前完成对关键证明的整理和补充。
15+
4. 由于本人的知识水平有限，对于一些地方的翻译和解释可能不到位，也欢迎大家发现问题后及时发布issue或者在问题当页发布评论。

‎.history/mkdocs_20260422234746.yml‎

Lines changed: 255 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -0,0 +1,255 @@
1+
site_name: 强化学习中的数学原理
2+
site_url: https://wgyhhhh.github.io/Mathematical-Foundations-of-Reinforcement-Learning-Notes/
3+
use_directory_urls: true
4+
repo_url: https://github.com/wgyhhhh/Mathematical-Foundations-of-Reinforcement-Learning-Notes
5+
repo_name: wgyhhhh/Mathematical-Foundations-of-Reinforcement-Learning-Notes
6+
site_author: Guangyu
7+
site_description: 强化学习中的数学原理
8+
9+
theme:
10+
icon:
11+
repo: fontawesome/brands/github-alt
12+
name: material
13+
palette:
14+
- media: "(prefers-color-scheme: light)"
15+
scheme: default
16+
primary: black
17+
accent: green
18+
toggle:
19+
icon: material/weather-sunny
20+
name: 明亮主题
21+
- media: "(prefers-color-scheme: dark)"
22+
scheme: slate
23+
primary: black
24+
accent: yellow
25+
toggle:
26+
icon: material/weather-night
27+
name: 暗黑主题
28+
logo: img/logo.jpg
29+
favicon: img/favicon-96x96.png
30+
custom_dir: docs/overrides
31+
32+
features:
33+
- announce.dismiss #呈现可标记为由用户读取的临时公告，可以包含一个用于取消当前公告的按钮
34+
# - navigation.instant
35+
#- header.autohide #自动隐藏
36+
- navigation.tracking #地址栏中的 URL 将自动更新为在目录中突出显示的活动锚点
37+
- navigation.tabs #顶级部分将呈现在上面视口标题下方的菜单层中，但在移动设备上保持原样
38+
# - navigation.tabs.sticky #启用粘性选项卡后，导航选项卡将锁定在标题下方，并在向下滚动时始终保持可见
39+
# - navigation.sections # 启用后会以分组形式常驻展开，不适合需要一级可折叠目录的场景
40+
- navigation.top # 返回顶部的按钮 在上滑时出现
41+
- navigation.footer #页脚将呈现在边栏中，但在移动设备上保持原样
42+
- search.suggest # 搜索输入一些字母时推荐补全整个单词
43+
- search.highlight # 搜索出的文章关键词加入高亮
44+
- search.share #搜索分享按钮
45+
- navigation.indexes #启用节索引页后，可以将文档直接附加到节
46+
- content.tabs.link
47+
- content.tooltips
48+
- content.code.copy #代码复制
49+
- content.action.edit
50+
- content.action.view
51+
- content.code.annotate
52+
language: zh # 一些提示性的文字会变成中文
53+
54+
55+
56+
extra:
57+
social: # 社交联系方式（页面右下角内容）
58+
- icon: fontawesome/brands/github
59+
link: https://github.com/wgyhhhh/
60+
name: GitHub
61+
- icon: fontawesome/brands/bilibili
62+
link: https://space.bilibili.com/281217178
63+
name: 哔哩哔哩
64+
- icon: fontawesome/solid/paper-plane
65+
link: mailto:wgyhhh001@gmail.com
66+
name: 联系作者
67+
version:
68+
provider: mike
69+
alias: true
70+
consent:
71+
actions:
72+
- accept
73+
- reject
74+
- manage
75+
title: Cookie 设置
76+
description: >-
77+
我们使用 cookies 来识别您的重复访问和偏好，以及衡量我们文档的有效性和用户是否找
78+
到他们正在搜索的内容。<br/>
79+
在您的同意下，您将帮助我们改进我们的文档。<br/>
80+
（您稍后仍可以在网页左下角重新修改 cookies 设置）
81+
analytics: # 谷歌统计
82+
provider: google
83+
property: G-C5GHN09YHC
84+
feedback:
85+
title: 该页面对你有帮助吗？
86+
ratings:
87+
- icon: material/emoticon-happy-outline
88+
name: 有帮助
89+
data: 1
90+
note: 感谢您的反馈！
91+
- icon: material/emoticon-neutral-outline
92+
name: 一般般
93+
data: 0
94+
note: 感谢您的反馈！
95+
- icon: material/emoticon-sad-outline
96+
name: 有待改进
97+
data: -1
98+
note: 感谢您的反馈！
99+
nav:
100+
- 强化学习中的数学原理笔记:
101+
- 主页:
102+
- 欢迎: 'index.md'
103+
- 第一版序言: 'Preface1.md'
104+
- 第二版序言: 'Preface2.md'
105+
- 第一章:
106+
- 介绍: 'Chapter-1/intro.md'
107+
- 1.1-网格世界: 'Chapter-1/1-1.md'
108+
- 1.2-状态和行动: 'Chapter-1/1-2.md'
109+
- 1.3-状态转移: 'Chapter-1/1-3.md'
110+
- 1.4-策略: 'Chapter-1/1-4.md'
111+
- 1.5-奖励: 'Chapter-1/1-5.md'
112+
- 1.6-轨迹、回报、回合: 'Chapter-1/1-6.md'
113+
- 1.7-马尔科夫决策过程: 'Chapter-1/1-7.md'
114+
- 1.8-总结: 'Chapter-1/1-8.md'
115+
- 第二章:
116+
- 介绍: 'Chapter-2/intro.md'
117+
- 2.1-为什么回报很重要?: 'Chapter-2/2-1.md'
118+
- 2.2-如何计算回报?: 'Chapter-2/2-2.md'
119+
- 2.3-状态值: 'Chapter-2/2-3.md'
120+
- 2.4-贝尔曼方程: 'Chapter-2/2-4.md'
121+
- 2.5-贝尔曼方程的例子: 'Chapter-2/2-5.md'
122+
- 2.6-贝尔曼方程的矩阵形式: 'Chapter-2/2-6.md'
123+
- 2.7-求解状态值: 'Chapter-2/2-7.md'
124+
- 2.8-行动值: 'Chapter-2/2-8.md'
125+
- 2.9-总结: 'Chapter-2/2-9.md'
126+
- 第三章:
127+
- 介绍: 'Chapter-3/intro.md'
128+
- 3.1-如何改进策略: 'Chapter-3/3-1.md'
129+
- 3.2-最优状态值和最优策略: 'Chapter-3/3-2.md'
130+
- 3.3-贝尔曼最优公式: 'Chapter-3/3-3.md'
131+
- 3.4-从贝尔曼最优公式中求解最优策略: 'Chapter-3/3-4.md'
132+
- 3.5-影响最优策略的因素: 'Chapter-3/3-5.md'
133+
- 3.6-总结: 'Chapter-3/3-6.md'
134+
- 第四章:
135+
- 介绍: 'Chapter-4/intro.md'
136+
- 4.1-值迭代: 'Chapter-4/4-1.md'
137+
- 4.2-策略迭代: 'Chapter-4/4-2.md'
138+
- 4.3-截断策略迭代: 'Chapter-4/4-3.md'
139+
- 4.4-总结: 'Chapter-4/4-4.md'
140+
- 第五章:
141+
- 介绍: 'Chapter-5/intro.md'
142+
- 5.1-启发示例:期望值估计: 'Chapter-5/5-1.md'
143+
- 5.2-MC Basic:最简单的基于蒙特卡洛的算法: 'Chapter-5/5-2.md'
144+
- 5.3-MC Exploring Starts算法: 'Chapter-5/5-3.md'
145+
- 5.4-MC-Greedy算法: 'Chapter-5/5-4.md'
146+
- 5.5-探索与利用:以Greedy策略为例: 'Chapter-5/5-5.md'
147+
- 5.6-总结: 'Chapter-5/5-6.md'
148+
- 第六章:
149+
- 介绍: 'Chapter-6/intro.md'
150+
- 6.1-启发示例:期望值估计: 'Chapter-6/6-1.md'
151+
- 6.2-罗宾斯-门罗算法: 'Chapter-6/6-2.md'
152+
- 6.3-Dvoretzky定理: 'Chapter-6/6-3.md'
153+
- 6.4-随机梯度下降: 'Chapter-6/6-4.md'
154+
- 6.5-总结: 'Chapter-6/6-5.md'
155+
- 第七章:
156+
- 介绍: 'Chapter-7/intro.md'
157+
- 7.1-状态值估计:时序差分算法: 'Chapter-7/7-1.md'
158+
- 7.2-行动值估计:Sarsa: 'Chapter-7/7-2.md'
159+
- 7.3-行动值估计:n步Sarsa: 'Chapter-7/7-3.md'
160+
- 7.4-最优行动值估计:Q-Learning: 'Chapter-7/7-4.md'
161+
- 7.5-时序差分算法的统一框架: 'Chapter-7/7-5.md'
162+
- 7.6-总结: 'Chapter-7/7-6.md'
163+
- 第八章:
164+
- 介绍: 'Chapter-8/intro.md'
165+
- 8.1-价值表示:从表格到函数: 'Chapter-8/8-1.md'
166+
- 8.2-基于值函数的时序差分算法:状态值估计: 'Chapter-8/8-2.md'
167+
- 8.3-基于值函数的时序差分算法:行动值估计: 'Chapter-8/8-3.md'
168+
- 8.4-深度Q-learning: 'Chapter-8/8-4.md'
169+
- 8.5-总结: 'Chapter-8/8-5.md'
170+
- 第九章:
171+
- 介绍: 'Chapter-9/intro.md'
172+
- 9.1-策略表示:从表格到函数: 'Chapter-9/9-1.md'
173+
- 9.2-目标函数:定义最优策略: 'Chapter-9/9-2.md'
174+
- 9.3-目标函数的梯度: 'Chapter-9/9-3.md'
175+
- 9.4-蒙特卡洛策略梯度: 'Chapter-9/9-4.md'
176+
- 9.5-总结: 'Chapter-9/9-5.md'
177+
- 第十章:
178+
- 介绍: 'Chapter-10/intro.md'
179+
- 10.1-最简单的演员-评论性方法: 'Chapter-10/10-1.md'
180+
- 10.2-优势演员-评论性方法: 'Chapter-10/10-2.md'
181+
- 10.3-异策略演员-评论性方法: 'Chapter-10/10-3.md'
182+
- 10.4-确定性演员-评论性方法: 'Chapter-10/10-4.md'
183+
- 10.5-总结: 'Chapter-10/10-5.md'
184+
- Box(证明):
185+
- 介绍: 'Box/intro.md'
186+
- 2.1:迭代解法的收敛性证明: 'Box/Box-2-1.md'
187+
- 7.1:TD算法的推导: 'Box/Box-7-1.md'
188+
- 7.4:期望Sarsa算法: 'Box/Box-7-4.md'
189+
- 附录:
190+
- 术语: 'Appendix/1.md'
191+
- 参考文献: 'References.md'
192+
- 核心算法实现:
193+
- 策略迭代与值迭代: 'python/code.ipynb'
194+
195+
plugins:
196+
- search
197+
- mkdocs-jupyter
198+
199+
markdown_extensions: #详见https://squidfunk.github.io/mkdocs-material/setup/extensions/python-markdown-extensions/ 和 https://squidfunk.github.io/mkdocs-material/setup/extensions/python-markdown/
200+
- abbr
201+
- attr_list
202+
- admonition
203+
- def_list
204+
- footnotes
205+
- md_in_html
206+
- meta # 支持Markdown文件上方自定义标题标签等
207+
- pymdownx.caret
208+
- pymdownx.betterem
209+
- pymdownx.critic
210+
- pymdownx.details
211+
- pymdownx.inlinehilite
212+
- pymdownx.keys
213+
- pymdownx.mark
214+
- pymdownx.snippets
215+
- pymdownx.smartsymbols
216+
- pymdownx.tilde
217+
- pymdownx.superfences:
218+
custom_fences:
219+
- name: mermaid
220+
class: mermaid
221+
format:
222+
!!python/name:pymdownx.superfences.fence_code_format # 代码块高亮插件
223+
- pymdownx.arithmatex: # latex支持
224+
generic: true
225+
- toc:
226+
permalink: true # 固定标题位置为当前位置
227+
- pymdownx.highlight: # 代码块高亮
228+
anchor_linenums: true
229+
linenums: true # 显示行号
230+
# auto_title: true # 显示编程语言名称
231+
- pymdownx.tabbed:
232+
alternate_style: true
233+
- pymdownx.tasklist:
234+
custom_checkbox: true
235+
236+
extra_javascript:
237+
# - javascripts/extra.js #自定义javascript
238+
- https://Xiaokang2022.github.io/maliang/js/click-colorful.js # 鼠标点击效果
239+
#- https://cdn.jsdelivr.net/npm/mathjax@2/MathJax.js #Latex支持
240+
- https://polyfill.io/v3/polyfill.min.js?features=es6 #Latex支持
241+
# - ckplayer/js/ckplayer.js #播放器配置
242+
# - https://cdn.jsdelivr.net/npm/gitalk@latest/dist/gitalk.min.js #gitalk支持
243+
- https://cdn.jsdelivr.net/npm/mermaid@10.0.2/dist/add-html-label-6e56ed67.min.js #忘了
244+
- javascripts/extra.js
245+
- javascripts/mathjax.js #MathJax配置
246+
- https://cdn.jsdelivr.net/npm/mathjax@3/es5/tex-mml-chtml.js # 单次加载，保留原始渲染风格
247+
248+
249+
extra_css:
250+
- css/misc.css #自定义css
251+
- stylesheets/extra.css
252+
extra_templates:
253+
# - sitemap.xml
254+
255+

0 commit comments

Comments
 (0)