强化学习中，Q-Learning与Sarsa的差别有多大？

行者AI

于 2021-08-18 11:12:37 发布

阅读量1k

点赞数 2

文章标签：强化学习

本文链接：https://blog.csdn.net/suiyuejian/article/details/119775927

版权

本文对比了强化学习中的Q-Learning和Sarsa算法。Q-Learning采用离线学习，追求最大收益，而Sarsa是在线学习，更注重实际动作的选择。在例子中，Q-Learning倾向于直接路径，Sarsa则避免风险。两者在决策和更新策略上有显著区别，适应不同应用场景。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文首发于：行者AI

我相信，从某种意义上讲，强化学习是人工智能的未来。 —— 强化学习之父，Richard Sutton

简单来说就是，智能体通过强化学习，可以知道自己在什么状态下，应该采取什么样的动作使得自身获得最大奖励。强化学习分为在线学习和离线学习，本文以Q-learning(离线)和Sarsa(在线)出发，浅谈两者异同。

1. 简述Q-learning

Q-Learning是强化学习算法中Value-based中的一种算法，Q即为Q(s,a)就是在某一时刻的s状态下(s∈S)，采取动作a (a∈A)动作能够获得收益的期望，环境会根据agent的动作反馈相应的回报reward r，所以算法的主要思想就是将State与Action构建成一张Q-table来存储Q值，然后根据Q值来选取能够获得最大的收益的动作。

更简单的理解就是我们基于状态s利用 $\varepsilon-greedy$ 法进行贪婪选择出动作a，然后执行动作a，得出下一状态s’以及reward r

$Q(s,a) = Q(s,a) + α*(r+γ*{max}(Q(s',a^*))-Q(s,a))$