AI & Optimization10 [RL] 강화학습 알고리즘: (2) Double DQN DDQN (Double DQN)은 DQN의 후속 알고리즘으로 Google DeepMind에서 2015년도에 공개된 논문입니다. DQN에 관련된 내용은 이전 포스팅을 참고하시길 바랍니다. Motivation 우리는 일반적으로 AI를 학습할 때 목표값인 target value와 결과값인 prediction value의 차이를 줄이는 방법을 이용합니다. 하지만 target value가 처음부터 잘못된 값이라면 네트워크는 제대로 된 결과를 학습할 수 없겠죠. 논문은 기존 DQN의 target value가 특정 조건에서 overestimate 된다고 주장하고 이를 해결하기 위한 Double DQN을 제안합니다. Double DQN 기존 DQN과 Double DQN의 차이는 알고리즘상 한 줄입니다. Target v.. 2022. 9. 10. [RL] 강화학습 알고리즘: (1) DQN (Deep Q-Network) Google DeepMind는 2013년 NIPS, 2015년 Nature 두 번의 논문을 통해 DQN (Deep Q-Network) 알고리즘을 발표했습니다. DQN은 딥러닝과 강화학습을 결합하여 인간 수준의 높은 성능을 달성한 첫번째 알고리즘입니다. 심층강화학습에서 가장 기본이 되는 알고리즘을 논문을 통해 리뷰해보도록 하겠습니다. Why Deep Reinforcement Learning? 딥러닝을 강화학습과 결합하게 되면 어떠한 이점이 있을까요? 기존의 Q-learning은 state-action $(s,a)$에 해당하는 Q-value인 $Q(s,a)$를 테이블 형식으로 저장하여 학습합니다. 이러한 방식은 state space와 action space가 커지게 되면 모든 Q-value를 저장하기에 많은.. 2022. 6. 3. 이전 1 2 다음 반응형
