전체 글32 [RL] 강화학습 알고리즘: (2) Double DQN DDQN (Double DQN)은 DQN의 후속 알고리즘으로 Google DeepMind에서 2015년도에 공개된 논문입니다. DQN에 관련된 내용은 이전 포스팅을 참고하시길 바랍니다. Motivation우리는 일반적으로 AI를 학습할 때 목표값인 target value와 결과값인 prediction value의 차이를 줄이는 방법을 이용합니다. 하지만 target value가 처음부터 잘못된 값이라면 네트워크는 제대로 된 결과를 학습할 수 없겠죠. 논문은 기존 DQN의 target value가 특정 조건에서 overestimate 된다고 주장하고 이를 해결하기 위한 Double DQN을 제안합니다. Double DQN기존 DQN과 Double DQN의 차이는 알고리즘상 한 줄입니다. Target val.. 2022. 9. 10. [5G] NR Initial Access: (1) Cell Search Initial access는 단말이 망에 접속하기 위해 맨처음으로 이루어지는 과정입니다. NR이 연결된 구조인 SA와 NSA 모드에 따라 initial access 방법이 다르지만 NR SA 기준으로 정리해보도록 하겠습니다. Initial access는 cell search부터 random access까지의 과정을 나타냅니다. Cell SearchCell search 과정은 단말이 주변의 셀을 찾고 셀의 PCI (physical cell ID)를 획득하는 과정입니다. 이 과정을 통해 단말은 크게 세가지 목적을 달성할 수 있습니다. 단말 주변의 셀을 찾고 PCI를 획득찾은 셀과의 DL 방향 동기 획득셀 접속에 필요한 시스템 정보(system information) 획득 단말은 전원을 키고 처음으로 NR 망.. 2022. 9. 1. [5G] NR MIMO: (2) QCL (Quasi-Colocation) 이전 포스팅에서는 antenna port 개념에 대해 알아보았습니다. 동일한 채널을 겪는 것으로 추정되는 가상의 안테나를 하나의 antenna port라고 정의했습니다. 그러나 특정 상황에서는 두 개의 서로 다른 antenna port가, 완벽히 동일한 채널로 추정되지는 않지만 유사한 채널 특성을 가질 수 있습니다. 이러한 경우에 두 antenna port는 QCL (quasi-colocation) 관계에 있다고 합니다. QCL (Quasi-Colocation)의 정의앞서 말한 내용을 참고하여 TS 38.211에 나온 QCL의 정의를 살펴보면 아래와 같습니다.Two antenna ports are said to be quasi co-located if properties of the channel ove.. 2022. 6. 11. [RL] 강화학습 알고리즘: (1) DQN (Deep Q-Network) Google DeepMind는 2013년 NIPS, 2015년 Nature 두 번의 논문을 통해 DQN (Deep Q-Network) 알고리즘을 발표했습니다. DQN은 딥러닝과 강화학습을 결합하여 인간 수준의 높은 성능을 달성한 첫번째 알고리즘입니다. 심층강화학습에서 가장 기본이 되는 알고리즘을 논문을 통해 리뷰해보도록 하겠습니다. Why Deep Reinforcement Learning?딥러닝을 강화학습과 결합하게 되면 어떠한 이점이 있을까요? 기존의 Q-learning은 state-action $(s,a)$에 해당하는 Q-value인 $Q(s,a)$를 테이블 형식으로 저장하여 학습합니다. 이러한 방식은 state space와 action space가 커지게 되면 모든 Q-value를 저장하기에 많은 .. 2022. 6. 3. [5G] NR MIMO: (1) Antenna Port Antenna port는 NR 표준을 공부하면서 헷갈리는 개념 중 하나입니다. 여러 자료를 통해 제가 이해한 대로 정리해보도록 하겠습니다. (잘못된 내용이 있으면 댓글 부탁드립니다.) Antenna Port의 High-level ConceptAntenna port의 개략적인 컨셉을 먼저 알아보면, antenna port는 physical antenna와 구분되는 가상의 logical antenna를 의미합니다. 송신단에서 심볼은 물리 계층의 여러 단계를 거치면서 어떠한 가상의 안테나로 논리적으로 연결되게 되는데 이를 antenna port라고 합니다. 가상의 안테나이기 때문에 실제로 아날로그 신호가 전송되는 것은 아니며, 실제 신호가 전송되는 안테나 소자는 physical antenna라고 구분하여 지칭.. 2022. 4. 17. [네트워크] TCP Congestion Control: (2) 기본 동작 - 2편 앞선 포스팅에 이어서 TCP congestion control의 세 번째 state인 fast recovery에 대해 정리해보도록 하겠습니다. 원활한 이해를 위해서는 1편 포스팅을 읽고 와주시길 바랍니다. 3) Fast Recovery먼저 congestion avoidance와 fast recovery에 대한 RTT (round-trip time) 라운드 별 동작 예시는 아래 그림과 같습니다. 앞에서 congestion avoidance 상태에서 3 dup-ACK (3 duplicate ACK)를 수신하면 혼잡 윈도우(cwnd)를 절반으로 줄이고 fast recovery에 돌입한다고 하였지만 실제 동작은 아래와 같이 살짝 복잡하게 되어있습니다. $$ \begin{align} \text{For each .. 2022. 3. 19. [네트워크] TCP Congestion Control: (1) 기본 동작 - 1편 이전 포스팅에서 congestion control은 송신 서버의 데이터 전송과 네트워크의 처리 속도 차이로 인한 네트워크 혼잡을 해결하기 위한 기법이며 이를 위해 송신측에 혼잡 윈도우(cwnd)를 설정한다고 하였습니다. Congestion Window 구조 cwnd는 sliding window 방식을 이용하기 때문에 ① cwnd 위치 ② cwnd 크기 두 가지가 움직이게 됩니다. cwnd 위치: 패킷을 전송하고 ACK를 수신할 때 cwnd 위치를 오른쪽으로 옮겨 이동하게 됩니다.cwnd 크기: Congestion control 알고리즘에 따라 cwnd 전체 크기가 변화하게 됩니다. 데이터 전송 시에 cwnd를 이동시키지 않기 때문에, cwnd 안에는 1) 이미 보냈지만 ACK를 받지 못한 패킷, 2) .. 2022. 3. 18. [네트워크] TCP Flow Control & Congestion Control 비교 TCP는 UDP와 달리 신뢰성 있는 데이터 전송을 위해 여러 가지 제어 기능을 제공합니다. 그중 대표적인 것이 flow control (흐름 제어)와 congestion control (혼잡 제어)인데 차이점을 구별할 필요가 있습니다. TCP Flow ControlFlow control은 수신 클라이언트(RX)가 수행해 주는 제어 기법으로, 송신 서버(TX)와 수신 클라이언트(RX)의 데이터 처리 속도 차이로 인한 수신 버퍼 overflow를 해결하기 위한 기법입니다. 수신자의 데이터 처리 속도가 송신자의 데이터 전송 속도보다 빠른 것은 문제가 되지 않지만, 수신자의 데이터 처리 속도가 송신자의 데이터 전송 속도보다 느린 경우에는 문제가 발생합니다. 수신측의 처리 속도보다 빠르게 데이터가 들어오게 되면 .. 2022. 3. 1. 이전 1 2 3 4 다음 반응형
