분류 전체보기26 [5G] NR Initial Access: (2) Random Access 이전 포스팅에서 설명했던 cell search와 cell selection이 완료되면 단말은 획득한 SIB1 정보를 바탕으로 UL 방향 동기를 맞추고 셀에 접속하기 위한 random access 절차를 진행하게 됩니다. Random access는 CBRA (contention-based RA)와 CFRA (contention-free RA) 두가지로 구분되는데 NR NSA에서는 CFRA를 통해, 그리고 NR SA에서는 CBRA를 통해 initial access를 수행합니다. CBRA (Contention-based Random Access) Random access의 목적 중 하나는 단말이 UL 동기를 획득하는 것입니다. UL 동기는 기지국이 설정한 UL 수신 타이밍에 맞춰 단말이 신호를 보낼 수 있어야.. 2022. 12. 10. [RL] 강화학습 알고리즘: (3) Dueling DQN Dueling DQN은 DQN의 후속 논문으로 Google DeepMind에서 2016년도에 공개한 논문입니다. DQN에 관련된 내용은 이전 포스팅을 참고하시길 바랍니다. Motivation 기존 DQN에서는 computer vision에서 사용되던 CNN을 이용하여 Q-network를 구성합니다. 만약 기존의 신경망 구조 대신 강화학습에 더 특화된 신경망 구조를 이용해 학습하면 더 나은 결과를 보여줄 수 있을 겁니다. 논문은 이를 위해 dueling architecture라는 새로운 신경망 구조를 제안합니다. Dueling Network Architecture Dueling Q-network의 구조는 위 그림과 같습니다. 기존의 Q-network에서는 마지막 fully-connected layer를 통.. 2022. 9. 12. [RL] 강화학습 알고리즘: (2) Double DQN DDQN (Double DQN)은 DQN의 후속 알고리즘으로 Google DeepMind에서 2015년도에 공개된 논문입니다. DQN에 관련된 내용은 이전 포스팅을 참고하시길 바랍니다. Motivation 우리는 일반적으로 AI를 학습할 때 목표값인 target value와 결과값인 prediction value의 차이를 줄이는 방법을 이용합니다. 하지만 target value가 처음부터 잘못된 값이라면 네트워크는 제대로 된 결과를 학습할 수 없겠죠. 논문은 기존 DQN의 target value가 특정 조건에서 overestimate 된다고 주장하고 이를 해결하기 위한 Double DQN을 제안합니다. Double DQN 기존 DQN과 Double DQN의 차이는 알고리즘상 한 줄입니다. Target v.. 2022. 9. 10. [5G] NR Initial Access: (1) Cell Search Initial access는 단말이 망에 접속하기 위해 맨처음으로 이루어지는 과정입니다. NR이 연결된 구조인 SA와 NSA 모드에 따라 initial access 방법이 다르지만 NR SA 기준으로 정리해보도록 하겠습니다. Initial access는 cell search부터 random access까지의 과정을 나타냅니다. Cell Search Cell search 과정은 단말이 주변의 셀을 찾고 셀의 PCI (physical cell ID)를 획득하는 과정입니다. 이 과정을 통해 단말은 크게 세가지 목적을 달성할 수 있습니다. 단말 주변의 셀을 찾고 PCI를 획득 찾은 셀과의 DL 방향 동기 획득 셀 접속에 필요한 시스템 정보(system information) 획득 단말은 전원을 키고 처음으로 N.. 2022. 9. 1. [5G] NR MIMO: (2) QCL (Quasi-Colocation) 이전 포스팅에서는 antenna port 개념에 대해 알아보았습니다. 동일한 채널을 겪는 것으로 추정되는 가상의 안테나를 하나의 antenna port라고 정의했습니다. 그러나 특정 상황에서는 두 개의 서로 다른 antenna port가, 완벽히 동일한 채널로 추정되지는 않지만 유사한 채널 특성을 가질 수 있습니다. 이러한 경우에 두 antenna port는 QCL (quasi-colocation) 관계에 있다고 합니다. QCL (Quasi-Colocation)의 정의 앞서 말한 내용을 참고하여 TS 38.211에 나온 QCL의 정의를 살펴보면 아래와 같습니다. Two antenna ports are said to be quasi co-located if properties of the channel o.. 2022. 6. 11. [RL] 강화학습 알고리즘: (1) DQN (Deep Q-Network) Google DeepMind는 2013년 NIPS, 2015년 Nature 두 번의 논문을 통해 DQN (Deep Q-Network) 알고리즘을 발표했습니다. DQN은 딥러닝과 강화학습을 결합하여 인간 수준의 높은 성능을 달성한 첫번째 알고리즘입니다. 심층강화학습에서 가장 기본이 되는 알고리즘을 논문을 통해 리뷰해보도록 하겠습니다. Why Deep Reinforcement Learning? 딥러닝을 강화학습과 결합하게 되면 어떠한 이점이 있을까요? 기존의 Q-learning은 state-action $(s,a)$에 해당하는 Q-value인 $Q(s,a)$를 테이블 형식으로 저장하여 학습합니다. 이러한 방식은 state space와 action space가 커지게 되면 모든 Q-value를 저장하기에 많은.. 2022. 6. 3. [5G] NR MIMO: (1) Antenna Port Antenna port는 NR 표준을 공부하면서 헷갈리는 개념 중 하나입니다. 여러 자료를 통해 제가 이해한 대로 정리해보도록 하겠습니다. (잘못된 내용이 있으면 댓글 부탁드립니다.) Antenna Port의 High-level Concept Antenna port의 개략적인 컨셉을 먼저 알아보면, antenna port는 physical antenna와 구분되는 가상의 logical antenna를 의미합니다. 송신단에서 심볼은 물리 계층의 여러 단계를 거치면서 어떠한 가상의 안테나로 논리적으로 연결되게 되는데 이를 antenna port라고 합니다. 가상의 안테나이기 때문에 실제로 아날로그 신호가 전송되는 것은 아니며, 실제 신호가 전송되는 안테나 소자는 physical antenna라고 구분하여 지.. 2022. 4. 17. [네트워크] TCP Congestion Control: (2) 기본 동작 - 2편 앞선 포스팅에 이어서 TCP congestion control의 세 번째 state인 fast recovery에 대해 정리해보도록 하겠습니다. 원활한 이해를 위해서는 1편 포스팅을 읽고 와주시길 바랍니다. 3) Fast Recovery 먼저 congestion avoidance와 fast recovery에 대한 RTT (round-trip time) 라운드 별 동작 예시는 아래 그림과 같습니다. 앞에서 congestion avoidance 상태에서 3 dup-ACK (3 duplicate ACK)를 수신하면 혼잡 윈도우(cwnd)를 절반으로 줄이고 fast recovery에 돌입한다고 하였지만 실제 동작은 아래와 같이 살짝 복잡하게 되어있습니다. $$ \begin{align} \text{For each .. 2022. 3. 19. 이전 1 2 3 4 다음 반응형
