AI & Optimization/Deep Learning4 [DL] 딥러닝 모델: VAE (Variational Autoencoder) 이해하기 생성형 모델(generative model)은 단순히 데이터를 분류하거나 예측하는 것이 아니라 새로운 데이터를 생성하는 모델입니다. VAE (Variational autoencoder)는 2013년 제안된 대표적인 생성형 모델입니다. VAE는 학습 데이터의 분포를 잘 표현하는 잠재 공간(latent space)를 학습하고자 하고, 학습된 latent space를 통해 새로운 샘플을 생성할 수 있습니다. Generative Model이란? 생성형 모델(generative model)은 학습 데이터의 분포를 모델링하여, 학습 데이터와 유사한 샘플을 모델로부터 생성하는 것을 목표로 합니다. 따라서 아래의 그림처럼 학습 데이터의 분포 $p_\text{data}(\mathbf{x})$와 유사한 생성형 모델 $p_.. 2025. 9. 6. [DL] 분류 손실 함수: Cross Entropy Loss & Focal Loss 분류 모델의 대표적인 손실 함수로 cross entropy가 있습니다. 분류 문제에서는 MSE (Mean Squared Error) 보다 cross entropy가 수렴 안정성과 속도에서 유리하기 때문에 주로 사용됩니다. Cross entropy $H(p,q)$는 두 분포 $p(x)$, $q(x)$의 불일치를 측정하는 방법으로 정답 분포와 예측 분포가 유사할수록 그 값이 작아집니다. $$ H(p,q) = -\sum_x p(x)\log q(x) $$ 분류 문제에는 이진 분류(binary classification)와 다중 분류(multiclass classification)가 있습니다. Cross entropy를 쓰기 위해서는 결과 값이 확률 분포이어야 합니다. 따라서 이진 분류에서는 보통 출력 뉴런 1개.. 2025. 8. 16. [DL] 딥러닝 모델: LSTM (Long Short-Term Memory) 이해하기 LSTM (Long Short-Term Memory)는 RNN (Recurrent Neural Network)의 장기 의존성 문제(long-term dependency problem)을 해결하기 위해 제안되었습니다. 장기 의존성 문제는 시퀀스 길이가 길어질수록 과거의 정보가 잊혀져 마지막까지 전달되지 못하는 문제입니다. RNN은 과거의 정보를 hidden state에 저장하며 시퀀스 데이터를 처리하지만, 시퀀스가 길어지면 이전에 저장된 정보가 점차 잊혀져 긴 문맥을 기억하는데 한계가 있습니다. Key ConceptLSTM은 장기 의존성 문제를 해결하기 위해 gate 구조와 cell state를 도입하였습니다. 이를 통해 LSTM은 단기 기억과 장기 기억을 나눠서 처리할 수 있습니다. LSTM에는 두 가지.. 2025. 8. 5. [DL] 회귀 손실 함수: Huber Loss & Smooth L1 Loss 회귀 모델의 대표적인 손실 함수로 L1 loss와 L2 loss가 있습니다. L1 loss는 MAE (Mean Absolute Error)라고도 하며 L2 loss는 MSE (Mean Squared Error)라고도 합니다. ■ L2 Loss (MSE, Mean Squared Error)L2 loss는 실제값과 예측값의 오차를 제곱하여 구합니다. 모든 구간에서 미분이 가능하여 gradient를 구하기 쉽지만, 실제값과 예측값이 차이가 큰 outlier에 대해서는 제곱 효과에 의해 loss가 커지는 단점이 있습니다. PyTorch에서는 torch.nn.MSELoss를 통해 구할 수 있습니다. $$ \text{L2 Loss} = \sum_{n=1}^N (x_n-y_n)^2 $$ ■ L1 Loss (MA.. 2023. 11. 7. 이전 1 다음 반응형
