Deep Learning 학습 시작...

31주간 진행되는 Upstage AI Lab 5기 교육이 13주차에 접어들었다.
전체 교육 기간의 약 40%가 지난 시점이다.
지금까지 무엇을 했는지, 앞으로 무엇을 하게 될지 잠시 멈춰 정리해 보았다.

 

• Python Programming (1, 2 주차)
• 통계학 (3주차)
• 컴퓨터 공학 개론 (4, 5주차)
• Git (5주차)
• Machine Learning (6, 7주차)
• ML 경진대회 (8주차)
• Machine Learning & MLOps (9주차)
• ML 프로젝트 (10, 11주차)
• Deep Learning, PyTorch (12주차)
• Computer Vision: Basic/Advanced (13, 14주차)
• CV 경진대회 (Image Classification) (14, 15주차)
• Computer Vision: Generation (15, 16주차)
• Natural Language Processing: Basic/Advanced (16, 17, 18주차)
• NLP 경진대회 (18, 19주차)
• Natural Language Processing: LM to LLM (20주차)
• LLM 프로젝트 (21주차)
• AI Data: Data Centric AI (22주차)
• IR (Information Retrieval) 경진대회 (23주차)
• AI 실전학습 경진대회 (OCR/AD/RecSys) (24, 25주차)
• 기업 연계 프로젝트 (26~30주차)
• 커리어 서비스 (26, 30, 31주차)

* OCR: Optical Character Reader, AD: Anamaly Detection, RecSys: Recommender System)

 

12주차부터 Deep Learning 학습을 시작하였다. 

 

  딥 러닝은 계층적 학습 구조(Deep Hierarchical Learning)를 통해 데이터를 처리하고 학습하는 기법을 포괄적으로 지칭한다. (딥 러닝의 정의)

 

  신경망 외의 딥 러닝 접근법으로는 아래와 같은 것들이 있다. 

• 딥 베이지안 네트워크(Deep Bayesian Networks)
• 딥 신경망 이전의 계층적 학습 알고리즘 (딥 러닝이라는 용어가 정립되기 전 존재했던 계층적 특징 추출을 목표로 한 알고리즘): Restricted Boltzmann Machines (RBM), Deep Belief Networks (DBN), Autoencoder(오토인코더)
• 딥 디시전 트리(Deep Decision Trees)
• 진화 알고리즘 기반 접근(Evolutionary Approaches)
• 파편화된 계층적 학습(Non-Network Hierarchical Models)

  위와 같이 신경망이 아닌 방법으로 계층적 학습을 구현하려는 시도가 있었지만, 대부분은 확장성 부족, 표혐력의 한계, 생태계의 부족과 같은 한계에 부딪히면서 더 이상 사용하지 않거나 신경망에 통합된 형태로 발전했다.
  신경망은 계층적 특징 학습과 데이터 표현 능력에서 탁월하며, 하드웨어와 소프트웨어 지원 측면에서도 압도적인 강점을 지니고 있어 현재 대부분의 딥 러닝 연구와 응용은 신경망을 중심으로 이루어지고 있다.

  딥 러닝(Deep Learning)은 모델 구조, 학습 방식, 응용 분야라는 세 가지 주요 관점에 따라 다음과 같이 분류될 수 있다. 

1. 모델 구조에 따른 분류

• 전통적 신경망 (Fully Connected Neural Network, FNN)
  - 대표 모델: 다층 퍼셉트론(Multi-Layer Perceptron, MLP)
• 합성곱 신경망 (Convolutional Neural Network, CNN)
  - 대표 모델: AlexNet, VGG, ResNet
• 순환 신경망 (Recurrent Neural Network, RNN)
  - 대표 모델: LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit)
• 트랜스포머 기반 신경망 (Transformer)
  - 대표 모델: BERT, GPT, Vision Transformer (ViT)
• 생성 모델 (Generative Models)
  - 대표 기술: GAN (Generative Adversarial Network), VAE (Variational Autoencoder)

2. 학습 방식에 따른 분류

• 지도 학습 (Supervised Learning)
• 비지도 학습 (Unsupervised Learning)
  - 대표 기법: 클러스터링(예: K-Means), 차원 축소(예: PCA, Autoencoder)
• 강화 학습 (Reinforcement Learning)
  - 딥 러닝과 결합된 사례: 딥 강화 학습(Deep Q-Network, A3C).
• 자기 지도 학습 (Self-Supervised Learning)
  - 대표 모델: BERT(단어 간 관계 학습), SimCLR(이미지 표현 학습).
• 세미 지도 학습 (Semi-Supervised Learning)
  - 예시: Consistency Regularization, Pseudo-Labeling
• 대리 지도 학습 (Surrogate Supervised Learning)
  - 예시: Jigsaw Puzzle, Colorization Task
• 대화형 학습 (Interactive Learning)
  - 예시: 대화형 챗봇 시스템, 개인화된 추천 시스템

3. 응용 분야에 따른 분류

• 컴퓨터 비전 (Computer Vision)
  이미지 및 영상 데이터를 처리하는 딥 러닝 기술
  [주요 과제]
  - 이미지 분류 (대표 모델: ResNet, EfficientNet.)
  - 객체 검출 (Object Detection) (대표 모델: Faster R-CNN, YOLO, SSD)
  - 이미지 세분화 (Image Segmentation) (대표 모델: U-Net, Mask R-CNN)
  - 이미지 생성 및 변환: GAN, VAE를 사용해 이미지를 생성하거나 스타일 변환
• 자연어 처리 (Natural Language Processing, NLP)
  텍스트 데이터와 언어를 이해하고 생성하는 데 활용되는 딥 러닝 분야
  [주요 과제]
  - 텍스트 분류 (대표 모델: BERT, RoBERTa)
  - 기계 번역 (대표 모델: Transformer, Seq2Seq, Google NMT)
  - 질문 응답 (Q&A) (대표 모델: GPT, T5)
  - 텍스트 생성 (대표 모델: GPT 시리즈)
  - 문서 요약 (대표 모델: BART, PEGASUS)
• 음성 및 신호 처리
  음성 데이터나 기타 시계열 신호 데이터를 분석하고 생성하는 분야
  [주요 과제]
  - 음성 인식 (Speech Recognition) (대표 모델: DeepSpeech, Transformer-Transducer)
  - 음성 합성 (Speech Synthesis) (대표 모델: Tacotron, WaveNet)
  - 시계열 데이터 분석 (대표 모델: LSTM, GRU)
• 생성 모델 (Generative Models) 기반 응용
  딥 러닝 모델을 사용해 새로운 데이터를 생성하거나 기존 데이터를 변형
  [주요 과제]
  - 이미지 생성: GAN(Generative Adversarial Network)을 사용해 현실적인 이미지 생성
  - 텍스트 생성: GPT나 Transformer 기반 모델로 문장, 시, 이야기 생성
  - 음성 및 음악 생성: 텍스트 기반 음악이나 음성을 창작
  - 스타일 변환 (Style Transfer): 이미지를 다른 스타일로 변환(예: 그림 스타일 적용)
• 추천 시스템 (Recommendation Systems)
  사용자의 선호도를 기반으로 맞춤형 콘텐츠를 추천하는 시스템
  [주요 과제]
  - 협업 필터링 (Collaborative Filtering): 사용자 간의 유사성을 기반으로 추천
  - 딥 러닝 기반 추천 모델 (대표 모델: Wide & Deep, DeepFM)