AI 기반입문
신경망
Neural Network · 인공 신경망 · ANN
신경망이란 인간 뇌의 뉴런 연결을 모방한 연산 구조로, 입력을 받아 가중치와 편향을 거쳐 변환하고 활성함수로 비선형성을 부여하며 역전파로 스스로 학습한다. 모든 현대 AI의 기반이 되는 물리적 구조다.
- •하나의 뉴런은 "곱하고(가중치) → 더하고(합산) → 꺾는(활성함수)" 단순한 연산이다. 이것이 수십억 개 쌓이면 언어를 이해하는 시스템이 된다.
- •보편 근사 정리에 따르면 충분히 넓은 은닉층 하나로 어떤 함수든 근사할 수 있으나, 깊이가 너비보다 효율적임이 증명되었다.
- •GPT-3은 175B 파라미터에 96 레이어, Llama 3 70B는 70B 파라미터에 80 레이어로 구성된다.
- •2026년 실전에서 사용되는 주요 구조는 트랜스포머, 디퓨전 모델, CNN, GAN, RNN/LSTM 5가지로 수렴했다.