본문으로 건너뛰기
Park JiHo
#artificial-intelligence#linear-algebra#probability#optimization#deep-learning

현대 인공지능 I — AI·ML·DL에서 확률·최적화까지

ECE5992 현대 인공지능 1장 통합 학습노트. AI·ML·DL, 영상처리, 선형대수, 퍼셉트론, 컨볼루션, 확률변수·가우시안·WSS, 손실함수와 경사하강법을 두 강의자료의 수식과 함께 빠짐없이 재구성한다.

Series map

현대 인공지능 · 8편 학습 지도

기초 수학에서 생성·표현학습까지 이어지는 8편 학습 경로. 빈 번호나 자리 채우기용 글 없이, 실제 확보된 강의자료를 여덟 단계로 연결한다.

1 / 8
  1. 기초 읽는 중 AI·ML·DL에서 확률·최적화까지 AI·ML·DL의 관계, 선형대수, 확률변수, 가우시안 모델, WSS, 손실함수와 경사하강법을 연결한다.
  2. 학습 문제 게시됨 머신러닝의 기본 과제와 일반화 분류·회귀·밀도추정에서 과적합, 정규화, 검증, SVM, Bayes 분류와 차원의 저주까지 다룬다.
  3. 신경망 게시됨 퍼셉트론·MLP·CNN과 컨볼루션 선형 판별기에서 다층 퍼셉트론으로 확장하고, 1D·2D 컨볼루션과 CNN의 계산 구조를 정리한다.
  4. 최적화 게시됨 기울기 기반 최적화: GD에서 OGM까지 Lipschitz 연속성, GD·PSD·PGD·FGM과 최적화된 기울기 방법 OGM의 수렴 구조를 비교한다.
  5. 영상 분류 후속 편 이미지 분류의 발전: AlexNet에서 SE Network까지 AlexNet, VGG, GoogLeNet, ResNet, WRN, DenseNet과 채널 재가중 SE Network의 발전을 추적한다.
  6. 픽셀 이해 후속 편 의미론적 영상 분할: FCN·U-Net·DeepLab 픽셀 단위 예측, encoder-decoder, skip connection, dilated convolution과 다중 스케일 분할을 다룬다.
  7. 생성·복원 후속 편 영상 잡음제거·VAE·확산모델 MMSE와 비선형 필터에서 VAE의 ELBO, 재매개변수화, DDPM의 순방향·역방향 확산으로 이어진다.
  8. 표현학습 후속 편 대조 표현학습: InfoNCE·SimCLR·BYOL·CLIP 양성·음성 쌍, InfoNCE, augmentation, memory bank, SimCLR·BYOL과 이미지-언어 CLIP을 연결한다.
게시된 편만 링크로 연결된다. 후속 PDF의 내용을 담은 글이 공개되면 같은 위치가 자동으로 활성화되며, 빈 게시물은 만들지 않는다.

#Part 1.0 분야와 연구 생태계

수식 읽기 모드 — 아래의 모든 표시 수식은 쉽게 설명 + 계산 과정을 연다. 각 카드에서 무엇을 구하는지 → 중간 계산 → 숫자 예제 → 검산 포인트 → 외부 레퍼런스 순서로 확인할 수 있다.

#2. AI, ML, DL은 같은 말이 아니다

가장 넓게 보면 인공지능은 지능적인 행동을 수행하는 시스템을 만드는 전체 문제다. 머신러닝은 그중에서 데이터를 통해 규칙이나 표현을 학습하는 접근이고, 딥러닝은 다층 신경망을 중심으로 하는 머신러닝의 한 계열이다.

이를 한 줄로 압축하면 다음과 같다.

인공지능 ⊃ 머신러닝 ⊃ 딥러닝

이 포함 관계는 역사 전체를 완벽히 설명하는 법칙은 아니다. 규칙 기반 AI, 검색, 계획, 최적화처럼 머신러닝이 아닌 AI도 있고, 현대 시스템은 학습된 모델과 검색·도구·외부 메모리·계획기를 함께 사용한다. 따라서 이 그림은 분야의 포함 관계를 보여주는 출발점이지, 오늘날 시스템 아키텍처를 전부 설명하는 도식은 아니다.

#3. 무엇을 읽어야 하나

강의자료가 제시한 연구 생태계는 지금도 매우 유효하다. 분야를 따라가려면 논문 한 편만 읽는 것이 아니라 저널과 학회 프로시딩의 목차를 지속적으로 훑는 습관이 중요하다.

#대표 저널

  • IEEE Transactions on Pattern Analysis and Machine Intelligence
  • Nature Machine Intelligence
  • IEEE Transactions on Image Processing
  • IEEE Transactions on Signal Processing
  • IEEE Transactions on Medical Imaging
  • IEEE Transactions on Computational Imaging
  • IEEE Transactions on Intelligent Transportation Systems
  • IEEE Transactions on Robotics
  • Pattern Recognition
  • Medical Image Analysis
  • IEEE Signal Processing Letters
  • IEEE Robotics and Automation Letters

#대표 학회

  • NeurIPS
  • ICML
  • ICLR
  • CVPR
  • ICCV
  • ECCV
  • MICCAI
  • ICIP
  • IROS
  • ICRA

여기서 중요한 것은 목록 자체보다 분야 간 연결이다. 영상·신호처리·로보틱스·의료영상·머신러닝은 실제 연구 문제에서 서로 강하게 겹친다.

#4. 영상처리와 컴퓨터비전

강의자료는 영상 분야를 다음과 같은 흐름으로 본다.

물리 장면 → 영상 형성 → 원시 측정값 → 영상처리 → 개선된 영상 → 영상 분석 → 의미 있는 판단

그리고 옆으로는 두 개의 가지가 붙는다.

  • 영상 표시: 사람이 볼 수 있도록 표현하는 문제
  • 영상 압축: 저장·전송 비용을 줄이는 문제

전통적으로 영상처리는 저수준 비전, 영상 분석은 고수준 비전으로 구분되곤 했다. 하지만 딥러닝 이후 이 경계는 점점 약해졌다. 하나의 신경망이 복원, 특징추출, 검출, 분류를 함께 학습하는 경우가 흔하기 때문이다.

#저수준과 고수준의 차이

관점저수준 중심고수준 중심
주된 질문픽셀을 어떻게 복원·변환할까?장면에 무엇이 있고 무슨 뜻일까?
대표 과제잡음제거, 초해상도, 복원, 보정분류, 검출, 분할, 추적, 추론
전통적 기반신호처리, 최적화, 통계패턴인식, 머신러닝
현대적 특징경계가 많이 겹침경계가 많이 겹침

#5. 강의자료가 던지는 중요한 경고

이 장의 아주 중요한 문장은 “현대 딥러닝의 근본적인 이해는 아직 미성숙하다”는 취지다.

모델 성능이 좋아졌다는 것과 왜 그런 모델이 일반화하는지, 어떤 표현을 학습하는지, 어떤 조건에서 실패하는지 완전히 이해했다는 것은 다르다. 이 문제는 이후 선형대수, 확률, 최적화가 왜 필요한지 설명한다.

#6. 2026년 8월 업데이트

2026년 현재에도 이 기초는 그대로 필요하다. 다만 실제 구현의 중심은 훨씬 넓어졌다.

  • PyTorch의 현재 안정 문서는 2.13 계열이며, 텐서 연산뿐 아니라 torch.linalg, torch.func, torch.compile, 분산학습, attention 커널까지 하나의 생태계에 포함한다.
  • 비전에서도 CNN만이 유일한 기본 구조는 아니다. Vision Transformer 이후 패치 기반 attention은 표준적인 선택지가 되었고, CNN·Transformer·하이브리드가 공존한다.
  • 따라서 “현대 AI = 단순한 다층 신경망”으로 이해하면 부족하다. 수학 기초 → 표현학습 → 대규모 최적화 → 효율적인 컴파일/분산 실행까지 연결해서 보는 편이 좋다.

#최신 참고

#7. 다음 절

다음 절에서는 선형대수로 들어간다. 벡터와 행렬의 표기부터 시작해 내적, 외적, 행렬-벡터 곱, 행렬-행렬 곱을 수식 단위로 모두 복원한다.


#Part 1.1 선형대수 I — 벡터·행렬·곱

#1. 왜 선형대수부터 시작하나

현대 신경망의 대부분은 결국 벡터와 행렬에 대한 연산으로 실행된다. 선형대수는 단순한 선수과목이 아니라 모델의 forward, convolution의 행렬화, attention, 최적화, covariance 계산을 모두 연결하는 언어다.

#1.1 2변수 선형시스템

강의자료에는 다음 두 식이 예제로 제시된다. 두 번째 식은 원자료에 x_2가 두 번 들어가 있는데, 이 글에서는 원자료 표기를 보존하고 바로 아래에 일반적인 2변수 시스템을 함께 적는다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A1,1x1A1,2x2=b1,A2,1x2A2,2x2=b2.\begin{aligned} A_{1,1}x_1 - A_{1,2}x_2 &= b_1,\\ A_{2,1}x_2 - A_{2,2}x_2 &= b_2. \end{aligned}
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-001 식별자: MAI2-001

일반적인 두 변수 선형시스템은 보통 다음처럼 쓴다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A1,1x1+A1,2x2=b1,A2,1x1+A2,2x2=b2.\begin{aligned} A_{1,1}x_1 + A_{1,2}x_2 &= b_1,\\ A_{2,1}x_1 + A_{2,2}x_2 &= b_2. \end{aligned}
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-002 식별자: MAI2-002

행렬 표기로는 훨씬 간결해진다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
Ax=b,A=[A1,1A1,2A2,1A2,2],b=[b1b2].A\mathbf{x}=\mathbf{b},\qquad A=\begin{bmatrix}A_{1,1}&A_{1,2}\\A_{2,1}&A_{2,2}\end{bmatrix},\qquad \mathbf{b}=\begin{bmatrix}b_1\\b_2\end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-003 식별자: MAI2-003

#2. 기본 표기

열벡터와 행렬의 차원을 항상 먼저 본다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
xRM,xT is a row vector.\mathbf{x}\in\mathbb{R}^{M},\qquad \mathbf{x}^{T}\ \text{is a row vector}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-004 식별자: MAI2-004

Part I · 학습 수식

수식의 역할과 기호만 확인하기
ARM×N.A\in\mathbb{R}^{M\times N}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-005 식별자: MAI2-005

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
x=[x1x2xM].\mathbf{x}= \begin{bmatrix} x_1\\x_2\\\vdots\\x_M \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-006 식별자: MAI2-006

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
A=[A1,1A1,2A1,NA2,1A2,2A2,NAM,1AM,2AM,N].A= \begin{bmatrix} A_{1,1}&A_{1,2}&\cdots&A_{1,N}\\ A_{2,1}&A_{2,2}&\cdots&A_{2,N}\\ \vdots&\vdots&\ddots&\vdots\\ A_{M,1}&A_{M,2}&\cdots&A_{M,N} \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-007 식별자: MAI2-007

열 단위 표기와 행 단위 표기도 자주 사용한다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
A=[a1a2aN].A=\begin{bmatrix}\mathbf{a}_1&\mathbf{a}_2&\cdots&\mathbf{a}_N\end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-008 식별자: MAI2-008

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
A=[a1Ta2TaMT].A=\begin{bmatrix} \mathbf{a}_1^T\\ \mathbf{a}_2^T\\ \vdots\\ \mathbf{a}_M^T \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-009 식별자: MAI2-009

#3. 영상의 벡터화

다차원 영상을 하나의 긴 벡터로 펴면, convolution 같은 연산도 행렬-벡터 곱으로 표현할 수 있다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
[y1yN][y1yN].\begin{bmatrix}y_1&\cdots&y_N\end{bmatrix} \longrightarrow \begin{bmatrix}y_1\\\vdots\\y_N\end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-010 식별자: MAI2-010

Part I · 학습 수식

수식의 역할과 기호만 확인하기
y[m,n]=(ax)[m,n].y[m,n]=(a*x)[m,n].
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-011 식별자: MAI2-011

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
y=Ax.\mathbf{y}=A\mathbf{x}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-012 식별자: MAI2-012

#4. 벡터-벡터 곱

#4.1 내적

내적은 두 벡터를 하나의 스칼라로 줄인다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
xTy=[x1x2xN][y1y2yN]=i=1NxiyiR.\mathbf{x}^T\mathbf{y} = \begin{bmatrix}x_1&x_2&\cdots&x_N\end{bmatrix} \begin{bmatrix}y_1\\y_2\\\vdots\\y_N\end{bmatrix} = \sum_{i=1}^{N}x_i y_i\in\mathbb{R}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-013 식별자: MAI2-013

Part I · 학습 수식

수식의 역할과 기호만 확인하기
xTy=yTx.\mathbf{x}^T\mathbf{y}=\mathbf{y}^T\mathbf{x}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-014 식별자: MAI2-014

#4.2 외적

외적은 두 벡터로부터 행렬을 만든다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
xyT=[x1y1x1y2x1yNx2y1x2y2x2yNxMy1xMy2xMyN]RM×N.\mathbf{x}\mathbf{y}^T = \begin{bmatrix} x_1y_1&x_1y_2&\cdots&x_1y_N\\ x_2y_1&x_2y_2&\cdots&x_2y_N\\ \vdots&\vdots&\ddots&\vdots\\ x_My_1&x_My_2&\cdots&x_My_N \end{bmatrix} \in\mathbb{R}^{M\times N}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-015 식별자: MAI2-015

#5. 행렬-벡터 곱을 두 가지로 보기

행 기준으로 보면 각 출력 성분은 한 행과 입력 벡터의 내적이다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
y=Ax=[a1Txa2TxaMTx].\mathbf{y}=A\mathbf{x} = \begin{bmatrix} \mathbf{a}_1^T\mathbf{x}\\ \mathbf{a}_2^T\mathbf{x}\\ \vdots\\ \mathbf{a}_M^T\mathbf{x} \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-016 식별자: MAI2-016

Part I · 학습 수식

수식의 역할과 기호만 확인하기
yi=aiTx.y_i=\mathbf{a}_i^T\mathbf{x}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-017 식별자: MAI2-017

열 기준으로 보면 출력은 A의 열벡터들의 선형결합이다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
y=Ax=[a1a2aN][x1x2xN]=a1x1+a2x2++aNxN.\mathbf{y}=A\mathbf{x} = \begin{bmatrix}\mathbf{a}_1&\mathbf{a}_2&\cdots&\mathbf{a}_N\end{bmatrix} \begin{bmatrix}x_1\\x_2\\\vdots\\x_N\end{bmatrix} = \mathbf{a}_1x_1+\mathbf{a}_2x_2+\cdots+\mathbf{a}_Nx_N.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-018 식별자: MAI2-018

행벡터를 왼쪽에서 곱할 수도 있다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
yT=xTA=[xTa1xTa2xTaN].\mathbf{y}^T=\mathbf{x}^T A = \begin{bmatrix} \mathbf{x}^T\mathbf{a}_1& \mathbf{x}^T\mathbf{a}_2& \cdots& \mathbf{x}^T\mathbf{a}_N \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-019 식별자: MAI2-019

Part I · 학습 수식

수식의 역할과 기호만 확인하기
yT=xTA=x1a1T+x2a2T++xMaMT.\mathbf{y}^T=\mathbf{x}^T A = x_1\mathbf{a}_1^T+x_2\mathbf{a}_2^T+\cdots+x_M\mathbf{a}_M^T.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-020 식별자: MAI2-020

#6. 행렬-행렬 곱

Part I · 학습 수식

수식의 역할과 기호만 확인하기
ARM×N,BRN×P,C=ABRM×P.A\in\mathbb{R}^{M\times N},\quad B\in\mathbb{R}^{N\times P},\quad C=AB\in\mathbb{R}^{M\times P}.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-021 식별자: MAI2-021

Part I · 학습 수식

내적은 같은 위치의 곱을 모두 더해 하나의 점수로 압축
Ci,j=k=1NAi,kBk,j.C_{i,j}=\sum_{k=1}^{N}A_{i,k}B_{k,j}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

두 벡터가 같은 방향을 얼마나 공유하는가?

한 줄 핵심

성분별 곱을 더해 스칼라 하나를 만들며, 예측 점수·유사도·투영 계산에 반복해서 등장한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    두 벡터의 길이를 맞춘다

    성분 수가 같아야 한다.

  2. 2

    같은 위치끼리 곱한다

    x1y1, x2y2,,xNyNx_1y_1,\ x_2y_2,\ldots,x_Ny_N
  3. 3

    모든 곱을 더한다

    xTy=n=1Nxnynx^Ty=\sum_{n=1}^{N}x_ny_n
  4. 4

    부호와 크기를 해석한다

    양수는 대체로 같은 방향, 0은 직교, 음수는 반대 방향을 뜻한다.

Worked example

숫자로 직접 계산 — 가중합 계산

두 특징에 가중치를 적용한다.

  1. 1

    w=[2,1]T,x=[3,4]Tw=[2,-1]^T,\quad x=[3,4]^T
  2. 2

    성분별 곱

    [23, (1)4]=[6,4][2\cdot3,\ (-1)\cdot4]=[6,-4]
  3. 3

    wTx=64=2w^Tx=6-4=2

결과: 최종 선형 점수는 2다.

Sanity check

검산 포인트
  • 결과는 벡터가 아니라 스칼라 하나다.
  • 단위가 있는 값이라면 각 곱의 단위가 서로 같아야 더할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-022 식별자: MAI2-022

행과 열의 내적을 한 번에 모으면 다음과 같다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
C=AB=[a1Tb1a1Tb2a1TbPa2Tb1a2Tb2a2TbPaMTb1aMTb2aMTbP].C=AB= \begin{bmatrix} \mathbf{a}_1^T\mathbf{b}_1&\mathbf{a}_1^T\mathbf{b}_2&\cdots&\mathbf{a}_1^T\mathbf{b}_P\\ \mathbf{a}_2^T\mathbf{b}_1&\mathbf{a}_2^T\mathbf{b}_2&\cdots&\mathbf{a}_2^T\mathbf{b}_P\\ \vdots&\vdots&\ddots&\vdots\\ \mathbf{a}_M^T\mathbf{b}_1&\mathbf{a}_M^T\mathbf{b}_2&\cdots&\mathbf{a}_M^T\mathbf{b}_P \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-023 식별자: MAI2-023

열-행 관점에서는 외적의 합이다.

Part I · 학습 수식

내적은 같은 위치의 곱을 모두 더해 하나의 점수로 압축
C=AB=i=1NaibiT.C=AB=\sum_{i=1}^{N}\mathbf{a}_i\mathbf{b}_i^T.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

두 벡터가 같은 방향을 얼마나 공유하는가?

한 줄 핵심

성분별 곱을 더해 스칼라 하나를 만들며, 예측 점수·유사도·투영 계산에 반복해서 등장한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    두 벡터의 길이를 맞춘다

    성분 수가 같아야 한다.

  2. 2

    같은 위치끼리 곱한다

    x1y1, x2y2,,xNyNx_1y_1,\ x_2y_2,\ldots,x_Ny_N
  3. 3

    모든 곱을 더한다

    xTy=n=1Nxnynx^Ty=\sum_{n=1}^{N}x_ny_n
  4. 4

    부호와 크기를 해석한다

    양수는 대체로 같은 방향, 0은 직교, 음수는 반대 방향을 뜻한다.

Worked example

숫자로 직접 계산 — 가중합 계산

두 특징에 가중치를 적용한다.

  1. 1

    w=[2,1]T,x=[3,4]Tw=[2,-1]^T,\quad x=[3,4]^T
  2. 2

    성분별 곱

    [23, (1)4]=[6,4][2\cdot3,\ (-1)\cdot4]=[6,-4]
  3. 3

    wTx=64=2w^Tx=6-4=2

결과: 최종 선형 점수는 2다.

Sanity check

검산 포인트
  • 결과는 벡터가 아니라 스칼라 하나다.
  • 단위가 있는 값이라면 각 곱의 단위가 서로 같아야 더할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-024 식별자: MAI2-024

B를 열벡터로 보면 C의 각 열은 A와 B의 한 열의 행렬-벡터 곱이다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
C=A[b1b2bP]=[Ab1Ab2AbP].C=A\begin{bmatrix}\mathbf{b}_1&\mathbf{b}_2&\cdots&\mathbf{b}_P\end{bmatrix} = \begin{bmatrix}A\mathbf{b}_1&A\mathbf{b}_2&\cdots&A\mathbf{b}_P\end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-025 식별자: MAI2-025

Part I · 학습 수식

수식의 역할과 기호만 확인하기
ci=Abi.\mathbf{c}_i=A\mathbf{b}_i.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-026 식별자: MAI2-026

A를 행벡터로 보면 C의 각 행은 다음처럼 얻는다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
C=[a1TBa2TBaMTB].C= \begin{bmatrix} \mathbf{a}_1^TB\\ \mathbf{a}_2^TB\\ \vdots\\ \mathbf{a}_M^TB \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-027 식별자: MAI2-027

Part I · 학습 수식

수식의 역할과 기호만 확인하기
ciT=aiTB.\mathbf{c}_i^T=\mathbf{a}_i^TB.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-028 식별자: MAI2-028

#6.1 곱셈의 기본 성질

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(AB)C=A(BC).(AB)C=A(BC).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-029 식별자: MAI2-029

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A(B+C)=AB+AC.A(B+C)=AB+AC.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-030 식별자: MAI2-030

Part I · 학습 수식

수식의 역할과 기호만 확인하기
ABBAin general.AB\neq BA\quad\text{in general}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-031 식별자: MAI2-031

#7. 항등행렬과 대각행렬

Part I · 학습 수식

수식의 역할과 기호만 확인하기
Ii,j={1,i=j,0,ij.I_{i,j}= \begin{cases} 1,&i=j,\\ 0,&i\neq j. \end{cases}
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-032 식별자: MAI2-032

Part I · 학습 수식

수식의 역할과 기호만 확인하기
AI=A=IA.AI=A=IA.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-033 식별자: MAI2-033

Part I · 학습 수식

수식의 역할과 기호만 확인하기
D=diag(d1,,dN),Di,j={di,i=j,0,ij.D=\operatorname{diag}(d_1,\ldots,d_N),\qquad D_{i,j}= \begin{cases} d_i,&i=j,\\ 0,&i\neq j. \end{cases}
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-034 식별자: MAI2-034

Part I · 학습 수식

수식의 역할과 기호만 확인하기
I=diag(1,,1).I=\operatorname{diag}(1,\ldots,1).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-035 식별자: MAI2-035

#8. 전치

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(AT)i,j=Aj,i.(A^T)_{i,j}=A_{j,i}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-036 식별자: MAI2-036

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(AT)T=A.(A^T)^T=A.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-037 식별자: MAI2-037

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(AB)T=BTAT.(AB)^T=B^TA^T.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-038 식별자: MAI2-038

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(A+B)T=AT+BT.(A+B)^T=A^T+B^T.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI2-039 식별자: MAI2-039

#9. 2026년 구현 관점

2026년 8월 현재 PyTorch 2.13의 torch.linalg은 노름, 행렬식, rank, solve, QR, Cholesky 등 이 장의 거의 모든 연산을 직접 제공한다.

특히 실무에서는 A^{-1}b를 직접 만드는 것보다 선형시스템 Ax=btorch.linalg.solve로 푸는 편이 수치적으로나 계산적으로 더 적절한 경우가 많다.

#10. 기억할 관점

행렬곱을 단순 공식으로 외우기보다 네 관점을 모두 익히는 것이 좋다.

  1. 행 × 열의 내적
  2. 외적들의 합
  3. B의 각 열에 A를 적용
  4. A의 각 행에 B를 적용

이 네 관점은 이후 fully-connected layer, convolution의 im2col 표현, attention의 projection을 이해할 때 계속 다시 등장한다.


#Part 1.2 선형대수 II — 대칭·트레이스·노름·랭크·행렬식

#1. 대칭행렬과 반대칭행렬

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A=AT.A=A^T.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-001 식별자: MAI3-001

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A=AT.A=-A^T.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-002 식별자: MAI3-002

어떤 정사각행렬도 대칭 성분과 반대칭 성분의 합으로 분해할 수 있다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A=12(A+AT)+12(AAT).A= \frac12(A+A^T)+\frac12(A-A^T).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-003 식별자: MAI3-003

#2. 트레이스

트레이스는 대각 원소의 합이다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
tr(A)=i=1NAi,i.\operatorname{tr}(A)=\sum_{i=1}^{N}A_{i,i}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-004 식별자: MAI3-004

Part I · 학습 수식

수식의 역할과 기호만 확인하기
tr(A)=tr(AT).\operatorname{tr}(A)=\operatorname{tr}(A^T).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-005 식별자: MAI3-005

Part I · 학습 수식

수식의 역할과 기호만 확인하기
tr(A+B)=tr(A)+tr(B).\operatorname{tr}(A+B)=\operatorname{tr}(A)+\operatorname{tr}(B).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-006 식별자: MAI3-006

Part I · 학습 수식

수식의 역할과 기호만 확인하기
tr(tA)=ttr(A).\operatorname{tr}(tA)=t\,\operatorname{tr}(A).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-007 식별자: MAI3-007

Part I · 학습 수식

수식의 역할과 기호만 확인하기
tr(AB)=tr(BA).\operatorname{tr}(AB)=\operatorname{tr}(BA).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-008 식별자: MAI3-008

Part I · 학습 수식

수식의 역할과 기호만 확인하기
tr(ABC)=tr(BCA)=tr(CAB).\operatorname{tr}(ABC)=\operatorname{tr}(BCA)=\operatorname{tr}(CAB).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-009 식별자: MAI3-009

#3. 노름

#3.1 유클리드 노름

Part I · 학습 수식

노름은 여러 성분을 하나의 크기로 요약
x2=i=1Nxi2.\|\mathbf{x}\|_2=\sqrt{\sum_{i=1}^{N}x_i^2}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

벡터·오차가 원점에서 얼마나 큰가?

한 줄 핵심

L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 성분을 제곱한다

    음수와 양수를 모두 양의 기여도로 바꾼다.

  2. 2

    제곱값을 모두 더한다

    ixi2\sum_i x_i^2
  3. 3

    노름이면 제곱근을 취한다

    x2=ixi2\lVert x\rVert_2=\sqrt{\sum_i x_i^2}
  4. 4

    제곱 노름인지 구분한다

    x22=ixi2\lVert x\rVert_2^2=\sum_i x_i^2

Worked example

숫자로 직접 계산 — 3-4-5 벡터

가장 익숙한 피타고라스 예시다.

  1. 1

    벡터

    x=[3,4]Tx=[3,4]^T
  2. 2

    제곱합

    32+42=9+16=253^2+4^2=9+16=25
  3. 3

    제곱근

    25=5\sqrt{25}=5

결과: 따라서 ||x||₂=5, ||x||₂²=25다.

Sanity check

검산 포인트
  • 노름은 항상 0 이상이다.
  • 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-010 식별자: MAI3-010

Part I · 학습 수식

노름은 여러 성분을 하나의 크기로 요약
x22=xTx.\|\mathbf{x}\|_2^2=\mathbf{x}^T\mathbf{x}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

벡터·오차가 원점에서 얼마나 큰가?

한 줄 핵심

L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 성분을 제곱한다

    음수와 양수를 모두 양의 기여도로 바꾼다.

  2. 2

    제곱값을 모두 더한다

    ixi2\sum_i x_i^2
  3. 3

    노름이면 제곱근을 취한다

    x2=ixi2\lVert x\rVert_2=\sqrt{\sum_i x_i^2}
  4. 4

    제곱 노름인지 구분한다

    x22=ixi2\lVert x\rVert_2^2=\sum_i x_i^2

Worked example

숫자로 직접 계산 — 3-4-5 벡터

가장 익숙한 피타고라스 예시다.

  1. 1

    벡터

    x=[3,4]Tx=[3,4]^T
  2. 2

    제곱합

    32+42=9+16=253^2+4^2=9+16=25
  3. 3

    제곱근

    25=5\sqrt{25}=5

결과: 따라서 ||x||₂=5, ||x||₂²=25다.

Sanity check

검산 포인트
  • 노름은 항상 0 이상이다.
  • 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-011 식별자: MAI3-011

노름은 길이의 일반화이며 네 성질을 만족한다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
f(x)0.f(\mathbf{x})\ge 0.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-012 식별자: MAI3-012

Part I · 학습 수식

수식의 역할과 기호만 확인하기
f(x)=0    x=0.f(\mathbf{x})=0\iff \mathbf{x}=0.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-013 식별자: MAI3-013

Part I · 학습 수식

수식의 역할과 기호만 확인하기
f(tx)=tf(x).f(t\mathbf{x})=|t|f(\mathbf{x}).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-014 식별자: MAI3-014

Part I · 학습 수식

수식의 역할과 기호만 확인하기
f(x+y)f(x)+f(y).f(\mathbf{x}+\mathbf{y})\le f(\mathbf{x})+f(\mathbf{y}).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-015 식별자: MAI3-015

다른 대표 노름도 함께 둔다.

Part I · 학습 수식

노름은 여러 성분을 하나의 크기로 요약
x1=i=1Nxi.\|\mathbf{x}\|_1=\sum_{i=1}^{N}|x_i|.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

벡터·오차가 원점에서 얼마나 큰가?

한 줄 핵심

L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 성분을 제곱한다

    음수와 양수를 모두 양의 기여도로 바꾼다.

  2. 2

    제곱값을 모두 더한다

    ixi2\sum_i x_i^2
  3. 3

    노름이면 제곱근을 취한다

    x2=ixi2\lVert x\rVert_2=\sqrt{\sum_i x_i^2}
  4. 4

    제곱 노름인지 구분한다

    x22=ixi2\lVert x\rVert_2^2=\sum_i x_i^2

Worked example

숫자로 직접 계산 — 3-4-5 벡터

가장 익숙한 피타고라스 예시다.

  1. 1

    벡터

    x=[3,4]Tx=[3,4]^T
  2. 2

    제곱합

    32+42=9+16=253^2+4^2=9+16=25
  3. 3

    제곱근

    25=5\sqrt{25}=5

결과: 따라서 ||x||₂=5, ||x||₂²=25다.

Sanity check

검산 포인트
  • 노름은 항상 0 이상이다.
  • 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-016 식별자: MAI3-016

Part I · 학습 수식

MSE는 잔차를 만들고 제곱하고 평균내는 3단계 계산
x=maxixi.\|\mathbf{x}\|_\infty=\max_i |x_i|.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?

한 줄 핵심

예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    예측값을 계산한다

    선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.

    y^=Xw\hat y=Xw
  2. 2

    잔차를 계산한다

    r=y^yr=\hat y-y
  3. 3

    잔차를 제곱한다

    부호를 없애고 큰 오차를 더 크게 반영한다.

    ri2r_i^2
  4. 4

    모두 더해 샘플 수로 나눈다

    MSE=1Li=1Lri2\mathrm{MSE}=\frac{1}{L}\sum_{i=1}^{L}r_i^2

Worked example

숫자로 직접 계산 — 두 샘플 MSE

정답과 예측을 직접 비교한다.

  1. 1

    정답·예측

    y=[3,1],y^=[2,4]y=[3,1],\quad\hat y=[2,4]
  2. 2

    잔차

    y^y=[1,3]\hat y-y=[-1,3]
  3. 3

    제곱

    [1,3]2=[1,9][-1,3]^2=[1,9]
  4. 4

    평균

    (1+9)/2=5(1+9)/2=5

결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.

Sanity check

검산 포인트
  • 샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
  • MSE 단위는 원래 출력 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-017 식별자: MAI3-017

Part I · 학습 수식

노름은 여러 성분을 하나의 크기로 요약
xp=(i=1Nxip)1/p,p1.\|\mathbf{x}\|_p= \left(\sum_{i=1}^{N}|x_i|^p\right)^{1/p},\qquad p\ge1.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

벡터·오차가 원점에서 얼마나 큰가?

한 줄 핵심

L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 성분을 제곱한다

    음수와 양수를 모두 양의 기여도로 바꾼다.

  2. 2

    제곱값을 모두 더한다

    ixi2\sum_i x_i^2
  3. 3

    노름이면 제곱근을 취한다

    x2=ixi2\lVert x\rVert_2=\sqrt{\sum_i x_i^2}
  4. 4

    제곱 노름인지 구분한다

    x22=ixi2\lVert x\rVert_2^2=\sum_i x_i^2

Worked example

숫자로 직접 계산 — 3-4-5 벡터

가장 익숙한 피타고라스 예시다.

  1. 1

    벡터

    x=[3,4]Tx=[3,4]^T
  2. 2

    제곱합

    32+42=9+16=253^2+4^2=9+16=25
  3. 3

    제곱근

    25=5\sqrt{25}=5

결과: 따라서 ||x||₂=5, ||x||₂²=25다.

Sanity check

검산 포인트
  • 노름은 항상 0 이상이다.
  • 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-018 식별자: MAI3-018

행렬에 대해서는 Frobenius 노름이 자주 등장한다.

Part I · 학습 수식

노름은 여러 성분을 하나의 크기로 요약
AF=i=1Mj=1NAi,j2=tr(ATA).\|A\|_F= \sqrt{\sum_{i=1}^{M}\sum_{j=1}^{N}A_{i,j}^2} = \sqrt{\operatorname{tr}(A^TA)}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

벡터·오차가 원점에서 얼마나 큰가?

한 줄 핵심

L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 성분을 제곱한다

    음수와 양수를 모두 양의 기여도로 바꾼다.

  2. 2

    제곱값을 모두 더한다

    ixi2\sum_i x_i^2
  3. 3

    노름이면 제곱근을 취한다

    x2=ixi2\lVert x\rVert_2=\sqrt{\sum_i x_i^2}
  4. 4

    제곱 노름인지 구분한다

    x22=ixi2\lVert x\rVert_2^2=\sum_i x_i^2

Worked example

숫자로 직접 계산 — 3-4-5 벡터

가장 익숙한 피타고라스 예시다.

  1. 1

    벡터

    x=[3,4]Tx=[3,4]^T
  2. 2

    제곱합

    32+42=9+16=253^2+4^2=9+16=25
  3. 3

    제곱근

    25=5\sqrt{25}=5

결과: 따라서 ||x||₂=5, ||x||₂²=25다.

Sanity check

검산 포인트
  • 노름은 항상 0 이상이다.
  • 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-019 식별자: MAI3-019

#4. 선형독립과 랭크

한 벡터가 나머지 벡터의 선형결합으로 표현되면 그 집합은 선형종속이다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
xN=i=1N1αixi.\mathbf{x}_N=\sum_{i=1}^{N-1}\alpha_i\mathbf{x}_i.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
α\alpha학습률·혼합계수·쌍대계수
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-020 식별자: MAI3-020

강의자료의 예시는 다음 세 벡터다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
x1=[123],x2=[415],x3=[231].\mathbf{x}_1= \begin{bmatrix}1\\2\\3\end{bmatrix},\quad \mathbf{x}_2= \begin{bmatrix}4\\1\\5\end{bmatrix},\quad \mathbf{x}_3= \begin{bmatrix}2\\-3\\-1\end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-021 식별자: MAI3-021

Part I · 학습 수식

수식의 역할과 기호만 확인하기
x3=2x1+x2.\mathbf{x}_3=-2\mathbf{x}_1+\mathbf{x}_2.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-022 식별자: MAI3-022

랭크의 기본 성질은 다음과 같다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
rank(A)min(M,N),ARM×N.\operatorname{rank}(A)\le\min(M,N),\qquad A\in\mathbb{R}^{M\times N}.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-023 식별자: MAI3-023

Part I · 학습 수식

수식의 역할과 기호만 확인하기
rank(A)=rank(AT).\operatorname{rank}(A)=\operatorname{rank}(A^T).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-024 식별자: MAI3-024

Part I · 학습 수식

수식의 역할과 기호만 확인하기
rank(AB)min(rank(A),rank(B)).\operatorname{rank}(AB)\le\min(\operatorname{rank}(A),\operatorname{rank}(B)).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-025 식별자: MAI3-025

Part I · 학습 수식

수식의 역할과 기호만 확인하기
rank(A+B)rank(A)+rank(B).\operatorname{rank}(A+B)\le\operatorname{rank}(A)+\operatorname{rank}(B).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-026 식별자: MAI3-026

#5. 역행렬

Part I · 학습 수식

역행렬은 선형변환을 되돌리는 연산
A1A=I=AA1.A^{-1}A=I=AA^{-1}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

A가 적용되기 전의 벡터를 어떻게 복원하는가?

한 줄 핵심

A^{-1}A=I를 이용해 Ax=b의 양변에 역행렬을 곱하면 x=A^{-1}b가 된다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가역 조건을 확인한다

    정사각행렬이고 행렬식이 0이 아니어야 고전적 역행렬이 존재한다.

    det(A)0\det(A)\neq0
  2. 2

    양변 왼쪽에 같은 행렬을 곱한다

    A1Ax=A1bA^{-1}Ax=A^{-1}b
  3. 3

    A^{-1}A를 항등행렬로 바꾼다

    Ix=A1bIx=A^{-1}b
  4. 4

    실제 계산에서는 선형시스템 풀이를 쓴다

    수치적으로는 역행렬을 직접 만들기보다 solve·LU·QR을 쓰는 편이 안정적이다.

Worked example

숫자로 직접 계산 — 2×2 역행렬 검산

작은 행렬에서 되돌림을 직접 확인한다.

  1. 1

    행렬

    A=[2004]A=\begin{bmatrix}2&0\\0&4\end{bmatrix}
  2. 2

    역행렬

    A1=[1/2001/4]A^{-1}=\begin{bmatrix}1/2&0\\0&1/4\end{bmatrix}
  3. 3

    A1A=[1001]=IA^{-1}A=\begin{bmatrix}1&0\\0&1\end{bmatrix}=I

결과: 대각 원소의 역수를 취하면 원래 스케일 변화가 되돌아간다.

Sanity check

검산 포인트
  • det(A)=0이면 역행렬 대신 의사역행렬이나 최소제곱 해가 필요하다.
  • AB=I와 BA=I가 모두 성립하는지 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-027 식별자: MAI3-027

정사각행렬이더라도 singular이면 역행렬이 없다. 비특이 행렬에 대한 성질은 다음과 같다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(A1)1=A.(A^{-1})^{-1}=A.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-028 식별자: MAI3-028

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(AB)1=B1A1.(AB)^{-1}=B^{-1}A^{-1}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-029 식별자: MAI3-029

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(A1)T=(AT)1AT.(A^{-1})^T=(A^T)^{-1}\equiv A^{-T}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-030 식별자: MAI3-030

#6. 직교성과 직교행렬

Part I · 학습 수식

수식의 역할과 기호만 확인하기
xTy=0.\mathbf{x}^T\mathbf{y}=0.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-031 식별자: MAI3-031

Part I · 학습 수식

노름은 여러 성분을 하나의 크기로 요약
x2=1.\|\mathbf{x}\|_2=1.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

벡터·오차가 원점에서 얼마나 큰가?

한 줄 핵심

L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 성분을 제곱한다

    음수와 양수를 모두 양의 기여도로 바꾼다.

  2. 2

    제곱값을 모두 더한다

    ixi2\sum_i x_i^2
  3. 3

    노름이면 제곱근을 취한다

    x2=ixi2\lVert x\rVert_2=\sqrt{\sum_i x_i^2}
  4. 4

    제곱 노름인지 구분한다

    x22=ixi2\lVert x\rVert_2^2=\sum_i x_i^2

Worked example

숫자로 직접 계산 — 3-4-5 벡터

가장 익숙한 피타고라스 예시다.

  1. 1

    벡터

    x=[3,4]Tx=[3,4]^T
  2. 2

    제곱합

    32+42=9+16=253^2+4^2=9+16=25
  3. 3

    제곱근

    25=5\sqrt{25}=5

결과: 따라서 ||x||₂=5, ||x||₂²=25다.

Sanity check

검산 포인트
  • 노름은 항상 0 이상이다.
  • 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-032 식별자: MAI3-032

정사각 직교행렬 U는 열들이 orthonormal이고 다음을 만족한다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
UTU=I=UUT.U^TU=I=UU^T.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-033 식별자: MAI3-033

직사각행렬의 열만 orthonormal일 때는 한쪽만 항등행렬이 된다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
UTU=I,UUTI(URM×N,N<M).U^TU=I,\qquad UU^T\neq I\quad (U\in\mathbb{R}^{M\times N},\,N<M).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-034 식별자: MAI3-034

직교변환은 유클리드 길이를 보존한다.

Part I · 학습 수식

노름은 여러 성분을 하나의 크기로 요약
Ux2=x2.\|U\mathbf{x}\|_2=\|\mathbf{x}\|_2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

벡터·오차가 원점에서 얼마나 큰가?

한 줄 핵심

L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 성분을 제곱한다

    음수와 양수를 모두 양의 기여도로 바꾼다.

  2. 2

    제곱값을 모두 더한다

    ixi2\sum_i x_i^2
  3. 3

    노름이면 제곱근을 취한다

    x2=ixi2\lVert x\rVert_2=\sqrt{\sum_i x_i^2}
  4. 4

    제곱 노름인지 구분한다

    x22=ixi2\lVert x\rVert_2^2=\sum_i x_i^2

Worked example

숫자로 직접 계산 — 3-4-5 벡터

가장 익숙한 피타고라스 예시다.

  1. 1

    벡터

    x=[3,4]Tx=[3,4]^T
  2. 2

    제곱합

    32+42=9+16=253^2+4^2=9+16=25
  3. 3

    제곱근

    25=5\sqrt{25}=5

결과: 따라서 ||x||₂=5, ||x||₂²=25다.

Sanity check

검산 포인트
  • 노름은 항상 0 이상이다.
  • 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-035 식별자: MAI3-035

#7. 행렬식

행렬식의 절댓값은 행벡터가 만드는 평행다포체의 부피로 해석할 수 있다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
S={vRN:v=i=1Nαiai,0αi1}.S= \left\{ \mathbf{v}\in\mathbb{R}^N: \mathbf{v}=\sum_{i=1}^{N}\alpha_i\mathbf{a}_i,\quad 0\le\alpha_i\le1 \right\}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
α\alpha학습률·혼합계수·쌍대계수
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-036 식별자: MAI3-036

강의자료의 2×2 예시는 다음과 같다.

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
A=[1332].A= \begin{bmatrix} 1&3\\ 3&2 \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-037 식별자: MAI3-037

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
a1=[13],a2=[32].\mathbf{a}_1= \begin{bmatrix}1\\3\end{bmatrix},\qquad \mathbf{a}_2= \begin{bmatrix}3\\2\end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-038 식별자: MAI3-038

Part I · 학습 수식

수식의 역할과 기호만 확인하기
det(A)=A=7,det(A)=7.\det(A)=|A|=-7,\qquad |\det(A)|=7.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결

같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-039 식별자: MAI3-039

행렬식의 핵심 성질을 모두 적는다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
I=1.|I|=1.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-040 식별자: MAI3-040

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
det[ta1Ta2TaNT]=tA.\det \begin{bmatrix} t\mathbf{a}_1^T\\ \mathbf{a}_2^T\\ \vdots\\ \mathbf{a}_N^T \end{bmatrix} =t|A|.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-041 식별자: MAI3-041

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
det[a2Ta1TaNT]=A.\det \begin{bmatrix} \mathbf{a}_2^T\\ \mathbf{a}_1^T\\ \vdots\\ \mathbf{a}_N^T \end{bmatrix} =-|A|.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-042 식별자: MAI3-042

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A=AT.|A|=|A^T|.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-043 식별자: MAI3-043

Part I · 학습 수식

수식의 역할과 기호만 확인하기
AB=AB.|AB|=|A||B|.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-044 식별자: MAI3-044

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A=0    A is singular.|A|=0\iff A\ \text{is singular}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-045 식별자: MAI3-045

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A1=1A.|A^{-1}|=\frac{1}{|A|}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI3-046 식별자: MAI3-046

#8. 2026년 수치계산 관점

이 장에서 중요한 현대적 보정은 수학적 정의와 수치계산 코드를 구분하는 것이다.

  • 역행렬은 정의상 중요하지만 실제 계산에서 매번 inv(A) @ b를 만드는 것은 좋은 기본 습관이 아니다. 선형시스템이면 solve가 더 직접적이다.
  • 작은 행렬식은 underflow, 큰 행렬식은 overflow가 날 수 있으므로 로그 행렬식 slogdet가 유용하다.
  • rank는 정확한 기호적 rank가 아니라 부동소수점 tolerance에 의존하는 수치 rank로 취급해야 한다.

최신 PyTorch의 torch.linalg에는 solve, slogdet, matrix_rank, qr, svd, eigh가 모두 포함된다.


#Part 1.3 선형대수 III — 이차형식·고유값·미분

#1. 이차형식

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
xTAx=i=1Nxi(Ax)i=i=1Nj=1NAi,jxixj.\mathbf{x}^TA\mathbf{x} = \sum_{i=1}^{N}x_i(A\mathbf{x})_i = \sum_{i=1}^{N}\sum_{j=1}^{N}A_{i,j}x_i x_j.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-001 식별자: MAI4-001

이차형식에는 A의 대칭 성분만 기여한다.

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
xTAx=(xTAx)T=xTATx=xT(12A+12AT)x.\mathbf{x}^TA\mathbf{x} = (\mathbf{x}^TA\mathbf{x})^T = \mathbf{x}^TA^T\mathbf{x} = \mathbf{x}^T\left(\frac12A+\frac12A^T\right)\mathbf{x}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-002 식별자: MAI4-002

#2. 정부호와 준정부호

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
A0    xTAx>0for all x0.A\succ0 \iff \mathbf{x}^TA\mathbf{x}>0 \quad\text{for all }\mathbf{x}\neq0.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-003 식별자: MAI4-003

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
A0    xTAx0for all x.A\succeq0 \iff \mathbf{x}^TA\mathbf{x}\ge0 \quad\text{for all }\mathbf{x}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-004 식별자: MAI4-004

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
A0    xTAx<0for all x0.A\prec0 \iff \mathbf{x}^TA\mathbf{x}<0 \quad\text{for all }\mathbf{x}\neq0.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-005 식별자: MAI4-005

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
A0    xTAx0for all x.A\preceq0 \iff \mathbf{x}^TA\mathbf{x}\le0 \quad\text{for all }\mathbf{x}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-006 식별자: MAI4-006

indefinite는 어떤 방향에서는 양수, 다른 방향에서는 음수가 되는 경우다.

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
x1,x2:x1TAx1>0,x2TAx2<0.\exists\mathbf{x}_1,\mathbf{x}_2: \quad \mathbf{x}_1^TA\mathbf{x}_1>0,\qquad \mathbf{x}_2^TA\mathbf{x}_2<0.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-007 식별자: MAI4-007

#3. 고유값과 고유벡터

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
Ax=λx,x0.A\mathbf{x}=\lambda\mathbf{x},\qquad \mathbf{x}\neq0.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
λ\lambda정규화 강도 또는 고유값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-008 식별자: MAI4-008

고유값은 trace, determinant, rank와 직접 연결된다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
tr(A)=i=1Nλi.\operatorname{tr}(A)=\sum_{i=1}^{N}\lambda_i.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
λ\lambda정규화 강도 또는 고유값
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-009 식별자: MAI4-009

Part I · 학습 수식

나이브 베이즈는 조건부 독립을 가정해 특징별 우도를 곱함
A=i=1Nλi.|A|=\prod_{i=1}^{N}\lambda_i.
쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

여러 특징을 관측했을 때 어느 클래스의 점수가 가장 큰가?

한 줄 핵심

클래스 사전확률에 각 특징의 조건부 우도를 차례로 곱하고 클래스끼리 비교한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    클래스 사전확률을 준비한다

    P(Sc)P(S_c)
  2. 2

    특징별 조건부 우도를 계산한다

    p(xnSc)p(x_n\mid S_c)
  3. 3

    모두 곱한다

    scorec=P(Sc)np(xnSc)\text{score}_c=P(S_c)\prod_np(x_n\mid S_c)
  4. 4

    수치 안정성을 위해 로그합으로 바꿀 수 있다

    logscorec=logP(Sc)+nlogp(xnSc)\log\text{score}_c=\log P(S_c)+\sum_n\log p(x_n\mid S_c)
  5. 5

    가장 큰 점수의 클래스를 고른다

    c=argmaxcscorecc^*=\arg\max_c\text{score}_c

Worked example

숫자로 직접 계산 — 두 특징·두 클래스

S₁: prior=.6, likelihoods=.8,.5 / S₂: prior=.4, likelihoods=.3,.9다.

  1. 1

    S₁ 점수

    0.60.80.5=0.240.6\cdot0.8\cdot0.5=0.24
  2. 2

    S₂ 점수

    0.40.30.9=0.1080.4\cdot0.3\cdot0.9=0.108

결과: 0.24>0.108이므로 S₁을 선택한다.

Sanity check

검산 포인트
  • 일반 MAP 식에는 사전확률 P(S_c)가 포함된다.
  • 특징 수가 많으면 곱이 underflow되므로 log-domain 계산을 쓴다.

Symbols

이 식에 실제로 나온 기호
기호의미
λ\lambda정규화 강도 또는 고유값
\prod지정된 항을 모두 곱하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-010 식별자: MAI4-010

Part I · 학습 수식

수식의 역할과 기호만 확인하기
rank(A)=#{i:λi0}.\operatorname{rank}(A)=\#\{i:\lambda_i\neq0\}.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
λ\lambda정규화 강도 또는 고유값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-011 식별자: MAI4-011

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A1xi=1λixi.A^{-1}\mathbf{x}_i=\frac{1}{\lambda_i}\mathbf{x}_i.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
λ\lambda정규화 강도 또는 고유값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-012 식별자: MAI4-012

Part I · 학습 수식

수식의 역할과 기호만 확인하기
D=diag(d1,,dN)λi=di.D=\operatorname{diag}(d_1,\ldots,d_N) \quad\Longrightarrow\quad \lambda_i=d_i.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
λ\lambda정규화 강도 또는 고유값
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-013 식별자: MAI4-013

모든 고유벡터 방정식을 한 번에 쓰면 다음과 같다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
AX=XΛ.AX=X\Lambda.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-014 식별자: MAI4-014

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
X=[x1x2xN],Λ=diag(λ1,,λN).X= \begin{bmatrix}\mathbf{x}_1&\mathbf{x}_2&\cdots&\mathbf{x}_N\end{bmatrix}, \qquad \Lambda=\operatorname{diag}(\lambda_1,\ldots,\lambda_N).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
λ\lambda정규화 강도 또는 고유값
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-015 식별자: MAI4-015

X가 invertible이면 A는 diagonalizable이다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A=XΛX1.A=X\Lambda X^{-1}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
XX샘플을 모은 데이터 행렬
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-016 식별자: MAI4-016

#4. 대칭행렬의 고유분해

대칭행렬의 고유값은 실수이고 고유벡터를 orthonormal하게 잡을 수 있다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
A=UΛUT.A=U\Lambda U^T.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-017 식별자: MAI4-017

이 구조 덕분에 definiteness는 고유값의 부호로 판정할 수 있다.

Part I · 학습 수식

연립방정식은 제약식을 동시에 만족시키는 값 찾기
xTAx=xTUΛUTx=yTΛy=i=1Nλiyi2.\mathbf{x}^TA\mathbf{x} = \mathbf{x}^TU\Lambda U^T\mathbf{x} = \mathbf{y}^T\Lambda\mathbf{y} = \sum_{i=1}^{N}\lambda_i y_i^2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?

한 줄 핵심

각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    행별 방정식으로 펼친다

    행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.

    Ai,:x=biA_{i,:}x=b_i
  2. 2

    한 변수를 없앤다

    두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.

  3. 3

    남은 값을 역대입한다

    구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.

  4. 4

    모든 식에 다시 대입한다

    계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.

    Ax=?bAx\stackrel{?}=b

Worked example

숫자로 직접 계산 — 2×2 연립방정식 직접 풀기

두 직선의 교점을 구한다고 생각한다.

  1. 1

    문제

    2x+y=5,xy=12x+y=5,\qquad x-y=1
  2. 2

    두 식을 더해 y를 소거

    3x=6x=23x=6\Rightarrow x=2
  3. 3

    두 번째 식에 역대입

    2y=1y=12-y=1\Rightarrow y=1
  4. 4

    검산

    2(2)+1=5,21=12(2)+1=5,\qquad 2-1=1

결과: 따라서 해는 (x,y)=(2,1)이다.

Sanity check

검산 포인트
  • 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
  • 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터
λ\lambda정규화 강도 또는 고유값
\sum지정된 항을 모두 더하는 연산
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-018 식별자: MAI4-018

Part I · 학습 수식

수식의 역할과 기호만 확인하기
y=UTx.\mathbf{y}=U^T\mathbf{x}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-019 식별자: MAI4-019

#5. 행렬에 대한 기울기

스칼라값을 출력하는 함수가 행렬을 입력받는 경우 기울기는 입력 행렬과 같은 크기의 편미분 행렬이다.

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
Af(A)RM×N,(Af(A))i,j=f(A)Ai,j.\nabla_A f(A)\in\mathbb{R}^{M\times N},\qquad \left(\nabla_A f(A)\right)_{i,j} = \frac{\partial f(A)}{\partial A_{i,j}}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
\nabla각 변수 방향의 미분값을 모은 기울기
\partial특정 변수에 대한 편미분

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-020 식별자: MAI4-020

벡터 입력의 경우는 익숙한 gradient가 된다.

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
xf(x)=[fx1fx2fxN].\nabla_{\mathbf{x}}f(\mathbf{x}) = \begin{bmatrix} \frac{\partial f}{\partial x_1}\\ \frac{\partial f}{\partial x_2}\\ \vdots\\ \frac{\partial f}{\partial x_N} \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\nabla각 변수 방향의 미분값을 모은 기울기
\partial특정 변수에 대한 편미분

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-021 식별자: MAI4-021

선형성도 그대로 유지된다.

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
x(f(x)+g(x))=xf(x)+xg(x).\nabla_{\mathbf{x}}\big(f(\mathbf{x})+g(\mathbf{x})\big) = \nabla_{\mathbf{x}}f(\mathbf{x})+\nabla_{\mathbf{x}}g(\mathbf{x}).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\nabla각 변수 방향의 미분값을 모은 기울기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-022 식별자: MAI4-022

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
x(tf(x))=txf(x).\nabla_{\mathbf{x}}\big(tf(\mathbf{x})\big) = t\nabla_{\mathbf{x}}f(\mathbf{x}).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\nabla각 변수 방향의 미분값을 모은 기울기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-023 식별자: MAI4-023

#6. 헤시안

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
x2f(x)RN×N,(x2f(x))i,j=2f(x)xixj.\nabla_{\mathbf{x}}^2 f(\mathbf{x})\in\mathbb{R}^{N\times N},\qquad \left(\nabla_{\mathbf{x}}^2 f(\mathbf{x})\right)_{i,j} = \frac{\partial^2 f(\mathbf{x})}{\partial x_i\partial x_j}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\nabla각 변수 방향의 미분값을 모은 기울기
\partial특정 변수에 대한 편미분

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-024 식별자: MAI4-024

충분히 매끄러운 함수라면 혼합편미분이 같아 Hessian은 대칭이다.

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
2f(x)xixj=2f(x)xjxi.\frac{\partial^2f(\mathbf{x})}{\partial x_i\partial x_j} = \frac{\partial^2f(\mathbf{x})}{\partial x_j\partial x_i}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\partial특정 변수에 대한 편미분

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-025 식별자: MAI4-025

#7. 선형·이차함수의 미분 공식

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
xbTx=b.\nabla_{\mathbf{x}}\mathbf{b}^T\mathbf{x}=\mathbf{b}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\nabla각 변수 방향의 미분값을 모은 기울기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-026 식별자: MAI4-026

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
xxTAx=2Ax(A=AT).\nabla_{\mathbf{x}}\mathbf{x}^TA\mathbf{x}=2A\mathbf{x} \qquad(A=A^T).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\nabla각 변수 방향의 미분값을 모은 기울기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-027 식별자: MAI4-027

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
x2xTAx=2A(A=AT).\nabla_{\mathbf{x}}^2\mathbf{x}^TA\mathbf{x}=2A \qquad(A=A^T).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\nabla각 변수 방향의 미분값을 모은 기울기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI4-028 식별자: MAI4-028

#8. 2026년 자동미분 관점

현재 PyTorch에서는 이 장의 gradient, Jacobian, Hessian을 손으로 전개하지 않고도 계산할 수 있다. 하지만 자동미분이 수학을 없애는 것은 아니다. shape, symmetry, positive definiteness, conditioning을 모르면 결과를 잘못 해석하기 쉽다.

2026년 8월 현재 PyTorch 2.13의 torch.func는 다음을 직접 제공한다.

  • grad
  • vjp, jvp
  • jacrev, jacfwd
  • hessian
  • vmap

특히 Hessian은 2차 미분이므로 메모리와 계산량이 급격히 커질 수 있다. 실제 대규모 모델에서는 Hessian 전체보다 Hessian-vector product 같은 구조를 쓰는 경우가 많다.


#Part 1.4 퍼셉트론·컨볼루션·DNN

#1. 생물학적 뉴런에서 퍼셉트론으로

퍼셉트론은 생물학적 뉴런을 그대로 복제하는 모델이 아니라, 입력값 → 가중합 → 비선형/임계 함수 → 출력이라는 계산 구조로 추상화한 모델이다.

다층 신경망의 한 뉴런은 강의자료의 그림 속 수식으로 다음처럼 쓸 수 있다.

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
zi()=j=1n1wi,j()aj(1)+bi().z_i^{(\ell)} = \sum_{j=1}^{n_{\ell-1}} w_{i,j}^{(\ell)}a_j^{(\ell-1)} +b_i^{(\ell)}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-001 식별자: MAI5-001

Part I · 학습 수식

수식의 역할과 기호만 확인하기
ai()=h ⁣(zi()).a_i^{(\ell)}=h\!\left(z_i^{(\ell)}\right).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-002 식별자: MAI5-002

#2. 2차원 직선에서 N차원 초평면으로

2차원 직선은 다음처럼 쓸 수 있다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
y=ax+c.y=ax+c.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-003 식별자: MAI5-003

일반적인 선형 경계 형태로 바꾸면 다음과 같다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
w1x1+w2x2+b=0.w_1x_1+w_2x_2+b=0.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-004 식별자: MAI5-004

N차원에서는 초평면이 된다.

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
n=1Nwnxn+b=0.\sum_{n=1}^{N}w_nx_n+b=0.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-005 식별자: MAI5-005

Part I · 학습 수식

수식의 역할과 기호만 확인하기
wTx+b=0.\mathbf{w}^T\mathbf{x}+b=0.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
w\mathbf{w}학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-006 식별자: MAI5-006

#3. 퍼셉트론의 판별 함수

Part I · 학습 수식

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔
d(x)=sign(g(x)),g(x)=wTx+b.d(\mathbf{x})=\operatorname{sign}(g(\mathbf{x})), \qquad g(\mathbf{x})=\mathbf{w}^T\mathbf{x}+b.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    특징과 가중치를 같은 위치끼리 곱한다

    wixiw_ix_i
  2. 2

    모든 곱을 더하고 bias를 더한다

    g(x)=wTx+bg(x)=w^Tx+b
  3. 3

    부호를 확인한다

    g(x)>0+1,g(x)<01g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1
  4. 4

    필요하면 경계까지 거리를 구한다

    distance=g(x)/w2\mathrm{distance}=|g(x)|/\lVert w\rVert_2

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

  1. 1

    가중합

    13+(2)1+0.5=1.51\cdot3+(-2)\cdot1+0.5=1.5
  2. 2

    클래스

    sign(1.5)=+1\operatorname{sign}(1.5)=+1
  3. 3

    경계까지 거리

    1.5/12+(2)20.671.5/\sqrt{1^2+(-2)^2}\approx0.67

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트
  • w와 x의 차원이 같아야 한다.
  • 거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
w\mathbf{w}학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-007 식별자: MAI5-007

Part I · 학습 수식

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔
sign(a)={1,a<0,0,a=0,1,a>0.\operatorname{sign}(a)= \begin{cases} -1,&a<0,\\ 0,&a=0,\\ 1,&a>0. \end{cases}
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    특징과 가중치를 같은 위치끼리 곱한다

    wixiw_ix_i
  2. 2

    모든 곱을 더하고 bias를 더한다

    g(x)=wTx+bg(x)=w^Tx+b
  3. 3

    부호를 확인한다

    g(x)>0+1,g(x)<01g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1
  4. 4

    필요하면 경계까지 거리를 구한다

    distance=g(x)/w2\mathrm{distance}=|g(x)|/\lVert w\rVert_2

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

  1. 1

    가중합

    13+(2)1+0.5=1.51\cdot3+(-2)\cdot1+0.5=1.5
  2. 2

    클래스

    sign(1.5)=+1\operatorname{sign}(1.5)=+1
  3. 3

    경계까지 거리

    1.5/12+(2)20.671.5/\sqrt{1^2+(-2)^2}\approx0.67

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트
  • w와 x의 차원이 같아야 한다.
  • 거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-008 식별자: MAI5-008

#3.1 결정경계의 기하학

  • 경계면은 weight vector \mathbf{w}에 수직이다.
  • bias는 경계면의 위치를 이동시킨다.
  • 원자료의 b/\|w\|_2는 부호 있는 거리로 읽을 수 있다. 비음수인 기하학적 거리는 |b|/\|w\|_2다.

Part I · 학습 수식

MSE는 잔차를 만들고 제곱하고 평균내는 3단계 계산
dist(0,boundary)=bw2.\operatorname{dist}(0,\text{boundary})=\frac{b}{\|\mathbf{w}\|_2}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?

한 줄 핵심

예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    예측값을 계산한다

    선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.

    y^=Xw\hat y=Xw
  2. 2

    잔차를 계산한다

    r=y^yr=\hat y-y
  3. 3

    잔차를 제곱한다

    부호를 없애고 큰 오차를 더 크게 반영한다.

    ri2r_i^2
  4. 4

    모두 더해 샘플 수로 나눈다

    MSE=1Li=1Lri2\mathrm{MSE}=\frac{1}{L}\sum_{i=1}^{L}r_i^2

Worked example

숫자로 직접 계산 — 두 샘플 MSE

정답과 예측을 직접 비교한다.

  1. 1

    정답·예측

    y=[3,1],y^=[2,4]y=[3,1],\quad\hat y=[2,4]
  2. 2

    잔차

    y^y=[1,3]\hat y-y=[-1,3]
  3. 3

    제곱

    [1,3]2=[1,9][-1,3]^2=[1,9]
  4. 4

    평균

    (1+9)/2=5(1+9)/2=5

결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.

Sanity check

검산 포인트
  • 샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
  • MSE 단위는 원래 출력 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
w\mathbf{w}학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-009 식별자: MAI5-009

부호까지 포함한 점 x의 경계면 상대 위치는 다음 값으로 읽을 수 있다.

Part I · 학습 수식

MSE는 잔차를 만들고 제곱하고 평균내는 3단계 계산
signed distance(x)=g(x)w2.\operatorname{signed\ distance}(\mathbf{x}) = \frac{g(\mathbf{x})}{\|\mathbf{w}\|_2}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?

한 줄 핵심

예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    예측값을 계산한다

    선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.

    y^=Xw\hat y=Xw
  2. 2

    잔차를 계산한다

    r=y^yr=\hat y-y
  3. 3

    잔차를 제곱한다

    부호를 없애고 큰 오차를 더 크게 반영한다.

    ri2r_i^2
  4. 4

    모두 더해 샘플 수로 나눈다

    MSE=1Li=1Lri2\mathrm{MSE}=\frac{1}{L}\sum_{i=1}^{L}r_i^2

Worked example

숫자로 직접 계산 — 두 샘플 MSE

정답과 예측을 직접 비교한다.

  1. 1

    정답·예측

    y=[3,1],y^=[2,4]y=[3,1],\quad\hat y=[2,4]
  2. 2

    잔차

    y^y=[1,3]\hat y-y=[-1,3]
  3. 3

    제곱

    [1,3]2=[1,9][-1,3]^2=[1,9]
  4. 4

    평균

    (1+9)/2=5(1+9)/2=5

결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.

Sanity check

검산 포인트
  • 샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
  • MSE 단위는 원래 출력 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
w\mathbf{w}학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-010 식별자: MAI5-010

Part I · 학습 수식

수식의 역할과 기호만 확인하기
g(x)=0on the plane,g(x)>0on the positive side,g(x)<0on the negative side.\begin{aligned} g(\mathbf{x})&=0 &&\text{on the plane},\\ g(\mathbf{x})&>0 &&\text{on the positive side},\\ g(\mathbf{x})&<0 &&\text{on the negative side}. \end{aligned}
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-011 식별자: MAI5-011

#4. 선형분리 가능한 학습집합과 제로 오차

Part I · 학습 수식

수식의 역할과 기호만 확인하기
D={(x1,y1),,(xM,yM)}.\mathcal{D}= \{(\mathbf{x}_1,y_1),\ldots,(\mathbf{x}_M,y_M)\}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-012 식별자: MAI5-012

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(ym=1g(xm)>0)  (ym=1g(xm)<0),m.\big(y_m=1\land g(\mathbf{x}_m)>0\big) \ \lor\ \big(y_m=-1\land g(\mathbf{x}_m)<0\big), \qquad\forall m.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-013 식별자: MAI5-013

한 줄로는 다음과 같다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
ymg(xm)>0,m.y_m\,g(\mathbf{x}_m)>0,\qquad\forall m.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-014 식별자: MAI5-014

#5. 비선형 판별기와 컨볼루션

DNN의 핵심 구성 중 하나인 convolution을 연속형부터 적는다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
(fg)(t)=f(τ)g(tτ)dτ.(f*g)(t) = \int_{-\infty}^{\infty} f(\tau)g(t-\tau)\,d\tau.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-015 식별자: MAI5-015

이산형은 다음 두 표현이 동치다.

Part I · 학습 수식

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복
(fg)[n]=m=f[m]g[nm].(f*g)[n] = \sum_{m=-\infty}^{\infty} f[m]\,g[n-m].
쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    커널 방향과 경계조건을 확인한다

    수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.

  2. 2

    출력 위치에 커널을 맞춘다

    stride·padding에 따라 겹치는 입력 영역이 정해진다.

  3. 3

    겹친 원소끼리 곱한다

    f[k]h[nk]f[k]h[n-k]
  4. 4

    곱을 모두 더한다

    g[n]=kf[k]h[nk]g[n]=\sum_k f[k]h[n-k]
  5. 5

    다음 위치로 이동해 반복한다

    2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

  1. 1

    첫 위치

    11=11\cdot1=1
  2. 2

    두 번째 위치

    11+21=31\cdot1+2\cdot1=3
  3. 3

    세 번째 위치

    21+31=52\cdot1+3\cdot1=5
  4. 4

    마지막 위치

    31=33\cdot1=3

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트
  • 출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
  • 커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-016 식별자: MAI5-016

Part I · 학습 수식

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복
(fg)[n]=m=f[nm]g[m].(f*g)[n] = \sum_{m=-\infty}^{\infty} f[n-m]\,g[m].
쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    커널 방향과 경계조건을 확인한다

    수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.

  2. 2

    출력 위치에 커널을 맞춘다

    stride·padding에 따라 겹치는 입력 영역이 정해진다.

  3. 3

    겹친 원소끼리 곱한다

    f[k]h[nk]f[k]h[n-k]
  4. 4

    곱을 모두 더한다

    g[n]=kf[k]h[nk]g[n]=\sum_k f[k]h[n-k]
  5. 5

    다음 위치로 이동해 반복한다

    2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

  1. 1

    첫 위치

    11=11\cdot1=1
  2. 2

    두 번째 위치

    11+21=31\cdot1+2\cdot1=3
  3. 3

    세 번째 위치

    21+31=52\cdot1+3\cdot1=5
  4. 4

    마지막 위치

    31=33\cdot1=3

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트
  • 출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
  • 커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI5-017 식별자: MAI5-017

#6. DNN에서 자주 쓰는 모듈

강의자료의 PyTorch 목록을 한국어 기능 중심으로 재구성하면 다음과 같다.

모듈역할
nn.Linear전결합 선형변환
nn.Conv2d2차원 컨볼루션
nn.ConvTranspose2d전치 컨볼루션 기반 업샘플링
nn.ReLU비선형 활성화
nn.MaxPool2d최대 풀링
nn.AvgPool2d평균 풀링
nn.Upsample보간 기반 업샘플링
nn.Dropout학습 중 임의 비활성화를 통한 정규화

#7. 2026년 업데이트: CNN 다음에 무엇이 왔나

CNN의 수학이 낡은 것은 아니다. 다만 현대 비전 모델의 선택지는 훨씬 넓다.

  • Vision Transformer는 이미지를 patch sequence로 보고 attention만으로도 강한 이미지 인식 성능을 만들 수 있음을 보였다.
  • PyTorch 2.13은 scaled_dot_product_attention을 제공하고, FlashAttention-2 계열을 포함한 여러 backend로 dispatch할 수 있다.
  • torch.compile은 모델 코드를 graph로 포착해 최적화하는 현재 PyTorch의 핵심 실행 경로다.
  • CNN은 여전히 저수준 특징추출, 임베디드 비전, 복원, 의료영상, hybrid architecture에서 광범위하게 쓰인다.

즉, 이 강의의 퍼셉트론 → 컨볼루션 → DNN 흐름은 역사적 기초이고, 그 위에 attention과 foundation model이 추가되었다고 보는 것이 정확하다.


#Part 1.5 확률변수·조건부확률·조건부기대값

#1. 실수 확률변수의 CDF와 PDF

Part I · 학습 수식

수식의 역할과 기호만 확인하기
FX(x)=P{Xx},xR.F_X(x)=P\{X\le x\},\qquad \forall x\in\mathbb{R}.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

PMF에서 expectation·variance·conditional law까지

작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-001 식별자: MAI6-001

Part I · 학습 수식

수식의 역할과 기호만 확인하기
limtFX(t)=1,limtFX(t)=0.\lim_{t\to\infty}F_X(t)=1,\qquad \lim_{t\to-\infty}F_X(t)=0.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-002 식별자: MAI6-002

Part I · 학습 수식

수식의 역할과 기호만 확인하기
pX(x)=dFX(x)dx.p_X(x)=\frac{dF_X(x)}{dx}.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

PMF에서 expectation·variance·conditional law까지

작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-003 식별자: MAI6-003

#2. 이산·연속 분포

강의에서 대표 이산 확률변수로 Bernoulli, Binomial, Poisson을 들고, 연속 확률변수로 Uniform, Gaussian, Laplace를 든다.

포아송 PMF는 다음과 같다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
P{X=k}=eλλkk!,k=0,1,2,,λ>0.P\{X=k\}=e^{-\lambda}\frac{\lambda^k}{k!}, \qquad k=0,1,2,\ldots,\quad \lambda>0.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
λ\lambda정규화 강도 또는 고유값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-004 식별자: MAI6-004

평균 μ, 분산 σ²의 단변량 Gaussian PDF는 다음과 같다.

Part I · 학습 수식

분산은 평균에서 떨어진 거리의 제곱을 평균낸 값
pX(x)=12πσ2exp ⁣(12(xμ)2σ2).p_X(x) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\!\left( -\frac12\frac{(x-\mu)^2}{\sigma^2} \right).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?

한 줄 핵심

각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균을 구한다

    μ=E[X]\mu=E[X]
  2. 2

    평균과의 차이를 구한다

    XμX-\mu
  3. 3

    차이를 제곱한다

    (Xμ)2(X-\mu)^2
  4. 4

    기댓값을 취한다

    Var(X)=E[(Xμ)2]\operatorname{Var}(X)=E[(X-\mu)^2]

Worked example

숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}

앞 예시의 평균 μ=2.1을 사용한다.

  1. 1

    제곱편차

    (12.1)2=1.21, (22.1)2=0.01, (32.1)2=0.81(1-2.1)^2=1.21,\ (2-2.1)^2=0.01,\ (3-2.1)^2=0.81
  2. 2

    확률 가중합

    0.2(1.21)+0.5(0.01)+0.3(0.81)=0.490.2(1.21)+0.5(0.01)+0.3(0.81)=0.49

결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.

Sanity check

검산 포인트
  • 분산은 음수가 될 수 없다.
  • 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
σ\sigma표준편차 또는 시그모이드 표기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-005 식별자: MAI6-005

#3. 독립성

Part I · 학습 수식

수식의 역할과 기호만 확인하기
pX,Y(x,y)=pX(x)pY(y).p_{X,Y}(x,y)=p_X(x)p_Y(y).
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

PMF에서 expectation·variance·conditional law까지

작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-006 식별자: MAI6-006

#4. 평균·기대값·분산·상관

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
μX=E[X]=xpX(x)dx.\mu_X=E[X]=\int x\,p_X(x)\,dx.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Formula-specific lesson

PMF에서 expectation·variance·conditional law까지

작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-007 식별자: MAI6-007

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[g(X)]=g(x)pX(x)dx.E[g(X)]=\int g(x)p_X(x)\,dx.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Formula-specific lesson

PMF에서 expectation·variance·conditional law까지

작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-008 식별자: MAI6-008

Part I · 학습 수식

분산은 평균에서 떨어진 거리의 제곱을 평균낸 값
Var(X)=E ⁣[XE[X]2]=E[X2]E[X]2.\operatorname{Var}(X) = E\!\left[|X-E[X]|^2\right] = E[|X|^2]-|E[X]|^2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?

한 줄 핵심

각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균을 구한다

    μ=E[X]\mu=E[X]
  2. 2

    평균과의 차이를 구한다

    XμX-\mu
  3. 3

    차이를 제곱한다

    (Xμ)2(X-\mu)^2
  4. 4

    기댓값을 취한다

    Var(X)=E[(Xμ)2]\operatorname{Var}(X)=E[(X-\mu)^2]

Worked example

숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}

앞 예시의 평균 μ=2.1을 사용한다.

  1. 1

    제곱편차

    (12.1)2=1.21, (22.1)2=0.01, (32.1)2=0.81(1-2.1)^2=1.21,\ (2-2.1)^2=0.01,\ (3-2.1)^2=0.81
  2. 2

    확률 가중합

    0.2(1.21)+0.5(0.01)+0.3(0.81)=0.490.2(1.21)+0.5(0.01)+0.3(0.81)=0.49

결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.

Sanity check

검산 포인트
  • 분산은 음수가 될 수 없다.
  • 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-009 식별자: MAI6-009

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[XY]=xypX,Y(x,y)dxdy.E[XY^*] = \iint xy^*p_{X,Y}(x,y)\,dx\,dy.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-010 식별자: MAI6-010

복소 확률변수의 실수부·허수부까지 펼치면 상관의 적분은 4차원이 된다.

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[XY]=\iiiint(a+ib)(cid)pXr,Xi,Yr,Yi(a,b,c,d)dadbdcdd.E[XY^*] = \iiiint (a+ib)(c-id)\, p_{X_r,X_i,Y_r,Y_i}(a,b,c,d)\, da\,db\,dc\,dd.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-011 식별자: MAI6-011

#5. 공분산

Part I · 학습 수식

공분산은 두 변수가 평균에서 함께 움직이는 방향을 측정
Cov(X,Y)=E[(XE[X])(YE[Y])]=E[XY]E[X]E[Y].\operatorname{Cov}(X,Y) = E[(X-E[X])(Y-E[Y])^*] = E[XY^*]-E[X]E[Y^*].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

X가 평균보다 클 때 Y도 함께 커지는가?

한 줄 핵심

각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.

Formula-specific lesson

PMF에서 expectation·variance·conditional law까지

작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 변수의 평균을 구한다

    μX=E[X],μY=E[Y]\mu_X=E[X],\quad\mu_Y=E[Y]
  2. 2

    편차를 계산한다

    XμX,YμYX-\mu_X,\quad Y-\mu_Y
  3. 3

    편차끼리 곱한다

    (XμX)(YμY)(X-\mu_X)(Y-\mu_Y)
  4. 4

    기댓값 또는 표본평균을 취한다

    Cov(X,Y)=E[(XμX)(YμY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

Worked example

숫자로 직접 계산 — 두 샘플의 공분산 방향

X=[1,3], Y=[2,6]이며 평균은 2와 4다.

  1. 1

    편차

    X2=[1,1],Y4=[2,2]X-2=[-1,1],\quad Y-4=[-2,2]
  2. 2

    편차곱

    [2,2][2,2]
  3. 3

    평균

    (2+2)/2=2(2+2)/2=2

결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.

Sanity check

검산 포인트
  • Cov(X,X)=Var(X)다.
  • 공분산 0은 일반적으로 독립을 보장하지 않는다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-012 식별자: MAI6-012

ensemble mean과 유한 샘플의 sample mean은 구분해야 한다.

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
xˉ=1Nn=1Nxn.\bar{x}=\frac1N\sum_{n=1}^{N}x_n.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-013 식별자: MAI6-013

공분산 성질을 모두 적는다.

Part I · 학습 수식

공분산은 두 변수가 평균에서 함께 움직이는 방향을 측정
Cov(X,Y)=E[XY]μXμY.\operatorname{Cov}(X,Y) = E[XY^*]-\mu_X\mu_Y^*.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

X가 평균보다 클 때 Y도 함께 커지는가?

한 줄 핵심

각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 변수의 평균을 구한다

    μX=E[X],μY=E[Y]\mu_X=E[X],\quad\mu_Y=E[Y]
  2. 2

    편차를 계산한다

    XμX,YμYX-\mu_X,\quad Y-\mu_Y
  3. 3

    편차끼리 곱한다

    (XμX)(YμY)(X-\mu_X)(Y-\mu_Y)
  4. 4

    기댓값 또는 표본평균을 취한다

    Cov(X,Y)=E[(XμX)(YμY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

Worked example

숫자로 직접 계산 — 두 샘플의 공분산 방향

X=[1,3], Y=[2,6]이며 평균은 2와 4다.

  1. 1

    편차

    X2=[1,1],Y4=[2,2]X-2=[-1,1],\quad Y-4=[-2,2]
  2. 2

    편차곱

    [2,2][2,2]
  3. 3

    평균

    (2+2)/2=2(2+2)/2=2

결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.

Sanity check

검산 포인트
  • Cov(X,X)=Var(X)다.
  • 공분산 0은 일반적으로 독립을 보장하지 않는다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-014 식별자: MAI6-014

Part I · 학습 수식

공분산은 두 변수가 평균에서 함께 움직이는 방향을 측정
Cov(X,Y)=Cov(Y,X).\operatorname{Cov}(X,Y) = \operatorname{Cov}^*(Y,X).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

X가 평균보다 클 때 Y도 함께 커지는가?

한 줄 핵심

각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 변수의 평균을 구한다

    μX=E[X],μY=E[Y]\mu_X=E[X],\quad\mu_Y=E[Y]
  2. 2

    편차를 계산한다

    XμX,YμYX-\mu_X,\quad Y-\mu_Y
  3. 3

    편차끼리 곱한다

    (XμX)(YμY)(X-\mu_X)(Y-\mu_Y)
  4. 4

    기댓값 또는 표본평균을 취한다

    Cov(X,Y)=E[(XμX)(YμY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

Worked example

숫자로 직접 계산 — 두 샘플의 공분산 방향

X=[1,3], Y=[2,6]이며 평균은 2와 4다.

  1. 1

    편차

    X2=[1,1],Y4=[2,2]X-2=[-1,1],\quad Y-4=[-2,2]
  2. 2

    편차곱

    [2,2][2,2]
  3. 3

    평균

    (2+2)/2=2(2+2)/2=2

결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.

Sanity check

검산 포인트
  • Cov(X,X)=Var(X)다.
  • 공분산 0은 일반적으로 독립을 보장하지 않는다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-015 식별자: MAI6-015

Part I · 학습 수식

공분산은 두 변수가 평균에서 함께 움직이는 방향을 측정
Cov(X,X)=Var(X).\operatorname{Cov}(X,X)=\operatorname{Var}(X).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

X가 평균보다 클 때 Y도 함께 커지는가?

한 줄 핵심

각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 변수의 평균을 구한다

    μX=E[X],μY=E[Y]\mu_X=E[X],\quad\mu_Y=E[Y]
  2. 2

    편차를 계산한다

    XμX,YμYX-\mu_X,\quad Y-\mu_Y
  3. 3

    편차끼리 곱한다

    (XμX)(YμY)(X-\mu_X)(Y-\mu_Y)
  4. 4

    기댓값 또는 표본평균을 취한다

    Cov(X,Y)=E[(XμX)(YμY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

Worked example

숫자로 직접 계산 — 두 샘플의 공분산 방향

X=[1,3], Y=[2,6]이며 평균은 2와 4다.

  1. 1

    편차

    X2=[1,1],Y4=[2,2]X-2=[-1,1],\quad Y-4=[-2,2]
  2. 2

    편차곱

    [2,2][2,2]
  3. 3

    평균

    (2+2)/2=2(2+2)/2=2

결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.

Sanity check

검산 포인트
  • Cov(X,X)=Var(X)다.
  • 공분산 0은 일반적으로 독립을 보장하지 않는다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-016 식별자: MAI6-016

Part I · 학습 수식

공분산은 두 변수가 평균에서 함께 움직이는 방향을 측정
Cov(aX+b,cY+d)=acCov(X,Y).\operatorname{Cov}(aX+b,cY+d) = ac^*\operatorname{Cov}(X,Y).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

X가 평균보다 클 때 Y도 함께 커지는가?

한 줄 핵심

각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 변수의 평균을 구한다

    μX=E[X],μY=E[Y]\mu_X=E[X],\quad\mu_Y=E[Y]
  2. 2

    편차를 계산한다

    XμX,YμYX-\mu_X,\quad Y-\mu_Y
  3. 3

    편차끼리 곱한다

    (XμX)(YμY)(X-\mu_X)(Y-\mu_Y)
  4. 4

    기댓값 또는 표본평균을 취한다

    Cov(X,Y)=E[(XμX)(YμY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

Worked example

숫자로 직접 계산 — 두 샘플의 공분산 방향

X=[1,3], Y=[2,6]이며 평균은 2와 4다.

  1. 1

    편차

    X2=[1,1],Y4=[2,2]X-2=[-1,1],\quad Y-4=[-2,2]
  2. 2

    편차곱

    [2,2][2,2]
  3. 3

    평균

    (2+2)/2=2(2+2)/2=2

결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.

Sanity check

검산 포인트
  • Cov(X,X)=Var(X)다.
  • 공분산 0은 일반적으로 독립을 보장하지 않는다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-017 식별자: MAI6-017

Part I · 학습 수식

공분산은 두 변수가 평균에서 함께 움직이는 방향을 측정
Cov(X,Y)σXσY,σX2=Var(X), σY2=Var(Y).|\operatorname{Cov}(X,Y)|\le\sigma_X\sigma_Y, \qquad \sigma_X^2=\operatorname{Var}(X),\ \sigma_Y^2=\operatorname{Var}(Y).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

X가 평균보다 클 때 Y도 함께 커지는가?

한 줄 핵심

각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 변수의 평균을 구한다

    μX=E[X],μY=E[Y]\mu_X=E[X],\quad\mu_Y=E[Y]
  2. 2

    편차를 계산한다

    XμX,YμYX-\mu_X,\quad Y-\mu_Y
  3. 3

    편차끼리 곱한다

    (XμX)(YμY)(X-\mu_X)(Y-\mu_Y)
  4. 4

    기댓값 또는 표본평균을 취한다

    Cov(X,Y)=E[(XμX)(YμY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

Worked example

숫자로 직접 계산 — 두 샘플의 공분산 방향

X=[1,3], Y=[2,6]이며 평균은 2와 4다.

  1. 1

    편차

    X2=[1,1],Y4=[2,2]X-2=[-1,1],\quad Y-4=[-2,2]
  2. 2

    편차곱

    [2,2][2,2]
  3. 3

    평균

    (2+2)/2=2(2+2)/2=2

결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.

Sanity check

검산 포인트
  • Cov(X,X)=Var(X)다.
  • 공분산 0은 일반적으로 독립을 보장하지 않는다.

Symbols

이 식에 실제로 나온 기호
기호의미
σ\sigma표준편차 또는 시그모이드 표기
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-018 식별자: MAI6-018

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[XY]E[X2]E[Y2].|E[XY^*]| \le \sqrt{E[|X|^2]E[|Y|^2]}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-019 식별자: MAI6-019

Part I · 학습 수식

공분산은 두 변수가 평균에서 함께 움직이는 방향을 측정
XYE[XY]=μXμYCov(X,Y)=0.X\perp Y \quad\Longrightarrow\quad E[XY]=\mu_X\mu_Y \quad\Longrightarrow\quad \operatorname{Cov}(X,Y)=0.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

X가 평균보다 클 때 Y도 함께 커지는가?

한 줄 핵심

각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 변수의 평균을 구한다

    μX=E[X],μY=E[Y]\mu_X=E[X],\quad\mu_Y=E[Y]
  2. 2

    편차를 계산한다

    XμX,YμYX-\mu_X,\quad Y-\mu_Y
  3. 3

    편차끼리 곱한다

    (XμX)(YμY)(X-\mu_X)(Y-\mu_Y)
  4. 4

    기댓값 또는 표본평균을 취한다

    Cov(X,Y)=E[(XμX)(YμY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

Worked example

숫자로 직접 계산 — 두 샘플의 공분산 방향

X=[1,3], Y=[2,6]이며 평균은 2와 4다.

  1. 1

    편차

    X2=[1,1],Y4=[2,2]X-2=[-1,1],\quad Y-4=[-2,2]
  2. 2

    편차곱

    [2,2][2,2]
  3. 3

    평균

    (2+2)/2=2(2+2)/2=2

결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.

Sanity check

검산 포인트
  • Cov(X,X)=Var(X)다.
  • 공분산 0은 일반적으로 독립을 보장하지 않는다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값
CC전체 클래스 수 또는 행렬—문맥 확인
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-020 식별자: MAI6-020

역은 일반적으로 성립하지 않는다. 다만 jointly Gaussian에서는 uncorrelated가 independence로 이어지는 특별한 성질이 있다.

Part I · 학습 수식

공분산은 두 변수가 평균에서 함께 움직이는 방향을 측정
Cov ⁣(nXn,mYm)=ijCov(Xi,Yj).\operatorname{Cov}\!\left(\sum_n X_n,\sum_mY_m\right) = \sum_i\sum_j\operatorname{Cov}(X_i,Y_j).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

X가 평균보다 클 때 Y도 함께 커지는가?

한 줄 핵심

각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 변수의 평균을 구한다

    μX=E[X],μY=E[Y]\mu_X=E[X],\quad\mu_Y=E[Y]
  2. 2

    편차를 계산한다

    XμX,YμYX-\mu_X,\quad Y-\mu_Y
  3. 3

    편차끼리 곱한다

    (XμX)(YμY)(X-\mu_X)(Y-\mu_Y)
  4. 4

    기댓값 또는 표본평균을 취한다

    Cov(X,Y)=E[(XμX)(YμY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

Worked example

숫자로 직접 계산 — 두 샘플의 공분산 방향

X=[1,3], Y=[2,6]이며 평균은 2와 4다.

  1. 1

    편차

    X2=[1,1],Y4=[2,2]X-2=[-1,1],\quad Y-4=[-2,2]
  2. 2

    편차곱

    [2,2][2,2]
  3. 3

    평균

    (2+2)/2=2(2+2)/2=2

결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.

Sanity check

검산 포인트
  • Cov(X,X)=Var(X)다.
  • 공분산 0은 일반적으로 독립을 보장하지 않는다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-021 식별자: MAI6-021

#6. Cauchy–Schwarz의 벡터 증명

강의자료의 각주에 있는 전개도 빠뜨리지 않는다.

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
n=1Nn=1N(xnynxnyn)2=nxn2nyn2+nyn2nxn22nxnynnxnyn=2(nxn2)(nyn2)2(nxnyn)2.\begin{aligned} \sum_{n=1}^{N}\sum_{n'=1}^{N} (x_ny_{n'}-x_{n'}y_n)^2 &= \sum_n x_n^2\sum_{n'}y_{n'}^2 + \sum_n y_n^2\sum_{n'}x_{n'}^2\\ &\quad- 2\sum_n x_ny_n\sum_{n'}x_{n'}y_{n'}\\ &= 2\left(\sum_nx_n^2\right) \left(\sum_ny_n^2\right) - 2\left(\sum_nx_ny_n\right)^2. \end{aligned}
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-022 식별자: MAI6-022

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
(n=1Nxn2)(n=1Nyn2)(n=1Nxnyn)2.\left(\sum_{n=1}^{N}x_n^2\right) \left(\sum_{n=1}^{N}y_n^2\right) \ge \left(\sum_{n=1}^{N}x_ny_n\right)^2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-023 식별자: MAI6-023

#7. 조건부확률

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
P(AB).P(A\mid B).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Formula-specific lesson

PMF에서 expectation·variance·conditional law까지

작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
P()P(\cdot)사건의 확률

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-024 식별자: MAI6-024

Part I · 학습 수식

수식의 역할과 기호만 확인하기
FY(y)=limxFX,Y(x,y).F_Y(y)=\lim_{x\to\infty}F_{X,Y}(x,y).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-025 식별자: MAI6-025

Part I · 학습 수식

수식의 역할과 기호만 확인하기
FX,Y(x,y)=yFXY(xt)dFY(t).F_{X,Y}(x,y) = \int_{-\infty}^{y} F_{X\mid Y}(x\mid t)\,dF_Y(t).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-026 식별자: MAI6-026

Part I · 학습 수식

수식의 역할과 기호만 확인하기
FXY(xy)=dFX,Y(x,y)dy(dFX,Y(,y)dy)1.F_{X\mid Y}(x\mid y) = \frac{dF_{X,Y}(x,y)}{dy} \left( \frac{dF_{X,Y}(\infty,y)}{dy} \right)^{-1}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-027 식별자: MAI6-027

밀도함수 형태로 바꾸면 더 익숙해진다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
pX,Y(x,y)=d2FX,Y(x,y)dxdy.p_{X,Y}(x,y) = \frac{d^2F_{X,Y}(x,y)}{dx\,dy}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-028 식별자: MAI6-028

Part I · 학습 수식

수식의 역할과 기호만 확인하기
pY(y)=dF(,y)dy.p_Y(y)=\frac{dF(\infty,y)}{dy}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-029 식별자: MAI6-029

Part I · 학습 수식

수식의 역할과 기호만 확인하기
pXY(xy)=pX,Y(x,y)pY(y).p_{X\mid Y}(x\mid y) = \frac{p_{X,Y}(x,y)}{p_Y(y)}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-030 식별자: MAI6-030

독립이면 조건을 걸어도 X의 분포가 바뀌지 않는다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
pXY(xy)=pX(x),x,y with pY(y)>0.p_{X\mid Y}(x\mid y)=p_X(x), \qquad \forall x,y\ \text{with }p_Y(y)>0.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-031 식별자: MAI6-031

#8. 조건부기대값

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[XY]=xdFXY(xY).E[X\mid Y] = \int_{-\infty}^{\infty} x\,dF_{X\mid Y}(x\mid Y).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Formula-specific lesson

PMF에서 expectation·variance·conditional law까지

작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-032 식별자: MAI6-032

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[XY]=xpXY(xY)dx.E[X\mid Y] = \int_{-\infty}^{\infty} x\,p_{X\mid Y}(x\mid Y)\,dx.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Formula-specific lesson

PMF에서 expectation·variance·conditional law까지

작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-033 식별자: MAI6-033

조건부기대값은 Y의 함수이므로 그 자체가 확률변수다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
IA(X)={1,XA,0,otherwise.I_A(X)= \begin{cases} 1,&X\in A,\\ 0,&\text{otherwise}. \end{cases}
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-034 식별자: MAI6-034

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
P{XAY}=E[IA(X)Y].P\{X\in A\mid Y\}=E[I_A(X)\mid Y].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-035 식별자: MAI6-035

#8.1 Filtration property

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[E[XY,Z]Y]=E[XY].E[E[X\mid Y,Z]\mid Y]=E[X\mid Y].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-036 식별자: MAI6-036

강의자료 각주에 제시된 filtration 성질의 적분 전개도 남긴다.

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[XY=y]=xpXY(xy)dx=xpX,Y(x,y)pY(y)dx=xpX,Y,Z(x,y,z)dzpY(y)dx=pY,Z(y,z)pY(y){xpXY,Z(xy,z)dx}dz=pZY(zy)E[XY=y,Z=z]dz=E[E[XY,Z]Y=y].\begin{aligned} E[X\mid Y=y] &=\int x\,p_{X\mid Y}(x\mid y)\,dx\\ &=\int x\,\frac{p_{X,Y}(x,y)}{p_Y(y)}\,dx\\ &=\int x\,\frac{\int p_{X,Y,Z}(x,y,z)\,dz}{p_Y(y)}\,dx\\ &=\int \frac{p_{Y,Z}(y,z)}{p_Y(y)} \left\{\int x\,p_{X\mid Y,Z}(x\mid y,z)\,dx\right\}dz\\ &=\int p_{Z\mid Y}(z\mid y)\,E[X\mid Y=y,Z=z]\,dz\\ &=E[E[X\mid Y,Z]\mid Y=y]. \end{aligned}
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-036A 식별자: MAI6-036A

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[X]=E[E[XY]].E[X]=E[E[X\mid Y]].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-037 식별자: MAI6-037

#8.2 이미 알려진 양을 조건으로 둘 때

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[f(X)ZX,Y]=f(X)E[ZX,Y].E[f(X)Z\mid X,Y] = f(X)E[Z\mid X,Y].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-038 식별자: MAI6-038

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[XX,Y]=X.E[X\mid X,Y]=X.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-039 식별자: MAI6-039

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[E[XY,Z]Y]=E[XY]=E[E[XY]Y,Z].E[E[X\mid Y,Z]\mid Y] = E[X\mid Y] = E[E[X\mid Y]\mid Y,Z].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-040 식별자: MAI6-040

#9. deterministic인가 random인가

강의의 체크 질문도 식으로 남긴다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
Y=f(X).Y=f(X).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-041 식별자: MAI6-041

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
μ=E[X].\mu=E[X].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-042 식별자: MAI6-042

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
X^=E[XZ].\widehat{X}=E[X\mid Z].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-043 식별자: MAI6-043

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
X^=E[XZ=z0].\widehat{X}=E[X\mid Z=z_0].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI6-044 식별자: MAI6-044

해석은 다음과 같다.

  • Y=f(X): 일반적으로 확률변수
  • \mu=E[X]: 분포가 고정되면 deterministic scalar
  • E[X\mid Z]: Z의 함수이므로 확률변수
  • E[X\mid Z=z_0]: 특정 z₀에 조건을 고정하면 deterministic quantity

#10. 2026년 구현 관점

2026년 8월 현재 PyTorch 2.13의 torch.distributions는 Bernoulli, Normal, Poisson 같은 분포를 단순 샘플링 도구로만 다루지 않는다. log_prob, entropy, reparameterized sampling 등을 통해 확률모형을 계산 그래프와 연결한다.

따라서 이 장의 조건부확률과 기대값은 고전 통계의 언어이면서 동시에 VAE, 확률적 정책, Bayesian layer, uncertainty estimation을 구현하는 기본 언어다.


#Part 1.6 확률벡터·결합 가우시안·WSS·전력스펙트럼

#1. 확률벡터

Part I · 학습 수식

수식의 역할과 기호만 확인하기
X=(X1,,XN)X,X=RN or CN.\mathbf{X}=(X_1,\ldots,X_N)\in\mathcal{X}, \qquad \mathcal{X}=\mathbb{R}^N\ \text{or}\ \mathbb{C}^N.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-001 식별자: MAI7-001

Part I · 학습 수식

수식의 역할과 기호만 확인하기
FX(x1,,xN)=P{X1x1,,XNxN}.F_{\mathbf{X}}(x_1,\ldots,x_N) = P\{X_1\le x_1,\ldots,X_N\le x_N\}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-002 식별자: MAI7-002

Part I · 학습 수식

수식의 역할과 기호만 확인하기
limtnFX(t1,,tN)=1,limtnFX(t1,,tN)=0.\lim_{t_n\to\infty} F_{\mathbf{X}}(t_1,\ldots,t_N)=1,\qquad \lim_{t_n\to-\infty} F_{\mathbf{X}}(t_1,\ldots,t_N)=0.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-003 식별자: MAI7-003

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
pX(x)=NFX(x1,,xN)x1xN.p_{\mathbf{X}}(\mathbf{x}) = \frac{\partial^N F_{\mathbf{X}}(x_1,\ldots,x_N)} {\partial x_1\cdots\partial x_N}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
X\mathbf{X}샘플을 모은 데이터 행렬
\partial특정 변수에 대한 편미분

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-004 식별자: MAI7-004

#2. 다변량 가우시안

Part I · 학습 수식

가우시안 밀도는 평균에서의 표준화 거리로 가능성을 계산
XN(μ,C).\mathbf{X}\sim\mathcal{N}(\boldsymbol{\mu},C).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?

한 줄 핵심

평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균에서의 차이를 구한다

    r=xμr=x-\mu
  2. 2

    분산·공분산으로 거리 스케일을 보정한다

    d2=rTΣ1rd^2=r^T\Sigma^{-1}r
  3. 3

    지수 감쇠를 계산한다

    exp(d2/2)\exp(-d^2/2)
  4. 4

    정규화 상수로 나눈다

    (2π)N/2Σ1/2(2\pi)^{N/2}|\Sigma|^{1/2}

Worked example

숫자로 직접 계산 — 표준정규에서 x=1

μ=0, σ=1인 1차원 가우시안이다.

  1. 1

    표준화 거리

    z=(10)/1=1z=(1-0)/1=1
  2. 2

    지수항

    e12/2=e0.50.6065e^{-1^2/2}=e^{-0.5}\approx0.6065
  3. 3

    정규화

    0.6065/2π0.24200.6065/\sqrt{2\pi}\approx0.2420

결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.

Sanity check

검산 포인트
  • Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
  • 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
μ\mu평균
N\mathcal{N}가우시안 분포
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-005 식별자: MAI7-005

Part I · 학습 수식

수식의 역할과 기호만 확인하기
pX(x)=1det(2πC)exp ⁣(12(xμ)HC1(xμ)).p_{\mathbf{X}}(\mathbf{x}) = \frac{1}{\sqrt{\det(2\pi C)}} \exp\!\left( -\frac12 (\mathbf{x}-\boldsymbol{\mu})^H C^{-1} (\mathbf{x}-\boldsymbol{\mu}) \right).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
X\mathbf{X}샘플을 모은 데이터 행렬
μ\mu평균
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-006 식별자: MAI7-006

Part I · 학습 수식

수식의 역할과 기호만 확인하기
det(αC)=αNdet(C),CCN×N.\det(\alpha C)=\alpha^N\det(C), \qquad C\in\mathbb{C}^{N\times N}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
α\alpha학습률·혼합계수·쌍대계수
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-007 식별자: MAI7-007

#3. 확률벡터의 기대값·상관·공분산

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[X]=XxpX(x)dx.E[\mathbf{X}] = \int_{\mathcal{X}}\mathbf{x}\,p_{\mathbf{X}}(\mathbf{x})\,d\mathbf{x}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
X\mathbf{X}샘플을 모은 데이터 행렬
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-008 식별자: MAI7-008

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[g(X)]=Xg(x)pX(x)dx.E[g(\mathbf{X})] = \int_{\mathcal{X}}g(\mathbf{x})p_{\mathbf{X}}(\mathbf{x})\,d\mathbf{x}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
X\mathbf{X}샘플을 모은 데이터 행렬
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-009 식별자: MAI7-009

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
RX=E[XXH],[RX]i,j=E[XiXj]=XxixjpX(x)dx.R_{\mathbf{X}} = E[\mathbf{X}\mathbf{X}^H], \qquad [R_{\mathbf{X}}]_{i,j} = E[X_iX_j^*] = \int_{\mathcal{X}} x_i x_j^* p_{\mathbf{X}}(\mathbf{x})\,d\mathbf{x}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
X\mathbf{X}샘플을 모은 데이터 행렬
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-010 식별자: MAI7-010

Part I · 학습 수식

공분산은 두 변수가 평균에서 함께 움직이는 방향을 측정
CX,Y=E[(XE[X])(YE[Y])H],[CX,Y]i,j=Cov(Xi,Yj).C_{\mathbf{X},\mathbf{Y}} = E[(\mathbf{X}-E[\mathbf{X}]) (\mathbf{Y}-E[\mathbf{Y}])^H], \qquad [C_{\mathbf{X},\mathbf{Y}}]_{i,j} = \operatorname{Cov}(X_i,Y_j).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

X가 평균보다 클 때 Y도 함께 커지는가?

한 줄 핵심

각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 변수의 평균을 구한다

    μX=E[X],μY=E[Y]\mu_X=E[X],\quad\mu_Y=E[Y]
  2. 2

    편차를 계산한다

    XμX,YμYX-\mu_X,\quad Y-\mu_Y
  3. 3

    편차끼리 곱한다

    (XμX)(YμY)(X-\mu_X)(Y-\mu_Y)
  4. 4

    기댓값 또는 표본평균을 취한다

    Cov(X,Y)=E[(XμX)(YμY)]\operatorname{Cov}(X,Y)=E[(X-\mu_X)(Y-\mu_Y)]

Worked example

숫자로 직접 계산 — 두 샘플의 공분산 방향

X=[1,3], Y=[2,6]이며 평균은 2와 4다.

  1. 1

    편차

    X2=[1,1],Y4=[2,2]X-2=[-1,1],\quad Y-4=[-2,2]
  2. 2

    편차곱

    [2,2][2,2]
  3. 3

    평균

    (2+2)/2=2(2+2)/2=2

결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.

Sanity check

검산 포인트
  • Cov(X,X)=Var(X)다.
  • 공분산 0은 일반적으로 독립을 보장하지 않는다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-011 식별자: MAI7-011

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
CX,X=RXE[X]E[X]H.C_{\mathbf{X},\mathbf{X}} = R_{\mathbf{X}} - E[\mathbf{X}]E[\mathbf{X}]^H.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-012 식별자: MAI7-012

성분이 독립이면 공분산행렬은 대각행렬이 된다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
CX,X=diag(σ12,,σN2).C_{\mathbf{X},\mathbf{X}} = \operatorname{diag}(\sigma_1^2,\ldots,\sigma_N^2).
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
σ\sigma표준편차 또는 시그모이드 표기
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-013 식별자: MAI7-013

양의 정부호 행렬의 quadratic form도 다시 등장한다.

Part I · 학습 수식

노름은 여러 성분을 하나의 크기로 요약
xA2=xHAx>0,xCN, x0.\|\mathbf{x}\|_A^2 = \mathbf{x}^HA\mathbf{x}>0, \qquad \forall\mathbf{x}\in\mathbb{C}^N,\ \mathbf{x}\neq0.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

벡터·오차가 원점에서 얼마나 큰가?

한 줄 핵심

L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 성분을 제곱한다

    음수와 양수를 모두 양의 기여도로 바꾼다.

  2. 2

    제곱값을 모두 더한다

    ixi2\sum_i x_i^2
  3. 3

    노름이면 제곱근을 취한다

    x2=ixi2\lVert x\rVert_2=\sqrt{\sum_i x_i^2}
  4. 4

    제곱 노름인지 구분한다

    x22=ixi2\lVert x\rVert_2^2=\sum_i x_i^2

Worked example

숫자로 직접 계산 — 3-4-5 벡터

가장 익숙한 피타고라스 예시다.

  1. 1

    벡터

    x=[3,4]Tx=[3,4]^T
  2. 2

    제곱합

    32+42=9+16=253^2+4^2=9+16=25
  3. 3

    제곱근

    25=5\sqrt{25}=5

결과: 따라서 ||x||₂=5, ||x||₂²=25다.

Sanity check

검산 포인트
  • 노름은 항상 0 이상이다.
  • 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-014 식별자: MAI7-014

#4. 공분산의 직교대각화와 decorrelation

Part I · 학습 수식

수식의 역할과 기호만 확인하기
C=EΛEH.C=E\Lambda E^H.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-015 식별자: MAI7-015

Part I · 학습 수식

수식의 역할과 기호만 확인하기
X~=EHX.\widetilde{\mathbf{X}}=E^H\mathbf{X}.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

quadratic form·eigenvalue·covariance·PCA 축

하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-016 식별자: MAI7-016

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[X~X~H]=Λ.E[\widetilde{\mathbf{X}}\widetilde{\mathbf{X}}^H]=\Lambda.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-017 식별자: MAI7-017

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[X~iX~j]=0,ij.E[\widetilde{X}_i\widetilde{X}_j]=0, \qquad i\neq j.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-018 식별자: MAI7-018

복소값 벡터에서는 통상 다음과 같이 켤레를 포함한다.

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[X~iX~j]=0,ij.E[\widetilde{X}_i\widetilde{X}_j^*]=0, \qquad i\neq j.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-018C 식별자: MAI7-018C

jointly Gaussian이면 uncorrelated components가 jointly independent로 이어진다.

#5. 결합 가우시안의 조건부기대값

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E[XY]=AY+b.E[\mathbf{X}\mid\mathbf{Y}] = A\mathbf{Y}+\mathbf{b}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-019 식별자: MAI7-019

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
E ⁣[(XE[XY])(XE[XY])HY]=C.E\!\left[ (\mathbf{X}-E[\mathbf{X}\mid\mathbf{Y}]) (\mathbf{X}-E[\mathbf{X}\mid\mathbf{Y}])^H \mid\mathbf{Y} \right] = C.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-020 식별자: MAI7-020

#6. M개의 i.i.d. Gaussian vector 예제

Part I · 학습 수식

행렬곱은 행과 열의 내적을 반복하는 계산
X=[X1XM].\mathbf{X}= \begin{bmatrix} \mathbf{X}_1&\cdots&\mathbf{X}_M \end{bmatrix}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    곱셈 가능 여부를 확인한다

    안쪽 차원이 같아야 한다.

    (m×n)(n×p)(m×p)(m\times n)(n\times p)\rightarrow(m\times p)
  2. 2

    출력 위치 하나를 고른다

    출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.

  3. 3

    같은 인덱스끼리 곱해 더한다

    Cij=kAikBkjC_{ij}=\sum_k A_{ik}B_{kj}
  4. 4

    모든 행·열 조합에 반복한다

    이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

  1. 1

    입력

    A=[1234],x=[56]A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}
  2. 2

    첫 번째 행

    15+26=171\cdot5+2\cdot6=17
  3. 3

    두 번째 행

    35+46=393\cdot5+4\cdot6=39

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트
  • 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
  • 출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-021 식별자: MAI7-021

Part I · 학습 수식

가우시안 밀도는 평균에서의 표준화 거리로 가능성을 계산
pX(x)=m=1M1(2π)N/2C1/2exp ⁣{12(xmμ)TC1(xmμ)}.p_{\mathbf{X}}(\mathbf{x}) = \prod_{m=1}^{M} \frac{1}{(2\pi)^{N/2}}|C|^{-1/2} \exp\!\left\{ -\frac12 (\mathbf{x}_m-\boldsymbol{\mu})^T C^{-1} (\mathbf{x}_m-\boldsymbol{\mu}) \right\}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?

한 줄 핵심

평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균에서의 차이를 구한다

    r=xμr=x-\mu
  2. 2

    분산·공분산으로 거리 스케일을 보정한다

    d2=rTΣ1rd^2=r^T\Sigma^{-1}r
  3. 3

    지수 감쇠를 계산한다

    exp(d2/2)\exp(-d^2/2)
  4. 4

    정규화 상수로 나눈다

    (2π)N/2Σ1/2(2\pi)^{N/2}|\Sigma|^{1/2}

Worked example

숫자로 직접 계산 — 표준정규에서 x=1

μ=0, σ=1인 1차원 가우시안이다.

  1. 1

    표준화 거리

    z=(10)/1=1z=(1-0)/1=1
  2. 2

    지수항

    e12/2=e0.50.6065e^{-1^2/2}=e^{-0.5}\approx0.6065
  3. 3

    정규화

    0.6065/2π0.24200.6065/\sqrt{2\pi}\approx0.2420

결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.

Sanity check

검산 포인트
  • Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
  • 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
X\mathbf{X}샘플을 모은 데이터 행렬
μ\mu평균
\prod지정된 항을 모두 곱하는 연산
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-022 식별자: MAI7-022

Part I · 학습 수식

가우시안 밀도는 평균에서의 표준화 거리로 가능성을 계산
pX(x)=1(2π)MN/2C1/2exp ⁣{12m=1M(xmμ)TC1(xmμ)}.p_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(2\pi)^{MN/2}}|C|^{-1/2} \exp\!\left\{ -\frac12 \sum_{m=1}^{M} (\mathbf{x}_m-\boldsymbol{\mu})^T C^{-1} (\mathbf{x}_m-\boldsymbol{\mu}) \right\}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?

한 줄 핵심

평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균에서의 차이를 구한다

    r=xμr=x-\mu
  2. 2

    분산·공분산으로 거리 스케일을 보정한다

    d2=rTΣ1rd^2=r^T\Sigma^{-1}r
  3. 3

    지수 감쇠를 계산한다

    exp(d2/2)\exp(-d^2/2)
  4. 4

    정규화 상수로 나눈다

    (2π)N/2Σ1/2(2\pi)^{N/2}|\Sigma|^{1/2}

Worked example

숫자로 직접 계산 — 표준정규에서 x=1

μ=0, σ=1인 1차원 가우시안이다.

  1. 1

    표준화 거리

    z=(10)/1=1z=(1-0)/1=1
  2. 2

    지수항

    e12/2=e0.50.6065e^{-1^2/2}=e^{-0.5}\approx0.6065
  3. 3

    정규화

    0.6065/2π0.24200.6065/\sqrt{2\pi}\approx0.2420

결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.

Sanity check

검산 포인트
  • Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
  • 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
X\mathbf{X}샘플을 모은 데이터 행렬
μ\mu평균
\sum지정된 항을 모두 더하는 연산
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-023 식별자: MAI7-023

위 식은 원자료에 보이는 표기를 그대로 남긴 것이다. 각 밀도에 |C|^{-1/2}가 하나씩 있으므로 독립인 M개 벡터의 결합밀도 정규화 상수는 다음처럼 교정된다.

Part I · 학습 수식

가우시안 밀도는 평균에서의 표준화 거리로 가능성을 계산
pX(x)=1(2π)MN/2CM/2exp ⁣{12m=1M(xmμ)TC1(xmμ)}.p_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(2\pi)^{MN/2}}|C|^{-M/2} \exp\!\left\{ -\frac12 \sum_{m=1}^{M} (\mathbf{x}_m-\boldsymbol{\mu})^T C^{-1} (\mathbf{x}_m-\boldsymbol{\mu}) \right\}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?

한 줄 핵심

평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균에서의 차이를 구한다

    r=xμr=x-\mu
  2. 2

    분산·공분산으로 거리 스케일을 보정한다

    d2=rTΣ1rd^2=r^T\Sigma^{-1}r
  3. 3

    지수 감쇠를 계산한다

    exp(d2/2)\exp(-d^2/2)
  4. 4

    정규화 상수로 나눈다

    (2π)N/2Σ1/2(2\pi)^{N/2}|\Sigma|^{1/2}

Worked example

숫자로 직접 계산 — 표준정규에서 x=1

μ=0, σ=1인 1차원 가우시안이다.

  1. 1

    표준화 거리

    z=(10)/1=1z=(1-0)/1=1
  2. 2

    지수항

    e12/2=e0.50.6065e^{-1^2/2}=e^{-0.5}\approx0.6065
  3. 3

    정규화

    0.6065/2π0.24200.6065/\sqrt{2\pi}\approx0.2420

결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.

Sanity check

검산 포인트
  • Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
  • 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
X\mathbf{X}샘플을 모은 데이터 행렬
μ\mu평균
\sum지정된 항을 모두 더하는 연산
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-023C 식별자: MAI7-023C

강의자료는 두 sample statistic을 다음처럼 합(sum) 으로 정의한다. 첫 번째 식은 일반적인 sample mean의 1/M이 없는 점에 주의한다. 이 예제에서는 충분통계 전개를 위한 합으로 읽는 것이 안전하다.

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
μ^=m=1MXm.\widehat{\boldsymbol{\mu}} = \sum_{m=1}^{M}\mathbf{X}_m.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
μ\mu평균
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-024 식별자: MAI7-024

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
C^=m=1MXmXmT=XXT.\widehat{C} = \sum_{m=1}^{M}\mathbf{X}_m\mathbf{X}_m^T = \mathbf{X}\mathbf{X}^T.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
X\mathbf{X}샘플을 모은 데이터 행렬
\sum지정된 항을 모두 더하는 연산
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-025 식별자: MAI7-025

Part I · 학습 수식

가우시안 밀도는 평균에서의 표준화 거리로 가능성을 계산
pX(x)=1(2π)MN/2C1/2exp ⁣{12tr(C^C1)+μ^TC1μM2μTC1μ}.p_{\mathbf{X}}(\mathbf{x}) = \frac{1}{(2\pi)^{MN/2}}|C|^{-1/2} \exp\!\left\{ -\frac12\operatorname{tr}(\widehat{C}C^{-1}) + \widehat{\boldsymbol{\mu}}^TC^{-1}\boldsymbol{\mu} - \frac{M}{2}\boldsymbol{\mu}^TC^{-1}\boldsymbol{\mu} \right\}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?

한 줄 핵심

평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균에서의 차이를 구한다

    r=xμr=x-\mu
  2. 2

    분산·공분산으로 거리 스케일을 보정한다

    d2=rTΣ1rd^2=r^T\Sigma^{-1}r
  3. 3

    지수 감쇠를 계산한다

    exp(d2/2)\exp(-d^2/2)
  4. 4

    정규화 상수로 나눈다

    (2π)N/2Σ1/2(2\pi)^{N/2}|\Sigma|^{1/2}

Worked example

숫자로 직접 계산 — 표준정규에서 x=1

μ=0, σ=1인 1차원 가우시안이다.

  1. 1

    표준화 거리

    z=(10)/1=1z=(1-0)/1=1
  2. 2

    지수항

    e12/2=e0.50.6065e^{-1^2/2}=e^{-0.5}\approx0.6065
  3. 3

    정규화

    0.6065/2π0.24200.6065/\sqrt{2\pi}\approx0.2420

결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.

Sanity check

검산 포인트
  • Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
  • 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
X\mathbf{X}샘플을 모은 데이터 행렬
μ\mu평균
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-026 식별자: MAI7-026

Part I · 학습 수식

수식의 역할과 기호만 확인하기
tr(AB)=tr(BA).\operatorname{tr}(AB)=\operatorname{tr}(BA).
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-027 식별자: MAI7-027

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
tr(A)=iAi,i.\operatorname{tr}(A)=\sum_i A_{i,i}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-028 식별자: MAI7-028

#7. 2D 이산 랜덤과정

Part I · 학습 수식

수식의 역할과 기호만 확인하기
Xs,s=(s1,s2)Z2,SZ2.X_{\mathbf{s}}, \qquad \mathbf{s}=(s_1,s_2)\in\mathbb{Z}^2, \qquad \mathcal{S}\subseteq\mathbb{Z}^2.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-029 식별자: MAI7-029

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
μs=E[Xs].\mu_{\mathbf{s}}=E[X_{\mathbf{s}}].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-030 식별자: MAI7-030

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
Rs,r=E[XsXr].R_{\mathbf{s},\mathbf{r}} = E[X_{\mathbf{s}}X_{\mathbf{r}}^*].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-031 식별자: MAI7-031

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
Cs,r=E[(Xsμs)(Xrμr)]=Rs,rμsμr.C_{\mathbf{s},\mathbf{r}} = E[(X_{\mathbf{s}}-\mu_{\mathbf{s}}) (X_{\mathbf{r}}-\mu_{\mathbf{r}})^*] = R_{\mathbf{s},\mathbf{r}} - \mu_{\mathbf{s}}\mu_{\mathbf{r}}^*.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-032 식별자: MAI7-032

#8. WSS

2차 정상 랜덤과정 중 평균과 공분산이 이동에 대해 불변이면 wide-sense stationary로 둔다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
μs=μ(0,0).\mu_{\mathbf{s}}=\mu_{(0,0)}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-033 식별자: MAI7-033

Part I · 학습 수식

수식의 역할과 기호만 확인하기
Cr,r+s=C(0,0),s.C_{\mathbf{r},\mathbf{r}+\mathbf{s}} = C_{(0,0),\mathbf{s}}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-034 식별자: MAI7-034

WSS 성질을 모두 적는다.

Part I · 학습 수식

기댓값은 가능한 값에 확률을 곱해 모두 더한 장기 평균
Rs,(0,0)=E[XsX(0,0)]=E[Xs+rXr],rZ2.R_{\mathbf{s},(0,0)} = E[X_{\mathbf{s}}X_{(0,0)}^*] = E[X_{\mathbf{s}+\mathbf{r}}X_{\mathbf{r}}^*], \qquad\forall\mathbf{r}\in\mathbb{Z}^2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?

한 줄 핵심

각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    가능한 값과 확률을 짝지운다

    (xi,pi)(x_i,p_i)
  2. 2

    각 값에 확률을 곱한다

    xipix_ip_i
  3. 3

    모두 더한다

    E[X]=ixipiE[X]=\sum_i x_ip_i
  4. 4

    확률의 합을 확인한다

    ipi=1\sum_i p_i=1

Worked example

숫자로 직접 계산 — 이산 확률변수 평균

X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.

  1. 1

    가중값

    1(0.2), 2(0.5), 3(0.3)1(0.2),\ 2(0.5),\ 3(0.3)
  2. 2

    0.2+1.0+0.9=2.10.2+1.0+0.9=2.1

결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.

Sanity check

검산 포인트
  • 확률 또는 밀도가 정규화되어야 한다.
  • E[g(X)]는 일반적으로 g(E[X])와 같지 않다.

Symbols

이 식에 실제로 나온 기호
기호의미
E[]E[\cdot]가능한 값의 확률가중평균인 기댓값

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-035 식별자: MAI7-035

Part I · 학습 수식

수식의 역할과 기호만 확인하기
Ys=Xs+s0.Y_{\mathbf{s}}=X_{\mathbf{s}+\mathbf{s}_0}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-036 식별자: MAI7-036

Part I · 학습 수식

수식의 역할과 기호만 확인하기
μY=μX,RY=RX.\mu_Y=\mu_X,\qquad R_Y=R_X.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-037 식별자: MAI7-037

Part I · 학습 수식

분산은 평균에서 떨어진 거리의 제곱을 평균낸 값
Cs,(0,0)=Var(Xs).C_{\mathbf{s},(0,0)} = \operatorname{Var}(X_{\mathbf{s}}).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?

한 줄 핵심

각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균을 구한다

    μ=E[X]\mu=E[X]
  2. 2

    평균과의 차이를 구한다

    XμX-\mu
  3. 3

    차이를 제곱한다

    (Xμ)2(X-\mu)^2
  4. 4

    기댓값을 취한다

    Var(X)=E[(Xμ)2]\operatorname{Var}(X)=E[(X-\mu)^2]

Worked example

숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}

앞 예시의 평균 μ=2.1을 사용한다.

  1. 1

    제곱편차

    (12.1)2=1.21, (22.1)2=0.01, (32.1)2=0.81(1-2.1)^2=1.21,\ (2-2.1)^2=0.01,\ (3-2.1)^2=0.81
  2. 2

    확률 가중합

    0.2(1.21)+0.5(0.01)+0.3(0.81)=0.490.2(1.21)+0.5(0.01)+0.3(0.81)=0.49

결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.

Sanity check

검산 포인트
  • 분산은 음수가 될 수 없다.
  • 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-038 식별자: MAI7-038

Part I · 학습 수식

분산은 평균에서 떨어진 거리의 제곱을 평균낸 값
Rs,(0,0)=Var(Xs)+μs2.R_{\mathbf{s},(0,0)} = \operatorname{Var}(X_{\mathbf{s}}) + |\mu_{\mathbf{s}}|^2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?

한 줄 핵심

각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균을 구한다

    μ=E[X]\mu=E[X]
  2. 2

    평균과의 차이를 구한다

    XμX-\mu
  3. 3

    차이를 제곱한다

    (Xμ)2(X-\mu)^2
  4. 4

    기댓값을 취한다

    Var(X)=E[(Xμ)2]\operatorname{Var}(X)=E[(X-\mu)^2]

Worked example

숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}

앞 예시의 평균 μ=2.1을 사용한다.

  1. 1

    제곱편차

    (12.1)2=1.21, (22.1)2=0.01, (32.1)2=0.81(1-2.1)^2=1.21,\ (2-2.1)^2=0.01,\ (3-2.1)^2=0.81
  2. 2

    확률 가중합

    0.2(1.21)+0.5(0.01)+0.3(0.81)=0.490.2(1.21)+0.5(0.01)+0.3(0.81)=0.49

결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.

Sanity check

검산 포인트
  • 분산은 음수가 될 수 없다.
  • 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-039 식별자: MAI7-039

Part I · 학습 수식

수식의 역할과 기호만 확인하기
Rs,(0,0)=Rs,(0,0).R_{-\mathbf{s},(0,0)} = R_{\mathbf{s},(0,0)}^*.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-040 식별자: MAI7-040

Part I · 학습 수식

수식의 역할과 기호만 확인하기
Rs,(0,0)=R(0,0)s,(0,0)=R(0,0),s=Rs,(0,0).R_{-\mathbf{s},(0,0)} = R_{(0,0)-\mathbf{s},(0,0)} = R_{(0,0),\mathbf{s}} = R_{\mathbf{s},(0,0)}^*.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-041 식별자: MAI7-041

Part I · 학습 수식

수식의 역할과 기호만 확인하기
RsRs,(0,0).|R_{\mathbf{s}}|\le R_{\mathbf{s},(0,0)}.
쉽게 설명 핵심 설명

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-042 식별자: MAI7-042

#9. 2D 전력 스펙트럼 밀도

WSS 과정 자체의 DSFT를 직접 정의하는 것이 아니라 autocorrelation의 DSFT를 power spectrum으로 사용한다.

Part I · 학습 수식

확률식은 사건 정의 → 조건 확인 → 합·곱·정규화 순서로 계산
SX(eiμ,eiν)=m=n=R(m,n),(0,0)ei(mμ+nν).S_X(e^{i\mu},e^{i\nu}) = \sum_{m=-\infty}^{\infty} \sum_{n=-\infty}^{\infty} R_{(m,n),(0,0)} e^{-i(m\mu+n\nu)}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

어떤 사건 또는 관측 구간의 가능성을 구하는가?

한 줄 핵심

사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    사건과 조건을 말로 번역한다

    P(A|B)는 B가 주어진 상태에서 A의 확률이다.

  2. 2

    합 규칙인지 곱 규칙인지 정한다

    배타적 대안은 합, 순차 조건은 곱을 사용한다.

  3. 3

    필요하면 전체확률로 분모를 계산한다

  4. 4

    0≤P≤1과 전체합 1을 검산한다

Worked example

숫자로 직접 계산 — 조건부확률

P(A∩B)=0.15, P(B)=0.30이다.

  1. 1

    정의 적용

    P(AB)=P(AB)P(B)P(A\mid B)=\frac{P(A\cap B)}{P(B)}
  2. 2

    대입

    0.15/0.30=0.50.15/0.30=0.5

결과: B가 일어난 경우의 절반에서 A도 일어난다.

Sanity check

검산 포인트
  • 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
  • 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-043 식별자: MAI7-043

이 관계가 Wiener–Khinchin 정리의 핵심이다.

#9.1 평균 0인 WSS white process

Part I · 학습 수식

분산은 평균에서 떨어진 거리의 제곱을 평균낸 값
R(m,n),(0,0)=C(m,n),(0,0)=σ2δ[m,n].R_{(m,n),(0,0)} = C_{(m,n),(0,0)} = \sigma^2\delta[m,n].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?

한 줄 핵심

각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균을 구한다

    μ=E[X]\mu=E[X]
  2. 2

    평균과의 차이를 구한다

    XμX-\mu
  3. 3

    차이를 제곱한다

    (Xμ)2(X-\mu)^2
  4. 4

    기댓값을 취한다

    Var(X)=E[(Xμ)2]\operatorname{Var}(X)=E[(X-\mu)^2]

Worked example

숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}

앞 예시의 평균 μ=2.1을 사용한다.

  1. 1

    제곱편차

    (12.1)2=1.21, (22.1)2=0.01, (32.1)2=0.81(1-2.1)^2=1.21,\ (2-2.1)^2=0.01,\ (3-2.1)^2=0.81
  2. 2

    확률 가중합

    0.2(1.21)+0.5(0.01)+0.3(0.81)=0.490.2(1.21)+0.5(0.01)+0.3(0.81)=0.49

결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.

Sanity check

검산 포인트
  • 분산은 음수가 될 수 없다.
  • 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
σ\sigma표준편차 또는 시그모이드 표기
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-044 식별자: MAI7-044

Part I · 학습 수식

분산은 평균에서 떨어진 거리의 제곱을 평균낸 값
SX(eiμ,eiν)=σ2.S_X(e^{i\mu},e^{i\nu})=\sigma^2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?

한 줄 핵심

각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균을 구한다

    μ=E[X]\mu=E[X]
  2. 2

    평균과의 차이를 구한다

    XμX-\mu
  3. 3

    차이를 제곱한다

    (Xμ)2(X-\mu)^2
  4. 4

    기댓값을 취한다

    Var(X)=E[(Xμ)2]\operatorname{Var}(X)=E[(X-\mu)^2]

Worked example

숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}

앞 예시의 평균 μ=2.1을 사용한다.

  1. 1

    제곱편차

    (12.1)2=1.21, (22.1)2=0.01, (32.1)2=0.81(1-2.1)^2=1.21,\ (2-2.1)^2=0.01,\ (3-2.1)^2=0.81
  2. 2

    확률 가중합

    0.2(1.21)+0.5(0.01)+0.3(0.81)=0.490.2(1.21)+0.5(0.01)+0.3(0.81)=0.49

결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.

Sanity check

검산 포인트
  • 분산은 음수가 될 수 없다.
  • 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
σ\sigma표준편차 또는 시그모이드 표기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-045 식별자: MAI7-045

#9.2 평균이 0이 아닐 때

Part I · 학습 수식

분산은 평균에서 떨어진 거리의 제곱을 평균낸 값
C(m,n),(0,0)=σ2δ[m,n].C_{(m,n),(0,0)}=\sigma^2\delta[m,n].
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?

한 줄 핵심

각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균을 구한다

    μ=E[X]\mu=E[X]
  2. 2

    평균과의 차이를 구한다

    XμX-\mu
  3. 3

    차이를 제곱한다

    (Xμ)2(X-\mu)^2
  4. 4

    기댓값을 취한다

    Var(X)=E[(Xμ)2]\operatorname{Var}(X)=E[(X-\mu)^2]

Worked example

숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}

앞 예시의 평균 μ=2.1을 사용한다.

  1. 1

    제곱편차

    (12.1)2=1.21, (22.1)2=0.01, (32.1)2=0.81(1-2.1)^2=1.21,\ (2-2.1)^2=0.01,\ (3-2.1)^2=0.81
  2. 2

    확률 가중합

    0.2(1.21)+0.5(0.01)+0.3(0.81)=0.490.2(1.21)+0.5(0.01)+0.3(0.81)=0.49

결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.

Sanity check

검산 포인트
  • 분산은 음수가 될 수 없다.
  • 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
σ\sigma표준편차 또는 시그모이드 표기
CC전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-046 식별자: MAI7-046

Part I · 학습 수식

분산은 평균에서 떨어진 거리의 제곱을 평균낸 값
R(m,n),(0,0)=σ2δ[m,n]+μ(0,0)2.R_{(m,n),(0,0)} = \sigma^2\delta[m,n] + |\mu_{(0,0)}|^2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?

한 줄 핵심

각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균을 구한다

    μ=E[X]\mu=E[X]
  2. 2

    평균과의 차이를 구한다

    XμX-\mu
  3. 3

    차이를 제곱한다

    (Xμ)2(X-\mu)^2
  4. 4

    기댓값을 취한다

    Var(X)=E[(Xμ)2]\operatorname{Var}(X)=E[(X-\mu)^2]

Worked example

숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}

앞 예시의 평균 μ=2.1을 사용한다.

  1. 1

    제곱편차

    (12.1)2=1.21, (22.1)2=0.01, (32.1)2=0.81(1-2.1)^2=1.21,\ (2-2.1)^2=0.01,\ (3-2.1)^2=0.81
  2. 2

    확률 가중합

    0.2(1.21)+0.5(0.01)+0.3(0.81)=0.490.2(1.21)+0.5(0.01)+0.3(0.81)=0.49

결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.

Sanity check

검산 포인트
  • 분산은 음수가 될 수 없다.
  • 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
σ\sigma표준편차 또는 시그모이드 표기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-047 식별자: MAI7-047

Part I · 학습 수식

가우시안 밀도는 평균에서의 표준화 거리로 가능성을 계산
SX(eiμ,eiν)=σ2+μ(0,0)2(2π)2k,l=δ(μ2kπ,ν2lπ).S_X(e^{i\mu},e^{i\nu}) = \sigma^2 + |\mu_{(0,0)}|^2(2\pi)^2 \sum_{k,l=-\infty}^{\infty} \delta(\mu-2k\pi,\nu-2l\pi).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?

한 줄 핵심

평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    평균에서의 차이를 구한다

    r=xμr=x-\mu
  2. 2

    분산·공분산으로 거리 스케일을 보정한다

    d2=rTΣ1rd^2=r^T\Sigma^{-1}r
  3. 3

    지수 감쇠를 계산한다

    exp(d2/2)\exp(-d^2/2)
  4. 4

    정규화 상수로 나눈다

    (2π)N/2Σ1/2(2\pi)^{N/2}|\Sigma|^{1/2}

Worked example

숫자로 직접 계산 — 표준정규에서 x=1

μ=0, σ=1인 1차원 가우시안이다.

  1. 1

    표준화 거리

    z=(10)/1=1z=(1-0)/1=1
  2. 2

    지수항

    e12/2=e0.50.6065e^{-1^2/2}=e^{-0.5}\approx0.6065
  3. 3

    정규화

    0.6065/2π0.24200.6065/\sqrt{2\pi}\approx0.2420

결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.

Sanity check

검산 포인트
  • Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
  • 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.

Symbols

이 식에 실제로 나온 기호
기호의미
μ\mu평균
σ\sigma표준편차 또는 시그모이드 표기
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI7-048 식별자: MAI7-048

#10. 2026년 구현 관점

2D 이미지의 주파수 해석은 여전히 직접적인 도구다. 2026년 8월 현재 PyTorch 2.13의 torch.fft.fft2는 2D DFT를 제공하며, 실수 신호의 Fourier representation이 Hermitian symmetry를 갖는다는 점도 API 문서에 명시되어 있다.

WSS는 현실의 유한 이미지를 “완전히 stationary한 유한 객체”라고 주장하는 가정이 아니다. 강의자료가 지적하듯, 유한 이미지를 무한 WSS 과정의 관측 일부로 보는 모델링 관점에 가깝다.


#Part 1.7 손실함수·경사하강법·미니배치·일반화

#1. 기대손실을 최소화한다

통계적 머신러닝 관점에서 모델 D는 입력 x를 받아 예측 D(x)를 만들고, 정답 y와의 차이를 손실함수로 측정한다.

강의자료 판본에 따라 이 식의 번호가 (4) 또는 (5)로 달라진다. 이 시리즈에서는 식 자체를 기준으로 추적한다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
argminD  Ex,yL(D(x),y).\underset{D}{\operatorname{argmin}}\; E_{\mathbf{x},\mathbf{y}} \mathcal{L}(D(\mathbf{x}),\mathbf{y}).
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-001 식별자: MAI8-001

#2. 기대값을 유한 샘플 평균으로 근사한다

실전에서는 데이터의 정확한 joint distribution을 알기 어렵다. 학습 샘플 (\mathbf{x}_l,\mathbf{y}_l)을 이용해 기대손실을 경험평균으로 근사한다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
Ex,yL(D(x),y)1Ll=1LL(D(xl),yl).E_{\mathbf{x},\mathbf{y}} \mathcal{L}(D(\mathbf{x}),\mathbf{y}) \approx \frac1L\sum_{l=1}^{L} \mathcal{L}(D(\mathbf{x}_l),\mathbf{y}_l).
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터
\sum지정된 항을 모두 더하는 연산
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-002 식별자: MAI8-002

2025-03-19 판본에는 이 우변이 학생이 채우는 ?? 형태로 제시된다. 위 식은 앞선 판본과 문맥을 결합해 완성한 것이다.

#3. MSE 예제

Part I · 학습 수식

MSE는 잔차를 만들고 제곱하고 평균내는 3단계 계산
argminD  Ex,yL(D(x),y),L(D(x),y)=D(x)y22.\underset{D}{\operatorname{argmin}}\; E_{\mathbf{x},\mathbf{y}} \mathcal{L}(D(\mathbf{x}),\mathbf{y}), \qquad \mathcal{L}(D(\mathbf{x}),\mathbf{y}) = \|D(\mathbf{x})-\mathbf{y}\|_2^2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?

한 줄 핵심

예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    예측값을 계산한다

    선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.

    y^=Xw\hat y=Xw
  2. 2

    잔차를 계산한다

    r=y^yr=\hat y-y
  3. 3

    잔차를 제곱한다

    부호를 없애고 큰 오차를 더 크게 반영한다.

    ri2r_i^2
  4. 4

    모두 더해 샘플 수로 나눈다

    MSE=1Li=1Lri2\mathrm{MSE}=\frac{1}{L}\sum_{i=1}^{L}r_i^2

Worked example

숫자로 직접 계산 — 두 샘플 MSE

정답과 예측을 직접 비교한다.

  1. 1

    정답·예측

    y=[3,1],y^=[2,4]y=[3,1],\quad\hat y=[2,4]
  2. 2

    잔차

    y^y=[1,3]\hat y-y=[-1,3]
  3. 3

    제곱

    [1,3]2=[1,9][-1,3]^2=[1,9]
  4. 4

    평균

    (1+9)/2=5(1+9)/2=5

결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.

Sanity check

검산 포인트
  • 샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
  • MSE 단위는 원래 출력 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-003 식별자: MAI8-003

Part I · 학습 수식

노름은 여러 성분을 하나의 크기로 요약
x22=nxn2.\|\mathbf{x}\|_2^2 = \sum_n |x_n|^2.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

벡터·오차가 원점에서 얼마나 큰가?

한 줄 핵심

L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    각 성분을 제곱한다

    음수와 양수를 모두 양의 기여도로 바꾼다.

  2. 2

    제곱값을 모두 더한다

    ixi2\sum_i x_i^2
  3. 3

    노름이면 제곱근을 취한다

    x2=ixi2\lVert x\rVert_2=\sqrt{\sum_i x_i^2}
  4. 4

    제곱 노름인지 구분한다

    x22=ixi2\lVert x\rVert_2^2=\sum_i x_i^2

Worked example

숫자로 직접 계산 — 3-4-5 벡터

가장 익숙한 피타고라스 예시다.

  1. 1

    벡터

    x=[3,4]Tx=[3,4]^T
  2. 2

    제곱합

    32+42=9+16=253^2+4^2=9+16=25
  3. 3

    제곱근

    25=5\sqrt{25}=5

결과: 따라서 ||x||₂=5, ||x||₂²=25다.

Sanity check

검산 포인트
  • 노름은 항상 0 이상이다.
  • 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\sum지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-004 식별자: MAI8-004

#4. 기울기

함수 f:\mathbb{R}^N\to\mathbb{R}의 기울기는 최대 증가 방향을 가리키고 등고선에 수직이다.

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
f(z)=[fx1(z)fxN(z)]T.\nabla f(\mathbf{z}) = \begin{bmatrix} \frac{\partial f}{\partial x_1}(\mathbf{z})& \cdots& \frac{\partial f}{\partial x_N}(\mathbf{z}) \end{bmatrix}^{T}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
\nabla각 변수 방향의 미분값을 모은 기울기
\partial특정 변수에 대한 편미분

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-005 식별자: MAI8-005

#5. 국소 최소점의 조건

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
f(x)=0.\nabla f(\mathbf{x}^*)=0.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\nabla각 변수 방향의 미분값을 모은 기울기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-006 식별자: MAI8-006

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
yT2f(x)y>0,y0, yRN.\mathbf{y}^T\nabla^2f(\mathbf{x}^*)\mathbf{y}>0, \qquad \forall\mathbf{y}\neq0,\ \mathbf{y}\in\mathbb{R}^{N}.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터
\nabla각 변수 방향의 미분값을 모은 기울기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-007 식별자: MAI8-007

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
[2f(x)]m,n=2fxmxn(x).\left[\nabla^2f(\mathbf{x})\right]_{m,n} = \frac{\partial^2f}{\partial x_m\partial x_n}(\mathbf{x}).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\nabla각 변수 방향의 미분값을 모은 기울기
\partial특정 변수에 대한 편미분

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-008 식별자: MAI8-008

#6. 경사하강법

Part I · 학습 수식

경사하강법은 현재값에서 기울기의 반대 방향으로 한 걸음 이동
x(i+1)=x(i)αf(x(i)).\mathbf{x}^{(i+1)} = \mathbf{x}^{(i)} - \alpha\nabla f(\mathbf{x}^{(i)}).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

손실을 줄이기 위해 파라미터를 다음에 어디로 옮길 것인가?

한 줄 핵심

현재 파라미터에서 기울기를 계산하고 학습률을 곱한 값을 빼서 다음 파라미터를 만든다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    현재 손실의 기울기를 계산한다

    gk=J(wk)g_k=\nabla J(w_k)
  2. 2

    이동량을 정한다

    Δw=αgk\Delta w=\alpha g_k
  3. 3

    증가 방향의 반대로 이동한다

    wk+1=wkαgkw_{k+1}=w_k-\alpha g_k
  4. 4

    새 손실을 확인하고 반복한다

    학습률이 너무 크면 발산하고 너무 작으면 매우 느리다.

Worked example

숫자로 직접 계산 — 한 번의 업데이트

f(w)=(w-3)², 현재 w=5, 학습률 α=0.1이다.

  1. 1

    기울기

    g=2(53)=4g=2(5-3)=4
  2. 2

    이동량

    αg=0.14=0.4\alpha g=0.1\cdot4=0.4
  3. 3

    업데이트

    wnew=50.4=4.6w_{new}=5-0.4=4.6
  4. 4

    손실 비교

    f(5)=4,f(4.6)=2.56f(5)=4,\qquad f(4.6)=2.56

결과: 한 번 이동한 뒤 손실이 4에서 2.56으로 감소했다.

Sanity check

검산 포인트
  • 마이너스 부호가 있는지 확인한다.
  • 업데이트 전후 손실과 gradient norm을 함께 기록하면 발산을 빨리 발견할 수 있다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
α\alpha학습률·혼합계수·쌍대계수
\nabla각 변수 방향의 미분값을 모은 기울기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-009 식별자: MAI8-009

학습률 \alpha가 너무 작으면 수렴이 느리고, 너무 크면 발산할 수 있다.

전체 데이터로 매번 gradient를 계산하면 L이 클 때 비용이 매우 커진다. MSE 예에서는 모든 샘플에 대해 다음 gradient가 필요하다.

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
DD(xl)yl22,l=1,,L.\nabla_D \left\| D(\mathbf{x}_l)-\mathbf{y}_l \right\|_2^2, \qquad l=1,\ldots,L.
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
y\mathbf{y}정답·관측값 벡터
\nabla각 변수 방향의 미분값을 모은 기울기
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-010 식별자: MAI8-010

#7. 확률적 미니배치 경사하강법

먼저 샘플 인덱스 집합을 무작위로 섞고, 크기 B의 batch로 나눈다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
{1,,L}=L(1)L(L/B),L(i)=B.\{1,\ldots,L\} = \mathcal{L}^{(1)} \cup\cdots\cup \mathcal{L}^{(L/B)}, \qquad |\mathcal{L}^{(i)}|=B.
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

구조 해설
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-011 식별자: MAI8-011

각 batch에 대해 다음처럼 갱신한다.

Part I · 학습 수식

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기
x(i+1)x(i)αlL(i+1)fl(x(i)).\mathbf{x}^{(i+1)} \leftarrow \mathbf{x}^{(i)} - \alpha \sum_{l\in\mathcal{L}^{(i+1)}} \nabla f_l(\mathbf{x}^{(i)}).
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

직접 조작
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Calculation walkthrough

계산 과정
중간 계산을 생략하지 않음
  1. 1

    미분할 변수를 정한다

    다른 변수는 상수로 취급한다.

  2. 2

    합·곱·연쇄법칙을 적용한다

    복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.

  3. 3

    각 편미분을 한 벡터로 모은다

    f=[f/x1,,f/xN]T\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T
  4. 4

    현재 값에 대입한다

    기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

  1. 1

    함수

    f(w)=(w3)2f(w)=(w-3)^2
  2. 2

    미분

    f(w)=2(w3)f'(w)=2(w-3)
  3. 3

    w=5 대입

    f(5)=2(53)=4f'(5)=2(5-3)=4

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트
  • 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
  • 상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
α\alpha학습률·혼합계수·쌍대계수
\nabla각 변수 방향의 미분값을 모은 기울기
\sum지정된 항을 모두 더하는 연산
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-012 식별자: MAI8-012

강의자료에서 전체 경험손실은 다음 합으로 둔다.

Part I · 학습 수식

수식의 역할과 기호만 확인하기
l=1Lfl(x).\sum_{l=1}^{L}f_l(\mathbf{x}).
쉽게 설명 핵심 설명 · 수식별 학습 장면

이 식이 답하는 질문

이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?

한 줄 핵심

별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.

Formula-specific lesson

gradient field·step size·mini-batch update

2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.

유도 단계 동기화
현재 수식의 정확한 ID와 유도 단계에 맞춘 학습 장면을 불러오는 중입니다.

Symbols

이 식에 실제로 나온 기호
기호의미
x\mathbf{x}입력 또는 특징 벡터
\sum지정된 항을 모두 더하는 연산
LL샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스
현대 인공지능 I · MAI8-013 식별자: MAI8-013

#8. 배치 크기 논쟁

강의자료는 Keskar 등의 2017 ICLR 결과를 소개한다. 큰 batch가 sharp minimizer로 향하고 일반화가 나빠질 수 있다는 경험적 관찰이다.

그러나 “sharp minima = 무조건 나쁜 일반화”를 정리처럼 외우면 안 된다. 2017년에도 재매개변수화로 sharpness를 바꾸면서 함수는 그대로 유지할 수 있다는 반론이 있었고, 2025년 연구에서도 잘 일반화하는 sharp minima가 존재할 수 있다는 결과가 나왔다.

따라서 2026년 관점에서는 다음처럼 읽는 편이 안전하다.

  • batch size는 gradient noise, throughput, 메모리, learning-rate schedule과 함께 봐야 한다.
  • sharpness는 유용한 진단 중 하나지만 parameterization에 의존할 수 있다.
  • 대규모 학습에서는 “작은 batch가 항상 더 좋다”가 아니라 hardware utilization과 optimization stability를 함께 최적화한다.

#9. MIDAS 연구주제와 강의의 연결

강의 마지막은 MIDAS Lab의 연구축을 예로 든다.

  • 자기지도·비지도 학습
  • 반복형 AI와 iterative neural network
  • 멀티모달 분석
  • 비볼록 최적화
  • 압축센싱
  • X-ray CT, MRI, PET, SPECT
  • 카메라 이미징, 3D 재구성, 초해상도
  • 비전 기반 자율시스템
  • 디지털 헬스케어

첫 판본은 저선량 CT의 self-supervised regression learning 예에서 RMSE가 개선되는 사례와 Neural View Synthesis, NeRF 계열을 함께 보여준다. 이 부분은 기초 수학이 실제 연구로 연결되는 예시로 읽으면 된다.

#10. 2026년 업데이트: 실제 대규모 학습은 어디까지 왔나

강의의 SGD 수식은 여전히 출발점이지만, 현재 대규모 모델 학습은 그 위에 많은 시스템 기법을 쌓는다.

#10.1 Optimizer

AdamW는 weight decay를 gradient update와 분리한 방식으로 널리 쓰이고 있다. PyTorch 2.13에는 AdamW뿐 아니라 Muon도 공식 optimizer API에 포함돼 있다.

#10.2 Mixed precision

NVIDIA Transformer Engine 2.16은 Hopper/Ada/Blackwell에서 FP8을 지원하고, Blackwell에서는 MXFP8과 NVFP4까지 문서화하고 있다. 즉 현대 학습은 수학적 gradient descent + 낮은 정밀도의 수치표현 + scale 관리를 함께 다룬다.

#10.3 Compile과 분산학습

PyTorch 2.13은 torch.compile, FSDP/FSDP2, tensor parallelism, distributed checkpoint를 같은 생태계에서 제공한다.

#11. 1장 전체를 한 줄로 다시 연결하면

데이터를 벡터·행렬로 표현한다 → 확률적으로 모델링한다 → 신경망으로 함수를 구성한다 → 손실을 정의한다 → 미분해 gradient를 얻는다 → mini-batch로 반복 최적화한다 → 일반화 성능을 검증한다.

이 흐름이 1장 전체의 핵심이다.

Connect