#Part 1.0 분야와 연구 생태계
수식 읽기 모드 — 아래의 모든 표시 수식은
쉽게 설명 + 계산 과정을 연다. 각 카드에서 무엇을 구하는지 → 중간 계산 → 숫자 예제 → 검산 포인트 → 외부 레퍼런스 순서로 확인할 수 있다.
#2. AI, ML, DL은 같은 말이 아니다
가장 넓게 보면 인공지능은 지능적인 행동을 수행하는 시스템을 만드는 전체 문제다. 머신러닝은 그중에서 데이터를 통해 규칙이나 표현을 학습하는 접근이고, 딥러닝은 다층 신경망을 중심으로 하는 머신러닝의 한 계열이다.
이를 한 줄로 압축하면 다음과 같다.
인공지능 ⊃ 머신러닝 ⊃ 딥러닝
이 포함 관계는 역사 전체를 완벽히 설명하는 법칙은 아니다. 규칙 기반 AI, 검색, 계획, 최적화처럼 머신러닝이 아닌 AI도 있고, 현대 시스템은 학습된 모델과 검색·도구·외부 메모리·계획기를 함께 사용한다. 따라서 이 그림은 분야의 포함 관계를 보여주는 출발점이지, 오늘날 시스템 아키텍처를 전부 설명하는 도식은 아니다.
#3. 무엇을 읽어야 하나
강의자료가 제시한 연구 생태계는 지금도 매우 유효하다. 분야를 따라가려면 논문 한 편만 읽는 것이 아니라 저널과 학회 프로시딩의 목차를 지속적으로 훑는 습관이 중요하다.
#대표 저널
- IEEE Transactions on Pattern Analysis and Machine Intelligence
- Nature Machine Intelligence
- IEEE Transactions on Image Processing
- IEEE Transactions on Signal Processing
- IEEE Transactions on Medical Imaging
- IEEE Transactions on Computational Imaging
- IEEE Transactions on Intelligent Transportation Systems
- IEEE Transactions on Robotics
- Pattern Recognition
- Medical Image Analysis
- IEEE Signal Processing Letters
- IEEE Robotics and Automation Letters
#대표 학회
- NeurIPS
- ICML
- ICLR
- CVPR
- ICCV
- ECCV
- MICCAI
- ICIP
- IROS
- ICRA
여기서 중요한 것은 목록 자체보다 분야 간 연결이다. 영상·신호처리·로보틱스·의료영상·머신러닝은 실제 연구 문제에서 서로 강하게 겹친다.
#4. 영상처리와 컴퓨터비전
강의자료는 영상 분야를 다음과 같은 흐름으로 본다.
물리 장면 → 영상 형성 → 원시 측정값 → 영상처리 → 개선된 영상 → 영상 분석 → 의미 있는 판단
그리고 옆으로는 두 개의 가지가 붙는다.
- 영상 표시: 사람이 볼 수 있도록 표현하는 문제
- 영상 압축: 저장·전송 비용을 줄이는 문제
전통적으로 영상처리는 저수준 비전, 영상 분석은 고수준 비전으로 구분되곤 했다. 하지만 딥러닝 이후 이 경계는 점점 약해졌다. 하나의 신경망이 복원, 특징추출, 검출, 분류를 함께 학습하는 경우가 흔하기 때문이다.
#저수준과 고수준의 차이
| 관점 | 저수준 중심 | 고수준 중심 |
|---|---|---|
| 주된 질문 | 픽셀을 어떻게 복원·변환할까? | 장면에 무엇이 있고 무슨 뜻일까? |
| 대표 과제 | 잡음제거, 초해상도, 복원, 보정 | 분류, 검출, 분할, 추적, 추론 |
| 전통적 기반 | 신호처리, 최적화, 통계 | 패턴인식, 머신러닝 |
| 현대적 특징 | 경계가 많이 겹침 | 경계가 많이 겹침 |
#5. 강의자료가 던지는 중요한 경고
이 장의 아주 중요한 문장은 “현대 딥러닝의 근본적인 이해는 아직 미성숙하다”는 취지다.
모델 성능이 좋아졌다는 것과 왜 그런 모델이 일반화하는지, 어떤 표현을 학습하는지, 어떤 조건에서 실패하는지 완전히 이해했다는 것은 다르다. 이 문제는 이후 선형대수, 확률, 최적화가 왜 필요한지 설명한다.
#6. 2026년 8월 업데이트
2026년 현재에도 이 기초는 그대로 필요하다. 다만 실제 구현의 중심은 훨씬 넓어졌다.
- PyTorch의 현재 안정 문서는 2.13 계열이며, 텐서 연산뿐 아니라
torch.linalg,torch.func,torch.compile, 분산학습, attention 커널까지 하나의 생태계에 포함한다. - 비전에서도 CNN만이 유일한 기본 구조는 아니다. Vision Transformer 이후 패치 기반 attention은 표준적인 선택지가 되었고, CNN·Transformer·하이브리드가 공존한다.
- 따라서 “현대 AI = 단순한 다층 신경망”으로 이해하면 부족하다. 수학 기초 → 표현학습 → 대규모 최적화 → 효율적인 컴파일/분산 실행까지 연결해서 보는 편이 좋다.
#최신 참고
#7. 다음 절
다음 절에서는 선형대수로 들어간다. 벡터와 행렬의 표기부터 시작해 내적, 외적, 행렬-벡터 곱, 행렬-행렬 곱을 수식 단위로 모두 복원한다.
#Part 1.1 선형대수 I — 벡터·행렬·곱
#1. 왜 선형대수부터 시작하나
현대 신경망의 대부분은 결국 벡터와 행렬에 대한 연산으로 실행된다. 선형대수는 단순한 선수과목이 아니라 모델의 forward, convolution의 행렬화, attention, 최적화, covariance 계산을 모두 연결하는 언어다.
#1.1 2변수 선형시스템
강의자료에는 다음 두 식이 예제로 제시된다. 두 번째 식은 원자료에 x_2가 두 번 들어가 있는데, 이 글에서는 원자료 표기를 보존하고 바로 아래에 일반적인 2변수 시스템을 함께 적는다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
일반적인 두 변수 선형시스템은 보통 다음처럼 쓴다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
행렬 표기로는 훨씬 간결해진다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#2. 기본 표기
열벡터와 행렬의 차원을 항상 먼저 본다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
열 단위 표기와 행 단위 표기도 자주 사용한다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#3. 영상의 벡터화
다차원 영상을 하나의 긴 벡터로 펴면, convolution 같은 연산도 행렬-벡터 곱으로 표현할 수 있다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#4. 벡터-벡터 곱
#4.1 내적
내적은 두 벡터를 하나의 스칼라로 줄인다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#4.2 외적
외적은 두 벡터로부터 행렬을 만든다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#5. 행렬-벡터 곱을 두 가지로 보기
행 기준으로 보면 각 출력 성분은 한 행과 입력 벡터의 내적이다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
열 기준으로 보면 출력은 A의 열벡터들의 선형결합이다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
행벡터를 왼쪽에서 곱할 수도 있다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#6. 행렬-행렬 곱
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
두 벡터가 같은 방향을 얼마나 공유하는가?
한 줄 핵심
성분별 곱을 더해 스칼라 하나를 만들며, 예측 점수·유사도·투영 계산에 반복해서 등장한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
두 벡터의 길이를 맞춘다
성분 수가 같아야 한다.
- 2
같은 위치끼리 곱한다
- 3
모든 곱을 더한다
- 4
부호와 크기를 해석한다
양수는 대체로 같은 방향, 0은 직교, 음수는 반대 방향을 뜻한다.
Worked example
숫자로 직접 계산 — 가중합 계산
두 특징에 가중치를 적용한다.
- 1
값
- 2
성분별 곱
- 3
합
결과: 최종 선형 점수는 2다.
Sanity check
검산 포인트
- 결과는 벡터가 아니라 스칼라 하나다.
- 단위가 있는 값이라면 각 곱의 단위가 서로 같아야 더할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
행과 열의 내적을 한 번에 모으면 다음과 같다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
열-행 관점에서는 외적의 합이다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
두 벡터가 같은 방향을 얼마나 공유하는가?
한 줄 핵심
성분별 곱을 더해 스칼라 하나를 만들며, 예측 점수·유사도·투영 계산에 반복해서 등장한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
두 벡터의 길이를 맞춘다
성분 수가 같아야 한다.
- 2
같은 위치끼리 곱한다
- 3
모든 곱을 더한다
- 4
부호와 크기를 해석한다
양수는 대체로 같은 방향, 0은 직교, 음수는 반대 방향을 뜻한다.
Worked example
숫자로 직접 계산 — 가중합 계산
두 특징에 가중치를 적용한다.
- 1
값
- 2
성분별 곱
- 3
합
결과: 최종 선형 점수는 2다.
Sanity check
검산 포인트
- 결과는 벡터가 아니라 스칼라 하나다.
- 단위가 있는 값이라면 각 곱의 단위가 서로 같아야 더할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
B를 열벡터로 보면 C의 각 열은 A와 B의 한 열의 행렬-벡터 곱이다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
A를 행벡터로 보면 C의 각 행은 다음처럼 얻는다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#6.1 곱셈의 기본 성질
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#7. 항등행렬과 대각행렬
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#8. 전치
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#9. 2026년 구현 관점
2026년 8월 현재 PyTorch 2.13의 torch.linalg은 노름, 행렬식, rank, solve, QR, Cholesky 등 이 장의 거의 모든 연산을 직접 제공한다.
특히 실무에서는 A^{-1}b를 직접 만드는 것보다 선형시스템 Ax=b를 torch.linalg.solve로 푸는 편이 수치적으로나 계산적으로 더 적절한 경우가 많다.
#10. 기억할 관점
행렬곱을 단순 공식으로 외우기보다 네 관점을 모두 익히는 것이 좋다.
- 행 × 열의 내적
- 외적들의 합
- B의 각 열에 A를 적용
- A의 각 행에 B를 적용
이 네 관점은 이후 fully-connected layer, convolution의 im2col 표현, attention의 projection을 이해할 때 계속 다시 등장한다.
#Part 1.2 선형대수 II — 대칭·트레이스·노름·랭크·행렬식
#1. 대칭행렬과 반대칭행렬
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
어떤 정사각행렬도 대칭 성분과 반대칭 성분의 합으로 분해할 수 있다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#2. 트레이스
트레이스는 대각 원소의 합이다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#3. 노름
#3.1 유클리드 노름
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
벡터·오차가 원점에서 얼마나 큰가?
한 줄 핵심
L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
각 성분을 제곱한다
음수와 양수를 모두 양의 기여도로 바꾼다.
- 2
제곱값을 모두 더한다
- 3
노름이면 제곱근을 취한다
- 4
제곱 노름인지 구분한다
Worked example
숫자로 직접 계산 — 3-4-5 벡터
가장 익숙한 피타고라스 예시다.
- 1
벡터
- 2
제곱합
- 3
제곱근
결과: 따라서 ||x||₂=5, ||x||₂²=25다.
Sanity check
검산 포인트
- 노름은 항상 0 이상이다.
- 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
벡터·오차가 원점에서 얼마나 큰가?
한 줄 핵심
L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
각 성분을 제곱한다
음수와 양수를 모두 양의 기여도로 바꾼다.
- 2
제곱값을 모두 더한다
- 3
노름이면 제곱근을 취한다
- 4
제곱 노름인지 구분한다
Worked example
숫자로 직접 계산 — 3-4-5 벡터
가장 익숙한 피타고라스 예시다.
- 1
벡터
- 2
제곱합
- 3
제곱근
결과: 따라서 ||x||₂=5, ||x||₂²=25다.
Sanity check
검산 포인트
- 노름은 항상 0 이상이다.
- 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
노름은 길이의 일반화이며 네 성질을 만족한다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
다른 대표 노름도 함께 둔다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
벡터·오차가 원점에서 얼마나 큰가?
한 줄 핵심
L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.
Calculation walkthrough
계산 과정
- 1
각 성분을 제곱한다
음수와 양수를 모두 양의 기여도로 바꾼다.
- 2
제곱값을 모두 더한다
- 3
노름이면 제곱근을 취한다
- 4
제곱 노름인지 구분한다
Worked example
숫자로 직접 계산 — 3-4-5 벡터
가장 익숙한 피타고라스 예시다.
- 1
벡터
- 2
제곱합
- 3
제곱근
결과: 따라서 ||x||₂=5, ||x||₂²=25다.
Sanity check
검산 포인트
- 노름은 항상 0 이상이다.
- 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?
한 줄 핵심
예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.
Calculation walkthrough
계산 과정
- 1
예측값을 계산한다
선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.
- 2
잔차를 계산한다
- 3
잔차를 제곱한다
부호를 없애고 큰 오차를 더 크게 반영한다.
- 4
모두 더해 샘플 수로 나눈다
Worked example
숫자로 직접 계산 — 두 샘플 MSE
정답과 예측을 직접 비교한다.
- 1
정답·예측
- 2
잔차
- 3
제곱
- 4
평균
결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.
Sanity check
검산 포인트
- 샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
- MSE 단위는 원래 출력 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
벡터·오차가 원점에서 얼마나 큰가?
한 줄 핵심
L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.
Calculation walkthrough
계산 과정
- 1
각 성분을 제곱한다
음수와 양수를 모두 양의 기여도로 바꾼다.
- 2
제곱값을 모두 더한다
- 3
노름이면 제곱근을 취한다
- 4
제곱 노름인지 구분한다
Worked example
숫자로 직접 계산 — 3-4-5 벡터
가장 익숙한 피타고라스 예시다.
- 1
벡터
- 2
제곱합
- 3
제곱근
결과: 따라서 ||x||₂=5, ||x||₂²=25다.
Sanity check
검산 포인트
- 노름은 항상 0 이상이다.
- 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
행렬에 대해서는 Frobenius 노름이 자주 등장한다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
벡터·오차가 원점에서 얼마나 큰가?
한 줄 핵심
L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
각 성분을 제곱한다
음수와 양수를 모두 양의 기여도로 바꾼다.
- 2
제곱값을 모두 더한다
- 3
노름이면 제곱근을 취한다
- 4
제곱 노름인지 구분한다
Worked example
숫자로 직접 계산 — 3-4-5 벡터
가장 익숙한 피타고라스 예시다.
- 1
벡터
- 2
제곱합
- 3
제곱근
결과: 따라서 ||x||₂=5, ||x||₂²=25다.
Sanity check
검산 포인트
- 노름은 항상 0 이상이다.
- 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#4. 선형독립과 랭크
한 벡터가 나머지 벡터의 선형결합으로 표현되면 그 집합은 선형종속이다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 학습률·혼합계수·쌍대계수 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
강의자료의 예시는 다음 세 벡터다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
랭크의 기본 성질은 다음과 같다.
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#5. 역행렬
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
A가 적용되기 전의 벡터를 어떻게 복원하는가?
한 줄 핵심
A^{-1}A=I를 이용해 Ax=b의 양변에 역행렬을 곱하면 x=A^{-1}b가 된다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
가역 조건을 확인한다
정사각행렬이고 행렬식이 0이 아니어야 고전적 역행렬이 존재한다.
- 2
양변 왼쪽에 같은 행렬을 곱한다
- 3
A^{-1}A를 항등행렬로 바꾼다
- 4
실제 계산에서는 선형시스템 풀이를 쓴다
수치적으로는 역행렬을 직접 만들기보다 solve·LU·QR을 쓰는 편이 안정적이다.
Worked example
숫자로 직접 계산 — 2×2 역행렬 검산
작은 행렬에서 되돌림을 직접 확인한다.
- 1
행렬
- 2
역행렬
- 3
곱
결과: 대각 원소의 역수를 취하면 원래 스케일 변화가 되돌아간다.
Sanity check
검산 포인트
- det(A)=0이면 역행렬 대신 의사역행렬이나 최소제곱 해가 필요하다.
- AB=I와 BA=I가 모두 성립하는지 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
정사각행렬이더라도 singular이면 역행렬이 없다. 비특이 행렬에 대한 성질은 다음과 같다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#6. 직교성과 직교행렬
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
벡터·오차가 원점에서 얼마나 큰가?
한 줄 핵심
L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.
Calculation walkthrough
계산 과정
- 1
각 성분을 제곱한다
음수와 양수를 모두 양의 기여도로 바꾼다.
- 2
제곱값을 모두 더한다
- 3
노름이면 제곱근을 취한다
- 4
제곱 노름인지 구분한다
Worked example
숫자로 직접 계산 — 3-4-5 벡터
가장 익숙한 피타고라스 예시다.
- 1
벡터
- 2
제곱합
- 3
제곱근
결과: 따라서 ||x||₂=5, ||x||₂²=25다.
Sanity check
검산 포인트
- 노름은 항상 0 이상이다.
- 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
정사각 직교행렬 U는 열들이 orthonormal이고 다음을 만족한다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
직사각행렬의 열만 orthonormal일 때는 한쪽만 항등행렬이 된다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
직교변환은 유클리드 길이를 보존한다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
벡터·오차가 원점에서 얼마나 큰가?
한 줄 핵심
L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Calculation walkthrough
계산 과정
- 1
각 성분을 제곱한다
음수와 양수를 모두 양의 기여도로 바꾼다.
- 2
제곱값을 모두 더한다
- 3
노름이면 제곱근을 취한다
- 4
제곱 노름인지 구분한다
Worked example
숫자로 직접 계산 — 3-4-5 벡터
가장 익숙한 피타고라스 예시다.
- 1
벡터
- 2
제곱합
- 3
제곱근
결과: 따라서 ||x||₂=5, ||x||₂²=25다.
Sanity check
검산 포인트
- 노름은 항상 0 이상이다.
- 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#7. 행렬식
행렬식의 절댓값은 행벡터가 만드는 평행다포체의 부피로 해석할 수 있다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 학습률·혼합계수·쌍대계수 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
강의자료의 2×2 예시는 다음과 같다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
dot·outer·matrix product·norm·rank·inverse를 한 숫자로 연결
같은 x,y,A,B에서 dot, outer, Ax, AB, outer-sum decomposition, norms, determinant, rank, inverse를 계산해 Part I의 핵심 linear-algebra identities를 공유한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
행렬식의 핵심 성질을 모두 적는다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#8. 2026년 수치계산 관점
이 장에서 중요한 현대적 보정은 수학적 정의와 수치계산 코드를 구분하는 것이다.
- 역행렬은 정의상 중요하지만 실제 계산에서 매번
inv(A) @ b를 만드는 것은 좋은 기본 습관이 아니다. 선형시스템이면solve가 더 직접적이다. - 작은 행렬식은 underflow, 큰 행렬식은 overflow가 날 수 있으므로 로그 행렬식
slogdet가 유용하다. - rank는 정확한 기호적 rank가 아니라 부동소수점 tolerance에 의존하는 수치 rank로 취급해야 한다.
최신 PyTorch의 torch.linalg에는 solve, slogdet, matrix_rank, qr, svd, eigh가 모두 포함된다.
#Part 1.3 선형대수 III — 이차형식·고유값·미분
#1. 이차형식
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
이차형식에는 A의 대칭 성분만 기여한다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#2. 정부호와 준정부호
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
indefinite는 어떤 방향에서는 양수, 다른 방향에서는 음수가 되는 경우다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#3. 고유값과 고유벡터
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정규화 강도 또는 고유값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
고유값은 trace, determinant, rank와 직접 연결된다.
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 정규화 강도 또는 고유값 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
여러 특징을 관측했을 때 어느 클래스의 점수가 가장 큰가?
한 줄 핵심
클래스 사전확률에 각 특징의 조건부 우도를 차례로 곱하고 클래스끼리 비교한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Calculation walkthrough
계산 과정
- 1
클래스 사전확률을 준비한다
- 2
특징별 조건부 우도를 계산한다
- 3
모두 곱한다
- 4
수치 안정성을 위해 로그합으로 바꿀 수 있다
- 5
가장 큰 점수의 클래스를 고른다
Worked example
숫자로 직접 계산 — 두 특징·두 클래스
S₁: prior=.6, likelihoods=.8,.5 / S₂: prior=.4, likelihoods=.3,.9다.
- 1
S₁ 점수
- 2
S₂ 점수
결과: 0.24>0.108이므로 S₁을 선택한다.
Sanity check
검산 포인트
- 일반 MAP 식에는 사전확률 P(S_c)가 포함된다.
- 특징 수가 많으면 곱이 underflow되므로 log-domain 계산을 쓴다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 정규화 강도 또는 고유값 | |
| 지정된 항을 모두 곱하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 정규화 강도 또는 고유값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정규화 강도 또는 고유값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 정규화 강도 또는 고유값 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
모든 고유벡터 방정식을 한 번에 쓰면 다음과 같다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정규화 강도 또는 고유값 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
X가 invertible이면 A는 diagonalizable이다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#4. 대칭행렬의 고유분해
대칭행렬의 고유값은 실수이고 고유벡터를 orthonormal하게 잡을 수 있다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
이 구조 덕분에 definiteness는 고유값의 부호로 판정할 수 있다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 미지수 벡터를 넣어야 모든 행의 등식이 동시에 맞는가?
한 줄 핵심
각 행을 하나의 방정식으로 읽고, 소거 또는 역행렬·분해를 이용해 미지수를 구한다.
Calculation walkthrough
계산 과정
- 1
행별 방정식으로 펼친다
행렬의 한 행과 미지수 벡터의 내적이 오른쪽 값 하나가 된다.
- 2
한 변수를 없앤다
두 식을 더하거나 빼서 미지수 수를 줄인다. 큰 문제에서는 LU·QR 같은 분해가 이 역할을 한다.
- 3
남은 값을 역대입한다
구한 값을 원래 식에 넣어 나머지 미지수를 계산한다.
- 4
모든 식에 다시 대입한다
계산한 해가 각 행의 등식을 모두 만족하는지 확인한다.
Worked example
숫자로 직접 계산 — 2×2 연립방정식 직접 풀기
두 직선의 교점을 구한다고 생각한다.
- 1
문제
- 2
두 식을 더해 y를 소거
- 3
두 번째 식에 역대입
- 4
검산
결과: 따라서 해는 (x,y)=(2,1)이다.
Sanity check
검산 포인트
- 왼쪽 Ax와 오른쪽 b의 차원이 같아야 한다.
- 역행렬 표기는 A가 정사각·가역일 때만 그대로 사용할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 | |
| 정규화 강도 또는 고유값 | |
| 지정된 항을 모두 더하는 연산 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#5. 행렬에 대한 기울기
스칼라값을 출력하는 함수가 행렬을 입력받는 경우 기울기는 입력 행렬과 같은 크기의 편미분 행렬이다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 각 변수 방향의 미분값을 모은 기울기 | |
| 특정 변수에 대한 편미분 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
벡터 입력의 경우는 익숙한 gradient가 된다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 | |
| 특정 변수에 대한 편미분 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
선형성도 그대로 유지된다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#6. 헤시안
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 | |
| 특정 변수에 대한 편미분 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
충분히 매끄러운 함수라면 혼합편미분이 같아 Hessian은 대칭이다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 특정 변수에 대한 편미분 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#7. 선형·이차함수의 미분 공식
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#8. 2026년 자동미분 관점
현재 PyTorch에서는 이 장의 gradient, Jacobian, Hessian을 손으로 전개하지 않고도 계산할 수 있다. 하지만 자동미분이 수학을 없애는 것은 아니다. shape, symmetry, positive definiteness, conditioning을 모르면 결과를 잘못 해석하기 쉽다.
2026년 8월 현재 PyTorch 2.13의 torch.func는 다음을 직접 제공한다.
gradvjp,jvpjacrev,jacfwdhessianvmap
특히 Hessian은 2차 미분이므로 메모리와 계산량이 급격히 커질 수 있다. 실제 대규모 모델에서는 Hessian 전체보다 Hessian-vector product 같은 구조를 쓰는 경우가 많다.
#Part 1.4 퍼셉트론·컨볼루션·DNN
#1. 생물학적 뉴런에서 퍼셉트론으로
퍼셉트론은 생물학적 뉴런을 그대로 복제하는 모델이 아니라, 입력값 → 가중합 → 비선형/임계 함수 → 출력이라는 계산 구조로 추상화한 모델이다.
다층 신경망의 한 뉴런은 강의자료의 그림 속 수식으로 다음처럼 쓸 수 있다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#2. 2차원 직선에서 N차원 초평면으로
2차원 직선은 다음처럼 쓸 수 있다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
일반적인 선형 경계 형태로 바꾸면 다음과 같다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
N차원에서는 초평면이 된다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 학습하는 가중치 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#3. 퍼셉트론의 판별 함수
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
입력 x가 결정경계의 어느 쪽에 있는가?
한 줄 핵심
wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.
Calculation walkthrough
계산 과정
- 1
특징과 가중치를 같은 위치끼리 곱한다
- 2
모든 곱을 더하고 bias를 더한다
- 3
부호를 확인한다
- 4
필요하면 경계까지 거리를 구한다
Worked example
숫자로 직접 계산 — 한 점 분류하기
w=[1,-2], x=[3,1], b=0.5이다.
- 1
가중합
- 2
클래스
- 3
경계까지 거리
결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.
Sanity check
검산 포인트
- w와 x의 차원이 같아야 한다.
- 거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 학습하는 가중치 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
입력 x가 결정경계의 어느 쪽에 있는가?
한 줄 핵심
wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.
Calculation walkthrough
계산 과정
- 1
특징과 가중치를 같은 위치끼리 곱한다
- 2
모든 곱을 더하고 bias를 더한다
- 3
부호를 확인한다
- 4
필요하면 경계까지 거리를 구한다
Worked example
숫자로 직접 계산 — 한 점 분류하기
w=[1,-2], x=[3,1], b=0.5이다.
- 1
가중합
- 2
클래스
- 3
경계까지 거리
결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.
Sanity check
검산 포인트
- w와 x의 차원이 같아야 한다.
- 거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#3.1 결정경계의 기하학
- 경계면은 weight vector
\mathbf{w}에 수직이다. - bias는 경계면의 위치를 이동시킨다.
- 원자료의
b/\|w\|_2는 부호 있는 거리로 읽을 수 있다. 비음수인 기하학적 거리는|b|/\|w\|_2다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?
한 줄 핵심
예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.
Calculation walkthrough
계산 과정
- 1
예측값을 계산한다
선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.
- 2
잔차를 계산한다
- 3
잔차를 제곱한다
부호를 없애고 큰 오차를 더 크게 반영한다.
- 4
모두 더해 샘플 수로 나눈다
Worked example
숫자로 직접 계산 — 두 샘플 MSE
정답과 예측을 직접 비교한다.
- 1
정답·예측
- 2
잔차
- 3
제곱
- 4
평균
결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.
Sanity check
검산 포인트
- 샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
- MSE 단위는 원래 출력 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 학습하는 가중치 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
부호까지 포함한 점 x의 경계면 상대 위치는 다음 값으로 읽을 수 있다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?
한 줄 핵심
예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.
Calculation walkthrough
계산 과정
- 1
예측값을 계산한다
선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.
- 2
잔차를 계산한다
- 3
잔차를 제곱한다
부호를 없애고 큰 오차를 더 크게 반영한다.
- 4
모두 더해 샘플 수로 나눈다
Worked example
숫자로 직접 계산 — 두 샘플 MSE
정답과 예측을 직접 비교한다.
- 1
정답·예측
- 2
잔차
- 3
제곱
- 4
평균
결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.
Sanity check
검산 포인트
- 샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
- MSE 단위는 원래 출력 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 학습하는 가중치 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#4. 선형분리 가능한 학습집합과 제로 오차
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
한 줄로는 다음과 같다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#5. 비선형 판별기와 컨볼루션
DNN의 핵심 구성 중 하나인 convolution을 연속형부터 적는다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
이산형은 다음 두 표현이 동치다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?
한 줄 핵심
커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.
Calculation walkthrough
계산 과정
- 1
커널 방향과 경계조건을 확인한다
수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
- 2
출력 위치에 커널을 맞춘다
stride·padding에 따라 겹치는 입력 영역이 정해진다.
- 3
겹친 원소끼리 곱한다
- 4
곱을 모두 더한다
- 5
다음 위치로 이동해 반복한다
2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.
Worked example
숫자로 직접 계산 — 1D full convolution
신호 [1,2,3]과 커널 [1,1]을 사용한다.
- 1
첫 위치
- 2
두 번째 위치
- 3
세 번째 위치
- 4
마지막 위치
결과: full 출력은 [1,3,5,3]이다.
주의: same/valid padding을 쓰면 출력 길이가 달라진다.
Sanity check
검산 포인트
- 출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
- 커널 뒤집기 convention을 코드와 수식에서 일치시킨다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?
한 줄 핵심
커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.
Calculation walkthrough
계산 과정
- 1
커널 방향과 경계조건을 확인한다
수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
- 2
출력 위치에 커널을 맞춘다
stride·padding에 따라 겹치는 입력 영역이 정해진다.
- 3
겹친 원소끼리 곱한다
- 4
곱을 모두 더한다
- 5
다음 위치로 이동해 반복한다
2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.
Worked example
숫자로 직접 계산 — 1D full convolution
신호 [1,2,3]과 커널 [1,1]을 사용한다.
- 1
첫 위치
- 2
두 번째 위치
- 3
세 번째 위치
- 4
마지막 위치
결과: full 출력은 [1,3,5,3]이다.
주의: same/valid padding을 쓰면 출력 길이가 달라진다.
Sanity check
검산 포인트
- 출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
- 커널 뒤집기 convention을 코드와 수식에서 일치시킨다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#6. DNN에서 자주 쓰는 모듈
강의자료의 PyTorch 목록을 한국어 기능 중심으로 재구성하면 다음과 같다.
| 모듈 | 역할 |
|---|---|
nn.Linear | 전결합 선형변환 |
nn.Conv2d | 2차원 컨볼루션 |
nn.ConvTranspose2d | 전치 컨볼루션 기반 업샘플링 |
nn.ReLU | 비선형 활성화 |
nn.MaxPool2d | 최대 풀링 |
nn.AvgPool2d | 평균 풀링 |
nn.Upsample | 보간 기반 업샘플링 |
nn.Dropout | 학습 중 임의 비활성화를 통한 정규화 |
#7. 2026년 업데이트: CNN 다음에 무엇이 왔나
CNN의 수학이 낡은 것은 아니다. 다만 현대 비전 모델의 선택지는 훨씬 넓다.
- Vision Transformer는 이미지를 patch sequence로 보고 attention만으로도 강한 이미지 인식 성능을 만들 수 있음을 보였다.
- PyTorch 2.13은
scaled_dot_product_attention을 제공하고, FlashAttention-2 계열을 포함한 여러 backend로 dispatch할 수 있다. torch.compile은 모델 코드를 graph로 포착해 최적화하는 현재 PyTorch의 핵심 실행 경로다.- CNN은 여전히 저수준 특징추출, 임베디드 비전, 복원, 의료영상, hybrid architecture에서 광범위하게 쓰인다.
즉, 이 강의의 퍼셉트론 → 컨볼루션 → DNN 흐름은 역사적 기초이고, 그 위에 attention과 foundation model이 추가되었다고 보는 것이 정확하다.
#Part 1.5 확률변수·조건부확률·조건부기대값
#1. 실수 확률변수의 CDF와 PDF
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
PMF에서 expectation·variance·conditional law까지
작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
PMF에서 expectation·variance·conditional law까지
작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#2. 이산·연속 분포
강의에서 대표 이산 확률변수로 Bernoulli, Binomial, Poisson을 들고, 연속 확률변수로 Uniform, Gaussian, Laplace를 든다.
포아송 PMF는 다음과 같다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 정규화 강도 또는 고유값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
평균 μ, 분산 σ²의 단변량 Gaussian PDF는 다음과 같다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?
한 줄 핵심
각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.
Calculation walkthrough
계산 과정
- 1
평균을 구한다
- 2
평균과의 차이를 구한다
- 3
차이를 제곱한다
- 4
기댓값을 취한다
Worked example
숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}
앞 예시의 평균 μ=2.1을 사용한다.
- 1
제곱편차
- 2
확률 가중합
결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.
Sanity check
검산 포인트
- 분산은 음수가 될 수 없다.
- 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 표준편차 또는 시그모이드 표기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#3. 독립성
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
PMF에서 expectation·variance·conditional law까지
작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#4. 평균·기대값·분산·상관
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Formula-specific lesson
PMF에서 expectation·variance·conditional law까지
작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Formula-specific lesson
PMF에서 expectation·variance·conditional law까지
작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?
한 줄 핵심
각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.
Calculation walkthrough
계산 과정
- 1
평균을 구한다
- 2
평균과의 차이를 구한다
- 3
차이를 제곱한다
- 4
기댓값을 취한다
Worked example
숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}
앞 예시의 평균 μ=2.1을 사용한다.
- 1
제곱편차
- 2
확률 가중합
결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.
Sanity check
검산 포인트
- 분산은 음수가 될 수 없다.
- 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
복소 확률변수의 실수부·허수부까지 펼치면 상관의 적분은 4차원이 된다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#5. 공분산
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
X가 평균보다 클 때 Y도 함께 커지는가?
한 줄 핵심
각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.
Formula-specific lesson
PMF에서 expectation·variance·conditional law까지
작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.
Calculation walkthrough
계산 과정
- 1
각 변수의 평균을 구한다
- 2
편차를 계산한다
- 3
편차끼리 곱한다
- 4
기댓값 또는 표본평균을 취한다
Worked example
숫자로 직접 계산 — 두 샘플의 공분산 방향
X=[1,3], Y=[2,6]이며 평균은 2와 4다.
- 1
편차
- 2
편차곱
- 3
평균
결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.
Sanity check
검산 포인트
- Cov(X,X)=Var(X)다.
- 공분산 0은 일반적으로 독립을 보장하지 않는다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
ensemble mean과 유한 샘플의 sample mean은 구분해야 한다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
공분산 성질을 모두 적는다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
X가 평균보다 클 때 Y도 함께 커지는가?
한 줄 핵심
각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.
Calculation walkthrough
계산 과정
- 1
각 변수의 평균을 구한다
- 2
편차를 계산한다
- 3
편차끼리 곱한다
- 4
기댓값 또는 표본평균을 취한다
Worked example
숫자로 직접 계산 — 두 샘플의 공분산 방향
X=[1,3], Y=[2,6]이며 평균은 2와 4다.
- 1
편차
- 2
편차곱
- 3
평균
결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.
Sanity check
검산 포인트
- Cov(X,X)=Var(X)다.
- 공분산 0은 일반적으로 독립을 보장하지 않는다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 가능한 값의 확률가중평균인 기댓값 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
X가 평균보다 클 때 Y도 함께 커지는가?
한 줄 핵심
각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.
Calculation walkthrough
계산 과정
- 1
각 변수의 평균을 구한다
- 2
편차를 계산한다
- 3
편차끼리 곱한다
- 4
기댓값 또는 표본평균을 취한다
Worked example
숫자로 직접 계산 — 두 샘플의 공분산 방향
X=[1,3], Y=[2,6]이며 평균은 2와 4다.
- 1
편차
- 2
편차곱
- 3
평균
결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.
Sanity check
검산 포인트
- Cov(X,X)=Var(X)다.
- 공분산 0은 일반적으로 독립을 보장하지 않는다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
X가 평균보다 클 때 Y도 함께 커지는가?
한 줄 핵심
각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.
Calculation walkthrough
계산 과정
- 1
각 변수의 평균을 구한다
- 2
편차를 계산한다
- 3
편차끼리 곱한다
- 4
기댓값 또는 표본평균을 취한다
Worked example
숫자로 직접 계산 — 두 샘플의 공분산 방향
X=[1,3], Y=[2,6]이며 평균은 2와 4다.
- 1
편차
- 2
편차곱
- 3
평균
결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.
Sanity check
검산 포인트
- Cov(X,X)=Var(X)다.
- 공분산 0은 일반적으로 독립을 보장하지 않는다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
X가 평균보다 클 때 Y도 함께 커지는가?
한 줄 핵심
각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.
Calculation walkthrough
계산 과정
- 1
각 변수의 평균을 구한다
- 2
편차를 계산한다
- 3
편차끼리 곱한다
- 4
기댓값 또는 표본평균을 취한다
Worked example
숫자로 직접 계산 — 두 샘플의 공분산 방향
X=[1,3], Y=[2,6]이며 평균은 2와 4다.
- 1
편차
- 2
편차곱
- 3
평균
결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.
Sanity check
검산 포인트
- Cov(X,X)=Var(X)다.
- 공분산 0은 일반적으로 독립을 보장하지 않는다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
X가 평균보다 클 때 Y도 함께 커지는가?
한 줄 핵심
각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.
Calculation walkthrough
계산 과정
- 1
각 변수의 평균을 구한다
- 2
편차를 계산한다
- 3
편차끼리 곱한다
- 4
기댓값 또는 표본평균을 취한다
Worked example
숫자로 직접 계산 — 두 샘플의 공분산 방향
X=[1,3], Y=[2,6]이며 평균은 2와 4다.
- 1
편차
- 2
편차곱
- 3
평균
결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.
Sanity check
검산 포인트
- Cov(X,X)=Var(X)다.
- 공분산 0은 일반적으로 독립을 보장하지 않는다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 표준편차 또는 시그모이드 표기 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
X가 평균보다 클 때 Y도 함께 커지는가?
한 줄 핵심
각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.
Calculation walkthrough
계산 과정
- 1
각 변수의 평균을 구한다
- 2
편차를 계산한다
- 3
편차끼리 곱한다
- 4
기댓값 또는 표본평균을 취한다
Worked example
숫자로 직접 계산 — 두 샘플의 공분산 방향
X=[1,3], Y=[2,6]이며 평균은 2와 4다.
- 1
편차
- 2
편차곱
- 3
평균
결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.
Sanity check
검산 포인트
- Cov(X,X)=Var(X)다.
- 공분산 0은 일반적으로 독립을 보장하지 않는다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 가능한 값의 확률가중평균인 기댓값 | |
| 전체 클래스 수 또는 행렬—문맥 확인 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
역은 일반적으로 성립하지 않는다. 다만 jointly Gaussian에서는 uncorrelated가 independence로 이어지는 특별한 성질이 있다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
X가 평균보다 클 때 Y도 함께 커지는가?
한 줄 핵심
각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.
Calculation walkthrough
계산 과정
- 1
각 변수의 평균을 구한다
- 2
편차를 계산한다
- 3
편차끼리 곱한다
- 4
기댓값 또는 표본평균을 취한다
Worked example
숫자로 직접 계산 — 두 샘플의 공분산 방향
X=[1,3], Y=[2,6]이며 평균은 2와 4다.
- 1
편차
- 2
편차곱
- 3
평균
결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.
Sanity check
검산 포인트
- Cov(X,X)=Var(X)다.
- 공분산 0은 일반적으로 독립을 보장하지 않는다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#6. Cauchy–Schwarz의 벡터 증명
강의자료의 각주에 있는 전개도 빠뜨리지 않는다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#7. 조건부확률
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Formula-specific lesson
PMF에서 expectation·variance·conditional law까지
작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 사건의 확률 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
밀도함수 형태로 바꾸면 더 익숙해진다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
독립이면 조건을 걸어도 X의 분포가 바뀌지 않는다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#8. 조건부기대값
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Formula-specific lesson
PMF에서 expectation·variance·conditional law까지
작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Formula-specific lesson
PMF에서 expectation·variance·conditional law까지
작은 discrete distribution과 joint table을 사용해 normalization, expectation, variance, conditional distribution과 conditional expectation의 계산 구조를 연결한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
조건부기대값은 Y의 함수이므로 그 자체가 확률변수다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#8.1 Filtration property
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
강의자료 각주에 제시된 filtration 성질의 적분 전개도 남긴다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#8.2 이미 알려진 양을 조건으로 둘 때
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#9. deterministic인가 random인가
강의의 체크 질문도 식으로 남긴다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
해석은 다음과 같다.
Y=f(X): 일반적으로 확률변수\mu=E[X]: 분포가 고정되면 deterministic scalarE[X\mid Z]: Z의 함수이므로 확률변수E[X\mid Z=z_0]: 특정 z₀에 조건을 고정하면 deterministic quantity
#10. 2026년 구현 관점
2026년 8월 현재 PyTorch 2.13의 torch.distributions는 Bernoulli, Normal, Poisson 같은 분포를 단순 샘플링 도구로만 다루지 않는다. log_prob, entropy, reparameterized sampling 등을 통해 확률모형을 계산 그래프와 연결한다.
따라서 이 장의 조건부확률과 기대값은 고전 통계의 언어이면서 동시에 VAE, 확률적 정책, Bayesian layer, uncertainty estimation을 구현하는 기본 언어다.
#Part 1.6 확률벡터·결합 가우시안·WSS·전력스펙트럼
#1. 확률벡터
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 샘플을 모은 데이터 행렬 | |
| 특정 변수에 대한 편미분 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#2. 다변량 가우시안
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?
한 줄 핵심
평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.
Calculation walkthrough
계산 과정
- 1
평균에서의 차이를 구한다
- 2
분산·공분산으로 거리 스케일을 보정한다
- 3
지수 감쇠를 계산한다
- 4
정규화 상수로 나눈다
Worked example
숫자로 직접 계산 — 표준정규에서 x=1
μ=0, σ=1인 1차원 가우시안이다.
- 1
표준화 거리
- 2
지수항
- 3
정규화
결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.
Sanity check
검산 포인트
- Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
- 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 평균 | |
| 가우시안 분포 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 샘플을 모은 데이터 행렬 | |
| 평균 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 학습률·혼합계수·쌍대계수 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#3. 확률벡터의 기대값·상관·공분산
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 샘플을 모은 데이터 행렬 | |
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 샘플을 모은 데이터 행렬 | |
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 샘플을 모은 데이터 행렬 | |
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
X가 평균보다 클 때 Y도 함께 커지는가?
한 줄 핵심
각 변수에서 평균을 뺀 편차끼리 곱한 뒤 평균낸다. 양수면 같은 방향, 음수면 반대 방향 경향이다.
Calculation walkthrough
계산 과정
- 1
각 변수의 평균을 구한다
- 2
편차를 계산한다
- 3
편차끼리 곱한다
- 4
기댓값 또는 표본평균을 취한다
Worked example
숫자로 직접 계산 — 두 샘플의 공분산 방향
X=[1,3], Y=[2,6]이며 평균은 2와 4다.
- 1
편차
- 2
편차곱
- 3
평균
결과: 양의 공분산이므로 두 변수는 함께 증가하는 방향을 보인다.
Sanity check
검산 포인트
- Cov(X,X)=Var(X)다.
- 공분산 0은 일반적으로 독립을 보장하지 않는다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 가능한 값의 확률가중평균인 기댓값 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 가능한 값의 확률가중평균인 기댓값 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
성분이 독립이면 공분산행렬은 대각행렬이 된다.
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 표준편차 또는 시그모이드 표기 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
양의 정부호 행렬의 quadratic form도 다시 등장한다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
벡터·오차가 원점에서 얼마나 큰가?
한 줄 핵심
L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Calculation walkthrough
계산 과정
- 1
각 성분을 제곱한다
음수와 양수를 모두 양의 기여도로 바꾼다.
- 2
제곱값을 모두 더한다
- 3
노름이면 제곱근을 취한다
- 4
제곱 노름인지 구분한다
Worked example
숫자로 직접 계산 — 3-4-5 벡터
가장 익숙한 피타고라스 예시다.
- 1
벡터
- 2
제곱합
- 3
제곱근
결과: 따라서 ||x||₂=5, ||x||₂²=25다.
Sanity check
검산 포인트
- 노름은 항상 0 이상이다.
- 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#4. 공분산의 직교대각화와 decorrelation
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
quadratic form·eigenvalue·covariance·PCA 축
하나의 symmetric matrix와 2D sample cloud에서 quadratic form, eigenpairs, trace/determinant identities, covariance symmetry와 principal axes를 함께 계산한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 가능한 값의 확률가중평균인 기댓값 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
복소값 벡터에서는 통상 다음과 같이 켤레를 포함한다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
jointly Gaussian이면 uncorrelated components가 jointly independent로 이어진다.
#5. 결합 가우시안의 조건부기대값
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 가능한 값의 확률가중평균인 기댓값 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#6. M개의 i.i.d. Gaussian vector 예제
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?
한 줄 핵심
왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.
Calculation walkthrough
계산 과정
- 1
곱셈 가능 여부를 확인한다
안쪽 차원이 같아야 한다.
- 2
출력 위치 하나를 고른다
출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
- 3
같은 인덱스끼리 곱해 더한다
- 4
모든 행·열 조합에 반복한다
이 과정을 출력 행렬 전체에 적용한다.
Worked example
숫자로 직접 계산 — 2×2 행렬과 벡터 곱
각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.
- 1
입력
- 2
첫 번째 행
- 3
두 번째 행
결과: Ax=[17,39]^T이다.
Sanity check
검산 포인트
- 행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
- 출력 모양은 바깥 차원 m×p다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?
한 줄 핵심
평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.
Calculation walkthrough
계산 과정
- 1
평균에서의 차이를 구한다
- 2
분산·공분산으로 거리 스케일을 보정한다
- 3
지수 감쇠를 계산한다
- 4
정규화 상수로 나눈다
Worked example
숫자로 직접 계산 — 표준정규에서 x=1
μ=0, σ=1인 1차원 가우시안이다.
- 1
표준화 거리
- 2
지수항
- 3
정규화
결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.
Sanity check
검산 포인트
- Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
- 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 샘플을 모은 데이터 행렬 | |
| 평균 | |
| 지정된 항을 모두 곱하는 연산 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?
한 줄 핵심
평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.
Calculation walkthrough
계산 과정
- 1
평균에서의 차이를 구한다
- 2
분산·공분산으로 거리 스케일을 보정한다
- 3
지수 감쇠를 계산한다
- 4
정규화 상수로 나눈다
Worked example
숫자로 직접 계산 — 표준정규에서 x=1
μ=0, σ=1인 1차원 가우시안이다.
- 1
표준화 거리
- 2
지수항
- 3
정규화
결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.
Sanity check
검산 포인트
- Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
- 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 샘플을 모은 데이터 행렬 | |
| 평균 | |
| 지정된 항을 모두 더하는 연산 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
위 식은 원자료에 보이는 표기를 그대로 남긴 것이다. 각 밀도에 |C|^{-1/2}가 하나씩 있으므로 독립인 M개 벡터의 결합밀도 정규화 상수는 다음처럼 교정된다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?
한 줄 핵심
평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.
Calculation walkthrough
계산 과정
- 1
평균에서의 차이를 구한다
- 2
분산·공분산으로 거리 스케일을 보정한다
- 3
지수 감쇠를 계산한다
- 4
정규화 상수로 나눈다
Worked example
숫자로 직접 계산 — 표준정규에서 x=1
μ=0, σ=1인 1차원 가우시안이다.
- 1
표준화 거리
- 2
지수항
- 3
정규화
결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.
Sanity check
검산 포인트
- Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
- 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 샘플을 모은 데이터 행렬 | |
| 평균 | |
| 지정된 항을 모두 더하는 연산 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
강의자료는 두 sample statistic을 다음처럼 합(sum) 으로 정의한다. 첫 번째 식은 일반적인 sample mean의 1/M이 없는 점에 주의한다. 이 예제에서는 충분통계 전개를 위한 합으로 읽는 것이 안전하다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 평균 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플을 모은 데이터 행렬 | |
| 지정된 항을 모두 더하는 연산 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?
한 줄 핵심
평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.
Calculation walkthrough
계산 과정
- 1
평균에서의 차이를 구한다
- 2
분산·공분산으로 거리 스케일을 보정한다
- 3
지수 감쇠를 계산한다
- 4
정규화 상수로 나눈다
Worked example
숫자로 직접 계산 — 표준정규에서 x=1
μ=0, σ=1인 1차원 가우시안이다.
- 1
표준화 거리
- 2
지수항
- 3
정규화
결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.
Sanity check
검산 포인트
- Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
- 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 샘플을 모은 데이터 행렬 | |
| 평균 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#7. 2D 이산 랜덤과정
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 가능한 값의 확률가중평균인 기댓값 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#8. WSS
2차 정상 랜덤과정 중 평균과 공분산이 이동에 대해 불변이면 wide-sense stationary로 둔다.
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
WSS 성질을 모두 적는다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
같은 실험을 매우 많이 반복하면 평균이 어디에 가까워지는가?
한 줄 핵심
각 결과값×그 결과의 확률을 계산한 뒤 합한다. 연속형에서는 합 대신 적분한다.
Calculation walkthrough
계산 과정
- 1
가능한 값과 확률을 짝지운다
- 2
각 값에 확률을 곱한다
- 3
모두 더한다
- 4
확률의 합을 확인한다
Worked example
숫자로 직접 계산 — 이산 확률변수 평균
X가 1,2,3을 각각 0.2,0.5,0.3 확률로 갖는다.
- 1
가중값
- 2
합
결과: E[X]=2.1이다. 실제 관측값 중 하나일 필요는 없다.
Sanity check
검산 포인트
- 확률 또는 밀도가 정규화되어야 한다.
- E[g(X)]는 일반적으로 g(E[X])와 같지 않다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 가능한 값의 확률가중평균인 기댓값 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?
한 줄 핵심
각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.
Calculation walkthrough
계산 과정
- 1
평균을 구한다
- 2
평균과의 차이를 구한다
- 3
차이를 제곱한다
- 4
기댓값을 취한다
Worked example
숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}
앞 예시의 평균 μ=2.1을 사용한다.
- 1
제곱편차
- 2
확률 가중합
결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.
Sanity check
검산 포인트
- 분산은 음수가 될 수 없다.
- 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?
한 줄 핵심
각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.
Calculation walkthrough
계산 과정
- 1
평균을 구한다
- 2
평균과의 차이를 구한다
- 3
차이를 제곱한다
- 4
기댓값을 취한다
Worked example
숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}
앞 예시의 평균 μ=2.1을 사용한다.
- 1
제곱편차
- 2
확률 가중합
결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.
Sanity check
검산 포인트
- 분산은 음수가 될 수 없다.
- 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 핵심 설명
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#9. 2D 전력 스펙트럼 밀도
WSS 과정 자체의 DSFT를 직접 정의하는 것이 아니라 autocorrelation의 DSFT를 power spectrum으로 사용한다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
어떤 사건 또는 관측 구간의 가능성을 구하는가?
한 줄 핵심
사건의 범위를 정하고, 배타적 경우는 더하며, 연쇄된 조건은 조건부확률로 곱한다.
Calculation walkthrough
계산 과정
- 1
사건과 조건을 말로 번역한다
P(A|B)는 B가 주어진 상태에서 A의 확률이다.
- 2
합 규칙인지 곱 규칙인지 정한다
배타적 대안은 합, 순차 조건은 곱을 사용한다.
- 3
필요하면 전체확률로 분모를 계산한다
- 4
0≤P≤1과 전체합 1을 검산한다
Worked example
숫자로 직접 계산 — 조건부확률
P(A∩B)=0.15, P(B)=0.30이다.
- 1
정의 적용
- 2
대입
결과: B가 일어난 경우의 절반에서 A도 일어난다.
Sanity check
검산 포인트
- 조건부확률의 분모 사건 확률이 0이 아니어야 한다.
- 밀도 p(x)와 사건확률 P(X∈A)를 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
이 관계가 Wiener–Khinchin 정리의 핵심이다.
#9.1 평균 0인 WSS white process
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?
한 줄 핵심
각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.
Calculation walkthrough
계산 과정
- 1
평균을 구한다
- 2
평균과의 차이를 구한다
- 3
차이를 제곱한다
- 4
기댓값을 취한다
Worked example
숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}
앞 예시의 평균 μ=2.1을 사용한다.
- 1
제곱편차
- 2
확률 가중합
결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.
Sanity check
검산 포인트
- 분산은 음수가 될 수 없다.
- 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 표준편차 또는 시그모이드 표기 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?
한 줄 핵심
각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.
Calculation walkthrough
계산 과정
- 1
평균을 구한다
- 2
평균과의 차이를 구한다
- 3
차이를 제곱한다
- 4
기댓값을 취한다
Worked example
숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}
앞 예시의 평균 μ=2.1을 사용한다.
- 1
제곱편차
- 2
확률 가중합
결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.
Sanity check
검산 포인트
- 분산은 음수가 될 수 없다.
- 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 표준편차 또는 시그모이드 표기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#9.2 평균이 0이 아닐 때
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?
한 줄 핵심
각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.
Calculation walkthrough
계산 과정
- 1
평균을 구한다
- 2
평균과의 차이를 구한다
- 3
차이를 제곱한다
- 4
기댓값을 취한다
Worked example
숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}
앞 예시의 평균 μ=2.1을 사용한다.
- 1
제곱편차
- 2
확률 가중합
결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.
Sanity check
검산 포인트
- 분산은 음수가 될 수 없다.
- 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 표준편차 또는 시그모이드 표기 | |
| 전체 클래스 수 또는 행렬—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
확률변수가 평균 주변에 얼마나 넓게 퍼져 있는가?
한 줄 핵심
각 값에서 평균을 빼고 제곱한 뒤 확률가중평균을 계산한다.
Calculation walkthrough
계산 과정
- 1
평균을 구한다
- 2
평균과의 차이를 구한다
- 3
차이를 제곱한다
- 4
기댓값을 취한다
Worked example
숫자로 직접 계산 — X∈{1,2,3}, 확률 {0.2,0.5,0.3}
앞 예시의 평균 μ=2.1을 사용한다.
- 1
제곱편차
- 2
확률 가중합
결과: 분산은 0.49, 표준편차는 √0.49=0.7이다.
Sanity check
검산 포인트
- 분산은 음수가 될 수 없다.
- 표준편차는 원래 변수와 같은 단위지만 분산은 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 표준편차 또는 시그모이드 표기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
관측값 x가 평균 μ와 공분산 Σ를 가진 분포에서 얼마나 그럴듯한가?
한 줄 핵심
평균과의 차이를 공분산으로 스케일링한 거리와 정규화 상수를 계산해 밀도를 얻는다.
Calculation walkthrough
계산 과정
- 1
평균에서의 차이를 구한다
- 2
분산·공분산으로 거리 스케일을 보정한다
- 3
지수 감쇠를 계산한다
- 4
정규화 상수로 나눈다
Worked example
숫자로 직접 계산 — 표준정규에서 x=1
μ=0, σ=1인 1차원 가우시안이다.
- 1
표준화 거리
- 2
지수항
- 3
정규화
결과: x=1에서 확률밀도는 약 0.242다. 밀도값 자체는 사건확률이 아니다.
Sanity check
검산 포인트
- Σ는 대칭 양의 정부호여야 역행렬과 양의 밀도가 안정적으로 정의된다.
- 확률은 구간 적분으로 얻으며 한 점의 밀도와 구분한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 평균 | |
| 표준편차 또는 시그모이드 표기 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#10. 2026년 구현 관점
2D 이미지의 주파수 해석은 여전히 직접적인 도구다. 2026년 8월 현재 PyTorch 2.13의 torch.fft.fft2는 2D DFT를 제공하며, 실수 신호의 Fourier representation이 Hermitian symmetry를 갖는다는 점도 API 문서에 명시되어 있다.
WSS는 현실의 유한 이미지를 “완전히 stationary한 유한 객체”라고 주장하는 가정이 아니다. 강의자료가 지적하듯, 유한 이미지를 무한 WSS 과정의 관측 일부로 보는 모델링 관점에 가깝다.
#Part 1.7 손실함수·경사하강법·미니배치·일반화
#1. 기대손실을 최소화한다
통계적 머신러닝 관점에서 모델 D는 입력 x를 받아 예측 D(x)를 만들고, 정답 y와의 차이를 손실함수로 측정한다.
강의자료 판본에 따라 이 식의 번호가 (4) 또는 (5)로 달라진다. 이 시리즈에서는 식 자체를 기준으로 추적한다.
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#2. 기대값을 유한 샘플 평균으로 근사한다
실전에서는 데이터의 정확한 joint distribution을 알기 어렵다. 학습 샘플 (\mathbf{x}_l,\mathbf{y}_l)을 이용해 기대손실을 경험평균으로 근사한다.
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 | |
| 지정된 항을 모두 더하는 연산 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
2025-03-19 판본에는 이 우변이 학생이 채우는 ?? 형태로 제시된다. 위 식은 앞선 판본과 문맥을 결합해 완성한 것이다.
#3. MSE 예제
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?
한 줄 핵심
예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Calculation walkthrough
계산 과정
- 1
예측값을 계산한다
선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.
- 2
잔차를 계산한다
- 3
잔차를 제곱한다
부호를 없애고 큰 오차를 더 크게 반영한다.
- 4
모두 더해 샘플 수로 나눈다
Worked example
숫자로 직접 계산 — 두 샘플 MSE
정답과 예측을 직접 비교한다.
- 1
정답·예측
- 2
잔차
- 3
제곱
- 4
평균
결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.
Sanity check
검산 포인트
- 샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
- MSE 단위는 원래 출력 단위의 제곱이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함
이 식이 답하는 질문
벡터·오차가 원점에서 얼마나 큰가?
한 줄 핵심
L2 노름은 성분을 제곱해 더한 뒤 제곱근을 취한다. 제곱 노름은 마지막 제곱근을 생략한다.
Calculation walkthrough
계산 과정
- 1
각 성분을 제곱한다
음수와 양수를 모두 양의 기여도로 바꾼다.
- 2
제곱값을 모두 더한다
- 3
노름이면 제곱근을 취한다
- 4
제곱 노름인지 구분한다
Worked example
숫자로 직접 계산 — 3-4-5 벡터
가장 익숙한 피타고라스 예시다.
- 1
벡터
- 2
제곱합
- 3
제곱근
결과: 따라서 ||x||₂=5, ||x||₂²=25다.
Sanity check
검산 포인트
- 노름은 항상 0 이상이다.
- 제곱 노름과 노름을 혼동하면 단위와 미분계수가 달라진다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 지정된 항을 모두 더하는 연산 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#4. 기울기
함수 f:\mathbb{R}^N\to\mathbb{R}의 기울기는 최대 증가 방향을 가리키고 등고선에 수직이다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 각 변수 방향의 미분값을 모은 기울기 | |
| 특정 변수에 대한 편미분 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#5. 국소 최소점의 조건
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 | |
| 특정 변수에 대한 편미분 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#6. 경사하강법
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
손실을 줄이기 위해 파라미터를 다음에 어디로 옮길 것인가?
한 줄 핵심
현재 파라미터에서 기울기를 계산하고 학습률을 곱한 값을 빼서 다음 파라미터를 만든다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Calculation walkthrough
계산 과정
- 1
현재 손실의 기울기를 계산한다
- 2
이동량을 정한다
- 3
증가 방향의 반대로 이동한다
- 4
새 손실을 확인하고 반복한다
학습률이 너무 크면 발산하고 너무 작으면 매우 느리다.
Worked example
숫자로 직접 계산 — 한 번의 업데이트
f(w)=(w-3)², 현재 w=5, 학습률 α=0.1이다.
- 1
기울기
- 2
이동량
- 3
업데이트
- 4
손실 비교
결과: 한 번 이동한 뒤 손실이 4에서 2.56으로 감소했다.
Sanity check
검산 포인트
- 마이너스 부호가 있는지 확인한다.
- 업데이트 전후 손실과 gradient norm을 함께 기록하면 발산을 빨리 발견할 수 있다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 학습률·혼합계수·쌍대계수 | |
| 각 변수 방향의 미분값을 모은 기울기 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
학습률 \alpha가 너무 작으면 수렴이 느리고, 너무 크면 발산할 수 있다.
전체 데이터로 매번 gradient를 계산하면 L이 클 때 비용이 매우 커진다. MSE 예에서는 모든 샘플에 대해 다음 gradient가 필요하다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 정답·관측값 벡터 | |
| 각 변수 방향의 미분값을 모은 기울기 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#7. 확률적 미니배치 경사하강법
먼저 샘플 인덱스 집합을 무작위로 섞고, 크기 B의 batch로 나눈다.
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
각 batch에 대해 다음처럼 갱신한다.
Part I · 학습 수식
쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함 · 수식별 학습 장면
이 식이 답하는 질문
각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?
한 줄 핵심
각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Calculation walkthrough
계산 과정
- 1
미분할 변수를 정한다
다른 변수는 상수로 취급한다.
- 2
합·곱·연쇄법칙을 적용한다
복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
- 3
각 편미분을 한 벡터로 모은다
- 4
현재 값에 대입한다
기울기의 숫자와 부호를 얻는다.
Worked example
숫자로 직접 계산 — 1차원 손실의 기울기
목표값 3에서 멀어진 정도를 제곱한 손실이다.
- 1
함수
- 2
미분
- 3
w=5 대입
결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.
Sanity check
검산 포인트
- 기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
- 상수항의 미분은 0이다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 학습률·혼합계수·쌍대계수 | |
| 각 변수 방향의 미분값을 모은 기울기 | |
| 지정된 항을 모두 더하는 연산 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
강의자료에서 전체 경험손실은 다음 합으로 둔다.
Part I · 학습 수식
쉽게 설명 핵심 설명 · 수식별 학습 장면
이 식이 답하는 질문
이 수식이 본문에서 정의하거나 연결하는 대상은 무엇인가?
한 줄 핵심
별도의 실제 계산이나 유도 과정이 없는 수식에는 범용 계산 절차를 덧붙이지 않고, 문맥과 기호만 간결하게 확인한다.
Formula-specific lesson
gradient field·step size·mini-batch update
2D positive-definite quadratic에서 gradient descent를 실행해 stable step-size bound를 직접 확인하고, sample gradients의 mini-batch sum을 같은 화면에서 계산한다.
Symbols
이 식에 실제로 나온 기호
| 기호 | 의미 |
|---|---|
| 입력 또는 특징 벡터 | |
| 지정된 항을 모두 더하는 연산 | |
| 샘플 수 또는 손실함수—문맥 확인 |
Reference-quality follow-up
같은 계산을 더 깊게 확인할 레퍼런스
#8. 배치 크기 논쟁
강의자료는 Keskar 등의 2017 ICLR 결과를 소개한다. 큰 batch가 sharp minimizer로 향하고 일반화가 나빠질 수 있다는 경험적 관찰이다.
그러나 “sharp minima = 무조건 나쁜 일반화”를 정리처럼 외우면 안 된다. 2017년에도 재매개변수화로 sharpness를 바꾸면서 함수는 그대로 유지할 수 있다는 반론이 있었고, 2025년 연구에서도 잘 일반화하는 sharp minima가 존재할 수 있다는 결과가 나왔다.
따라서 2026년 관점에서는 다음처럼 읽는 편이 안전하다.
- batch size는 gradient noise, throughput, 메모리, learning-rate schedule과 함께 봐야 한다.
- sharpness는 유용한 진단 중 하나지만 parameterization에 의존할 수 있다.
- 대규모 학습에서는 “작은 batch가 항상 더 좋다”가 아니라 hardware utilization과 optimization stability를 함께 최적화한다.
#9. MIDAS 연구주제와 강의의 연결
강의 마지막은 MIDAS Lab의 연구축을 예로 든다.
- 자기지도·비지도 학습
- 반복형 AI와 iterative neural network
- 멀티모달 분석
- 비볼록 최적화
- 압축센싱
- X-ray CT, MRI, PET, SPECT
- 카메라 이미징, 3D 재구성, 초해상도
- 비전 기반 자율시스템
- 디지털 헬스케어
첫 판본은 저선량 CT의 self-supervised regression learning 예에서 RMSE가 개선되는 사례와 Neural View Synthesis, NeRF 계열을 함께 보여준다. 이 부분은 기초 수학이 실제 연구로 연결되는 예시로 읽으면 된다.
#10. 2026년 업데이트: 실제 대규모 학습은 어디까지 왔나
강의의 SGD 수식은 여전히 출발점이지만, 현재 대규모 모델 학습은 그 위에 많은 시스템 기법을 쌓는다.
#10.1 Optimizer
AdamW는 weight decay를 gradient update와 분리한 방식으로 널리 쓰이고 있다. PyTorch 2.13에는 AdamW뿐 아니라 Muon도 공식 optimizer API에 포함돼 있다.
#10.2 Mixed precision
NVIDIA Transformer Engine 2.16은 Hopper/Ada/Blackwell에서 FP8을 지원하고, Blackwell에서는 MXFP8과 NVFP4까지 문서화하고 있다. 즉 현대 학습은 수학적 gradient descent + 낮은 정밀도의 수치표현 + scale 관리를 함께 다룬다.
#10.3 Compile과 분산학습
PyTorch 2.13은 torch.compile, FSDP/FSDP2, tensor parallelism, distributed checkpoint를 같은 생태계에서 제공한다.
#11. 1장 전체를 한 줄로 다시 연결하면
데이터를 벡터·행렬로 표현한다 → 확률적으로 모델링한다 → 신경망으로 함수를 구성한다 → 손실을 정의한다 → 미분해 gradient를 얻는다 → mini-batch로 반복 최적화한다 → 일반화 성능을 검증한다.
이 흐름이 1장 전체의 핵심이다.