현대 인공지능 III — 퍼셉트론·MLP·CNN과 컨볼루션

강의자료 출처 — 이 글은 성균관대학교 ECE5992 「Modern Artificial Intelligence」의 2025년 3월 19일 강의자료 15쪽을 학습 목적으로 한국어로 재구성했다. 원 강의자료의 저작권은 강의 제작자인 Il Yong Chun 교수와 각 원 제작자에게 있다. 페이지 구성과 삽화를 그대로 복제하지 않고, 수식·표·문단·그림·주석은 원장으로 추적하며 도식과 해설은 새로 작성했다.

읽는 법 — 먼저 퍼셉트론에서 MLP·CNN·컨볼루션의 전역·국소 표현과 PyTorch 모듈까지 2025년 원자료 흐름을 읽고, 마지막의 2026년 연구 업데이트에서 activation·normalization, modern ConvNet, implicit bias, efficient convolution으로 확장한다.

#PDF 원자료 재구성

#3. 인공지능과 딥러닝을 위한 배경(Backgrounds for AI and DL)

이 장은 인공지능(AI)과 딥러닝(DL)을 공부하기 위한 배경으로, 하나의 퍼셉트론에서 시작해 다층 퍼셉트론(MLP), 컨볼루션 신경망(CNN), 컨볼루션의 전역·국소 행렬 표현, PyTorch 핵심 모듈로 이동한다.

#3.1 하나의 퍼셉트론 모델(A single perceptron model)

퍼셉트론은 생물학적 뉴런을 수학적으로 단순화한 모델이다. 강의자료는 수상돌기·시냅스·발화 임계값을 입력값·가중치·가중합·활성함수로 대응시킨다.

Biological neuron

Perceptron

Biological neuron	Perceptron
수상돌기는 다른 뉴런의 축삭에서 전기 신호를 받는다.	전기 신호를 수치 입력값으로 표현한다.
수상돌기와 축삭 사이 시냅스가 신호를 서로 다른 양만큼 조절한다.	각 입력값에 가중치(weight)를 곱하는 것으로 모델링한다.
입력 신호의 총 세기가 임계값을 넘을 때만 발화하고, 출력은 다른 뉴런으로 전달된다.	가중합을 계산한 뒤 sign 같은 활성함수로 출력을 정하고, 그 출력을 다음 퍼셉트론으로 보낸다.

PDF p.1 표 재구성. 원자료의 뉴런 사진과 역사적 웹 도식을 복제하지 않고, 두 열의 대응 관계와 세 행의 설명을 보존해 새 도식과 표로 다시 그렸다.

#3.1.1 선형 판별함수(Linear discriminant)

하나의 퍼셉트론은 선형 분리가 가능한 두 패턴 클래스 사이의 선형 경계를 학습한다. 2차원 직선은 $y=ax+b$ 로 쓰며, 좌표에 곱해지지 않는 계수 b를 편향(bias)이라 부른다.

N차원 점은 좌표 $x_1,x_2,\ldots,x_N$ 를 가진 벡터이고, 경계 계수는 $w_1,w_2,\ldots,w_N,b$ 로 표시한다.

직선 $y=ax+c$ 를 한쪽으로 이항하면 $y-ax-c=0$ 이며, 보다 일반적인 두 변수 선형 경계는 다음 형식이다.

원자료 수식 · PDF 1쪽

수식을 계산 가능한 작은 연산으로 분해하기

w_1x_1+w_2x_2+b=0

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

Deep Learning Book ↗ 머신러닝 기초, 정규화, 최적화, 컨볼루션 장으로 이어지는 기준 교재다. CS231n Course Notes ↗ 분류·손실·검증·CNN을 계산 예제 중심으로 연결한다.

PDF 1쪽 · 3.1.1 Linear discriminant 식별자: MAI-P3-006

원자료의 직선 일반형 질문을 이항과 좌표 대응으로 완성하면 다음과 같다.

원자료 빈칸의 완성식 · PDF 1쪽

수식을 계산 가능한 작은 연산으로 분해하기

-a x_1+x_2-c=0,\qquad (w_1,w_2,b)=(-a,1,-c)

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 1쪽 · Editorial completion: line mapping 식별자: MAI-P3-141

원자료의 연습문제는 “y=ax+c를 w₁x₁+w₂x₂+b=0으로 어떻게 다시 쓸 것인가?”를 묻고 답을 ?로 남긴다. 원문 질문을 보존하고 완성 답은 편집층에 분리한다.

N차원 특징에 대한 판별은 다음 초평면(hyperplane)을 기준으로 한다.

원자료 수식 · PDF 2쪽

수식을 계산 가능한 작은 연산으로 분해하기

\sum_{n=1}^{N}w_nx_n+b=0

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · 3.1.1 Linear discriminant 식별자: MAI-P3-007

벡터 형식은

원자료 수식 · PDF 2쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{w}^{\mathsf T}\mathbf{x}+b=0

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · 3.1.1 Linear discriminant 식별자: MAI-P3-008

이며,

\mathbf{w}\in\mathbb{R}^{N},\quad \mathbf{x}\in\mathbb{R}^{N}

는 열벡터다. w는 가중치 벡터, b는 편향이다.

분류기는 선형 점수 g를 sign 함수에 넣는 결정 규칙을 구현한다.

원자료 수식 · PDF 2쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

d(\mathbf{x})=\operatorname{sign}(g(\mathbf{x})),\qquad g(\mathbf{x})=\mathbf{w}^{\mathsf T}\mathbf{x}+b

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · 3.1.1 Linear discriminant 식별자: MAI-P3-010

퍼셉트론의 활성함수는 임계형 sign 함수다.

원자료 수식 · PDF 2쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

\operatorname{sign}(a)=\begin{cases}-1,&a<0,\\0,&a=0,\\1,&a>0.\end{cases}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · 3.1.1 Linear discriminant 식별자: MAI-P3-011

결정경계는 가중치 벡터에 수직이다. PDF는 원점까지의 거리를 $\frac{b}{\lVert\mathbf{w}\rVert_2}$ 로 적는다.

원점과 초평면 사이의 기하학적 거리는 비음수이므로 절댓값 교정형을 함께 둔다.

수학적 교정식 · PDF 2쪽

MSE는 잔차를 만들고 제곱하고 평균내는 3단계 계산

\operatorname{dist}(\mathbf{0},\{\mathbf{x}:\mathbf{w}^{\mathsf T}\mathbf{x}+b=0\})=\frac{|b|}{\lVert\mathbf{w}\rVert_2}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?

한 줄 핵심

예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

예측값을 계산한다

선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.

$\hat y=Xw$
2

잔차를 계산한다

$r=\hat y-y$
3

잔차를 제곱한다

부호를 없애고 큰 오차를 더 크게 반영한다.

$r_i^2$
4

모두 더해 샘플 수로 나눈다

$\mathrm{MSE}=\frac{1}{L}\sum_{i=1}^{L}r_i^2$

Worked example

숫자로 직접 계산 — 두 샘플 MSE

정답과 예측을 직접 비교한다.

1

정답·예측

$y=[3,1],\quad\hat y=[2,4]$
2

잔차

$\hat y-y=[-1,3]$
3

제곱

$[-1,3]^2=[1,9]$
4

평균

$(1+9)/2=5$

결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.

Sanity check

검산 포인트

샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
MSE 단위는 원래 출력 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\lVert\cdot\rVert$	벡터나 오차의 크기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · Editorial correction: origin distance 식별자: MAI-P3-142

PDF는 점 x에서 결정경계까지의 거리를 $\frac{g(\mathbf{x})}{\lVert\mathbf{w}\rVert_2}$ 로 적는다.

점과 초평면 사이의 기하학적 거리도 signed score가 아니라 절댓값으로 읽는다.

수학적 교정식 · PDF 2쪽

MSE는 잔차를 만들고 제곱하고 평균내는 3단계 계산

\operatorname{dist}(\mathbf{x},\{\mathbf{u}:\mathbf{w}^{\mathsf T}\mathbf{u}+b=0\})=\frac{|g(\mathbf{x})|}{\lVert\mathbf{w}\rVert_2}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?

한 줄 핵심

예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

예측값을 계산한다

선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.

$\hat y=Xw$
2

잔차를 계산한다

$r=\hat y-y$
3

잔차를 제곱한다

부호를 없애고 큰 오차를 더 크게 반영한다.

$r_i^2$
4

모두 더해 샘플 수로 나눈다

$\mathrm{MSE}=\frac{1}{L}\sum_{i=1}^{L}r_i^2$

Worked example

숫자로 직접 계산 — 두 샘플 MSE

정답과 예측을 직접 비교한다.

1

정답·예측

$y=[3,1],\quad\hat y=[2,4]$
2

잔차

$\hat y-y=[-1,3]$
3

제곱

$[-1,3]^2=[1,9]$
4

평균

$(1+9)/2=5$

결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.

Sanity check

검산 포인트

샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
MSE 단위는 원래 출력 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\lVert\cdot\rVert$	벡터나 오차의 크기

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · Editorial correction: point distance 식별자: MAI-P3-143

경계 위에서는 $g(\mathbf{x})=0$ , w가 가리키는 양의 쪽에서는 $g(\mathbf{x})>0$ , 반대쪽에서는 $g(\mathbf{x})<0$ 다.

선형 분리가 가능한 학습집합은 $\mathcal{D}=\{(\mathbf{x}_1,y_1),\ldots,(\mathbf{x}_M,y_M)\}$ 로 둔다. 모든 표본이 정확히 분류된다는 조건을 클래스별로 풀어 쓰면 다음과 같다.

원자료 수식 · PDF 2쪽

수식을 계산 가능한 작은 연산으로 분해하기

\bigl(y_m=1\ \wedge\ g(\mathbf{x}_m)>0\bigr)\ \text{or}\ \bigl(y_m=-1\ \wedge\ g(\mathbf{x}_m)<0\bigr),\quad \forall m

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · 3.1.1 Linear discriminant 식별자: MAI-P3-018

이를 한 줄의 zero empirical risk 조건으로 압축하면 다음과 같다.

원자료 수식 · PDF 2쪽

수식을 계산 가능한 작은 연산으로 분해하기

y_m\,g(\mathbf{x}_m)>0,\quad \forall m

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · 3.1.1 Linear discriminant 식별자: MAI-P3-019

#3.1.2 경사하강법을 이용한 퍼셉트론 학습

초기 학습모델은 zero empirical risk의 필요충분조건에서 출발한다.

원자료 수식 · PDF 2쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

y_m\bigl(\mathbf{w}^{\mathsf T}\mathbf{x}_m+b\bigr)>0,\quad \forall m

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-020

강의자료는 먼저 모든 signed score의 합을 키우는 보상 최대화 문제를 구성한다.

원자료 수식 · PDF 2쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

\operatorname*{arg\,max}_{\mathbf{w},b}\sum_{m=1}^{M}y_m\bigl(\mathbf{w}^{\mathsf T}\mathbf{x}_m+b\bigr)

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-021

동일한 목적을 다음 손실 최소화 문제로 바꾼다.

원자료 수식 · PDF 2쪽 · 식 (1)

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

\operatorname*{arg\,min}_{\mathbf{w},b}\mathcal{L}(\mathbf{w},b),\qquad \mathcal{L}(\mathbf{w},b)\triangleq-\sum_{m=1}^{M}y_m\bigl(\mathbf{w}^{\mathsf T}\mathbf{x}_m+b\bigr)

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\sum$	지정된 항을 모두 더하는 연산
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 2쪽 · 식 (1) · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-022

강의 주석 — PDF p.2
초평면 옆 손그림은 w가 결정경계에 수직이고 점에서 경계로 내린 수선의 길이를 ‖w‖로 정규화한다는 기하학을 나타낸다. No training error 표기가 signed-margin 조건 옆에 적혀 있다. 그 밖의 작은 메모는 문맥을 확정하기 어려워 판독 불확실로 남긴다.

식 (1)에 gradient descent를 적용하기 위해 w와 b에 대한 미분을 구한다. 두 결과는 원자료에서 모두 ??다.

원자료 표기 확인 필요 · PDF 3쪽

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기

\frac{\partial\mathcal{L}(\mathbf{w},b)}{\partial\mathbf{w}}=\text{??}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

미분할 변수를 정한다

다른 변수는 상수로 취급한다.
2

합·곱·연쇄법칙을 적용한다

복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
3

각 편미분을 한 벡터로 모은다

$\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T$
4

현재 값에 대입한다

기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

1

함수

$f(w)=(w-3)^2$
2

미분

$f'(w)=2(w-3)$
3

w=5 대입

$f'(5)=2(5-3)=4$

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트

기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{w}$	학습하는 가중치 벡터
$\partial$	특정 변수에 대한 편미분
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

Deep Learning Book · Linear Algebra ↗ 벡터·행렬·내적·역행렬을 같은 표기 체계로 복습한다. The Matrix Cookbook ↗ 행렬 항등식과 미분 공식을 빠르게 확인하는 데 적합하다. Deep Learning Book · Numerical Computation ↗ 기울기, 조건수, 수치 안정성을 계산 관점에서 연결한다.

PDF 3쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-023

원자료의 w-gradient 빈칸을 직접 미분해 완성하면 다음과 같다.

원자료 빈칸의 완성식 · PDF 3쪽

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기

\frac{\partial\mathcal{L}}{\partial\mathbf{w}}=-\sum_{m=1}^{M}y_m\mathbf{x}_m

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

미분할 변수를 정한다

다른 변수는 상수로 취급한다.
2

합·곱·연쇄법칙을 적용한다

복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
3

각 편미분을 한 벡터로 모은다

$\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T$
4

현재 값에 대입한다

기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

1

함수

$f(w)=(w-3)^2$
2

미분

$f'(w)=2(w-3)$
3

w=5 대입

$f'(5)=2(5-3)=4$

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트

기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\partial$	특정 변수에 대한 편미분
$\sum$	지정된 항을 모두 더하는 연산
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · Editorial completion: perceptron gradient 식별자: MAI-P3-144

원자료 표기 확인 필요 · PDF 3쪽

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기

\frac{\partial\mathcal{L}(\mathbf{w},b)}{\partial b}=\text{??}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

미분할 변수를 정한다

다른 변수는 상수로 취급한다.
2

합·곱·연쇄법칙을 적용한다

복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
3

각 편미분을 한 벡터로 모은다

$\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T$
4

현재 값에 대입한다

기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

1

함수

$f(w)=(w-3)^2$
2

미분

$f'(w)=2(w-3)$
3

w=5 대입

$f'(5)=2(5-3)=4$

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트

기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{w}$	학습하는 가중치 벡터
$\partial$	특정 변수에 대한 편미분
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-024

원자료의 bias-gradient 빈칸은 label 합에 음수를 붙인 식으로 완성된다.

원자료 빈칸의 완성식 · PDF 3쪽

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기

\frac{\partial\mathcal{L}}{\partial b}=-\sum_{m=1}^{M}y_m

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

미분할 변수를 정한다

다른 변수는 상수로 취급한다.
2

합·곱·연쇄법칙을 적용한다

복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
3

각 편미분을 한 벡터로 모은다

$\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T$
4

현재 값에 대입한다

기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

1

함수

$f(w)=(w-3)^2$
2

미분

$f'(w)=2(w-3)$
3

w=5 대입

$f'(5)=2(5-3)=4$

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트

기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\partial$	특정 변수에 대한 편미분
$\sum$	지정된 항을 모두 더하는 연산
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · Editorial completion: bias gradient 식별자: MAI-P3-145

원자료가 이어서 제시하는 update는 다음 두 식이다.

원자료 수식 · PDF 3쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

\mathbf{w}^{(i+1)}=\mathbf{w}^{(i)}+\alpha\sum_{m=1}^{M}y_m\mathbf{x}_m

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\alpha$	학습률·혼합계수·쌍대계수
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-025

원자료 수식 · PDF 3쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

b^{(i+1)}=b^{(i)}+\alpha\sum_{m=1}^{M}y_m

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\alpha$	학습률·혼합계수·쌍대계수
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-026

반복 index는 $i\ge 0$ 이고 초기값 $\mathbf{w}^{(0)},\ b^{(0)}$ 은 임의로 고른다.

학습집합이 선형 분리 가능하면 적어도 한 쌍 (w,b)에 대해 $\mathcal{L}(\mathbf{w},b)<0$ 가 성립한다.

그 값과 같거나 더 작은 어떤 해도 원자료의 gradient-descent 목적에는 충분하다고 설명한다.

그러나 식 (1)은 아래로 유계가 아니다. 이미 손실이 음수일 때 w 또는 b를 양수배하면 $\mathcal{L}(\mathbf{w},b)\to-\infty$ 가 가능하므로 수치적으로 부적절하다.

수정 모델은 오분류된 점에만 주의를 제한한다. 각 반복에서 error set을 다음처럼 정의한다.

원자료 표기 확인 필요 · PDF 3쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

\mathcal{E}=\{\mathbf{x}_m:y_m(\mathbf{w}^{\mathsf T}\mathbf{x}_m+b)<0\}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-030

score가 정확히 0인 pattern도 ±1 label을 맞히지 못하므로 error set에 포함하는 variant를 둔다.

수학적 교정식 · PDF 3쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathcal{E}=\{\mathbf{x}_m:y_m(\mathbf{w}^{\mathsf T}\mathbf{x}_m+b)\le 0\}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · Editorial correction: zero-margin error set 식별자: MAI-P3-162

error set에 포함된 표본만 합산한 손실은 식 (2)다.

원자료 수식 · PDF 3쪽 · 식 (2)

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

\mathcal{L}_{\mathcal{E}}(\mathbf{w},b)=-\sum_{\mathbf{x}_m\in\mathcal{E}}y_m(\mathbf{w}^{\mathsf T}\mathbf{x}_m+b)

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\sum$	지정된 항을 모두 더하는 연산
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · 식 (2) · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-031

E 안에서는 signed score가 음수이므로 $\mathcal{L}_{\mathcal{E}}(\mathbf{w},b)\ge0$ 다.

$\mathcal{L}_{\mathcal{E}}(\mathbf{w},b)=0\Longleftrightarrow\mathcal{E}=\varnothing$ 이므로 손실 0은 모든 표본이 올바르게 분류됐다는 뜻이다.

gradient descent update도 error set의 표본만 사용한다.

원자료 수식 · PDF 3쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

\mathbf{w}^{(i+1)}=\mathbf{w}^{(i)}+\alpha\sum_{\mathbf{x}_m\in\mathcal{E}^{(i)}}y_m\mathbf{x}_m

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\alpha$	학습률·혼합계수·쌍대계수
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-034

원자료 수식 · PDF 3쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

b^{(i+1)}=b^{(i)}+\alpha\sum_{\mathbf{x}_m\in\mathcal{E}^{(i)}}y_m

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\alpha$	학습률·혼합계수·쌍대계수
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-035

원자료 표기 확인 필요 · PDF 3쪽

초평면 분류기는 가중합 점수의 부호로 클래스를 나눔

\mathcal{E}^{(i)}=\{\mathbf{x}_m:y_m((\mathbf{w}^{(i)})^{\mathsf T}\mathbf{x}_m+b^{(i)})<0\}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

입력 x가 결정경계의 어느 쪽에 있는가?

한 줄 핵심

wᵀx+b를 계산해 양수면 한 클래스, 음수면 다른 클래스로 보낸다. 0이면 경계 위다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

특징과 가중치를 같은 위치끼리 곱한다

$w_ix_i$
2

모든 곱을 더하고 bias를 더한다

$g(x)=w^Tx+b$
3

부호를 확인한다

$g(x)>0\Rightarrow+1,\quad g(x)<0\Rightarrow-1$
4

필요하면 경계까지 거리를 구한다

$\mathrm{distance}=|g(x)|/\lVert w\rVert_2$

Worked example

숫자로 직접 계산 — 한 점 분류하기

w=[1,-2], x=[3,1], b=0.5이다.

1

가중합

$1\cdot3+(-2)\cdot1+0.5=1.5$
2

클래스

$\operatorname{sign}(1.5)=+1$
3

경계까지 거리

$1.5/\sqrt{1^2+(-2)^2}\approx0.67$

결과: 이 점은 양의 클래스 쪽에 있고 경계에서 약 0.67 떨어져 있다.

Sanity check

검산 포인트

w와 x의 차원이 같아야 한다.
거리에는 |g(x)|가 필요하지만 signed distance는 부호를 유지할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · 3.1.2 Perceptron learning with gradient descent 식별자: MAI-P3-036

iteration별 error set에도 같은 zero-margin 포함 규칙을 적용한다.

수학적 교정식 · PDF 3쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathcal{E}^{(i)}=\{\mathbf{x}_m:y_m((\mathbf{w}^{(i)})^{\mathsf T}\mathbf{x}_m+b^{(i)})\le 0\}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 3쪽 · Editorial correction: iterative zero-margin error set 식별자: MAI-P3-163

강의 주석 — PDF p.3
두 ?? 옆에 각각 -Σ yₘxₘ, **-Σ yₘ**이 손글씨로 적혀 있다. 하단의 메모에서는 loss function과 objective function을 같은 최적화 목적의 표현으로 연결한다. 일부 한국어 문장은 흐려 판독 불확실이다.

Figure 1 재구성. 입력 숫자 이미지가 두 번의 convolution과 subsampling으로 feature를 추출한 뒤 fully-connected classifier에서 0–9 클래스를 출력하는 흐름을 보존했다.

퍼셉트론 학습의 대안은 원하는 응답과 실제 선형 응답 사이의 MSE를 최소화하는 것이다.

원자료 수식 · PDF 4쪽 · 식 (3)

MSE는 잔차를 만들고 제곱하고 평균내는 3단계 계산

\mathcal{L}_{\mathrm{MSE}}(\widetilde{\mathbf{w}})=\frac{1}{2}\sum_{m=1}^{M}\left(y_m-\widetilde{\mathbf{w}}^{\mathsf T}\widetilde{\mathbf{x}}_m\right)^2

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?

한 줄 핵심

예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

예측값을 계산한다

선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.

$\hat y=Xw$
2

잔차를 계산한다

$r=\hat y-y$
3

잔차를 제곱한다

부호를 없애고 큰 오차를 더 크게 반영한다.

$r_i^2$
4

모두 더해 샘플 수로 나눈다

$\mathrm{MSE}=\frac{1}{L}\sum_{i=1}^{L}r_i^2$

Worked example

숫자로 직접 계산 — 두 샘플 MSE

정답과 예측을 직접 비교한다.

1

정답·예측

$y=[3,1],\quad\hat y=[2,4]$
2

잔차

$\hat y-y=[-1,3]$
3

제곱

$[-1,3]^2=[1,9]$
4

평균

$(1+9)/2=5$

결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.

Sanity check

검산 포인트

샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
MSE 단위는 원래 출력 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\sum$	지정된 항을 모두 더하는 연산
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 4쪽 · 식 (3) · 3.1.2 Alternative learning model 식별자: MAI-P3-038

여기서 $y_m\in\{+1,-1\}$ , 확장 파라미터는 $\widetilde{\mathbf{w}}\triangleq[\mathbf{w}^{\mathsf T},b]^{\mathsf T}$ , 확장 입력은 $\widetilde{\mathbf{x}}_m\triangleq[\mathbf{x}_m^{\mathsf T},1]^{\mathsf T}$ 다. 원자료는 $\mathcal{L}_{\mathrm{MSE}}(\widetilde{\mathbf{w}})>0$ 라고 설명한다.

제곱합 MSE는 완전 적합에서 0이 될 수 있으므로 “always positive”를 nonnegative로 교정한다.

수학적 교정식 · PDF 4쪽

MSE는 잔차를 만들고 제곱하고 평균내는 3단계 계산

\mathcal{L}_{\mathrm{MSE}}(\widetilde{\mathbf{w}})\ge 0

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

모델 예측이 정답에서 평균적으로 얼마나 멀리 벗어났는가?

한 줄 핵심

예측−정답 잔차를 구한 뒤 각 잔차를 제곱하고 샘플 수로 나눈다. 큰 오차가 더 강하게 벌점받는다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

예측값을 계산한다

선형회귀라면 Xw 또는 wᵀx로 예측을 만든다.

$\hat y=Xw$
2

잔차를 계산한다

$r=\hat y-y$
3

잔차를 제곱한다

부호를 없애고 큰 오차를 더 크게 반영한다.

$r_i^2$
4

모두 더해 샘플 수로 나눈다

$\mathrm{MSE}=\frac{1}{L}\sum_{i=1}^{L}r_i^2$

Worked example

숫자로 직접 계산 — 두 샘플 MSE

정답과 예측을 직접 비교한다.

1

정답·예측

$y=[3,1],\quad\hat y=[2,4]$
2

잔차

$\hat y-y=[-1,3]$
3

제곱

$[-1,3]^2=[1,9]$
4

평균

$(1+9)/2=5$

결과: MSE는 5다. 두 번째 샘플의 오차 3이 전체 값을 크게 올린다.

Sanity check

검산 포인트

샘플 수로 나눴는지, 단순 제곱합인지 확인한다.
MSE 단위는 원래 출력 단위의 제곱이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{w}$	학습하는 가중치 벡터
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 4쪽 · Editorial correction: MSE nonnegativity 식별자: MAI-P3-161

이 MSE의 gradient는 원자료에서 ??로 남아 있다.

원자료 표기 확인 필요 · PDF 4쪽

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기

\frac{\partial\mathcal{L}_{\mathrm{MSE}}(\widetilde{\mathbf{w}})}{\partial\widetilde{\mathbf{w}}}=\text{??}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

미분할 변수를 정한다

다른 변수는 상수로 취급한다.
2

합·곱·연쇄법칙을 적용한다

복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
3

각 편미분을 한 벡터로 모은다

$\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T$
4

현재 값에 대입한다

기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

1

함수

$f(w)=(w-3)^2$
2

미분

$f'(w)=2(w-3)$
3

w=5 대입

$f'(5)=2(5-3)=4$

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트

기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{w}$	학습하는 가중치 벡터
$\partial$	특정 변수에 대한 편미분
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 4쪽 · 3.1.2 Alternative learning model 식별자: MAI-P3-043

MSE 기반 퍼셉트론 학습식의 gradient 빈칸을 chain rule로 완성하면 다음과 같다.

원자료 빈칸의 완성식 · PDF 4쪽

기울기는 변수를 조금 움직였을 때 손실이 변하는 방향과 세기

\nabla_{\widetilde{\mathbf{w}}}\mathcal{L}_{\mathrm{MSE}}=-\sum_{m=1}^{M}\left(y_m-\widetilde{\mathbf{w}}^{\mathsf T}\widetilde{\mathbf{x}}_m\right)\widetilde{\mathbf{x}}_m

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 파라미터를 늘리면 목표값이 얼마나 증가하거나 감소하는가?

한 줄 핵심

각 변수에 대한 편미분을 모아 벡터를 만들고, 최적화에서는 그 반대 방향으로 이동한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

미분할 변수를 정한다

다른 변수는 상수로 취급한다.
2

합·곱·연쇄법칙을 적용한다

복합함수라면 바깥 미분×안쪽 미분 순서로 계산한다.
3

각 편미분을 한 벡터로 모은다

$\nabla f=[\partial f/\partial x_1,\ldots,\partial f/\partial x_N]^T$
4

현재 값에 대입한다

기울기의 숫자와 부호를 얻는다.

Worked example

숫자로 직접 계산 — 1차원 손실의 기울기

목표값 3에서 멀어진 정도를 제곱한 손실이다.

1

함수

$f(w)=(w-3)^2$
2

미분

$f'(w)=2(w-3)$
3

w=5 대입

$f'(5)=2(5-3)=4$

결과: 양의 기울기 4이므로 w를 줄이는 방향이 손실을 낮춘다.

Sanity check

검산 포인트

기울기 벡터의 길이는 파라미터 벡터 길이와 같아야 한다.
상수항의 미분은 0이다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\nabla$	각 변수 방향의 미분값을 모은 기울기
$\sum$	지정된 항을 모두 더하는 연산
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 4쪽 · Editorial completion: MSE gradient 식별자: MAI-P3-146

원자료가 제시하는 update는 residual에 입력을 곱해 누적하는 LMS형 식이다.

원자료 수식 · PDF 4쪽

경사하강법은 현재값에서 기울기의 반대 방향으로 한 걸음 이동

\widetilde{\mathbf{w}}^{(i+1)}=\widetilde{\mathbf{w}}^{(i)}+\alpha\sum_{m=1}^{M}\left(y_m-(\widetilde{\mathbf{w}}^{(i)})^{\mathsf T}\widetilde{\mathbf{x}}_m\right)\widetilde{\mathbf{x}}_m

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

손실을 줄이기 위해 파라미터를 다음에 어디로 옮길 것인가?

한 줄 핵심

현재 파라미터에서 기울기를 계산하고 학습률을 곱한 값을 빼서 다음 파라미터를 만든다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

현재 손실의 기울기를 계산한다

$g_k=\nabla J(w_k)$
2

이동량을 정한다

$\Delta w=\alpha g_k$
3

증가 방향의 반대로 이동한다

$w_{k+1}=w_k-\alpha g_k$
4

새 손실을 확인하고 반복한다

학습률이 너무 크면 발산하고 너무 작으면 매우 느리다.

Worked example

숫자로 직접 계산 — 한 번의 업데이트

f(w)=(w-3)², 현재 w=5, 학습률 α=0.1이다.

1

기울기

$g=2(5-3)=4$
2

이동량

$\alpha g=0.1\cdot4=0.4$
3

업데이트

$w_{new}=5-0.4=4.6$
4

손실 비교

$f(5)=4,\qquad f(4.6)=2.56$

결과: 한 번 이동한 뒤 손실이 4에서 2.56으로 감소했다.

Sanity check

검산 포인트

마이너스 부호가 있는지 확인한다.
업데이트 전후 손실과 gradient norm을 함께 기록하면 발산을 빨리 발견할 수 있다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{w}$	학습하는 가중치 벡터
$\alpha$	학습률·혼합계수·쌍대계수
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

Deep Learning Book · Numerical Computation ↗ 기울기, 조건수, 수치 안정성을 계산 관점에서 연결한다. Deep Learning Book · Optimization ↗ 손실함수와 경사 기반 학습의 전체 흐름을 복습한다.

PDF 4쪽 · 3.1.2 Alternative learning model 식별자: MAI-P3-044

강의자료는 수렴을 위해 $0<\alpha<2$ 가 필요하지만 충분하지 않다고 적고, 전형적 범위로 $0.1<\alpha<1$ 을 제시한다. 데이터 의존 정확한 상한은 편집층에서 분리해 검증한다.

고정된 0<α<2 설명보다 정확한 quadratic 수렴 상한은 data matrix의 spectrum에 의존한다.

수학적 교정식 · PDF 4쪽

수식을 계산 가능한 작은 연산으로 분해하기

0<\alpha<\frac{2}{\lambda_{\max}(\widetilde{\mathbf{X}}\widetilde{\mathbf{X}}^{\mathsf T})},\qquad \widetilde{\mathbf{X}}=[\widetilde{\mathbf{x}}_1\ \cdots\ \widetilde{\mathbf{x}}_M]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{X}$	샘플을 모은 데이터 행렬
$\lambda$	정규화 강도 또는 고유값
$\alpha$	학습률·혼합계수·쌍대계수

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 4쪽 · Editorial correction: learning-rate bound 식별자: MAI-P3-147

#3.2 비선형 판별함수: FCN 또는 MLP

#3.2.1 단일 퍼셉트론의 한계

XOR 문제는 하나의 선형 결정경계로 풀 수 없는 대표 사례다. 강의자료는 false class를 $S_1=\{(0,0),(1,1)\}$ , true class를 $S_2=\{(1,0),(0,1)\}$ 로 배치한다.

기하를 보면 한 직선으로 두 클래스를 분리할 수 없다. 원자료는 가장 단순한 두 직선 경계 또는 2차함수 같은 비선형 경계로 해결할 수 있다고 설명한다.

강의 주석 — PDF p.4
w와 b, x와 상수 1을 각각 하나의 확장 벡터로 쌓는 손그림이 있다. MSE 빈칸 옆에는 gradient를 직접 구하라는 메모, 학습률 설명 옆에는 lower bound / upper bound가 보인다. 나머지 작은 글씨는 판독 불확실이다.

원자료는 앞에서 말한 두 해법의 기하학적 모양을 스케치하라고 하고 답을 비워 둔다.

원자료 표기 확인 필요 · PDF 5쪽

수식을 계산 가능한 작은 연산으로 분해하기

\text{??}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 5쪽 · 3.2.1 XOR exercise 식별자: MAI-P3-049

XOR의 두 positive points와 두 negative points를 두 평행선으로 분리하는 한 완성형은 다음과 같다.

원자료 빈칸의 완성식 · PDF 5쪽

수식을 계산 가능한 작은 연산으로 분해하기

s=x_1+x_2,\qquad \widehat S(\mathbf{x})=\begin{cases}S_2,&\frac12<s<\frac32,\\S_1,&s<\frac12\ \text{or}\ s>\frac32.\end{cases}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 5쪽 · Editorial completion: XOR geometry 식별자: MAI-P3-148

이어 “하나보다 많은 퍼셉트론이 XOR을 해결할 수 있는가? 가능하다면 최소 unit 수는 얼마인가?”를 묻는다.

원자료 표기 확인 필요 · PDF 5쪽

수식을 계산 가능한 작은 연산으로 분해하기

\text{??}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 5쪽 · 3.2.1 XOR exercise 식별자: MAI-P3-050

통상적인 threshold-network 해석에서는 hidden perceptron 2개와 output perceptron 1개가 필요하다.

원자료 빈칸의 완성식 · PDF 5쪽

수식을 계산 가능한 작은 연산으로 분해하기

N_{\mathrm{hidden}}^{\min}=2,\qquad N_{\mathrm{noninput}}^{\min}=3

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 5쪽 · Editorial completion: minimum XOR network 식별자: MAI-P3-149

#3.2.2 MLP 개요

Figure 2는 일반적인 다층 신경망을 보여 준다. 강의자료가 정의한 용어는 다음과 같다.

한 열(column)의 node 집합을 layer라 부른다.

네트워크의 모든 node는 인공뉴런이다.

각 node의 출력이 다음 layer의 모든 node 입력에 연결되면 fully connected network다.

loop가 없는 네트워크를 feedforward network라 부른다.

layer l의 neuron k 출력, 즉 activation value는 $a_k(l)$ 로 쓴다.

목표는 미지의 입력 영상 패턴을 분류하는 것이다. N_L개의 output을 가진 신경망은 가장 큰 output activation의 class를 고른다.

원자료 수식 · PDF 5쪽

수식을 계산 가능한 작은 연산으로 분해하기

a_c(L)>a_{c^{\prime}}(L),\quad c=1,\ldots,N_L,\ c^{\prime}\ne c

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 5쪽 · 3.2.2 Overview 식별자: MAI-P3-052

#3.2.3 순전파(Forward pass)

순전파는 입력층의 x를 출력층으로 사상하며, 출력층의 값으로 class를 정한다. neuron i의 net input과 activation을 scalar로 쓰면 식 (4)다.

원자료 표기 확인 필요 · PDF 5쪽 · 식 (4)

수식을 계산 가능한 작은 연산으로 분해하기

a_i(l)=h(z_i(l)),\qquad z_i(l)=\sum_{j=1}^{N_{L-1}}w_{i,j}(l)a_j(l-1)+b_i(l),\quad i=1,\ldots,N_L,\ l=2,\ldots,L

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 5쪽 · 식 (4) · 3.2.3 Forward pass 식별자: MAI-P3-053

scalar forward pass의 합 범위와 output index를 일반적인 layer 폭으로 교정하면 다음과 같다.

수학적 교정식 · PDF 5쪽

수식을 계산 가능한 작은 연산으로 분해하기

z_i(l)=\sum_{j=1}^{N_{l-1}}w_{i,j}(l)a_j(l-1)+b_i(l),\qquad i=1,\ldots,N_l

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 5쪽 · Editorial correction: scalar forward pass 식별자: MAI-P3-151

출력 node는 $a_i(L)=h(z_i(L)),\quad i=1,\ldots,N_L$ 이고, 입력층은 $a_j(1)=x_j,\quad j=1,\ldots,N_1,\qquad N_1=N$ 로 초기화한다.

원자료 각주는 마지막 layer에서 sigmoid 대신 softmax를 쓸 수 있다고 설명한다. 모든 activation의 합이 1이어서 확률처럼 해석할 수 있다.

원자료 수식 · PDF 5쪽

수식을 계산 가능한 작은 연산으로 분해하기

a_i(L)=\frac{\exp(z_i(L))}{\sum_{i^{\prime}=1}^{N_L}\exp(z_{i^{\prime}}(L))}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산
$p(\cdot)$	확률밀도 또는 조건부 확률밀도
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 5쪽 · 3.2.3 Forward pass footnote 식별자: MAI-P3-056

강의 주석 — PDF p.5
XOR 질문 옆과 forward-pass 식 주변에 MLP, activation을 가리키는 화살표가 보인다. 짧은 기호와 영문 메모 대부분은 해상도와 필기 중첩 때문에 판독 불확실로 기록한다.

Figure 2 재구성. 입력층, 여러 hidden layer, 출력층, 각 layer 사이의 fully-connected edge, 그리고 neuron 내부의 weighted sum→activation 흐름을 새 SVG로 표현했다.

식 (4)를 vector/matrix 연산으로 묶으면 activation vector와 net-input vector의 관계가 식 (5)가 된다.

원자료 표기 확인 필요 · PDF 6쪽 · 식 (5)

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{a}(l)=h(\mathbf{z}(l))=\begin{bmatrix}h(z_1(l))\\h(z_2(l))\\\vdots\\h(z_{N_L}(l))\end{bmatrix},\qquad \mathbf{z}(l)=\mathbf{W}(l)\mathbf{a}(l-1)+\mathbf{b}(l),\quad l=2,\ldots,L

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

Deep Learning Book · Linear Algebra ↗ 벡터·행렬·내적·역행렬을 같은 표기 체계로 복습한다. The Matrix Cookbook ↗ 행렬 항등식과 미분 공식을 빠르게 확인하는 데 적합하다.

PDF 6쪽 · 식 (5) · 3.2.3 Matrix formulation 식별자: MAI-P3-057

vector forward pass의 activation·net-input·bias 차원을 current layer 폭으로 교정한다.

수학적 교정식 · PDF 6쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{a}(l),\mathbf{z}(l),\mathbf{b}(l)\in\mathbb{R}^{N_l\times1},\qquad \mathbf{z}(l)=\mathbf{W}(l)\mathbf{a}(l-1)+\mathbf{b}(l)

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 6쪽 · Editorial correction: matrix forward pass 식별자: MAI-P3-152

(a) DropOut

(b) DropConnect

Figure 3 재구성. DropOut은 activation을, DropConnect는 weight connection을 mask한다. 점선·X 표기로 source figure의 차이를 보존했다.

원자료 수식 · PDF 7쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{r}=\mathbf{m}\odot a(\mathbf{W}\mathbf{v})

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{m}_c$	클래스별 평균 또는 대표점

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 7쪽 · Figure 3 DropOut 식별자: MAI-P3-058

원자료 수식 · PDF 7쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{r}=a((\mathbf{M}\odot\mathbf{W})\mathbf{v})

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 7쪽 · Figure 3 DropConnect 식별자: MAI-P3-059

layer l의 weight matrix는 식 (6)으로 정의되지만, 원자료의 모든 entry가 ??로 남아 있다.

원자료 표기 확인 필요 · PDF 7쪽 · 식 (6)

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{W}(l)\triangleq\begin{bmatrix}\text{??}&\text{??}&\cdots&\text{??}\\\text{??}&\text{??}&\cdots&\text{??}\\\vdots&\vdots&\ddots&\vdots\\\text{??}&\text{??}&\cdots&\text{??}\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 7쪽 · 식 (6) · 3.2.3 Weight matrix 식별자: MAI-P3-060

식 (6)의 모든 물음표를 이전·현재 layer 폭에 맞춰 채우면 weight matrix는 다음과 같다.

원자료 빈칸의 완성식 · PDF 7쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{W}(l)=\begin{bmatrix}w_{1,1}(l)&w_{1,2}(l)&\cdots&w_{1,N_{l-1}}(l)\\w_{2,1}(l)&w_{2,2}(l)&\cdots&w_{2,N_{l-1}}(l)\\\vdots&\vdots&\ddots&\vdots\\w_{N_l,1}(l)&w_{N_l,2}(l)&\cdots&w_{N_l,N_{l-1}}(l)\end{bmatrix}\in\mathbb{R}^{N_l\times N_{l-1}}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 7쪽 · Editorial completion: weight matrix 식별자: MAI-P3-150

이때 이전 layer activation은 $\mathbf{a}(l-1)\in\mathbb{R}^{N_{l-1}\times1}$ , bias는 $\mathbf{b}(l)\in\mathbb{R}^{N_l\times1}$ , net input은 $\mathbf{z}(l)\in\mathbb{R}^{N_l\times1}$ 다. 원자료는 node index를 $z_i(l),\quad i=1,\ldots,N_L$ 로 적고, 입력은 $\mathbf{a}(1)=\mathbf{x}$ 라고 둔다.

N_p개 패턴을 한 번에 분류하려면 각 패턴 vector를 column으로 모은다.

원자료 수식 · PDF 7쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{X}=[\mathbf{x}_1\ \cdots\ \mathbf{x}_{N_p}]\in\mathbb{R}^{N\times N_p}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{X}$	샘플을 모은 데이터 행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 7쪽 · 3.2.3 Batch forward pass 식별자: MAI-P3-066

초기 activation은 $\mathbf{A}(1)=\mathbf{X}$ 이고, mini-batch 순전파는 다음 식이다.

원자료 표기 확인 필요 · PDF 7쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{A}(l)=h(\mathbf{Z}(l))\in\mathbb{R}^{N_L\times N_p},\qquad \mathbf{Z}(l)=\mathbf{W}(l)\mathbf{A}(l-1)+\mathbf{B}(l)

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{A}$	선형변환 또는 계수행렬
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 7쪽 · 3.2.3 Batch forward pass 식별자: MAI-P3-068

mini-batch forward pass도 current-layer 폭과 pattern 수를 분리해 쓰는 것이 정확하다.

수학적 교정식 · PDF 7쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{A}(l),\mathbf{Z}(l),\mathbf{B}(l)\in\mathbb{R}^{N_l\times N_p},\qquad \mathbf{Z}(l)=\mathbf{W}(l)\mathbf{A}(l-1)+\mathbf{B}(l)

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{A}$	선형변환 또는 계수행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 7쪽 · Editorial correction: batch forward pass 식별자: MAI-P3-153

원자료는 이전 activation의 shape을 $\mathbf{A}(l-1)\in\mathbb{R}^{N_{l-1}\times N_p}$ , bias duplicate matrix를 $\mathbf{B}(l)\in\mathbb{R}^{N_L\times N_p}$ 로 적는다. 각 output column은 한 pattern의 output activation이다.

#DropOut과 DropConnect

DropOut은 activation을 버린다.

DropConnect는 weight를 버리며, 원자료는 DropOut을 일반화한 방법으로 소개한다.

두 방법은 mask를 서로 다른 위치에 적용한다. 강의자료의 Figure 3과 위 재구성에서 그 차이가 드러난다.

#3.3 컨볼루션 신경망(Convolutional neural network)

#3.3.1 DNN의 핵심 연산자, 컨볼루션

연속 컨볼루션은 한 함수를 y축에 대해 반사한 뒤 이동시키고, 두 함수의 곱을 적분한다.

원자료 수식 · PDF 7쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

(f\ast g)(t)\triangleq\int_{-\infty}^{\infty}f(\tau)g(t-\tau)\,d\tau

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

CS231n · Convolutional Networks ↗ 필터와 입력 패치의 원소별 곱·합, 출력 크기 계산을 시각적으로 확인한다. Deep Learning Book · Linear Algebra ↗ 컨볼루션을 내적과 행렬곱으로 다시 읽는 데 사용한다.

PDF 7쪽 · 3.3.1 Continuous convolution 식별자: MAI-P3-071

강의 주석 — PDF p.7
DropOut 쪽은 activation vector 일부를 0으로 만드는 mask, DropConnect 쪽은 weight matrix에 mask를 곱하는 식이 손으로 보강돼 있다. 우측에는 more samples, reduce complexity, 하단에는 only training이 판독된다. 컨볼루션 도입부에는 kernel을 뒤집는 손그림이 있다.

공학에서는 흔히 f(t)*g(t)처럼 쓰며, 이산 컨볼루션은 다음 두 동치 형식으로 정의한다.

원자료 수식 · PDF 8쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

(f\ast g)[n]\triangleq\sum_{m=-\infty}^{\infty}f[m]g[n-m]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 8쪽 · 3.3.1 Discrete convolution 식별자: MAI-P3-072

원자료 수식 · PDF 8쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

(f\ast g)[n]\triangleq\sum_{m=-\infty}^{\infty}f[n-m]g[m]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 8쪽 · 3.3.1 Discrete convolution 식별자: MAI-P3-073

#3.3.2 2차원 컨볼루션

Kronecker impulse의 sifting property를 사용하면 임의의 2D 이산 신호를 shifted impulse의 합으로 표현할 수 있다.

원자료 수식 · PDF 8쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

f[m,n]=\sum_{k=-\infty}^{\infty}\sum_{l=-\infty}^{\infty}f[k,l]\delta[m-k,n-l]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 8쪽 · 3.3.2 2D convolution 식별자: MAI-P3-074

선형·공간불변(LSI) 시스템에서는 superposition을 적용해 각 shifted impulse response를 합한다.

원자료 수식 · PDF 8쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

f[m,n]=\sum_{k,l}f[k,l]\delta[m-k,n-l]\xrightarrow{\mathrm{LSI}}\sum_{k,l}f[k,l]h[m-k,n-l]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 8쪽 · 3.3.2 2D convolution 식별자: MAI-P3-075

따라서 일반적인 2D discrete-space LSI 시스템의 입력-출력 관계는 2D convolution sum이 된다.

원자료 수식 · PDF 8쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

g[m,n]=\sum_{k=-\infty}^{\infty}\sum_{l=-\infty}^{\infty}f[k,l]h[m-k,n-l]=f[m,n]\ast h[m,n]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 8쪽 · 3.3.2 2D convolution 식별자: MAI-P3-076

원자료의 boxed note: LSI 시스템은 impulse response로 완전히 규정된다.

#2D 컨볼루션 계산 순서

h[k,l]을 원점에 대해 뒤집어 $h[-k,-l]$ 을 만든다.

뒤집은 신호를 m,n만큼 이동해 $h[m-k,n-l]$ 을 만든다.

이동한 kernel과 f[k,l]을 원소별로 곱한다.

모든 k,l에 대해 합한다.

모든 출력 위치 m,n에서 반복한다.

종이 위에서는 무한 영상을 컨볼루션할 수 있지만 컴퓨터는 직사각형 바깥이 암묵적으로 0인 finite-support 영상만 다룬다. MATLAB conv2는 원점을 사용자가 추적해야 한다.

M₁×N₁ 영상과 M₂×N₂ 영상을 full convolution하면 출력 크기는 다음과 같다.

원자료 수식 · PDF 8쪽

수식을 계산 가능한 작은 연산으로 분해하기

(M_1+M_2-1)\times(N_1+N_2-1)

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 8쪽 · 3.3.2 Image support 식별자: MAI-P3-079

conv2(..., "same")은 경계의 추가 pixel을 버려 첫 번째 입력과 같은 크기의 출력을 만든다.

강의 주석 — PDF p.8
상단에는 1D kernel을 뒤집어 이동하는 작은 그림이 있고, 2D 절 오른쪽에는 입력 patch와 kernel의 격자, 곱한 결과를 합산하는 흐름이 있다. flip, weighted sum의 의미는 분명하지만 일부 한국어 설명은 판독 불확실이다.

첫 번째 예제는 주어진 h와 f의 full convolution g를 계산한다.

원자료 수식 · PDF 9쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

h[k,l]=\begin{bmatrix}2&4&6\\1&2&3\end{bmatrix}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 2D convolution exercise 식별자: MAI-P3-080

원자료 표기 확인 필요 · PDF 9쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

h[-k,-l]=\text{?}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 2D convolution exercise 식별자: MAI-P3-081

2D mathematical convolution에서 kernel을 원점 기준으로 뒤집은 결과는 다음과 같다.

원자료 빈칸의 완성식 · PDF 9쪽

커널은 특징공간을 직접 만들지 않고 두 입력의 내적·유사도를 계산

h[-k,-l]=\begin{bmatrix}3&2&1\\6&4&2\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

비선형 관계를 선형모델이 사용할 수 있는 유사도 점수로 어떻게 바꾸는가?

한 줄 핵심

두 입력의 거리 또는 특징공간 내적을 계산해 스칼라 유사도 κ(u,v)를 만든다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

두 입력의 차이를 구한다

$r=u-v$
2

거리 제곱을 계산한다

$\lVert r\rVert_2^2$
3

커널 폭으로 나눈다

$\lVert r\rVert_2^2/(2\sigma^2)$
4

음의 지수함수로 유사도를 만든다

$\kappa(u,v)=e^{-\lVert u-v\rVert^2/(2\sigma^2)}$

Worked example

숫자로 직접 계산 — RBF 커널

u=[0,0], v=[1,1], σ=1이다.

1

거리 제곱

$(0-1)^2+(0-1)^2=2$
2

지수

$e^{-2/(2\cdot1^2)}=e^{-1}\approx0.368$

결과: 두 점의 RBF 유사도는 약 0.368이다.

Sanity check

검산 포인트

u=v이면 RBF 커널은 1이다.
σ가 너무 작으면 거의 모든 다른 점이 0에 가깝고, 너무 크면 모두 비슷해진다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · Editorial completion: mirrored kernel 식별자: MAI-P3-154

원자료 수식 · PDF 9쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

f[k,l]=\begin{bmatrix}0&0&0&0&1\\0&0&0&0&0\\0&1&1&1&0\\0&0&0&0&0\end{bmatrix}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 2D convolution exercise 식별자: MAI-P3-082

원자료 표기 확인 필요 · PDF 9쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

g[m,n]=\begin{bmatrix}0&0&0&0&2&4&6\\?&?&?&?&?&?&?\\?&?&?&?&?&?&?\\?&?&3&?&?&?&?\\0&0&0&0&0&0&0\end{bmatrix}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 2D convolution exercise 식별자: MAI-P3-083

원자료가 물음표로 남긴 full convolution output grid를 모두 계산하면 다음 행렬이 된다.

원자료 빈칸의 완성식 · PDF 9쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

g[m,n]=\begin{bmatrix}0&0&0&0&2&4&6\\0&0&0&0&1&2&3\\0&2&6&12&10&6&0\\0&1&3&6&5&3&0\\0&0&0&0&0&0&0\end{bmatrix}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · Editorial completion: full 2D convolution 식별자: MAI-P3-155

두 번째 예제는 3×3 moving-average 시스템을 무한 checkerboard 입력에 적용한다.

원자료 수식 · PDF 9쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\frac{1}{9}\begin{bmatrix}1&1&1\\1&1&1\\1&1&1\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 Moving-average exercise 식별자: MAI-P3-084

원자료 수식 · PDF 9쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

f[m,n]=\cos(\pi m)\cos(\pi n)=(-1)^{m+n}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 Moving-average exercise 식별자: MAI-P3-085

입력은 +1과 -1이 번갈아 나타나는 checkerboard다.

원자료 수식 · PDF 9쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\begin{bmatrix}1&-1&1\\-1&1&-1\\1&-1&1\end{bmatrix}\ \cdots

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 Moving-average exercise 식별자: MAI-P3-086

원자료 표기 확인 필요 · PDF 9쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

g[m,n]=\text{?}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 Moving-average exercise 식별자: MAI-P3-087

3×3 moving-average filter를 무한 checkerboard에 적용한 응답은 다음과 같다.

원자료 빈칸의 완성식 · PDF 9쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

g[m,n]=\frac{1}{9}(-1)^{m+n}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · Editorial completion: checkerboard response 식별자: MAI-P3-156

#계산량과 분리 가능성(Separability)

N₁×M₁ 영상과 N₂×M₂ 영상의 2D convolution 연산량을 원자료는 다음 근사로 제시한다.

원자료 수식 · PDF 9쪽

수식을 계산 가능한 작은 연산으로 분해하기

(N_1+N_2-1)(M_1+M_2-1)\min\{N_1M_1,N_2M_2\}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 Computation and separability 식별자: MAI-P3-088

N₁=M₁=N이 kernel 크기 M보다 훨씬 크면 대략 $N^2M^2$ 에 해당한다.

kernel이 $h[m,n]=h_1[m]h_2[n]$ 로 분리되면 이중합을 두 번의 1D convolution으로 재배열할 수 있다.

원자료 수식 · PDF 9쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

\sum_{k=-\infty}^{\infty}\sum_{l=-\infty}^{\infty}f[k,l]h_1[m-k]h_2[n-l]=\sum_{k=-\infty}^{\infty}h_1[m-k]\left(\sum_{l=-\infty}^{\infty}f[k,l]h_2[n-l]\right)

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 3.3.2 Computation and separability 식별자: MAI-P3-091

안쪽 합 $\sum_{l=-\infty}^{\infty}f[k,l]h_2[n-l]$ 은 각 column에 h₂를 적용하는 1D convolution이다.

바깥 합 $\sum_{k=-\infty}^{\infty}h_1[m-k](\cdot)$ 은 중간 결과의 각 row에 h₁을 적용한다.

큰 N×N 영상과 작은 M×M separable kernel의 요구량은 대략 $2N^2M$ 이며, 원자료는 약 $\frac{M}{2}$ 배의 계산 이득이라고 적는다.

M은 보통 3 이상이므로 최소 감소율을 $\text{?}\%$ 로 묻고 비워 둔다.

separable M×M kernel의 M² 대 2M 연산량을 비교하면 절감률 빈칸은 다음과 같다.

원자료 빈칸의 완성식 · PDF 9쪽

수식을 계산 가능한 작은 연산으로 분해하기

\operatorname{reduction}(M)=100\left(1-\frac{2}{M}\right)\%,\qquad M\ge3\Longrightarrow\operatorname{reduction}\ge33\frac{1}{3}\%

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$L$	샘플 수 또는 손실함수—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · Editorial completion: separable saving 식별자: MAI-P3-157

#3.3.3 컨볼루션의 “전역” 행렬 표현

단순화를 위해 먼저 1D convolution 관계를 생각한다.

원자료 수식 · PDF 9쪽 · 식 (7)

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

g[n]=h[n]\ast f[n]=\sum_k h[n-k]f[k],\quad n=0,\ldots,N-1

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 식 (7) · 3.3.3 Global matrix formulation 식별자: MAI-P3-097

DSP 형식을 행렬-벡터 형식으로 쓰는 것이 목표다.

원자료 수식 · PDF 9쪽 · 식 (8)

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{y}=\mathbf{A}\mathbf{x}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{y}$	정답·관측값 벡터
$\mathbf{A}$	선형변환 또는 계수행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 9쪽 · 식 (8) · 3.3.3 Global matrix formulation 식별자: MAI-P3-098

원자료 각주는 N≥M일 때 주의 깊게 구현한 N-point 신호와 M-point 신호의 1D convolution이 $MN\ \text{multiplications}$ 과 거의 같은 수의 덧셈을 요구한다고 적는다.

강의 주석 — PDF p.9
첫 예제 위에는 kernel을 180° 회전한 [[3,2,1],[6,4,2]]가 손으로 적혀 있고, output grid 일부에 직접 계산값이 채워져 있다. separability 옆에는 factorization / outer product, 하단에는 periodic convolution과 Fourier transform을 연결하는 메모가 있다. 일부 주파수영역 식은 중첩돼 판독 불확실이다.

Zero

4 2 0 0 0 0
1 4 2 0 0 0
0 1 4 2 0 0
0 0 1 4 2 0
0 0 0 1 4 2
0 0 0 0 1 4

Extended

1 4 2 0 0 0 0 0
0 1 4 2 0 0 0 0
0 0 1 4 2 0 0 0
0 0 0 1 4 2 0 0
0 0 0 0 1 4 2 0
0 0 0 0 0 1 4 2

Periodic

4 2 0 0 0 1
1 4 2 0 0 0
0 1 4 2 0 0
0 0 1 4 2 0
0 0 0 1 4 2
2 0 0 0 1 4

Figure 4 재구성. h[n]=1, N=6일 때 zero, extended, periodic boundary condition이 system matrix의 모양을 어떻게 바꾸는지 source의 모든 숫자를 보존했다.

원자료 수식 · PDF 10쪽

수식을 계산 가능한 작은 연산으로 분해하기

h[n]=\{2,4,1\}=2\delta[n+1]+4\delta[n]+\delta[n-1],\quad N=6

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 10쪽 · Figure 4 Boundary conditions 식별자: MAI-P3-100

원자료 수식 · PDF 10쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{A}_{\mathrm{zero}}=\begin{bmatrix}4&2&0&0&0&0\\1&4&2&0&0&0\\0&1&4&2&0&0\\0&0&1&4&2&0\\0&0&0&1&4&2\\0&0&0&0&1&4\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{A}$	선형변환 또는 계수행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 10쪽 · Figure 4 Boundary conditions 식별자: MAI-P3-101

원자료 수식 · PDF 10쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{A}_{\mathrm{extended}}=\begin{bmatrix}1&4&2&0&0&0&0&0\\0&1&4&2&0&0&0&0\\0&0&1&4&2&0&0&0\\0&0&0&1&4&2&0&0\\0&0&0&0&1&4&2&0\\0&0&0&0&0&1&4&2\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{A}$	선형변환 또는 계수행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 10쪽 · Figure 4 Boundary conditions 식별자: MAI-P3-102

원자료 수식 · PDF 10쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{A}_{\mathrm{periodic}}=\begin{bmatrix}4&2&0&0&0&1\\1&4&2&0&0&0\\0&1&4&2&0&0\\0&0&1&4&2&0\\0&0&0&1&4&2\\2&0&0&0&1&4\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{A}$	선형변환 또는 계수행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 10쪽 · Figure 4 Boundary conditions 식별자: MAI-P3-103

y와 x는 유한 길이 column vector이고, A의 entry는 h[n]에 의해 정해진다. 종이 위 convolution sum은 임의 index를 가질 수 있지만 컴퓨터 저장은 유한해야 하므로 boundary condition에 따라 A와 x를 선택한다.

모든 경우 측정 g[n]을 다음처럼 vectorize한다.

원자료 수식 · PDF 10쪽 · 식 (9)

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{y}=\begin{bmatrix}y_1\\\vdots\\y_N\end{bmatrix}=\begin{bmatrix}g[0]\\\vdots\\g[N-1]\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{y}$	정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 10쪽 · 식 (9) · 3.3.3 Global matrix formulation 식별자: MAI-P3-104

행렬 index는 1에서, signal sample index는 0에서 시작하므로 $y_i=g[i-1]$ 다. noise vector도 같은 방식으로 정의한다.

예시 시스템의 3-point impulse response는 다음과 같다.

원자료 수식 · PDF 10쪽

수식을 계산 가능한 작은 연산으로 분해하기

h[n]=h[-1]\delta[n+1]+h[0]\delta[n]+h[1]\delta[n-1]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 10쪽 · 3.3.3 Impulse response 식별자: MAI-P3-106

Kronecker impulse는 다음 piecewise 함수다.

원자료 수식 · PDF 10쪽

수식을 계산 가능한 작은 연산으로 분해하기

\delta[n]=\begin{cases}1,&n=0,\\0,&\text{otherwise}.\end{cases}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 10쪽 · 3.3.3 Impulse response 식별자: MAI-P3-107

#Zero boundary conditions

가장 단순한 모델은 $f[n]=0\quad(n<0\ \text{or}\ n\ge N)$ 을 가정하고 convolution sum의 범위를 $\sum_{k=0}^{N-1}$ 으로 제한한다. 이를 Dirichlet boundary condition이라고도 한다.

원자료 수식 · PDF 10쪽 · 식 (10)

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{A}=\begin{bmatrix}h[0]&h[-1]&0&\cdots&0&0&0\\h[1]&h[0]&h[-1]&0&\cdots&0&0\\0&h[1]&h[0]&h[-1]&0&\cdots&0\\\vdots&\vdots&\vdots&\ddots&\vdots&\vdots&\vdots\\0&\cdots&0&h[1]&h[0]&h[-1]&0\\0&0&\cdots&0&h[1]&h[0]&h[-1]\\0&0&0&\cdots&0&h[1]&h[0]\end{bmatrix},\qquad \mathbf{x}=\begin{bmatrix}f[0]\\\vdots\\f[N-1]\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{A}$	선형변환 또는 계수행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 10쪽 · 식 (10) · 3.3.3 Zero boundary conditions 식별자: MAI-P3-110

강의 주석 — PDF p.10
세 matrix 위에 zero/extended/periodic boundary를 대비하는 필기와 circular boundary를 가리키는 표시가 있다. 일부 숫자 예시는 source matrix와 일치하지만, 문장 대부분은 겹쳐 판독 불확실이다.

식 (10)의 N×N A는 대각선마다 값이 일정한 Toeplitz matrix다. source는 이런 matrix를 다루는 비교적 빠른 알고리즘이 있다고 참고문헌 [1,2]로 연결한다.

원자료 수식 · PDF 11쪽

수식을 계산 가능한 작은 연산으로 분해하기

A_{i,j}=h[i-j],\quad i,j=1,\ldots,N

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 11쪽 · 3.3.3 Toeplitz structure 식별자: MAI-P3-111

shift-invariant 문제에서는 A를 실제 matrix로 저장하기보다 h와 f를 convolution routine에 전달한다. matrix 표현은 분석에 유용하다.

shift-variant 문제에서는 A를 matrix로 저장할 수 있으며, h의 nonzero entry가 적으면 sparse representation이 효율적이다.

#Extended boundary conditions

광학 영상에서는 PSF 확산 때문에 측정 field of view 바깥의 더 큰 scene이 측정에 영향을 준다. zero boundary는 비현실적일 수 있고, regularization이나 constraint를 이용하면 measurement vector보다 긴 object vector의 일부를 복원할 수 있다.

원자료 수식 · PDF 11쪽 · 식 (11)

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{A}=\begin{bmatrix}h[1]&h[0]&h[-1]&0&\cdots&0&0\\0&h[1]&h[0]&h[-1]&0&\cdots&0\\\vdots&\vdots&\vdots&\ddots&\vdots&\vdots&\vdots\\0&0&\cdots&0&h[1]&h[0]&h[-1]\end{bmatrix},\qquad \mathbf{x}=\begin{bmatrix}f[-1]\\f[0]\\\vdots\\f[N-1]\\f[N]\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{x}$	입력 또는 특징 벡터
$\mathbf{A}$	선형변환 또는 계수행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 11쪽 · 식 (11) · 3.3.3 Extended boundary conditions 식별자: MAI-P3-112

A는 $\mathbf{A}\in\mathbb{R}^{N\times(N+L-1)}$ 이고, 이 예에서는 L=3이다. 원자료 저자는 가능할 때 extended boundary가 많은 restoration 문제에서 가장 현실적이라고 평가한다.

MATLAB note: row vector가 $\mathbf{b}=[h[-1],h[0],h[1]]$ 일 때 convmtx(fliplr(b), N)이 위 A를 만든다. 2D conv2의 valid option과 관련된다.

#Periodic boundary conditions

다른 선택은 $f[n]=f[n\bmod N]$ 을 가정하는 것이다. 실제 영상에서 정확히 성립하는 경우는 드물지만 frequency-domain 분석에는 유용하다.

원자료 수식 · PDF 11쪽

컨볼루션은 커널을 이동시키며 원소별 곱과 합을 반복

\bar g[n]=\widetilde h[n]\ast_N f[n]=\sum_{k=0}^{N-1}\widetilde h[(n-k)\bmod N]f[k],\quad n=0,\ldots,N-1

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 위치 주변의 값을 필터 가중치로 어떻게 요약하는가?

한 줄 핵심

커널을 뒤집고 이동한 뒤 겹친 원소끼리 곱해 더한다. CNN 구현은 흔히 뒤집지 않는 cross-correlation을 사용한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

커널 방향과 경계조건을 확인한다

수학적 convolution인지 CNN식 cross-correlation인지 먼저 구분한다.
2

출력 위치에 커널을 맞춘다

stride·padding에 따라 겹치는 입력 영역이 정해진다.
3

겹친 원소끼리 곱한다

$f[k]h[n-k]$
4

곱을 모두 더한다

$g[n]=\sum_k f[k]h[n-k]$
5

다음 위치로 이동해 반복한다

2D에서는 가로·세로 두 인덱스에 대해 같은 작업을 한다.

Worked example

숫자로 직접 계산 — 1D full convolution

신호 [1,2,3]과 커널 [1,1]을 사용한다.

1

첫 위치

$1\cdot1=1$
2

두 번째 위치

$1\cdot1+2\cdot1=3$
3

세 번째 위치

$2\cdot1+3\cdot1=5$
4

마지막 위치

$3\cdot1=3$

결과: full 출력은 [1,3,5,3]이다.

주의: same/valid padding을 쓰면 출력 길이가 달라진다.

Sanity check

검산 포인트

출력 크기는 kernel·padding·stride·dilation에 의해 결정된다.
커널 뒤집기 convention을 코드와 수식에서 일치시킨다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 11쪽 · 3.3.3 Periodic boundary conditions 식별자: MAI-P3-116

주기적으로 겹쳐 더한 impulse response는 식 (12)다.

원자료 수식 · PDF 11쪽 · 식 (12)

수식을 계산 가능한 작은 연산으로 분해하기

\widetilde h[n]\triangleq\sum_l h[n-lN]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\sum$	지정된 항을 모두 더하는 연산

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 11쪽 · 식 (12) · 3.3.3 Periodic boundary conditions 식별자: MAI-P3-117

원자료 각주는 modulo와 floor를 다음처럼 정의한다.

원자료 수식 · PDF 11쪽

수식을 계산 가능한 작은 연산으로 분해하기

n\bmod N\triangleq n-N\left\lfloor\frac{n}{N}\right\rfloor

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 11쪽 · 3.3.3 Modulo footnote 식별자: MAI-P3-118

강의 주석 — PDF p.11
Toeplitz·extended·periodic boundary 단락 주변에 frequency-domain/Fourier 분석과 circulant 구조를 연결하는 표시가 있다. 완전한 문장을 신뢰성 있게 전사할 수 없어 판독 불확실로 남긴다.

보통 blur kernel이 |n|≥N에서 0이라고 가정하면 식 (12)는 다음처럼 단순해진다.

원자료 수식 · PDF 11쪽

수식을 계산 가능한 작은 연산으로 분해하기

\widetilde h[n]=h[n]+h[n-N],\quad n=0,\ldots,N-1

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 11쪽 · 3.3.3 Periodic boundary conditions 식별자: MAI-P3-119

circular convolution의 N×N system matrix는 식 (13)과 같은 circulant matrix다.

원자료 수식 · PDF 11쪽 · 식 (13)

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{A}=\begin{bmatrix}\widetilde h[0]&\widetilde h[N-1]&\widetilde h[N-2]&\cdots&\widetilde h[2]&\widetilde h[1]\\\widetilde h[1]&\widetilde h[0]&\widetilde h[N-1]&\widetilde h[N-2]&\cdots&\widetilde h[2]\\\vdots&\vdots&\ddots&\vdots&\vdots&\vdots\\\widetilde h[N-1]&\widetilde h[N-2]&\widetilde h[N-3]&\cdots&\widetilde h[1]&\widetilde h[0]\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{A}$	선형변환 또는 계수행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 11쪽 · 식 (13) · 3.3.3 Circulant matrix 식별자: MAI-P3-120

entry 관계는 $A_{i,j}=\widetilde h[(i-j)\bmod N]$ 이며, source는 이를 Toeplitz form의 근사로 설명한다.

#Mirror conditions

reflective boundary condition을 원자료는 Nuemann boundary conditions라고 인쇄한다. 통상 표기는 Neumann boundary conditions이며, 양쪽 경계에서 signal을 거울 반사한다.

원자료 수식 · PDF 11쪽

수식을 계산 가능한 작은 연산으로 분해하기

f[-n]=f[n],\qquad f[N-1+n]=f[N-1-n],\quad n=0,\ldots,N-1

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 11쪽 · 3.3.3 Mirror conditions 식별자: MAI-P3-122

#2D matrix-vector representations

2D와 더 높은 차원에서도 원리는 동일하다. 구체적인 A는 더 복잡하지만 1D와 2D 모두 matrix-vector 수준에서는 $\mathbf{y}=\mathbf{A}\mathbf{x}$ 로 보인다.

#3.3.4 컨볼루션의 “국소” 또는 patch-based 표현

입력 f는 padding을 포함한 크기 $N$ 의 영상이고, 출력 g는 unpadded 입력과 같은 pixel 수를 가진 $\mathbf{g}\in\mathbb{R}^{N_0}$ 다.

pixel s 주변의 P개 위치를 window W(s)로 정의한다.

원자료 수식 · PDF 12쪽

수식을 계산 가능한 작은 연산으로 분해하기

W(s)=[s,s+r_1,\ldots,s+r_{P-1}]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 12쪽 · 3.3.4 Local patch perspective 식별자: MAI-P3-126

여기서 $r_1,\ldots,r_{P-1}$ 는 index neighbor다.

z_s는 f의 window pixel을 담는 column vector라고 설명되지만, 인쇄식은 y를 사용한다. 원문을 보존한다.

원자료 표기 확인 필요 · PDF 12쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{z}_s^{\mathsf T}=[(\mathbf{y}_{W(s)})_1,(\mathbf{y}_{W(s)})_2,\ldots,(\mathbf{y}_{W(s)})_P]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{y}$	정답·관측값 벡터

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 12쪽 · 3.3.4 Local patch perspective 식별자: MAI-P3-128

patch vector는 input image f에서 추출하므로 원자료의 y 표기를 f로 고친 variant를 함께 둔다.

수학적 교정식 · PDF 12쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{z}_s^{\mathsf T}=[(\mathbf{f}_{W(s)})_1,(\mathbf{f}_{W(s)})_2,\ldots,(\mathbf{f}_{W(s)})_P]

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 12쪽 · Editorial correction: patch vector 식별자: MAI-P3-158

h는 filter parameter를 모은 column vector다.

원자료 수식 · PDF 12쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{h}=\begin{bmatrix}h_1\\\vdots\\h_P\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 12쪽 · 3.3.4 Local patch perspective 식별자: MAI-P3-129

boundary를 제외한 pixel subset은 $S_0\subset S$ , $N_0<N$ , $S_0=[s_1,\ldots,s_{N_0}]$ 로 정의한다.

각 patch vector를 row로 쌓으면 design matrix Z가 된다.

원자료 수식 · PDF 12쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{Z}=\begin{bmatrix}\mathbf{z}_{s_1}^{\mathsf T}\\\vdots\\\mathbf{z}_{s_{N_0}}^{\mathsf T}\end{bmatrix}\in\mathbb{R}^{N_0\times P}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 12쪽 · 3.3.4 Local patch perspective 식별자: MAI-P3-133

강의 주석 — PDF p.12
상단에는 FCN layer의 weight shape를 적은 작은 그림, 중간에는 zero/circular boundary에서 A의 구조를 비교하는 메모가 있다. 하단 손그림은 영상 patch를 vector로 펴고 filter와 내적해 한 output을 만드는 patch extraction → dot product 흐름을 나타낸다. 파란색 한국어 메모 일부는 판독 불확실이다.

output sample을 column vector로 쌓은 source 식에는 마지막 entry 앞에 고립된 x가 인쇄돼 있다.

원자료 표기 확인 필요 · PDF 13쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{g}=\begin{bmatrix}g_{s_1}\\g_{s_2}\\\vdots\\xg_{N_0}\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 13쪽 · 3.3.4 Local patch perspective 식별자: MAI-P3-134

output vector 마지막 성분 앞의 고립된 x를 제거하고 index를 통일한 교정형이다.

수학적 교정식 · PDF 13쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{g}=\begin{bmatrix}g_{s_1}\\g_{s_2}\\\vdots\\g_{s_{N_0}}\end{bmatrix}\in\mathbb{R}^{N_0}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 13쪽 · Editorial correction: output vector 식별자: MAI-P3-159

원자료는 이어서 $\mathbf{g}\in\mathbb{R}^{N_0}$ 라고 적고, patch-based convolution을 다음 한 줄로 요약한다.

원자료 수식 · PDF 13쪽

수식을 계산 가능한 작은 연산으로 분해하기

\mathbf{g}=\mathbf{Z}\mathbf{h}

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 13쪽 · 3.3.4 Local patch perspective 식별자: MAI-P3-136

#3.4 DNN의 핵심 모듈

DNN은 여러 연산자를 직렬로 연결하거나 반복한다. 강의자료는 PyTorch torch.nn 문서에서 다음 layer를 골라 network를 구성하라고 제안한다.

nn.Linear: fully-connected network(FCN) 또는 MLP.

nn.Conv2d: CNN. out_channels와 kernel_size를 바꾸어 특징 수와 filter 크기를 조절한다.

nn.ConvTranspose2d: transpose convolution으로 upsampling한다.

nn.ReLU: $h(z)=\max(0,z)$ 로 layer 사이에 non-linearity를 제공한다.

nn.MaxPool2d, nn.AvgPool2d: 두 종류의 pooling layer.

nn.Upsample: 단순 interpolation으로 activation map을 키우며 U-Net에서 널리 사용된다.

nn.Dropout: overfitting을 줄이는 데 사용된다.

#PyTorch의 convolution

원자료는 Conv1d, Conv2d, Conv3d의 API signature screenshot을 제시한다. 예시 설정은 다음과 같다.

세 screenshot의 우측에는 PyTorch 문서 원문으로 이동하는 [SOURCE] 표기가 있으며, PDF에 보이는 signature를 다음처럼 전사한다. PDF에는 활성 URI annotation이 남아 있지 않으므로 목적지를 추측하지 않는다.

torch.nn.Conv1d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros', device=None, dtype=None)

torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros', device=None, dtype=None)

torch.nn.Conv3d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros', device=None, dtype=None)

원자료 수식 · PDF 13쪽

수식을 계산 가능한 작은 연산으로 분해하기

C_{\mathrm{in}}=64,\quad C_{\mathrm{out}}=64,\quad K=3,\quad p=1,\quad s=1

쉽게 설명 + 계산 과정 5단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

등호 왼쪽 값을 만들기 위해 오른쪽에서 어떤 연산을 어떤 순서로 수행하는가?

한 줄 핵심

괄호·인덱스·내적·합·나눗셈을 안쪽부터 계산하고, 마지막에 왼쪽 값의 차원과 의미를 확인한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

등호 왼쪽의 목표를 확인한다

스칼라·벡터·행렬·확률 중 무엇을 구하는지 먼저 정한다.
2

입력 기호의 값과 차원을 적는다

기호를 말로만 읽지 말고 작은 숫자 예시로 치환한다.
3

가장 안쪽 괄호와 인덱스부터 계산한다
4

곱 → 합 → 정규화 순서로 바깥 연산을 진행한다
5

차원·부호·범위를 검산한다

왼쪽과 오른쪽의 모양과 단위가 일치해야 한다.

Worked example

숫자로 직접 계산 — 직접 계산하는 공통 절차

복잡한 식도 N=2 또는 샘플 2개로 축소한다.

1

최소 크기 선택

$N=2$
2

기호를 숫자로 치환

$x=[1,2]^T$
3

안쪽 연산부터 기록

중간값을 생략하지 않고 한 줄씩 적는다.
4

최종 범위 확인

확률이면 0~1, 거리·제곱오차면 0 이상인지 본다.

결과: 이 절차를 적용하면 기호 조작이 아니라 재현 가능한 계산으로 읽을 수 있다.

Sanity check

검산 포인트

좌변과 우변의 차원·단위를 비교한다.
바로 앞 문단에서 정의된 인덱스 범위와 분모를 다시 확인한다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$C$	전체 클래스 수 또는 행렬—문맥 확인

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 13쪽 · 3.4 Conv2d source setup 식별자: MAI-P3-138

PDF pp.13–14 단계 도식 재구성. 64-channel input에서 각 output channel이 64개의 3×3 slice와 내적되고, 64개 filter가 64-channel output을 만든다. padding 1과 stride 1에서 동일한 kernel이 다음 spatial 위치로 한 칸 이동하는 Step 1–2 관계도 보존했다.

강의 주석 — PDF p.13
core-module 제목 옆에 Read by myself가 적혀 있다. ConvTranspose2d와 convolution kernel flip을 연결하는 화살표, ReLU와 layer를 가리키는 메모가 있으나 일부는 판독 불확실이다.

PDF p.14의 Step 2는 같은 3×3 filter가 다음 spatial 위치로 이동하면서 output voxel을 채우는 모습을 이어서 보여 준다.

#3.4.1 PyTorch의 Max pooling

원자료는 MaxPool1d, MaxPool2d, MaxPool3d API signature screenshot을 제시하고, 다음 설정의 2D 예제를 단계적으로 계산한다.

세 MaxPool screenshot에도 우측 [SOURCE] 표시가 있으며, 보이는 signature는 다음과 같다. 이 PDF에는 링크 URI가 보존되지 않아 화면의 문자열만 원장화한다.

torch.nn.MaxPool1d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)

torch.nn.MaxPool2d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)

torch.nn.MaxPool3d(kernel_size, stride=None, padding=0, dilation=1, return_indices=False, ceil_mode=False)

K=3,\quad s=2,\quad p=1

Padded input

0 0 0 0 0 0 0
0 1 3 2 3 3 0
0 3 1 2 1 1 0
0 3 3 3 1 2 0
0 2 2 1 2 1 0
0 2 3 2 1 2 0
0 0 0 0 0 0 0

3×3 window

stride 2

padding 1

→

Source-visible progress

Step 1: 3 · ·
      · · ·
      · · ·

Step 2: 3 3 ·
      · · ·
      · · ·

PDF pp.14–15 단계 도식 재구성. source는 5×5 입력에 1-cell padding을 더한 7×7 grid, 3×3 window, stride 2를 보여 주고 output의 첫 칸과 다음 칸만 채운다. 원자료는 나머지 칸을 비워 둔다.

원자료 표기 확인 필요 · PDF 15쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\mathbf{Y}_{\mathrm{step\,1}}=\begin{bmatrix}3&\square&\square\\\square&\square&\square\\\square&\square&\square\end{bmatrix},\qquad \mathbf{Y}_{\mathrm{step\,2}}=\begin{bmatrix}3&3&\square\\\square&\square&\square\\\square&\square&\square\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 15쪽 · 3.4.1 MaxPool step diagrams 식별자: MAI-P3-140

PDF pp.14–15가 일부 칸만 채운 MaxPool2d output을 같은 window·stride·padding 규칙으로 끝까지 계산한다.

원자료 빈칸의 완성식 · PDF 15쪽

행렬곱은 행과 열의 내적을 반복하는 계산

\operatorname{MaxPool}_{K=3,s=2,p=1}(\mathbf{X})=\begin{bmatrix}3&3&3\\3&3&2\\3&3&2\end{bmatrix}

쉽게 설명 + 계산 과정 4단계 계산 · 숫자 예제 · 검산 포함

이 식이 답하는 질문

각 출력 원소가 어떤 입력 원소들의 곱과 합으로 만들어지는가?

한 줄 핵심

왼쪽 행렬의 한 행과 오른쪽 행렬의 한 열을 같은 위치끼리 곱한 뒤 모두 더한다.

Calculation walkthrough

계산 과정

중간 계산을 생략하지 않음

1

곱셈 가능 여부를 확인한다

안쪽 차원이 같아야 한다.

$(m\times n)(n\times p)\rightarrow(m\times p)$
2

출력 위치 하나를 고른다

출력의 (i,j) 원소는 A의 i번째 행과 B의 j번째 열에서 계산한다.
3

같은 인덱스끼리 곱해 더한다

$C_{ij}=\sum_k A_{ik}B_{kj}$
4

모든 행·열 조합에 반복한다

이 과정을 출력 행렬 전체에 적용한다.

Worked example

숫자로 직접 계산 — 2×2 행렬과 벡터 곱

각 행이 벡터를 어떻게 변환하는지 숫자로 확인한다.

1

입력

$A=\begin{bmatrix}1&2\\3&4\end{bmatrix},\quad x=\begin{bmatrix}5\\6\end{bmatrix}$
2

첫 번째 행

$1\cdot5+2\cdot6=17$
3

두 번째 행

$3\cdot5+4\cdot6=39$

결과: Ax=[17,39]^T이다.

Sanity check

검산 포인트

행렬곱은 일반적으로 순서를 바꾸면 값이 달라진다.
출력 모양은 바깥 차원 m×p다.

Symbols

이 식에 실제로 나온 기호

기호	의미
$\mathbf{X}$	샘플을 모은 데이터 행렬

Reference-quality follow-up

같은 계산을 더 깊게 확인할 레퍼런스

PDF 15쪽 · Editorial completion: MaxPool output 식별자: MAI-P3-160

#강의자료 참고문헌

R. H.-F. Chan and X.-Q. Jin, An Introduction to Iterative Toeplitz Solvers. Society for Industrial and Applied Mathematics, 2007.

W. H. Press, S. A. Teukolsky, W. T. Vetterling, and B. P. Flannery, Numerical Recipes in C, 2nd ed., Cambridge, U.K., 1992.

P. C. Hansen, J. G. Nagy, and D. P. O’Leary, Deblurring Images: Matrices, Spectra, and Filtering. SIAM, 2006, vol. 3.

I. Y. Chun and J. A. Fessler, “Convolutional dictionary learning: Acceleration and convergence,” IEEE Transactions on Image Processing, 27(4), 1697–1712, 2018, DOI 10.1109/TIP.2017.2761545.

I. Y. Chun and J. A. Fessler, “Convolutional analysis operator learning: Acceleration and convergence,” IEEE Transactions on Image Processing, 29, 2108–2122, 2020, DOI 10.1109/TIP.2019.2937734.

PDF 곳곳에는 this link, Wiki, PyTorch documentation 링크가 보이지만 이 파일에서 모든 URI annotation을 신뢰성 있게 복구할 수 있는 것은 아니다. 보이는 출처 표시는 보존하되 목적지를 추측해 만들지 않는다.

#2026-08-18 최신 연구 업데이트

아래 내용은 PDF 원자료가 아니다. 강의자료의 퍼셉트론·MLP·CNN·컨볼루션 축을 2026-08-18까지의 peer-reviewed 논문, 공식 프로시딩, 공식 구현 문서로 확장한다. 원자료의 문장을 소급해 고치지 않는다.

#1. Activation과 normalization은 “ReLU 하나”보다 훨씬 넓은 설계공간이 됐다

강의자료는 sign과 ReLU를 대표 activation으로 소개한다. 현재 실무에서는 GELU, SiLU/Swish, gated activation, task-specific activation을 선택하고, normalization도 BatchNorm 하나가 아니라 LayerNorm·RMSNorm·GroupNorm·Global Response Normalization(GRN)까지 architecture와 batch regime에 맞춰 고른다.

BatchNorm — ICML 2015, peer-reviewed. mini-batch 통계를 이용해 학습을 안정화한 고전적 기준점이다. PMLR 원문
RMSNorm — NeurIPS 2019, peer-reviewed. re-centering을 제거하고 root-mean-square만으로 scale을 정규화해 LayerNorm의 계산을 단순화한다. 공식 프로시딩
ConvNeXt V2 — CVPR 2023, peer-reviewed. fully-convolutional masked autoencoder와 GRN을 함께 설계해 channel 간 feature competition을 강화했다. CVF 원문
Transformers without Normalization — CVPR 2025, peer-reviewed. Dynamic Tanh는 normalization을 element-wise tanh 기반 mapping으로 대체해 여러 vision/language setting에서 normalized baseline과 비슷하거나 더 나은 결과를 보고했다. 이는 “normalization layer가 항상 필수”라는 단순 명제를 약화하지만, 모든 CNN/MLP에 대한 보편적 제거법을 의미하지는 않는다. CVF 원문
Dynamic Group Normalization — CVPR 2025, peer-reviewed. 고정 channel group 대신 학습 중 통계에 맞춰 group을 동적으로 구성한다. CVF 원문
Stronger Normalization-Free Transformers — CVPR 2026, peer-reviewed. DyT 이후의 point-wise 안정화 함수를 체계적으로 비교하며 normalization-free 설계가 단일 tanh 대안에서 더 넓은 함수 설계 문제로 확장됐음을 보여 준다. CVF 원문
AcTTA — CVPR 2026, peer-reviewed. test-time adaptation을 normalization affine parameter에만 맡기지 않고 ReLU·GELU의 threshold와 gradient sensitivity를 동적으로 조정한다. 이는 activation 자체도 distribution shift에 적응시키는 대상임을 보여 준다. CVF 원문

따라서 activation/normalization은 각각 독립된 장식이 아니라 gradient scale, residual path, batch size, pretraining objective, hardware kernel과 함께 검증해야 한다.

#2. CNN 대 Transformer 논쟁은 “어느 연산이 본질적으로 우월한가”에서 “어떤 bias와 recipe를 결합하는가”로 이동했다

ConvNeXt — CVPR 2022, peer-reviewed. 표준 ResNet을 Transformer 시대의 training·block design으로 단계적으로 modernize해 순수 ConvNet도 Swin 계열과 경쟁할 수 있음을 보였다. CVF 원문
ConvNeXt V2 — CVPR 2023. architecture와 self-supervised pretraining을 따로 최적화하지 않고 공동 설계해야 함을 보여 주었다.
ShiftwiseConv — CVPR 2025, peer-reviewed. large-kernel 효과를 단순 kernel size가 아니라 feature granularity와 multi-path fusion으로 분해하고, 작은 3×3 kernel로 장거리 sparse dependency를 구성했다. CVF 원문
MobileNetV4 — ECCV 2024, peer-reviewed. Universal Inverted Bottleneck가 inverted bottleneck, ConvNeXt, FFN, extra depthwise design을 하나의 search block에 통합하고, mobile accelerator에 맞춘 attention까지 함께 평가했다. ECVA 원문
ConvNeur — CVPR 2026, peer-reviewed. global reasoning과 locality-preserving representation을 두 branch로 분리하고 gate로 결합해, CNN과 attention을 하나의 승자 선택이 아니라 역할 분담 문제로 다룬다. CVF 원문

현대 비교는 parameter 수나 ImageNet top-1 하나로 끝나지 않는다. throughput, latency, memory bandwidth, accelerator mapping, detection/segmentation transfer, pretraining data와 recipe를 같이 맞춰야 한다.

#3. Gradient descent는 단순히 “아무 최소점”으로 가지 않는다: implicit bias와 feature learning

퍼셉트론 절의 gradient descent는 update rule을 보여 주지만, 과매개변수 신경망에서는 같은 training loss를 만드는 해가 많다. 어떤 해가 선택되는지는 optimizer, 초기화, parametrization, batch size, weight decay에 의해 달라진다.

Soudry et al. — JMLR 2018, peer-reviewed. separable logistic regression에서 gradient descent 방향이 hard-margin SVM 해로 수렴하는 max-margin implicit bias를 증명했다. JMLR 원문
Tensor Programs IV — ICML 2021, peer-reviewed. infinite-width limit에서도 parametrization에 따라 kernel regime이 아니라 feature learning이 남는 조건을 제시했다. PMLR 원문
Critical feature learning — ICML 2024, peer-reviewed. wide neural network의 feature-learning regime을 scaling 관점에서 분석했다. PMLR 원문
SGD with Weight Decay Secretly Minimizes the Ranks of Your Neural Networks — CPAL 2025, peer-reviewed. 작은 batch, 큰 learning rate, 강한 weight decay에서 low-rank weight bias가 강해질 수 있음을 이론·실험으로 보고했다. PMLR 원문
How Does the ReLU Activation Affect the Implicit Bias… — COLT 2026, peer-reviewed. 고차원 random data의 shallow ReLU regression에서 GD가 minimum-ℓ₂-norm interpolation에 가까워지는 조건과 activation pattern의 빠른 안정화를 분석했다. 따라서 activation과 data spectrum이 implicit bias를 함께 결정한다. PMLR 원문
When Both Layers Learn — COLT 2026, peer-reviewed. one-hidden-layer ReLU network의 두 layer를 동시에 학습할 때 random initialization에서 global minimizer로 가는 동역학과 sample complexity를 분석해 end-to-end feature learning의 단순화된 이론 모델을 제공한다. PMLR 원문

즉, “학습 loss를 줄인다”와 “어떤 representation을 학습한다”는 별개 질문이다. Part III의 MSE·퍼셉트론 update를 현대적으로 확장하려면 margin, norm, rank, feature drift, lazy/rich regime을 측정해야 한다.

#4. Efficient convolution은 separability에서 depthwise·grouped·reparameterization으로 확장됐다

PDF p.9는 2D separable filter가 M² 연산을 2M으로 줄이는 고전적 원리를 보여 준다. 현대 CNN은 이를 channel 차원까지 확장한다.

Depthwise convolution은 channel마다 spatial kernel을 적용하고, pointwise 1×1 convolution으로 channel을 섞는다.
Grouped convolution은 channel을 group으로 분할해 연결 수와 연산량을 조절한다.
Structural reparameterization은 training 때 multi-branch 구조를 쓰고 inference 전에 하나의 convolution으로 algebraically fuse한다. RepVGG가 대표적이며, 이후 mobile·large-kernel architecture로 확장됐다. RepVGG CVPR 2021 원문
MobileNetV4는 실제 CPU·DSP·GPU·NPU에서의 Pareto frontier를 목표로 block을 공동 설계한다.
ShiftwiseConv는 small-kernel operator로 large-kernel 효과를 내는 다른 경로를 제시한다.
PFGNet — CVPR 2026, peer-reviewed. spatially adaptive large-kernel response를 separable 1×k와 k×1 convolution으로 분해해 per-channel cost를 O(k²)에서 O(2k)로 줄인다. PDF p.9의 separability 원리가 현대 동적 receptive-field 설계에 그대로 이어지는 사례다. CVF 원문

계산량(FLOPs)이 줄었다고 latency가 반드시 줄지는 않는다. memory access, kernel launch, operator fusion, group 수와 target hardware를 함께 측정해야 한다.

#5. PyTorch에서 말하는 “convolution”의 정확한 연산 의미

강의자료는 수학적 convolution을 kernel mirror로 설명한 뒤 PyTorch Conv2d로 이동한다. 두 convention을 분리해야 한다.

공식 PyTorch Conv2d는 수학적 kernel flip을 하지 않는 valid 2D cross-correlation을 계산한다. 공식 문서
ConvTranspose2d는 Conv2d의 input에 대한 gradient로 볼 수 있지만 convolution의 실제 역연산은 아니다. stride>1이면 input element 사이에 0을 삽입한다. 공식 문서
MaxPool2d padding은 의미상 negative infinity로 취급되므로, 음수 input에서도 padding 0이 부당하게 maximum이 되지 않는다. 공식 문서
Dropout은 training 때 Bernoulli mask로 element를 0으로 만들고 남은 값을 1/(1-p)로 scale해 evaluation에서 identity가 되도록 한다. 공식 문서

따라서 논문 수식, DSP library, deep-learning framework를 비교할 때는 flip convention, padding convention, tensor layout, groups, dilation, bias, train/eval mode를 명시해야 한다.

#6. 남은 연구 질문

동일한 compute·data·training recipe에서 CNN과 Transformer의 inductive bias가 실제 OOD·robustness·dense prediction에 어떻게 다르게 나타나는가?
normalization을 제거하거나 바꿀 때 stability를 지탱하는 activation·residual scaling·optimizer 조건은 무엇인가?
implicit bias를 margin·rank·feature movement로 측정했을 때 어떤 지표가 실제 downstream generalization을 가장 잘 예측하는가?

#핵심 키워드

Perceptron convergence — 선형 분리 가능성과 update rule 아래에서 finite mistake bound 또는 수렴 성질을 다루는 문제.
Feature learning — 고정 kernel에서 선형모델만 학습하는 것이 아니라 hidden representation 자체가 task에 맞게 변하는 현상.
Structural reparameterization — training graph의 여러 branch를 inference용 단일 operator로 정확히 합치는 기법.
Depthwise separable convolution — spatial filtering과 channel mixing을 분리해 효율을 높이는 convolution 설계.
Cross-correlation convention — deep-learning framework가 kernel을 뒤집지 않고 sliding dot product를 수행하는 convention.

현대 인공지능 · 8편 학습 지도

#PDF 원자료 재구성

#3. 인공지능과 딥러닝을 위한 배경(Backgrounds for AI and DL)

#3.1 하나의 퍼셉트론 모델(A single perceptron model)

Biological neuron

Perceptron

#3.1.1 선형 판별함수(Linear discriminant)

계산 과정

숫자로 직접 계산 — 직접 계산하는 공통 절차

검산 포인트

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 직접 계산하는 공통 절차

검산 포인트

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 직접 계산하는 공통 절차

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 직접 계산하는 공통 절차

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 한 점 분류하기

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 한 점 분류하기

검산 포인트

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 두 샘플 MSE

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 두 샘플 MSE

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 직접 계산하는 공통 절차

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 직접 계산하는 공통 절차

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

#3.1.2 경사하강법을 이용한 퍼셉트론 학습

계산 과정

숫자로 직접 계산 — 한 점 분류하기

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 한 점 분류하기

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 한 점 분류하기

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 1차원 손실의 기울기

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스

계산 과정

숫자로 직접 계산 — 1차원 손실의 기울기

검산 포인트

이 식에 실제로 나온 기호

같은 계산을 더 깊게 확인할 레퍼런스