#1. ํ๋ณด ๋ ์ด๋: ๋์์์ ํ๋ฉด์ธ๋ฐ, ๋ก๋ด์ ์ ์ฒด์ ์๊ฐ์ ์์์ผ ํ๋ค
ํด๋ํฐ์ผ๋ก ๋๊ตฐ๊ฐ ๊ณต์ ๋์ง๋ ์์์ ์ฐ์ผ๋ฉด ํ๋ฉด์๋ ๋งค ์๊ฐ 2์ฐจ์ ํฝ์ ๋ง ๋จ๋๋ค. ๊ทธ๋ฌ๋ ๊ณต์ด ์นด๋ฉ๋ผ ์ชฝ์ผ๋ก ๋ค๊ฐ์ค๋์ง, ์ฌ๋์ด ๋ค๋ก ๊ฐ๋ ค์ก๋์ง, ์นด๋ฉ๋ผ๊ฐ ์์ง์ธ ๊ฒ์ธ์ง ์ฌ๋์ด ์์ง์ธ ๊ฒ์ธ์ง๋ ํฝ์ ํ ์ฅ๋ง ๋ณด๊ณ ๋ฐ๋ก ์๊ธฐ ์ด๋ ต๋ค. ๋ก๋ด์ด ์ฌ๋์ ํผํด ์์ง์ด๊ฑฐ๋ AR ์๊ฒฝ์ด ์ฑ ์ ์์ ๊ฐ์ ๋ฌผ์ฒด๋ฅผ ๊ณ ์ ํ๋ ค๋ฉด, ์ฅ๋ฉด์ ๋ชจ์๋ฟ ์๋๋ผ ์๊ฐ์ ๋ฐ๋ผ ๋ฌด์์ด ์ด๋๋ก ์์ง์ด๋์ง๊น์ง ์ถ์ ํด์ผ ํ๋ค.
CVPR 2026 Best Paper๋ก ์ ์ ๋ D4RT๋ ์ด ๋ฌธ์ ๋ฅผ ํ๋์ ์ง๋ฌธ ํํ๋ก ๋ฌถ๋๋ค.[1] ์ด๋ฆ์ Dynamic 4D Reconstruction and Tracking์ ์ค์๋ง์ด๋ค. 3D๋ ๊ฐ๋กยท์ธ๋กยท๊น์ด, 4D๋ ์ฌ๊ธฐ์ ์๊ฐ์ ๋ํ ๊ฒ์ด๋ค. D4RT๋ ๋์์ ์ ์ฒด๋ฅผ ํ ๋ฒ ์ฝ์ ๋ค โ์ด ํ๋ ์์ ์ด ํฝ์ ์, ๋ค๋ฅธ ์๊ฐ๊ณผ ๋ค๋ฅธ ์นด๋ฉ๋ผ ๊ด์ ์์ 3์ฐจ์ ์ด๋์ ์๋๊ฐ?โ๋ผ๊ณ ์ง์ํ๋ค. ๊ฐ์ ์ธํฐํ์ด์ค๋ก ๊น์ด, ๋ฌผ์ฒดยท์ ์ ๊ถค์ , ์ ๊ตฌ๋ฆ, ์นด๋ฉ๋ผ ์์ธ๋ฅผ ์ป์ผ๋ ค๋ ์ ๊ทผ์ด๋ค.[2]
ํ ๋ฌธ์ฅ์ผ๋ก ๋งํ๋ฉด D4RT๋ ๋์์์ ๋ณด๊ณ ์ฅ๋ฉด ์ ์ฒด๋ฅผ ํ ๋ฒ ์์ถํ ๋ค, ํ์ํ ๊ณต๊ฐยท์๊ฐ ์ขํ๋ง ๋ฌผ์ด๋ณด๋ 4D ์ธ์ ๋ชจ๋ธ์ด๋ค. ์ด๊ฒ์ ๋์์์ ์ดํดํ๊ณ ๋ํํ๋ AI๋, ๋ฌผ๋ฆฌ ๋ฒ์น์ ์ค์ค๋ก ๋ฐฐ์ด ์ธ๊ณ ๋ชจ๋ธ๋ ์๋๋ค. ๊ณต์ ์ฐ๊ตฌ์ง์ด ๋ณด์ฌ ์ค ๊ฒ์ ๋จ์ผ ๋์์์์ geometry์ motion์ ํจ๊ป ๋ณต์ยท์ถ์ ํ๋ ๋ชจ๋ธ๊ณผ ๊ทธ ๋ฒค์น๋งํฌ ๊ฒฐ๊ณผ๋ค.[2][3]
#2. 3D์ 4D: โ์ ์ฒด ์ฌ์งโ ๋ค์์ ๋ฌด์์ด ๋ ํ์ํ๊ฐ
3D ์ฌ๊ตฌ์ฑ์ ์ฌ์ง์ด๋ ์ฌ๋ฌ ์ฅ์ ์ด๋ฏธ์ง์์ ๋ฌผ์ฒด์ ์ ์ฒด ๋ชจ์, ์นด๋ฉ๋ผ ์์น, ๊ฐ ์ ๊น์ง์ ๊ฑฐ๋ฆฌ๋ฅผ ์ถ์ ํ๋ ์์ ์ด๋ค. ์ ์งํ ๋ฐฉ์ ์ฌ๋ฌ ๊ฐ๋์์ ์ดฌ์ํ๋ค๋ฉด ๋ฒฝยท์์ยท์ฑ ์์ด ์ด๋์ ์๋์ง ์ ๊ตฌ๋ฆ(point cloud)์ฒ๋ผ ๋ณต์ํ ์ ์๋ค. ๊น์ด(depth)๋ ์นด๋ฉ๋ผ์์ ๊ฐ ํฝ์ ๊น์ง ์ผ๋ง๋ ๋จ์ด์ ธ ์๋์ง๋ฅผ ๋ํ๋ธ ๊ฐ์ด๋ค.
ํ์ง๋ง ๋์์์๋ ๋ ์ข ๋ฅ์ ์์ง์์ด ์์ธ๋ค. ์นด๋ฉ๋ผ๋ฅผ ๋ค๊ณ ๊ฑธ์ผ๋ฉด ๋ฐฐ๊ฒฝ ์ ์ฒด๊ฐ ํ๋ฉด์์ ์์ง์ธ๋ค. ๋์์ ์ฌ๋์ด ์์ ํ๋ค๋ฉด ์ฌ๋์ ์๋ ๋ฐ๋ก ์์ง์ธ๋ค. ๋ฉ๋ฆฌ ์๋ ์ฌ๋์ด ๊ธฐ๋ฅ ๋ค๋ก ์ ์ ๊ฐ๋ ค์ก๋ค๊ฐ ๋ค์ ๋ํ๋ ์๋ ์๋ค. ์ด๋ ํ๋ฉด ์ ํฝ์ ์ด ์ฎ๊ฒจ ๊ฐ๋ค๊ณ ํด์ ๋ชจ๋ ๋ฌผ์ฒด ์์ฒด์ ์์ง์์ ์๋๋ค. ์นด๋ฉ๋ผ์ ์ด๋, ๊ณ ์ ๋ฐฐ๊ฒฝ์ ๊ธฐํ, ๋ฌผ์ฒด์ ๋ ๋ฆฝ๋ ์์ง์์ ๋ถ๋ฆฌํด์ผ ํ๋ค.
์ฒ์ ๋ณด๋ ์ฉ์ด๋ฅผ ์งง๊ฒ ์ ๋ฆฌํ๋ฉด
- ๊น์ด(depth): ํ๋ฉด์ ๊ฐ ์ ์ด ์นด๋ฉ๋ผ์์ ์ผ๋ง๋ ๋จ์ด์ ธ ์๋์ง์ ๋ํ ์ถ์ ์ด๋ค.
- ์ถ์ (tracking): ์ฒซ ํ๋ ์์ ํน์ ์ ์ด ์๊ฐ์ด ์ง๋ ๋ค๋ฅธ ํ๋ ์์์ ์ด๋์ ํด๋นํ๋์ง ์ด์ด ๋ณด๋ ์ผ์ด๋ค.
- ์ ๊ตฌ๋ฆ(point cloud): ํ๋ฉด์ ๋ง์ 3์ฐจ์ ์ ์ผ๋ก ํํํ ์๋ฃ๋ค. ๋งค๋ํ CAD ๋ชจ๋ธ๊ณผ๋ ๋ค๋ฅผ ์ ์๋ค.
- ์นด๋ฉ๋ผ ์์ธ(pose): ์นด๋ฉ๋ผ๊ฐ ์ด๋์ ์๊ณ ์ด๋ ๋ฐฉํฅ์ ๋ณด๋์ง๋ฅผ ๋ํ๋ด๋ ์์นยทํ์ ์ ๋ณด๋ค.
- ๊ฐ๋ฆผ(occlusion): ๋ฌผ์ฒด๊ฐ ๋ค๋ฅธ ๋ฌผ์ฒด ๋ค๋ก ๊ฐ๊ฑฐ๋ ํ๋ฉด ๋ฐ์ผ๋ก ๋๊ฐ์ ์ ์ ๋ณด์ด์ง ์๋ ์ํ๋ค.
๊ธฐ์กด ์์คํ ์ ์ด ์ผ์ ์ฌ๋ฌ ์กฐ๊ฐ์ผ๋ก ๋๋๋ ๊ฒฝ์ฐ๊ฐ ๋ง๋ค. ํ ๋ชจ๋ธ์ ๊น์ด๋ฅผ, ๋ค๋ฅธ ๋ชจ๋ธ์ ์ ์ ์ด๋์, ๋ ๋ค๋ฅธ ๊ณผ์ ์ ์นด๋ฉ๋ผ ์์ธ๋ฅผ ์ถ์ ํ๋ค. ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ๋ง์ง๋ง์ ๋ง์ถ๋ ๊ณผ์ ์ ๋๋ฆฌ๊ณ , ๊ฐ ๋ชจ๋ธ์ ์ค์ฐจ๊ฐ ์๋ก ์ถฉ๋ํ ์ ์๋ค. ์๋ฅผ ๋ค์ด ์นด๋ฉ๋ผ๊ฐ ์์ง์๋ค๊ณ ๋ณด๋ ๋ชจ๋ธ๊ณผ ์ฌ๋์ด ์์ง์๋ค๊ณ ๋ณด๋ ๋ชจ๋ธ์ด ๊ฐ์ ํฝ์ ์ ๋ค๋ฅด๊ฒ ์ค๋ช ํ๋ฉด, ๋ค์์ ์ผ๊ด์ฑ์ ๋ง์ถ๊ธฐ ์ํ ์ถ๊ฐ ์ต์ ํ๊ฐ ํ์ํ๋ค.[3]
D4RT์ ์ถ๋ฐ์ ์ โ์ถ๋ ฅ๋ง๋ค ๋ค๋ฅธ ํด์๊ธฐ๋ฅผ ๋ถ์ฌ์ผ ํ๋๊ฐโ๋ผ๋ ์ง๋ฌธ์ด๋ค. ๋ชจ๋ ๊ฒฐ๊ณผ๋ฅผ ๋ฐ๋ก ํ ์ฅ์ ์์ฑ๋ 3D ์ง๋์ฒ๋ผ ๋ง๋ค๊ธฐ๋ณด๋ค, ๋์์์ ๊ณตํต ํํ์ ๋ง๋ ํ ํ์ํ ๋ต๋ง ์ง์ํ์๋ ์ชฝ์ด๋ค.
#3. D4RT๊ฐ ๋์ง๋ ํ๋์ ์ง๋ฌธ
๊ณต์ ์ค๋ช ์ D4RT์ ํต์ฌ ์ง์๋ฅผ ๋ค์๊ณผ ๊ฐ์ด ์์ฝํ๋ค. โ๋์์์ ํน์ ํฝ์ ์ด, ์ ํํ ์นด๋ฉ๋ผ์์ ๋ณธ ์์์ ์๊ฐ์ 3D ๊ณต๊ฐ ์ด๋์ ์๋๊ฐ?โ[3] ์ด ์ง๋ฌธ์๋ ์ถ๋ฐ ํฝ์ , ์ถ๋ฐ ์๊ฐ, ๋ชฉํ ์๊ฐ, ๋ชฉํ ์นด๋ฉ๋ผ ๊ด์ ์ด ๋ค์ด๊ฐ๋ค. ์ ๋ ฅ์ ๋ฐ๊พธ๋ฉด ๊ฐ์ ๋ชจ๋ธ์ด ์ฌ๋ฌ ๋ค๋ฅธ ์ถ๋ ฅ์ ๋ผ ์ ์๋ค.
์๋ฅผ ๋ค์ด ํ ์ ์ ์ฌ๋ฌ ์๊ฐ์ ๋ฐ๋ณต ์ง์ํ๋ฉด 3D ๊ถค์ ์ด ๋์จ๋ค. ์๊ฐ์ ๊ณ ์ ํ๊ณ ํ๋ฉด์ ๋ง์ ์ ์ ์ง์ํ๋ฉด ํ ์๊ฐ์ ์ ๊ตฌ๋ฆ์ด๋ ๊น์ด ์ง๋๊ฐ ๋์จ๋ค. ํ ์๊ฐ์ ์ฌ๋ฌ ์นด๋ฉ๋ผ ๊ด์ ์์ ๋ง์ถฐ ๋ณด๋ฉด ์นด๋ฉ๋ผ ๊ถค์ ์ ์ถ์ ํ ์ ์๋ค. ์ฆ D4RT๋ โ๊น์ด ๋ชจ๋ธโ, โ์ถ์ ๋ชจ๋ธโ, โ์์ธ ๋ชจ๋ธโ์ ๊ฐ์ ์์ค์ ๋ณ๋ ์ ํ์ผ๋ก ๋ถ์ธ ๊ฒ์ด ์๋๋ผ, ๊ณตํต๋ 4D ์ขํ ์ง์์ ๋ค๋ฅธ ์ฌ์ฉ๋ฒ์ผ๋ก ๋ค๋ฃฌ๋ค.[3]
์ด ํํ์ด ์ค์ํ ์ด์ ๋ ๊ณ์ฐ๋์ด๋ค. ๋ชจ๋ ํ๋ ์์ ๋ชจ๋ ํฝ์ ์ ๋งค๋ฒ ๋ฌด๊ฑฐ์ด ํด์๊ธฐ๋ก ๋ค์ ํ ํ์ ์์ด, ํ์ํ ๋ ํ์ํ ์ ์ ๋ฌผ์ ์ ์๋ค. ๋ ผ๋ฌธ๊ณผ DeepMind ์ค๋ช ์ ๋จผ์ ๋์์์ ์ ์ญ ์ฅ๋ฉด ํํ์ผ๋ก ์ธ์ฝ๋ฉํ๊ณ , ๊ฐ๋ฒผ์ด decoder๊ฐ ๋ ๋ฆฝ์ ์ธ ์ง์๋ฅผ ๋ณ๋ ฌ ์ฒ๋ฆฌํ๋ค๊ณ ์ค๋ช ํ๋ค.[2][3] โ๋ ๋ฆฝ์ โ์ด๋ผ๋ ๋ง์ ํ ์ง์๊ฐ ๋ค๋ฅธ ์ง์์ ์ถ๋ ฅ์ ์์๋๋ก ๊ธฐ๋ค๋ฆฌ์ง ์์๋ ๋๋ค๋ ๋ป์ด๋ค. ํ๋ ๊ฐ์๊ธฐ๋ ๊ฐ์ ์ข ๋ฅ์ ๊ณ์ฐ์ ๋ง์ด ๋ฌถ์ด ์ฒ๋ฆฌํ๋ ๋ฐ ์ ๋ฆฌํ๋ฏ๋ก, ์ด ๊ตฌ์กฐ๊ฐ ์๋ ์ธก๋ฉด์ ๊ทผ๊ฑฐ๊ฐ ๋๋ค.
๋ค๋ง ์ง์๊ฐ ๋ ๋ฆฝ์ ์ด๋ผ๊ณ ํด์ ๊ฒฐ๊ณผ๊ฐ ์ธ์ ๋ ๋ฌผ๋ฆฌ์ ์ผ๋ก ์๋ฒฝํ๊ฒ ์ฐ๊ฒฐ๋๋ค๋ ๋ป์ ์๋๋ค. ๋ชจ๋ธ์ ๊ณต์ ๋ ํํ์ ๋ฐํ์ผ๋ก ๊ฐ ๋ต์ ์์ธกํ๋ค. ๋ฉ๋ฆฌ ๊ฐ๋ ค์ง ์์ ์ค์ ๊ถค์ ์ด๋ ๋ณด์ด์ง ์๋ ๋ฌผ์ฒด์ ๋ท๋ฉด์ฒ๋ผ ์์์ ์๋ ์ ๋ณด๋ ํ์ตํ ํจํด๊ณผ ๋ฌธ๋งฅ์ผ๋ก ์ถ์ ํด์ผ ํ๋ค. ์ด๊ฒ์ด 4D ๋ณต์์ด ์ฌ์ ํ ์ด๋ ค์ด ์ด์ ๋ค.
#4. ํ ๋์์์ด ๋ชจ๋ธ ์์์ ์ง๋๊ฐ๋ ๊ฒฝ๋ก
์ฒซ ๋จ๊ณ๋ encoder๋ค. encoder๋ ์ฌ๋ฌ ํ๋ ์์ ์ฝ์ด ์ยท์ค๊ณฝ์ ๋ฟ ์๋๋ผ ์ฅ๋ฉด์ ๊ณต๊ฐ ๊ตฌ์กฐ์ ์๊ฐ ๋ณํ์ ๊ดํ ์์ถ ํํ์ ๋ง๋ ๋ค. โ์์ถโ์ MP4 ํ์ผ์ฒ๋ผ ์ ์ฅ ์ฉ๋๋ง ์ค์ธ๋ค๋ ๋ป์ด ์๋๋ค. ์ดํ ์ง๋ฌธ์ ํ์ํ ํจํด์ ๋ด๋ถ ์ซ์ ๋ฒกํฐ์ ๋ด๋๋ค๋ ๋ป์ด๋ค. D4RT๋ ์ด ํํ์ ์ ์ญ(global) ์ฅ๋ฉด ํํ์ผ๋ก ์ฌ์ฉํ๋ค.[2]
๋์งธ๋ query๋ค. ์ฌ์ฉ์๊ฐ ๋ชจ๋ ๊ฒ์ ํ๊บผ๋ฒ์ ์๊ตฌํ๋ ๋์ , ์ด๋ ์ ์ ์ด๋ ์๊ฐ์ ์ด๋ ๊ด์ ์์ ์๊ณ ์ถ์์ง ์ง์ ํ๋ค. ๋ก๋ด ํ์ด ์ปต์ ๊ฐ์ฅ์๋ฆฌ ํ ์ ์ด ๋ค์ 0.5์ด ๋ค ์ด๋์ ์์์ง ์๊ณ ์ถ๋ค๋ฉด ๊ทธ ์ ๋ค์ ์ง์ํ ์ ์๊ณ , AR ์์คํ ์ด ๋ฐฉ ์ ์ฒด์ ๊น์ด๋ฅผ ์ํ๋ค๋ฉด ๋ง์ ํฝ์ ์ ํ๊บผ๋ฒ์ ์ง์ํ ์ ์๋ค. ๊ฐ์ ๊ตฌ์กฐ๊ฐ ์ ์ ์์ ์ ๋ฐํ ์ง๋ฌธ๊ณผ ๋ง์ ์์ ๋์ ์ง๋ฌธ์ ๋ชจ๋ ๋ฐ๋๋ก ์ค๊ณ๋ ๊ฒ์ด๋ค.
์ ์งธ๋ decoder๋ค. decoder๋ ์ฅ๋ฉด ํํ๊ณผ ์ง์๋ฅผ ๋ฐ์ 3D ์์น๋ ๊ด๋ จ ์ขํ๋ฅผ ๋ตํ๋ค. ์ฌ๋ฌ specialized decoder๋ฅผ ๋ ๊ตฌ์กฐ์ ๋ฌ๋ฆฌ ํ๋์ ์ง์ ์ธํฐํ์ด์ค์ ๋ง์ถ decoder๋ฅผ ์ฐ๋ ๊ฒ์ด ๋ ผ๋ฌธ์ ๊ตฌ์กฐ์ ์ฃผ์ฅ์ด๋ค.[2] ์ด ๋๋ฌธ์ D4RT๋ผ๋ ์ด๋ฆ์ ์ฑ๊ณผ๋ฅผ โ์๋ก์ด ์นด๋ฉ๋ผ ์ผ์โ๋ โLiDAR ๋์ฒดํโ์ด๋ผ๊ณ ๋ถ๋ฅด๋ฉด ๋ถ์ ํํ๋ค. ์ ๋ ฅ์ ๋ณดํต ๋์์์ด๊ณ , ์ถ๋ ฅ์ ํ์ต๋ ๋ชจ๋ธ์ ๊ธฐํยท์์ง์ ์ถ์ ์ด๋ค.
์ด ๊ณผ์ ์ ์ฌ๋์ด ์ฅ๋ฉด์ ์๋ฒฝํ ์ดํดํ๋ ๋ฐฉ์๊ณผ๋ ๋ค๋ฅด๋ค. ์ฌ๋์ ๋ฌผ์ฒด์ ์๋ฏธ, ๋ชฉ์ , ์ถฉ๋ ์ํ, ๋ค์ ํ๋์ ์ถ๋ก ํ ์ ์๋ค. D4RT๊ฐ ๋ณด์ธ ๊ฒ์ ์ ยท๊น์ดยท์นด๋ฉ๋ผ๋ฅผ ์ผ๊ด๋๊ฒ ๋ค๋ฃจ๋ ์๊ฐ ํํ์ด๋ค. ์ปต์ ๋ณด๊ณ ๋ง์ค ์ ์๋ค๊ณ ์ดํดํ๊ฑฐ๋, ์ฌ๋์ด ๋ฌด์์ ํ๋ ค๋์ง ์ธ์ด๋ก ์ค๋ช ํ๋ ๋ฅ๋ ฅ์ ๋ณ๋์ ์ธ์ยท๊ณํ ๋ชจ๋ธ๊ณผ ๊ฒ์ฆ์ด ํ์ํ๋ค.
#5. ๊ฒฐ๊ณผ ํ๋ ๋ฌด์์ ๋ณด์ฌ ์ฃผ๊ณ , ๋ฌด์์ ์จ๊ธฐ๋
DeepMind์ ๊ณต์ ์ค๋ช ์ D4RT๊ฐ ์ฌ๋ฌ 4D ๊ณผ์ ์์ ๊ธฐ์กด ๋ฐฉ๋ฒ๋ณด๋ค 18๋ฐฐ์์ 300๋ฐฐ ๋น ๋ฅด๋ค๊ณ ์๊ฐํ๋ค.[3] ์์๋ก ํ TPU ์นฉ์์ 1๋ถ ๊ธธ์ด ๋์์์ ์ฝ 5์ด์ ์ฒ๋ฆฌํ๊ณ , ๋น๊ต ๋์ ์ค ์ผ๋ถ๋ ๊ฐ์ ์์ ์ ์ต๋ 10๋ถ์ด ๊ฑธ๋ฆด ์ ์๋ค๊ณ ์ ์๋ค. ์ด ์ซ์๋ ๊ด์ฌ์ ๋๋ ์งํ์ง๋ง, โ๋ชจ๋ ์ค๋งํธํฐยท๋ชจ๋ ๋ก๋ดยท๋ชจ๋ ์ ๋ ฅ ๊ธธ์ด์์ 120๋ฐฐ ๋น ๋ฅด๋คโ๋ ์๋ฏธ๋ ์๋๋ค. ํ๋์จ์ด, ํด์๋, ์ง์ ๊ฐ์, ๋น๊ต ๋ฐฉ๋ฒ, ์ ์ฒ๋ฆฌ์ ํ์ฒ๋ฆฌ ํฌํจ ์ฌ๋ถ์ ๋ฐ๋ผ ์๊ฐ์ด ๋ฌ๋ผ์ง๋ค.
์ ํ๋๋ ํ๋์ ์ซ์๋ก ํฉ์น ์ ์๋ค. ๊ณต์ ๋ธ๋ก๊ทธ๊ฐ ์ ์ํ MPI Sintel ์ ๊ตฌ๋ฆ ์ฌ๊ตฌ์ฑ์ 3D fidelity ์์์๋ D4RT๊ฐ 1.091, ๋น๊ต ๋ชจ๋ธ ฯ3๊ฐ 0.861, SpatialTrackerV2๊ฐ 0.625๋ก ์๊ฐ๋๋ค.[3] Aria Digital Twin์ point tracking ์์์๋ D4RT 1.904, SpatialTrackerV2 1.762, CoTracker3+VGGT 1.264๊ฐ ์ ์๋๋ค. ์นด๋ฉ๋ผ ์์ธ RE10k์์๋ pose AUC 0.835๋ก ๋น๊ต ๋ชฉ๋ก์ ๊ฐ์ฅ ๋๋ค๊ณ ์๊ฐํ๋ค.[3]
์์น๋ฅผ ์ฝ์ ๋ ์ธ ๊ฐ์ง๋ฅผ ๊ธฐ์ตํด์ผ ํ๋ค. ์ฒซ์งธ, ์๋ก ๋ค๋ฅธ ๋ฒค์น๋งํฌ์ ์ ์๋ ์ง์ ํฉ์ฐํ ์ ์๋ค. Sintel์ 1.091๊ณผ RE10k์ 0.835๋ ๊ฐ์ ๋จ์๊ฐ ์๋๋ค. ๋์งธ, ๋ฒค์น๋งํฌ์์์ ์์ ์ ์๋ ์์ ํ ๋ก๋ด ๋์์ ๋ณด์ฆํ์ง ์๋๋ค. ์ถ์ ์ค์ฐจ๊ฐ ์์๋ ์ ์ด๊ฐ ๋ฆ๊ฑฐ๋ ์ผ์๊ฐ ํ๋ค๋ฆฌ๋ฉด ์ค์ ํ๋์ ์คํจํ ์ ์๋ค. ์ ์งธ, ๊ณต์ ๋ธ๋ก๊ทธ์ ๋ ผ๋ฌธ ์ ์๊ฐ ์ ์ํ ๋น๊ต๋ ์ค์ํ 1์ฐจ ๊ทผ๊ฑฐ์ด์ง๋ง, ๋ ๋ฆฝ ํ์ ์ฌํ๊ณผ ๋ค์ํ ์ค์ ํ๊ฒฝ ๊ฒ์ฆ์ ๋์ ํ์ง๋ ์๋๋ค.
CVPR Best Paper ์ ์ ์ ์ด ์ฐ๊ตฌ์ ์์ด๋์ด์ ์คํ์ด ๋๋ฃ ์ฌ์ฌ ์ปค๋ฎค๋ํฐ์์ ๋๊ฒ ํ๊ฐ๋๋ค๋ ๊ฐํ ์ ํธ๋ค.[1] ํ์ง๋ง ์์ ์ ํ ์ธ์ฆ์๊ฐ ์๋๋ค. ์ด ๊ธ์ด D4RT๋ฅผ ํ๋ณด๋ก ๋ค๋ฃจ๋ ์ด์ ๋ ์ฌ๊ธฐ์ ์๋ค. ํ๋์ ์ง์ ์ธํฐํ์ด์ค๋ก ์ฌ๋ฌ 4D ๊ณผ์ ๋ฅผ ํตํฉํ ์ค๊ณ๋ ์ค์ํ์ง๋ง, ์ค์ ๋ฐฐํฌ์ ๊ฐ๊ฑด์ฑยท๋น์ฉยท์์ ์ฑ์ ๋ณ๋๋ก ๊ฒ์ฆํด์ผ ํ๋ค.
#6. ๋ก๋ดยทAR์ ์ฐ๊ฒฐํ๋ ค๋ฉด ์ค๊ฐ ๋จ๊ณ๊ฐ ๋ ์๋ค
๋ก๋ด์ ์ฌ๋๊ณผ ๋ฌผ์ฒด๊ฐ ์์ง์ด๋ ๊ณต๊ฐ์์ ์ถฉ๋ ์์ด ํ๋ํด์ผ ํ๋ค. D4RT๊ฐ ์ ๊ณตํ ์ ์๋ ๊ฒ์ ๊ทธ ์ค ๊ณต๊ฐ ์ธ์์ ์ผ๋ถ๋ค. ์ฌ๋์ด ์ ์ ๊ฐ๋ ค์ ธ๋ ์ด๋๋ก ์์ง์์์ง, ์นด๋ฉ๋ผ๊ฐ ํ๋ค๋ ค๋ ๋ฌผ์ฒด ์์ฒด๋ ์ด๋์ ์๋์ง, ํ ์ด๋ธ ํ๋ฉด์ด ์ด๋ ์ ๋ ๋จ์ด์ ธ ์๋์ง๋ฅผ ์ถ์ ํ๋ฉด ๊ฒฝ๋ก ๊ณํ์ด๋ ์ก๊ธฐ ๊ณํ์ ์ ๋ ฅ์ด ์ข์์ง ์ ์๋ค.[3]
๊ทธ๋ฌ๋ ์ธ์์ด ๊ณง ํ๋์ ์๋๋ค. ๋ก๋ด์ด ์ปต์ ์ก์ผ๋ ค๋ฉด ๋ฌผ์ฒด ๋ถํ , ๋ฌผ์ฑ ์ถ์ , ์ยท์ง๊ฒ์ ํ ์ ์ด, ์ถฉ๋ ๊ฒ์ฌ, ์ผ์ ์ง์ฐ ๋์, ์คํจ ์ ์ ์ง๊ฐ ๋ ํ์ํ๋ค. 4D ์ฌ๊ตฌ์ฑ ๋ชจ๋ธ์ด ํ ํ๋ ์์์ ์์ ๊น์ด ์ค์ฐจ๋ฅผ ๋ด๋ฉด, ๋จ์ ์๊ฐ ๋ฒค์น๋งํฌ์์๋ ํต๊ณผํ๋๋ผ๋ ์ข์ ํ์ผ๋ก ํ์ ๋ฃ๋ ์์ ์๋ ์ถฉ๋ถํ์ง ์์ ์ ์๋ค. ๋ก๋ด์ ์ฐ๋ ค๋ฉด ์นด๋ฉ๋ผ ์ข ๋ฅยท์กฐ๋ช ยท๊ฐ๋ฆผยทmotion blurยท์ถ๋ก ์ง์ฐ๊น์ง ํฌํจํ ํ๋ฃจํ ์ํ์ด ํ์ํ๋ค.
AR๋ ๊ฐ๋ค. ๊ฐ์ ํ์ดํ๋ฅผ ์ค์ ๋ฐ๋ฅ์ ๋ถ์ฌ ๋ณด์ด๋ ค๋ฉด ์นด๋ฉ๋ผ ์์ธ์ ๊น์ด๊ฐ ์์ ์ ์ด์ด์ผ ํ๋ค. ํ์ง๋ง ์ฌ๋์ ์์ด ํ๋ฉด์ ๊ฐ๋ฆฌ๊ฑฐ๋ ์ค๋ด ์กฐ๋ช ์ด ๋ฐ๋๊ณ ๋น ๋ฅด๊ฒ ๊ณ ๊ฐ๋ฅผ ๋๋ฆด ๋๋ ํ์๊ฐ ํ์ง ์์์ผ ํ๋ค. D4RT์ query ๊ตฌ์กฐ๊ฐ ๋์ scene reconstruction๊ณผ ์ ์ ์์ ํต์ฌ ์ ์ถ์ ์ ๋ชจ๋ ํจ์จ์ ์ผ๋ก ํ๊ฒ ๋ง๋ ๋ค๋ ์ ์ ๋งค๋ ฅ์ ์ด๋ค. ๊ทธ๋ ์ง๋ง ์๊ฒฝ์ ๋ฐฐํฐ๋ฆฌยท๋ฐ์ดยท๊ฐ์ธ์ ๋ณดยท์จ๋๋ฐ์ด์ค ์ง์ฐ๊น์ง ํด๊ฒฐํ๋ค๋ ๋ฐํ๋ ์๋๋ค.
#7. ์ธ๊ณ ๋ชจ๋ธ์ด๋ผ๋ ๋จ์ด๋ฅผ ์กฐ์ฌํด์ ์ฐ๋ ์ด์
4D ์ฌ๊ตฌ์ฑ์ ์ด๋ฅธ๋ฐ โworld modelโ๋ก ๊ฐ๋ ํ ๊ตฌ์ฑ์์๋ก ์์ฃผ ์๊ฐ๋๋ค. ์์ง์ด๋ ์ธ๊ณ์ geometry์ motion์ ์ผ๊ด๋๊ฒ ํํํด์ผ ๋ฏธ๋ ํ๋์ ์์ธกํ๊ฑฐ๋ ๊ฐ์ ํ๊ฒฝ์์ ๊ณํํ ์ ์๊ธฐ ๋๋ฌธ์ด๋ค. DeepMind๋ D4RT๊ฐ ์นด๋ฉ๋ผ ์์ง์ยท๋ฌผ์ฒด ์์ง์ยท์ ์ geometry๋ฅผ ๋ถ๋ฆฌํ๋ ๋ฐฉํฅ์์ ๋ฌผ๋ฆฌ์ ํ์ค์ ํํํ๋ AI์ ํ ๊ฑธ์์ด๋ผ๊ณ ์ค๋ช ํ๋ค.[3]
ํ์ง๋ง ์๋ ๋ชจ๋ธ์ด๋ผ๋ ๋ง์ ๋๋ฌด ๋๋ค. ์ด๋ค ์์คํ ์ด ์ธ๊ณ ๋ชจ๋ธ์ด๋ผ ๋ถ๋ฆฌ๋ ค๋ฉด ๋ณดํต ๊ด์ธกํ์ง ์์ ๋ฏธ๋์ ๋ํ ์์ธก, ํ๋์ ํ์ ๋์ ๊ฒฐ๊ณผ, ๋ฌผ๋ฆฌ์ ์ธ๊ณผ๊ด๊ณ, ๋ถํ์ค์ฑ, ์ฅ๊ธฐ ๊ธฐ์ต ๊ฐ์ ์์๊น์ง ๋ ผ์ํด์ผ ํ๋ค. D4RT ๋ ผ๋ฌธ์ด ์ง์ ๋ค๋ฃฌ ํต์ฌ์ ๋์์์์์ dynamic reconstruction and tracking์ด๋ค.[2] ๋ฏธ๋๋ฅผ ์ฌ๋ฌ ์๋๋ฆฌ์ค๋ก ์๋ฎฌ๋ ์ด์ ํ๊ฑฐ๋ ๋ก๋ด ํ๋์ ์ต์ ํํ๋ค๋ ๊ฒ์ ๋ณด์ฌ ์ค ์ฐ๊ตฌ๋ ์๋๋ค.
๋ฐ๋ผ์ ๊ฐ์ฅ ์ ํํ ํํ์ ์ด๋ ๋ค. D4RT๋ โ์ธ๊ณ ๋ชจ๋ธ์ ์์ฑํ AIโ๊ฐ ์๋๋ผ, ์์ง์ด๋ 2D ๋์์์์ ์ผ๊ด๋ 3D+์๊ฐ ํํ์ ์ป๋ ๋ณ๋ชฉ์ ๋จ์ผ ์ง์ ๊ตฌ์กฐ๋ก ๋ค๋ฃฌ ์ปดํจํฐ ๋น์ ์ฐ๊ตฌ๋ค. ์ด ํํ์ ์ฑ๊ณผ๋ฅผ ์๊ฒ ๋ง๋ค์ง ์๋๋ค. ์คํ๋ ค ๋ฌด์์ด ์ค์ ๋ก ๊ฒ์ฆ๋๊ณ ๋ฌด์์ด ๋ค์ ์ฐ๊ตฌ์ ๋ชซ์ธ์ง ์ ๋ช ํ๊ฒ ๋ง๋ ๋ค.
#8. ๋ค์์ ๋ด์ผ ํ ๊ฒ์ฆ ํฌ์ธํธ
์ฒซ์งธ, ์ฐ๊ตฌ์๊ฐ ๊ณต๊ฐํ ์ฒดํฌํฌ์ธํธยทํ์ต ์ฝ๋ยท๋ฐ์ดํฐ ์์ฑ ์ธ๋ถ ์ฌํญ์ด ์ผ๋ง๋ ์ ๊ณต๋๋์ง ๋ด์ผ ํ๋ค. ํ๋ก์ ํธ ํ์ด์ง์ ๊ธฐ์ ๋ณด๊ณ ์๋ ์กด์ฌํ์ง๋ง, ์ด ๊ธ์ ์์ฑํ ์์ ์ ๊ณต์ ํ๋ก์ ํธ์์ ๋ฐ๋ก ์คํ ๊ฐ๋ฅํ ์ ์ฒด ํ์ตยท์ถ๋ก ์ฝ๋ ๋ฐฐํฌ๋ฅผ ํ์ธํ์ง ๋ชปํ๋ค.[2] ๋ ๋ฆฝ ์ฌํ์ ๋ฒ์๊ฐ ๋์ด์ง์๋ก ๊ฐํ ์ฃผ์ฅ๋ ๋ ๋จ๋จํด์ง๋ค.
๋์งธ, ๋ถํฌ ๋ฐ ํ๊ฒฝ์ด๋ค. ๋ฒค์น๋งํฌ์ ํฉ์ฑ ์ฅ๋ฉด, ์ ๋ฆฌ๋ ์ค๋ดยท์ค์ธ ์์์์ ์ ๋๋๋ผ๋ ์ด๋์ด ๊ณต์ฅ, ๋ฐ์ฌ ์ ๋ฆฌ, ๋นยท๋, ์ฌ๋ฌ ์ฌ๋์ด ์ฝํ ๊ฐ๋ฆผ, ์ผ์ rolling shutter์์ ๊ฐ์ ์ฑ๋ฅ์ด ์ ์ง๋๋์ง๋ ๋ณ๋ ์ง๋ฌธ์ด๋ค. ์ ์งธ, ์ค์ latency๋ค. ์์ฝ๋๋ฅผ ํ ๋ฒ ๋๋ฆฌ๋ ๋น์ฉ๊ณผ ์ง์ ์๊ฐ ๋์ด๋ ๋์ ์ด ์๊ฐ, ๋ฉ๋ชจ๋ฆฌ, ์ ๋ ฅ, ์์ ์ ์ง๊น์ง ํตํฉ ์ธก์ ํด์ผ ํ๋ค.
๋ง์ง๋ง์ผ๋ก, ๊ฒฐ๊ณผ์ ์ฌ์ฉ ์ฑ ์์ด๋ค. 3D ์์น์ camera pose๋ ์ฌ๋์ ํผํด ์์ง์ด๋ ๊ธฐ๊ณ๋ ์ค์ ๊ณต๊ฐ์ ์ ๋ณด๋ฅผ ๊ฒน์ณ ๋ณด์ด๋ ์์คํ ์ ์ ๋ ฅ์ด ๋ ์ ์๋ค. ๊ทธ๋์ ํ๊ท ์ ์๋ง์ด ์๋๋ผ ์คํจ ์ฌ๋ก, ๋ถํ์ค์ฑ ํ์, ๊ฐ์งํ์ง ๋ชปํ ๊ฐ๋ฆผ, ์ธ๊ฐ ๊ฒํ ยท์์ ์ ์ด์์ ์ฐ๊ฒฐ์ ๊ณต๊ฐํ๋ ๊ฒ์ด ์ค์ํ๋ค. ์ข์ ๋น์ ๋ชจ๋ธ์ ๋ ๋ง์ ๊ฒ์ โ๋ณด๋โ ๋ชจ๋ธ์ด ์๋๋ผ, ๋ชจ๋ฅด๋ ์ํฉ์์ ๋ฌด์์ ํ์ง ์์์ง๋ ์ ์ ์๋ ์์คํ ๊ณผ ๊ฒฐํฉ๋ ๋ ์ค์ ๊ฐ์น๊ฐ ์๊ธด๋ค.
#9. ์ถ์ฒ์ ์๊ฐ ์๋ฃ
- D4RT ๊ณต์ ํ๋ก์ ํธ โ CVPR 2026 Best Paper ํ๊ธฐ, ์ ์ยท๋ ผ๋ฌธยท์ธํฐ๋ํฐ๋ธ ๋ฐ๋ชจ.
- Zhang ์ธ, Efficiently Reconstructing Dynamic Scenes One D4RT at a Time, CVPR 2026 โ ๋ชจ๋ธ์ unified query ๊ตฌ์กฐ์ ํ๊ฐ ๋ฒ์.
- Google DeepMind, D4RT: Teaching AI to see the world in four dimensions, 2026-01-22 โ ๊ณต์ ์ฑ๋ฅ ์ฌ๋กยท์๋ ์ค๋ช ยทํ์ฉ ๊ฐ๋ฅ์ฑ.
- ์๋ ์๋ฆฌ ์์๊ณผ MPI Sintel ์ฐจํธ์ ์ถ์ฒ๋ Google DeepMind์ด๋ฉฐ ๊ณต์ ์๋ฒ์์ ์ฐ๊ฒฐํด ํ์ํ๋ค. ๋ ํ๊ตญ์ด ์ค๋ช ๋์์ JJo๊ฐ ์ง์ ์ ์ํ๋ค.