Skip to main content
#computer-vision#robotics#3d-vision#world-models

Reconstructing a Moving 3D Scene from One Video

D4RT, the CVPR 2026 Best Paper, introduces 4D reconstruction through depth, tracking, camera pose, and query-based perception. Explore the evidence behind its results and the questions still open.

Article text in Korean.

๋™์˜์ƒ ํ”„๋ ˆ์ž„์„ encoder๊ฐ€ ์žฅ๋ฉด ํ‘œํ˜„์œผ๋กœ ๋ฐ”๊พผ ๋’ค ํ”ฝ์…€ยท์‹œ๊ฐ„ยท์นด๋ฉ”๋ผ ๊ด€์ ์„ ์งˆ์˜ํ•˜๋Š” D4RT์˜ ๊ต์œก์šฉ ๊ตฌ์กฐ๋„ ๊ทธ๋ฆผ์˜ ๊ธ€์ž๊ฐ€ ์ž‘๋‹ค๋ฉด ์›๋ณธ ํฌ๊ฒŒ ๋ณด๊ธฐ ยท ์ƒˆ ํƒญ
JJo ์ž์ฒด ์ œ์ž‘ D4RT ๊ตฌ์กฐ ์„ค๋ช… ๊ทธ๋ฆผ ยท ์›๋ณธ ๋ชจ๋ธ ์‹œ๊ฐ ์ž๋ฃŒ ์•„๋‹˜ D4RT์˜ query ๊ธฐ๋ฐ˜ ๋ฐœ์ƒ์„ ์„ค๋ช…ํ•˜๋Š” ์ง์ ‘ ์ œ์ž‘ ๊ทธ๋ฆผ์ด๋‹ค. ํ”„๋ ˆ์ž„ ์† ์ธ๋ฌผยท์ƒ‰ยท์ƒ์ž ์œ„์น˜๋Š” ์‹ค์ œ ๋ฐ์ดํ„ฐ๋‚˜ ๋…ผ๋ฌธ์˜ ์„ฑ๋Šฅ ๊ฒฐ๊ณผ๋ฅผ ๋œปํ•˜์ง€ ์•Š๋Š”๋‹ค. JJo ยท D4RT video-to-query ๊ฐœ๋…๋„ ยท 2026-09-14 ยท ์ถœ์ฒ˜ ยท ์ž์ฒด ์ œ์ž‘ ยท MIT ยท DeepMindยทCVPR์˜ ์‚ฌ์ง„ยท์˜์ƒยท์ฐจํŠธ๋ฅผ ๋ณต์ œํ•˜์ง€ ์•Š์€ ์ง์ ‘ ์ œ์ž‘ SVG

#1. ํ›„๋ณด ๋ ˆ์ด๋”: ๋™์˜์ƒ์€ ํ‰๋ฉด์ธ๋ฐ, ๋กœ๋ด‡์€ ์ž…์ฒด์™€ ์‹œ๊ฐ„์„ ์•Œ์•„์•ผ ํ•œ๋‹ค

ํœด๋Œ€ํฐ์œผ๋กœ ๋ˆ„๊ตฐ๊ฐ€ ๊ณต์„ ๋˜์ง€๋Š” ์˜์ƒ์„ ์ฐ์œผ๋ฉด ํ™”๋ฉด์—๋Š” ๋งค ์ˆœ๊ฐ„ 2์ฐจ์› ํ”ฝ์…€๋งŒ ๋‚จ๋Š”๋‹ค. ๊ทธ๋Ÿฌ๋‚˜ ๊ณต์ด ์นด๋ฉ”๋ผ ์ชฝ์œผ๋กœ ๋‹ค๊ฐ€์˜ค๋Š”์ง€, ์‚ฌ๋žŒ์ด ๋’ค๋กœ ๊ฐ€๋ ค์กŒ๋Š”์ง€, ์นด๋ฉ”๋ผ๊ฐ€ ์›€์ง์ธ ๊ฒƒ์ธ์ง€ ์‚ฌ๋žŒ์ด ์›€์ง์ธ ๊ฒƒ์ธ์ง€๋Š” ํ”ฝ์…€ ํ•œ ์žฅ๋งŒ ๋ณด๊ณ  ๋ฐ”๋กœ ์•Œ๊ธฐ ์–ด๋ ต๋‹ค. ๋กœ๋ด‡์ด ์‚ฌ๋žŒ์„ ํ”ผํ•ด ์›€์ง์ด๊ฑฐ๋‚˜ AR ์•ˆ๊ฒฝ์ด ์ฑ…์ƒ ์œ„์— ๊ฐ€์ƒ ๋ฌผ์ฒด๋ฅผ ๊ณ ์ •ํ•˜๋ ค๋ฉด, ์žฅ๋ฉด์˜ ๋ชจ์–‘๋ฟ ์•„๋‹ˆ๋ผ ์‹œ๊ฐ„์— ๋”ฐ๋ผ ๋ฌด์—‡์ด ์–ด๋””๋กœ ์›€์ง์ด๋Š”์ง€๊นŒ์ง€ ์ถ”์ •ํ•ด์•ผ ํ•œ๋‹ค.

CVPR 2026 Best Paper๋กœ ์„ ์ •๋œ D4RT๋Š” ์ด ๋ฌธ์ œ๋ฅผ ํ•˜๋‚˜์˜ ์งˆ๋ฌธ ํ˜•ํƒœ๋กœ ๋ฌถ๋Š”๋‹ค.[1] ์ด๋ฆ„์€ Dynamic 4D Reconstruction and Tracking์˜ ์ค„์ž„๋ง์ด๋‹ค. 3D๋Š” ๊ฐ€๋กœยท์„ธ๋กœยท๊นŠ์ด, 4D๋Š” ์—ฌ๊ธฐ์— ์‹œ๊ฐ„์„ ๋”ํ•œ ๊ฒƒ์ด๋‹ค. D4RT๋Š” ๋™์˜์ƒ ์ „์ฒด๋ฅผ ํ•œ ๋ฒˆ ์ฝ์€ ๋’ค โ€œ์ด ํ”„๋ ˆ์ž„์˜ ์ด ํ”ฝ์…€์€, ๋‹ค๋ฅธ ์‹œ๊ฐ๊ณผ ๋‹ค๋ฅธ ์นด๋ฉ”๋ผ ๊ด€์ ์—์„œ 3์ฐจ์› ์–ด๋””์— ์žˆ๋Š”๊ฐ€?โ€๋ผ๊ณ  ์งˆ์˜ํ•œ๋‹ค. ๊ฐ™์€ ์ธํ„ฐํŽ˜์ด์Šค๋กœ ๊นŠ์ด, ๋ฌผ์ฒดยท์ ์˜ ๊ถค์ , ์ ๊ตฌ๋ฆ„, ์นด๋ฉ”๋ผ ์ž์„ธ๋ฅผ ์–ป์œผ๋ ค๋Š” ์ ‘๊ทผ์ด๋‹ค.[2]

ํ•œ ๋ฌธ์žฅ์œผ๋กœ ๋งํ•˜๋ฉด D4RT๋Š” ๋™์˜์ƒ์„ ๋ณด๊ณ  ์žฅ๋ฉด ์ „์ฒด๋ฅผ ํ•œ ๋ฒˆ ์••์ถ•ํ•œ ๋’ค, ํ•„์š”ํ•œ ๊ณต๊ฐ„ยท์‹œ๊ฐ„ ์ขŒํ‘œ๋งŒ ๋ฌผ์–ด๋ณด๋Š” 4D ์ธ์‹ ๋ชจ๋ธ์ด๋‹ค. ์ด๊ฒƒ์€ ๋™์˜์ƒ์„ ์ดํ•ดํ•˜๊ณ  ๋Œ€ํ™”ํ•˜๋Š” AI๋„, ๋ฌผ๋ฆฌ ๋ฒ•์น™์„ ์Šค์Šค๋กœ ๋ฐฐ์šด ์„ธ๊ณ„ ๋ชจ๋ธ๋„ ์•„๋‹ˆ๋‹ค. ๊ณต์‹ ์—ฐ๊ตฌ์ง„์ด ๋ณด์—ฌ ์ค€ ๊ฒƒ์€ ๋‹จ์ผ ๋™์˜์ƒ์—์„œ geometry์™€ motion์„ ํ•จ๊ป˜ ๋ณต์›ยท์ถ”์ ํ•˜๋Š” ๋ชจ๋ธ๊ณผ ๊ทธ ๋ฒค์น˜๋งˆํฌ ๊ฒฐ๊ณผ๋‹ค.[2][3]

#2. 3D์™€ 4D: โ€˜์ž…์ฒด ์‚ฌ์ง„โ€™ ๋‹ค์Œ์— ๋ฌด์—‡์ด ๋” ํ•„์š”ํ•œ๊ฐ€

3D ์žฌ๊ตฌ์„ฑ์€ ์‚ฌ์ง„์ด๋‚˜ ์—ฌ๋Ÿฌ ์žฅ์˜ ์ด๋ฏธ์ง€์—์„œ ๋ฌผ์ฒด์˜ ์ž…์ฒด ๋ชจ์–‘, ์นด๋ฉ”๋ผ ์œ„์น˜, ๊ฐ ์ ๊นŒ์ง€์˜ ๊ฑฐ๋ฆฌ๋ฅผ ์ถ”์ •ํ•˜๋Š” ์ž‘์—…์ด๋‹ค. ์ •์ง€ํ•œ ๋ฐฉ์„ ์—ฌ๋Ÿฌ ๊ฐ๋„์—์„œ ์ดฌ์˜ํ–ˆ๋‹ค๋ฉด ๋ฒฝยท์˜์žยท์ฑ…์ƒ์ด ์–ด๋””์— ์žˆ๋Š”์ง€ ์ ๊ตฌ๋ฆ„(point cloud)์ฒ˜๋Ÿผ ๋ณต์›ํ•  ์ˆ˜ ์žˆ๋‹ค. ๊นŠ์ด(depth)๋Š” ์นด๋ฉ”๋ผ์—์„œ ๊ฐ ํ”ฝ์…€๊นŒ์ง€ ์–ผ๋งˆ๋‚˜ ๋–จ์–ด์ ธ ์žˆ๋Š”์ง€๋ฅผ ๋‚˜ํƒ€๋‚ธ ๊ฐ’์ด๋‹ค.

ํ•˜์ง€๋งŒ ๋™์˜์ƒ์—๋Š” ๋‘ ์ข…๋ฅ˜์˜ ์›€์ง์ž„์ด ์„ž์ธ๋‹ค. ์นด๋ฉ”๋ผ๋ฅผ ๋“ค๊ณ  ๊ฑธ์œผ๋ฉด ๋ฐฐ๊ฒฝ ์ „์ฒด๊ฐ€ ํ™”๋ฉด์—์„œ ์›€์ง์ธ๋‹ค. ๋™์‹œ์— ์‚ฌ๋žŒ์ด ์†์„ ํ”๋“ค๋ฉด ์‚ฌ๋žŒ์˜ ์†๋„ ๋”ฐ๋กœ ์›€์ง์ธ๋‹ค. ๋ฉ€๋ฆฌ ์žˆ๋˜ ์‚ฌ๋žŒ์ด ๊ธฐ๋‘ฅ ๋’ค๋กœ ์ž ์‹œ ๊ฐ€๋ ค์กŒ๋‹ค๊ฐ€ ๋‹ค์‹œ ๋‚˜ํƒ€๋‚  ์ˆ˜๋„ ์žˆ๋‹ค. ์ด๋•Œ ํ™”๋ฉด ์† ํ”ฝ์…€์ด ์˜ฎ๊ฒจ ๊ฐ”๋‹ค๊ณ  ํ•ด์„œ ๋ชจ๋‘ ๋ฌผ์ฒด ์ž์ฒด์˜ ์›€์ง์ž„์€ ์•„๋‹ˆ๋‹ค. ์นด๋ฉ”๋ผ์˜ ์ด๋™, ๊ณ ์ • ๋ฐฐ๊ฒฝ์˜ ๊ธฐํ•˜, ๋ฌผ์ฒด์˜ ๋…๋ฆฝ๋œ ์›€์ง์ž„์„ ๋ถ„๋ฆฌํ•ด์•ผ ํ•œ๋‹ค.

์ฒ˜์Œ ๋ณด๋Š” ์šฉ์–ด๋ฅผ ์งง๊ฒŒ ์ •๋ฆฌํ•˜๋ฉด
  • ๊นŠ์ด(depth): ํ™”๋ฉด์˜ ๊ฐ ์ ์ด ์นด๋ฉ”๋ผ์—์„œ ์–ผ๋งˆ๋‚˜ ๋–จ์–ด์ ธ ์žˆ๋Š”์ง€์— ๋Œ€ํ•œ ์ถ”์ •์ด๋‹ค.
  • ์ถ”์ (tracking): ์ฒซ ํ”„๋ ˆ์ž„์˜ ํŠน์ • ์ ์ด ์‹œ๊ฐ„์ด ์ง€๋‚˜ ๋‹ค๋ฅธ ํ”„๋ ˆ์ž„์—์„œ ์–ด๋””์— ํ•ด๋‹นํ•˜๋Š”์ง€ ์ด์–ด ๋ณด๋Š” ์ผ์ด๋‹ค.
  • ์ ๊ตฌ๋ฆ„(point cloud): ํ‘œ๋ฉด์„ ๋งŽ์€ 3์ฐจ์› ์ ์œผ๋กœ ํ‘œํ˜„ํ•œ ์ž๋ฃŒ๋‹ค. ๋งค๋ˆํ•œ CAD ๋ชจ๋ธ๊ณผ๋Š” ๋‹ค๋ฅผ ์ˆ˜ ์žˆ๋‹ค.
  • ์นด๋ฉ”๋ผ ์ž์„ธ(pose): ์นด๋ฉ”๋ผ๊ฐ€ ์–ด๋””์— ์žˆ๊ณ  ์–ด๋А ๋ฐฉํ–ฅ์„ ๋ณด๋Š”์ง€๋ฅผ ๋‚˜ํƒ€๋‚ด๋Š” ์œ„์น˜ยทํšŒ์ „ ์ •๋ณด๋‹ค.
  • ๊ฐ€๋ฆผ(occlusion): ๋ฌผ์ฒด๊ฐ€ ๋‹ค๋ฅธ ๋ฌผ์ฒด ๋’ค๋กœ ๊ฐ€๊ฑฐ๋‚˜ ํ™”๋ฉด ๋ฐ–์œผ๋กœ ๋‚˜๊ฐ€์„œ ์ž ์‹œ ๋ณด์ด์ง€ ์•Š๋Š” ์ƒํƒœ๋‹ค.

๊ธฐ์กด ์‹œ์Šคํ…œ์€ ์ด ์ผ์„ ์—ฌ๋Ÿฌ ์กฐ๊ฐ์œผ๋กœ ๋‚˜๋ˆ„๋Š” ๊ฒฝ์šฐ๊ฐ€ ๋งŽ๋‹ค. ํ•œ ๋ชจ๋ธ์€ ๊นŠ์ด๋ฅผ, ๋‹ค๋ฅธ ๋ชจ๋ธ์€ ์ ์˜ ์ด๋™์„, ๋˜ ๋‹ค๋ฅธ ๊ณผ์ •์€ ์นด๋ฉ”๋ผ ์ž์„ธ๋ฅผ ์ถ”์ •ํ•œ๋‹ค. ๊ทธ ๊ฒฐ๊ณผ๋ฅผ ๋งˆ์ง€๋ง‰์— ๋งž์ถ”๋Š” ๊ณผ์ •์€ ๋А๋ฆฌ๊ณ , ๊ฐ ๋ชจ๋ธ์˜ ์˜ค์ฐจ๊ฐ€ ์„œ๋กœ ์ถฉ๋Œํ•  ์ˆ˜ ์žˆ๋‹ค. ์˜ˆ๋ฅผ ๋“ค์–ด ์นด๋ฉ”๋ผ๊ฐ€ ์›€์ง์˜€๋‹ค๊ณ  ๋ณด๋Š” ๋ชจ๋ธ๊ณผ ์‚ฌ๋žŒ์ด ์›€์ง์˜€๋‹ค๊ณ  ๋ณด๋Š” ๋ชจ๋ธ์ด ๊ฐ™์€ ํ”ฝ์…€์„ ๋‹ค๋ฅด๊ฒŒ ์„ค๋ช…ํ•˜๋ฉด, ๋’ค์—์„œ ์ผ๊ด€์„ฑ์„ ๋งž์ถ”๊ธฐ ์œ„ํ•œ ์ถ”๊ฐ€ ์ตœ์ ํ™”๊ฐ€ ํ•„์š”ํ•˜๋‹ค.[3]

D4RT์˜ ์ถœ๋ฐœ์ ์€ โ€œ์ถœ๋ ฅ๋งˆ๋‹ค ๋‹ค๋ฅธ ํ•ด์„๊ธฐ๋ฅผ ๋ถ™์—ฌ์•ผ ํ•˜๋Š”๊ฐ€โ€๋ผ๋Š” ์งˆ๋ฌธ์ด๋‹ค. ๋ชจ๋“  ๊ฒฐ๊ณผ๋ฅผ ๋ฐ”๋กœ ํ•œ ์žฅ์˜ ์™„์„ฑ๋œ 3D ์ง€๋„์ฒ˜๋Ÿผ ๋งŒ๋“ค๊ธฐ๋ณด๋‹ค, ๋™์˜์ƒ์˜ ๊ณตํ†ต ํ‘œํ˜„์„ ๋งŒ๋“  ํ›„ ํ•„์š”ํ•œ ๋‹ต๋งŒ ์งˆ์˜ํ•˜์ž๋Š” ์ชฝ์ด๋‹ค.

#3. D4RT๊ฐ€ ๋˜์ง€๋Š” ํ•˜๋‚˜์˜ ์งˆ๋ฌธ

Google DeepMind ๊ณต์‹ ์ž‘๋™ ์›๋ฆฌ ์˜์ƒ. ์˜์ƒ์„ ์ฝ๋Š” ์ธ์ฝ”๋”๊ฐ€ ๊ณตํ†ต ์žฅ๋ฉด ํ‘œํ˜„์„ ๋งŒ๋“ค๊ณ , ๋””์ฝ”๋”๊ฐ€ ์„ ํƒํ•œ ํ”ฝ์…€์˜ ์œ„์น˜๋ฅผ ์‹œ๊ฐยท์นด๋ฉ”๋ผ ๊ด€์ ์— ๋งž์ถฐ ๋‹ตํ•˜๋Š” ํ๋ฆ„์„ ์‚ดํŽด๋ณด์ž. ์ถœ์ฒ˜์™€ ์ „์ฒด ์„ค๋ช… ยท ์˜์ƒ ์ง์ ‘ ์—ด๊ธฐ
ํ•œ ์ˆœ๊ฐ„์˜ ๋ชจ์–‘๊ณผ ๊นŠ์ด๋ฅผ ๋‹ค๋ฃจ๋Š” ์ •์ ์ธ 3D ์žฌ๊ตฌ์„ฑ์— ์‹œ๊ฐ„์— ๋”ฐ๋ฅธ ์ ์˜ ๋Œ€์‘ ๊ด€๊ณ„๋ฅผ ๋”ํ•œ ๋™์ ์ธ 4D ์žฌ๊ตฌ์„ฑ์„ ๋Œ€๋น„ํ•œ ๊ต์œก์šฉ ๊ทธ๋ฆผ ๊ทธ๋ฆผ์˜ ๊ธ€์ž๊ฐ€ ์ž‘๋‹ค๋ฉด ์›๋ณธ ํฌ๊ฒŒ ๋ณด๊ธฐ ยท ์ƒˆ ํƒญ
JJo ์ž์ฒด ์ œ์ž‘ 3Dยท4D ๊ตฌ๋ถ„ ๊ทธ๋ฆผ ยท ์‹ค์ธก ๋ฐ์ดํ„ฐ ์•„๋‹˜ 4D์˜ ๋„ค ๋ฒˆ์งธ ์ถ•์€ ์‹œ๊ฐ„์ด๋‹ค. ๊ทธ๋ฆผ์˜ ์  ์ด๋™ยท๋ฐฉยทํ”„๋ ˆ์ž„์€ ์‹ค์ œ D4RT ์ถœ๋ ฅ์ด๋‚˜ ๋ฌผ๋ฆฌ ์‹œ๋ฎฌ๋ ˆ์ด์…˜์ด ์•„๋‹ˆ๋ผ ๊ฐ€๋ฆผยท์นด๋ฉ”๋ผ ์ด๋™ยท์ถ”์  ๊ฐœ๋…์„ ์„ค๋ช…ํ•˜๋Š” ์˜ˆ์‹œ๋‹ค. JJo ยท D4RT 3Dยท4D ๊ฐœ๋…๋„ ยท 2026-09-14 ยท ์ถœ์ฒ˜ ยท ์ž์ฒด ์ œ์ž‘ ยท MIT ยท DeepMindยทCVPR์˜ ์‚ฌ์ง„ยท์˜์ƒยท์ฐจํŠธ๋ฅผ ๋ณต์ œํ•˜์ง€ ์•Š์€ ์ง์ ‘ ์ œ์ž‘ SVG

๊ณต์‹ ์„ค๋ช…์€ D4RT์˜ ํ•ต์‹ฌ ์งˆ์˜๋ฅผ ๋‹ค์Œ๊ณผ ๊ฐ™์ด ์š”์•ฝํ•œ๋‹ค. โ€œ๋™์˜์ƒ์˜ ํŠน์ • ํ”ฝ์…€์ด, ์„ ํƒํ•œ ์นด๋ฉ”๋ผ์—์„œ ๋ณธ ์ž„์˜์˜ ์‹œ๊ฐ์— 3D ๊ณต๊ฐ„ ์–ด๋””์— ์žˆ๋Š”๊ฐ€?โ€[3] ์ด ์งˆ๋ฌธ์—๋Š” ์ถœ๋ฐœ ํ”ฝ์…€, ์ถœ๋ฐœ ์‹œ๊ฐ, ๋ชฉํ‘œ ์‹œ๊ฐ, ๋ชฉํ‘œ ์นด๋ฉ”๋ผ ๊ด€์ ์ด ๋“ค์–ด๊ฐ„๋‹ค. ์ž…๋ ฅ์„ ๋ฐ”๊พธ๋ฉด ๊ฐ™์€ ๋ชจ๋ธ์ด ์—ฌ๋Ÿฌ ๋‹ค๋ฅธ ์ถœ๋ ฅ์„ ๋‚ผ ์ˆ˜ ์žˆ๋‹ค.

์˜ˆ๋ฅผ ๋“ค์–ด ํ•œ ์ ์„ ์—ฌ๋Ÿฌ ์‹œ๊ฐ์— ๋ฐ˜๋ณต ์งˆ์˜ํ•˜๋ฉด 3D ๊ถค์ ์ด ๋‚˜์˜จ๋‹ค. ์‹œ๊ฐ„์„ ๊ณ ์ •ํ•˜๊ณ  ํ™”๋ฉด์˜ ๋งŽ์€ ์ ์„ ์งˆ์˜ํ•˜๋ฉด ํ•œ ์ˆœ๊ฐ„์˜ ์ ๊ตฌ๋ฆ„์ด๋‚˜ ๊นŠ์ด ์ง€๋„๊ฐ€ ๋‚˜์˜จ๋‹ค. ํ•œ ์ˆœ๊ฐ„์„ ์—ฌ๋Ÿฌ ์นด๋ฉ”๋ผ ๊ด€์ ์—์„œ ๋งž์ถฐ ๋ณด๋ฉด ์นด๋ฉ”๋ผ ๊ถค์ ์„ ์ถ”์ •ํ•  ์ˆ˜ ์žˆ๋‹ค. ์ฆ‰ D4RT๋Š” โ€˜๊นŠ์ด ๋ชจ๋ธโ€™, โ€˜์ถ”์  ๋ชจ๋ธโ€™, โ€˜์ž์„ธ ๋ชจ๋ธโ€™์„ ๊ฐ™์€ ์ˆ˜์ค€์˜ ๋ณ„๋„ ์ œํ’ˆ์œผ๋กœ ๋ถ™์ธ ๊ฒƒ์ด ์•„๋‹ˆ๋ผ, ๊ณตํ†ต๋œ 4D ์ขŒํ‘œ ์งˆ์˜์˜ ๋‹ค๋ฅธ ์‚ฌ์šฉ๋ฒ•์œผ๋กœ ๋‹ค๋ฃฌ๋‹ค.[3]

์ด ํ‘œํ˜„์ด ์ค‘์š”ํ•œ ์ด์œ ๋Š” ๊ณ„์‚ฐ๋Ÿ‰์ด๋‹ค. ๋ชจ๋“  ํ”„๋ ˆ์ž„์˜ ๋ชจ๋“  ํ”ฝ์…€์„ ๋งค๋ฒˆ ๋ฌด๊ฑฐ์šด ํ•ด์„๊ธฐ๋กœ ๋‹ค์‹œ ํ’€ ํ•„์š” ์—†์ด, ํ•„์š”ํ•  ๋•Œ ํ•„์š”ํ•œ ์ ์„ ๋ฌผ์„ ์ˆ˜ ์žˆ๋‹ค. ๋…ผ๋ฌธ๊ณผ DeepMind ์„ค๋ช…์€ ๋จผ์ € ๋™์˜์ƒ์„ ์ „์—ญ ์žฅ๋ฉด ํ‘œํ˜„์œผ๋กœ ์ธ์ฝ”๋”ฉํ•˜๊ณ , ๊ฐ€๋ฒผ์šด decoder๊ฐ€ ๋…๋ฆฝ์ ์ธ ์งˆ์˜๋ฅผ ๋ณ‘๋ ฌ ์ฒ˜๋ฆฌํ•œ๋‹ค๊ณ  ์„ค๋ช…ํ•œ๋‹ค.[2][3] โ€˜๋…๋ฆฝ์ โ€™์ด๋ผ๋Š” ๋ง์€ ํ•œ ์งˆ์˜๊ฐ€ ๋‹ค๋ฅธ ์งˆ์˜์˜ ์ถœ๋ ฅ์„ ์ˆœ์„œ๋Œ€๋กœ ๊ธฐ๋‹ค๋ฆฌ์ง€ ์•Š์•„๋„ ๋œ๋‹ค๋Š” ๋œป์ด๋‹ค. ํ˜„๋Œ€ ๊ฐ€์†๊ธฐ๋Š” ๊ฐ™์€ ์ข…๋ฅ˜์˜ ๊ณ„์‚ฐ์„ ๋งŽ์ด ๋ฌถ์–ด ์ฒ˜๋ฆฌํ•˜๋Š” ๋ฐ ์œ ๋ฆฌํ•˜๋ฏ€๋กœ, ์ด ๊ตฌ์กฐ๊ฐ€ ์†๋„ ์ธก๋ฉด์˜ ๊ทผ๊ฑฐ๊ฐ€ ๋œ๋‹ค.

๋‹ค๋งŒ ์งˆ์˜๊ฐ€ ๋…๋ฆฝ์ ์ด๋ผ๊ณ  ํ•ด์„œ ๊ฒฐ๊ณผ๊ฐ€ ์–ธ์ œ๋‚˜ ๋ฌผ๋ฆฌ์ ์œผ๋กœ ์™„๋ฒฝํ•˜๊ฒŒ ์—ฐ๊ฒฐ๋œ๋‹ค๋Š” ๋œป์€ ์•„๋‹ˆ๋‹ค. ๋ชจ๋ธ์€ ๊ณต์œ ๋œ ํ‘œํ˜„์„ ๋ฐ”ํƒ•์œผ๋กœ ๊ฐ ๋‹ต์„ ์˜ˆ์ธกํ•œ๋‹ค. ๋ฉ€๋ฆฌ ๊ฐ€๋ ค์ง„ ์†์˜ ์‹ค์ œ ๊ถค์ ์ด๋‚˜ ๋ณด์ด์ง€ ์•Š๋Š” ๋ฌผ์ฒด์˜ ๋’ท๋ฉด์ฒ˜๋Ÿผ ์˜์ƒ์— ์—†๋Š” ์ •๋ณด๋Š” ํ•™์Šตํ•œ ํŒจํ„ด๊ณผ ๋ฌธ๋งฅ์œผ๋กœ ์ถ”์ •ํ•ด์•ผ ํ•œ๋‹ค. ์ด๊ฒƒ์ด 4D ๋ณต์›์ด ์—ฌ์ „ํžˆ ์–ด๋ ค์šด ์ด์œ ๋‹ค.

#4. ํ•œ ๋™์˜์ƒ์ด ๋ชจ๋ธ ์•ˆ์—์„œ ์ง€๋‚˜๊ฐ€๋Š” ๊ฒฝ๋กœ

์ฒซ ๋‹จ๊ณ„๋Š” encoder๋‹ค. encoder๋Š” ์—ฌ๋Ÿฌ ํ”„๋ ˆ์ž„์„ ์ฝ์–ด ์ƒ‰ยท์œค๊ณฝ์„ ๋ฟ ์•„๋‹ˆ๋ผ ์žฅ๋ฉด์˜ ๊ณต๊ฐ„ ๊ตฌ์กฐ์™€ ์‹œ๊ฐ„ ๋ณ€ํ™”์— ๊ด€ํ•œ ์••์ถ• ํ‘œํ˜„์„ ๋งŒ๋“ ๋‹ค. โ€˜์••์ถ•โ€™์€ MP4 ํŒŒ์ผ์ฒ˜๋Ÿผ ์ €์žฅ ์šฉ๋Ÿ‰๋งŒ ์ค„์ธ๋‹ค๋Š” ๋œป์ด ์•„๋‹ˆ๋‹ค. ์ดํ›„ ์งˆ๋ฌธ์— ํ•„์š”ํ•œ ํŒจํ„ด์„ ๋‚ด๋ถ€ ์ˆซ์ž ๋ฒกํ„ฐ์— ๋‹ด๋Š”๋‹ค๋Š” ๋œป์ด๋‹ค. D4RT๋Š” ์ด ํ‘œํ˜„์„ ์ „์—ญ(global) ์žฅ๋ฉด ํ‘œํ˜„์œผ๋กœ ์‚ฌ์šฉํ•œ๋‹ค.[2]

๋‘˜์งธ๋Š” query๋‹ค. ์‚ฌ์šฉ์ž๊ฐ€ ๋ชจ๋“  ๊ฒƒ์„ ํ•œ๊บผ๋ฒˆ์— ์š”๊ตฌํ•˜๋Š” ๋Œ€์‹ , ์–ด๋А ์ ์„ ์–ด๋А ์‹œ๊ฐ์— ์–ด๋А ๊ด€์ ์—์„œ ์•Œ๊ณ  ์‹ถ์€์ง€ ์ง€์ •ํ•œ๋‹ค. ๋กœ๋ด‡ ํŒ”์ด ์ปต์˜ ๊ฐ€์žฅ์ž๋ฆฌ ํ•œ ์ ์ด ๋‹ค์Œ 0.5์ดˆ ๋’ค ์–ด๋””์— ์žˆ์„์ง€ ์•Œ๊ณ  ์‹ถ๋‹ค๋ฉด ๊ทธ ์ ๋“ค์„ ์งˆ์˜ํ•  ์ˆ˜ ์žˆ๊ณ , AR ์‹œ์Šคํ…œ์ด ๋ฐฉ ์ „์ฒด์˜ ๊นŠ์ด๋ฅผ ์›ํ•œ๋‹ค๋ฉด ๋งŽ์€ ํ”ฝ์…€์„ ํ•œ๊บผ๋ฒˆ์— ์งˆ์˜ํ•  ์ˆ˜ ์žˆ๋‹ค. ๊ฐ™์€ ๊ตฌ์กฐ๊ฐ€ ์ ์€ ์ˆ˜์˜ ์ •๋ฐ€ํ•œ ์งˆ๋ฌธ๊ณผ ๋งŽ์€ ์ˆ˜์˜ ๋„“์€ ์งˆ๋ฌธ์„ ๋ชจ๋‘ ๋ฐ›๋„๋ก ์„ค๊ณ„๋œ ๊ฒƒ์ด๋‹ค.

์…‹์งธ๋Š” decoder๋‹ค. decoder๋Š” ์žฅ๋ฉด ํ‘œํ˜„๊ณผ ์งˆ์˜๋ฅผ ๋ฐ›์•„ 3D ์œ„์น˜๋‚˜ ๊ด€๋ จ ์ขŒํ‘œ๋ฅผ ๋‹ตํ•œ๋‹ค. ์—ฌ๋Ÿฌ specialized decoder๋ฅผ ๋‘” ๊ตฌ์กฐ์™€ ๋‹ฌ๋ฆฌ ํ•˜๋‚˜์˜ ์งˆ์˜ ์ธํ„ฐํŽ˜์ด์Šค์— ๋งž์ถ˜ decoder๋ฅผ ์“ฐ๋Š” ๊ฒƒ์ด ๋…ผ๋ฌธ์˜ ๊ตฌ์กฐ์  ์ฃผ์žฅ์ด๋‹ค.[2] ์ด ๋•Œ๋ฌธ์— D4RT๋ผ๋Š” ์ด๋ฆ„์˜ ์„ฑ๊ณผ๋ฅผ โ€˜์ƒˆ๋กœ์šด ์นด๋ฉ”๋ผ ์„ผ์„œโ€™๋‚˜ โ€˜LiDAR ๋Œ€์ฒดํ’ˆโ€™์ด๋ผ๊ณ  ๋ถ€๋ฅด๋ฉด ๋ถ€์ •ํ™•ํ•˜๋‹ค. ์ž…๋ ฅ์€ ๋ณดํ†ต ๋™์˜์ƒ์ด๊ณ , ์ถœ๋ ฅ์€ ํ•™์Šต๋œ ๋ชจ๋ธ์˜ ๊ธฐํ•˜ยท์›€์ง์ž„ ์ถ”์ •์ด๋‹ค.

์ด ๊ณผ์ •์€ ์‚ฌ๋žŒ์ด ์žฅ๋ฉด์„ ์™„๋ฒฝํžˆ ์ดํ•ดํ•˜๋Š” ๋ฐฉ์‹๊ณผ๋„ ๋‹ค๋ฅด๋‹ค. ์‚ฌ๋žŒ์€ ๋ฌผ์ฒด์˜ ์˜๋ฏธ, ๋ชฉ์ , ์ถฉ๋Œ ์œ„ํ—˜, ๋‹ค์Œ ํ–‰๋™์„ ์ถ”๋ก ํ•  ์ˆ˜ ์žˆ๋‹ค. D4RT๊ฐ€ ๋ณด์ธ ๊ฒƒ์€ ์ ยท๊นŠ์ดยท์นด๋ฉ”๋ผ๋ฅผ ์ผ๊ด€๋˜๊ฒŒ ๋‹ค๋ฃจ๋Š” ์‹œ๊ฐ ํ‘œํ˜„์ด๋‹ค. ์ปต์„ ๋ณด๊ณ  ๋งˆ์‹ค ์ˆ˜ ์žˆ๋‹ค๊ณ  ์ดํ•ดํ•˜๊ฑฐ๋‚˜, ์‚ฌ๋žŒ์ด ๋ฌด์—‡์„ ํ•˜๋ ค๋Š”์ง€ ์–ธ์–ด๋กœ ์„ค๋ช…ํ•˜๋Š” ๋Šฅ๋ ฅ์€ ๋ณ„๋„์˜ ์ธ์‹ยท๊ณ„ํš ๋ชจ๋ธ๊ณผ ๊ฒ€์ฆ์ด ํ•„์š”ํ•˜๋‹ค.

#5. ๊ฒฐ๊ณผ ํ‘œ๋Š” ๋ฌด์—‡์„ ๋ณด์—ฌ ์ฃผ๊ณ , ๋ฌด์—‡์„ ์ˆจ๊ธฐ๋‚˜

MPI Sintel ์ ๊ตฌ๋ฆ„ ์žฌ๊ตฌ์„ฑ ๋น„๊ต: 3D Fidelity๋Š” MapAnything 0.282, VGGT 0.420, MegaSaM 0.469, SpatialTrackerV2 0.625, ฯ€3 0.861, D4RT 1.091. ๋†’์„์ˆ˜๋ก ์ข‹๋‹ค.
Google DeepMind์˜ MPI Sintel ์ ๊ตฌ๋ฆ„ ์žฌ๊ตฌ์„ฑ ๋น„๊ต. ์„ธ๋กœ์ถ•์€ ์ •ํ™•๋„ ๋ฐฑ๋ถ„์œจ์ด ์•„๋‹ˆ๋ผ 2 โˆ’ L1 ์˜ค์ฐจ๋กœ ์ •์˜ํ•œ 3D Fidelity๋‹ค. ๋ง‰๋Œ€๊ฐ€ ๋†’์œผ๋ฉด ์ด ํ‰๊ฐ€์—์„œ ๋ณต์›ํ•œ 3D ์œ„์น˜์˜ ์˜ค์ฐจ๊ฐ€ ์ž‘๋‹ค๋Š” ๋œป์ด๋ฉฐ, 1.091์„ 109.1% ์ •ํ™•๋„๋กœ ์ฝ์œผ๋ฉด ์•ˆ ๋œ๋‹ค. ์ถœ์ฒ˜์™€ ํ‰๊ฐ€ ์„ค๋ช… ยท ์ด๋ฏธ์ง€๋ฅผ ๋ˆ„๋ฅด๋ฉด ์›๋ณธ ํ™•๋Œ€.

DeepMind์˜ ๊ณต์‹ ์„ค๋ช…์€ D4RT๊ฐ€ ์—ฌ๋Ÿฌ 4D ๊ณผ์ œ์—์„œ ๊ธฐ์กด ๋ฐฉ๋ฒ•๋ณด๋‹ค 18๋ฐฐ์—์„œ 300๋ฐฐ ๋น ๋ฅด๋‹ค๊ณ  ์†Œ๊ฐœํ•œ๋‹ค.[3] ์˜ˆ์‹œ๋กœ ํ•œ TPU ์นฉ์—์„œ 1๋ถ„ ๊ธธ์ด ๋™์˜์ƒ์„ ์•ฝ 5์ดˆ์— ์ฒ˜๋ฆฌํ–ˆ๊ณ , ๋น„๊ต ๋Œ€์ƒ ์ค‘ ์ผ๋ถ€๋Š” ๊ฐ™์€ ์ž‘์—…์— ์ตœ๋Œ€ 10๋ถ„์ด ๊ฑธ๋ฆด ์ˆ˜ ์žˆ๋‹ค๊ณ  ์ ์—ˆ๋‹ค. ์ด ์ˆซ์ž๋Š” ๊ด€์‹ฌ์„ ๋„๋Š” ์ง€ํ‘œ์ง€๋งŒ, โ€˜๋ชจ๋“  ์Šค๋งˆํŠธํฐยท๋ชจ๋“  ๋กœ๋ด‡ยท๋ชจ๋“  ์ž…๋ ฅ ๊ธธ์ด์—์„œ 120๋ฐฐ ๋น ๋ฅด๋‹คโ€™๋Š” ์˜๋ฏธ๋Š” ์•„๋‹ˆ๋‹ค. ํ•˜๋“œ์›จ์–ด, ํ•ด์ƒ๋„, ์งˆ์˜ ๊ฐœ์ˆ˜, ๋น„๊ต ๋ฐฉ๋ฒ•, ์ „์ฒ˜๋ฆฌ์™€ ํ›„์ฒ˜๋ฆฌ ํฌํ•จ ์—ฌ๋ถ€์— ๋”ฐ๋ผ ์‹œ๊ฐ„์ด ๋‹ฌ๋ผ์ง„๋‹ค.

์ •ํ™•๋„๋„ ํ•˜๋‚˜์˜ ์ˆซ์ž๋กœ ํ•ฉ์น  ์ˆ˜ ์—†๋‹ค. ๊ณต์‹ ๋ธ”๋กœ๊ทธ๊ฐ€ ์ œ์‹œํ•œ MPI Sintel ์ ๊ตฌ๋ฆ„ ์žฌ๊ตฌ์„ฑ์˜ 3D fidelity ์˜ˆ์—์„œ๋Š” D4RT๊ฐ€ 1.091, ๋น„๊ต ๋ชจ๋ธ ฯ€3๊ฐ€ 0.861, SpatialTrackerV2๊ฐ€ 0.625๋กœ ์†Œ๊ฐœ๋œ๋‹ค.[3] Aria Digital Twin์˜ point tracking ์˜ˆ์—์„œ๋Š” D4RT 1.904, SpatialTrackerV2 1.762, CoTracker3+VGGT 1.264๊ฐ€ ์ œ์‹œ๋œ๋‹ค. ์นด๋ฉ”๋ผ ์ž์„ธ RE10k์—์„œ๋Š” pose AUC 0.835๋กœ ๋น„๊ต ๋ชฉ๋ก์˜ ๊ฐ€์žฅ ๋†’๋‹ค๊ณ  ์†Œ๊ฐœํ•œ๋‹ค.[3]

์ˆ˜์น˜๋ฅผ ์ฝ์„ ๋•Œ ์„ธ ๊ฐ€์ง€๋ฅผ ๊ธฐ์–ตํ•ด์•ผ ํ•œ๋‹ค. ์ฒซ์งธ, ์„œ๋กœ ๋‹ค๋ฅธ ๋ฒค์น˜๋งˆํฌ์˜ ์ ์ˆ˜๋Š” ์ง์ ‘ ํ•ฉ์‚ฐํ•  ์ˆ˜ ์—†๋‹ค. Sintel์˜ 1.091๊ณผ RE10k์˜ 0.835๋Š” ๊ฐ™์€ ๋‹จ์œ„๊ฐ€ ์•„๋‹ˆ๋‹ค. ๋‘˜์งธ, ๋ฒค์น˜๋งˆํฌ์—์„œ์˜ ์ƒ์œ„ ์ ์ˆ˜๋Š” ์•ˆ์ „ํ•œ ๋กœ๋ด‡ ๋™์ž‘์„ ๋ณด์ฆํ•˜์ง€ ์•Š๋Š”๋‹ค. ์ถ”์ • ์˜ค์ฐจ๊ฐ€ ์ž‘์•„๋„ ์ œ์–ด๊ฐ€ ๋Šฆ๊ฑฐ๋‚˜ ์„ผ์„œ๊ฐ€ ํ”๋“ค๋ฆฌ๋ฉด ์‹ค์ œ ํ–‰๋™์€ ์‹คํŒจํ•  ์ˆ˜ ์žˆ๋‹ค. ์…‹์งธ, ๊ณต์‹ ๋ธ”๋กœ๊ทธ์™€ ๋…ผ๋ฌธ ์ €์ž๊ฐ€ ์ œ์‹œํ•œ ๋น„๊ต๋Š” ์ค‘์š”ํ•œ 1์ฐจ ๊ทผ๊ฑฐ์ด์ง€๋งŒ, ๋…๋ฆฝ ํŒ€์˜ ์žฌํ˜„๊ณผ ๋‹ค์–‘ํ•œ ์‹ค์ œ ํ™˜๊ฒฝ ๊ฒ€์ฆ์„ ๋Œ€์‹ ํ•˜์ง€๋Š” ์•Š๋Š”๋‹ค.

CVPR Best Paper ์„ ์ •์€ ์ด ์—ฐ๊ตฌ์˜ ์•„์ด๋””์–ด์™€ ์‹คํ—˜์ด ๋™๋ฃŒ ์‹ฌ์‚ฌ ์ปค๋ฎค๋‹ˆํ‹ฐ์—์„œ ๋†’๊ฒŒ ํ‰๊ฐ€๋๋‹ค๋Š” ๊ฐ•ํ•œ ์‹ ํ˜ธ๋‹ค.[1] ํ•˜์ง€๋งŒ ์ƒ์€ ์ œํ’ˆ ์ธ์ฆ์„œ๊ฐ€ ์•„๋‹ˆ๋‹ค. ์ด ๊ธ€์ด D4RT๋ฅผ ํ›„๋ณด๋กœ ๋‹ค๋ฃจ๋Š” ์ด์œ ๋„ ์—ฌ๊ธฐ์— ์žˆ๋‹ค. ํ•˜๋‚˜์˜ ์งˆ์˜ ์ธํ„ฐํŽ˜์ด์Šค๋กœ ์—ฌ๋Ÿฌ 4D ๊ณผ์ œ๋ฅผ ํ†ตํ•ฉํ•œ ์„ค๊ณ„๋Š” ์ค‘์š”ํ•˜์ง€๋งŒ, ์‹ค์ œ ๋ฐฐํฌ์˜ ๊ฐ•๊ฑด์„ฑยท๋น„์šฉยท์•ˆ์ „์„ฑ์€ ๋ณ„๋„๋กœ ๊ฒ€์ฆํ•ด์•ผ ํ•œ๋‹ค.

#6. ๋กœ๋ด‡ยทAR์— ์—ฐ๊ฒฐํ•˜๋ ค๋ฉด ์ค‘๊ฐ„ ๋‹จ๊ณ„๊ฐ€ ๋” ์žˆ๋‹ค

๋กœ๋ด‡์€ ์‚ฌ๋žŒ๊ณผ ๋ฌผ์ฒด๊ฐ€ ์›€์ง์ด๋Š” ๊ณต๊ฐ„์—์„œ ์ถฉ๋Œ ์—†์ด ํ–‰๋™ํ•ด์•ผ ํ•œ๋‹ค. D4RT๊ฐ€ ์ œ๊ณตํ•  ์ˆ˜ ์žˆ๋Š” ๊ฒƒ์€ ๊ทธ ์ค‘ ๊ณต๊ฐ„ ์ธ์‹์˜ ์ผ๋ถ€๋‹ค. ์‚ฌ๋žŒ์ด ์ž ์‹œ ๊ฐ€๋ ค์ ธ๋„ ์–ด๋””๋กœ ์›€์ง์˜€์„์ง€, ์นด๋ฉ”๋ผ๊ฐ€ ํ”๋“ค๋ ค๋„ ๋ฌผ์ฒด ์ž์ฒด๋Š” ์–ด๋””์— ์žˆ๋Š”์ง€, ํ…Œ์ด๋ธ” ํ‘œ๋ฉด์ด ์–ด๋А ์ •๋„ ๋–จ์–ด์ ธ ์žˆ๋Š”์ง€๋ฅผ ์ถ”์ •ํ•˜๋ฉด ๊ฒฝ๋กœ ๊ณ„ํš์ด๋‚˜ ์žก๊ธฐ ๊ณ„ํš์˜ ์ž…๋ ฅ์ด ์ข‹์•„์งˆ ์ˆ˜ ์žˆ๋‹ค.[3]

๊ทธ๋Ÿฌ๋‚˜ ์ธ์‹์ด ๊ณง ํ–‰๋™์€ ์•„๋‹ˆ๋‹ค. ๋กœ๋ด‡์ด ์ปต์„ ์žก์œผ๋ ค๋ฉด ๋ฌผ์ฒด ๋ถ„ํ• , ๋ฌผ์„ฑ ์ถ”์ •, ์†ยท์ง‘๊ฒŒ์˜ ํž˜ ์ œ์–ด, ์ถฉ๋Œ ๊ฒ€์‚ฌ, ์„ผ์„œ ์ง€์—ฐ ๋Œ€์‘, ์‹คํŒจ ์‹œ ์ •์ง€๊ฐ€ ๋” ํ•„์š”ํ•˜๋‹ค. 4D ์žฌ๊ตฌ์„ฑ ๋ชจ๋ธ์ด ํ•œ ํ”„๋ ˆ์ž„์—์„œ ์ž‘์€ ๊นŠ์ด ์˜ค์ฐจ๋ฅผ ๋‚ด๋ฉด, ๋‹จ์ˆœ ์‹œ๊ฐ ๋ฒค์น˜๋งˆํฌ์—์„œ๋Š” ํ†ต๊ณผํ•˜๋”๋ผ๋„ ์ข์€ ํ‹ˆ์œผ๋กœ ํŒ”์„ ๋„ฃ๋Š” ์ž‘์—…์—๋Š” ์ถฉ๋ถ„ํ•˜์ง€ ์•Š์„ ์ˆ˜ ์žˆ๋‹ค. ๋กœ๋ด‡์— ์“ฐ๋ ค๋ฉด ์นด๋ฉ”๋ผ ์ข…๋ฅ˜ยท์กฐ๋ช…ยท๊ฐ€๋ฆผยทmotion blurยท์ถ”๋ก  ์ง€์—ฐ๊นŒ์ง€ ํฌํ•จํ•œ ํ๋ฃจํ”„ ์‹œํ—˜์ด ํ•„์š”ํ•˜๋‹ค.

AR๋„ ๊ฐ™๋‹ค. ๊ฐ€์ƒ ํ™”์‚ดํ‘œ๋ฅผ ์‹ค์ œ ๋ฐ”๋‹ฅ์— ๋ถ™์—ฌ ๋ณด์ด๋ ค๋ฉด ์นด๋ฉ”๋ผ ์ž์„ธ์™€ ๊นŠ์ด๊ฐ€ ์•ˆ์ •์ ์ด์–ด์•ผ ํ•œ๋‹ค. ํ•˜์ง€๋งŒ ์‚ฌ๋žŒ์˜ ์†์ด ํ™”๋ฉด์„ ๊ฐ€๋ฆฌ๊ฑฐ๋‚˜ ์‹ค๋‚ด ์กฐ๋ช…์ด ๋ฐ”๋€Œ๊ณ  ๋น ๋ฅด๊ฒŒ ๊ณ ๊ฐœ๋ฅผ ๋Œ๋ฆด ๋•Œ๋„ ํ‘œ์‹œ๊ฐ€ ํŠ€์ง€ ์•Š์•„์•ผ ํ•œ๋‹ค. D4RT์˜ query ๊ตฌ์กฐ๊ฐ€ ๋„“์€ scene reconstruction๊ณผ ์ ์€ ์ˆ˜์˜ ํ•ต์‹ฌ ์  ์ถ”์ ์„ ๋ชจ๋‘ ํšจ์œจ์ ์œผ๋กœ ํ•˜๊ฒŒ ๋งŒ๋“ ๋‹ค๋Š” ์ ์€ ๋งค๋ ฅ์ ์ด๋‹ค. ๊ทธ๋ ‡์ง€๋งŒ ์•ˆ๊ฒฝ์˜ ๋ฐฐํ„ฐ๋ฆฌยท๋ฐœ์—ดยท๊ฐœ์ธ์ •๋ณดยท์˜จ๋””๋ฐ”์ด์Šค ์ง€์—ฐ๊นŒ์ง€ ํ•ด๊ฒฐํ–ˆ๋‹ค๋Š” ๋ฐœํ‘œ๋Š” ์•„๋‹ˆ๋‹ค.

#7. ์„ธ๊ณ„ ๋ชจ๋ธ์ด๋ผ๋Š” ๋‹จ์–ด๋ฅผ ์กฐ์‹ฌํ•ด์„œ ์“ฐ๋Š” ์ด์œ 

4D ์žฌ๊ตฌ์„ฑ์€ ์ด๋ฅธ๋ฐ” โ€˜world modelโ€™๋กœ ๊ฐ€๋Š” ํ•œ ๊ตฌ์„ฑ์š”์†Œ๋กœ ์ž์ฃผ ์†Œ๊ฐœ๋œ๋‹ค. ์›€์ง์ด๋Š” ์„ธ๊ณ„์˜ geometry์™€ motion์„ ์ผ๊ด€๋˜๊ฒŒ ํ‘œํ˜„ํ•ด์•ผ ๋ฏธ๋ž˜ ํ–‰๋™์„ ์˜ˆ์ธกํ•˜๊ฑฐ๋‚˜ ๊ฐ€์ƒ ํ™˜๊ฒฝ์—์„œ ๊ณ„ํšํ•  ์ˆ˜ ์žˆ๊ธฐ ๋•Œ๋ฌธ์ด๋‹ค. DeepMind๋„ D4RT๊ฐ€ ์นด๋ฉ”๋ผ ์›€์ง์ž„ยท๋ฌผ์ฒด ์›€์ง์ž„ยท์ •์  geometry๋ฅผ ๋ถ„๋ฆฌํ•˜๋Š” ๋ฐฉํ–ฅ์—์„œ ๋ฌผ๋ฆฌ์  ํ˜„์‹ค์„ ํ‘œํ˜„ํ•˜๋Š” AI์— ํ•œ ๊ฑธ์Œ์ด๋ผ๊ณ  ์„ค๋ช…ํ•œ๋‹ค.[3]

ํ•˜์ง€๋งŒ ์›”๋“œ ๋ชจ๋ธ์ด๋ผ๋Š” ๋ง์€ ๋„ˆ๋ฌด ๋„“๋‹ค. ์–ด๋–ค ์‹œ์Šคํ…œ์ด ์„ธ๊ณ„ ๋ชจ๋ธ์ด๋ผ ๋ถˆ๋ฆฌ๋ ค๋ฉด ๋ณดํ†ต ๊ด€์ธกํ•˜์ง€ ์•Š์€ ๋ฏธ๋ž˜์— ๋Œ€ํ•œ ์˜ˆ์ธก, ํ–‰๋™์„ ํ–ˆ์„ ๋•Œ์˜ ๊ฒฐ๊ณผ, ๋ฌผ๋ฆฌ์  ์ธ๊ณผ๊ด€๊ณ„, ๋ถˆํ™•์‹ค์„ฑ, ์žฅ๊ธฐ ๊ธฐ์–ต ๊ฐ™์€ ์š”์†Œ๊นŒ์ง€ ๋…ผ์˜ํ•ด์•ผ ํ•œ๋‹ค. D4RT ๋…ผ๋ฌธ์ด ์ง์ ‘ ๋‹ค๋ฃฌ ํ•ต์‹ฌ์€ ๋™์˜์ƒ์—์„œ์˜ dynamic reconstruction and tracking์ด๋‹ค.[2] ๋ฏธ๋ž˜๋ฅผ ์—ฌ๋Ÿฌ ์‹œ๋‚˜๋ฆฌ์˜ค๋กœ ์‹œ๋ฎฌ๋ ˆ์ด์…˜ํ•˜๊ฑฐ๋‚˜ ๋กœ๋ด‡ ํ–‰๋™์„ ์ตœ์ ํ™”ํ–ˆ๋‹ค๋Š” ๊ฒƒ์„ ๋ณด์—ฌ ์ค€ ์—ฐ๊ตฌ๋Š” ์•„๋‹ˆ๋‹ค.

๋”ฐ๋ผ์„œ ๊ฐ€์žฅ ์ •ํ™•ํ•œ ํ‘œํ˜„์€ ์ด๋ ‡๋‹ค. D4RT๋Š” โ€˜์„ธ๊ณ„ ๋ชจ๋ธ์„ ์™„์„ฑํ•œ AIโ€™๊ฐ€ ์•„๋‹ˆ๋ผ, ์›€์ง์ด๋Š” 2D ๋™์˜์ƒ์—์„œ ์ผ๊ด€๋œ 3D+์‹œ๊ฐ„ ํ‘œํ˜„์„ ์–ป๋Š” ๋ณ‘๋ชฉ์„ ๋‹จ์ผ ์งˆ์˜ ๊ตฌ์กฐ๋กœ ๋‹ค๋ฃฌ ์ปดํ“จํ„ฐ ๋น„์ „ ์—ฐ๊ตฌ๋‹ค. ์ด ํ‘œํ˜„์€ ์„ฑ๊ณผ๋ฅผ ์ž‘๊ฒŒ ๋งŒ๋“ค์ง€ ์•Š๋Š”๋‹ค. ์˜คํžˆ๋ ค ๋ฌด์—‡์ด ์‹ค์ œ๋กœ ๊ฒ€์ฆ๋๊ณ  ๋ฌด์—‡์ด ๋‹ค์Œ ์—ฐ๊ตฌ์˜ ๋ชซ์ธ์ง€ ์„ ๋ช…ํ•˜๊ฒŒ ๋งŒ๋“ ๋‹ค.

#8. ๋‹ค์Œ์— ๋ด์•ผ ํ•  ๊ฒ€์ฆ ํฌ์ธํŠธ

์ฒซ์งธ, ์—ฐ๊ตฌ์ž๊ฐ€ ๊ณต๊ฐœํ•œ ์ฒดํฌํฌ์ธํŠธยทํ•™์Šต ์ฝ”๋“œยท๋ฐ์ดํ„ฐ ์ƒ์„ฑ ์„ธ๋ถ€ ์‚ฌํ•ญ์ด ์–ผ๋งˆ๋‚˜ ์ œ๊ณต๋˜๋Š”์ง€ ๋ด์•ผ ํ•œ๋‹ค. ํ”„๋กœ์ ํŠธ ํŽ˜์ด์ง€์™€ ๊ธฐ์ˆ  ๋ณด๊ณ ์„œ๋Š” ์กด์žฌํ•˜์ง€๋งŒ, ์ด ๊ธ€์„ ์ž‘์„ฑํ•œ ์‹œ์ ์— ๊ณต์‹ ํ”„๋กœ์ ํŠธ์—์„œ ๋ฐ”๋กœ ์‹คํ–‰ ๊ฐ€๋Šฅํ•œ ์ „์ฒด ํ•™์Šตยท์ถ”๋ก  ์ฝ”๋“œ ๋ฐฐํฌ๋ฅผ ํ™•์ธํ•˜์ง€ ๋ชปํ–ˆ๋‹ค.[2] ๋…๋ฆฝ ์žฌํ˜„์˜ ๋ฒ”์œ„๊ฐ€ ๋„“์–ด์งˆ์ˆ˜๋ก ๊ฐ•ํ•œ ์ฃผ์žฅ๋„ ๋” ๋‹จ๋‹จํ•ด์ง„๋‹ค.

๋‘˜์งธ, ๋ถ„ํฌ ๋ฐ– ํ™˜๊ฒฝ์ด๋‹ค. ๋ฒค์น˜๋งˆํฌ์˜ ํ•ฉ์„ฑ ์žฅ๋ฉด, ์ •๋ฆฌ๋œ ์‹ค๋‚ดยท์‹ค์™ธ ์˜์ƒ์—์„œ ์ž˜ ๋˜๋”๋ผ๋„ ์–ด๋‘์šด ๊ณต์žฅ, ๋ฐ˜์‚ฌ ์œ ๋ฆฌ, ๋น„ยท๋ˆˆ, ์—ฌ๋Ÿฌ ์‚ฌ๋žŒ์ด ์–ฝํžŒ ๊ฐ€๋ฆผ, ์„ผ์„œ rolling shutter์—์„œ ๊ฐ™์€ ์„ฑ๋Šฅ์ด ์œ ์ง€๋˜๋Š”์ง€๋Š” ๋ณ„๋„ ์งˆ๋ฌธ์ด๋‹ค. ์…‹์งธ, ์‹ค์ œ latency๋‹ค. ์—”์ฝ”๋”๋ฅผ ํ•œ ๋ฒˆ ๋Œ๋ฆฌ๋Š” ๋น„์šฉ๊ณผ ์งˆ์˜ ์ˆ˜๊ฐ€ ๋Š˜์–ด๋‚  ๋•Œ์˜ ์ด ์‹œ๊ฐ„, ๋ฉ”๋ชจ๋ฆฌ, ์ „๋ ฅ, ์•ˆ์ „ ์ •์ง€๊นŒ์ง€ ํ†ตํ•ฉ ์ธก์ •ํ•ด์•ผ ํ•œ๋‹ค.

๋งˆ์ง€๋ง‰์œผ๋กœ, ๊ฒฐ๊ณผ์˜ ์‚ฌ์šฉ ์ฑ…์ž„์ด๋‹ค. 3D ์œ„์น˜์™€ camera pose๋Š” ์‚ฌ๋žŒ์„ ํ”ผํ•ด ์›€์ง์ด๋Š” ๊ธฐ๊ณ„๋‚˜ ์‹ค์ œ ๊ณต๊ฐ„์— ์ •๋ณด๋ฅผ ๊ฒน์ณ ๋ณด์ด๋Š” ์‹œ์Šคํ…œ์˜ ์ž…๋ ฅ์ด ๋  ์ˆ˜ ์žˆ๋‹ค. ๊ทธ๋ž˜์„œ ํ‰๊ท  ์ ์ˆ˜๋งŒ์ด ์•„๋‹ˆ๋ผ ์‹คํŒจ ์‚ฌ๋ก€, ๋ถˆํ™•์‹ค์„ฑ ํ‘œ์‹œ, ๊ฐ์ง€ํ•˜์ง€ ๋ชปํ•œ ๊ฐ€๋ฆผ, ์ธ๊ฐ„ ๊ฒ€ํ† ยท์•ˆ์ „ ์ œ์–ด์™€์˜ ์—ฐ๊ฒฐ์„ ๊ณต๊ฐœํ•˜๋Š” ๊ฒƒ์ด ์ค‘์š”ํ•˜๋‹ค. ์ข‹์€ ๋น„์ „ ๋ชจ๋ธ์€ ๋” ๋งŽ์€ ๊ฒƒ์„ โ€˜๋ณด๋Š”โ€™ ๋ชจ๋ธ์ด ์•„๋‹ˆ๋ผ, ๋ชจ๋ฅด๋Š” ์ƒํ™ฉ์—์„œ ๋ฌด์—‡์„ ํ•˜์ง€ ์•Š์„์ง€๋„ ์•Œ ์ˆ˜ ์žˆ๋Š” ์‹œ์Šคํ…œ๊ณผ ๊ฒฐํ•ฉ๋  ๋•Œ ์‹ค์ œ ๊ฐ€์น˜๊ฐ€ ์ƒ๊ธด๋‹ค.

#9. ์ถœ์ฒ˜์™€ ์‹œ๊ฐ ์ž๋ฃŒ

  1. D4RT ๊ณต์‹ ํ”„๋กœ์ ํŠธ โ€” CVPR 2026 Best Paper ํ‘œ๊ธฐ, ์ €์žยท๋…ผ๋ฌธยท์ธํ„ฐ๋ž™ํ‹ฐ๋ธŒ ๋ฐ๋ชจ.
  2. Zhang ์™ธ, Efficiently Reconstructing Dynamic Scenes One D4RT at a Time, CVPR 2026 โ€” ๋ชจ๋ธ์˜ unified query ๊ตฌ์กฐ์™€ ํ‰๊ฐ€ ๋ฒ”์œ„.
  3. Google DeepMind, D4RT: Teaching AI to see the world in four dimensions, 2026-01-22 โ€” ๊ณต์‹ ์„ฑ๋Šฅ ์‚ฌ๋ก€ยท์†๋„ ์„ค๋ช…ยทํ™œ์šฉ ๊ฐ€๋Šฅ์„ฑ.
  4. ์ž‘๋™ ์›๋ฆฌ ์˜์ƒ๊ณผ MPI Sintel ์ฐจํŠธ์˜ ์ถœ์ฒ˜๋Š” Google DeepMind์ด๋ฉฐ ๊ณต์‹ ์„œ๋ฒ„์—์„œ ์—ฐ๊ฒฐํ•ด ํ‘œ์‹œํ•œ๋‹ค. ๋‘ ํ•œ๊ตญ์–ด ์„ค๋ช… ๋„์‹์€ JJo๊ฐ€ ์ง์ ‘ ์ œ์ž‘ํ–ˆ๋‹ค.

Connect