[Paper research] Human pose estimate

---

주제

• 사람의 3d 포즈 추정(HPE, Human Pose Estimation)
  최신 연구들은 주로 2D 이미지에서 사람의 포즈를 추정하는 방법에 대해 다루고 있다. 일단 2d의 센서 데이터이든지, 3d 센서 데이터이든지 pose를 추정하는 것은 비슷하다고 가설을 세워놓고, 3d pose estimation을 하는 논문을 찾아보았다.

---

MotionAGFormer: 논문 관련 정보

"MotionAGFormer: Enhancing 3D Human Pose Estimation with a Transformer-GCNFormer Network"

📚 출처: S Mehraban, V Adeli, B Taati – Proceedings of the IEEE/CVF WACV, 2024

🔗 논문 링크: WACV 논문 링크

📄 PDF 다운로드: PDF 파일 링크

🧠 코드 저장소: GitHub Repository

---

1. 연구 목적

• 3D 인간 포즈 추정 (3D Human Pose Estimation)을 개선하기 위해 Transformer와 Graph Convolutional Network (GCN)을 결합한 새로운 네트워크 구조를 제안.
• 기존 Transformer 기반 모델이 글로벌 관계 (Global Relationships)는 잘 포착하지만 로컬 의존성 (Local Dependencies)을 정확하게 처리하지 못하는 한계를 극복.

2. 기술적 접근법

1. Attention-GCNFormer (AGFormer) 블록:
   - 두 개의 병렬 스트림, 즉 Transformer 스트림과 GCNFormer 스트림을 사용하여 글로벌 및 로컬 관계를 동시에 포착.
2. 로컬 관계 (Local Relationships):
   - GCNFormer는 인접한 관절 (Joint) 간의 로컬 의존성을 학습하여 Transformer의 글로벌 관계를 보완.
3. 어댑티브 융합 (Adaptive Fusion):
   - Transformer와 GCNFormer의 출력을 통합하여 3D 구조를 보다 정확하게 재구성.
4. 다중 AGFormer 블록 스태킹:
   - 여러 AGFormer 블록을 스택하여 MotionAGFormer 네트워크를 구성.

3. 알고리즘 설계

• 입력: 2D 또는 3D 포즈 데이터.
• Transformer 스트림: 전체 포즈 구조의 글로벌 관계 학습.
• GCNFormer 스트림: 인접한 관절 간의 로컬 의존성 학습.
• 출력: 통합된 3D 포즈 재구성.

4. 실험 및 결과

• 벤치마크 데이터셋: Human3.6M, MPI-INF-3DHP.
• 평균 재구성 오류 (P1 Error):
  • Human3.6M: 38.4 mm
  • MPI-INF-3DHP: 16.2 mm
• 효율성: 이전 최고 성능 모델 대비 1/4 수준의 파라미터와 3배 높은 계산 효율성.
• 속도-정확도 균형: 네 가지 다양한 변형(Variants)을 제공하여 다양한 응용 사례 지원.

5. 주요 기여

• ✅ Attention-GCNFormer 블록 도입: 글로벌 및 로컬 관계를 모두 효과적으로 학습.
• ✅ 적응형 융합: Transformer와 GCNFormer 출력을 최적화된 방식으로 통합.
• ✅ 효율성 최적화: 더 적은 파라미터로 뛰어난 성능 달성.

6. 응용 분야

• 🛡️ 휴먼-로봇 상호작용 (HRI): 로봇이 사람의 움직임을 정확하게 인식.
• 🎮 게임 및 영화 산업: 자연스러운 캐릭터 애니메이션 생성.
• 🏃 스포츠 분석: 선수의 움직임을 정밀하게 분석.
• 🩺 의료 및 재활: 환자의 자세 및 움직임 모니터링.

7. 한계 및 향후 연구 방향

• 복잡한 환경 및 가려진 부분 (Occlusion)에서는 정확도 저하 가능.
• 높은 계산 리소스를 요구할 수 있음.

8. 결론

• MotionAGFormer는 Transformer와 GCNFormer의 장점을 결합하여 3D 인간 포즈 추정의 정확도와 효율성을 크게 향상시킴.
• 다양한 환경과 애플리케이션에서 활용 가능성이 높음.

🗓️ 출판 연도: 2024

---

TRAM: 논문 관련 정보

"TRAM: Global Trajectory and Motion of 3D Humans from in-the-Wild Videos"

📚 출처: Y Wang, Z Wang, L Liu, K Daniilidis – European Conference on Computer Vision (ECCV), 2025

🔗 논문 링크: Springer Link

📄 PDF 다운로드: arXiv PDF 링크

🧠 저자 정보:

• Y Wang
• Z Wang
• L Liu
• K Daniilidis

🌐 프로젝트 페이지: TRAM Project

📦 코드 저장소: GitHub Repository

---

1. 연구 목적

• 3D 인간의 전역 궤적 (Global Trajectory)과 동작 (Motion)을 자연 영상 (In-the-Wild Videos)에서 정확하게 재구성.
• 기존 SLAM (동시적 위치추정 및 지도작성) 시스템의 동적 인간 객체 문제 (Dynamic Human Object Issues)를 해결.
• 카메라 움직임을 기준 척도 (Metric-Scale Reference)로 사용해 정확한 3D 인간 포즈와 궤적을 복원.

2. 기술적 접근법

1. SLAM 최적화:
   • SLAM 시스템을 개선하여 동적 인간 객체로 인한 오류를 최소화.
   • 배경 (Scene Background)을 활용하여 동작 스케일 (Motion Scale)을 복원.
2. Video Transformer Model (VIMO):
   • 비디오 기반 Transformer 모델을 도입해 신체 동작 (Kinematic Body Motion)을 회귀 예측.
   • 시간적 연속성 (Temporal Consistency)을 유지하며 프레임 간 변화를 포착.
3. 두 동작의 통합:
   • 카메라 움직임과 인체 움직임을 결합해 정확한 세계 좌표계 (World Space)에서의 3D 인간 포즈 복원.

3. 알고리즘 설계

• 입력: 자연 영상 (In-the-Wild Videos).
• Step 1: SLAM을 사용하여 카메라 움직임과 배경 정보를 분석.
• Step 2: VIMO를 통해 신체 동작을 프레임 단위로 예측.
• Step 3: 카메라 궤적과 신체 동작을 통합하여 전역 좌표계에서 포즈를 복원.
• 출력: 정확한 3D 인간 궤적 및 움직임 재구성.

4. 실험 및 결과

• 벤치마크 데이터셋: Human3.6M, 3DPW, EgoBody.
• 정확도 개선: 기존 방법 대비 글로벌 모션 오차 (Global Motion Error)가 크게 감소.
• 시간 일관성: 프레임 간 인간 움직임이 자연스럽고 일관되게 유지됨.
• 실제 환경 적용: 자연스러운 비디오 데이터셋에서도 강건한 성능 입증.

5. 주요 기여

• ✅ SLAM 최적화: 동적 인간 객체로 인한 오류를 효과적으로 완화.
• ✅ Video Transformer (VIMO): 비디오 데이터를 활용해 시간적 연속성을 유지.
• ✅ 글로벌 궤적 복원: 카메라 궤적과 인간 움직임을 통합하여 현실적 3D 복원.
• ✅ 도메인 일반화: 다양한 자연 비디오에서 강력한 성능 검증.

6. 응용 분야

• 🛡️ 스마트 감시 시스템: 자연스러운 인간 행동 분석 및 모니터링.
• 🎮 게임 및 VR/AR: 실제 인간 움직임 기반의 캐릭터 애니메이션.
• 🎥 영화 및 VFX: 사실적인 인간 움직임 재현.
• 🤖 휴먼-로봇 상호작용: 로봇이 사람의 움직임을 정확하게 인식 및 추적.

7. 한계 및 향후 연구 방향

• 극단적인 동작이나 복잡한 배경에서의 성능 저하 가능성.
• 실시간 처리를 위한 추가 최적화 필요.

8. 결론

• TRAM은 SLAM과 Transformer 모델을 통합하여 3D 인간 궤적 및 동작을 자연 비디오 데이터에서 정확하게 재구성.
• 글로벌 좌표계에서의 일관된 움직임을 재현하며 다양한 응용 분야에서 활용 가능성을 입증.

🗓️ 출판 연도: 2025

---

RGB-D 기반 3D 포즈 추정

Impact of 3D Cartesian Positions and Occlusion on Self-Avatar Full-Body Animation in Virtual Reality: 논문 관련 정보

"Impact of 3D Cartesian Positions and Occlusion on Self-Avatar Full-Body Animation in Virtual Reality"

🚨 코드: 코드 없음

📚 출처: G Fletcher, SA Ghasemzadeh, T Ravet – Proceedings of Advanced Virtual Reality and Extended Reality, 2025

🔗 논문 링크: UCLouvain Repository

🧠 저자 정보:

• SA Ghasemzadeh

---

1. 연구 목적

• RGB-D 데이터 (RGB-Depth Data)를 사용하여 3D 인간 포즈 재구성 (3D Human Pose Reconstruction)의 정확도를 높임.
• 가려짐 (Occlusions)이 발생한 상황에서 인간 포즈의 정확한 추정을 목표로 함.
• Self-Avatar Animation에서 3D Cartesian 위치 오류의 영향을 분석.

2. 기술적 접근법

1. RGB-D 데이터 통합:
   • RGB 이미지와 깊이(Depth) 데이터를 융합하여 포즈 추정 정확도 향상.
2. Occlusion Handling Module:
   • 가려짐 (Occlusion) 상황을 감지하고 예측된 포즈를 보정.
   • 비가려진 관절 정보를 기반으로 가려진 부분을 예측.
3. Self-Avatar Animation Pipeline:
   • 3D Cartesian 좌표를 사용하여 사용자 아바타의 전체 움직임을 재구성.
   • 실시간 상호작용을 보장하기 위한 최적화된 알고리즘 적용.

3. 알고리즘 설계

• 입력: RGB-D 비디오 프레임.
• Step 1: RGB 이미지에서 초기 포즈를 예측.
• Step 2: 깊이 데이터(Depth Map)를 사용하여 포즈를 3D 좌표로 변환.
• Step 3: Occlusion Handling Module을 통해 가려진 관절의 위치를 예측.
• Step 4: Self-Avatar Animation으로 최종 포즈를 시각화.
• 출력: 가려짐이 보정된 3D 인간 포즈 및 실시간 아바타 애니메이션.

4. 실험 및 결과

• 벤치마크 데이터셋: Human3.6M, MPI-INF-3DHP.
• 오류 분석: 가려진 환경에서의 MPJPE (Mean Per Joint Position Error) 분석.
• 정확도 향상: RGB-D 데이터를 통합한 후 포즈 정확도가 18% 개선.
• 실시간 성능: 아바타 움직임이 실시간으로 재구성됨.

5. 주요 기여

• ✅ RGB-D 데이터 통합: RGB 이미지와 깊이 정보를 함께 사용해 포즈 정확도 개선.
• ✅ Occlusion Handling Module: 가려진 포즈 부분을 예측하여 전체 포즈의 일관성 유지.
• ✅ Self-Avatar Animation: 3D Cartesian 좌표 기반으로 아바타 움직임을 자연스럽게 재현.
• ✅ 실시간 성능: 아바타 애니메이션을 실시간으로 구현.

6. 응용 분야

• 🎮 VR/AR 게임: 사용자 움직임을 정확하게 반영한 아바타 애니메이션.
• 🩺 의료 재활: 환자의 움직임 분석 및 물리 치료 보조.
• 🛡️ 스마트 감시 시스템: 가려진 상황에서도 인간 움직임 추적.
• 🤖 로봇 상호작용: 인간 포즈를 실시간으로 재구성하여 로봇에 반영.

7. 한계 및 향후 연구 방향

• 복잡한 가려짐 상황에서는 여전히 예측 오류 발생 가능성.
• 실시간 시스템을 위한 추가 최적화 필요.
• 다양한 조명 및 환경 조건에서 추가 실험 필요.

8. 결론

• RGB-D 데이터를 활용한 3D 인간 포즈 재구성은 가려짐 (Occlusion) 문제를 효과적으로 해결하여 정확한 포즈 예측을 가능하게 함.
• Self-Avatar Animation은 3D Cartesian 좌표를 통해 보다 자연스러운 인간 움직임을 시각화.
• VR, 의료, 로봇 등 다양한 분야에 응용될 가능성을 입증.

🗓️ 출판 연도: 2025

---

A Real-time Multi-Person 3D Pose Estimation System from Multiple RGB-D Views for Live Streaming of 3D Animation: 논문 관련 정보

"A Real-time Multi-Person 3D Pose Estimation System from Multiple RGB-D Views for Live Streaming of 3D Animation"

📚 출처: T Hwang, J Kim, M Kim, M Kim – Proceedings of the 28th International Conference on Virtual Reality and 3D User Interfaces (VR), 2023

🔗 논문 링크: ACM Digital Library

📄 DOI: 10.1145/3581754.3584144

🧠 저자 정보:

• T Hwang
• J Kim
• M Kim

---

1. 연구 목적

• 다중 RGB-D 카메라 (Multiple RGB-D Views)를 활용해 실시간 다중 인물 3D 포즈 추정 (Multi-Person 3D Pose Estimation) 시스템을 설계.
• 라이브 스트리밍 (Live Streaming) 애니메이션과 가상 현실 (VR) 애플리케이션을 목표로 함.
• 중앙 서버와 엣지 장치 (Edge Devices) 간의 효율적인 데이터 통신을 통해 실시간 처리 성능을 최적화.

2. 기술적 접근법

1. Edge Device Processing:
   • 각 엣지 장치에서 2D 포즈 감지 (2D Pose Detection) 및 깊이 감지 (Depth Sensing)를 로컬로 수행.
   • 연산 부담을 분산 처리하여 네트워크 트래픽을 최소화.
2. Central Server Coordination:
   • 중앙 서버는 다중 카메라 뷰의 좌표를 세계 좌표계 (World Plane)에 정렬.
   • 멀티뷰 삼각측량 (Multi-view Triangulation)을 통해 3D 포즈를 재구성.
3. Person Matching Across Cameras:
   • 각 카메라에서 검출된 2D 포즈 키포인트를 사람 단위로 매칭.
   • 거리를 기반으로 다중 카메라 뷰 통합 (Person Association).
4. Real-Time Streaming:
   • 실시간으로 3D 포즈를 재구성하여 라이브 스트리밍 시스템에 통합.

3. 알고리즘 설계

• 입력: 다중 RGB-D 카메라에서 얻은 비디오 및 깊이 데이터.
• Step 1: 각 엣지 장치에서 2D 포즈 및 깊이 데이터 수집.
• Step 2: 중앙 서버로 데이터를 전송.
• Step 3: 중앙 서버에서 멀티뷰 삼각측량으로 3D 포즈 재구성.
• Step 4: 좌표계 정렬 및 사람 매칭 수행.
• 출력: 실시간으로 다중 인물 3D 포즈 재구성 및 라이브 스트리밍.

4. 실험 및 결과

• 벤치마크 환경: 자체 구축된 다중 RGB-D 카메라 설정.
• 성능 평가:
  • 실시간 처리 속도: 평균 30 FPS 유지.
  • 정확도: MPJPE (Mean Per Joint Position Error) 개선.
• 라이브 스트리밍 테스트: PC 및 웹 애플리케이션을 통해 안정적인 스트리밍 성능 입증.

5. 주요 기여

• ✅ Edge-Central 분산 아키텍처: 엣지 장치와 중앙 서버 간의 협업 처리.
• ✅ Multi-View Triangulation: 멀티 카메라 데이터를 통해 3D 포즈 정밀도 향상.
• ✅ Real-Time Live Streaming: 실시간으로 다중 인물의 포즈를 재구성 및 스트리밍.
• ✅ Person Matching Across Cameras: 거리 기반으로 신뢰성 높은 사람 매칭.

6. 응용 분야

• 🎮 게임 및 VR/AR: 다중 사용자의 움직임을 실시간으로 반영한 몰입형 환경 구축.
• 🩺 의료 재활: 여러 환자의 자세와 움직임을 실시간으로 모니터링.
• 🎥 영화 및 VFX: 라이브 애니메이션 제작 및 시각 효과.
• 🛡️ 스마트 감시: 다중 인물의 움직임을 실시간으로 감지 및 분석.

7. 한계 및 향후 연구 방향

• 네트워크 대역폭 사용이 높은 환경에서는 성능 저하 가능성.
• 가려짐 (Occlusion) 상황에서 일부 부정확한 결과 발생.
• 더 많은 카메라 뷰를 통합하기 위한 스케일링 문제.

8. 결론

• 이 시스템은 다중 RGB-D 뷰를 통합하여 실시간으로 다중 인물 3D 포즈를 재구성하며, 라이브 스트리밍 애플리케이션에서 효율적으로 작동.
• 게임, 의료, 감시, 영화 등 다양한 산업 분야에서 광범위한 활용 가능성을 입증.

🗓️ 출판 연도: 2023

---

RGB-D Fusion for Point-Cloud-Based 3D Human Pose Estimation: 논문 관련 정보

"RGB-D Fusion for Point-Cloud-Based 3D Human Pose Estimation"

🚨 코드: 코드 없음

📚 출처: J Ying, X Zhao – 2021 IEEE International Conference on Image Processing (ICIP), 2021

🔗 논문 링크: IEEE Xplore 논문 링크

📄 PDF 다운로드: PDF 파일 링크

🧠 저자 정보:

• X Zhao

---

1. 연구 목적

• RGB-D 이미지 (RGB-Depth Images)를 활용하여 3D 인간 포즈 추정 (3D Human Pose Estimation)을 개선.
• 포인트 클라우드 (Point Cloud)를 사용해 RGB 이미지와 깊이 데이터를 통합.
• 정확한 3D 포즈 추정을 달성하여 기존 2D 기반 포즈 추정의 한계를 극복.

2. 기술적 접근법

1. 2D Pose Estimation Module:
   • RGB 이미지에서 2D 포즈 키포인트 (Keypoints)를 추출.
   • 고해상도 색상 정보를 사용해 초기 특징 학습.
2. RGB-D Fusion via Point Cloud:
   • RGB에서 얻은 색상 특징 (Color Features)과 깊이(Depth) 정보를 포인트 클라우드 (Point Cloud)로 통합.
   • 각 포인트를 개별적으로 학습.
3. 3D Learning Module:
   • 포인트 클라우드에서 포인트 단위 특징 (Point-wise Features)을 추출.
   • 복잡한 포즈 구조를 포착하도록 설계.
4. Dense Prediction Module:
   • 포인트에서 Offset Vectors 및 Closeness Scores를 예측.
   • 각 포인트의 예측을 가중 평균하여 최종 3D 포즈를 생성.

3. 알고리즘 설계

• 입력: RGB 이미지 및 깊이(Depth) 이미지.
• Step 1: 2D Pose Estimation을 통해 RGB 이미지에서 키포인트 특징 추출.
• Step 2: RGB와 Depth를 통합하여 Point Cloud로 변환.
• Step 3: 3D Learning Module로 포인트 클라우드 특징 학습.
• Step 4: Dense Prediction Module로 최종 포즈 키포인트를 예측.
• 출력: 최적화된 3D 인간 포즈 데이터.

4. 실험 및 결과

• 벤치마크 데이터셋: MHAD, SURREAL.
• 성능 개선: 기존 RGB 기반 모델보다 더 낮은 Mean Per Joint Position Error (MPJPE)를 달성.
• 로컬 및 글로벌 특징 통합: 포즈 추정의 강건성 (Robustness) 및 정확도 향상.
• 포인트 클라우드 최적화: 포즈 예측 속도와 정확도가 균형을 이룸.

5. 주요 기여

• ✅ RGB-D 통합: RGB 이미지와 깊이 데이터를 포인트 클라우드로 변환하여 정보 손실 최소화.
• ✅ 3D Learning Module: 포인트 단위의 복잡한 특징을 학습하여 포즈 예측 정확도 향상.
• ✅ Dense Prediction Module: Offset Vectors와 Closeness Scores로 포즈 키포인트 예측 최적화.
• ✅ 벤치마크 데이터셋 검증: MHAD 및 SURREAL 데이터셋에서 최첨단 (SOTA) 성능 달성.

6. 응용 분야

• 🛡️ 스마트 감시 시스템: 인간 움직임을 3D로 정확하게 감지.
• 🎮 게임 및 VR/AR: 현실적인 사용자 포즈 및 움직임 반영.
• 🩺 의료 및 재활: 환자의 자세 및 움직임 분석.
• 🤖 로봇 비전: 로봇이 인간의 3D 움직임을 실시간으로 인식.

7. 한계 및 향후 연구 방향

• 포인트 클라우드 데이터가 밀집하지 않을 경우 정확도 저하 가능.
• 극단적 가려짐 (Occlusion) 상황에서의 예측 오류 발생.
• 실시간 처리를 위한 추가 최적화 필요.

8. 결론

• RGB-D Fusion은 포인트 클라우드 기반 3D 인간 포즈 추정의 정확도와 효율성을 개선.
• RGB 이미지의 고해상도 특징과 깊이 데이터의 공간 정보를 통합하여 현실적이고 정확한 포즈 재구성을 달성.
• 다양한 분야에서 응용 가능성을 입증.

🗓️ 출판 연도: 2021

---

Real-time RGBD-Based Extended Body Pose Estimation: 논문 관련 정보

"Real-time RGBD-Based Extended Body Pose Estimation"

📚 출처: R Bashirov, A Ianina, K Iskakov – Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV), 2021

🔗 논문 링크: WACV 논문 링크

📄 PDF 다운로드: PDF 파일 링크

🧠 저자 정보:

• R Bashirov
• K Iskakov

📦 코드 저장소: GitHub Repository

---

1. 연구 목적

• RGB-D 카메라 (Kinect Azure RGB-D Camera)를 사용해 실시간 확장된 신체 포즈 추정 시스템을 개발.
• 파라메트릭 3D 인간 메쉬 모델 (SMPL-X)을 기반으로 신체 포즈, 손 포즈, 얼굴 표정을 통합적으로 예측.
• 실시간 성능을 유지하면서 높은 정확도와 일관성을 보장.

2. 기술적 접근법

1. SMPL-X Representation:
   • 3D 변형 가능한 인간 메쉬 모델 (Parametric 3D Deformable Human Mesh Model, SMPL-X)을 사용하여 전체 신체, 손, 얼굴을 표현.
2. Body Pose Estimation:
   • Kinect Azure RGB-D 카메라로부터 얻은 데이터를 사용해 신체 포즈 파라미터를 예측.
   • AMASS Dataset과 사용자 정의 데이터셋(56명의 포즈 데이터)을 학습에 사용.
3. Hand Pose Estimation:
   • 기존에 발표된 손 포즈 예측 모델을 직접 활용하여 신체 포즈와 손 포즈를 일관되게 통합.
4. Facial Expression Estimation:
   • 대규모 Talking Face Dataset으로 훈련된 얼굴 표정 추출기를 사용.
   • RGB-D 데이터를 통해 얼굴 표정 특징을 세밀하게 추출.
5. Temporal Smoothing:
   • 시간적 일관성 (Temporal Consistency)을 유지하기 위해 연속된 프레임을 정교하게 조정.

3. 알고리즘 설계

• 입력: RGB-D 데이터 (Kinect Azure).
• Step 1: RGB-D 입력에서 랜드마크 검출.
• Step 2: 신체, 손, 얼굴 표정 파라미터 추정.
• Step 3: 시간적 일관성 보정 (Temporal Smoothing).
• 출력: 신체, 손, 얼굴 표정을 포함한 통합 3D 포즈 예측.

4. 실험 및 결과

• 벤치마크 데이터셋: AMASS Dataset, 사용자 정의 Kinect Azure 데이터셋 (56명).
• 정확도 개선: RGB 전용 (RGB-Only) 방법보다 뛰어난 성능을 보임.
• 실시간 처리: GPU 서버에서 평균 25 FPS 유지.
• 성능 비교: 더 느린 RGB-D 최적화 기반 솔루션과 유사한 정확도 달성.

5. 주요 기여

• ✅ SMPL-X 모델 활용: 신체, 손, 얼굴을 통합적으로 표현.
• ✅ RGB-D 기반 포즈 추정: RGB-Only 접근법보다 높은 정확도 제공.
• ✅ Temporal Smoothing: 프레임 간 일관성 유지로 포즈의 안정성 향상.
• ✅ 실시간 처리: GPU 환경에서 초당 25 프레임으로 안정적인 실시간 예측.

6. 응용 분야

• 🎮 게임 및 VR/AR: 캐릭터 포즈와 표정을 실시간으로 정확하게 재현.
• 🩺 의료 및 재활: 환자의 자세 및 표정 분석을 통해 치료 계획 수립.
• 🛡️ 스마트 감시 시스템: 비정상적인 움직임 및 행동 감지.
• 🤖 로봇 비전: 인간 포즈 및 표정을 분석하여 로봇과 자연스러운 상호작용 구현.

7. 한계 및 향후 연구 방향

• 가려짐 (Occlusion) 문제에서 성능 저하 가능성.
• 다양한 환경 조건 (조명, 배경)에서의 추가 검증 필요.
• 엣지 디바이스 환경에서의 성능 최적화 필요.

8. 결론

• RGB-D 기반 실시간 확장 신체 포즈 추정 시스템은 SMPL-X 모델을 통해 신체, 손, 얼굴 포즈 및 표정을 통합적으로 예측.
• 시간적 일관성을 보장하며 높은 정확도와 실시간 처리 속도를 달성.
• 게임, 의료, 감시, 로봇 공학 등 다양한 응용 분야에 효과적으로 활용될 수 있음.

🗓️ 출판 연도: 2021

---

A Method for 3D Human Pose Estimation based on 2D Keypoint Detection using RGB-D Information: 논문 관련 정보

"A Method for 3D Human Pose Estimation based on 2D Keypoint Detection using RGB-D Information"

📚 출처: Seohee Park, Myunggeun Ji, Junchul Chun – Journal of Internet Computing and Services, 2018

🔗 논문 링크: Journal of Internet Computing and Services 링크

📄 DOI: 10.7472/jksii.2018.19.6.41

🧠 저자 정보:

• Seohee Park
• Myunggeun Ji
• Junchul Chun

📦 논문이 참고한 코드 저장소:

• GitHub Repository
• GitHub Repository

---

1. 연구 목적

• 영상 감시 (Video Surveillance) 분야에서 딥러닝 기반의 인간 포즈 추정을 구현.
• RGB-D 데이터 (RGB와 깊이 정보)를 활용하여 가려짐 (Occlusion) 문제를 해결.
• 2D 키포인트 검출 (2D Keypoint Detection)을 통해 인간 포즈를 예측한 후, 3D 포즈로 확장.

2. 기술적 접근법

1. RGB-D 데이터 활용:
   • 기존 RGB 데이터에 깊이(Depth) 정보를 추가하여 객체 감지의 정확도를 높임.
2. 2D 키포인트 검출:
   • 컨볼루션 신경망 (CNN)을 사용하여 인간 관절 14개의 2D 키포인트를 검출.
3. 3D 포즈 확장:
   • 예측된 2D 키포인트를 바탕으로 3D 공간으로 확장하여 포즈를 재구성.
   • 깊이 정보를 활용해 Self-Occlusion 문제를 해결.
4. Occlusion 문제 해결:
   • 객체가 다른 물체에 가려졌을 때 발생하는 가려짐 문제를 RGB-D 데이터의 깊이 정보를 활용하여 해결.

3. 알고리즘 설계

• 입력: RGB 이미지 및 깊이(Depth) 데이터.
• Step 1: RGB-D 데이터를 사용해 객체 감지 및 2D 키포인트 예측.
• Step 2: CNN을 통해 14개 관절의 키포인트 검출.
• Step 3: 깊이 정보를 통합하여 키포인트를 3D로 변환.
• Step 4: Self-Occlusion 문제를 보정하여 최종 3D 포즈 생성.
• 출력: 3D 인간 포즈 예측 결과.

4. 실험 및 결과

• 데이터셋: 자체 실험 환경 데이터셋 사용.
• 정확도 개선: 깊이 데이터를 추가함으로써 기존 2D 포즈 추정보다 정확도가 향상됨.
• Occlusion 문제 해결: Self-Occlusion 현상이 보정되어 포즈 재구성의 신뢰도가 향상됨.
• 응용 사례: 인간 행동 인식, 비정상 행동 탐지.

5. 주요 기여

• ✅ RGB-D 데이터 통합: RGB와 깊이 데이터를 활용하여 가려짐 문제 해결.
• ✅ 2D 키포인트 기반 포즈 추정: 14개의 키포인트를 정확하게 검출.
• ✅ 3D 포즈 확장: 깊이 정보를 바탕으로 2D 키포인트를 3D 공간으로 확장.
• ✅ Self-Occlusion 문제 해결: 가려짐 현상을 보정하여 포즈 정확도 개선.

6. 응용 분야

• 🛡️ 스마트 감시 시스템: 비정상 행동 및 비상 상황 감지.
• 🎮 게임 및 VR/AR: 현실감 있는 캐릭터 움직임 생성.
• 🩺 의료 재활: 환자의 움직임 및 자세 분석.
• 🤖 로봇 비전: 로봇이 인간의 3D 포즈를 정확히 인식 및 상호작용.

7. 한계 및 향후 연구 방향

• 깊이 데이터 품질 저하: 깊이 센서의 품질에 따라 정확도가 저하될 수 있음.
• 가려짐이 심한 상황: 심각한 Occlusion이 있는 경우 정확도가 제한될 가능성.
• 실시간 처리 최적화: 실시간 시스템을 위해 계산 속도 개선 필요.

8. 결론

• RGB-D 데이터를 활용한 3D 인간 포즈 추정은 Self-Occlusion 문제를 효과적으로 해결하며, 더 높은 정확도를 달성함.
• 2D 키포인트 검출과 3D 포즈 확장의 결합은 다양한 응용 분야에서 유용하게 활용될 수 있음.
• 스마트 감시, 의료, 로봇 기술 등 다양한 분야에 기여할 수 있는 가능성을 입증함.

🗓️ 출판 연도: 2018

---

이벤트 카메라

Efficient Human Pose Estimation via 3D Event Point Cloud: 논문 관련 정보

"Efficient Human Pose Estimation via 3D Event Point Cloud"

📚 출처: Jiaan Chen, Hao Shi, Yaozu Ye, Kailun Yang, Lei Sun, Kaiwei Wang – 2022 International Conference on 3D Vision (3DV), 2022

🔗 논문 링크: arXiv 링크

📄 DOI: 10.48550/arXiv.2206.04511

🧠 저자 정보:

• Jiaan Chen
• Hao Shi
• Yaozu Ye
• Kailun Yang
• Lei Sun
• Kaiwei Wang

📦 코드 저장소: GitHub Repository

---

1. 연구 목적

• 이벤트 기반 (Event-Based) 데이터를 이용하여 3D 인간 포즈 추정 (3D Human Pose Estimation, HPE)을 실시간으로 수행.
• RGB 이미지 기반 포즈 추정의 한계를 극복하고, 극단적 환경(Extreme Scenes) 및 효율성 중심 조건 (Efficiency-Critical Conditions)에서 성능을 최적화.
• 새로운 이벤트 표현 방법을 통해 메모리 사용량 및 계산 복잡도를 줄이면서 높은 정확도를 달성.

2. 기술적 접근법

1. Rasterized Event Point Cloud Representation:
   • 이벤트 포인트 클라우드를 소형 시간 단위(Time Slice)로 나누어 라스터화 (Rasterization).
   • 통계적 특징을 사용해 3D 공간 정보를 유지하면서 메모리 및 계산 요구사항 최소화.
2. Backbone Network Integration:
   • 세 가지 대표적인 백본 네트워크 적용:
   • PointNet: 높은 처리 속도.
   • DGCNN (Dynamic Graph CNN): 그래프 기반 특징 학습.
   • Point Transformer: 가장 높은 정확도 제공.
3. Linear Layer Decoder:
   • 두 개의 선형 계층(Linear Layers)을 사용하여 최종 키포인트 (Keypoints) 위치 예측.
4. Optimization for Real-Time Inference:
   • NVIDIA Jetson Xavier NX와 같은 엣지 디바이스 (Edge Devices)에서 최적화.

3. 알고리즘 설계

• 입력: 3D 이벤트 포인트 클라우드 데이터.
• Step 1: 이벤트 데이터를 라스터화하여 포인트 클라우드로 변환.
• Step 2: PointNet, DGCNN, Point Transformer 백본으로 포인트 클라우드 특징 학습.
• Step 3: 두 개의 선형 디코더로 3D 키포인트 예측.
• Step 4: 시간 일관성 (Temporal Consistency) 및 최종 포즈 최적화.
• 출력: 3D 인간 포즈 예측.

4. 실험 및 결과

• 벤치마크 데이터셋: DHP19 Dataset.
• 정확도:
  • PointNet: MPJPE3D (Mean Per Joint Position Error) 82.46mm.
  • Point Transformer: 가장 높은 정확도 제공.
• 처리 속도: NVIDIA Jetson Xavier NX 기준 12.29ms의 지연 시간 (latency).
• 리소스 사용: 효율적인 메모리 및 연산 최적화로 엣지 디바이스에서도 강력한 성능 제공.

5. 주요 기여

• ✅ Rasterized Event Point Cloud: 시간 단위로 라스터화하여 계산 복잡도 최소화.
• ✅ Backbone Integration: PointNet, DGCNN, Point Transformer의 비교 및 성능 분석.
• ✅ Linear Decoder: 효율적인 키포인트 예측.
• ✅ Real-Time Edge Processing: NVIDIA Jetson Xavier NX에서 12.29ms의 낮은 지연 시간 달성.

6. 응용 분야

• 🎮 게임 및 VR/AR: 극단적 환경에서도 사용자 움직임을 정확하게 반영.
• 🩺 의료 재활: 환자의 움직임과 자세를 실시간으로 분석.
• 🛡️ 스마트 감시: 어두운 환경이나 빠른 움직임에서도 신뢰할 수 있는 행동 감지.
• 🤖 로봇 비전: 이벤트 카메라를 통해 빠르게 인간 행동을 인식.

7. 한계 및 향후 연구 방향

• 낮은 해상도의 이벤트 포인트 클라우드에서 정확도가 제한될 가능성.
• 빠른 움직임에서의 노이즈 발생 가능성.
• 다양한 환경 및 더 큰 데이터셋에서 추가적인 검증 필요.

8. 결론

• Efficient Human Pose Estimation via 3D Event Point Cloud는 이벤트 기반 데이터로 실시간 3D 포즈 예측을 위한 혁신적인 접근법을 제시.
• 속도와 정확도 모두를 달성하며 엣지 디바이스에서도 강력한 성능을 입증.
• 게임, 의료, 스마트 감시, 로봇 비전 등 다양한 분야에서의 활용 가능성을 확인.

🗓️ 출판 연도: 2022

---

주제

• 사람의 3d 포즈 추정(HPE, Human Pose Estimation)
  앞에서는 선택한 논문들의 요약을 살펴보았다면 이제는 설명을 하려고 한다. 2024년 11월에 나온 리뷰 논문이 있어서 읽고 약간의 설명을 함께 붙여놓려고 한다.

---

비교 논문 내용

평가 요소

Motion Capture 시스템의 설계 및 평가 필수 요소들

평가 요소 설명

영어	한국어	설명	사용되는 지표
Accuracy	정확도	모션 캡처의 높은 정밀도	Mean Per Joint Position Error(MPJPE), Mean Per Joint Rotation Error(MPJRE)
Robustness	강건성	다양한 환경(조명, 가려진 상태 등)에서의 신뢰성, 안정성	Average Precision(AP), Percentage of Correct KeyPoints(PCK)
Smoothness	부드러움	모션의 시간적 일관성, 부드러운 모션 캡처	Acceleration Error1, Jitter Error2
Lightweight	가벼움	계산 효율성, 실시간성, 하드웨어 요구 사항 관련	Frames Per Second(FPS), number of parameters, memory cosumption

2D human pose estimation

1) Top-down 방식
2) Bottom-up 방식

Monocular 3D human pose estimation

1) Multi-Person Architecture
다중 인물 시나리오의 모노큘러 카메라 기반 3D 사람 자세 추정은 크게 2가지로 나뉜다.

• Lifting-based methods:
  • 2D Human Pose Estimation의 3D 공간으로 변환하는 방법.
    • 예) Martinez : 2D human pose(input) + adapting a suitable network structure -> 3D human pose(output)
    • 예) VideoPose : 2D human pose(input) + utilizes temporal information -> 3D human pose(output)
• Direct Estimation methods:
  • 2D 입력 이미지에서 3D 포즈로 직접 변환하는 방법.
    • Top-down
      사람 탐지기 -> 각 개인 감지 + 자르기 -> 3D 포즈 추정
      • 예) CLIFF,
    • Bottom-up
      추론 속도 저하하지 X, 다른 인체 구별하는데 중점
      • 예) XNect,LCR-Net, ROMP

2) Performance Enhancement
카메라 입력에 의존하다보니, 정확도 높이기 위한 Camera model 개선, 보조 정보(Auxiliary Information) 활용, 새로운 표현(new representation) 사용 하는 것.

3) Reality Enhancement
떨림, 물리 법칙 위반, 인간 얼굴 손 세부 사항 부족을 해결하고자 하는 것.
후처리 기법, Physical Constraints(물리적 제약) 통합, 자세 추정 방법 위한 Whole-body models 개발 등.

일반적인 파이프라인

현재 발생한 문제점,

tram의 경우 DROID-SLAM이 쓰이는데, Droid-Slam의 경우 추론 모델만 11GB이다. 내가 가지고 있는 노트북 GPU는 8GB라서, 해결 방법을 찾든지 아니면, 다른 모델을 찾아야 할 것 같다.

고른 것

RGB-D 기반의 3D 포즈 추정

모델

model 명	연도	특징	학회	input	output	단점
Real-time RGBD-Based Extended Body Pose Estimation	2021	RGB-D 카메라 기반 실시간 확장된 신체 포즈 추정	WACV	RGB-D 이미지	3D 포즈	가려짐 문제에 대한 한계점, 부자연성, 특정 디바이스 필요
HuMoR	2021	딥러닝 기반 자세 추정, 가려짐 강함	ICCV	RGB-D 이미지 3D 포인트 클라우드 2D 키포인트	3D 포즈	실시간성, 등 결과 데이터 없음

논문 관련 정보!

"Real-time RGBD-Based Extended Body Pose Estimation"

📚 출처: R Bashirov, A Ianina, K Iskakov – *Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)*, 2021

🔗 논문 링크: WACV 논문 링크

📄 PDF 다운로드: PDF 파일 링크

🧠 저자 정보:

• R Bashirov
• K Iskakov

📦 코드 저장소: GitHub Repository

---

1. 연구 목적

✅ RGB-D 카메라(Kinect Azure RGB-D Camera)를 사용해 실시간 확장된 신체 포즈 추정(Extended Body Pose Estimation) 시스템을 개발.

✅ 파라메트릭 3D 인간 메쉬 모델(SMPL-X)을 기반으로 신체 포즈, 손 포즈, 얼굴 표정을 통합적으로 예측.

✅ 실시간 성능을 유지하면서 높은 정확도와 일관성을 보장.

2. 기술적 접근법

• SMPL-X Representation: 3D 변형 가능한 인간 메쉬 모델(SMPL-X) 사용.
• Body Pose Estimation: Kinect Azure RGB-D 카메라 데이터 사용.
• Hand Pose Estimation: 기존 손 포즈 예측 모델 활용.
• Facial Expression Estimation: 얼굴 표정 특징을 세밀하게 추출.
• Temporal Smoothing: 시간적 일관성을 유지.

3. 알고리즘 설계

✅ 입력: RGB-D 데이터(Kinect Azure).

✅ Step 1: RGB-D 입력에서 랜드마크 검출.

✅ Step 2: 신체, 손, 얼굴 표정 파라미터 추정.

✅ Step 3: 시간적 일관성 보정.

✅ 출력: 신체, 손, 얼굴 표정을 포함한 통합 3D 포즈 예측.

4. 실험 및 결과

✅ 벤치마크 데이터셋: AMASS Dataset, Kinect Azure 데이터셋(56명).

✅ 정확도 개선: RGB 전용 방법보다 높은 성능.

✅ 실시간 처리: GPU 서버에서 평균 25 FPS 유지.

5. 주요 기여

✅ SMPL-X 모델로 신체, 손, 얼굴 통합 표현.

✅ RGB-D 기반 포즈 예측.

✅ Temporal Smoothing.

✅ 실시간 처리.

6. 결론

✅ RGB-D 기반 실시간 확장 신체 포즈 추정 시스템.

✅ 시간적 일관성과 높은 정확도.

✅ 다양한 산업 분야 활용 가능.

🗓️ 출판 연도: 2021

2D image 기반 3D 포즈 추정

model 명	연도	특징	학회	input	output	단점
Multi-HMR	2025	백본 ViT-S 사용시 높은 성능	ICCV	RGB 이미지(Single RGB Image)	다중 인물의 3D 메쉬	복잡한 가려짐(Occlusion) 상황에서 정확도 저하 가능성, 고사양 장치 요구
TRAM	2025	in-the-wild videos에서 인간의 3D 전역 궤적 및 동작 복원하기 위해 제안된 2단계 방법	ECCV	RGB 이미지	글로벌 좌표에서 동작	복잡한 가려짐(Occlusion) 상황에서 정확도 저하
Sapien	2024	멀티 모달 모델 : 깊이 추정, 포즈 추정 미세 조정 가능	ECCV	이미지, 비디오, 텍스트 데이터	Pose, Seg, Depth	Fps 에 대한 데이터 없음, 고사양 장치 요구할 수도
Gan-base model	2024	GAN 기반 모델, 생성기, 판별기 균형	…	RGB 이미지	3D 포즈	code 데이터 셋의 부족
DensePose	2018	인간의 3D 포즈를 2D 이미지에 투영	CVPR	RGB 이미지	3D 인간 메쉬 모델 좌표(U, V, I)	가려짐, 손, 얼굴 구체적 신체구조 구현 부족
Lifting 2D to 3D pose	2017	실시간성,	CVPR	2D 키포인트	3D 포즈 좌표	가려짐, 손, 얼굴 구체적 신체구조 구현 부족

2D Pose detectors

model 명	연도	특징	학회	input	output
AlphaPose	2022	top-down 방식, OpenPose 기반, 높은 정확도	CVPR	RGB 이미지	2D 포즈
CPN	2018	이미지에서 관절 keypoints heatmap 형태 추출	CVPR	RGB 이미지	2D 포즈
OpenPose	2018	실시간 2D 인간 포즈 추정 + 3D keypoints	CVPR	RGB 이미지	2D 포즈, 3D pose keypoints

관련 사이트

paperwithcode_3D_HPE
CVPR

비교 논문 리뷰

“From Methods to Applications: A Review of Deep 3D Human Motion Capture”

방법과 응용까지, 3D 인간 모션 캡처에 대한 리뷰

논문 관련 정보!

"From Methods to Applications: A Review of Deep 3D Human Motion Capture"

📚 출처: AH AH, OO Khalifa, AA Ibrahim – PERINTIS eJournal, 2024

🔗 논문 링크: PERINTIS eJournal 링크

📄 PDF 다운로드: PDF 파일 링크

🧠 저자 정보:

• AH AH
• OO Khalifa
• AA Ibrahim

---

1. 연구 목적

✅ 3D 인간 모션 캡처(3D Human Motion Capture) 기술의 최근 발전과 응용 사례를 검토.

✅ 딥러닝(Deep Learning) 기반 접근법을 분석하여 다양한 기술적 방법론과 실제 응용 사례를 강조.

✅ 기존 기술의 한계점을 파악하고, 향후 연구 방향을 제시.

2. 기술적 접근법 및 분류

• 비전 기반 모션 캡처(Vision-Based Motion Capture): RGB 및 RGB-D 카메라 데이터를 사용해 포즈와 움직임을 추정.
• 센서 융합(Sensor Fusion): IMU, LiDAR, RGB-D 데이터를 통합하여 포즈 정확도 개선.
• Graph-Based Methods: 그래프 뉴럴 네트워크(GNN)를 사용해 키포인트 간의 관계를 모델링.
• Zero-shot Learning 및 Few-shot Learning: 학습 데이터 부족 문제를 해결.
• Interpretable Models: 실시간 상호작용 및 적용 사례 최적화.

3. 응용 사례

• 스마트 감시(Smart Surveillance): 이상 행동 및 위험 상황 감지.
• 스포츠 및 훈련(Sports & Training): 최적화된 훈련 제공.
• 의료 및 재활(Medical Rehabilitation): 맞춤형 치료 제공.
• 게임 및 VR/AR: 가상 환경에 정확하게 반영.
• 로봇 공학(Robotics): 인간의 행동을 실시간으로 인식.

4. 실험 및 결과

✅ 데이터셋: Human3.6M, MPI-INF-3DHP, CMU Panoptic.

✅ 정확도: 평균 오차율(MPJPE)이 개선됨.

✅ 처리 속도: 실시간 추론 속도 향상.

5. 주요 기여

✅ 종합적 리뷰: 기술적, 응용적 측면 포괄 분석.

✅ 기술적 통찰: 다양한 접근법 검토.

✅ 실질적 응용: 스마트 감시, 스포츠, 의료 등 강조.

6. 한계 및 향후 연구 방향

✅ 가려짐(Occlusion) 문제.

✅ 실시간 처리 속도 한계.

✅ 데이터셋 부족 문제.

✅ 윤리적 문제 및 기술적 규제 필요.

7. 결론

✅ 3D 인간 모션 캡처 기술의 딥러닝 기반 접근법 분석.

✅ 다양한 산업 분야(스마트 감시, 스포츠, 의료, 게임, 로봇 공학)에서 활용 가능성 입증.

🗓️ 출판 연도: 2024

---

1. Y. Huang, M. Kaufmann, E. Aksan, M. J. Black, O. Hilliges, and G. Pons-Moll, “Deep inertial poser: Learning to reconstruct human pose from sparse inertial measurements in real time,” ACM Trans. Graph., vol. 37, no. 6, pp. 1–15, Dec. 2018. 가속도 에러는 모션의 변화량을 측정하여, 이 변화량이 너무 크거나 작을 때 에러로 판단한다. ↩

2. T. Flash and N. Hogan, “The coordination of arm movements: An experimentally confirmed mathematical model,” J. Neurosci., vol. 5, no. 7, pp. 1688–1703, Jul. 1985. 지터 에러는 모션의 불안정성을 측정하여, 이 불안정성이 너무 크거나 작을 때 에러로 판단한다. ↩