๋ก๋ด๊ฐํํ์ต ์ฑ๊ณต ์ฌ๋ก (Deep Reinforcement Learning for Robotics, A Survey of Real-World Successes)
Writing
๊ฐ๋ฐ, AI, ๋ก๋ณดํฑ์ค, ํฌ์ค์ผ์ด ๊ด๋ จ ๊ธ์ ์ ๋ฆฌํฉ๋๋ค.
2025
๋น๋จ๋ณ ํ์ ๋ง์ถคํ ํตํฉ ๊ด๋ฆฌ ์์คํ ์ ํต์ฌ ๊ตฌ์ฑ์์์ ์์ดยท์ด๋ยทํ๋น ์ถ์ ์ ๋ต์ ํ๋์ ์ ๋ฆฌํ ๊ฐ์ด๋์ ๋๋ค.
์ธ๊ฐ ์๊ฐ ์์คํ ์ ์ ๋ณด ์ฒ๋ฆฌ ๋ฉ์ปค๋์ฆ์ ์ ๊ฒฝ๊ณผํ ๊ด์ ์์ ์ ๋ฆฌํ๊ณ fMRIยท๋ด๋ด ๋์ฝ๋ฉ ์ฐ๊ตฌ ํ๋ฆ์ ํจ๊ป ์๊ฐํฉ๋๋ค.
์ํ ํจํด๊ณผ ํผ๋ก ์ ํ์ ๋ง์ถฐ ๋นํ๋ฏผB ์ ํ์ ์ ํํ ์ ์๋๋ก ์ฑ๋ถ๋ณ ํน์ง๊ณผ ์ฒดํฌํฌ์ธํธ๋ฅผ ์ ๋ฆฌํ ๊ฐ์ด๋์ ๋๋ค.
๊ฐ์ธ ๊ฑด๊ฐ ๋ชฉํ์ ๋ง์ถฐ ์ค๋ฉ๊ฐ3 ์ ํ์ ์ ํํ ์ ์๋๋ก ์ฑ๋ถ, ํจ๋, ๋ณต์ฉ ํฌ์ธํธ๋ฅผ ๋น๊ตํ ์ธํฐ๋ํฐ๋ธ ๊ฐ์ด๋์ ๋๋ค.
์๋ฉดยท์คํธ๋ ์คยทํผ๋ก ๊ฐ์ ๋ชฉํ์ ๋ง๋ ๋ง๊ทธ๋ค์ ์ ํ์ ์ ํํ ์ ์๋๋ก ํํ๋ณ ํน์ฑ๊ณผ ๋ณต์ฉ ํ์ ์ ๋ฆฌํ์ต๋๋ค.
๋ฆฌ๋ ์ค ๊ฐ๋ฐํ๊ฒฝ์์ ์์ฃผ ์ฐ๋ Bash ๋ช ๋ น์ด์ ๋๊ตฌ ์ค์น ๋ช ๋ น์ ๋น ๋ฅด๊ฒ ์ฐพ์๋ณผ ์ ์๋๋ก ์ ๋ฆฌํ ๊ฐ์ธ ๋ ํผ๋ฐ์ค์ ๋๋ค.
Gemini Deep Research๋ฅผ ํ์ฉํ ํ๋กฌํํธ ์์ง๋์ด๋ง ์ ๋ต๊ณผ ๋ณด๊ณ ์ ํ์ง ํฅ์ ๋ฐฉ๋ฒ์ ์ ๋ฆฌํ ์ค์ ๊ฐ์ด๋์ ๋๋ค.
Gemini Deep Research๋ก ์ฌํ ๊ณํ์ ๊ณ ๋ํํ๊ธฐ ์ํ ํ๋กฌํํธ ์ค๊ณ ์ ๋ต๊ณผ ์ค์ ํ ํ๋ฆฟ์ ์ ๋ฆฌํ ๊ฐ์ด๋์ ๋๋ค.
์ง์์ ์ธ ์ค๊ฐ ์์ค ์นดํ์ธ ์ญ์ทจ๊ฐ ์ ์ฒดยท์ ์ ยท์ ๊ฒฝ๊ณ์ ๋ฏธ์น๋ ์ํฅ์ ๊ทผ๊ฑฐ ์ค์ฌ์ผ๋ก ์ ๋ฆฌํ๊ณ ์ค์ํ ์ ์ฉ ํฌ์ธํธ๋ฅผ ์ ์ํ ๋ถ์ ๊ธ์ ๋๋ค.
ํ๋ ์ธ๊ณต์ง๋ฅ๊ณผ ๋จธ์ ๋ฌ๋์ ๊ธฐ๋ณธ ๊ฐ๋ ์ ๋ฐ์ดํฐ ์ค์ฌ ๊ด์ ์์ ์ ๋ฆฌํ๊ณ , ํ์ต ๋ฐฉํฅ์ ์ก๊ธฐ ์ํ ํต์ฌ ์ฉ์ด๋ฅผ ์์ฝํฉ๋๋ค.
๋ฒกํฐ์ ํ๋ ฌ ๋ ธ๋ฆ์ ํต์ฌ ๊ฐ๋ ์ ์ด๋ฏธ์ง ๊ธฐ๋ฐ์ผ๋ก ์ ๋ฆฌํ๊ณ , AI/๋จธ์ ๋ฌ๋ ๋ชจ๋ธ ํด์์์ ์ ์ค์ํ์ง ํจ๊ป ์ค๋ช ํฉ๋๋ค.
์ด์ ํ์ง(Anomaly Detection, AD)๋ ์ ์์ ์ธ ๋ฐ์ดํฐ ๋ถํฌ์์ ํ์ ํ๊ฒ ๋ฒ์ด๋๋ ํฌ๊ทํ ๊ด์ธก์น๋ ํจํด์ ์๋ณํ๋ ๊ณผ์ ์ ๋๋ค. ์ด๋ **์ฌ์ด๋ฒ ๋ณด์**(๋คํธ์ํฌ ์นจ์ ...
- ์ปดํจํฐ ๋น์ ๊ด๋ จ ์์ ์ ๋ฃ๋ ๋์ค, ํ์๋ก ์์์ผ ํ๋ ๋ถ๋ถ์ด๋ผ๊ณ ์๊ฐ์ด ๋ค์ด์ ๋ฐ๋ก ์ ๋ฆฌํ๋ค. ์ฌ์ค ์ด ๋ถ๋ถ์ [๋คํฌ_ํ๋ก๊ทธ๋๋จธ](https://darkpgmr.tistor...
20๋ ํ๋ฐ ์ฌ์ฑ ์ ๋ฌผ์ฉ ์ ์ด์ ์์ฐ์ ๋ธ๋๋๋ณ๋ก ๋น๊ตํด ์์ธ์ ์ฐจ๋จ, ๋ฌด๊ฒ, ๊ฐ๊ฒฉ, ๋์์ธ, ๋ฐฐ์ก ์กฐ๊ฑด๊น์ง ์ ๋ฆฌํ ๊ฐ์ด๋์ ๋๋ค.
Windows 11 + WSL 2 ํ๊ฒฝ์์ WHAM ๋ชจ๋ธ ์ค์น์ ์คํ ๊ณผ์ ์ ์ ๋ฆฌํ๊ณ , ์ฌํ ์ ์ฃผ์์ฌํญ์ ํจ๊ป ๊ธฐ๋กํ์ต๋๋ค.
์ปดํจํฐ ๋น์ ๊ณผ AI ํ์ต ์ค ๋ง๋ ๊ฐ๋ ยท์ฉ์ด๋ฅผ ์ฃผ์ ๋ณ๋ก ์ ๋ฆฌํ๊ณ ์ฐธ๊ณ ์๋ฃ์ ํจ๊ป ์ ๋ฐ์ดํธํ๋ ์คํฐ๋ ๋ ธํธ์ ๋๋ค.
- ์ฌ๋์ 3D ํฌ์ฆ ์ถ์ (HPE, Human Pose Forecasting) ๊ณผ Trajectory Prediction(์ฌ๋์ ์ด๋ ๊ฒฝ๋ก ์์ธก) ์ ์ฐจ์ด๊ฐ ํฌ๋ค๋ ๊ฒ์ ์๊ฒ ๋์์ต๋๋ค.
์ต์ 3D Human Pose Estimation ์ฐ๊ตฌ ํ๋ฆ์ ์ ๋ฆฌํ๊ณ , ํต์ฌ ๋ชจ๋ธ ์์ด๋์ด์ ํ๊ณ๋ฅผ ๋น๊ตํ ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ์ ๋๋ค.
WSL ํ๊ฒฝ์์ AlphaPose๋ฅผ ํ์ฉํด 2D/3D ์ฌ๋ ์์ธ ์ถ์ ์ ์ํํ๋ ๊ณผ์ ๊ณผ ์คํ ํ์ ์ ๋ฆฌํ ํ๋ก์ ํธ ๊ธฐ๋ก์ ๋๋ค.
2024
๋จ์ ์นด๋ฉ๋ผ ๊ธฐ๋ฐ ์ฌ๋ ์ ์ฅ ์ถ์ ๋ ผ๋ฌธ์ ์ฝ๊ณ ํต์ฌ ์์ด๋์ด, ์คํ ๊ตฌ์ฑ, ์ ์ฉ ๊ฐ๋ฅ์ฑ์ ์์ฝํ ์ฐ๊ตฌ ๋ ธํธ์ ๋๋ค.
**์ ์** : defaultdict๋ Python์ collections ๋ชจ๋์ ํฌํจ๋ ํน๋ณํ ์ฌ์ ์๋ฃํ...
๋ธ๋ผ์ฐ์ ์์ 7์๋ฆฌ ์ซ์ ์ผ๊ตฌ๋ฅผ ์ง์ ํ๋ ์ดํ๋ฉฐ ์๋ฐ์คํฌ๋ฆฝํธ ๋ก์ง๊ณผ ์ ๋ ฅ ๊ฒ์ฆ ํ๋ฆ์ ํ์ธํ ์ ์๋ ์์ ์ ๋๋ค.
์ํ, ์คํ, ํ์ ๊ฐ๋ ๊ณผ ๋์ ์๋ฆฌ๋ฅผ ์ค์ฌ์ผ๋ก ์๋ฃ๊ตฌ์กฐ ๊ธฐ์ด๋ฅผ ์ ๋ฆฌํ๊ณ ๊ตฌํ ์ ํ์ ํฌ์ธํธ๋ฅผ ๋ด์ C/C++ ํ์ต ๋ ธํธ์ ๋๋ค.
๊ทธ๋ํ์ ๊ธฐ๋ณธ ๊ฐ๋ ๊ณผ ํํ ๋ฐฉ์, ํ์ ์์ด๋์ด๋ฅผ C/C++ ํ์ต ๋งฅ๋ฝ์์ ์ฝ๊ฒ ์ ๋ฆฌํ ์๋ฃ๊ตฌ์กฐ ๋ ธํธ์ ๋๋ค.
ํ(Heap)์ ๊ตฌ์กฐ์ ๋ถ๋ชจ-์์ ์ธ๋ฑ์ค ๊ท์น, ์ฐ์ ์์ ํ ๊ตฌํ์ ํ์ํ ํต์ฌ ๊ฐ๋ ์ ์์์ ํจ๊ป ์ ๋ฆฌํ์ต๋๋ค.
๋ผ์ฆ๋ฒ ๋ฆฌํ์ด 5 ์ด๊ธฐ ์ค์ ๋ถํฐ ๊ฐ๋ฐํ๊ฒฝ ์ค๋น๊น์ง ์ค์ ์์ ์์์ ์ฒดํฌํฌ์ธํธ๋ฅผ ๊ธฐ์ค์ผ๋ก ์ ๋ฆฌํ ์ ์ ๊ฐ์ด๋์ ๋๋ค.
ROS2 ๊ฐ๋ฐ์ ์ํด Docker ์ปจํ ์ด๋๋ฅผ ์ค์ ํ ๋ ๋ฐ์ํ๋ ๊ทธ๋ํฝ ์คํ ์ด์์ ํด๊ฒฐ ๊ณผ์ ์ ๋จ๊ณ๋ณ๋ก ์ ๋ฆฌํ์ต๋๋ค.
์ปดํจํฐ ๋น์ ๊ณผ AI ํ์ต์ ์์ฃผ ๋ฑ์ฅํ๋ ํต์ฌ ์๋ฌธ ์ฉ์ด๋ฅผ ํด์ฆ ํ์์ผ๋ก ์ ๋ฆฌํ๊ณ ๋น ๋ฅด๊ฒ ๋ณต์ตํ ์ ์๊ฒ ๊ตฌ์ฑํ ์คํฐ๋ ๋ ธํธ์ ๋๋ค.
์ฐ๊ตฌ์ค PHM ๋ฐ์ดํฐ ๋ถ์ ์ฝ๋ ๊ตฌ์กฐ์ ๋จธ์ ๋ฌ๋ ์ ์ฉ ํ๋ฆ์ ์ ๋ฆฌํ๊ณ , ๋๊ท๋ชจ ๋ฐ์ดํฐ ์ฒ๋ฆฌ ์ ๊ณ ๋ ค์ฌํญ์ ๊ธฐ๋กํ์ต๋๋ค.
๋ ผ๋ฌธ์ ์ฝ๋ ๋์ค SOEM์ด๋ผ๋ ๋จ์ด๊ฐ ๋ฑ์ฅํ๋ค. ๋ฌด์์ธ๊ฐ ํ์ฌ ์ฐพ์๋ณด๋ Open EtherCAT Society๋ผ๋ ๋จ์ฒด๊ฐ ๋ฑ์ฅํ๋๋ฐ, ์ด๋ EtherCAT์ ์คํ์์ค๋ก ๋ง๋ค์ด์ ์ฌ์ฉํ ์ ์๊ฒ ๋ง๋ ๋จ์ฒด๋ผ๋ ๊ฒ์ ์์๋ค.
๋จธ์ ๋ฌ๋์ด๋ ๊ด๋ฒ์ํ ์ธ๊ณต์ง๋ฅ(AI)์์ญ์ ํ์ ์งํฉ์ผ๋ก, ์ปดํจํฐ๊ฐ ๋ฐ์ดํฐ๋ก๋ถํฐ ํ์ตํ ์ ์๋๋ก ์ค๊ณ๋ ์๊ณ ๋ฆฌ์ฆ์ ๋ง๋ค๊ณ ํ์ฉํ๋ ๊ฒ์ ์ค์ฌ์ผ๋ก ํ๋ ๋ถ์ผ์ด๋ค.
2023
๋ ธ๋(Node) ์ต์ ๋จ์์ ์คํ ๊ฐ๋ฅํ ํ๋ก์ธ์ค ์์ ์ถ๋ ฅ ์นด๋ฉ๋ผ ๋๋ผ์ด๋ฒ ๋ ธ๋ ํํฐ๋งํ๋ ํํฐ ๋ ธ๋, ์์ ํน์ง์ ์ถ์ถ ๋ ธ๋, ๋ฌผ๊ฑด ๊ฒ์ถ ๋ ธ๋, ๊ฒ์ถ ์์น๋ก ๋ก๋ด ๊ฒฝ๋ก ๋ง๋๋ ๋ ธ๋
ํด๋น ๋ฒ์ ๋ค์ [ROS2_Version](https://docs.ros.org/en/foxy/Releases.html)...
ROS2์ ํต์ฌ ๊ฐ๋ ๊ณผ ๋ ธ๋ ๊ธฐ๋ฐ ๊ตฌ์กฐ๋ฅผ ์๊ฐํ๊ณ , ๋ก๋ด ๊ฐ๋ฐํ๊ฒฝ ๊ตฌ์ถ์ ํ์ํ ๊ธฐ๋ณธ ํ๋ฆ์ ์ ๋ฆฌํ ์ ๋ฌธ ๊ธ์ ๋๋ค.
์ฐ์ ์์ ํ์ ํ์ ๋์ ์๋ฆฌ, ์ฝ์ ยท์ญ์ ๋ณต์ก๋, ์ฝ๋ฉํ ์คํธ์์ ์์ฃผ ๋์ค๋ ํจํด์ ์์ ์ค์ฌ์ผ๋ก ์ ๋ฆฌํ ๊ธ์ ๋๋ค.
์ฐ๊ฒฐ๋ฆฌ์คํธ์ ๊ฐ๋ ๊ณผ ๋ฐฐ์ด ๋๋น ์ฅ๋จ์ , ๊ธฐ๋ณธ ์ฐ์ฐ ๋ณต์ก๋๋ฅผ ์ฝ๋ฉํ ์คํธ ๊ด์ ์ ์์์ ํจ๊ป ์ ๋ฆฌํ ํ์ต ๋ ธํธ์ ๋๋ค.
SLAM์ ๊ธฐ๋ณธ ๊ฐ๋ ๊ณผ ์ ์ฒด ํ์ดํ๋ผ์ธ์ ๋ณต์ต ๊ด์ ์์ ์ ๋ฆฌํ๊ณ , ๋ก๋ด ์์น์ถ์ ๊ณผ ๋งตํ์ ํต์ฌ ํ๋ฆ์ ์ค๋ช ํฉ๋๋ค.
SLAM ํ์ ์ ๋ฆฌ๋ก ์ผ์ ๋ฐ์ดํฐ ์ฒ๋ฆฌ์ ์ถ์ ์์ ํ ๊ด์ ์ ์ค์ฌ์ผ๋ก ํต์ฌ ๊ฐ๋ ์ ๋ค์ ์ค๋ช ํ ํ์ต ๊ธฐ๋ก์ ๋๋ค.
C ์ธ์ด ๊ธฐ๋ฐ์ผ๋ก ์๋ฃ๊ตฌ์กฐ์ ๊ธฐ๋ณธ ๊ฐ๋ ๊ณผ ๋ฐฐ์ดยท์ฐ๊ฒฐ๋ฆฌ์คํธ์ ํต์ฌ ๋์ ์๋ฆฌ๋ฅผ ๋จ๊ณ๋ณ๋ก ์ ๋ฆฌํ ์ ๋ฌธ ๋ ธํธ์ ๋๋ค.
์ฝ๋ฉํ ์คํธ ์ค๋น์ ํ์ํ ๋ ํด๋ ฅ, ํต์ฌ ์๊ณ ๋ฆฌ์ฆ ๋ฐฐ๊ฒฝ์ง์, ๋ฌธ์ ํ์ด ์ต๊ด์ ๋จ๊ณ๋ณ ์ฒดํฌ๋ฆฌ์คํธ๋ก ์ ๋ฆฌํ ๊ฐ์ด๋์ ๋๋ค.
SurveyJS ๋ผ์ด๋ธ๋ฌ๋ฆฌ์ ํน์ง, ๋ผ์ด์ ์ค, ์ ์ฉ ํฌ์ธํธ๋ฅผ ์ค์ฌ์ผ๋ก ์น ์ค๋ฌธ ํผ ๊ตฌ์ถ ๊ด์ ์์ ์ ๋ฆฌํ ์๊ฐ ๊ธ์ ๋๋ค.
2022
๋ฐ์ดํฐ๋ฒ ์ด์ค์ ์ ์์ ํ์์ฑ์ ์์์ผ๋ก ์ ๋ณดยท์ ๋ณด์ฒ๋ฆฌ ๊ฐ๋ , ๋ฐ์ดํฐ ๋ถ๋ฅ ๊ธฐ์ด๋ฅผ ์์์ ํจ๊ป ์ ๋ฆฌํ ํ์ต ๋ ธํธ์ ๋๋ค.
ํ์ด์ฌ ๋ณ์์ ๊ธฐ๋ณธ ์๋ฃํ๊ณผ ์ ์ธ ๋ฐฉ์, ์ค์ต ์์๋ฅผ ํตํด ์ด๋ณด์๊ฐ ๋น ๋ฅด๊ฒ ์ดํดํ ์ ์๋๋ก ์ ๋ฆฌํ ๊ธ์ ๋๋ค.
๊นํ๋ธ ๋ธ๋ก๊ทธ๋ฅผ ์์ํ ๋ฐฐ๊ฒฝ, ์ด๊ธฐ ์ธํ ๊ณผ์ , ์์ผ๋ก์ ์ด์ ๋ฐฉํฅ๊ณผ ์์ฑ ์์น์ ์ ๋ฆฌํด ์๊ฐํ๋ ์ฒซ ๊ธ์ ๋๋ค.