KR20240088557A - 웹캠을 이용한 동작 추적 기반 아바타 모션 제어시스템 - Google Patents
웹캠을 이용한 동작 추적 기반 아바타 모션 제어시스템 Download PDFInfo
- Publication number
- KR20240088557A KR20240088557A KR1020230134655A KR20230134655A KR20240088557A KR 20240088557 A KR20240088557 A KR 20240088557A KR 1020230134655 A KR1020230134655 A KR 1020230134655A KR 20230134655 A KR20230134655 A KR 20230134655A KR 20240088557 A KR20240088557 A KR 20240088557A
- Authority
- KR
- South Korea
- Prior art keywords
- avatar
- unit
- control system
- user
- motion control
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 claims abstract description 29
- 238000013075 data extraction Methods 0.000 claims abstract description 19
- 239000000284 extract Substances 0.000 claims abstract description 4
- 238000006243 chemical reaction Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 9
- 241001223864 Sphyraena barracuda Species 0.000 claims description 5
- 210000001508 eye Anatomy 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 210000005069 ears Anatomy 0.000 claims description 3
- 210000004709 eyebrow Anatomy 0.000 claims description 3
- 210000000216 zygoma Anatomy 0.000 claims description 3
- 210000000214 mouth Anatomy 0.000 claims description 2
- 210000001331 nose Anatomy 0.000 claims description 2
- 230000008859 change Effects 0.000 description 12
- 238000010191 image analysis Methods 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 210000003128 head Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000005183 dynamical system Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000001624 hip Anatomy 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000002832 shoulder Anatomy 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computer Hardware Design (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 웹 캠을 이용한 동작 추적 기반 아바타 모션 제어시스템에 관한 것으로, 사용자의 움직임을 촬영하는 영상입력 장치; 상기 영상입력 장치에서 입력된 영상으로부터 특징을 추출하고, 각각의 특징을 좌표값으로 변환하여 추출하는 데이터 추출부; 상기 데이터 추출부에 의해 추출된 데이터를 머신러닝 모델에 적용하여 학습하고, 학습 결과를 저장하는 머신러닝 학습부; 상기 데이터 추출부에 의해 추출된 데이터를 상기 머신러닝 학습부에 저장된 학습 결과와 비교하고, 비교 결과에 따라 아바타의 움직임을 제어하는 아바타 제어부; 및 상기 아바타 제어부에 의해 동작 제어된 아바타의 움직임이 출력되는 출력 장치를 포함하는 아바타 모션 제어 시스템을 제공한다.
Description
본 발명은 웹 캠을 이용한 동작 추적 기반 아바타 모션 제어시스템에 관한 것이다. 보다 상세하게는 사용자간 상호작용이나 행동패턴이 인공지능으로 학습되어 별도의 모션캡쳐 장비를 사용하지 않고 사용자의 동작을 추적하고 인식할 수 있는 웹캠을 이용한 동작 추적 기반 아바타 모션 제어 시스템에 관한 것이다.
4차 산업혁명 및 지능정보사회에 진입에 따라 ICT 융복합 기술 발전이 급격하게 이루어지며, 그에 따라 인공지능, 빅데이터, 사물인터넷, 3D 모델링 및 클라우드 등 기반 기술에 대한 영향력이 증가하고 있다.
국가적 차원에서 신산업 창출 및 핵심 산업인 인공지능 산업 발전을 위해 대규모 투자를 지원하고 AI 허브 플랫폼 구축을 통해 인공지능 학습 데이터를 개방하여 AI 데이터 활용 인프라 구축을 위해 노력하는 추세이다. 특히 인공지능은 자율주행, 챗봇, 음성인식, 컴퓨터 비전과 같은 다양한 분야에서 활용된다.
특히, 3D 모델링, AR/VR 기술과 함께 메타버스(metaverse) 산업이 부상하는 추세이다. 메타버스는 현실에서의 상호작용을 가상공간에서 구현한 가상 세계로. 메타버스 내에 사용자를 대체하는 아바타가 존재한다. 이러한 아바타는 메타버스 내에서 사실적인 움직임을 구현하기 위해 다양한 방식이 연구되고 있으나, 아직까지 그 수준이 미미한 실정이다.
일반적으로 기존 메타버스 내에서의 아바타 조작은 키보드의 방향키나 단순 명령어를 통해 이미 입력된 특정 동작들만 구현되는 단순한 시스템이었으며, 이 경우, 아바타 동작 제어가 제한적일 뿐만 아니라 가상 현실에서 몰입감이나 실재감이 부여되지 않아 아바타 사용이 널리 확대되지 못하고 있는 실정이다.
최근에는 아바타의 사실적인 움직임 구현을 위해 사용자의 움직임을 감지하고 이와 동시에 아바타의 움직임을 구현하는 방식이 개발되고 있다.
예컨대, 복수의 마커를 사용자의 몸에 부착한 상태에서 사용자의 움직임을 센싱하여 골격을 형성하고, 미리 구현된 캐릭터 이미지에 생성된 골격을 리깅하여 실제 사용자의 모션이 반영되게 할 수 있다. 이렇게 사용자의 움직임이 반영된 아바타는 그 움직임이 생동감 있게 구현될 수 있다.
이를 위해 사용자는 가상공간에 배치된 가상의 사물에 대해 실제 사용하는 것처럼 해당 동작을 수행할 필요가 있고, 그러한 움직임이 그대로 가상공간에 반영되도록 할 수 있다.
하지만, 이렇게 가상의 사물에 대한 동작을 수행하는 것에 대응되도록 실제 사물을 배치하는 경우 제작비용이 크게 증가하는 문제가 있어, 현실적으로 불가능하다. 그리고 실제 구현되지 않은 상태에서 사용자가 동작하는 동안 안전 사고 등이 발생할 수 있는 문제가 있다.
본 발명은 종래 기술의 문제점을 해결하기 위해 발명한 것으로서, 본 발명의 목적은 웹캠을 이용하여 사용자의 동작을 추적하고 인식함으로써, 모션 캡처를 위한 별도의 특수 장비 없이 간편하게 아바타의 동작 구현이 가능한 동작 추적 기반 아바타 모션 제어 시스템을 제공하는 것이다.
본 발명의 다른 목적은 키보드 등을 통해 명령어를 실행하거나 방향키를 입력할 필요가 없어 더욱 직관적이고 사실적인 아바타의 동작을 구현할 수 있고, 아바타와의 행동 동기화를 통해 메타버스 내에서의 실재감과 몰입감을 향상시킬 수 있는 동작 추적 기반 아바타 모션 제어 시스템을 제공하는 것이다.
본 발명은, 사용자의 움직임을 촬영하는 영상입력 장치; 상기 영상입력 장치에서 입력된 영상으로부터 특징을 추출하고, 각각의 특징을 좌표값으로 변환하여 추출하는 데이터 추출부; 상기 데이터 추출부에 의해 추출된 데이터를 머신러닝 모델에 적용하여 학습하고, 학습 결과를 저장하는 머신러닝 학습부; 상기 데이터 추출부에 의해 추출된 데이터를 상기 머신러닝 학습부에 저장된 학습 결과와 비교하고, 비교 결과에 따라 아바타의 움직임을 제어하는 아바타 제어부; 및 상기 아바타 제어부에 의해 동작 제어된 아바타의 움직임이 출력되는 출력 장치를 포함하는 아바타 모션 제어 시스템을 제공한다.
상기 영상입력 장치는 웹캠(web cam)일 수 있다.
상기 상기 데이터 추출부는, 상기 영상입력 장치에서 입력된 영상을 2차원 영상의 프레임 단위로 나누고, 2차원 영상에 표시되는 사용자의 신체에 대한 특징점을 기준으로 하나 이상의 키 조인트를 설정하는 특징 추출부; 상기 특징 추출부에서 설정된 키 조인트의 위치를 2차원의 좌표로 설정하는 좌표부; 및 상기 좌표부에서 설정된 키 조인트의 2차원 좌표를 3차원 스켈레톤 값으로 변환하는 변환부를 포함하고, 상기 아바타 제어부는 상기 변환부에서 변환된 3차원 스켈레톤 값에 따라 아바타의 움직임을 제어할 수 있다.
상기 키 조인트는 인체의 관절의 위치를 기준으로 설정될 수 있다.
상기 키 조인트는 사용자의 어깨, 팔꿈치, 손, 손목 및 허리 중 하나 이상에 설정될 수 있다.
상기 키 조인트는, 사용자의 눈, 눈썹, 코, 입, 귀 및 광대 중 하나 이상에 설정될 수 있다.
상기 인공지능부는 상기 머신러닝 모델로서 OPENPOSE AI 모델을 이용할 수 있다.
상기 변환부는 유니티 ML Barracuda를 매개하여 키 조인트 값을 3차원 스켈레톤 값으로 변환할 수 있다.
상기 변환부는 상기 3차원 스켈레톤 값을 칼만필터 정규식을 활용하여 평균치를 도출하고, 도출된 평균치를 출력할 수 있다.
본 발명에 의하면, 웹캠을 이용하여 사용자의 동작을 인식하고 인식된 동작을 아바타에 적용함으로써, 더욱 사실감 있는 아바타의 동작을 구현할 수 있는 효과가 있다.
또한, 웹캠을 이용하여 사용자의 동작을 인식하고 이를 통해 아바타의 동작을 제어함으로써, 키보드 등을 통해 명령어를 실행하거나 방향키를 입력할 필요가 없어 더욱 직관적이고 사실적인 아바타의 동작을 구현할 수 있고, 아바타와의 행동 동기화를 통해 메타버스 내에서의 실재감과 몰입감을 향상시킬 수 있는 효과가 있다.
또한, 웹갬을 통해 사용자의 동작을 인식함으로써, 모션 캡처를 위한 별도의 특수 장비 없이 간편하게 아바타 동작 구현이 가능한 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 아바타 모션 제어 시스템의 구성을 기능에 따라 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 추출부의 구성을 기능에 따라 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 웹캠에서 촬영된 영상에서 사용자의 신체부위에 대한 키 조인트 값을 생성하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 데이터 추출부의 구성을 기능에 따라 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 웹캠에서 촬영된 영상에서 사용자의 신체부위에 대한 키 조인트 값을 생성하기 위한 예시도이다.
이하에서는 본 발명을 구현하기 위한 구체적인 실시예에 대하여 도면을 참조하여 상세히 설명하도록 한다.
아울러 본 발명을 설명함에 있어서 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.
또한, 어떤 구성요소가 다른 구성요소에 '연결', '지지', '접속', '공급', '전달', '접촉'된다고 언급된 때에는 그 다른 구성요소에 직접적으로 연결, 지지, 접속, 공급, 전달, 접촉될 수도 있지만 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
본 명세서에서 사용된 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로 본 발명을 한정하려는 의도로 사용된 것은 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다.
또한, 본 명세서에서 상측, 하측, 측면 등의 표현은 도면에 도시를 기준으로 설명한 것이며 해당 대상의 방향이 변경되면 다르게 표현될 수 있음을 미리 밝혀둔다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 이와 같은 용어들에 의해 한정되지는 않는다. 이 용어들은 하나의 구성요소들을 다른 구성요소로부터 구별하는 목적으로만 사용된다.
명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특정 특성, 영역, 정수, 단계, 동작, 요소, 성분 및/또는 군의 존재나 부가를 제외시키는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 아바타 모션 제어 시스템(100)의 구성을 기능에 따라 도시한 블록도이고, 도 2는 본 발명의 일 실시예에 따른 데이터 추출부의 구성을 기능에 따라 도시한 블록도이고, 도 3은 본 발명의 일 실시예에 따른 웹캠(110)에서 촬영된 영상에서 사용자의 신체부위에 대한 키 조인트 값을 생성하기 위한 예시도이다.
본 발명의 일 실시예에 따른 아바타 모션 제어 시스템(100)에 대해 도 1 및 도 2를 참조하여 설명하고, 필요에 따라 도 3을 참조하여 설명한다.
본 실시예에서 아바타 모션 제어 시스템(100)은 웹캠(110), 영상 분석부(120) 및 출력장치(130)를 포함한다.
웹캠(110)은 사용자의 동작을 촬영하여 영상으로 변환하기 위한 장치로, 영상입력 장치일 수 있다. 웹캠(110)은 다양한 영상입력 장치 중 하나의 예시로 이용될 수 있다. 웹캠(110)은 사용자의 동작을 촬영하고, 촬영된 영상을 영상 분석부(120)로 전송할 수 있다.
웹캠(110)에서 촬영된 영상은 사용자의 동작을 촬영하기 위해 사용자를 향해 고정된 상태로 배치될 수 있고, 또한, 필요에 따라 사용자의 움직임에 따라 이동되거나 회전될 수 있다. 웹캠(110)의 이동이나 회전과 같은 동작은 사용자의 동작이나 이동에 맞춰 자동으로 이루어지도록 할 수 있으며, 이는, 웹캠(110)에서 특정 사용자에게 초점이 맞춰지는 경우 해당 초점이 유지되도록 웹캠(110)이 사용자의 움직임을 따라 동작하는 방식으로 수행될 수 있다.
영상 분석부(120)는 웹캠(110)에서 촬영된 영상을 수신하여 해당 영상을 분석하고, 분석된 영상을 아바타의 동작에 맞게 변환하여 아바타를 제어하기 위한 다양한 명령어를 생성할 수 있다.
본 실시예에서, 영상 분석부(120)는 사용자가 이용하는 PC나 테블릿 PC 또는 스마트폰과 같은 사용자 단말기에 포함될 수 있지만, 이에 한정되는 것은 아니며, 별도의 서버에 설치될 수 있다. 이에 따라 사용자가 이용하는 사용자 단말기에서 웹캠(110)에 의해 촬영된 영상이 이동통신망이나 인터넷망을 통해 서버로 전송되어 영상 분석부(120)에 입력될 수 있다.
이를 위해 영상 분석부(120)는 데이터 추출부(140), 머신러닝 학습부(150) 및 아바타 제어부(160)를 포함할 수 있다.
데이터 추출부(140)는 영상입력 장치에서 입력된 영상으로부터 특징을 추출하고, 각각의 특징을 좌표값으로 변환하여 추출한다. 머신러닝 학습부(150)는 데이터 추출부(140)에 의해 추출된 데이터를 머신러닝 모델에 적용하여 학습하고, 학습 결과를 별도의 저장부에 저장한다. 아바타 제어부(160)는 데이터 추출부(140)에 의해 추출된 데이터를 머신러닝 학습부(150)에 저장된 학습 결과와 비교하고, 비교 결과에 따라 아바타의 움직임을 제어한다.
좀더 구체적으로 살펴보면, 데이터 추출부(140)는 영상으로부터 키 조인트(KJ)를 설정하는 특징 추출부(141)와, 특징 추출부(141)에서 설정된 키 조인트(KJ)의 위치를 2차원의 좌표로 설정하는 좌표부(143)와, 좌표부(143)에서 설정된 키 조인트(KJ)의 2차원 좌표를 3차원 스켈레톤 값으로 변환하는 변환부(145)를 포함한다.
특징 추출부(140)는, 웹캠(110)에서 수신된 영상을 2차원 영상의 프레임 단위로 나누고, 나뉜 복수 개의 2차원 영상에 표시되는 사용자 신체의 특징점을 기준으로 키 조인트(KJ)를 설정한다. 키 조인트는 사용자의 신체에서 미리 설정된 주요 포인트로 설정될 수 있다. 예를 들면, 키 조인트(KJ)는 사용자의 머리, 어깨, 팔꿈치, 손, 손목, 허리 및 발에 각각 설정될 수 있다. 또한, 사용자의 얼굴에 복수 개의 키 조인트(KJ)가 설정될 수 있다. 이때, 사용자의 머리에서 얼굴에 설정되는 키 조인트(KJ)는 눈, 코, 입 및 귀의 위치와 광대나 볼의 위치일 수 있다.
본 실시예에서는 도 3에 도시된 바와 같이, 얼굴에 7개의 키 조인트(KJ)가 설정되고, 얼굴을 제외한 신체의 상반신에 8개의 키 조인트(KJ)가 설정될 수 있다. 예를 들면, 얼굴에는 코, 눈, 눈썹 등에 각각 키 조인트(KJ)가 설정될 수 있고, 신체의 상반신에는 허리 양측, 양측 어깨, 양팔의 팔꿈치, 양손목과 같은 관절 부위에 각각 키 조인트(KJ)가 설정될 수 있다.
머신러닝 학습부(150)는 2차원 영상에 포함된 사용자의 신체에 설정된 키 조인트(KJ)를 기준으로 사용자의 상반신 움직임과 얼굴의 변화를 학습할 수 있다. 즉, 머신러닝 학습부(150)는 사용자의 상반신에 설정된 8개의 키 조인트(KJ)를 통해 각 키 조인트(KJ)의 상대 이동에 따른 상반신의 움직임에 대해 학습할 수 있다. 또한, 머신러닝 학습부(150)는 사용자의 얼굴에 설정된 7개의 키 조인트(KJ)에 의해 각 키 조인트(KJ)의 상대 이동에 따른 얼굴의 변화에 대해 학습할 수 있다.
머신러닝 학습부(150)는 사용자의 다양한 동작에 대한 키 조인트(KJ)의 변화를 각 동작마다 반복적으로 학습하고, 특정 동작에 대한 키 조인트(KJ)의 변화값이 감지된 경우, 학습 결과에 따라 해당 키 조인트(KJ) 변화값에 대응되는 특정 동작이 수행되는 것으로 판단할 수 있다. 머신러닝 학습부(150)의 학습 기준이 되는 키 조인트(KJ)의 변화값은 후술하는 좌표부(143)와 변환부(145)에 의해 변환된 키 조인트(KJ)의 3차원 좌표값을 통해 정확하게 산출할 수 있다.
본 실시예에서, 머신러닝 학습부(150)는 머신러닝 모델로서 OPENPOSE AI 모델이 이용될 수 있다. OPENPOSE AI 모델은 신체 움직임을 감지하고 추적하는 AI 모델로, 컴퓨터 비전 및 딥 러닝 기술을 기반으로 실시간 움직임을 분석하고 모션캡쳐 및 자세 인식 등을 수행하기 위한 모델이다. OPENPOSE AI 모델은 신체의 다양한 부분을 검출하기 위해 신체 관절 및 신체 부위의 위치를 식별하는 신경망 구조를 이용한다.
좌표부(143)는 2차원 영상에 가상의 좌표를 설정한다. 가상의 좌표는 사용자의 신체에 설정된 복수 개의 키 조인트(KJ) 중 하나를 원점으로 설정하여 소정의 길이를 단위로 하여 설정될 수 있으며, 필요에 따라 설정되는 원점의 위치는 달라질 수 있다.
그에 따라 좌표부(143)는 복수 개의 키 조인트(KJ)에 대해 2차원 영상에서 각각의 좌표를 설정할 수 있다. 예컨대, 본 실시예에서, 사용자의 코 위치에 해당하는 키 조인트(KJ)를 원점으로 설정하고, 코 위치를 중심으로 인체에 설정된 키 조인트(KJ)에 대해 좌표를 설정할 수 있다. 그에 따라 좌표부(143)는 특징 추출부(141)에서 설정된 키 조인트(KJ)에 대한 구체적인 움직임을 좌표화할 수 있다.
변환부(145)는 좌표부(143)에서 설정된 키 조인트(KJ)의 좌표에 따라 사용자의 2차원 영상에서의 움직임을 3차원으로 변환한다. 이러한 변환부(145)는 유니티 ML Barracuda를 매개하여 키 조인트(KJ) 값을 3차원 스켈레톤 값으로 변환하고, 변환된 값의 정확도를 향상시키기 위해 칼만필터 정규식을 활용하여 평균치를 도출한다.
유니티 ML Barracuda는 머신 러닝 프레임워크 중 하나로 게임이나 시뮬레이션 환경에서 실행될 수 있다. 이러한 라이브러리를 사용하는 경우에 머신 러닝 모델을 게임이나 시뮬레이션에서 그래픽 처리하는데 유리하다. 유니티 ML Barracuda는 모델을 최적화하여 실시간 환경에서 빠르게 예측을 수행할 수 있어 AI 에이전트나 다른 머신 러닝과 관련된 기능을 구현할 수 있다.
3차원 스켈레톤은 3차원 공간에서 인간이나 동물의 뼈 구조를 나타내는 3차원 모델이다. 3차원 스켈레톤은 사용자의 움직임을 추적하고 기록하는데 이용되고, 이를 통해 사용자의 움직임을 재현하거나 분석할 수 있다. 이에 따라 본 실시예에서는 3차원 스켈레톤 값을 이용하여 사용자의 움직임을 보다 정밀하게 분석할 수 있다.
칼만필터 정규식은 상태 추정을 위해 사용되는 통계적인 기술로, 이러한 칼만필터 정규식은 잡음이 포함된 측정치를 바탕으로 선형 역학계의 상태를 추정하는 재귀 필터이다. 본 실시예에서 변환부(145)는 3차원 스켈레톤 값으로 변환된 좌표 값을 입력값으로 하여 칼만필터 정규식에 의해 평균치를 도출한다.
이러한 변환부(145)는 2차원 좌표값을 3차원 스켈레톤 값으로 변환할 수 있으며, 또한 필요에 따라서는 복수개 키 조인트(KJ)의 2차원 좌표값 변화와 2차원 좌표값을 기준으로 한 복수개 키 조인트(KJ)의 사이 거리 변화를 분석하여 2차원 좌표값으로부터 3차원 좌표값을 생성할 수 있다.
예를 들면, 변환부(145)는 복수개 키 조인트(KJ)의 사이 거리가 2차원 좌표의 변화와 함께 증가하는 경우, 2차원 영상에서 사용자가 웹캠(110)에 가까워지는 것으로 인식하고, 그에 대한 3차원 좌표 값을 생성할 수 있다. 그리고 복수개 키 조인트(KJ)의 사이 거리가 2차원 좌표의 변화와 함께 감소하는 경우, 2차원 영상에서 사용자가 웹캠(110)으로부터 멀어지는 것으로 인식하고, 그에 대한 3차원 좌표 값을 생성할 수 있다.
아바타 제어부(160)는 변환부(145)에서 변환된 3차원 스켈레톤 값을 이용하여 아바타의 움직임을 제어한다. 변환부(145)에서 생성된 3차원 스켈레톤 값이 아바타 제어부(160)에 입력되고, 그에 따라 아바타 제어부(160)는 3차원 스켈레톤 값을 이용하여 아바타의 움직임에 대한 모션을 구현한다.
특히, 복수개 키 조인트(KJ)의 2차원 좌표값 변화와 2차원 좌표값을 기준으로 한 복수개 키 조인트(KJ)의 사이 거리 변화의 상호 관계에 따라 사용자가 웹캠(110)에 근접하는지 멀어지는지 여부를 인식하여 변환부(145)가 3차원 좌표값을 생성하고, 이를 기초로 아바타 제어부(160)는 아바타의 동작 제어, 예를 들면, 출력 장치에서 아바타의 전후 방향 이동에 대한 동작 제어를 수행할 수 있다.
이상에서 설명한 바와 같이, 영상 분석부(120)는 사용자의 다양한 동작에 대해 좌표부(143)와 변환부(145)에 의해 생성된 3차원 좌표값을 다양하게 학습하고, 해당 학습 정보를 별도의 저장부에 저장할 수 있다. 즉, 사용자의 특정 동작에 대해 이에 대응되는 키 조인트(KJ)의 3차원 좌표값 변화들이 학습 결과에 따라 서로 매칭되게 저장될 수 있다. 따라서, 웹캠(110)의 촬영 영상 중 특정 동작에 대한 키 조인트(KJ)의 3차원 좌표값 변화 상태가 머신러닝 학습부(150)의 학습 결과와 일치하면, 아바타 제어부(160)는 해당 3차원 좌표값 변화에 대응하는 특정 동작을 아바타가 수행하도록 제어하고, 이에 따라 아바타의 동작이 출력장치(130)를 통해 출력된다.
출력장치(130)는 사용자가 아바타의 움직임을 확인할 수 있는 장치로, 모니터나 VR 장치와 같은 디스플레이 장치일 수 있다. 이러한 출력장치(130)는 사용자의 움직임이 실시간으로 반영되어 아바타의 움직임이 출력될 수 있다.
이러한 출력장치(130)는 사용자가 이용하는 PC나 테블릿 PC 또는 스마트폰과 같은 사용자 단말기에 포함될 수 있다. 따라서 서버에 설치된 영상 분석부(120)로부터 아바타의 움직임이 제어되어 사용자 단말기의 출력장치(130)에 출력될 수 있다.
이상에서 설명한 아바타 모션 제어 시스템(100)은 웹캠(110)과 같은 영상입력 장치를 통해 입력된 영상을 이용하여 사용자의 움직임을 인식할 수 있다. 이를 위해 영상 분석부(120)에서 입력된 영상을 2차원으로 변환한 다음, 사용자의 움직임을 인식할 수 있는 키 조인트(KJ)를 설정한다. 그리고 키 조인트(KJ)를 2차원 영상에서 좌표화한 상태에서, 사용자의 움직임에 따라 위치가 변하는 키 조인트(KJ)의 위치를 3차원 스켈레톤 값으로 변환하고, 변환값을 기초로 아바타의 움직임을 제어한다.
이러한 과정에서 영상 분석부(120)는 머신러닝 학습부(150)를 통해 사용자의 움직임을 지속적으로 학습하고, 다양한 모델 및 엔진을 이용하여 사용자의 움직임을 분석할 수 있다.
따라서, 본 발명의 일 실시예에 따른 아바타 모션 제어 시스템(100)은 키보드의 방향키를 이용하거나 특정 명령어를 입력하지 않고 영상입력 장치인 웹캠(110)을 통해 전달되는 동작을 인식시켜 실시간으로 정밀하게 아바타의 동작을 제어할 수 있다.
즉, 아바타 모션 제어 시스템(100)은 사용자와 아바타와의 행동을 동기화하여 메타버스 내에서 실재감 및 몰입도를 향상시킬 수 있고, 모션캡쳐를 위한 특수 장비를 별도로 이용하지 않고, 웹캠(110)만으로 아바타와 동기화된 VR 시뮬레이션을 구현할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 아바타 모션 제어 시스템
110: 웹캠
120: 영상 분석부
130: 출력장치
140: 데이터 추출부
141: 특징 추출부
143: 좌표부
145: 변환부
150: 머신러닝 학습부
160: 아바타 제어부
110: 웹캠
120: 영상 분석부
130: 출력장치
140: 데이터 추출부
141: 특징 추출부
143: 좌표부
145: 변환부
150: 머신러닝 학습부
160: 아바타 제어부
Claims (9)
- 사용자의 움직임을 촬영하는 영상입력 장치;
상기 영상입력 장치에서 입력된 영상으로부터 특징을 추출하고, 각각의 특징을 좌표값으로 변환하여 추출하는 데이터 추출부;
상기 데이터 추출부에 의해 추출된 데이터를 머신러닝 모델에 적용하여 학습하고, 학습 결과를 저장하는 머신러닝 학습부;
상기 데이터 추출부에 의해 추출된 데이터를 상기 머신러닝 학습부에 저장된 학습 결과와 비교하고, 비교 결과에 따라 아바타의 움직임을 제어하는 아바타 제어부; 및
상기 아바타 제어부에 의해 동작 제어된 아바타의 움직임이 출력되는 출력 장치
를 포함하는 아바타 모션 제어 시스템.
- 제 1 항에 있어서,
상기 영상입력 장치는 웹캠(web cam)인 아바타 모션 제어 시스템.
- 제 1 항에 있어서,
상기 데이터 추출부는,
상기 영상입력 장치에서 입력된 영상을 2차원 영상의 프레임 단위로 나누고, 2차원 영상에 표시되는 사용자의 신체에 대한 특징점을 기준으로 하나 이상의 키 조인트를 설정하는 특징 추출부;
상기 특징 추출부에서 설정된 키 조인트의 위치를 2차원의 좌표로 설정하는 좌표부; 및
상기 좌표부에서 설정된 키 조인트의 2차원 좌표를 3차원 스켈레톤 값으로 변환하는 변환부
를 포함하고, 상기 아바타 제어부는 상기 변환부에서 변환된 3차원 스켈레톤 값에 따라 아바타의 움직임을 제어하는 아바타 모션 제어 시스템.
- 제 3 항에 있어서,
상기 키 조인트는 인체의 관절의 위치를 기준으로 설정되는 아바타 모션 제어 시스템.
- 제 3 항에 있어서,
상기 키 조인트는 사용자의 어깨, 팔꿈치, 손, 손목 및 허리 중 하나 이상에 설정되는 아바타 모션 제어 시스템.
- 제 3 항에 있어서,
상기 키 조인트는 사용자의 눈, 눈썹, 코, 입, 귀 및 광대 중 하나 이상에 설정되는 아바타 모션 제어 시스템.
- 제 3 항에 있어서,
상기 머신러닝 학습부는 상기 머신러닝 모델로서 OPENPOSE AI 모델이 적용되는 아바타 모션 제어 시스템.
- 제 3 항에 있어서,
상기 변환부는 유니티 ML Barracuda를 매개하여 키 조인트 값을 3차원 스켈레톤 값으로 변환하는 아바타 모션 제어 시스템.
- 제 8 항에 있어서,
상기 변환부는 상기 3차원 스켈레톤 값을 칼만필터 정규식을 활용하여 평균치를 도출하고, 도출된 평균치를 출력하는 아바타 모션 제어 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20220174086 | 2022-12-13 | ||
| KR1020220174086 | 2022-12-13 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20240088557A true KR20240088557A (ko) | 2024-06-20 |
Family
ID=91669841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230134655A KR20240088557A (ko) | 2022-12-13 | 2023-10-10 | 웹캠을 이용한 동작 추적 기반 아바타 모션 제어시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20240088557A (ko) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102469274B1 (ko) | 2022-06-30 | 2022-11-22 | 주식회사 에이펀인터렉티브 | 상호 작용 사물의 물리 정보를 고려한 메타버스 캐릭터 제작 시스템 및 방법 |
-
2023
- 2023-10-10 KR KR1020230134655A patent/KR20240088557A/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102469274B1 (ko) | 2022-06-30 | 2022-11-22 | 주식회사 에이펀인터렉티브 | 상호 작용 사물의 물리 정보를 고려한 메타버스 캐릭터 제작 시스템 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107632699B (zh) | 基于多感知数据融合的人机自然交互系统 | |
| CN108983636B (zh) | 人机智能共生平台系统 | |
| CN105252532A (zh) | 动作捕捉机器人协同柔性姿态控制的方法 | |
| Krishnaswamy et al. | Communicating and acting: Understanding gesture in simulation semantics | |
| CN114967937B (zh) | 一种虚拟人运动生成方法与系统 | |
| Li et al. | An enhanced teaching interface for a robot using DMP and GMR | |
| Dan et al. | Survey on hand gesture recognition approaches | |
| CN112149531B (zh) | 一种行为识别中人体骨骼数据的建模方法 | |
| Vannucci et al. | A visual tracking model implemented on the iCub robot as a use case for a novel neurorobotic toolkit integrating brain and physics simulation | |
| KR20240088557A (ko) | 웹캠을 이용한 동작 추적 기반 아바타 모션 제어시스템 | |
| KR101525011B1 (ko) | Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법 | |
| KR101519589B1 (ko) | 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법 | |
| Infantino et al. | A cognitive architecture for robotic hand posture learning | |
| Waldow et al. | Deep Neural Labeling: Hybrid Hand Pose Estimation Using Unlabeled Motion Capture Data With Color Gloves in Context of German Sign Language | |
| CN113807280A (zh) | 一种基于Kinect的虚拟船舶机舱系统与方法 | |
| Mumbare et al. | Software Controller using Hand Gestures | |
| KR20240088558A (ko) | 메타버스를 통한 거래를 위한 안면 모션 캡처 시스템 | |
| Deherkar et al. | Gesture controlled virtual reality based conferencing | |
| Jayasurya et al. | Gesture controlled AI-robot using Kinect | |
| Covre et al. | Generation of action recognition training data through rotoscoping and augmentation of synthetic animations | |
| CN113342167B (zh) | 一种基于多人视角定位空间交互ar实现方法和系统 | |
| Zhang et al. | Tele-immersive interaction with intelligent virtual agents based on real-time 3D modeling | |
| Ohmoto et al. | Design of Immersive Environment for Social Interaction Based on Socio-Spatial Information and the Applications. | |
| EPIFANI | Non-verbal communication through a robotic physical avatar: A study using minimal sensor information | |
| Sampathkumar | Real time motion control for natural human robot interaction |