KR20130068191A - 모션 추적 기반 3차원 인터페이스 장치 및 그 방법 - Google Patents

모션 추적 기반 3차원 인터페이스 장치 및 그 방법 Download PDF

Info

Publication number
KR20130068191A
KR20130068191A KR1020110134825A KR20110134825A KR20130068191A KR 20130068191 A KR20130068191 A KR 20130068191A KR 1020110134825 A KR1020110134825 A KR 1020110134825A KR 20110134825 A KR20110134825 A KR 20110134825A KR 20130068191 A KR20130068191 A KR 20130068191A
Authority
KR
South Korea
Prior art keywords
user
motion
joint
unit
depth map
Prior art date
Application number
KR1020110134825A
Other languages
English (en)
Other versions
KR101710000B1 (ko
Inventor
김용완
조동식
김혜미
김영희
김현빈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020110134825A priority Critical patent/KR101710000B1/ko
Publication of KR20130068191A publication Critical patent/KR20130068191A/ko
Application granted granted Critical
Publication of KR101710000B1 publication Critical patent/KR101710000B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

모션 추적 기반 3차원 인터페이스 장치 및 그 방법이 개시된다. 본 발명의 일 실시예에 따른 모션 추적 기반 3차원 인터페이스 장치는 깊이맵 센서와 사용자 조작 인터페이스를 통해 감지신호를 생성하고, 감지신호를 이용하여 깊이맵 모션 검출영역과 사용자 관절 가려짐 영역을 포함하는 센싱 공간 내에서 사용자 전신에 대한 모션을 추적한다.

Description

모션 추적 기반 3차원 인터페이스 장치 및 그 방법 {3D interface device and method based motion tracking of user}
본 발명의 일 양상은 콘텐츠 제공기술에 관한 것으로, 보다 상세하게는 모션인식 기반 가상 콘텐츠 제공기술에 관한 것이다.
가상현실 및 게임 등에 동작인식 기반 상호작용 기술이 상용화되기 시작하여 TV 등 다양한 상품 분야로 확산되고 있다. 나아가, 3D 기술의 대중화와 더불어 가정용 엔터테인먼트 산업에 상호작용이 가능한 다양한 체험 기술로 응용되고 있다.
3D 콘텐츠를 실제와 동일하게 시청할 수 있는 입체영상과 상호작용 기술을 융합하여 살아 움직이는 생동감과 사실감을 극대화시킬 수 있는 동작 체험형 콘텐츠가 향후 주를 이룰 것으로 예상된다. 즉, 사용자가 직접 가상객체와 상호작용할 수 있는 모션 추적 기반의 3차원 인터페이스를 이용하여 레포츠, 게임, 엔터테인먼트, 교육 등의 분야에 체험형 콘텐츠를 지원할 수 있는 제안되고 있다.
하지만, 실제 동작과 동일하지 않는 사용자 인터랙션 환경 및 모션 기반 콘텐츠 경험은 사용자의 체험 만족도를 떨어뜨리는 주요 요소라고 할 수 있다. 제한된 센서 범위와 신체에 의해 가려져 검출되지 않는 관절 부위 및 부정확한 모션 정확도 등 많은 개선점을 필요로 하고 있다.
선행기술 한국 등록특허 제10-0733964호에는 모션 인식과 음성인식을 이용한 게임 장치 및 그 방법에 대해, 한국 공개특허 제10-2011-0045589호에는 3차원 가상객체를 사용자의 움직임을 감지해서 사용자가 직접 만지고 변형할 수 있는 인터페이스 기술에 대해 각각 개시하고 있다.
일 양상에 따라, 사용자와의 상호작용을 위해 사용자 자신의 특정 신체에 의해 가려지는 관절 부위를 포함한 사용자 전신에 대한 모션을 추적하기 위한 모션 추적 기반 3차원 인터페이스 장치 및 그 방법을 제안한다.
일 양상에 따른 모션 추적 기반 3차원 인터페이스 장치는, 깊이맵 센서와 사용자 조작 인터페이스를 통해 감지신호를 생성하는 하이브리드 센서부와, 감지신호를 이용하여 깊이맵 모션 검출영역과 사용자 관절 가려짐 영역을 포함하는 센싱 공간 내에서 사용자 전신에 대한 모션을 추적하는 전신 모션 추적부를 포함한다.
추가 양상에 따른 모션 추적 기반 3차원 인터페이스 장치는, 전신 모션 추적부를 통한 사용자 전신 모션 추적결과를 이용하여 가상환경 기반 인터랙티브 콘텐츠를 제공하는 인터랙티브 콘텐츠 제공부를 포함한다.
다른 양상에 따른 모션 추적 기반 3차원 인터페이스 방법은, 깊이맵 센서와 사용자 조작 인터페이스를 통해 감지신호를 생성하는 단계와, 감지신호를 이용하여 깊이맵 모션 검출영역과 사용자 관절 가려짐 영역을 포함하는 센싱 공간 내에서 사용자 전신에 대한 모션을 추적하는 단계를 포함한다.
일 실시예에 따르면, 깊이맵 센서와 사용자 조작 인터페이스를 이용하여 사용자 자신의 특정 신체에 의해 가려지는 관절 부위를 포함한 센싱 영역에서의 사용자 전신에 대한 모션을 정확하고 자연스럽게 추적할 수 있다. 특히, 사용자의 신체에 별도의 추적 센서 부착 없이 사용자 전신의 모션을 반영하고 사용자의 특정 신체 영역에 가려져 검출되지 않는 관절 부위를 추적할 수 있다. 나아가 사용자 전신 모션 추적결과를 이용하여 사용자 모션에 의해 반응하는 가상객체들에 대한 시뮬레이션을 수행하고, 실제와 동일한 시각적 환경을 사용자에게 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 인터페이스 장치의 동작 예를 도시한 참조도,
도 2는 본 발명의 일 실시예에 따른 3차원 인터페이스 장치의 구성도,
도 3은 본 발명의 일 실시예에 따른 하이브리드 센서부의 세부 구성도,
도 4는 본 발명의 일 실시예에 따른 전신 모션 추적부의 세부 구성도,
도 5는 본 발명의 일 실시예에 따른 인터랙티브 콘텐츠 제공부의 세부 구성도,
도 6은 본 발명의 일 실시예에 따른 3차원 인터페이스 장치의 모션 추적 기반 3차원 인터페이스 방법을 도시한 흐름도이다.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 3차원 인터페이스 장치(1)의 동작 예를 도시한 참조도이다.
3차원 인터페이스 장치(1)는 사용자의 동작을 인식하고 사용자 동작인식에 기반하여 실제환경과 가상환경을 정합한 가상현실(virtual reality)을 사용자에게 제공한다. 이때, 3차원 인터페이스 장치(1)는 실제환경(real world)과 가상환경(virtual world)의 정합 결과가 현실감 있고 자연스럽도록 하기 위해 사용자 동작인식 기반 상호작용(interaction) 기술을 제공한다. 특히, 3차원 인터페이스 장치(1)는 사용자와의 상호작용을 위해 사용자 자신의 특정 신체에 의해 가려지는 관절 부위를 포함한 사용자 전신에 대한 모션을 추적한다.
3차원 인터페이스 장치(1)의 동작 예를 들면, 도 1에 도시된 바와 같이 사용자가 사용자 조작 인터페이스(102)를 손에 들고 움직이는 동작 등을 통해 게임을 하는 경우, 3차원 인터페이스 장치(1)가 사용자의 동작을 인식하여 게임을 진행할 수 있게 하거나, 사용자의 동작을 인식하여 사용자와 상호작용한다.
사용자 조작 인터페이스(102)는 사용자 신체의 소정 기관에 장착되거나 사용자 신체의 소정 기관에 의해 조작되는 물리적 인터페이스이다. 도 1에서는 사용자 조작 인터페이스(102)가 사용자의 손에 장착되나, 사용자의 머리, 팔, 다리, 발 등 사용자의 신체의 소정 기관에 장착되거나 신체의 소정 기관을 통해 조작 가능한 모든 형태의 인터페이스 장치로 대체될 수 있다.
3차원 인터페이스 장치(1)는 깊이맵 센서(depth map sensor)(100)를 통해 사용자 전신의 관절정보를 획득하고, 사용자 조작 인터페이스(102)를 통해 사용자 자신의 특정 신체에 의해 가려지는 관절정보를 획득한다. 이는 사용자에 의해 가려지는 관절영역을 포함한 센싱 영역 내에서 사용자 전신에 대한 사용자 모션을 정확하고 자연스럽게 추적하기 위함이다. 깊이맵 센서(100)는 사용자에 직접적인 센서 장착 없이 사용자의 깊이정보를 획득하는 센서로, 사용자의 컬러 이미지와 깊이 이미지를 획득하는 깊이맵 카메라와 사용자의 모션을 센싱하는 모션 센서 중 적어도 하나일 수 있다.
3차원 인터페이스 장치(1)는 깊이정보를 센싱하는 깊이맵 센서(100)와 사용자 조작 인터페이스(102)가 혼합된 하이브리드 센서부를 이용하여, 깊이맵 모션 검출영역(A)과 사용자 관절 가려짐 영역(B)을 포함하는 센싱 영역 내에서 사용자 전신에 대한 사용자 모션을 추적한다. 깊이맵 모션 검출영역(A)은 깊이맵 센서(100)를 이용하여 검출할 수 있는 사용자 인체영역이다. 사용자 관절 가려짐 영역(B)은 사용자 자신의 특정 신체영역에 의해 가려져 깊이맵 센서(100)로는 검출할 수 없어서, 사용자 조작 인터페이스(102)를 이용하여 검출할 수 있는 사용자 인체영역이다.
추가 양상에 따르면 3차원 인터페이스 장치(1)는 깊이맵 센서(100)와 사용자 조작 인터페이스(102)를 통한 사용자 전신 모션 추적결과를 이용하여 가상환경 기반 인터랙티브 콘텐츠를 사용자에게 제공한다. 특히, 3차원 인터페이스 장치(1)는 조작객체와 가상객체 간의 충돌을 처리하고, 조작객체와 가상객체 간 충돌시 가상객체가 사실적으로 반응할 수 있도록 가상환경 시뮬레이션 결과(C)를 제공한다. 조작객체는 센싱 공간 내의 사용자의 손, 센싱 공간 내의 사용자의 신체, 사용자 조작 인터페이스(102)를 포함하는 센싱 공간 내의 물체이다.
도 2는 본 발명의 일 실시예에 따른 3차원 인터페이스 장치(1)의 구성도이다.
3차원 인터페이스 장치(1)는 하이브리드 센서부(10), 전신 모션 추적부(12) 및 인터랙티브 콘텐츠 제공부(14)를 포함한다.
하이브리드 센서부(10)는 깊이맵 센서(100)와 사용자 조작 인터페이스(102)를 통해 감지신호를 생성한다. 하이브리드 센서부(10)에서의 감지신호는 전신 모션 추적부(12)에 무선으로 전송될 수 있다. 하이브리드 센서부(10)에 대한 상세한 설명은 도 3에서 후술한다.
전신 모션 추적부(12)는 하이브리드 센서부(10)를 통한 감지신호를 이용해서, 깊이맵 모션 검출영역(A)과 사용자 관절 가려짐 영역(B)을 포함하는 센싱 공간 내에서 사용자 전신에 대한 모션을 추적한다. 전신 모션 추적부(12)는 사용자의 위치와 자세로부터 이에 대응하는 관절을 추적하는 역기구학적(Inverse Kinematics) 모션 해석을 통해 사용자 전신에 대한 모션을 추적할 수 있다. 전신 모션 추적부(12)에 대한 상세한 설명은 도 4에서 후술한다.
인터랙티브 콘텐츠 제공부(14)는 전신 모션 추적부(12)를 통한 사용자 전신 모션 추적결과를 이용하여 가상환경 기반 인터랙티브 콘텐츠를 제공한다. 인터랙티브 콘텐츠 제공부(14)에 대한 상세한 설명은 도 5에서 후술한다.
도 3은 본 발명의 일 실시예에 따른 하이브리드 센서부(10)의 세부 구성도이다.
하이브리드 센서부(10)는 깊이맵 센서(100)와 사용자 조작 인터페이스(102)를 포함한다.
깊이맵 센서(100)는 사용자에 대한 깊이정보를 획득한다. 깊이맵 센서(100)는 3D 깊이 카메라(1000)와 모션 센서(1010) 중 적어도 하나일 수 있다. 3D 깊이 카메라(1000)는 사용자를 촬영하여 컬러 이미지와 깊이 이미지를 동시에 획득한다. 깊이맵 센서(100)를 통해 획득된 깊이정보는 전신 모션 추적부(12)가 사용자 전신의 관절을 추적하는 데 이용된다.
사용자 조작 인터페이스(102)는 사용자 신체의 소정 기관에 장착되거나 신체의 소정 기관을 이용하여 조작되는 물리적 인터페이스 장치이다. 특히, 사용자 조작 인터페이스(102)가 사용자의 손에 장착되는 경우, 사용자 조작 인터페이스(102)를 실핸드 타입 인터페이스라 명한다. 사용자 조작 인터페이스(102)에는 사용자의 모션을 감지할 수 있는 센서가 장착된다. 예를 들면, 도 2에 도시된 바와 같이, 사용자 모션에 의한 가속도 정보를 제공하는 가속도 센서(1020)와, 사용자 모션에 의한 방향 정보를 제공하는 자이로스코프 센서(1022)와, 사용자가 가상객체와 충돌했을 때 사용자의 촉감 정보를 제공하는 진동 센서(1024), 또는 이들의 결합형태의 센서가 내장된다. 도 1을 참조로 센서 적용 예를 들면, 가속도 센서(1020)는 사용자의 손 움직임에 대한 가속도 정보를 제공하고, 자이로스코프 센서(1022)는 손의 방향 정보를 제공한다.
도 4는 본 발명의 일 실시예에 따른 전신 모션 추적부(12)의 세부 구성도이다.
전신 모션 추적부(12)는 깊이맵 기반 인체 관절 탐색부(120), 가려짐 영역 탐색부(122), 가려짐 영역 내 관절 탐색부(124), 손 움직임 추적부(126), 팔 관절 자세 추적부(128) 및 사용자 인체 환경정보 데이터베이스(129)를 포함한다.
깊이맵 기반 인체 관절 탐색부(120)는 깊이맵 센서(100)로부터 깊이정보를 획득하여 깊이맵 모션 검출영역(A) 내 전신 관절을 추적한다. 가려짐 영역 탐색부(122)는 깊이맵 모션 검출영역(A) 내 사용자 관절 가려짐 영역(B)을 탐색한다. 가려짐 영역 내 관절 탐색부(124)는 가려짐 영역 탐색부(122)에 의해 탐색된 사용자 관절 가려짐 영역(B) 내의 인체 관절을 탐색한다.
손 움직임 추적부(126)는 사용자 조작 인터페이스(102)로부터 사용자 손 움직임을 추적한다. 팔 관절 자세 추적부(128)는 신체 관절의 동작이 제한되는 영역의 특성을 이용하여 사용자의 팔 관절 자세를 추적한다.
사용자 인체 환경정보 데이터베이스(129)는 사용자 인체 환경정보를 저장한다. 사용자 인체 환경정보는 관절별 자유도 및 동작 범위로 모사된 인체 관절 정보와, 사용자별 인체 크기 정보와, 사용자와 깊이맵 센서 간 상호작용하는 거리 정보와, 사용자가 위치한 실제공간의 크기와, 조작객체의 사용자 물리 환경 정보 중 적어도 하나를 포함한다.
일 실시예에 따르면, 깊이맵 기반 인체 관절 탐색부(120)와 가려짐 영역 탐색부(122) 및 가려짐 영역 내 관절 탐색부(124)는 깊이맵 모션 검출영역과 사용자 관절 가려짐 영역 탐색 및 각 영역 내 관절 탐색 시에 사용자 인체 환경정보 데이터베이스(129)에 저장된 사용자 인체 환경정보를 이용한다.
다른 실시예에 따르면, 팔 관절 자세 추적부(128)는 사용자 인체 환경정보 데이터베이스(129)에 저장된 사용자 인체 환경정보와 신체 관절의 동작이 제한되는 영역의 특성을 이용하여 역기구학적으로 팔의 관절 자세를 추적한다.
도 5는 본 발명의 일 실시예에 따른 인터랙티브 콘텐츠 제공부(14)의 세부 구성도이다.
인터랙티브 콘텐츠 제공부(14)는 인터랙션 환경 시뮬레이션부(140)와 몰입 시각 환경 제시부(142)를 포함한다.
인터랙션 환경 시뮬레이션부(140)는 사용자 모션에 의해 반응하는 가상객체들에 대한 시뮬레이션을 수행한다. 인터랙션 환경 시뮬레이션부(140)는 충돌 처리부(1400)와 가상환경 시뮬레이션부(1402)를 포함한다.
충돌 처리부(1400)는 인체의 외형적 기하 표현 구조를 포함한 인체모델 데이터를 이용하여 조작객체와 가상객체 간의 충돌 처리를 수행한다. 가상환경 시뮬레이션부(1402)는 조작객체와 가상객체 간 충돌시 가상객체가 사실적으로 반응할 수 있도록 시뮬레이션을 수행한다. 조작객체는 센싱 공간 내의 사용자의 손, 센싱 공간 내의 사용자의 신체, 사용자 조작 인터페이스(102)를 포함하는 센싱 공간 내의 물체이다. 충돌처리 세부 프로세스는 본 발명의 핵심적인 사항이 아니므로 이에 대한 상세한 기술 설명은 생략한다.
몰입 시각 환경 제시부(142)는 실제와 동일한 시각적 환경을 제공한다. 몰입 시각 환경 제시부(142)는 몰입 가시화부(1420)와 3차원 입체 가시화부(1422) 및 가상현실 가시화부(1424)를 포함한다.
몰입 가시화부(1420)는 사용자 머리의 움직임에 따라 사용자에게 가상의 시각적 뷰를 제시한다. 3차원 입체 가시화부(1422)는 3차원 데이터로 표현된 가상객체에 깊이감을 가하여 사용자의 시각에 제시한다. 가상현실 가시화부(1424)는 가상객체와 조작객체를 정합하여 시각적으로 제시한다.
도 6은 본 발명의 일 실시예에 따른 3차원 인터페이스 장치(1)의 모션 추적 기반 3차원 인터페이스 방법을 도시한 흐름도이다.
3차원 인터페이스 장치(1)는 깊이맵 센서(100)와 사용자 조작 인터페이스(102)를 통해 감지신호를 생성한다(6000).
이어서, 3차원 인터페이스 장치(1)는 감지신호를 이용하여 깊이맵 모션 검출영역과 사용자 관절 가려짐 영역을 포함하는 센싱 공간 내에서 사용자 전신에 대한 모션을 추적한다(6100). 사용자 전신 모션 추적단계(6100)에서, 3차원 인터페이스 장치(1)는 사용자의 위치와 자세로부터 이에 대응하는 관절을 추적하는 역기구학적 모션 해석을 통해 사용자 전신에 대한 모션을 추적할 수 있다.
일 실시예에 따르면, 사용자 전신 모션 추적단계(6100)에서 3차원 인터페이스 장치(1)는 깊이맵 센서(100)로부터 깊이정보를 획득하여 깊이맵 모션 검출영역(A) 내 전신 관절을 추적한다. 그리고, 깊이맵 모션 검출영역 내 사용자 관절 가려짐 영역을 탐색하고 탐색된 사용자 관절 가려짐 영역 내의 인체 관절을 탐색한다. 또한, 사용자 조작 인터페이스(102)로부터 사용자 손 움직임을 추적하고, 신체 관절의 동작이 제한되는 영역의 특성을 이용하여 사용자의 팔 관절 자세를 추적한다.
이어서, 3차원 인터페이스 장치(1)는 사용자 전신 모션 추적결과를 이용하여 가상환경 기반 인터랙티브 콘텐츠를 제공한다(6200). 이를 위해 사용자 모션에 의해 반응하는 가상객체들에 대한 시뮬레이션을 수행하고, 실제와 동일한 시각적 환경을 제공한다.
일 예로, 3차원 인터페이스 장치(1)는 인체의 외형적 기하 표현 구조를 포함한 인체모델 데이터를 이용하여 조작객체와 가상객체 간의 충돌 처리를 수행하고, 조작객체와 가상객체 간 충돌시 가상객체가 사실적으로 반응할 수 있도록 시뮬레이션을 수행한다. 나아가, 3차원 인터페이스 장치(1)는 사용자 머리의 움직임에 따라 사용자에게 가상의 시각적 뷰를 제시하고, 가상객체에 깊이감을 가하여 사용자의 시각에 제시하며, 조작객체와 가상객체를 정합하여 시각적으로 제시한다.
이제까지 본 발명에 대하여 그 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1 : 3차원 인터페이스 장치 10 : 하이브리드 센서부
12 : 전신 모션 추적부 14 : 인터랙티브 콘텐츠 제공부
100 : 깊이맵 센서 102 : 사용자 조작 인터페이스
120 : 깊이맵 기반 인체 관절 탐색부 122 : 가려짐 영역 탐색부
124 : 가려짐 영역 내 관절 탐색부 126 : 손 움직임 추적부
128 : 팔 관절 자세 추적부 129 : 사용자 인체 환경정보 데이터베이스
140 : 인터랙션 환경 시뮬레이션부 142 : 몰입 시각 환경 제시부
1000 : 3D 깊이 카메라 1010 : 모션 센서
1020 : 가속도 센서 1022 : 자이로스코프 센서
1024 : 진동 센서 1400 : 충돌 처리부
1402 : 가상환경 시뮬레이션부 1420 : 몰입 가시화부
1422 : 3차원 입체 가시화부 1424 : 가상현실 가시화부

Claims (20)

  1. 깊이맵 센서와 사용자 조작 인터페이스를 통해 감지신호를 생성하는 하이브리드 센서부; 및
    상기 감지신호를 이용하여 깊이맵 모션 검출영역과 사용자 관절 가려짐 영역을 포함하는 센싱 공간 내에서 사용자 전신에 대한 모션을 추적하는 전신 모션 추적부;
    를 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  2. 제 1 항에 있어서,
    상기 깊이맵 모션 검출영역은 상기 깊이맵 센서를 이용하여 검출할 수 있는 사용자 전신 인체영역인 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  3. 제 1 항에 있어서,
    상기 사용자 관절 가려짐 영역은 사용자 자신의 특정 신체영역에 의해 가려져 상기 사용자 조작 인터페이스를 이용하여 검출할 수 있는 사용자 인체영역인 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  4. 제 1 항에 있어서, 상기 깊이맵 센서는,
    3D 깊이 카메라와 모션 센서 중에서 적어도 하나인 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  5. 제 1 항에 있어서, 상기 사용자 조작 인터페이스는,
    상기 깊이맵 센서로부터 검출되지 않는 사용자 관절 가려짐 영역 내 인체 관절을 추적하기 위해 사용자 신체의 소정 기관에 장착되거나 사용자 신체의 소정 기관에 의해 조작되는 물리적 인터페이스인 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  6. 제 1 항에 있어서, 상기 사용자 조작 인터페이스는,
    사용자 모션에 의한 가속도 정보를 제공하는 가속도 센서;
    사용자 모션에 의한 방향 정보를 제공하는 자이로스코프 센서; 및
    사용자 조작객체와 가상객체 간 충돌시 촉감 정보를 제공하는 진동 센서;
    중 적어도 하나 또는 이들의 결합 형태의 센서를 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  7. 제 1 항에 있어서, 상기 전신 모션 추적부는,
    사용자의 위치와 자세로부터 이에 대응하는 인체 관절을 추적하는 역기구학적 모션 해석을 통해 사용자 전신에 대한 모션을 추적하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  8. 제 1 항에 있어서, 상기 전신 모션 추적부는,
    상기 깊이맵 센서로부터 깊이정보를 획득하여 깊이맵 모션 검출영역 내 전신 관절을 추적하는 깊이맵 기반 인체 관절 탐색부;
    깊이맵 모션 검출영역 내 사용자 관절 가려짐 영역을 탐색하는 가려짐 영역 탐색부; 및
    상기 가려짐 영역 탐색부에 의해 탐색된 사용자 관절 가려짐 영역 내의 인체 관절을 탐색하는 가려짐 영역 내 관절 탐색부;
    를 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  9. 제 8 항에 있어서, 상기 전신 모션 추적부는,
    상기 사용자 조작 인터페이스로부터 사용자 손 움직임을 추적하는 손 움직임 추적부; 및
    인체 관절의 동작이 제한되는 영역의 특성을 이용하여 사용자의 팔 관절 자세를 추적하는 팔 관절 자세 추적부;
    를 더 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  10. 제 8 항에 있어서,
    사용자 인체 환경정보를 저장하는 사용자 인체 환경정보 데이터베이스; 를 더 포함하며,
    상기 깊이맵 기반 인체 관절 탐색부와 상기 가려짐 영역 탐색부 및 상기 가려짐 영역 내 관절 탐색부는, 각 영역 탐색과 각 영역 내 관절 탐색 시에 상기 사용자 인체 환경정보 데이터베이스에 저장된 사용자 인체 환경정보를 이용하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  11. 제 10 항에 있어서,
    상기 사용자 인체 환경정보는 관절별 자유도 및 동작 범위로 모사된 인체 관절 정보와, 사용자별 인체 크기 정보와, 사용자와 깊이맵 센서 간 상호작용하는 거리 정보와, 사용자가 위치한 실제공간의 크기와, 조작객체의 사용자 물리 환경 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  12. 제 9 항에 있어서, 사용자 인체 환경정보를 저장하는 사용자 인체 환경정보 데이터베이스; 를 더 포함하며,
    상기 팔 관절 자세 추적부는, 상기 사용자 인체 환경정보 데이터베이스에 저장된 사용자 인체 환경정보와 인체 관절의 동작이 제한되는 영역의 특성을 이용하여 역기구학적으로 팔의 관절 자세를 추적하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  13. 제 1 항에 있어서,
    상기 전신 모션 추적부를 통한 사용자 전신 모션 추적결과를 이용하여 가상환경 기반 인터랙티브 콘텐츠를 제공하는 인터랙티브 콘텐츠 제공부;
    를 더 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  14. 제 13 항에 있어서, 상기 인터랙티브 콘텐츠 제공부는,
    사용자 모션에 의해 반응하는 가상객체에 대한 시뮬레이션을 수행하는 인터랙션 환경 시뮬레이션부; 및
    실제와 동일한 시각적 환경을 제공하는 몰입 시각 환경 제시부;
    를 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  15. 제 14 항에 있어서, 상기 인터랙션 환경 시뮬레이션부는,
    인체의 외형적 기하 표현 구조를 포함한 인체모델 데이터를 이용하여 조작객체와 가상객체 간의 충돌 처리를 수행하는 충돌 처리부; 및
    조작객체와 가상객체 간 충돌시 가상객체가 사실적으로 반응할 수 있도록 시뮬레이션을 수행하는 가상환경 시뮬레이션부;
    를 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  16. 제 14 항에 있어서, 상기 몰입 시각 환경 제시부는,
    사용자 머리의 움직임에 따라 사용자에게 가상의 시각적 뷰를 제시하는 몰입 가시화부;
    가상객체에 깊이감을 가하여 사용자의 시각에 제시하는 3차원 입체 가시화부; 및
    조작객체와 가상객체를 정합하여 시각적으로 제시하는 가상현실 가시화부;
    를 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 장치.
  17. 깊이맵 센서와 사용자 조작 인터페이스를 통해 감지신호를 생성하는 단계; 및
    상기 감지신호를 이용하여 깊이맵 모션 검출영역과 사용자 관절 가려짐 영역을 포함하는 센싱 공간 내에서 사용자 전신에 대한 모션을 추적하는 단계;
    를 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 방법.
  18. 제 17 항에 있어서, 상기 사용자 전신에 대한 모션을 추적하는 단계는,
    사용자의 위치와 자세로부터 이에 대응하는 관절을 추적하는 역기구학적 모션 해석을 통해 사용자 전신에 대한 모션을 추적하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 방법.
  19. 제 17 항에 있어서, 상기 사용자 전신에 대한 모션을 추적하는 단계는,
    상기 깊이맵 센서로부터 깊이정보를 획득하여 깊이맵 모션 검출영역 내 전신 관절을 추적하는 단계;
    깊이맵 모션 검출영역 내 사용자 관절 가려짐 영역을 탐색하고 탐색된 사용자 관절 가려짐 영역 내의 인체 관절을 탐색하는 단계;
    상기 사용자 조작 인터페이스로부터 사용자 손 움직임을 추적하는 단계; 및
    신체 관절의 동작이 제한되는 영역의 특성을 이용하여 사용자의 팔 관절 자세를 추적하는 단계;
    를 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 방법.
  20. 제 17 항에 있어서,
    사용자 전신 모션 추적결과를 이용하여 가상환경 기반 인터랙티브 콘텐츠를 제공하는 단계;
    를 더 포함하는 것을 특징으로 하는 모션 추적 기반 3차원 인터페이스 방법.
KR1020110134825A 2011-12-14 2011-12-14 모션 추적 기반 3차원 인터페이스 장치 및 그 방법 KR101710000B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110134825A KR101710000B1 (ko) 2011-12-14 2011-12-14 모션 추적 기반 3차원 인터페이스 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110134825A KR101710000B1 (ko) 2011-12-14 2011-12-14 모션 추적 기반 3차원 인터페이스 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130068191A true KR20130068191A (ko) 2013-06-26
KR101710000B1 KR101710000B1 (ko) 2017-02-27

Family

ID=48863868

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110134825A KR101710000B1 (ko) 2011-12-14 2011-12-14 모션 추적 기반 3차원 인터페이스 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101710000B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150040580A (ko) * 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법
US9378559B2 (en) 2014-03-31 2016-06-28 Electronics And Telecommunications Research Institute System and method for motion estimation
CN107844361A (zh) * 2017-11-10 2018-03-27 石家庄学院 运动轨迹仿真模拟系统
KR102049045B1 (ko) * 2018-05-17 2019-11-26 주식회사 패러렐월드 원격지에서 공존 놀이 체험을 위한 가상현실 시스템 및 방법
KR20200144744A (ko) 2019-06-19 2020-12-30 이종화 모션 캡처 시스템을 기반으로 3차원 모션을 분석 및 시각화하는 방법 및 시스템
KR102477479B1 (ko) * 2021-12-29 2022-12-14 광주과학기술원 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법
WO2023013879A1 (en) * 2021-08-03 2023-02-09 Samsung Electronics Co., Ltd. A method and system for tracking at least one action of the user(s) for overcoming occlusion

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190050551A (ko) * 2017-11-03 2019-05-13 전자부품연구원 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100106203A (ko) * 2009-03-23 2010-10-01 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
KR20110044391A (ko) * 2009-10-23 2011-04-29 삼성전자주식회사 입력 장치 및 방법
KR20110045589A (ko) * 2009-10-27 2011-05-04 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100106203A (ko) * 2009-03-23 2010-10-01 삼성전자주식회사 멀티 텔레포인터, 가상 객체 표시 장치, 및 가상 객체 제어 방법
KR20110044391A (ko) * 2009-10-23 2011-04-29 삼성전자주식회사 입력 장치 및 방법
KR20110045589A (ko) * 2009-10-27 2011-05-04 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150040580A (ko) * 2013-10-07 2015-04-15 한국전자통신연구원 가상 공간 멀티 터치 인터랙션 장치 및 방법
US9378559B2 (en) 2014-03-31 2016-06-28 Electronics And Telecommunications Research Institute System and method for motion estimation
CN107844361A (zh) * 2017-11-10 2018-03-27 石家庄学院 运动轨迹仿真模拟系统
KR102049045B1 (ko) * 2018-05-17 2019-11-26 주식회사 패러렐월드 원격지에서 공존 놀이 체험을 위한 가상현실 시스템 및 방법
KR20200144744A (ko) 2019-06-19 2020-12-30 이종화 모션 캡처 시스템을 기반으로 3차원 모션을 분석 및 시각화하는 방법 및 시스템
WO2023013879A1 (en) * 2021-08-03 2023-02-09 Samsung Electronics Co., Ltd. A method and system for tracking at least one action of the user(s) for overcoming occlusion
KR102477479B1 (ko) * 2021-12-29 2022-12-14 광주과학기술원 복수의 센서 또는 장치를 이용하여 복수 참가자의 전방향 움직임을 오류 없이 인식 및 분류하여 콘텐츠 기반의 다자 게임을 가능하게 하는 시스템 및 방법

Also Published As

Publication number Publication date
KR101710000B1 (ko) 2017-02-27

Similar Documents

Publication Publication Date Title
KR20130068191A (ko) 모션 추적 기반 3차원 인터페이스 장치 및 그 방법
US8749557B2 (en) Interacting with user interface via avatar
US10126553B2 (en) Control device with holographic element
KR102284821B1 (ko) 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치
US8414393B2 (en) Game device, control method for a game device, and a non-transitory information storage medium
US8933931B2 (en) Distributed asynchronous localization and mapping for augmented reality
Ha et al. WeARHand: Head-worn, RGB-D camera-based, bare-hand user interface with visually enhanced depth perception
Qian et al. Portal-ble: Intuitive free-hand manipulation in unbounded smartphone-based augmented reality
Kanamori et al. Obstacle avoidance method in real space for virtual reality immersion
US20110292036A1 (en) Depth sensor with application interface
JPWO2017134886A1 (ja) 情報処理装置、情報処理方法、及び記録媒体
CN109643014A (zh) 头戴式显示器追踪
Wilson et al. Walking in place using the Microsoft Kinect to explore a large VE
Williams et al. Torso versus gaze direction to navigate a ve by walking in place
WO2017021902A1 (en) System and method for gesture based measurement of virtual reality space
WO2012172548A1 (en) Method for translating a movement and an orientation of a predefined object into a computer generated data
Tao et al. Manufacturing assembly simulations in virtual and augmented reality
Mihaľov et al. Potential of low cost motion sensors compared to programming environments
US10852814B1 (en) Bounding virtual object
KR20150044243A (ko) 손 아바타를 이용한 콘텐츠 제어가능 전자학습 장치 및 방법
Settgast et al. Hands-free navigation in immersive environments for the evaluation of the effectiveness of indoor navigation systems
WO2017014671A1 (ru) Водительский тренажер виртуальной реальности с дополнением реальными объектами
RU160084U1 (ru) Водительский тренажер виртуальной реальности с дополнением реальными объектами
Rebelo et al. Tangible Objects in Virtual Reality for Visuo-Haptic Feedback
KR20180078046A (ko) 가상현실 또는 증강현실 디스플레이를 이용한 문자교육방법 및 그 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant