KR102097033B1 - 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 - Google Patents

보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 Download PDF

Info

Publication number
KR102097033B1
KR102097033B1 KR1020190128548A KR20190128548A KR102097033B1 KR 102097033 B1 KR102097033 B1 KR 102097033B1 KR 1020190128548 A KR1020190128548 A KR 1020190128548A KR 20190128548 A KR20190128548 A KR 20190128548A KR 102097033 B1 KR102097033 B1 KR 102097033B1
Authority
KR
South Korea
Prior art keywords
user
head
unit
information
motion
Prior art date
Application number
KR1020190128548A
Other languages
English (en)
Inventor
김태균
Original Assignee
주식회사 코탁스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코탁스 filed Critical 주식회사 코탁스
Priority to KR1020190128548A priority Critical patent/KR102097033B1/ko
Application granted granted Critical
Publication of KR102097033B1 publication Critical patent/KR102097033B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062—Arrangements for scanning
    • A61B5/0064—Body surface scanning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1077—Measuring of profiles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1079—Measuring physical dimensions, e.g. size of the entire body or parts thereof using optical or photographic means
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템으로서, 사용자의 외형을 촬영하여, 사용자의 체형 정보를 획득하는 촬상 유닛; 및 촬상 유닛으로부터 체형 정보를 수신하여, 체형 정보로부터 사용자의 관절 위치 정보, 조직 길이 정보, 조직 부피 정보를 추출하는 포인트 추출 유닛을 포함하는 기술적 사상을 개시한다.

Description

보디 포인트 인터액션 센싱을 통한 모션 추정 시스템{System for estimating motion by sensing interaction of point body}
본 발명은 사용자의 모션을 추정하기 위한 시스템으로서, 보다 자세하게는, 사용자의 신체를 스캐닝한 후, 사용자가 착용한 헤드 마운트 유닛과 핸드 그립 유닛을 통하여 사용자의 동작을 분석한 후, 사용자 보디 포인트의 상호 인터액션의 센싱을 통하여 사용자 전신의 모션을 추정하도록 하는 시스템에 관한 기술분야이다.
키보드, 마우스가 주류를 이루던 퍼스널 컴퓨터 시대를 지나, 손가락 터치만으로 자유롭게 사용이 가능한 스마트폰이 출현하면서 컴퓨팅 장치의 사용자 인터페이스 기술은 새로운 전환점을 맞았다.
손가락 터치는 기존의 마우스 클릭보다 직관적이고 자연스럽게 사용할 수 있는 방법으로 손쉽게 앱을 실행하고 콘텐츠를 조작할 수 있게 함으로써 스마 트폰 사용 확산에 중요한 역할을 하였다.
이제는 TV, 오디오, 벽면 등 많은 주변 공간의 사물들이 네트워크로 연결되면서 이런 장치들과의 인터랙션을 위한 새로운 방법이 요구되고 있는 상황에서, 사용자의 몸 움직임을 이용하여 스마트기기들과 직관적으로 쉽게 상호작용하는 제스처 인식 기술에 대한 관심이 커져가고 있다.
제스처 인식 기술은 크게 접촉식(non-visual tracking)과 비접촉식 (visual tracking)으로 나뉠 수 있으며, 비접촉식 제스처 인식은 환경 센서에 의한 방법과 웨어러블 센서에 의한 방법으로 구분할 수 있다.
두 방법 모두 장단점이 있으나, 웨어러블 센서에 의한 방법은 사용자의 행동반경 제약이 적고, 언제 어디서나 사용이 가능하므로 시간과 장소의 자유로움 등 여러 가지 면에서 웨어러블 기술만의 장점을 가지고 있다.
한편, 웨 어러블 디바이스는 전용 앱과 독립적인 클라우 서버에 연결되어 폐쇄적으로 사용되던 단계를 지나, 다양한 센서를 내장하고 인터넷 연결을 통해 정보화된 공간에 연결됨으로써 실시간 맞춤형 서비스 제공이 가능한 웨어러블 2.0 시대를 맞이하였으며, 웨어러블 제스처 인식 기술도 이런 흐름의 요구에 부응하여 모션 트랭킹 뿐만 아니라 움직임 방향, 속도까지 분석하도록 기술이 발전되고 있다. ("웨어러블 디바이스를 이용한 제스처 인식기술동향", 한국전자통신연구원 매거진(2015.06. 참고)
사용자의 모션, 동작 센싱은 다양한 분야에 응용될 수 있는데, 이러한 기술적 개선과 혁신의 시도는 특허문헌 등에서 다수 나타나고 있다.
일 예로서, "동작인식 기반의 가상훈련 시스템 및 그 제어방법(등록번호 제 10-1401656호, 이하 특허문헌1이라 한다.)"이라 존재한다.
특허문헌1에 따른 발명은 가상훈련 시스템에 로그인하기 위한 인증모션정보를 모션감지센서로부터 전달받아 가상훈련 시스템에 로그인하는 단계; 및 가상훈련 시스템에 로그인되면 가상훈련 선택요청정보를 화면상에 출력해주고 모션감지센서로부터 가상훈련 선택모션정보가 입력되면 선택된 가상훈련 콘텐츠를 실행하는 단계를 포함한다.
"센서 모듈의 데이터 송수신을 이용한 모션 캡쳐 시스템 및 이를 이용한 모션 캡쳐 방법(등록번호 제 10-1654156호, 이하 특허문헌2라 한다.)"이 존재한다.
특허문헌2에 따른 발명의 경우, 센서 모듈의 데이터 송수신을 이용한 모션 캡쳐 시스템은, 방위를 감지하는 지자기센서, 가속도 및 가속도 방향 감지하는 가속도센서, 회전 관성을 감지하는 자이로센서를 포함하는 센서 모듈; 센서 모듈을 내부에 장착하고 센서 모듈을 외부 충격으로부터 보호하는 센서 케이스; 센서 케이스 내부에 장착되며, 고유의 식별신호를 갖고, 센서 모듈과 연결되어 상기 센서 모듈의 각 지자기센서, 가속도센서, 자이로센서에서 송출하는 센싱 데이터 및 고유 식별신호를 외부로 송출하는 송수신기; 센서 케이스 하부에 결합하여, 센서 모듈, 송수신기를 내장한 센서 케이스를 사용자의 신체에 부착되도록 하는 마운트 부를 포함하는 다수의 모션 센서 장치와, 다수의 모션 센서 장치의 각 송수신기로부터 송출되는 고유 식별 신호 및 센서모듈의 센싱 데이터를 수신하여 사용자의 신체 중, 각 모션 센서 장치가 장착된 위치에서의 센싱 데이터를 기반으로 모션 센싱 연산을 수행하는 서버로 구성되는 것을 개시한다.
"웨어러블 센서 기반의 동작 훈련 가이드 시스템 및 그 방법(등록번호 제 10-1859549호, 이하 특허문헌3이라 한다.)"이 존재한다.
특허문헌3에 따른 발명은 웨어러블 센서 기반의 동작 훈련 가이드 시스템 및 그 방법에 관한 것으로서, 복수의 사용자를 대상으로, 사용자의 N개 부위에 개별 장착된 N개 센서를 이용하여 사용자의 설정 동작 시에 획득되는 모션 데이터를 수집하는 단계, 수집한 모션 데이터를 딥러닝 학습시켜, 설정 동작에 대응하는 각 부위의 기준 모 션 범위를 획득하여 저장하는 단계, 학습자의 설정 동작 시 학습자의 M개 부위(N개 부위 중 일부)에 장착된 M개 센서를 이용하여 모션 데이터를 획득하여 기준 모션 범위와 비교하고, 비교 결과를 제공하여 학습자의 동작을 가이드하는 단계, M개 부위 각각의 모션 데이터가 해당 기준 모션 범위를 모두 만족하면, 모션 데이터에 기반하여 연산된 학습자의 운동량을 설정 동작에 대한 기준 운동량과 비교하는 단계, 및 학습자의 운동량이 기준 운동량을 만족하지 못하면, M개 부위 이외의 다른 부위에 센서를 추가 장착하여 동작의 재측정을 유도하는 알림 메시지를 제공하는 단계를 포함한다.
"웨어러블 모션 트래킹 시스템(공개번호 제 10-2019-0087473호, 이하 특허문헌4라 한다.)"이 존재한다.
특허문헌4에 따른 발명의 경우, 사용자의 제1몸체부와 제2몸체부 사이의 상대 위치를 포착하기 위한 웨어러블 모션 트래킹 시스템은, 제1측정 장치, 제2측정 장치 및 컴퓨터 장치를 포함하고, 컴퓨팅 장치에 의해 제1 및 제2측정 장치 사이에서 복수의 측정치를 얻도록 구성된다.
기존의 공개 특허문헌들이나 상용화된 모션 센싱기술들의 경우, 사용자의 신체 곳곳에 모션 센싱을 하는 센서를 장착하도록 하여 사용자의 동작을 인식하는 것이 대부분이었는데, 이러한 방식은 비용도 많이들 뿐만 아니라, 동작 센싱을 위한 전후 작업과 절차가 거추장스러우며 복잡한 문제가 있었다.
또한 단순한 영상 인식을 통해 사용자의 모션을 센싱하는 것은 사용자의 모션을 가시광선 혹은 기타 전자기파로 인식하는 것에 해당할뿐, 사용자의 모션을 카메라 없이 인식해야만 하는 상황에서는 적용하기 힘든 문제점이 있었다.
등록번호 제 10-1401656호 등록번호 제 10-1654156호 등록번호 제 10-1859549호 공개번호 제 10-2019-0087473호
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템은 상기한 바와 같은 종래 문제점을 해결하기 위해 안출된 것으로서, 다음과 같은 해결하고자 하는 과제를 제시한다.
첫째, 신체의 각 부위에 대한 구체적인 동작 정보가 없이도 사용자의 행동을 센싱할 수 있도록 하고자 한다.
둘째, 사용자의 일부 부위에 대한 동작 정봉에 기초하여, 사용자 신체 전신에 대한 모션을 추정할 수 있도록 하고자 한다.
셋째, 사용자의 신체에 맞추어진, 사용자 모션을 추정할 수 있도록 하고자 한다.
본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템은 상기의 해결하고자 하는 과제를 위하여 다음과 같은 과제 해결 수단을 가진다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 사용자의 외형을 촬영하여, 상기 사용자의 체형 정보를 획득하는 촬상 유닛; 및 상기 촬상 유닛으로부터 상기 체형 정보를 수신하여, 상기 체형 정보로부터 상기 사용자의 관절 위치 정보, 조직 길이 정보, 조직 부피 정보를 추출하는 포인트 추출 유닛을 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 포인트 추출 유닛은, 상기 체형 정보로부터 상기 사용자의 전신을 스캐닝하고 상기 사용자의 각 조직의 형상, 각 조직의 크기, 각 조직의 상호 배치관계를 획득하는 보디 스캐닝부; 상기 보디 스캐닝부로부터 상기 각 조직의 상호 배치관계를 통해 상기 사용자의 관절 포인트를 획득하는 조인트 획득부; 및 상기 보디 스캐닝부로부터 상기 각 조직의 형상, 상기 각 조직의 크기, 상기 각 조직의 상호 배치관계를 통해 3D 입체 영상으로 구현하는 스트럭쳐 획득부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 사용자의 두부 또는 안면부(상기 "두부 또는 안면부"를 "헤드"라 한다. 이하 같다.)에 선택적으로 제공되어, 상기 사용자의 헤드 동작 정보를 획득하는 헤드 마운트 유닛; 상기 사용자의 양 손에 제공되어, 상기 사용자의 핸드 동작 정보를 획득하는 핸드 그립 유닛; 및 상기 포인트 추출 유닛으로부터 상기 사용자의 관절 위치 정보, 조직 길이 정보, 조직 부피 정보를 획득하며, 상기 헤드 마운트 유닛으로부터 상기 헤드 동작 정보를 획득하고, 상기 핸드 그립 유닛으로부터 상기 핸드 동작 정보를 획득하여, 상기 사용자의 체형 정보에 따른 상기 사용자의 모션 정보를 추정해내는 모션 에스티메이팅 유닛을 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 헤드 마운트 유닛은, 상기 사용자의 상기 헤드의 수평 회전을 감지하여, 수평 회전 속도 및 수평 회전 시간을 측정하는 헤드 회전 인식부; 상기 사용자의 상기 헤드의 3차원적 병진 운동의 가속도를 측정하는 헤드 가속 인식부; 및 상기 사용자의 양 손 각각으로부터 상기 사용자의 상기 헤드까지의 거리를 각각 측정하는 헤드 위치 인식부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 핸드 그립 유닛은, 상기 사용자의 양 손 각각의 회전을 감지하여, 회전 속도 및 회전 시각을 측정하는 핸드 회전 인식부; 상기 사용자의 양 손 각각의 3차원적 병진 운동의 가속도를 측정하는 핸드 가속 인식부; 및 상기 사용자의 상기 헤드로부터 상기 사용자의 양 손까지의 거리를 각각 측정하는 핸드 위치 인식부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 모션 에스티메이팅 유닛은, 상기 헤드 마운트 유닛으로부터 상기 사용자의 상기 헤드의 상기 수평 회전 속도와 상기 수평 회전 시간을 획득하고, 상기 사용자의 상기 헤드의 3차원적 병진 운동을 획득하며, 상기 사용자의 양 손 각각으로부터 상기 사용자의 상기 헤드까지의 거리를 인식하여, 상기 사용자의 헤드 동작 정보와 헤드 위치 정보를 인식하는 헤드 인식부; 및 상기 핸드 그립 유닛으로부터 상기 사용자의 양 손 각각의 상기 회전 속도 및 회전 시각을 획득하고, 상기 사용자의 양 손 각각의 3차원적 병진 운동의 가속도를 획득하며, 상기 사용자의 상기 헤드로부터 양 손 각각까지의 거리를 인식하여, 상기 사용자의 핸드 동작 정보와 핸드 위치 정보를 인식하는 핸드 인식부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 모션 에스티메이팅 유닛은, 상기 헤드 인식부로부터 상기 헤드 동작 정보와 상기 헤드 위치 정보를 획득하며, 상기 관절 포인트의 움직임을 통해 상기 사용자의 척추의 움직임을 추정하여 상기 3D 입체 영상에 매핑하는 보디축 인식부; 및 상기 헤드 인식부로부터 상기 헤드 동작 정보와 상기 헤드 위치 정보를 획득하며, 상기 핸드 인식부로부터 상기 핸드 동작 정보와 상기 핸드 위치 정보를 획득하여, 상기 관절 포인트의 움직임을 통해 상기 사용자의 레그(leg)의 움직임을 추정하여 상기 3D 입체 영상에 매핑하는 레그 추정부를 더 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 헤드 인식부는, 상기 헤드 위치 정보를 입수하여, 상기 3D 입체 영상에 상기 사용자의 상기 헤드의 위치를 매핑하는 상하 위치 인식부; 상기 헤드 동작 정보를 입수하고 상기 헤드의 수평 앵글을 산출하여, 상기 3D 입체 영상에 상기 사용자 헤드의 형상을 매핑하는 수평 회전 인식부; 상기 헤드 동작 정보를 입수하고 상기 헤드의 상하 앵글을 산출하여, 상기 3D 입체 영상에 상기 사용자 헤드의 형상을 매핑하는 수직 회전 인식부; 및 상기 헤드 위치 정보와 상기 핸드 위치 정보에 기초하고, 상기 체형 정보에 맞추어 상기 헤드 위치 정보와 상기 핸드 위치 정보를 재조정하여, 상기 사용자의 3D 입체 형상에 상기 헤드의 위치를 재 매핑하는 헤드 포지셔닝부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 핸드 인식부는, 상기 핸드 가속 인식부로부터 상기 사용자의 양 손의 3차원적 병진운동의 가속도의 정보를 입수하여, 상기 3D 입체 영상에 상기 사용자의 양 손의 위치를 매핑하는 병진운동 센싱부; 상기 핸드 회전 인식부로부터 상기 사용자의 양 손 각각의 상기 회전 속도와 상기 회전 시각을 입수하여, 상기 3D 입체 영상에 상기 사용자의 양 손의 형상을 매핑하는 회전운동 센싱부; 및 상기 헤드 위치 정보와 상기 핸드 위치 정보에 기초하고, 상기 체형 정보에 맞추어 상기 헤드 위치 정보와 상기 핸드 위치 정보를 재조정하여, 상기 사용자의 3D 입체 형상에 상기 사용자의 양 손의 위치를 재 매핑하는 핸드 포지셔닝부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 보디축 인식부는, 상기 사용자의 상기 체형 정보에 기초하며, 상기 헤드 포지셔닝부로부터 상기 헤드의 위치에 기초하고, 상기 사용자의 핸드 위치 정보에 기초하여 상기 사용자의 척추의 상하 각도를 산출하여, 상기 3D 입체 영상에 매핑하는 앵글 인식부; 및 상기 사용자의 체형 정보에 기초하며, 상기 병진운동 센싱부로부터 상기 사용자의 양 손의 위치에 기초하고, 상기 사용자의 상기 헤드의 상기 수평 앵글에 기초하여, 상기 사용자의 척추의 회전 정도를 인식하여 상기 3D 입체 영상에 매핑하는 로테이트 인식부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상기 레그 추정부는, 상기 스트럭쳐 획득부로부터 상기 사용자의 각 조직의 상호 배치관계를 통해 상기 사용자의 신체 밸런스 정보를 획득하는 밸런스 획득부; 상기 사용자의 상기 신체 밸런스 정보에 맞추어, 상기 헤드 위치 정보와 상기 핸드 위치 정보에 기초하여 상기 사용자의 레그(leg) 형상 패턴을 통계치에 기초하여 산출하는 상대패턴 산출부; 및 상기 상대패턴 산출부로부터 상기 레그 형상 패턴을 상기 사용자의 운동 모드에 맞추어 재수정하는 틸팅 피드백부를 포함하는 것을 특징으로 할 수 있다.
이상과 같은 구성의 본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템은 다음과 같은 효과를 제공한다.
첫째, 사용자가 착용한 헤드 마운트 유닛과 핸드 그립 유닛의 동작을 통해 사용자의 전신의 모션 정보를 추정하게 된다.
둘째, 사용자의 전신을 미리 스캐닝하여, 사용자가 착용한 헤드 마운트 유닛과 핸드 그립 유닛의 동작을 통해 사용자 전신에 맞추어 전신에 대한 동작 정보를 추정하게 된다.
셋째, 운동 모드 마다 비롯되는 전형적인 동작 패턴에 맞추어져, 헤드와 양 손의 동작에 따른 하체의 모션에 대한 추정의 정확성을 높이게 된다.
넷째, 헤드와 양 손의 동작을 통해 사용자의 척추에 대한 정보와 레그에 대한 정보까지, 사용자 전신 스캐닝 정보에 맞추어 진행하게 된다.
발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 포인트 추출 유닛 관련 개념도이다.
도2는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 포인트 추출 유닛이 사용자의 체형 정보를 획득하는 것을 도시한 것이다.
도 3은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 포인트 추출 유닛이 사용자의 체형 정보를 획득한 후, 사용자의 관절 위치 정보, 조직 길이 정보, 조직 부피 정보를 획득하는 것을 도시한 것이다.
도 4는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 헤드 마운트 유닛, 핸드 그립 유닛의 개념도이다.
도 5는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 사용자가 헤드 마운트 유닛을 장착하고 핸드 그립 유닛을 착용한 상태에서 움직이는 것을 도시한 개념도이다.
도 6은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 도 5의 움직임 후, 모션 에스티메이팅 유닛이 사용자의 모션 정보를 추정한 그래픽을 도시한 것이다.
도 7은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중 포인트 추출 유닛을 도시한 블록도이다.
도 8은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 헤드 마운트 유닛을 도시한 블록도이다.
도 9는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 핸드 그립 유닛을 도시한 블록도이다.
도 10은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 다수의 구성들을 도시한 블록도이다.
도 11은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중 헤드 인식부의 구성을 도시한 블록도이다.
도 12는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 핸드 인식부의 구성들을 도시한 블록도이다.
도 13은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 보디축 인식부의 구성을 도시한 블록도이다.
도 14는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 레그 추정부의 구성을 도시한 블록도이다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 포인트 추출 유닛 관련 개념도이다. 도2는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 포인트 추출 유닛이 사용자의 체형 정보를 획득하는 것을 도시한 것이다. 도 3은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 포인트 추출 유닛이 사용자의 체형 정보를 획득한 후, 사용자의 관절 위치 정보, 조직 길이 정보, 조직 부피 정보를 획득하는 것을 도시한 것이다. 도 4는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 헤드 마운트 유닛, 핸드 그립 유닛의 개념도이다. 도 5는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 사용자가 헤드 마운트 유닛을 장착하고 핸드 그립 유닛을 착용한 상태에서 움직이는 것을 도시한 개념도이다. 도 6은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 도 5의 움직임 후, 모션 에스티메이팅 유닛이 사용자의 모션 정보를 추정한 그래픽을 도시한 것이다. 도 7은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중 포인트 추출 유닛을 도시한 블록도이다. 도 8은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 헤드 마운트 유닛을 도시한 블록도이다. 도 9는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 핸드 그립 유닛을 도시한 블록도이다. 도 10은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 다수의 구성들을 도시한 블록도이다. 도 11은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중 헤드 인식부의 구성을 도시한 블록도이다. 도 12는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 핸드 인식부의 구성들을 도시한 블록도이다. 도 13은 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 보디축 인식부의 구성을 도시한 블록도이다. 도 14는 본 발명의 일 실시예에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 중, 레그 추정부의 구성을 도시한 블록도이다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 상술한 바와 같이, VR 등을 착용한 상태의 사용자의 동작을 실시간으로 인식하여 사용자의 VR 내 디스플레이에 사용자 자신의 동작을 실시간으로 그대로 반영하여, 다양한 가상 시뮬레이션, 가상 게임, 가상 체험, 가상 테스트 등을 진행할 수 있도록 하는 모션 추정 시스템에 관한 것이다.
먼저, 도 1에 도시된 바와 같이, VR을 착용하는 사용자의 신체를 우선 스캔하기 위하여, 촬상 유닛(100)이 사용자의 신체의 외형을 촬영하게 된다.
촬상 유닛(10)은 도 1에 도시된 바와 같이, 사용자의 신체의 전신을 스캔하게 되는데, 이 과정에서 사용자의 신체의 형상을 단순히 2D 로 인식하지 않고, 도 2에 도시된 바와 같이, 체형 정보를 3D 영상으로 획득하기 위하여, 듀얼 렌즈를 통하여 사용자 신체의 전후 상하의 포커싱을 통하여 입체적으로 획득하는 것이 중요하다.
도 1에 도시된 바와 같이, 본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 촬상 유닛(10)이 획득한 사용자의 체형 정보를 포인트 추출 유닛(100)으로 전송하게 된다.
촬상 유닛(10)은 획득한 사용자 체형 정보를 디지털 정보로 획득하여 유무선 인터넷 혹은 유선 케이블을 통하여 포인트 추출 유닛(100)으로 전송할 수 있으며, 전송의 방식에는 제한이 없다할 것이다.
포인트 추출 유닛(100)의 경우, 촬상 유닛(10)으로부터 촬상 유닛(10)이 획득한 체형 정보를 수신하게 된다.
도 3에 도시된 바와 같이, 포인트 추출 유닛(100)의 경우, 체형 정보를 수신하여 체형 정보로부터 사용자의 관절 위치 정보, 조직 길이 정보, 조직 부피 정보를 추출하게 된다.
여기서 사용자의 조직이라 함은, 사용자 신체에 있어서 관절과 관절 사이에 존재하여, 양 관절을 구획 경계로 하여 정의될 수 있는 신체의 각 부위를 말할 수 있다.
사용자의 조직은 당연히 어느 일 관절과 신체의 말단 부위 사이를 정의할 수 있으며, 관절이 아니라 할지라도 일정하게 형상를 가지며 통념상 구획할 수 있는 개념이면 족하다.
본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 포인트 추출 유닛(100)의 경우, 도 7에 도시된 바와 같이, 보디 스캐닝부(110), 조인트 획득부(120) 및 스트럭쳐 획득부(130)를 포함할 수 있다.
먼저, 보디 스캐닝부(110)는 도 2에 도시된 바와 같이, 체형 정보로부터 사용자의 전신을 스캐닝하게 된다.
보디 스캐닝부(110)는 사용자의 각 조직의 형상, 각 조직의 크기, 각 조직의 상호 배치관계를 획득하는데, 이러한 프로세스를 통해, 사용자 마다 각기 상이한 신체적 특징을 획득하게 된다.
조인트 획득부(120)의 경우, 보디 스캐닝부(110)로부터 각 조직의 상호 배치관계를 통해 사용자의 관절 포인트를 획득하게 된다.
도 3에 도시된 바와 같이, 조인트 획득부(120)는 보디 스캐닝부(110)가 획득한 정보로부터 사용자의 관절의 위치를 파악한 후, 사용자의 3차원 영상 상에 조인트 즉 관절의 위치를 설정하고 기억하게 된다.
스트럭쳐 획득부(130)의 경우, 도 2, 3 및 6에 도시된 바와 같이, 보디 스캐닝부(110)로부터 각 조직의 형상, 각 조직의 크기, 각 조직의 상호 배치관계를 통해 3D 입체 영상을 구현하게 된다.
3D 입체 영상의 경우, 도 6에 도시된 바와 같은 영상일 수 있는데, 이러한 영상에 기초하여, VR을 통해 구현되는 물리엔진이나, 구동되는 소프트웨어의 특성에 맞게 색감을 입히면 될 것이다.
도 4에 도시된 바와 같이, 본 발명에 따른 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템의 경우, 헤드 마운트 유닛(head mount unit, 200), 핸드 그립 유닛(hand grip unit, 300) 및 모션 에스티메이팅 유닛(motion estimating unit, 400)을 더 포함할 수 있다.
먼저, 헤드 마운트 유닛(200)의 경우, 도 4 및 7에 도시된 바와 같이, 사용자의 두부(head) 혹은 안면부(face)(상기 두부 혹은 안면부를 이하 "헤드"라 한다. 이하 같다.)에 선택적으로 제공되는 구성이며, 착용 후에는 사용자에게 VR(virtual reality)를 제공하도록 사용자의 양 눈에 일정한 영상 예컨대, 도 6과 같은 3차원 영상을 디스플레이할 수 있어야 한다.
헤드 마운트 유닛(200)의 경우, 일반적인 VR 고글의 기능에 도 8에 도시된 바와 같이, 일정한 근거리 통신이 가능한 모듈이 포함되어 있어야 함은 물론, 자이로스코프나, 가속 센서, 중력 센서, 회전 가속 센서 등이 포함되어, 사용자의 헤드의 상하 이동, 전후 이동, 좌우 이동, 상하 회전, 좌우 회전, 수평 회전을 포함하는 헤드 동작 정보를 모두 인식할 수 있어야 한다.
아울러, 헤드 마운트 유닛(200)은 근거리 통신을 통하여 사용자가 양 손에 쥐고 있는 핸드 그립 유닛(300)과의 상대적인 거리를 측정할 수 있어야 한다.
핸드 그립 유닛(300)의 경우, 도 4에 도시된 바와 같이, 사용자의 양 손에 제공되어, 사용자의 핸드 동작 정보를 획득하게 된다.
핸드 그립 유닛(300)의 경우, 사용자가 클릭, 버튼 누름, 조이스틱 등을 통해 소정의 입력 수단을 구비하는 것이 바람직하다.
핸드 그립 유닛(300)의 경우, 사용자의 양 손에 쥐어질 수 있거나, 사용자의 양손에 착용될 수 있는 단말기임이 바람직하다.
핸드 그립 유닛(300)의 경우, 일정한 근거리 통신이 가능한 모듈이 포함되어 있어야 함은 물론, 자이로스코프나, 가속 센서, 중력 센서, 회전 가속 센서 등이 포함되어, 사용자의 핸드(hand)의 상하 이동, 전후 이동, 좌우 이동, 상하 회전, 좌우 회전, 수평 회전을 포함하는 핸드 동작 정보를 모두 인식할 수 있어야 한다.
핸드 그립 유닛(300)의 경우, 상술한 바와 같이, 근거리 통신을 통하여 사용자가 착용하고 있는 헤드 마운트 유닛(200)과의 거리를 인식할 수 있는 것이 바람직하다.
모션 에스티메이팅 유닛(400)은 사용자의 체형 정보에 기반을 둔 3D 입체 영상으로부터, 최종적으로 사용자의 헤드 마운트 유닛(200)과 핸드 그립 유닛(300)의 위치 정보와 동작 정보를 통해 도 5 및 6과 같은 사용자의 모션 정보를 추정해 내는 구성에 해당한다.
모션 에스티메이팅 유닛(400)의 경우, 포인트 추출 유닛(100)으로부터 사용자의 관절 위치 정보, 조직 길이 정보, 조직 부피 정보를 획득하여, 헤드 마운트 유닛(200)으로부터 헤드 동작 정보를 획득하게 된다.
모션 에스티메이팅 유닛(400)의 경우, 헤드 마운트 유닛(200)으로부터 헤드 동작 정보를 획득하게 된다.
모션 에스티메이팅 유닛(400)의 경우, 핸드 그립 유닛(300)으로부터 핸드 동작 정보를 획득하게 된다.
모션 에스티메이팅 유닛(400)의 경우, 이러한 헤드 동작 정보와 핸드 동작 정보와 더불어, 사용자의 체형 정보에 따른 사용자의 모션 정보를 추정해낸다.
즉, 모션 에스티메이팅 유닛(400)은 사용자의 머리 움직임과 손 움직임을 통해 사용자의 체형에 맞추어 전신 동작을 추정하는 것이다.
헤드 마운트 유닛(200)의 경우, 도 4, 5 및 8에 도시된 바와 같이, 헤드 회전 인식부(210), 헤드 가속 인식부(220), 및 헤드 위치 인식부(230)를 포함할 수 있다.
헤드 회전 인식부(210)의 경우, 사용자 헤드의 수평 회전을 감지하는 구성이며, 사용자 헤드의 수평 회전 속도 및 수평 회전 시간을 측정하게 된다.
헤드 회전 인식부(210)는 사용자가 지평면으로부터 바르게 직립하여 있는 상태에서 사용자의 헤드를 목을 축으로 하고, 목이 기울어지지 않게 시계 방향 혹은 반시계 방향으로 회전하여, 사용자의 안면이 좌로 혹은 우로 회전하는 방향을 말한다.
헤드 회전 인식부(210)는 수평적 회전 속도를 측정하고 수평 회전 시간을 측정하여, 사용자의 헤드가 수평적으로 얼마나 빨리 회전하는지, 그리고 어느 정도의 각도만큼 회전하는지 인식할 수 있게 된다.
헤드 가속 인식부(220)의 경우, 사용자의 헤드가 제자리에서 회전하는 것을 측정하는 것이 아니라, 사용자의 헤드가 전후, 좌우, 상하 병진 이동하는 것을 측정하는 것이며, 이러한 병진 운동의 가속도와 그 시간을 측정하는 것이다.
헤드 위치 인식부(230)는 사용자의 양 손 각각에 장착된 핸드 그립 유닛(300)과의 근거리 통신을 통하여 그들과의 상대적인 거리를 측정하여, 사용자의 손으로부터 헤드의 위치를 인식하게 된다.
헤드 위치 인식부(230)와 핸드 그립 유닛(300)은 상호 차원 혹은 주파수를 달리하는 상이한 신호를 교신하여, 교신된 신호의 위상차 혹은 시간차에 따라 상호 거리를 센싱하게 된다.
핸드 그립 유닛(300)의 경우, 도 9에 도시된 바와 같이, 핸드 회전 인식부(310), 핸드 가속 인식부(320) 및 핸드 위치 인식부(330)를 포함할 수 있다.
핸드 회전 인식부(310)의 경우, 회전 속도 및 회전 시간을 측정하는 구성으로서, 양 손의 이러한 3차원적 회전의 정도 즉, 회전 속도와 회전 시간을 측정하여, 사용자의 양 팔의 말단부인 양 손의 움직임을 측정하게 된다.
핸드 가속 인식부(320)의 경우, 사용자의 양 손 각각의 3차원적 병진 운동의 가속도와 그 시간을 측정하여, 사용자의 양 손의 3차원적 움직임의 속도와 그 시간에 따른 위치를 인식할 수 있게 된다.
핸드 위치 인식부(330)의 경우, 사용자의 헤드로부터 사용자의 양 손까지의 각각의 거리를 측정하게 된다.
핸드 위치 인식부(330)의 기작은 헤드 마운트 유닛(200)의 헤드 위치 인식부(230)에 상응하는 것인바, 그 자세한 설명은 생략하기로 한다.
보다 자세하게, 도 10에 도시된 바와 같이, 모션 에스티메이팅 유닛(400)의 경우, 헤드 인식부(410) 및 핸드 인식부(420)를 포함할 수 있다.
아울러, 보다 바람직하게, 모션 에스티메이팅 유닛(400)의 경우, 보디축 인식부(430) 및 레그 추정부(440)를 더 포함할 수 있다.
먼저, 헤드 인식부(410)의 경우, 헤드 마운트 유닛(200)으로부터 사용자의 헤드의 수평 회전 속도와 수평 회전 시간을 획득하게 된다.
헤드 인식부(410)의 경우, 사용자의 헤드의 3차원적 병진 운동을 획득하며, 사용자의 양 손 각각으로부터 사용자의 헤드까지의 거리를 인식하여, 사용자의 헤드 동작 정보와 헤드 위치 정보를 인식하게 된다.
핸드 인식부(420)의 경우, 핸드 그립 유닛(300)으로부터 사용자의 양 손 각각의 회전 속도 및 회전 시각을 획득하고, 사용자의 양 손 각각의 3차원적 병진 운동의 가속도와 시간을 획득하며, 사용자의 헤드로부터 양 손 각각까지의 거리를 인식하여, 사용자의 핸드 동작 정보와 핸드 위치 정보를 인식하게 된다.
보디축 인식부(430)의 경우, 사용자의 척추(back bone)과 척추를 중심으로 하는 상체의 중심 라인의 움직임을 센싱하도록 하는 구성이다.
보디축 즉, 척추의 경우, 도 5에 도시된 바와 같이, 사용자의 머리 움직임과 손의 움직임에 대한 정보가 있으면, 이들 머리와 손의 움직임에 따라 보디축이 가져오는 일정한 패턴을 대입하면 어느정도 추정이 가능할 수 있다.
물론 보디축의 움직임을 100% 정확히 그대로 담을 수 있는 것은 아니지만, 적어도 운동 모드 예컨대, 야구, 축구, 농구, 하키, 골프, 태권도, 요가 등의 스포츠에서 나타나는 머리와 손의 움직임에 따라 상체의 움직임을 추정할 수 있는 것이다.
보디축 인식부(430)의 경우, 헤드 인식부(420)로부터 헤드 동작 정보와 헤드 위치 정보를 획득하며, 관절 포인트의 움직임을 통해 사용자의 척추의 움직임을 추정하여 3D 입체 영상에 매핑하게 되어, 도 6과 같이 보디축의 움직임을 추정해낸다.
레그 추정부(440)의 경우, 도 5에 도시된 바와 같이, 사용자의 머리 움직임과 손의 움직임에 대한 정보가 있으면, 이들 머리와 손의 움직임에 따라 다리의 움직임을 수반하는 일정한 패턴을 대입하면 어느정도 추정이 가능할 수 있다.
물론 보디축에 비하여 레그 즉, 양 다리의 움직임은 더욱 더 그 정확성을 기하기 어려우며, 100% 정확히 그대로 담을 수 있는 것은 아니지만, 적어도 운동 모드 예컨대, 야구, 축구, 농구, 하키, 골프, 태권도, 요가 등의 스포츠에서 나타나는 머리와 손의 움직임에 따라 하체의 움직임을 추정할 수 있는 것이다.
레그 추정부(440)의 경우, 헤드 인식부(410)로부터 헤드 동작 정보와 헤드 위치 정보를 획득하며, 핸드 인식부(420)로부터 핸드 동작 정보와 핸드 위치 정보를 획득하여, 관절 포인트의 움직임을 통해 사용자의 레그(leg)의 움직임을 추정하여 3D 입체 영상에 매핑하여 도 6과 같은 하체 즉, 양 다리의 움직임을 추정해낸다.
나아가, 헤드 인식부(410)의 경우, 도 11에 도시된 바와 같이, 상하 위치 인식부(411), 수평 회전 인식부(412), 수직 회전 인식부(413), 및 헤드 포지셔닝부(414)를 포함할 수 있다.
상하 위치 인식부(411)의 경우, 상술한 바와 같이, 헤드 위치 정보를 입수하고, 도 6과 같은 3D 입체 영상에 사용자의 헤드의 위치를 매핑하게 된다.
수평 회전 인식부(412)의 경우, 헤드 동작 정보를 입수하고 헤드의 수평 앵글을 산출하여 도 6과 같은 3D 입체 영상에 사용자 헤드의 형상을 매핑하게 된다.
수직 회전 인식부(413)의 경우, 헤드 동작 정보를 입수하고 헤드의 상하 앵글을 산출하여 도 6과 같은 3D 입체 영상에 사용자 헤드의 형상을 매핑하게 된다.
헤드 포지셔닝부(414)의 경우, 헤드 위치 정보와 핸드 위치 정보에 기초하고, 체형 정보에 맞추어 헤드 위치 정보와 핸드 위치 정보를 재조정하여 사용자의 3D 입체 형상에 헤드의 위치를 재 매핑하여 정확도를 높이게 된다.
도 12에 도시된 바와 같이, 핸드 인식부(420)의 경우, 병진운동 센싱부(421), 회전운동 센싱부(422) 및 핸드 포지셔닝부(423)를 포함할 수 있다.
병진운동 센싱부(421)의 경우, 핸드 가속 인식부(320)로부터 사용자의 양 손의 3차원적 병진운동의 가속도의 정보를 입수하여, 도 6과 같은 3D 입체 영상에 사용자의 양 손의 위치를 매핑하게 된다.
회전운동 센싱부(422)의 경우, 핸드 회전 인식부(310)로부터 사용자의 양 손 각각의 회전 속도와 회전 시각을 입수하여, 도 6과 같은 3D 입체 영상에 사용자의 양 손의 형상을 매핑하게 된다.
핸드 포지셔닝부(423)의 경우, 헤드 위치 정보와 핸드 위치 정보에 기초하고, 체형 정보에 맞추어 헤드 위치 정보와 핸드 위치 정보를 재조정하여, 사용자의 도 6과 같은 3D 입체 형상에 상기 사용자의 양 손의 위치를 재 매핑하여 정확도를 높이게 된다.
도 13에 도시된 바와 같이, 보디축 인식부(430)의 경우, 앵글 인식부(431) 및 로테이트 인식부(432)를 포함할 수 있다.
먼저, 앵글 인식부(431)의 경우, 사용자의 체형 정보에 기초하며, 헤드 포지셔닝부(414)로부터 헤드의 위치에 기초하고, 사용자의 핸드 위치 정보에 기초하여 사용자의 척추의 상하 각도를 산출하여, 도 6과 같은 3D 입체 영상에 매핑하게 된다.
아울러, 로테이트 인식부(432)의 경우, 사용자의 체형 정보에 기초하며, 병진운동 센싱부(421)로부터 사용자의 양 손의 위치에 기초하고, 사용자의 헤드의 수평 앵글에 기초하여, 사용자의 척추의 회전 정도를 인식하여 도 6과 같은 3D 입체 영상에 매핑하게 된다.
도 14에 도시된 바와 같이, 레그 추정부(440)의 경우, 밸런스 획득부(441), 상대패턴 산출부(442) 및 틸팅 피드백부(443)를 포함할 수 있다.
먼저, 밸런스 획득부(441)의 경우, 스트럭쳐 획득부(130)로부터 사용자의 각 조직의 상호 배치관계를 통해 사용자의 신체 밸런스 정보를 획득하게 된다.
상대패턴 산출부(442)의 경우, 사용자의 신체 밸런스 정보에 맞추어, 헤드 위치 정보와 핸드 위치 정보에 기초하여 사용자의 레그(leg) 형상 패턴을 통계치에 기초하여 산출하게 된다.
틸팅 피드백부(443)의 경우, 상대패턴 산출부(442)로부터 레그 형상 패턴을 사용자의 운동 모드에 맞추어 재수정하여, 이를 도 6과 같은 3차원 영상에 매핑하게 된다.
본 발명의 권리 범위는 특허청구범위에 기재된 사항에 의해 결정되며, 특허 청구범위에 사용된 괄호는 선택적 한정을 위해 기재된 것이 아니라, 명확한 구성요소를 위해 사용되었으며, 괄호 내의 기재도 필수적 구성요소로 해석되어야 한다.
10: 촬상 유닛 100: 포인트 추출 유닛
110: 보디 스캐닝부 120: 조인트 획득부
130: 스트럭쳐 획득부 200: 헤드 마운트 유닛
210: 헤드 회전 인식부 220: 헤드 가속 인식부
230: 헤드 위치 인식부 300: 핸드 그립 유닛
310: 핸드 회전 인식부 320: 핸드 가속 인식부
330: 핸드 위치 인식부 400: 모션 에스티메이팅 유닛
410: 헤드 인식부 411: 상하 위치 인식부
412: 수평 회전 인식부 413: 수직 회전 인식부
414: 헤드 포지셔닝부 420: 핸드 인식부
421: 병진운동 센싱부 422: 회전운동 센싱부
423: 핸드 포지셔닝부 430: 보디축 인식부
431: 앵글 인식부 432: 로테이트 인식부
440: 레그 추정부 441: 밸런스 획득부
442: 상대패턴 산출부 443: 틸팅 피드백부

Claims (10)

  1. 사용자의 외형을 촬영하여, 상기 사용자의 체형 정보를 획득하는 촬상 유닛;
    상기 촬상 유닛으로부터 상기 체형 정보를 수신하여, 상기 체형 정보로부터 상기 사용자의 관절 위치 정보, 조직 길이 정보, 조직 부피 정보를 추출하는 포인트 추출 유닛;
    상기 사용자의 두부 또는 안면부(상기 "두부 또는 안면부"를 "헤드"라 한다. 이하 같다.)에 선택적으로 제공되어, 상기 사용자의 헤드 동작 정보를 획득하는 헤드 마운트 유닛;
    상기 사용자의 양 손에 제공되어, 상기 사용자의 핸드 동작 정보를 획득하는 핸드 그립 유닛; 및
    상기 포인트 추출 유닛으로부터 상기 사용자의 관절 위치 정보, 조직 길이 정보, 조직 부피 정보를 획득하며, 상기 헤드 마운트 유닛으로부터 상기 헤드 동작 정보를 획득하고, 상기 핸드 그립 유닛으로부터 상기 핸드 동작 정보를 획득하여, 상기 사용자의 체형 정보에 따른 상기 사용자의 모션 정보를 추정해내는 모션 에스티메이팅 유닛을 포함하되,
    상기 포인트 추출 유닛은,
    상기 체형 정보로부터 상기 사용자의 전신을 스캐닝하고 상기 사용자의 각 조직의 형상, 각 조직의 크기, 각 조직의 상호 배치관계를 획득하는 보디 스캐닝부;
    상기 보디 스캐닝부로부터 상기 각 조직의 상호 배치관계를 통해 상기 사용자의 관절 포인트를 획득하는 조인트 획득부; 및
    상기 보디 스캐닝부로부터 상기 각 조직의 형상, 상기 각 조직의 크기, 상기 각 조직의 상호 배치관계를 통해 3D 입체 영상으로 구현하는 스트럭쳐 획득부를 포함하고,
    상기 헤드 마운트 유닛은,
    상기 사용자의 상기 헤드의 수평 회전을 감지하여, 수평 회전 속도 및 수평 회전 시간을 측정하는 헤드 회전 인식부;
    상기 사용자의 상기 헤드의 3차원적 병진 운동의 가속도 및 가속도 시간을 측정하는 헤드 가속 인식부; 및
    상기 사용자의 양 손 각각으로부터 상기 사용자의 상기 헤드까지의 거리를 각각 측정하는 헤드 위치 인식부를 포함하고,
    상기 핸드 그립 유닛은,
    상기 사용자의 양 손 각각의 회전을 감지하여, 회전 속도 및 회전 시간을 측정하는 핸드 회전 인식부;
    상기 사용자의 양 손 각각의 3차원적 병진 운동의 가속도 및 가속도 시간을 측정하는 핸드 가속 인식부; 및
    상기 사용자의 상기 헤드로부터 상기 사용자의 양 손까지의 거리를 각각 측정하는 핸드 위치 인식부를 포함하고,
    상기 모션 에스티메이팅 유닛은,
    상기 헤드 마운트 유닛으로부터 상기 사용자의 상기 헤드의 상기 수평 회전 속도와 상기 수평 회전 시간을 획득하고, 상기 사용자의 상기 헤드의 3차원적 병진 운동을 획득하며, 상기 사용자의 양 손 각각으로부터 상기 사용자의 상기 헤드까지의 거리를 인식하여, 상기 사용자의 헤드 동작 정보와 헤드 위치 정보를 인식하는 헤드 인식부;
    상기 핸드 그립 유닛으로부터 상기 사용자의 양 손 각각의 상기 회전 속도 및 회전 시각을 획득하고, 상기 사용자의 양 손 각각의 3차원적 병진 운동의 가속도를 획득하며, 상기 사용자의 상기 헤드로부터 양 손 각각까지의 거리를 인식하여, 상기 사용자의 핸드 동작 정보와 핸드 위치 정보를 인식하는 핸드 인식부;
    상기 헤드 인식부로부터 상기 헤드 동작 정보와 상기 헤드 위치 정보를 획득하며, 상기 관절 포인트의 움직임을 통해 상기 사용자의 척추의 움직임을 추정하여 상기 3D 입체 영상에 매핑하는 보디축 인식부; 및
    상기 헤드 인식부로부터 상기 헤드 동작 정보와 상기 헤드 위치 정보를 획득하며, 상기 핸드 인식부로부터 상기 핸드 동작 정보와 상기 핸드 위치 정보를 획득하여, 상기 관절 포인트의 움직임을 통해 상기 사용자의 레그(leg)의 움직임을 추정하여 상기 3D 입체 영상에 매핑하는 레그 추정부를 포함하며,
    상기 헤드 인식부는,
    상기 헤드 위치 정보를 입수하여, 상기 3D 입체 영상에 상기 사용자의 상기 헤드의 위치를 매핑하는 상하 위치 인식부;
    상기 헤드 동작 정보를 입수하고 상기 헤드의 수평 앵글을 산출하여, 상기 3D 입체 영상에 상기 사용자 헤드의 형상을 매핑하는 수평 회전 인식부;
    상기 헤드 동작 정보를 입수하고 상기 헤드의 상하 앵글을 산출하여, 상기 3D 입체 영상에 상기 사용자 헤드의 형상을 매핑하는 수직 회전 인식부; 및
    상기 헤드 위치 정보와 상기 핸드 위치 정보에 기초하고, 상기 체형 정보에 맞추어 상기 헤드 위치 정보와 상기 핸드 위치 정보를 재조정하여, 상기 사용자의 3D 입체 형상에 상기 헤드의 위치를 재 매핑하는 헤드 포지셔닝부를 포함하는 것을 특징으로 하는, 모션 추정 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서, 상기 핸드 인식부는,
    상기 핸드 가속 인식부로부터 상기 사용자의 양 손의 3차원적 병진운동의 가속도의 정보를 입수하여, 상기 3D 입체 영상에 상기 사용자의 양 손의 위치를 매핑하는 병진운동 센싱부;
    상기 핸드 회전 인식부로부터 상기 사용자의 양 손 각각의 상기 회전 속도와 상기 회전 시각을 입수하여, 상기 3D 입체 영상에 상기 사용자의 양 손의 형상을 매핑하는 회전운동 센싱부; 및
    상기 헤드 위치 정보와 상기 핸드 위치 정보에 기초하고, 상기 체형 정보에 맞추어 상기 헤드 위치 정보와 상기 핸드 위치 정보를 재조정하여, 상기 사용자의 3D 입체 형상에 상기 사용자의 양 손의 위치를 재 매핑하는 핸드 포지셔닝부를 포함하는 것을 특징으로 하는, 모션 추정 시스템.
  10. 제9항에 있어서, 상기 보디축 인식부는,
    상기 사용자의 상기 체형 정보에 기초하며, 상기 헤드 포지셔닝부로부터 상기 헤드의 위치에 기초하고, 상기 사용자의 핸드 위치 정보에 기초하여 상기 사용자의 척추의 상하 각도를 산출하여, 상기 3D 입체 영상에 매핑하는 앵글 인식부; 및
    상기 사용자의 체형 정보에 기초하며, 상기 병진운동 센싱부로부터 상기 사용자의 양 손의 위치에 기초하고, 상기 사용자의 상기 헤드의 상기 수평 앵글에 기초하여, 상기 사용자의 척추의 회전 정도를 인식하여 상기 3D 입체 영상에 매핑하는 로테이트 인식부를 포함하는 것을 특징으로 하는, 모션 추정 시스템.
KR1020190128548A 2019-10-16 2019-10-16 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템 KR102097033B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190128548A KR102097033B1 (ko) 2019-10-16 2019-10-16 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190128548A KR102097033B1 (ko) 2019-10-16 2019-10-16 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템

Publications (1)

Publication Number Publication Date
KR102097033B1 true KR102097033B1 (ko) 2020-04-03

Family

ID=70282531

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190128548A KR102097033B1 (ko) 2019-10-16 2019-10-16 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템

Country Status (1)

Country Link
KR (1) KR102097033B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210146199A (ko) * 2020-05-26 2021-12-03 주식회사 디파이 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템
CN114327039A (zh) * 2021-11-24 2022-04-12 青岛歌尔声学科技有限公司 检测vr游戏用户动作的方法、系统及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264892A (ja) * 2003-01-31 2004-09-24 Olympus Corp 運動検出装置及び通信装置
KR101401656B1 (ko) 2012-12-27 2014-06-02 전자부품연구원 동작인식 기반의 가상훈련 시스템 및 그 제어방법
KR20140077820A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
KR101654156B1 (ko) 2015-06-12 2016-09-05 ㈜리커시브소프트 센서 모듈의 데이터 송수신을 이용한 모션 캡쳐 시스템 및 이를 이용한 모션 캡쳐 방법
KR101859549B1 (ko) 2017-11-15 2018-05-21 (주)컬처릿 웨어러블 센서 기반의 동작 훈련 가이드 시스템 및 그 방법
KR20190087473A (ko) 2016-11-25 2019-07-24 센소릭스 아게 웨어러블 모션 트래킹 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264892A (ja) * 2003-01-31 2004-09-24 Olympus Corp 運動検出装置及び通信装置
KR20140077820A (ko) * 2012-12-14 2014-06-24 한국전자통신연구원 인체 모델을 이용한 가상 아이템 피팅 방법 및 가상 아이템의 피팅 서비스 제공 시스템
KR101401656B1 (ko) 2012-12-27 2014-06-02 전자부품연구원 동작인식 기반의 가상훈련 시스템 및 그 제어방법
KR101654156B1 (ko) 2015-06-12 2016-09-05 ㈜리커시브소프트 센서 모듈의 데이터 송수신을 이용한 모션 캡쳐 시스템 및 이를 이용한 모션 캡쳐 방법
KR20190087473A (ko) 2016-11-25 2019-07-24 센소릭스 아게 웨어러블 모션 트래킹 시스템
KR101859549B1 (ko) 2017-11-15 2018-05-21 (주)컬처릿 웨어러블 센서 기반의 동작 훈련 가이드 시스템 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210146199A (ko) * 2020-05-26 2021-12-03 주식회사 디파이 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템
KR102377046B1 (ko) 2020-05-26 2022-03-21 주식회사 디파이 모션 기반 노쇠 정도 예측 방법, 장치 및 시스템
CN114327039A (zh) * 2021-11-24 2022-04-12 青岛歌尔声学科技有限公司 检测vr游戏用户动作的方法、系统及存储介质

Similar Documents

Publication Publication Date Title
AU2020202551B2 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US10191559B2 (en) Computer interface for manipulated objects with an absolute pose detection component
US9524021B2 (en) Imaging surround system for touch-free display control
US8933886B2 (en) Instruction input device, instruction input method, program, recording medium, and integrated circuit
US9538147B2 (en) Method and system for determining proper positioning of an object
US9229540B2 (en) Deriving input from six degrees of freedom interfaces
US8310537B2 (en) Detecting ego-motion on a mobile device displaying three-dimensional content
US20090209343A1 (en) Motion-tracking game controller
US20090296991A1 (en) Human interface electronic device
US20140009384A1 (en) Methods and systems for determining location of handheld device within 3d environment
JP5656514B2 (ja) 情報処理装置及び方法
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
EP2879098A1 (en) Three-dimensional environment sharing system, and three-dimensional environment sharing method
KR101341727B1 (ko) 3ｄ ｇｕｉ 제어 장치 및 방법
CN111353355B (zh) 动作追踪系统及方法
US10948994B2 (en) Gesture control method for wearable system and wearable system
US8555205B2 (en) System and method utilized for human and machine interface
KR102097033B1 (ko) 보디 포인트 인터액션 센싱을 통한 모션 추정 시스템
KR101811809B1 (ko) 3d hmd를 활용한 아케이드 게임시스템
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
US20230349693A1 (en) System and method for generating input data from pose estimates of a manipulated object by using light data and relative motion data
KR20190036864A (ko) 가상현실 전망용 망원경, 이를 이용한 전망용 가상현실 구동 방법 및 매체에 기록된 어플리케이션
KR102460361B1 (ko) 캘리브레이션 시스템 및 방법
KR102363435B1 (ko) 골프 스윙 동작 피드백 제공 장치 및 방법
KR101487490B1 (ko) 웨어러블 단말의 영상 분석 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant