KR102342872B1 - 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템 - Google Patents

모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템 Download PDF

Info

Publication number
KR102342872B1
KR102342872B1 KR1020200175503A KR20200175503A KR102342872B1 KR 102342872 B1 KR102342872 B1 KR 102342872B1 KR 1020200175503 A KR1020200175503 A KR 1020200175503A KR 20200175503 A KR20200175503 A KR 20200175503A KR 102342872 B1 KR102342872 B1 KR 102342872B1
Authority
KR
South Korea
Prior art keywords
robot
motion
user
unit
human body
Prior art date
Application number
KR1020200175503A
Other languages
English (en)
Inventor
옥재윤
Original Assignee
옥재윤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 옥재윤 filed Critical 옥재윤
Priority to KR1020200175503A priority Critical patent/KR102342872B1/ko
Application granted granted Critical
Publication of KR102342872B1 publication Critical patent/KR102342872B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/0062—Lubrication means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0006—Exoskeletons, i.e. resembling a human figure
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G06K9/00335—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Abstract

본 발명은 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템에 관한 것으로, 해결하고자 하는 과제는 HMD(head mount display)와 인체 모형 로봇, 그리고 이들의 모션 트래킹을 통한 가상 그래픽을 이용하여 심미적, 시각적 효과를 극대화하면서 체험자가 인체 모형 로봇과의 물리적인 상호 교감을 통한 리얼리티를 느낄 수 있도록 하는데 있다.
일례로, 사용자의 모션을 감지하여 사용자 모션 데이터를 생성하는 웨어러블 디바이스; 외부로부터 수신되는 제어신호에 따라 동작하는 인체 모형 로봇; 및 사용자의 머리에 착용되고, 상기 사용자 모션 데이터를 기초로 사용자의 모션을 트래킹하여 동작하는 제1 가상 캐릭터, 및 상기 인체 모형 로봇의 모션과 동기화된 제2 가상 캐릭터를 하나의 영상 내에 생성하여 표시하고, 사용자 지시에 따른 동작제어신호를 생성하여 상기 인체 모형 로봇으로 전송하는 HMD를 포함하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템을 개시한다.

Description

모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템{MUTUAL SYMPATHY SYSTEM BETWEEN USER AND AVATAR USING MOTION TRACKING}
본 발명의 실시예는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템에 관한 것이다.
두부 장착형 디스플레이(head mount display, 이하 HMD)는, 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시장치로, 현실세계에 3차원 가상 물체를 겹쳐 보여 주는 장치로 현실에 기반을 두고 실제현실의 환경과 컴퓨터 3차원 그래픽 형태의 가상현실을 실시간으로 합성하여 실제현실에 대해 이해를 높여 주기 위한 목적으로 사용된다.
그러나, 일반적인 HMD의 경우 실체가 없는 가상현실에서 사용자와 가상의 캐릭터 간이 상호 교감하도록 구성되어 있어, 실제 인간을 대체한 로봇과 가상 현실에서 만나 다양한 체험을 할 수 있는 장치나 시스템이 부재한 실정이다.
등록특허공보 제10-1343860호(등록일자: 2013년12월16일) 공개특허공보 제10-2014-0129936호(공개일자: 2014년11월07일) 공개특허공보 제10-2011-0136038호(2011년12월21일)
본 발명의 실시예는, HMD(head mount display)와 인체 모형 로봇, 그리고 이들의 모션 트래킹을 통한 가상 그래픽을 이용하여 심미적, 시각적 효과를 극대화하면서 체험자가 인체 모형 로봇과의 물리적인 상호 교감을 통한 리얼리티를 느낄 수 있도록 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템을 제공한다.
본 발명의 실시예에 따른 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템은, 사용자의 모션을 감지하여 사용자 모션 데이터를 생성하는 웨어러블 디바이스; 외부로부터 수신되는 제어신호에 따라 동작하는 인체 모형 로봇; 및 사용자의 머리에 착용되고, 상기 사용자 모션 데이터를 기초로 사용자의 모션을 트래킹하여 동작하는 제1 가상 캐릭터, 및 상기 인체 모형 로봇의 모션과 동기화된 제2 가상 캐릭터를 하나의 영상 내에 생성하여 표시하고, 사용자 지시에 따른 동작제어신호를 생성하여 상기 인체 모형 로봇으로 전송하는 HMD를 포함한다.
또한, 상기 웨어러블 디바이스는, FBG(Fiber Bragg Grating) 센서 및 IMU(Inertia Measurement Unit) 센서를 사용자의 모션을 감지하고, 상기 사용자 모션 데이터를 생성하는 사용자 모션 트래킹 센서부; 및 상기 HMD와 연결되고, 상기 사용자 모션 트래킹 센서부를 통해 생성된 사용자 모션 데이터를 상기 HMD로 전송하는 제1 무선 통신부를 포함할 수 있다.
또한, 상기 인체 모형 로봇은, 상기 인체 모형 로봇의 외부 구조를 형성하는 로봇 외형부; 상기 인체 모형 로봇의 관절 부위에 설치되어 상기 인체 모형 로봇의 관절 운동을 구현하기 위한 로봇 관절 구동부; 상기 로봇 관절 구동부에 설치되어 상기 인체 모형 로봇의 모션을 감지하기 위한 로봇 모션 트래킹 센서부; 상기 HMD에 미리 설정된 거리 이내로 접근하면, 상기 HMD와 페어링되어 상기 인체 모형 로봇의 동작을 개시하고, 상기 HMD로부터 상기 동작제어신호를 수신하고, 상기 로봇 모션 트래킹 센서부를 통해 생성된 로봇 모션 데이터를 상기 HMD로 전송하는 제2 무선 통신부; 및 상기 동작제어신호에 따라 상기 로봇 관절 구동부의 동작을 제어하는 로봇 관절 제어부를 포함할 수 있다.
또한, 상기 로봇 외형부는, 상기 로봇 외형부의 외부 형상을 이루는 인공 인체 구조물; 상기 인공 인체 구조물 상에 실리콘을 포함하는 재질로 인공 피부를 형성하고, 인공 피부의 적어도 한 부분이 다공성 인공 피부로 형성된 로봇 외피부; 상기 로봇 외피부 내에 배선된 열선을 포함하고, 상기 열선을 통해 미리 설정된 온도의 열이 상기 로봇 외피부에 발생하도록 동작하는 외피 히터부; 상기 인공 인체 구조물 내부에 설치된 윤활유 저장부; 및 상기 다공성 인공 피부와 상기 윤활유 저장부에 각각 연결되어 상기 윤활유 저장부로부터 상기 다공성 인공 피부로 윤활유를 배출하기 위한 배출 펌프부를 포함할 수 있다.
또한, 상기 웨어러블 디바이스는, 사용자의 심박수를 측정하는 심박수 측정부를 더 포함하고, 상기 배출 펌프부는, 상기 제2 무선 통신부를 통해 상기 심박수 측정부로부터 심박수 측정값을 수신하고, 수신된 상기 심박수 측정값이 미리 설정된 심박수 기준값 이상인 경우 미리 설정된 양만큼의 윤활유가 배출되도록 동작할 수 있다.
또한, 상기 HMD는, 상기 웨어러블 디바이스로부터 상기 사용자 모션 데이터를 수신하고, 상기 인체 모형 로봇에 미리 설정된 거리 이내로 접근하면 상기 인체 모형 로봇과 페어링되고, 상기 동작제어신호를 상기 인체 모형 로봇으로 전송하며, 상기 인체 모형 로봇으로부터 상기 로봇 모션 데이터를 수신하는 제3 무선 통신부; 다수의 후보 가상 캐릭터 중 사용자로부터 어느 하나의 가상 캐릭터를 선택 받아 상기 제2 가상 캐릭터로 설정하는 제2 가상 캐릭터 설정부; 상기 제3 무선 통신부를 통해 수신되는 상기 사용자 모션 데이터에 따른 상기 제1 가상 캐릭터를 생성하고, 상기 사용자 모션 데이터를 기초로 사용자의 모션과 동기화된 상기 제1 가상 캐릭터, 및 상기 로봇 모션 데이터를 기초로 상기 인체 모형 로봇의 모션과 동기화된 상기 제2 가상 캐릭터를 생성하는 캐릭터 구현 프로그램부; 상기 캐릭터 구현 프로그램부를 통해 생성된 상기 제1 가상 캐릭터와 상기 제2 가상 캐릭터를 하나의 영상 내 표시하는 영상 디스플레이부; 사용자의 음성을 인식하여 사용자 음성 데이터를 생성하고, 생성된 상기 사용자 음성 데이터의 내용을 분석하여 대화 데이터 및 음성 명령 데이터로 각각 분류하는 음성 데이터 분석부; 상기 대화 데이터로 분류되는 경우 미리 저장된 응답 데이터 중 상기 대화 데이터와 매칭되는 응답 데이터를 추출하여 외부로 출력하고, 상기 음성 명령 데이터로 분류되는 경우 미리 저장된 동작 제어 데이터와 매칭되는 동작제어데이터를 추출하고, 추출된 동작 제어 데이터 기반의 상기 동작제어신호를 생성하여 상기 제3 무선 통신부로 출력하는 음성 데이터 처리부; 및 상기 인체 모형 로봇에 대한 적어도 하나의 동작 제어를 위한 로봇 사용자 인터페이스를 통해 상기 동작제어신호를 생성하여 상기 제3 무선 통신부로 출력하는 사용자 로봇 조작부를 포함할 수 있다.
또한, 상기 HMD는, 상기 제1 가상 캐릭터와 상기 제2 가상 캐릭터가 표시되는 영상 내 환경 및 연출 효과 중 적어도 하나를 설정하는 환경 설정부를 더 포함할 수 있다.
또한, 실내 조명 장치와 연결되고, 상기 인체 모형 로봇과 상기 HMD가 연결되면 상기 실내 조명 장치를 턴 오프시키거나, 미리 설정된 밝기로 상기 실내 조명 장치의 밝기를 조절하는 조명 제어부를 더 포함할 수 있다.
또한, 바닥면 또는 벽면으로부터 상기 인체 모형 로봇과 연결되어 상기 인체 모형 로봇을 지지하고, 상기 인체 모형 로봇이 XY축 방향으로 수평 위치 이동하고, 상기 인체 모형 로봇의 업다운 자세가 변화되도록 Z축에 대하여 상하 방향으로 움직이며 상기 인체 모형 로봇의 Z축을 중심으로 회전시키는 로봇 이동 장치부를 더 포함할 수 있다.
또한, 상기 로봇 이동 장치부는, 상기 인체 모형 로봇의 동작 시작 시 미리 저장된 초기 동작 설정 데이터 또는 상기 동작제어신호에 따라 상기 인체 모형 로봇이 XY축 방향으로 수평 위치 이동, Z축에 대한 상하 방향의 움직임, 및 Z축 중심으로 회전 중 적어도 하나의 동작이 수행되도록 구동할 수 있다.
본 발명에 따르면, HMD(head mount display)와 인체 모형 로봇, 그리고 이들의 모션 트래킹을 통한 가상 그래픽을 이용하여 심미적, 시각적 효과를 극대화하면서 체험자가 인체 모형 로봇과의 물리적인 상호 교감을 통한 리얼리티를 느낄 수 있도록 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템을 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템의 전체 구성을 나타낸 개요도이다.
도 2는 본 발명의 실시예에 따른 웨어러블 디바이스의 구성을 나타낸 블록도이다.
도 3은 본 발명의 실시예에 따른 인체 모형 로봇의 구성을 나타낸 블록도이다.
도 4는 본 발명의 실시예에 따른 인체 모형 로봇의 로봇 외형부의 구성을 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 HMD의 구성을 나타낸 블록도이다.
도 6은 본 발명의 실시예에 따른 로봇 이동 장치부의 구성을 나타낸 블록도이다.
도 7은 본 발명의 실시예에 따른 로봇 이동 장치부의 설치 구성의 일례를 설명하기 위해 나타낸 도면이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나 이상의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 본 발명의 실시예에 따른 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템의 전체 구성을 나타낸 개요도이고, 도 2는 본 발명의 실시예에 따른 웨어러블 디바이스의 구성을 나타낸 블록도이고, 도 3은 본 발명의 실시예에 따른 인체 모형 로봇의 구성을 나타낸 블록도이고, 도 4는 본 발명의 실시예에 따른 인체 모형 로봇의 로봇 외형부의 구성을 나타낸 블록도이며, 도 5는 본 발명의 실시예에 따른 HMD의 구성을 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템(1000)은 웨어러블 디바이스(100), 인체 모형 로봇(200), HMD(300) 및 조명 제어부(400) 중 적어도 하나를 포함할 수 있다.
상기 웨어러블 디바이스(100)는, 사용자의 모션을 감지하여 사용자 모션 데이터를 생성할 수 있다. 이를 위해 웨어러블 디바이스(100)는 도 2에 도시된 바와 같이 사용자 모션 트래킹 센서부(110), 심박수 측정부(120) 및 제1 무선 통신부(130) 중 적어도 하나를 포함할 수 있다.
상기 사용자 모션 트래킹 센서부(110)는, FBG(Fiber Bragg Grating) 센서 및 IMU(Inertia Measurement Unit) 센서를 사용자의 모션을 감지하고, 사용자 모션 데이터를 생성할 수 있다.
상기 FBG 센서 즉, 광섬유 격자 센서는 부식이 되지 않아 내구성이 좋고, FBG 센서의 광원 특성 상 특정 전자기파의 영향을 받지 않아 정밀한 모션 데이터 측정에 대한 오류가 없다. 또한, 다중형 FBG 센서의 각 채널로 동시에 다수의 관절 모션 데이터의 측정이 가능한 새로운 방식의 형상 인식형 모션 측정 센서로 제작되어 다양한 산업에 활용이 가능하다. FBG 센서를 구성하는 광섬유는 입사된 광이 전반사가 이루어지도록 굴절률이 다른 코어(Fiber Core), 클래딩(Cladding) 및 이러한 코어 및 클래딩을 보호하기 위한 재킷으로 구성되는 것이 통상적이다. FBG 센서는 측정범위에 따라 일점, 분포 및 다중형 방식으로 분류될 수 있다. 여기서, 분포형 광섬유센서로서는 ODTR(Optical Time Domain Reflectometry)이 대표적이다. 이는 단일 광섬유를 이용하여 구조물의 전체적인 거동을 측정하는 데 유용하다는 장점이 있다. 다중형 광섬유센서는 하나의 광섬유센서에 2개 이상의 일점형 광섬유센서가 설치되어 있는 형태로서 FBG센서(Fiber Bragg Grating Sensor, 광섬유격자센서)가 이에 해당된다.
이러한 FBG 센서는 단일로 제작되는 경우 2차원의 각도 측정만 가능하나 3개 이상의 다중형으로 제작되는 경우 X, Y, Z축에 대한 3차원 형상 인식이 가능한 센서로서 제작이 가능하다. 이때, 3개 이상의 FBG 센서를 하나의 튜브에 삽입한 후 코팅 제작 시 각각의 FBG 센서 간의 미세한 간격이 안정적인 데이터 측정에 있어 매우 중요한 요소가 된다. 따라서, 이러한 FBG 센서의 균일한 간극 유지 및 코팅 제조 방식이 센서의 정밀도를 위해서는 상당히 중요하다고 할 수 있다.
상기 IMU(Inertia Measurement Unit) 센서는, 지자기 센서, 가속도 센서 등의 각종 센서와 더불어 고도계, 자이로 등의 기능의 하나의 칩에 들어가 있는 복합 센서로 이루어질 수 있으며, 이러한 복합 센서를 이용하여 사용자의 각 신체부위의 위치와 자세에 대한 모션 데이터를 생성할 수 있다.
상기 심박수 측정부(120)는, 사용자의 심박수를 측정하고, 이를 통해 심박수 측정값을 생성하여 제1 무선 통신부(130)를 통해 HMD(300)로 전송할 수 있다. 본 실시예에 따른 심박수 측정부(120)의 심박수 측정 방식은 일반적인 웨어러블 디바이스가 갖는 심박수 측정법을 적용할 수 있으므로, 이에 대한 보다 상세한 설명은 생략한다.
상기 제1 무선 통신부(130)는, HMD(300)와 연결되고, 사용자 모션 트래킹 센서부(110)를 통해 생성된 사용자 모션 데이터를 HMD(300)로 전송할 수 있다. 제1 무선 통신부(130)와 HMD(300)의 무선 연결 방식은 예를 들어 와이파이(Wi-Fi), 블루투스(Blue-tooth), 지그비(Zigbee), 비콘(beacon) 등의 근거리 무선 통신을 이용할 수 있으나, 본 실시예에서는 이와 같은 방식으로 무선 통신 방식을 한정하는 것은 아니며, 다양한 무선 통신 방식의 적용이 가능하다.
한편, 웨어러블 디바이스(100)는 사용자의 팔목, 팔꿈치, 어깨, 무릎, 발목, 골반, 허리, 가슴 등에 착용 가능한 밴드 형태로 제공되는 착용부(도면 부호 미도시)를 더 포함할 수 있으며, 착용 구조에 대해서는 활동성이 좋은 밴드 형태로 한정하였으나, 이에 한정하는 것은 아니며, 슈트 또는 의복 형태 등 다양한 형태로 착용부를 제작할 수 있다.
상기 인체 모형 로봇(200)는 외부로부터 수신되는 제어신호에 따라 동작하는 아바타의 역할을 수행한다. 이러한 인체 모형 로봇(200)은 도 3에 도시된 바와 같이 로봇 외형부(210), 로봇 관절 구동부(220), 로봇 모션 트래킹 센서부(230), 제2 무선 통신부(240) 및 로봇 관절 제어부(250) 중 적어도 하나를 포함할 수 있다.
상기 로봇 외형부(210)는 인체 모형 로봇의 외부 구조를 형성할 수 있다. 즉, 팔, 다리, 몸통, 손, 발, 엉덩이, 목, 머리 등 인간의 외형적 구조와 유사하게 보일 수 있도록 하는 구조물로 이루어질 수 있다. 좀 더 구체적으로 로봇 외형부(210)는 도 4에 도시된 바와 같이, 인공 인체 구조물(211), 로봇 외피부(212), 외피 히터부(213), 윤활유 저장부(214), 배출 펌프부(215) 중 적어도 하나를 포함할 수 있다.
상기 인공 인체 구조물(211)은 로봇 외형부(210)의 외부 형상을 이룰 수 있으며, 상기한 바와 같이 팔, 다리, 몸통, 손, 발, 엉덩이, 목, 머리 등 인간의 외형적 구조와 유사하게 보일 수 있도록 하는 하우징 및 내부 뼈대와 같은 구조물을 포함할 수 있다.
상기 로봇 외피부(212)는, 인공 인체 구조물(210) 상에 실리콘을 포함하는 재질로 인공 피부를 형성하고, 인공 피부의 적어도 한 부분이 다공성 인공 피부로 형성할 수 있다. 본 실시예에서, 다공성 인공 피부 부분은 인체 피부 부위 중 특정 부위를 한정하는 것은 아니며, 예를 들어 인간의 생리현상을 유사하게 표현할 수 있는 땀, 침 등이 분비되기 위한 경로로서 구현할 수 있으나, 이에 한정되는 것이 아니라, 다양한 인간의 대사기능, 성기능 등의 구현이 가능하도록 한다.
상기 외피 히터부(213)는, 로봇 외피부(212) 내에 배선된 열선을 포함하고, 열선을 통해 미리 설정된 온도의 열이 로봇 외피부에 발생하도록 동작할 수 있다. 이러한 열선은 로봇 외피부(212) 내에 외부에서 보이지 않도록 배열되거나, 핏줄과 같은 형태로 로봇 외피부(212)가 반투명 재질일 경우 살짝 보일 수 있을 정도로 설치될 수 있으며, 발생되는 열을 이용하여 로봇 외피부(212)가 인간의 피부와 같이 느껴지도록 인공의 체온을 형성할 수 있도록 한다.
상기 윤활유 저장부(214)는 인공 인체 구조물(211) 내부에 설치되며, 다공성 피부와 배출 펌프부(215)를 통해 연결될 수 있다. 여기서, 윤활유는 인간의 땀, 침 등의 분비물 등을 구현하기 위한 물질로, 인체에 무해하면서 피부 마찰력을 줄여줄 수 있는 특성을 갖는 무색 투명 또는 반투명 액체이면 모두 적용 가능하다.
상기 배출 펌프부(215)는, 다공성 인공 피부와 윤활유 저장부(214) 사이에 연결되어 윤활유 저장부(214)로부터 다공성 인공 피부로 윤활유를 배출할 수 있다. 여기서, 배출 펌프부(215)는, 인체 모형 로봇(200)이 작동을 개시한지 일정 시간이 경과되면 자동으로 동작하여 윤활유가 배출되도록 동작할 수 있으며, 인체 모형 로봇(200) 자체의 활동성(위치 이동, 특정 위치로 이동, 자세 변경, 특정 자세, 관절이 움직인 횟수 등을 수치화한 것)에 따라 윤활유의 배출 타이밍을 제어할 수 있으나, 가장 바람직하게는 제2 무선 통신부(240)를 통해 웨어러블 디바이스(120)의 심박수 측정부(120)로부터 보내온 사용자의 심박수 측정값을 수신하고, 수신된 심박수 측정값이 미리 설정된 심박수 기준값 이상인 경우 미리 설정된 양만큼의 윤활유가 배출되도록 동작할 수 있다. 예를 들어, 인간이 정신적인 자극을 받았다고 판단되는 심박수가 100인 것으로 설정되면, 배출 펌프부(215)는, 사용자의 심박수가 100 이상이 되는 순간부터 동작하였다가 100미만 또는 미리 설정된 심박수 하한치까지 떨어질 때 동작을 중지할 수 있으며, 추후 다시 심박수가 100이 되면 다시 동작을 재개할 수 있다.
상기 로봇 관절 구동부(220)는, 인체 모형 로봇(200)의 관절 부위에 설치되어 인체 모형 로봇(200)의 관절 운동을 구현할 수 있다. 예를 들어, 일반적으로 사용되는 로봇관절모터가 적용되어 인체 모형 로봇(200)이 인간의 움직임을 모사할 수 있도록 한다.
상기 로봇 모션 트래킹 센서부(230)는, 로봇 관절 구동부(220)에 설치되어 인체 모형 로봇(200)의 모션을 감지할 수 있다. 예를 들어, 로봇 모션 트래킹 센서부(230)는 IMU(Inertia Measurement Unit) 센서를 포함할 수 있으며, 좀 더 구체적으로 지자기 센서, 가속도 센서 등의 각종 센서와 더불어 고도계, 자이로 등의 기능의 하나의 칩에 들어가 있는 복합 센서로 이루어짐으로써, 인체 모형 로봇(200)의 각 관절부위의 위치와 자세에 대한 모션 데이터를 생성할 수 있다.
상기 제2 무선 통신부(240)는, HMD(300)에 미리 설정된 거리 이내로 접근하면, HMD(300)와 페어링되어 인체 모형 로봇(200)의 동작을 개시하고, HMD(300)로부터 동작제어신호를 수신하고, 로봇 모션 트래킹 센서부(230)를 통해 생성된 로봇 모션 데이터를 HMD(300)로 전송할 수 있다. 이러한 제2 무선 통신부(240)는 와이파이(Wi-Fi), 블루투스(Blue-tooth), 지그비(Zigbee), 비콘(beacon) 등의 근거리 무선 통신을 통해 HMD(300)과 연결될 수 있다.
상기 로봇 관절 제어부(250)는, 동작제어신호에 따라 로봇 관절 구동부(220)의 동작을 제어할 수 있다. 동작제어신호는 사용자에 의해 HMD(300)에서 생성된 인체 모형 로봇(200)의 모션을 제어하기 위한 것으로, 이러한 인체 모형 로봇(200)은 동작제어신호뿐만 아니라, 사용자가 인체 모형 로봇(200)을 물리적으로 움직이도록 조정되거나, 미리 설계된 동작 제어 프로그램에 따라 동작할 수 있다.
상기 HMD(300)는, 사용자의 머리에 착용되고, 사용자 모션 데이터를 기초로 사용자의 모션을 트래킹하여 동작하는 제1 가상 캐릭터(10), 및 인체 모형 로봇(200)의 모션과 동기화된 제2 가상 캐릭터(20)를 하나의 영상 내에 생성하여 표시하고, 사용자 지시에 따른 동작제어신호를 생성하여 인체 모형 로봇(200)으로 전송할 수 있다.
이를 위해 HMD(300)는 도 5에 도시된 바와 같이 제3 무선 통신부(310), 제2 가상 캐릭터 설정부(320), 캐릭터 구현 프로그램부(330), 영상 디스플레이부(340), 음성 데이터 분석부(350), 음성 데이터 처리부(360), 사용자 로봇 조작부(370) 및 환경 설정부(380) 중 적어도 하나를 포함할 수 있다.
상기 제3 무선 통신부(310)는, 웨어러블 디바이스(100)로부터 사용자 모션 데이터를 수신하고, 인체 모형 로봇(200)에 미리 설정된 거리 이내로 접근하면 인체 모형 로봇(200)과 페어링되고, 동작제어신호를 인체 모형 로봇(200)으로 전송하며, 인체 모형 로봇(200)으로부터 로봇 모션 데이터를 수신할 수 있다. 이러한 제3 무선 통신부(310)는 와이파이(Wi-Fi), 블루투스(Blue-tooth), 지그비(Zigbee), 비콘(beacon) 등의 근거리 무선 통신을 통해 웨어러블 디바이스(100) 및 인체 모형 로봇(200)와 연결될 수 있다. 또한, 제3 무선 통신부(310)는 조명 제어부(400)와 연결되거나, 소정의 적외선 신호를 출력하여 조명 제어부(400)에 미리 설정된 제어신호가 전달될 수 있도록 별도의 수단이 추가 구성될 수 있다. 이에 대해서는 조명 제어부(400)에 대한 구성을 통해 보다 상세히 설명한다.
상기 제2 가상 캐릭터 설정부(320)는, 다수의 후보 가상 캐릭터 중 사용자로부터 어느 하나의 가상 캐릭터를 선택 받아 제2 가상 캐릭터로서 설정할 수 있다. 예를 들어, 제2 가상 캐릭터로서 설정할 수 있는 캐릭터 A, B, C, D, E 등이 있으며, 각 캐릭터 별로 외모, 체형, 목소리, 성격 등이 각기 달리 설정되어 있어, 사용자가 원하는 캐릭터를 설정할 수 있도록 한다.
상기 캐릭터 구현 프로그램부(330)는, 제3 무선 통신부(310)를 통해 수신되는 사용자 모션 데이터에 따른 제1 가상 캐릭터(10)를 생성하고, 사용자 모션 데이터를 기초로 사용자의 모션과 동기화된 제1 가상 캐릭터(10), 및 로봇 모션 데이터를 기초로 인체 모형 로봇(20)의 모션과 동기화된 제2 가상 캐릭터(20)를 각각 가상현실 상에서 생성할 수 있다.
상기 영상 디스플레이부(340)는, 캐릭터 구현 프로그램부(330)를 통해 생성된 제1 가상 캐릭터(10)와 제2 가상 캐릭터(20)를 하나의 영상 내 표시할 수 있다. 여기서, 제1 가상 캐릭터(10)는 사용자 자신을 3차원 그래픽으로 구현한 것으로 영상 디스플레이부(340)를 통해 1인칭 시점에서 볼 수 있도록 제공되며, 제2 가상 캐릭터(20)는 인체 모형 로봇(200)의 실제 위치 상에서 오버랩되도록 표시될 수 있다. 즉, 제2 가상 캐릭터(20)는 영상 디스플레이부(340)를 통해 인체 모형 로봇(200) 자체로 보이는 것이 아니라, 인체 모형 로봇(200)에 제2 가상 캐릭터(20)의 그래픽이 입혀져 전혀 다른 모습으로 보이도록 하며, 제2 가상 캐릭터(20)가 실제 인체 모형 로봇(200)의 모션과 동기화됨에 따라 제2 가상 캐릭터(20)의 동작을 그대로 따라 움직일 수 있도록 표시될 수 있다.
상기 음성 데이터 분석부(350)는, 사용자의 음성을 인식하여 사용자 음성 데이터를 생성하고, 생성된 사용자 음성 데이터의 내용을 분석하여 대화 데이터 및 음성 명령 데이터로 각각 분류할 수 있다. 예를 들어, "안녕", "앉어", "요즘 날씨 너무 춥지 않니?"라는 음성 데이터가 들어왔을 때, "안녕"과 "요즘 날씨 너무 춥지 않니?"는 일반 대화로 분류되어 대화 데이터로서 생성하고, "앉어"는 음성 명령 데이터로 분류될 수 있다. 물론, 사용자 음성 데이터는 분류 과정 이전에 STT(Speech To Text)로 변환된 후 텍스트 데이터에 대한 내용 분석을 통해 일반 대화인지 명령인지의 분류 과정이 수행될 수 있다.
상기 음성 데이터 처리부(360)는, 음성 데이터 분석부(350)를 통해 대화 데이터로 분류되는 경우 미리 저장된 응답 데이터 중 대화 데이터와 매칭되는 응답 데이터를 추출하여 외부로 출력하고, 음성 명령 데이터로 분류되는 경우 미리 저장된 동작 제어 데이터와 매칭되는 동작제어데이터를 추출하고, 추출된 동작 제어 데이터 기반의 동작제어신호를 생성하여 제3 무선 통신부(310)로 출력할 수 있다. 예를 들어, "안녕" 또는 "오늘 날씨 춥지 않니?"라는 대화 데이터에 대하여 미리 구축된 데이터베이스를 기초로 해당 대화에 대한 응답 데이터로서 "반가워" 또는 "오늘 날씨 정말 춥다" 등의 음성 컨텐츠를 추출해 외부로 출력함으로써 응답할 수 있다. 또한, "앉어"라는 음성 명령 데이터의 경우 미리 구축된 데이터베이스를 기초로 인체 모형 로봇(200)이 앉는 동작을 수행할 수 있는 명령어 코드를 추출해 동작제어신호로서 제3 무선 통신부(310)로 전달하고, 이를 인체 모형 로봇(200)으로 전송할 수 있다.
상기 사용자 로봇 조작부(370)는, 인체 모형 로봇(200)에 대한 적어도 하나의 동작 제어를 위한 로봇 사용자 인터페이스를 통해 상기 동작제어신호를 생성하여 제3 무선 통신부(310)로 출력할 수 있다. 여기서, 로봇 사용자 인터페이스는 HMD(300) 본체에 설치된 조작 버튼 또는 별도의 조작 장치로 구현될 수 있으며, 기본적인 로봇 동작, 예를 들어 사용자에 걸어오기, 앉기, 엎드리기, 눕기, 허리틀기, 점프하기 등을 지시할 수 있는 스위치와 같은 물리적 버튼, 터치 패널에 표시되는 가상의 버튼, 또는 웨어러블 디바이스(100)의 특정 모션으로 정의된 제스쳐 등으로 다양한 동작 제어를 위한 명령 값 입력이 가능하도록 구현될 수 있다.
상기 환경 설정부(380)는, 제1 가상 캐릭터(10)와 제2 가상 캐릭터(20)가 표시되는 영상 내 환경 및 연출 효과 중 적어도 하나를 설정할 수 있다. 예를 들어, 제1 가상 캐릭터(10)와 제2 가상 캐릭터(20)가 체육관에 있는 환경, 길거리에 있는 환경, 교실이나 침실 등에 있는 환경 등 사용자가 원하는 가상 환경을 설정할 수 있도록 하며, 1차적으로 선택된 가상 환경 내에 날씨, 실내 조명, 주변의 가상 인물 등에 대한 디테일한 2차 설정도 가능하다.
이상에서는, 사용자의 음성 명령, 제스쳐 또는 조작 인터페이스 등을 통하여 인체 모형 로봇(200) 또는 제2 가상 캐릭터(20)로 구현되는 아바타와의 교감이 가능한 것으로 설명하였으나, 사용자의 의도적인 조작 명령이 아니라, 인체 모형 로봇(200)의 인공지능 알고리즘을 기초로 인체 모형 로봇(200)이 스스로 판단하여 특정 모션을 구현할 수 있고, 제2 가상 캐릭터(20)의 관절 구동 데이터 값을 실시간 제공 받아 로봇 관절 구동부(220)의 제어를 통해 제2 가상 캐릭터(20)와 동일한 모션을 구현할 수도 있다.
상기 조명 제어부(400)는, 실내 조명 장치(30)와 연결되고, 인체 모형 로봇(200)과 HMD(300)가 연결되면, 본 시스템(100)의 동작이 시작됨을 알리기 위한 작동개시신호를 HMD(300)의 제3 무선 통신부(310)로부터 수신한 후, 실내 조명 장치를 턴 오프시키거나, 미리 설정된 밝기로 실내 조명 장치(30)의 밝기를 어둡게 조절할 수 있다. 사용자의 가상 체험 간에 HMD(300)를 벗어 인체 모형 로봇(200)의 실물을 확인하려는 경우, 제2 가상 캐릭터(20)와의 시각적인 차이로 인해 가상 체험의 몰입감이 떨어지는 경우가 발생될 수 있는데, 조명 제어부(400)는 이를 방지하기 위하여 사용자의 가상 체험 간에 HMD(300)를 벗더라도 인체 모형 로봇(200)이 보이지 않도록 실내를 완전히 어두운 상태로 유지하거나, 최소한의 식별만 가능하도록 어둡게 조명의 밝기를 제어할 수 있다.
도 6은 본 발명의 실시예에 따른 로봇 이동 장치부의 구성을 나타낸 블록도이며, 도 7은 본 발명의 실시예에 따른 로봇 이동 장치부의 설치 구성의 일례를 설명하기 위해 나타낸 도면이다.
도 6 및 도 7을 참조하면, 본 발명의 실시예에 따른 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템(1000)은 로봇 이동 장치부(500)를 더 포함하여 구성될 수 있다.
상기 로봇 이동 장치부(500)는, 바닥면 또는 벽면으로부터 인체 모형 로봇과 연결되어 인체 모형 로봇(200)을 지지하고, 인체 모형 로봇(200)이 XY축 방향으로 수평 위치 이동하고, 인체 모형 로봇(200)의 업다운 자세가 변화되도록 Z축에 대하여 상하 방향으로 움직이며 인체 모형 로봇(200)의 Z축을 중심으로 회전시킬 수 있도록 한다. 인체 모형 로봇(200)은 최초 이용 시 실제 세팅된 위치에서 사용자가 있는 위치로 이동해야 하고, 가장 기본이 되는 초기 자세를 취해야 하는데, 인체 모형 로봇(200)이 갖고 있는 로봇 관절 구동부(220)만으로는 초기 동작을 원활히 수행하기가 어려울 수 있으며, 이러한 초기 동작을 무리하게 수행하는 과정에서 바닥에 넘어져 파손될 우려가 있다. 이 때문에, 로봇 이동 장치부(500)는 인체 모형 로봇(200) 자체를 안정적으로 고정시키면서, 기본적인 초기 동작과 사용자의 가상 체험 간에 큰 동작이 수행될 수 있도록 보조적인 역할을 수행할 수 있다.
이를 위해, 인체 모형 로봇(200)은 도 6에 도시된 바와 같이 XY 구동부(510), Z축 구동부(520) 및 틴 테이블 장치부(530) 중 적어도 하나를 포함할 수 있다.
상기 XY축 구동부(510)는, 인체 모형 로봇(200)의 동작 시작 시 미리 저장된 초기 동작 설정 데이터 또는 동작제어신호에 따라 인체 모형 로봇(200)이 XY축 방향으로 수평 위치 이동할 수 있도록 한다. 예를 들어, 전진, 후진, 좌로 이동, 우로 이동 등의 움직임이 구현되도록 할 수 있다.
상기 Z축 구동부(520)는 인체 모형 로봇(200)의 Z축에 대한 상하 방향의 움직임이 가능하도록 한다. 예를 들어, 인체 모형 로봇(200)가 앉았다 일어서는 동작, 앉았다 엎드리는 동작 등 상하 방향으로의 자세 변경이 가능하도록 인체 모형 로봇(200)의 움직임을 제어할 수 있다.
상기 턴 테이블 장치부(530)는, 인체 모형 로봇(200)이 Z축 중심으로 회전하는 동작이 수행되도록 구동할 수 있다. 예를 들어, 인체 모형 로봇(200)가 사용자를 정면으로 바라보다 왼쪽 45도 방향으로 바라보도록 하거나, 오른쪽으로 45도 바라보도록 Z축 중심으로 회전하는 동작이 수행되도록 한다.
한편, 이상의 실시예에서는 사용자와 인체 모형 로봇(200)의 모션 트래킹은 모션 트래킹 센서를 통해 실시하는 것으로 설명하였으나, 카메라와 영상 분석 장치를 통해서도 모션 트래킹이 가능하다.
상기 카메라는 움직임이 있는 대상인 사용자와 인체 모형 로봇(200)을 촬영하여 사용자와 인체 모형 로봇(200)에 대한 영상 데이터를 획득할 수 있다.
상기 영상 분석부는 카메라를 통해 촬영된 영상 데이터를 분석하여 사용자와 인체 모형 로봇(200)의 객체를 인식하고, 인식된 객체를 추적하여 그 객체에 대한 움직임을 인식할 수 있으며, 이러한 객체 인식 및 추적 기법은 기 공지된 모든 영상 추적 기술을 적용하여 실시할 수 있으며, 그에 대한 상세한 설명은 생략하도록 한다.
본 실시예에 따르면, HMD(head mount display)와 인체 모형 로봇, 그리고 이들의 모션 트래킹을 통한 가상 그래픽을 이용하여 심미적, 시각적 효과를 극대화하면서 체험자가 인체 모형 로봇과의 물리적인 상호 교감을 통한 리얼리티를 느낄 수 있도록 한다.
이상에서 설명한 것은 본 발명에 의한 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템을 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 바와 같이 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능한 범위까지 본 발명의 기술적 정신이 있다고 할 것이다.
1000: 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템
100: 웨어러블 디바이스
110: 사용자 모션 트래킹 센서부
120: 심박수 측정부
130: 제1 무선 통신부
200: 인체 모형 로봇
210: 로봇 외형부
211: 인공 인체 구조물
212: 로봇 외피부
213: 외피 히터부
214: 윤활유 저장부
215: 배출 펌프부
220: 로봇 관절 구동부
230: 로봇 모션 트래킹 센서부
240: 제2 무선 통신부
250: 로봇 관절 제어부
300: HMD
310: 제3 무선 통신부
320: 제2 가상 캐릭터 설정부
330: 캐릭터 구현 프로그램부
340: 영상 디스플레이부
350: 음성 데이터 분석부
360: 음성 데이터 처리부
370: 사용자 로봇 조작부
380: 환경 설정부
400: 조명 제어부
500: 로봇 이동 장치부
510: XY축 구동부
520: Z축 구동부
530: 턴 테이블 장치부
10: 제1 가상 캐릭터
20: 제2 가상 캐릭터
30: 실내 조명 장치

Claims (10)

  1. 사용자의 모션을 감지하여 사용자 모션 데이터를 생성하는 웨어러블 디바이스;
    외부로부터 수신되는 제어신호에 따라 동작하는 인체 모형 로봇; 및
    사용자의 머리에 착용되고, 상기 사용자 모션 데이터를 기초로 사용자의 모션을 트래킹하여 동작하는 제1 가상 캐릭터, 및 상기 인체 모형 로봇의 모션과 동기화된 제2 가상 캐릭터를 하나의 영상 내에 생성하여 표시하고, 사용자 지시에 따른 동작제어신호를 생성하여 상기 인체 모형 로봇으로 전송하는 HMD를 포함하고,
    상기 웨어러블 디바이스는,
    모션 센서를 통해 사용자의 모션을 감지하고, 상기 사용자 모션 데이터를 생성하는 사용자 모션 트래킹 센서부; 상기 HMD와 연결되고, 상기 사용자 모션 트래킹 센서부를 통해 생성된 사용자 모션 데이터를 상기 HMD로 전송하는 제1 무선 통신부; 및 사용자의 심박수를 측정하는 심박수 측정부를 포함하고,
    상기 인체 모형 로봇은,
    상기 인체 모형 로봇의 외부 구조를 형성하는 로봇 외형부; 상기 인체 모형 로봇의 관절 부위에 설치되어 상기 인체 모형 로봇의 관절 운동을 구현하기 위한 로봇 관절 구동부; 상기 로봇 관절 구동부에 설치되어 상기 인체 모형 로봇의 모션을 감지하기 위한 로봇 모션 트래킹 센서부; 및 상기 HMD에 미리 설정된 거리 이내로 접근하면, 상기 HMD와 페어링되어 상기 인체 모형 로봇의 동작을 개시하고, 상기 HMD로부터 상기 동작제어신호를 수신하고, 상기 로봇 모션 트래킹 센서부를 통해 생성된 로봇 모션 데이터를 상기 HMD로 전송하는 제2 무선 통신부를 포함하고,
    상기 로봇 외형부는,
    상기 로봇 외형부의 외부 형상을 이루는 인공 인체 구조물; 상기 인공 인체 구조물 상에 실리콘을 포함하는 재질로 인공 피부를 형성하고, 인공 피부의 적어도 한 부분이 다공성 인공 피부로 형성된 로봇 외피부; 상기 인공 인체 구조물 내부에 설치된 윤활유 저장부; 및 상기 다공성 인공 피부와 상기 윤활유 저장부에 각각 연결되어 상기 윤활유 저장부로부터 상기 다공성 인공 피부로 윤활유를 배출하기 위한 배출 펌프부를 포함하고,
    상기 배출 펌프부는,
    상기 제2 무선 통신부를 통해 상기 심박수 측정부로부터 심박수 측정값을 수신하고, 수신된 상기 심박수 측정값이 미리 설정된 심박수 기준값 이상인 경우 미리 설정된 양만큼의 윤활유가 배출되도록 동작하는 것을 특징으로 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템.
  2. 삭제
  3. 제1 항에 있어서,
    상기 인체 모형 로봇은,
    상기 동작제어신호에 따라 상기 로봇 관절 구동부의 동작을 제어하는 로봇 관절 제어부를 더 포함하는 것을 특징으로 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템.
  4. 제1 항에 있어서,
    상기 로봇 외형부는,
    상기 로봇 외피부 내에 배선된 열선을 포함하고, 상기 열선을 통해 미리 설정된 온도의 열이 상기 로봇 외피부에 발생하도록 동작하는 외피 히터부를 더 포함하는 것을 특징으로 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템.
  5. 삭제
  6. 제1 항에 있어서,
    상기 HMD는,
    상기 웨어러블 디바이스로부터 상기 사용자 모션 데이터를 수신하고, 상기 인체 모형 로봇에 미리 설정된 거리 이내로 접근하면 상기 인체 모형 로봇과 페어링되고, 상기 동작제어신호를 상기 인체 모형 로봇으로 전송하며, 상기 인체 모형 로봇으로부터 상기 로봇 모션 데이터를 수신하는 제3 무선 통신부;
    다수의 후보 가상 캐릭터 중 사용자로부터 어느 하나의 가상 캐릭터를 선택 받아 상기 제2 가상 캐릭터로 설정하는 제2 가상 캐릭터 설정부;
    상기 제3 무선 통신부를 통해 수신되는 상기 사용자 모션 데이터에 따른 상기 제1 가상 캐릭터를 생성하고, 상기 사용자 모션 데이터를 기초로 사용자의 모션과 동기화된 상기 제1 가상 캐릭터, 및 상기 로봇 모션 데이터를 기초로 상기 인체 모형 로봇의 모션과 동기화된 상기 제2 가상 캐릭터를 생성하는 캐릭터 구현 프로그램부;
    상기 캐릭터 구현 프로그램부를 통해 생성된 상기 제1 가상 캐릭터와 상기 제2 가상 캐릭터를 하나의 영상 내 표시하는 영상 디스플레이부;
    사용자의 음성을 인식하여 사용자 음성 데이터를 생성하고, 생성된 상기 사용자 음성 데이터의 내용을 분석하여 대화 데이터 및 음성 명령 데이터로 각각 분류하는 음성 데이터 분석부;
    상기 대화 데이터로 분류되는 경우 미리 저장된 응답 데이터 중 상기 대화 데이터와 매칭되는 응답 데이터를 추출하여 외부로 출력하고, 상기 음성 명령 데이터로 분류되는 경우 미리 저장된 동작 제어 데이터와 매칭되는 동작제어데이터를 추출하고, 추출된 동작 제어 데이터 기반의 상기 동작제어신호를 생성하여 상기 제3 무선 통신부로 출력하는 음성 데이터 처리부; 및
    상기 인체 모형 로봇에 대한 적어도 하나의 동작 제어를 위한 로봇 사용자 인터페이스를 통해 상기 동작제어신호를 생성하여 상기 제3 무선 통신부로 출력하는 사용자 로봇 조작부를 포함하는 것을 특징으로 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템.
  7. 제1 항에 있어서,
    상기 HMD는,
    상기 제1 가상 캐릭터와 상기 제2 가상 캐릭터가 표시되는 영상 내 환경 및 연출 효과 중 적어도 하나를 설정하는 환경 설정부를 더 포함하는 것을 특징으로 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템.
  8. 제1 항에 있어서,
    실내 조명 장치와 연결되고, 상기 인체 모형 로봇과 상기 HMD가 연결되면 상기 실내 조명 장치를 턴 오프시키거나, 미리 설정된 밝기로 상기 실내 조명 장치의 밝기를 조절하는 조명 제어부를 더 포함하는 것을 특징으로 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템.
  9. 제1 항에 있어서,
    바닥면 또는 벽면으로부터 상기 인체 모형 로봇과 연결되어 상기 인체 모형 로봇을 지지하고, 상기 인체 모형 로봇이 XY축 방향으로 수평 위치 이동하고, 상기 인체 모형 로봇의 업다운 자세가 변화되도록 Z축에 대하여 상하 방향으로 움직이며 상기 인체 모형 로봇의 Z축을 중심으로 회전시키는 로봇 이동 장치부를 더 포함하는 것을 특징으로 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템.
  10. 제9 항에 있어서,
    상기 로봇 이동 장치부는,
    상기 인체 모형 로봇의 동작 시작 시 미리 저장된 초기 동작 설정 데이터 또는 상기 동작제어신호에 따라 상기 인체 모형 로봇이 XY축 방향으로 수평 위치 이동, Z축에 대한 상하 방향의 움직임, 및 Z축 중심으로 회전 중 적어도 하나의 동작이 수행되도록 구동하는 것을 특징으로 하는 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템.
KR1020200175503A 2020-12-15 2020-12-15 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템 KR102342872B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200175503A KR102342872B1 (ko) 2020-12-15 2020-12-15 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200175503A KR102342872B1 (ko) 2020-12-15 2020-12-15 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템

Publications (1)

Publication Number Publication Date
KR102342872B1 true KR102342872B1 (ko) 2021-12-24

Family

ID=79176090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200175503A KR102342872B1 (ko) 2020-12-15 2020-12-15 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템

Country Status (1)

Country Link
KR (1) KR102342872B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230101299A (ko) * 2021-12-29 2023-07-06 서울대학교산학협력단 모션 트래킹 로봇의 원격 제어 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040093757A (ko) * 2003-04-30 2004-11-09 주식회사 대우일렉트로닉스 휘도신호에 따른 실내조명 조절이 가능한 홈시어터 시스템및 방법
KR20110136038A (ko) 2010-06-14 2011-12-21 주식회사 비즈모델라인 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템
KR101343860B1 (ko) 2013-01-03 2013-12-20 재단법인대구경북과학기술원 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템과 로봇 아바타 시스템에서 사용되는 명령 서버, 학습 서버 및 지각 서버
KR20140129936A (ko) 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
KR20170045678A (ko) * 2015-10-19 2017-04-27 옥철식 Ｈｍｄ를 이용한 아바타 장치
KR20190061825A (ko) * 2017-11-28 2019-06-05 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
KR102032425B1 (ko) * 2018-09-18 2019-11-08 옥철식 광섬유 브래그 격자 센서 및 위치 추적 센서를 이용한 가상현실 게임시스템

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040093757A (ko) * 2003-04-30 2004-11-09 주식회사 대우일렉트로닉스 휘도신호에 따른 실내조명 조절이 가능한 홈시어터 시스템및 방법
KR20110136038A (ko) 2010-06-14 2011-12-21 주식회사 비즈모델라인 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템
KR101343860B1 (ko) 2013-01-03 2013-12-20 재단법인대구경북과학기술원 하이브리드 인터페이스를 사용하는 로봇 아바타 시스템과 로봇 아바타 시스템에서 사용되는 명령 서버, 학습 서버 및 지각 서버
KR20140129936A (ko) 2013-04-30 2014-11-07 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 콘텐츠 제공 방법
KR20170045678A (ko) * 2015-10-19 2017-04-27 옥철식 Ｈｍｄ를 이용한 아바타 장치
KR20190061825A (ko) * 2017-11-28 2019-06-05 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
KR102032425B1 (ko) * 2018-09-18 2019-11-08 옥철식 광섬유 브래그 격자 센서 및 위치 추적 센서를 이용한 가상현실 게임시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230101299A (ko) * 2021-12-29 2023-07-06 서울대학교산학협력단 모션 트래킹 로봇의 원격 제어 방법
KR102623672B1 (ko) * 2021-12-29 2024-01-11 블루로빈 주식회사 모션 트래킹 로봇의 원격 제어 방법

Similar Documents

Publication Publication Date Title
Hu et al. An overview of assistive devices for blind and visually impaired people
CN107577045B (zh) 用于头戴式显示器的预测跟踪的方法、装置及存储介质
EP2915025B1 (en) Wireless wrist computing and control device and method for 3d imaging, mapping, networking and interfacing
US9599821B2 (en) Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space
Hasan et al. Innovative developments in HCI and future trends
US20180046874A1 (en) System and method for marker based tracking
CN103713737B (zh) 用于智能眼镜的虚拟键盘系统
Paneels et al. What's around me? Multi-actuator haptic feedback on the wrist
CN103443742A (zh) 用于凝视和姿势接口的系统和方法
CN106095089A (zh) 一种获取感兴趣目标信息的方法
KR101638819B1 (ko) 보행 교정 유도 시스템 및 그 제어 방법
CN104749777A (zh) 可穿戴智能设备的互动方法
JP6738641B2 (ja) シミュレーション制御装置及びシミュレーション制御プログラム
JP2018072992A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるプログラム
KR102342872B1 (ko) 모션 트래킹을 통한 사용자와 아바타 간의 상호 교감 시스템
CN114082158A (zh) 一种脑卒中患者上肢康复训练系统
CN206906936U (zh) 一种提供驾驶适宜性检测的头戴式显示设备
CN112269472A (zh) 构建虚拟边界对象的方法和系统及其vr眼镜
Riener et al. “Personal Radar”: A self-governed support system to enhance environmental perception
WO2020166373A1 (ja) 情報処理装置および情報処理方法
JP6718933B2 (ja) プログラム、情報処理装置、および方法
JP2018190196A (ja) 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム
KR20170045678A (ko) Ｈｍｄ를 이용한 아바타 장치
Azmi et al. The Wiimote with SAPI: Creating an accessible low-cost, human computer interface for the physically disabled
RU2106695C1 (ru) Способ представления виртуального пространства пользователю и система для осуществления способа

Legal Events

Date Code Title Description
GRNT Written decision to grant