KR20150057424A - 증강현실 아바타 상호작용 방법 및 시스템 - Google Patents

증강현실 아바타 상호작용 방법 및 시스템 Download PDF

Info

Publication number
KR20150057424A
KR20150057424A KR1020130140793A KR20130140793A KR20150057424A KR 20150057424 A KR20150057424 A KR 20150057424A KR 1020130140793 A KR1020130140793 A KR 1020130140793A KR 20130140793 A KR20130140793 A KR 20130140793A KR 20150057424 A KR20150057424 A KR 20150057424A
Authority
KR
South Korea
Prior art keywords
augmented reality
user
reality avatar
information
avatar
Prior art date
Application number
KR1020130140793A
Other languages
English (en)
Inventor
조동식
김용완
김항기
김진호
김대환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020130140793A priority Critical patent/KR20150057424A/ko
Publication of KR20150057424A publication Critical patent/KR20150057424A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models

Abstract

실제 현실 상에 정합되어 가시화된 증강현실 아바타가 현실의 환경정보를 바탕으로 상호작용하고, 사용자의 의도에 따라 상호작용하는 방법이 개시된다. 본 발명에 따른 증강현실 아바타 상호작용 시스템은 증강현실 기술을 이용하여 실제 공간 상에 투영된 아바타와 사용자 간의 실감나는 상호작용을 제공하며, 또한 사용자 주변의 환경을 인지하여 증강현실 아바타가 인지된 주변 환경에 기초하여 동작할 수 있도록 제어한다.

Description

증강현실 아바타 상호작용 방법 및 시스템{A system and method for interaction with augmented reality avatar}
본 발명은 증강현실 아바타 상호작용 방법 및 시스템에 관한 것으로서, 보다 상세하게는 실제 현실 상에 정합되어 가시화된 증강현실 아바타가 현실의 환경 정보를 바탕으로 상호작용하고, 사용자의 의도에 따라 상호작용하는 기술에 관한 것이다.
최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 다양한 상황 혹은 체험하기 힘든 상황을 실시간으로 경험하게 하는 가상현실(virtual reality) 기술이 제안되었다. 하지만, SF영화의 홀로그램 형태와 같이 지능을 가진 가상현실 사람 혹은 가상 아바타를 제어하는 기술은 아바타에게 지능을 심어주는 추론 시스템의 한계로 시범되지 못하고 있다. 또한, 아바타를 증강현실(augmented reality) 상에서 표현하여 실제 사용자의 공간에 가시화하고, 사용자의 의도 및 사용자 주변 공간의 환경 정보와 연동하여 동작하는 기술에는 한계가 있다.
본 발명은 상술한 종래 기술의 문제점을 해결하기 위하여, 자율 진화형으로 사용자, 주변 물체 및 실 환경을 인지하고, 이에 따라 반응하는 지식기반 증강현실 아바타 상호작용 방법 및 시스템을 제공하는 것을 목적으로 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상술한 본 발명의 목적을 달성하기 위한 본 발명의 일 면에 따른 사용 이력 기반 사용자 모델링 장치는, 증강현실 아바타 상호작용을 위한 프로그램 코드가 저장된 비휘발성 메모리와, 상기 프로그램 코드를 실행하는 적어도 하나 이상의 프로세서를 포함한다.
여기서, 상기 적어도 하나 이상의 프로세서는 영상 센서를 포함하는 제1 인식 센서들로부터 획득된 제1 센싱 정보에 기초하여, 상기 증강현실 아바타와 상호작용하는 사용자 주변의 실제 환경 정보를 인식하는 실제 환경정보 인식부; 영상 센서를 포함하는 제2 인식 센서들로부터 획득된 제2 센싱 정보에 기초하여, 상기 사용자의 정보를 인식하는 사용자 환경정보 인식부; 인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보에 기초하여, 상기 증강현실 아바타의 행동을 추론하는 제어부; 추론된 상기 증강현실 아바타의 행동에 기초하여, 상기 증강현실 아바타의 표현 동작을 생성하는 표현 동작 생성부; 및 상기 사용자가 위치한 실제 환경 상에 상기 증강현실 아바타의 상기 표현 동작을 가시화하는 영상 가시화부를 구동하는 상기 프로그램 코드를 실행하도록 구현된다.
바람직한 실시예에 있어서, 상기 실제 환경정보 인식부는 상기 제1 센싱 정보에 기초하여 상기 증강현실 아바타가 동작할 수 있는 공간적인 영역을 정의하고, 상기 공간적인 영역 내에서 정적 객체의 위치 및 크기를 검출하고, 동적 객체의 움직임 및 크기를 검출한다.
여기서, 상기 제1 센싱 정보는 상기 사용자의 주변 환경에 대한 영상 정보와, 상기 사용자의 주변 환경에 대한 바람, 온도, 향기, 소리 등을 포함하는 환경 정보를 포함한다.
일 실시예로서, 상기 사용자 환경정보 인식부는 상기 제2 센싱 정보에 기초하여 상기 사용자가 누구인지를 판별하는 사용자 인식, 상기 사용자의 현재 감정적인 상태를 판별하는 감정 인식, 상기 사용자의 현재 동작 상황을 판별하는 동작 인식, 음성 인식 중 적어도 하나를 수행한다.
다른 실시예로서, 상기 사용자 환경정보 인식부는 상기 제2 센싱 정보에 기초하여 상기 사용자가 상기 증강현실 아바타에게 제시하는 의지를 판별하는 의도 인식, 상기 사용자의 근전도, 뇌파 등의 생체 신호를 판별하는 생체 신호 인식 중 적어도 하나를 더 수행할 수 있다.
일 실시예로서, 상기 제어부는 객체들 사이의 관계가 정의된 정보와, 상기 사용자에 대해 사전에 학습된 정보가 저장된 온톨로지 데이터베이스를 이용하여, 인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보와 관련된 적어도 하나의 데이터를 검색하여 상기 증강현실 아바타의 행동을 추론한다.
다른 실시예로서, 상기 제어부는 상기 증강현실 아바타가 동작하는 영역으로 정의된 공간과, 상기 공간 내에서 검출된 정적 객체 및 동적 객체를 이용하여 상기 증강현실 아바타에 대한 상호작용 맵(interaction map)을 생성한다.
이때, 상기 제어부는 상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 위치 이동 계획(path planning)을 수행할 수 있다.
또한, 상기 제어부는 상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 행위 계획(motion planning)을 수행하되, 상기 행위 계획은 상기 정적 객체와의 관계에서 상기 증강현실 아바타의 인간-객체(human-object) 기반 행동 추론과, 상기 동적 객체와의 관계에서 상기 증강현실 아바타의 인간-인간(human-human) 기반 행동 추론을 포함할 수 있다.
한편, 상기 표현 동작 생성부에서 생성된 상기 증강현실 아바타의 표현 동작은 인식된 사용자 주변의 실제 환경 정보 및 상기 사용자의 정보에 대한 반응 동작을 포함하는 물리 기반 행동 표현과, 얼굴 표현과, 사전에 정의된 시나리오에 기반한 애니메이션 동작 표현을 포함한다.
전술한 목적을 달성하기 위한 본 발명의 다른 면에 따른 증강현실 아바타 상호작용 방법은 영상 센서를 포함하는 제1 인식 센서들로부터 획득된 제1 센싱 정보에 기초하여, 증강현실 아바타와 상호작용하는 사용자 주변의 실제 환경 정보를 인식하는 단계; 영상 센서를 포함하는 제2 인식 센서들로부터 획득된 제2 센싱 정보에 기초하여, 상기 사용자의 정보를 인식하는 단계; 인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보에 기초하여, 상기 증강현실 아바타의 행동을 추론하는 단계; 추론된 상기 증강현실 아바타의 행동에 기초하여, 상기 증강현실 아바타의 표현 동작을 생성하는 단계; 및 상기 사용자가 위치한 실제 환경 상에 상기 증강현실 아바타의 상기 표현 동작을 가시화하는 단계를 포함한다.
이상 상술한 바와 같은 본 발명에 따르면, 증강현실 기술을 이용하여 실제 공간 상에 투영된 아바타와 사용자 간의 실감나는 상호작용을 제공하며, 또한 사용자 주변의 환경을 인지하여 증강현실 아바타가 인지된 주변 환경에 기초하여 동작할 수 있도록 제어한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 아바타 상호작용 시스템의 구성을 도시한 블록도.
도 2는 도 1의 실제 환경정보 인식부에서 처리되는 프로세스의 일 예를 도시한 도면.
도 3은 도 1의 사용자 환경정보 인식부에서 처리되는 프로세스의 일 예를 도시한 도면.
도 4는 도 1의 제어부에서 처리되는 프로세스의 일 예를 도시한 도면.
도 5는 도 1의 표현동작 생성부에서 처리되는 프로세스의 일 예를 도시한 도면.
도 6은 도 1의 영상 가시화부에서 처리되는 프로세스의 일 예를 도시한 도면.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명에 따른 증강현실 아바타 상호작용 시스템은 증강현실 아바타 상호작용을 위한 프로그램 코드가 저장된 비휘발성 메모리와, 상기 프로그램 코드를 실행하는 적어도 하나 이상의 프로세서를 포함한다. 이때, 상기 적어도 하나 이상의 프로세서는 도 1에 도시된 기능 블록들을 구동하는 상기 프로그램 코드를 실행하도록 구현된다. 이하, 도 1을 참조하여 본 발명에 따른 증강현실 아바타 상호작용 시스템의 구성을 살펴본다.
도 1은 본 발명의 일 실시예에 따른 증강현실 아바타 상호작용 시스템의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 증강현실 아바타 상호작용 시스템은 증강현실 아바타 모델 정보 입력부(100), 실제 환경정보 인식부(200), 사용자 환경정보 인식부(300), 제어부(400), 온톨로지 데이터베이스(500), 표현동작 생성부(600), 영상 가시화부(700)를 포함한다.
증강현실 아바타 모델 정보 입력부(100)는 증강현실 아바타 모델 정보를 입력 받아 정해진 처리과정을 거쳐 제어부(400) 또는 표현동작 생성부(600)에서 활용할 수 있는 입력을 생성한다.
예컨대, 아바타를 제어하기 위해서는 아바타에 관한 정보를 알아야 하는 것이 필수적이므로, 증강현실 아바타 모델의 크기, 무게와 같은 신체 정보와, 증강현실 아바타가 위치하는 장소 정보, 자세 정보와 같은 상황 정보를 입력으로 받는다. 이를 위해, 사용자가 신체 정보 또는 상황 정보를 입력할 수 있는 사용자 인터페이스를 제공할 수 있다.
실제 환경정보 인식부(200)는 영상 센서를 포함하는 제1 인식 센서들로부터 획득된 제1 센싱 정보에 기초하여, 증강현실 아바타와 상호작용하는 사용자 주변의 실제 환경 정보를 인식한다.
구체적으로 설명하면, 환경정보 인식은 증강된 아바타가 동작하는 실제 사용자 주변 공간을 센싱하는 것을 의미한다. 센싱 방법은 카메라, 오감 센서, 바람 및 온도 환경 센서 등의 인식 센서들을 통해서 가능하다. 이하, 도 2를 참조하여 실제 환경정보 인식부(200)에서 처리되는 프로세스들에 대해서 살펴본다.
도 2를 참조하면, 실제 환경정보 인식부(200)는 인식 센서들(10)에 의해 검출되는 바람/온도/향기/소리 등의 환경 정보와, 카메라를 통해 검출되는 주변 공간의 영상 정보를 입력 받는다.
이후, 실제 환경정보 인식부(200)는 주변 공간에 대한 영상 정보에 기반하여 증강현실 아바타가 동작할 수 있는 공간적인 영역을 정의한다(S11). 예를 들어, 실제 환경정보 인식부(200)는 영상 정보에 기반하여 사용자 주변 공간(3차원 공간)에 대한 평면 정보를 검출한다. 이를 위해, 다양한 시점 또는 시야각을 갖는 복수의 카메라들이 활용되어 사용자 주변 공간에 대한 평면 정보를 획득하고, 실제 환경정보 인식부(200)는 다양한 시점에서 촬영된 사용자 주변 공간에 대한 평면 정보를 조합하여 3차원의 공간적인 영역을 정의한다.
또한, 실제 환경정보 인식부(200)는 주변 공간에 대한 영상 정보에 기반하여 S11 단계를 통해 정의된 3차원의 공간적인 영역 내에 위치하는 정적 또는 동적 객체를 인식한다(S12).
예를 들어, 실제 환경정보 인식부(200)는 다양한 시점 또는 시야각을 갖는 복수의 카메라들에 의해 촬영된 평면 영상에서 정적 객체 또는 동적 객체를 인식하여, 각 평면 영상에서의 객체 인식 결과를 조합하여 정의된 3차원 공간적인 영역 내에서 정적 또는 동적 객체의 위치 정보(위치 좌표 정보) 및 크기를 검출한다. 특히, 동적 객체의 경우에는 서로 다른 시점에서 촬영된 평면 영상에서의 객체 인식 결과를 조합하여 그 움직임을 추적할 수 있다(S12-1, S12-2).
이와 같이, 실제 환경정보 인식부(200)는 실제 환경에 증강된 아바타가 움직이는 영역을 정의하고, 환경정보를 바탕으로 아바타가 변화하는 주변 환경에 적절하게 반응하는 것을 가능하게 한다. 정적 객체 위치 및 크기 검출과 동적 객체 움직임 및 크기 검출은 주변 공간의 객체들과 아바타가 상호작용할 수 있는 입력으로서 활용이 가능하다.
사용자 환경정보 인식부(300)는 영상 센서를 포함하는 제2 인식 센서들로부터 획득된 제2 센싱 정보에 기초하여, 상기 사용자의 정보를 인식한다. 여기서, 사용자는 증강된 아바타와 실제 상호작용하는 사람을 의미한다.
증강된 아바타와 사용자 간의 실제적인 상호작용을 구현하기 위해서는 아바타와 상호작용하는 사용자의 구체적인 정보가 필요하다. 이러한 사용자 정보는 사용자가 직접 시스템에 입력할 수도 있지만, 아바타가 상호작용해야 하는 사용자 정보(예컨대, 사용자의 감정 변화 등)는 실시간으로 변동될 수 있으므로 시스템이 스스로 사용자 정보를 획득하는 수단이 구현되는 것이 바람직하다.
이를 위해서, 본 발명의 실시예에 따른 사용자 환경정보 인식부(300)는 도 3에 도시된 바와 같이 현재 아바타와 상호작용하는 사용자가 누구인지를 판단하는 사용자 인식(S21)을 수행하고, 인식된 사용자의 현재 감정적인 상태를 반영하는 감정인식(S22), 전신행동, 핸드모션, 시선 인식과 같은 행동인식(S23), 사용자가 아바타에게 제시하는 의지를 인식하는 의도 인식(S24), 음성을 입력으로 한 음성 인식(S25), 근전도/뇌파 등 생체 신호 인식(S26) 등을 수행할 수 있다.
예를 들어, 사용자 환경정보 인식부(300)는 데이터베이스에 저장되어 있는 등록 사용자 중에서 현재 영상 센서를 통해 입력된 영상에 포함되어 있는 인물이 누구인지를 판단하고, 판단 결과 인식된 사용자의 기본 프로필 정보를 데이터베이스에서 불러올 수 있다.
다른 예로, 사용자 환경정보 인식부(300)는 Neural Network, HMM등 인공지능 알고리즘을 통해 상기 제2 인식 센서들로부터 입력된 신호로부터 사용자의 감정을 추론한다. 여기서 추론하는 감정의 종류는 필요에 따라 분류될 수 있으며, 각성/이완의 1차원적인 분류에서부터 증오, 애정, 질투 등의 고차원적인 분류에 이르기까지 다양화될 수 있다. 인공지능 알고리즘은 추론해야 할 감정의 종류에 따라 그 구조나 규모가 변하게 되며, 일반적으로 사용자 환경정보 인식부(300)의 입력단은 입력신호의 개수에 따라 결정되고 출력단은 추론해야 할 감성의 종류 및 등급에 따라 결정된다. 예를 들어, 감성의 구분을 각성/이완의 1차원적인 분류로 행하더라도 각성과 이완의 강도에 따른 등급을 지정함으로써 보다 많은 종류의 감정으로 분류될 경우 사용자 환경정보 인식부(300)는 각각에 해당하는 출력단을 가져야 한다.
다른 예로, 사용자 환경정보 인식부(300)는 생체신호 중 하나인 ECG(Electrocardiogram)와 같은 신호의 경우, HRV(Heart Rate Variability) 분석을 통해 HF(high frequency)/LF(low frequency) 비율을 구하고 이를 사용자 환경정보를 획득하기 위한 입력으로 활용할 수 있다.
또한, 사용자 환경정보 인식부(300)는 음성의 경우, MFCCs(Mel-Frequency Cepstral Coefficients)분석을 수행하여 얻어지는 특성치를 사용자 환경정보를 획득하기 위한 입력으로 활용할 수 있다.
제어부(400)는 실제 환경정보 인식부(200)에서 출력된 사용자 주변의 실제 환경 정보와, 사용자 환경정보 인식부(300)에서 출력된 인식된 사용자의 정보에 기초하여, 증강현실 아바타의 행동을 추론한다.
또한, 제어부(400)는 증강현실 아바타의 행동을 추론하는데 있어서, 증강현실 아바타 모델정보 입력부(100)를 통해 입력된 아바타의 모델 정보를 더 이용할 수도 있다.
구체적으로 설명하면, 제어부(400)는 객체들 사이의 관계가 정의된 정보와, 상기 사용자에 대해 사전에 학습된 정보가 저장된 온톨로지 데이터베이스(500)를 이용하여, 인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보와 관련된 적어도 하나의 데이터를 검색하여 증강현실 아바타의 행동을 추론한다.
예를 들어, 도 4에 도시된 바와 같이 제어부(400)는 증강현실 아바타가 동작하는 영역으로 정의된 공간과, 상기 공간 내에서 검출된 정적 객체 및 동적 객체를 이용하여 증강현실 아바타에 대한 상호작용 맵(interaction map)을 생성한다(S31). 여기서, 상호작용 맵은 아바타가 동작하는 것으로 정의된 공간에 대한 환경정보와, 상기 공간 내에 존재하는 정적 객체 및 동적 객체에 대한 정보를 포함한다.
또한, 제어부(400)는 상기 상호작용 맵에 기초하여 증강현실 아바타의 위치 이동 계획(path planning) 및 행위 계획(motion planning)을 수행한다(S32, S33). 여기서, 위치 이동 계획은 상호작용 맵에서 증강현실 아바타의 목표 위치까지의 경로 정보를 추론하는 것을 의미한다.
한편, 상기 행위 계획은 상기 정적 객체와의 관계에서 상기 증강현실 아바타의 인간-객체(human-object) 기반 행동 추론과, 상기 동적 객체와의 관계에서 상기 증강현실 아바타의 인간-인간(human-human) 기반 행동 추론을 포함한다.
또한, 제어부(400)는 증강현실 아바타가 위치 이동 계획 결과 설정된 경로로 실제 이동하면서 정적 객체 또는 동적 객체와의 상호작용을 위한 행위 계획을 수행할 수 있다. 구체적으로, 증강현실 아바타는 주변 환경과 사용자와의 관계에 의해 스스로 행동하고 반응하는 표준화된 인터랙션 언어(interaction language)에 의해 제어될 수 있는데, 예컨대 아바타가 경로 상의 정적 객체 또는 동적 객체와 충돌이 발생할 경우, 이에 대한 반응 동작까지도 계획될 수 있다.
표현동작 생성부(600)는 제어부(400)에서 추론된 증강현실 아바타의 행동에 기초하여, 증강현실 아바타의 표현 동작을 생성한다.
예를 들어, 도 5에 도시된 바와 같이 표현동작 생성부(600)는 정적 객체 또는 동적 객체와의 반응, 사실적 아바타 동작 표현과 같은 물리 기반 표현동작을 생성할 수 있으며(S41), 또는 사실적 얼굴 표현동작을 생성할 수 있으며(S42), 사전에 정의된 시나리오 기반 애니메이션 동작을 생성할 수도 있다(S43).
영상 가시화부(700)는 사용자가 위치한 실제 환경 상에 증강현실 아바타의 표현동작을 가시화한다.
예를 들어, 도 6에 도시된 바와 같이 영상 가시화부(700)는 증강현실 기술을 이용하여 생성된 아바타의 표현동작을 사용자가 위치하고 있는 실제 환경 상에 가시화할 수 있다. 이를 위해, 영상 가시화부(700)는 특정 객체를 기준으로 표현동작 영상을 합성하기 위한 포즈 예측(pose estimation)(S51), 가려짐 영역을 반영한 occlusion 반영 가시화(S52), 실제 사람과 같은 가상 아바타를 표현하기 위해 광원 모델링, 주변환경의 반사/굴절, 그림자 생성과 같은 실시간 실사 렌더링(S53) 기술을 이용한다.
특히, 실내 환경이 아닌 실외환경에서 특정 객체를 기준으로 증강현실 아바타를 가시화할 경우에는 사용자에 부착된 카메라를 이용하여 동적 객체에 대한 증강현실 아바타를 표현하는 방법인 outside-out tracking 방법이 이용될 수 있다. 예를 들면, 원격 조종이 가능한 장난감 차에 증강현실로 표현된 가상 캐릭터 모델을 실시간으로 추적하여 정합하는 기술이 이에 해당한다.
한편, 영상 가시화부(700)는 프로젝터, TV, 모바일 기기, 안경형 장치 등 디스플레이 관련 하드웨어 기기와 연동하여 증강현실 아바타의 영상이 합성된 결과를 출력할 수 있다.
한편, 상술한 본 발명에 따른 증강현실 아바타의 상호작용 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한, 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
10: 인식 센서 100: 증강현실 아바타 모델 정보 입력부
200: 실제 환경정보 인식부 300: 사용자 환경정보 인식부
400: 제어부 500: 온톨로지 데이터베이스
600: 표현동작 생성부 700: 영상 가시화부
S10: 실제 환경정보 인식 단계
S20: 사용자 환경정보 인식 단계
S30: 증강현실 아바타의 행동 추론 단계
S40: 증강현실 아바타의 표현동작 생성 단계
S50: 증강현실 아바타의 표현동작 가시화 단계

Claims (20)

  1. 증강현실 아바타 상호작용을 위한 프로그램 코드가 저장된 비휘발성 메모리와, 상기 프로그램 코드를 실행하는 적어도 하나 이상의 프로세서를 포함하는 증강현실 아바타 상호작용 시스템에 있어서, 상기 적어도 하나 이상의 프로세서는,
    영상 센서를 포함하는 제1 인식 센서들로부터 획득된 제1 센싱 정보에 기초하여, 상기 증강현실 아바타와 상호작용하는 사용자 주변의 실제 환경 정보를 인식하는 실제 환경정보 인식부;
    영상 센서를 포함하는 제2 인식 센서들로부터 획득된 제2 센싱 정보에 기초하여, 상기 사용자의 정보를 인식하는 사용자 환경정보 인식부;
    인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보에 기초하여, 상기 증강현실 아바타의 행동을 추론하는 제어부;
    추론된 상기 증강현실 아바타의 행동에 기초하여, 상기 증강현실 아바타의 표현 동작을 생성하는 표현 동작 생성부; 및
    상기 사용자가 위치한 실제 환경 상에 상기 증강현실 아바타의 상기 표현 동작을 가시화하는 영상 가시화부를 구동하는 상기 프로그램 코드를 실행하도록 구현된 것인 증강현실 아바타 상호작용 시스템.
  2. 제1항에 있어서, 상기 실제 환경정보 인식부는,
    상기 제1 센싱 정보에 기초하여 상기 증강현실 아바타가 동작할 수 있는 공간적인 영역을 정의하고, 상기 공간적인 영역 내에서 정적 객체의 위치 및 크기를 검출하고, 동적 객체의 움직임 및 크기를 검출하는 것
    인 증강현실 아바타 상호작용 시스템.
  3. 제1항에 있어서, 상기 제1 센싱 정보는,
    상기 사용자의 주변 환경에 대한 영상 정보와, 상기 사용자의 주변 환경에 대한 바람, 온도, 향기, 소리 등을 포함하는 환경 정보를 포함하는 것
    인 증강현실 아바타 상호작용 시스템.
  4. 제1항에 있어서, 상기 사용자 환경정보 인식부는,
    상기 제2 센싱 정보에 기초하여 상기 사용자가 누구인지를 판별하는 사용자 인식, 상기 사용자의 현재 감정적인 상태를 판별하는 감정 인식, 상기 사용자의 현재 동작 상황을 판별하는 동작 인식, 음성 인식 중 적어도 하나를 수행하는 것
    인 증강현실 아바타 상호작용 시스템.
  5. 제4항에 있어서, 상기 사용자 환경정보 인식부는,
    상기 제2 센싱 정보에 기초하여 상기 사용자가 상기 증강현실 아바타에게 제시하는 의지를 판별하는 의도 인식, 상기 사용자의 근전도, 뇌파 등의 생체 신호를 판별하는 생체 신호 인식 중 적어도 하나를 더 수행하는 것
    인 증강현실 아바타 상호작용 시스템.
  6. 제1항에 있어서, 상기 제어부는,
    객체들 사이의 관계가 정의된 정보와, 상기 사용자에 대해 사전에 학습된 정보가 저장된 온톨로지 데이터베이스를 이용하여, 인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보와 관련된 적어도 하나의 데이터를 검색하여 상기 증강현실 아바타의 행동을 추론하는 것
    인 증강현실 아바타 상호작용 시스템.
  7. 제1항에 있어서, 상기 제어부는,
    상기 증강현실 아바타가 동작하는 영역으로 정의된 공간과, 상기 공간 내에서 검출된 정적 객체 및 동적 객체를 이용하여 상기 증강현실 아바타에 대한 상호작용 맵(interaction map)을 생성하는 것
    인 증강현실 아바타 상호작용 시스템.
  8. 제7항에 있어서, 상기 제어부는,
    상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 위치 이동 계획(path planning)을 수행하는 것
    인 증강현실 아바타 상호작용 시스템.
  9. 제7항에 있어서, 상기 제어부는,
    상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 행위 계획(motion planning)을 수행하되,
    상기 행위 계획은 상기 정적 객체와의 관계에서 상기 증강현실 아바타의 인간-객체(human-object) 기반 행동 추론과, 상기 동적 객체와의 관계에서 상기 증강현실 아바타의 인간-인간(human-human) 기반 행동 추론을 포함하는 것
    인 증강현실 아바타 상호작용 시스템.
  10. 제1항에 있어서,
    상기 표현 동작 생성부에서 생성된 상기 증강현실 아바타의 표현 동작은 인식된 사용자 주변의 실제 환경 정보 및 상기 사용자의 정보에 대한 반응 동작을 포함하는 물리 기반 행동 표현과, 얼굴 표현과, 사전에 정의된 시나리오에 기반한 애니메이션 동작 표현을 포함하는 것
    인 증강현실 아바타 상호작용 시스템.
  11. 증강현실 아바타 상호작용을 위한 프로그램 코드를 실행하는 적어도 하나 이상의 프로세서에 의해 수행되는 증강현실 아바타 상호작용 방법에 있어서,
    영상 센서를 포함하는 제1 인식 센서들로부터 획득된 제1 센싱 정보에 기초하여, 증강현실 아바타와 상호작용하는 사용자 주변의 실제 환경 정보를 인식하는 단계;
    영상 센서를 포함하는 제2 인식 센서들로부터 획득된 제2 센싱 정보에 기초하여, 상기 사용자의 정보를 인식하는 단계;
    인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보에 기초하여, 상기 증강현실 아바타의 행동을 추론하는 단계;
    추론된 상기 증강현실 아바타의 행동에 기초하여, 상기 증강현실 아바타의 표현 동작을 생성하는 단계; 및
    상기 사용자가 위치한 실제 환경 상에 상기 증강현실 아바타의 상기 표현 동작을 가시화하는 단계
    를 포함하는 증강현실 아바타 상호작용 방법.

  12. 제11항에 있어서, 상기 실제 환경 정보를 인식하는 단계는,
    상기 제1 센싱 정보에 기초하여 상기 증강현실 아바타가 동작할 수 있는 공간적인 영역을 정의하고, 상기 공간적인 영역 내에서 정적 객체의 위치 및 크기를 검출하고, 동적 객체의 움직임 및 크기를 검출하는 단계를 포함하는 것
    인 증강현실 아바타 상호작용 방법.
  13. 제11항에 있어서, 상기 제1 센싱 정보는,
    상기 사용자의 주변 환경에 대한 영상 정보와, 상기 사용자의 주변 환경에 대한 바람, 온도, 향기, 소리 등을 포함하는 환경 정보를 포함하는 것
    인 증강현실 아바타 상호작용 방법.
  14. 제11항에 있어서, 상기 사용자 환경정보를 인식하는 단계는,
    상기 제2 센싱 정보에 기초하여 상기 사용자가 누구인지를 판별하는 사용자 인식, 상기 사용자의 현재 감정적인 상태를 판별하는 감정 인식, 상기 사용자의 현재 동작 상황을 판별하는 동작 인식, 음성 인식 중 적어도 하나를 수행하는 단계를 포함하는 것
    인 증강현실 아바타 상호작용 방법.
  15. 제14항에 있어서, 상기 사용자 환경정보를 인식하는 단계는,
    상기 제2 센싱 정보에 기초하여 상기 사용자가 상기 증강현실 아바타에게 제시하는 의지를 판별하는 의도 인식, 상기 사용자의 근전도, 뇌파 등의 생체 신호를 판별하는 생체 신호 인식 중 적어도 하나를 더 수행하는 것
    인 증강현실 아바타 상호작용 방법.
  16. 제11항에 있어서, 상기 증강현실 아바타의 행동을 추론하는 단계는,
    객체들 사이의 관계가 정의된 정보와, 상기 사용자에 대해 사전에 학습된 정보가 저장된 온톨로지 데이터베이스를 이용하여, 인식된 사용자 주변의 실제 환경 정보와 상기 사용자의 정보와 관련된 적어도 하나의 데이터를 검색하는 단계를 포함하는 것
    인 증강현실 아바타 상호작용 방법.
  17. 제11항에 있어서, 상기 증강현실 아바타의 행동을 추론하는 단계는,
    상기 증강현실 아바타가 동작하는 영역으로 정의된 공간과, 상기 공간 내에서 검출된 정적 객체 및 동적 객체를 이용하여 상기 증강현실 아바타에 대한 상호작용 맵(interaction map)을 생성하는 단계를 포함하는 것
    인 증강현실 아바타 상호작용 방법.
  18. 제17항에 있어서, 상기 증강현실 아바타의 행동을 추론하는 단계는,
    상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 위치 이동 계획(path planning)을 수행하는 단계를 더 포함하는 것
    인 증강현실 아바타 상호작용 방법.
  19. 제17항에 있어서, 상기 증강현실 아바타의 행동을 추론하는 단계는,
    상기 상호작용 맵에 기초하여 상기 증강현실 아바타의 행위 계획(motion planning)을 수행하는 단계를 더 포함하되,
    상기 행위 계획은 상기 정적 객체와의 관계에서 상기 증강현실 아바타의 인간-객체(human-object) 기반 행동 추론과, 상기 동적 객체와의 관계에서 상기 증강현실 아바타의 인간-인간(human-human) 기반 행동 추론을 포함하는 것
    인 증강현실 아바타 상호작용 방법.
  20. 제11항에 있어서,
    상기 표현 동작 생성부에서 생성된 상기 증강현실 아바타의 표현 동작은 인식된 사용자 주변의 실제 환경 정보 및 상기 사용자의 정보에 대한 반응 동작을 포함하는 물리 기반 행동 표현과, 얼굴 표현과, 사전에 정의된 시나리오에 기반한 애니메이션 동작 표현을 포함하는 것
    인 증강현실 아바타 상호작용 방법.
KR1020130140793A 2013-11-19 2013-11-19 증강현실 아바타 상호작용 방법 및 시스템 KR20150057424A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130140793A KR20150057424A (ko) 2013-11-19 2013-11-19 증강현실 아바타 상호작용 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130140793A KR20150057424A (ko) 2013-11-19 2013-11-19 증강현실 아바타 상호작용 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20150057424A true KR20150057424A (ko) 2015-05-28

Family

ID=53392291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130140793A KR20150057424A (ko) 2013-11-19 2013-11-19 증강현실 아바타 상호작용 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20150057424A (ko)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101876419B1 (ko) * 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법
KR101992424B1 (ko) * 2018-02-06 2019-06-24 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
KR102000231B1 (ko) * 2018-11-30 2019-07-15 이창훈 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법
JP2019522273A (ja) * 2016-05-25 2019-08-08 キム、ソン ピルKIM, Seon Pil 人工知能透明ディスプレイ及びその動作方法
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
US10521014B2 (en) 2017-01-19 2019-12-31 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
KR20200010655A (ko) * 2018-06-29 2020-01-31 (주)기술공감 영상에서 객체를 인식하는 방법 및 장치
WO2020050506A1 (ko) * 2018-09-04 2020-03-12 삼성전자 주식회사 증강 현실 영상에 부가 객체를 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
WO2020111835A1 (ko) * 2018-11-28 2020-06-04 김훈 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
KR20200064021A (ko) * 2018-11-28 2020-06-05 김훈 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
KR20210022944A (ko) * 2019-08-21 2021-03-04 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
KR20210098220A (ko) * 2020-01-31 2021-08-10 주식회사 아이티엑스에이아이 시청자 반응에 따른 컨텐츠 변환 장치
KR20210156270A (ko) * 2019-11-28 2021-12-24 김훈 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
KR20220011906A (ko) * 2020-07-22 2022-02-03 건국대학교 글로컬산학협력단 증강현실을 이용한 소셜 네트워크 서비스 제공 장치
WO2022050611A1 (ko) * 2020-09-03 2022-03-10 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
CN114415827A (zh) * 2021-12-20 2022-04-29 北京理工大学 一种为虚拟物体提供实体交互的方法、系统及装置
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
KR20230062999A (ko) * 2021-11-01 2023-05-09 국민대학교산학협력단 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법
US11721055B2 (en) 2021-02-03 2023-08-08 Samsung Electronics Co., Ltd. Method and device with character animation motion control

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101876419B1 (ko) * 2016-01-07 2018-07-10 한국전자통신연구원 프로젝션 기반 증강현실 제공장치 및 그 방법
JP2019522273A (ja) * 2016-05-25 2019-08-08 キム、ソン ピルKIM, Seon Pil 人工知能透明ディスプレイ及びその動作方法
US11495053B2 (en) 2017-01-19 2022-11-08 Mindmaze Group Sa Systems, methods, devices and apparatuses for detecting facial expression
US11195316B2 (en) 2017-01-19 2021-12-07 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
US10515474B2 (en) 2017-01-19 2019-12-24 Mindmaze Holding Sa System, method and apparatus for detecting facial expression in a virtual reality system
US10521014B2 (en) 2017-01-19 2019-12-31 Mindmaze Holding Sa Systems, methods, apparatuses and devices for detecting facial expression and for tracking movement and location in at least one of a virtual and augmented reality system
US11709548B2 (en) 2017-01-19 2023-07-25 Mindmaze Group Sa Systems, methods, devices and apparatuses for detecting facial expression
US10943100B2 (en) 2017-01-19 2021-03-09 Mindmaze Holding Sa Systems, methods, devices and apparatuses for detecting facial expression
US11328533B1 (en) 2018-01-09 2022-05-10 Mindmaze Holding Sa System, method and apparatus for detecting facial expression for motion capture
WO2019156332A1 (ko) * 2018-02-06 2019-08-15 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
KR101992424B1 (ko) * 2018-02-06 2019-06-24 (주)페르소나시스템 증강현실용 인공지능 캐릭터의 제작 장치 및 이를 이용한 서비스 시스템
KR20200010655A (ko) * 2018-06-29 2020-01-31 (주)기술공감 영상에서 객체를 인식하는 방법 및 장치
WO2020050506A1 (ko) * 2018-09-04 2020-03-12 삼성전자 주식회사 증강 현실 영상에 부가 객체를 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
US11151801B2 (en) 2018-09-04 2021-10-19 Samsung Electronics Co., Ltd. Electronic device for displaying additional object in augmented reality image, and method for driving electronic device
WO2020111835A1 (ko) * 2018-11-28 2020-06-04 김훈 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
KR20200064021A (ko) * 2018-11-28 2020-06-05 김훈 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
WO2020111344A1 (ko) * 2018-11-30 2020-06-04 이창훈 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법
KR102000231B1 (ko) * 2018-11-30 2019-07-15 이창훈 근전도 신호를 이용하여 신체동작을 가상의 공간에서 구현하는 시스템 및 방법
KR20210022944A (ko) * 2019-08-21 2021-03-04 한국과학기술연구원 생체신호 기반 아바타 제어시스템 및 방법
US11609632B2 (en) 2019-08-21 2023-03-21 Korea Institute Of Science And Technology Biosignal-based avatar control system and method
KR20210156270A (ko) * 2019-11-28 2021-12-24 김훈 대화형 교육 시스템에 포함되는 사용자 장치와 교육 서버
KR20210098220A (ko) * 2020-01-31 2021-08-10 주식회사 아이티엑스에이아이 시청자 반응에 따른 컨텐츠 변환 장치
KR20220011906A (ko) * 2020-07-22 2022-02-03 건국대학교 글로컬산학협력단 증강현실을 이용한 소셜 네트워크 서비스 제공 장치
WO2022050611A1 (ko) * 2020-09-03 2022-03-10 삼성전자 주식회사 전자 장치 및 전자 장치의 동작 방법
US11721055B2 (en) 2021-02-03 2023-08-08 Samsung Electronics Co., Ltd. Method and device with character animation motion control
KR20230062999A (ko) * 2021-11-01 2023-05-09 국민대학교산학협력단 주변 환경 구조와 사용자 선호도를 반영한 인공지능 기반의 증강현실 아바타 포즈 제안 장치 및 방법
CN114415827A (zh) * 2021-12-20 2022-04-29 北京理工大学 一种为虚拟物体提供实体交互的方法、系统及装置

Similar Documents

Publication Publication Date Title
KR20150057424A (ko) 증강현실 아바타 상호작용 방법 및 시스템
US11937929B2 (en) Systems and methods for using mobile and wearable video capture and feedback plat-forms for therapy of mental disorders
KR102640420B1 (ko) 홈 로봇 장치의 동작 운용 방법 및 이를 지원하는 홈 로봇 장치
KR102255273B1 (ko) 청소 공간의 지도 데이터를 생성하는 장치 및 방법
US11010601B2 (en) Intelligent assistant device communicating non-verbal cues
CN106104423B (zh) 姿势参数调节
KR102473447B1 (ko) 인공지능 모델을 이용하여 사용자 음성을 변조하기 위한 전자 장치 및 이의 제어 방법
CN106660205B (zh) 用于处理类人机器人与人类交互的系统、方法和计算机程序产品
CN112400202A (zh) 为在hmd环境中进行快速中央凹渲染利用预测和对gpu的后期更新做出的眼睛跟踪
CN112400150A (zh) 基于预测扫视着陆点的动态图形渲染
KR102526700B1 (ko) 전자 장치 및 그의 3d 이미지 표시 방법
JP2020507141A (ja) 完全な顔画像の眼球周囲およびオーディオ合成
US20180330549A1 (en) Editing interactive motion capture data for creating the interaction characteristics of non player characters
US11407106B2 (en) Electronic device capable of moving and operating method thereof
WO2002099545A1 (en) Man-machine interface unit control method, robot apparatus, and its action control method
US11327320B2 (en) Electronic device and method of controlling the same
CN109765991A (zh) 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质
KR20190084912A (ko) 사용자의 액션에 따라 제어 가능한 인공 지능 장치 및 그의 동작 방법
KR20190085895A (ko) 사용자의 시선에 따라 제어 가능한 인공 지능 장치 및 그의 동작 방법
KR102396794B1 (ko) 전자 장치 및 이의 제어 방법
Bremer et al. Predicting future position from natural walking and eye movements with machine learning
Suguitan et al. MoveAE: modifying affective robot movements using classifying variational autoencoders
KR102499379B1 (ko) 전자 장치 및 이의 피드백 정보 획득 방법
JP7306152B2 (ja) 感情推定装置、感情推定方法、プログラム、情報提示装置、情報提示方法及び感情推定システム
EP3776537A1 (en) Intelligent assistant device communicating non-verbal cues

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination