KR101696607B1 - 가상현실 인터페이스 시스템 내 오브젝트의 실시간 제어를 위한 기록매체에 저장된 컴퓨터 프로그램 - Google Patents

Abstract

본 발명은 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법 및 이를 위한 컴퓨터 프로그램에 관한 것이다.
보다 구체적으로 본 발명의 일실시예에 따르면, 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법은, 적어도 하나 이상의 센서를 포함하여 이루어지는 물리기반센서가 상기 사용자의 모션을 인식하는 단계, 상기 인식된 사용자의 모션에 대응되는 가상현실 인터페이스 시스템 제어 데이터를 생성하는 단계 및 상기 생성된 제어 데이터에 대응하여, 디스플레이부를 통해 디스플레이 되고 있는 상기 가상현실 인터페이스 시스템 내 오브젝트의 동작을 실시간으로 제어하는 단계를 포함하여 이루어질 수 있다.

Description

가상현실 인터페이스 시스템 내 오브젝트의 실시간 제어를 위한 기록매체에 저장된 컴퓨터 프로그램{COMPUTER PROGRAM STORING RECORDING MEDIUM FOR REAL-TIME CONTROLLING OBJECT IN VIRTUAL REALITY INTERFACE SYSTEM}

본 발명은 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법 및 이를 위한 컴퓨터 프로그램에 관한 것으로서, 보다 구체적으로는 물리기반센서에 의해 인식된 사용자의 모션을 기반으로 이에 대응되는 제어 데이터를 생성하되, 상기 제어 데이터에 대응하여 디스플레이 되고 있는 가상현실 인터페이스 시스템 내 오브젝트의 동작을 실시간으로 제어하는 방법 및 이를 위한 컴퓨터 프로그램에 관한 것이다.

최근 들어, 영상 분야의 비약적인 발전으로 인해 다양한 영상 기술이 개발 및 응용되고 있으며, 특히, 가상현실 영상을 생성하고, 상기 생성된 가상 현실 영상을 컴퓨터 또는 사용자 단말을 통해 재생하고 관람하는 기술이 등장하고 있다.

여기에서, 가상 현실(Virtual Reality: VR)이라 함은 실제 현실은 아니지만 사용자가 현실과 같은 환경을 3차원적인 시각(Sight)을 통해 경험할 수 있는 시뮬레이션 기술을 의미하며, 상기 가상현실은 가상의 공간과 사물을 기반으로 현실 세계만으로는 얻기 어려운 부가적인 체험이나 정보들을 사용자에게 제공할 수 있는 특징을 가지고 있다.

즉, 가상현실은 사용자로 하여금 3차원으로 이루어진 가상의 환경에 몰입하게 하되, 사용자가 상기 가상의 환경 내에서 실제감있는 체험을 할 수 있게끔 하는 것에 그 특징이 있다.

위와 같은 특징 때문에, 상기 가상 현실은 게임, 애니메이션 등의 분야뿐만 아니라 다양한 환경에 응용하는 것이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로서 각광받고 있다.

한편, 위와 같이 가상현실 기술이 점차 발전되면서, 상기 가상현실과 사용자 간의 상호작용(Interaction) 즉, 상기 가상현실에서의 사용자의 명령 입력에 대한 문제점이 대두되고 있다.

보다 구체적으로, 사용자들은 상기 가상현실을 이용하기 위해 컴퓨터, 이동 단말, VR 기기 등을 이용하고 있는데, 상기 컴퓨터, 이동 단말, VR 기기의 경우 사용자가 명령 등을 입력하기 위해서는 표준 입력 디바이스인 키보드, 마우스, 터치 센서 등을 이용하여야 한다.

따라서, 상기 가상현실과 같은 3차원 공간에서도 키보드, 마우스 등과 같은 표준 입력 디바이스를 사용하여야 하므로, 실제감있는 가상현실에서 원하는 입력이나 액션 등을 원활히 수행하기가 어렵다는 문제점이 존재하고 있다.

따라서, 위와 같은 문제점을 해결하기 위한 방법이 요구되고 있는 실정이다.

한국공개특허공보 10-2013-0061538 (공개일: 2013년06월11일)

본 발명의 목적은, 상기 문제점을 해결할 수 있도록 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법을 제공하는데 있다.

본 발명의 다른 목적은, 사용자의 모션에 대한 인식을 기반으로 오브젝트를 제어하는 것이 가능한 가상현실 인터페이스 시스템을 제공하는데 있다.

본 발명의 또 다른 목적은, 상기 문제점을 해결할 수 있도록 선술한 방법을 실현시키기 위하여 매체에 저장된 컴퓨터 프로그램을 제공하는데 있다.

본 발명에서 이루고자 하는 기술적 과제들은 상기 기술적 과제로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

상술한 문제점을 해결하기 위한 본 발명의 일실시예에 따른 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법은, 적어도 하나 이상의 센서를 포함하여 이루어지는 물리기반센서가 상기 사용자의 모션에 의해 이동되는 경우, 상기 물리기반센서가 상기 이동에 대응하여 상기 사용자의 모션을 인식하는 단계, 상기 인식된 사용자의 모션에 의해 대응되는 가상현실 인터페이스 시스템 제어 데이터를 생성하는 단계 및 상기 생성된 제어 데이터에 대응하여, 디스플레이부를 통해 디스플레이 되고 있는 상기 가상현실 인터페이스 시스템 내 오브젝트의 동작을 실시간으로 제어하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법에 있어서, 상기 사용자의 모션에 대한 인식은, 상기 사용자의 신체를 이용하여 3차원적으로 수행되는 동작의 정도인 롤(roll), 피치(pitch) 또는 요우(yaw) 중 적어도 하나 이상을 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법에 있어서, 상기 3차원적으로 수행되는 동작은, 상기 사용자의 신체가 수평 또는 수직 방향으로 회전 또는 이동하는 것을 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법에 있어서, 상기 물리기반센서는 관성 측정 유닛(Inertial measurement unit: IMU)을 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법에 있어서, 상기 물리기반센서는 가속도 센서, 자이로 센서, 중력 센서, 자기 센서 또는 온도 센서 중 적어도 하나 이상을 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법에 있어서, 상기 가상현실 인터페이스 시스템 제어 데이터는 상기 사용자의 모션에 대응되는 절대 방향 데이터를 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법에 있어서, 상기 사용자의 모션에 대응되는 절대 방향 데이터의 생성은, 상기 물리기반센서에 의해 상기 이동에 대응되어 인식된 상기 사용자의 모션과 상기 사용자의 이전 자세를 기반으로 상기 사용자의 위치 및 자세 변화를 측정하는 단계 및 상기 측정된 사용자의 위치 및 자세 변화를 기반으로 상기 사용자의 모션에 대한 회전 속도, 회전 방향, 회전 반경, 이동 속도, 이동 방향 또는 이동 움직임량 중 적어도 하나 이상의 정보에 대한 절대 방향 데이터를 추출하는 단계를 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법에 있어서, 상기 가상현실 인터페이스 시스템 내 오브젝트의 동작 제어는, 상기 생성된 가상현실 인터페이스 시스템 제어 데이터를 미리 정해진 적어도 하나 이상의 오브젝트 동작 정의 값과 비교하는 단계, 상기 비교 결과를 기반으로 상기 미리 정해진 적어도 하나 이상의 오브젝트의 동작 중 특정 동작을 결정하는 단계 및 상기 결정된 특정 동작이 수행되도록 상기 디스플레이 되고 있는 가상현실 인터페이스 시스템 내 오브젝트를 실시간으로 제어하는 단계를 포함하여 이루어질 수 있다.

본 발명의 일실시예에 따른 사용자의 모션(motion)에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법에 있어서, 상기 제어하는 단계는, 상기 가상현실 인터페이스 시스템 내 오브젝트의 활성 상태(On/Off) 전환, 상기 오브젝트의 움직임 제어, 상기 가상현실 인터페이스 시스템 내 기 설정된 메뉴에 대한 선택 명령의 입력, 상기 선택 명령에 대한 취소 명령의 입력 및 상기 가상현실 인터페이스 시스템 내 기 설정된 모드 또는 메뉴 간의 전환 중 적어도 하나 이상의 수행을 포함하여 이루어질 수 있다.

상술한 문제점을 해결하기 위한 본 발명의 일실시예는, 컴퓨터 또는 이동 단말을 포함하는 하드웨어에 설치되어, 적어도 하나 이상의 센서를 포함하여 이루어지는 물리기반센서가 사용자의 모션에 의해 이동되는 경우, 상기 이동에 대응되어 인식된 사용자의 모션을 기반으로 하여 생성된 가상현실 인터페이스 시스템 제어 데이터를 상기 물리기반센서로부터 제공받는 단계 및 상기 제어 데이터에 대응하여, 디스플레이부를 통해 디스플레이 되고 있는 상기 가상현실 인터페이스 시스템 내 오브젝트의 동작을 실시간으로 제어하는 단계를 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램일 수 있다.

상기와 같은 본 발명에 따르면 아래에 기재된 효과를 얻을 수 있다. 다만, 본 발명을 통해 얻을 수 있는 효과는 이에 제한되지 않는다.

첫째, 본 발명에 따르면 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법이 제공될 수 있다.

둘째, 본 발명에 따르면 사용자의 모션에 대한 인식을 기반으로 오브젝트를 제어하는 것이 가능한 가상현실 인터페이스 시스템이 제공될 수 있다.

셋째, 본 발명에 따르면, 선술한 방법을 실현시키기 위하여 매체에 저장된 컴퓨터 프로그램이 제공될 수 있다.

본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명이 적용될 수 있는 무선 통신 네트워크 환경을 예시하는 도면이다.
도 2는 본 발명의 일실시예에 따라 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 과정을 설명하기 위한 흐름도를 나타내는 도면이다.
도 3은 본 발명의 일실시예에 따라 가상현실 인터페이스 시스템 내 오브젝트를 제어하기 위한 사용자의 모션을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 모습의 일례를 나타내기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 모습의 다른 일례를 나타내기 위한 도면이다.
도 6은 본 발명의 일실시예에 따라 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 모습의 또 다른 일례를 나타내기 위한 도면이다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전히 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

몇몇의 경우, 본 발명의 개념이 모호해지는 것을 피하기 위하여 공지의 구조 및 장치는 생략되거나, 각 구조 및 장치의 핵심기능을 중심으로 한 블록도 형식으로 도시될 수 있다. 또한, 본 명세서 전체에서 동일한 구성요소에 대해서는 동일한 도면 부호를 사용하여 설명한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함(comprising 또는 including)"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "…부" 의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 나아가, "일(a 또는 an)", "하나(one)", 및 유사 관련어는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.

아울러, 본 발명의 실시예들에서 사용되는 특정(特定) 용어들은 본 발명의 이해를 돕기 위해서 제공된 것이며, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 이러한 특정 용어의 사용은 본 발명의 기술적 사상을 벗어나지 않는 범위에서 다른 형태로 변경될 수 있다.

이하, 본 발명에 따른 바람직한 실시 형태를 첨부된 도면을 참조하여 상세하게 설명한다. 첨부된 도면과 함께 이하에 개시될 상세한 설명은 본 발명의 예시적인 실시형태를 설명하고자 하는 것이며, 본 발명이 실시될 수 있는 유일한 실시형태를 나타내고자 하는 것이 아니다.

도 1은 본 발명이 적용될 수 있는 무선 통신 네트워크 환경을 예시하는 도면이다.

도 1을 참고하면, 본 발명이 적용될 수 있는 무선 통신 네트워크 환경은 사용자의 모션을 인식하기 위한 물리기반센서(100), 디스플레이부를 포함하는 단말(200) 및 네트워크(300)로 구성될 수 있으며, 상기 물리기반센서(100) 및 상기 단말(200)은 상기 네트워크(300)에 의해 연결될 수 있다.

다만, 이하에서 언급되는 무선 통신 네트워크 환경은 도 1에 도시된 구성요소들 중 적어도 하나를 포함하나, 반드시 이에 한정되는 것은 아니다.

본 발명의 일실시예에 있어서, 상기 디스플레이부를 포함하는 단말(200)은 가상현실 인터페이스 시스템을 재생할 수 있는 장치를 의미할 수 있다.

이 때, 상기 단말(200)에는 하나 이상의 프로그램(program) 또는 어플리케이션(Application)이 미리 설치되어 있을 수 있으며, 특히 본 발명의 일실시예인 사용자의 모션(motion)에 대한 인식을 기반으로 오브젝트를 제어하는 가상현실 인터페이스 시스템과 관련된 컴퓨터 프로그램(Computer Program), API(Application Program Interface) 또는 임베디드 소프트웨어(Embaded Software)를 포함하는 어플리케이션이 상기 단말(200)에 설치되어 있을 수 있다.

또한, 상기 단말(200)은 상기 단말이 자체적으로 혹은 상기 설치된 하나 이상의 프로그램 또는 어플리케이션을 통해 가상현실 인터페이스 시스템을 생성/재생할 수 있다.

보다 구체적으로 상기 단말(200)은 가상현실 인터페이스 시스템의 가상현실 객체인 가상 사물 즉, 오브젝트(Object)를 실시간으로 정합(matching)함으로서 상기 가상현실 인터페이스 시스템을 생성/재생할 수 있으며, 이는 어디까지나 예시일 뿐 현재 개발되었거나 향후 개발될 모든 가상현실 인터페이스 시스템을 생성/재생하는 방법이 포함되는 것으로서 본 발명은 해석될 수 있다.

한편, 상기 단말(200)에서 생성된 가상현실 인터페이스 시스템 또는 이와 관련된 데이터들은, 앞서 언급한 바와 같이 상기 단말(200)의 디스플레이부를 통해 디스플레이(또는 표시)될 수 있으며, 상기 데이터들은 상기 가상현실 인터페이스의 표시와 관련된 것일 수 있다.

또한, 상기 단말(200)는, 예를 들어 오큘러스 리프트, 광학 글라스, 모피어스 등과 같이, 디스플레이부를 통해 가상현실 인터페이스가 디스플레이될 수 있되 사용자가 신체에 착용한 후 이를 시청할 수 있는 다양한 가상현실 인터페이스 디스플레이 장치를 포함하는 개념으로 해석될 수 있다.

또한, 상기 단말(200)은 가상현실 인터페이스의 디스플레이가 가능한 VR(Virtual Reality), AR(Augmented Reality) 장치, PC(Personal Computer), 노트북 컴퓨터, 태블릿 PC(Tablet Personal Computer), 단말 장치, 휴대폰, 이동 단말, 모바일 단말, 터미널(Terminal), MS(Mobile Station), MSS(Mobile Subscriber Station), SS(Subscriber Station), AMS(Advanced Mobile Station), WT(Wireless terminal), MTC(Machine-Type Communication) 장치, M2M(Machine-to-Machine) 장치, D2D 장치(Device-to-Device) 장치를 포함하는 개념으로 해석될 수 있다.

물론, 앞서 언급한 위 장치들은 어디까지나 예시에 불과할 뿐이며, 본 발명의 단말(200)은 상술한 예시들 이외에도 현재 개발되어 상용화되었거나 또는 향후 개발될, 데이터 또는 신호 전송이 가능하되 가상현실 인터페이스를 생성 및/또는 디스플레이 할 수 있는 모든 장치를 포함하는 개념으로 해석되어야 한다.

이 때, 상기 가상현실 인터페이스가 재생될 수 있는 상기 단말(200)은 송신부 및 수신부를 포함하는 유무선 통신부를 포함하며, 상기 물리기반센서(100)와 데이터 또는 신호를 송신 및 수신하도록 구성될 수 있다.

또한, 본 발명에서 상기 단말(200)은 가상현실 인터페이스 및 그 와 관련된 정보(예를 들어, 오브젝트 등)를 UI(User Interface) 또는 GUI(Graphic User Interface) 등으로 디스플레이(또는 표시)하는 디스플레이부를 상기 단말(200)의 내부 또는 외부에 포함할 수 있다.

상기 디스플레이부는 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉서블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중 적어도 어느 하나로 구현될 수도 있으며, 구현 형태에 따라 디스플레이부가 2개 이상 존재할 수도 있다. 예를 들어, 단말(200)에는 외부 디스플레이부와 내부 디스플레이부가 동시에 구비될 수도 있다.

또한, 단말(200)은 제어부를 더 포함할 수 있으며, 제어부는 물리기반센서(100)로부터 수신되는 데이터 또는 신호에 대한 각종 처리를 수행하거나 혹은 상기 데이터 또는 신호를 기반으로 가상현실 인터페이스 및/또는 오브젝트에 대한 제어를 수행할 수 있다.

상기 제어부는 프로세서(Processor), 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있으며, 상기 제어부는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.

필요한 경우 상기 단말(200)의 제어부는 상기 물리기반센서(100)로부터 수신된 데이터 또는 신호를 상기 단말(200)의 메모리에 저장할 수도 있으며, 상기 메모리는 제어부에 연결되어 오퍼레이팅 시스템(operating system), 어플리케이션, 및 일반 파일(general files)들 또한 저장할 수 있다.

한편, 본 발명의 일실시예에 따라 상기 디스플레이부를 비롯한 다양한 장치를 포함하는 상기 단말(100)은, 사용자에게 다양한 시청각 자극을 제공하기 위한 다양한 입출력부를 추가적으로 더 포함할 수도 있다.

보다 구체적으로, 상기 단말(200)은 사용자 입력부(예를 들어, 카메라, 키보드, 마우스, 조이스틱, 터치 센서 등)와 같은 일반적/표준적인 영상, 신호 입력 장치를 내부 또는 외부에 포함할 수 있으며, 그 외에도 본 발명의 일실시예를 위한 입력 장치인, 자이로 변화, 가속도 변화 등을 이용하여 사용자가 모션으로서 소정의 신호를 물리적으로 입력할 수 있는 물리기반센서(100)와 유/무선 기술을 통해 연결될 수 있다.

아울러, 상기 단말(200)에 포함될 수 있는 디스플레이부의 경우, 가상현실 인터페이스를 사용자에게 제공할 수 있으며, 그 뿐만 아니라 사용자에게 입체감 있는 가상현실 인터페이스를 제공하되 현실감 있는 시청각 자극을 제공할 수 있도록, 현재 개발되었거나 향후 개발될 다양한 출력장치(예를 들어, 디스플레이 장치, 음향 장치 등)가 더 포함되어 있을 수 있다.

본 발명에서 상기 물리기반센서(100)는 사용자의 모션 즉, 사용자의 위치, 움직임, 자세의 변화 등을 측정/인식할 수 있으며, 이를 위해 가속도 센서, 자이로 센서, 중력 센서, 자기 센서 또는 온도 센서 중 적어도 하나 이상을 포함하여 이루어질 수 있다.

상기 물리기반센서는 관성 측정 유닛(Inertial measurement unit: IMU)을 포함하여 이루어질 수 있으며, 상기 관성 측정 유닛(IMU)는 일반적으로 항공기, 우주선, 선박, 잠수함, 차량, 유도미사일 등 움직이는 객체의 속도, 방향, 중력을 측정하는데 이용되는 장치로서, X축, Y축, Z축(오일러(Euler)에서의 Right, Up, Forward)을 포함하여 이루어지는 3차원인 공간에서 상기 움직이는 객체의 동작의 정도인 롤(roll), 피치(pitch) 또는 요우(yaw) 등을 측정하는데 이용되고 있다.

즉, 본 발명에서 상기 물리기반센서는 관성 측정 유닛(Inertial measurement unit: IMU)을 포함하여 이루어질 수 있으므로, 본 발명에서 상기 물리기반센서에 의한 사용자의 모션에 대한 인식은, X축, Y축, Z축을 포함하여 이루어지는 3차원인 공간에서 상기 사용자의 신체를 이용하여 수행되는 동작의 정도인 롤(roll), 피치(pitch) 또는 요우(yaw) 중 적어도 하나 이상을 포함하여 이루어질 수 있으며, 상기 3차원적으로 수행되는 동작은, 상기 사용자의 신체가 수평 또는 수직 방향으로 회전 또는 이동하는 것을 포함하여 이루어질 수 있다.

이 때, 상기 가속도 센서는 지면을 중심으로 사용자의 신체가 얼마만큼 기울어져 있는지를 측정할 수 있다. 상기 가속도 센서는 어느 한 방향의 가속도 변화에 대해서 이를 전기 신호로 바꾸어 주는 소자로서, MEMS(micro-electromechanical systems) 기술의 발달과 더불어 널리 사용되고 있으며, 상기 가속도 센서는 중력가속도의 변화를 인식하는 중력 센서를 포함할 수 있다.

한편, 상기 가속도 센서는 액티브센싱(Active Sensing)이 가능한 블루투스 4.2와 같이 블루투스 4.0 이후의 비콘(BLE)을 함께 사용할 경우, 사용자 신체가 특정한 움직임을 수행하고 있고, 얼마의 속도로 특정한 움직임을 수행하고 있는 지를 알 수 있게 되어, 이동과 관련하여 정확한 시간 측정 또한 가능할 수 있다.

한편, 상기 자이로 센서는 각속도 또는 회전력을 측정하는 것이 가능한 센서로서, 자이로스코프의 원리를 이용한다. 이 때, 상기 자이로스코프는 중앙의 회전체가 외부의 회전력이 주어졌을 때 자동으로 회전 중심을 세우는 원리를 보여주는 장치로서, 회전체의 복원력은 외부에서 준 회전력과 일치하므로 각속도를 감지할 수 있다.

자기 센서는 나침반의 원리를 기반으로 교류자계의 변화나 정자계의 변화를 이용하거나, 혹은 정전용량의 변화율 등을 이용하여 상기 자이로 센서로는 측정하기 어려운, 기울어진 위치를 측정하기 위한 센서를 의미한다.

또한, 본 발명에서 상기 물리기반센서(100)는 상기 가속도 센서, 자이로 센서, 자기 센서, 중력 센서 이외에 온도에 따른 노이즈를 제거하기 위한 온도센서와 신호변환용 A/D 변환기(Analog to Digital Converter), 이들 신호를 이용하여 자세를 계산하는 μ-컨트롤러(micro-controller), 무선통신용 블루투스 모듈을 더 포함하여 이루어질 수 있다.

한편, 다시 도 1을 참고하면, 본 발명의 네트워크(300)는 물리기반센서(100) 및 단말(200)이 가상현실 인터페이스 및/또는 오브젝트를 생성/표시/제어하는 것과 관련된 데이터를 서로 간 송수신 하기 위해 이용하는 데이터 통신망을 의미하며, 그 종류에는 특별히 제한되지 않는다.

예를 들어, 상기 네트워크(300)는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), 지그비(ZigBee) 등을 포함하는 근거리 무선 통신 모듈로 이루어질 수 있으며, 이와 달리 원거리 통신 모듈, 즉, 인터넷 프로토콜(IP)을 통하여 대용량 데이터의 송수신 서비스를 제공하는 아이피(IP: Internet Protocol)망 또는 서로 다른 IP 망을 통합한 올 아이피(All IP)망으로 구현될 수도 있으며, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE(Long Term Evolution) 망을 포함하는 이동통신망, LTE advanced(LTE-A), 5G(Five Generation)를 포함하는 이동통신망, 위성 통신망 및 와이파이(Wi-Fi)망 중 하나 이거나 또는 이들 중 적어도 하나 이상을 결합하여 이루어질 수도 있다.

도 2는 본 발명의 일실시예에 따라 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 과정을 설명하기 위한 흐름도를 나타내는 도면이다.

도 2를 참고하면, 본 발명의 일실시예에 따라 적어도 하나 이상의 센서를 포함하여 이루어지는 물리기반센서는 사용자의 모션을 인식할 수 있다.

이를 위해, 본 발명에서 상기 물리기반센서(100)는 도 4에 도시된 바와 같이, 사용자의 신체 일부와 접촉된 채 사용자의 신체 움직임이 그대로 전달될 수 있는 임의의 객체(예를 들어, 컵 등)에 결합된 형태로 이루어질 수 있으며, 이는 어디까지나 예시일 뿐 도 4에 도시된 바와는 달리 스마트 와치 등 사용자의 신체 일부에 착용가능한 웨어러블 기기에 결합된 형태로도 이루어질 수 있다.

이하에서는, 설명의 편의를 위해 도 4에 도시된 바와 같이 상기 물리기반센서(100)가 컵에 결합된 상태로 이루어져있음을 전제하여 설명하기로 한다.

본 발명에서, 상기 물리기반센서에 의한 사용자의 모션에 대한 인식은 앞서 도 1에서 언급한 바와 같이 상기 사용자의 신체를 이용하여 3차원적으로 수행되는 동작의 정도인 롤(roll), 피치(pitch) 또는 요우(yaw) 중 적어도 하나 이상을 포함할 수 있고, 상기 3차원적으로 수행되는 동작은, 상기 물리기반센서가 결합된 컵을 상기 사용자의 신체가 도 3 에 도시된 바와 같이 수평(a) 또는 수직(b) 방향으로 회전 또는 이동하는 것을 포함하여 이루어질 수 있다.

즉, 본 발명에서 상기 사용자의 신체는 도 3에 도시된 바와 같이 상기 사용자의 손목일 수 있으며(다만, 이는 어디까지나 예시일 뿐 다른 부위이거나 사용자의 신체 전부일 수도 있다.), 사용자의 손목 회전 각의 최대치, 의도를 갖는 움직임의 최저속도, 해당 속도의 지속시간을 기본 데이터로 하되, 상기 사용자의 손목이 수평(a) 또는 수직(b) 방향으로 회전 또는 이동하는 것을 상기 물리기반센서를 구성하는 가속도 센서, 자이로 센서, 중력 센서, 자기 센서 또는 온도 센서 중 적어도 하나 이상을 기반으로 하여 인식할 수 있다. 이 때, 상기 물리기반센서(100)는 DCM(Direct Cosine Matrix)를 포함한 센서의 이상적인 출력까지만 계산하도록 설정될 수 있다.

한편, 상기 물리기반센서는 사용자의 모션을 인식하고, 상기 인식된 사용자의 모션에 대응되는 가상현실 인터페이스 시스템 제어 데이터를 생성할 수 있으며, 상기 가상현실 인터페이스 시스템 제어 데이터는 상기 사용자의 모션에 대응되는 절대 방향 데이터를 포함할 수 있다.

이 때, 본 발명의 일실시예에 따르면, 상기 사용자의 모션에 대응되는 절대 방향 데이터는, 상기 물리기반센서에 의해 인식된 상기 사용자의 모션과 상기 사용자의 이전 자세를 기반으로 상기 사용자의 위치 및 자세 변화를 측정하되, 상기 측정된 사용자의 위치 및 자세 변화를 기반으로 하여 상기 사용자의 모션에 대한 회전 속도, 회전 방향, 회전 반경, 이동 속도, 이동 방향 또는 이동 움직임량 중 적어도 하나 이상의 정보에 대한 절대 방향 데이터를 추출하는 과정에 따라 생성될 수 있다.

이 때, 상기 사용자의 위치 및 자세 변화는 상기 물리기반센서 내 상기 가속도 센서 및 자이로 센서가 상기 사용자의 모션을 측정한 데이터를 취합한 후 여기에, 상기 자기 센서, 중력 센서, 온도 센서에 의해 측정된 데이터를 퓨전시키는 알고리즘을 적용하되, 이를 데이터 필터링 및 가공 모듈에 의해 필터링 및 가공 처리하여 측정할 수 있다.

상기 물리기반센서에 의해 인식된 상기 사용자의 모션과 상기 사용자의 이전 자세를 기반으로 상기 사용자의 위치 및 자세 변화를 측정하는 경우, 상기 물리기반센서(100)에 설정될 수 있는 상기 DCM(Direct Cosine Matrix) 알고리즘에서는 50Hz 이상의 속도로 자이로 센서의 출력을 포함하는 비선형 미분 운동방정식을 적분하여 현재의 자세를 추적할 수 있다.

한편, 본 발명에서는 상기 물리기반센서에 의해 인식된 상기 사용자의 모션과 상기 사용자의 이전 자세를 기반으로 상기 사용자의 위치 및 자세 변화를 측정하기 때문에, 시간이 경과함에 따라 자이로 드리프트(Gyro Drift)를 포함한 수치에러의 누적으로 각 축 간의 직교성이 위반될 수 있다.

따라서, 본 발명에서는 해당 에러를 측정하는 레퍼런스 벡터(Reference Vector)와 요우(Yaw) 에러의 경우 마그네토미터(Magnetometer), 피치(Pitch)와 롤(Roll)의 경우는 가속도계의 출력을 이용한 PI 네거티브(negative) 제어를 수행할 수 있으며, 이를 통해 상기 에러를 누적 보다 빨리 소멸 시킬 수 있다.

또한, 본 발명에서는 센서출력을 직접 이용하여 현 자세를 추적하지 않고, 센서출력에 이전 자세를 결합하고 상태 변수

로 쿼터니온(Quaternion)을 사용하여 현 자세를 추적하는 쿼터니온 칼만 필터(Quaternion Kalman Filter)를 사용할 수 있다. 이 때, 상기 쿼터니온 칼만 필터는 가속도 센서와 자이로 센서 데이터를 결합하는 방식을 의미한다.

한편, 자이로 센서의 출력인 각속도

와 쿼터니온과는

의 관계가 있으며, 매

마다

식으로 상태변수를 예측할 수 있다. 이 때, 상태 천이 행렬(State Transition Matrix)

는 아래와 같이 유도될 수 있다.

자이로 센서출력 자체로는 자이로 드리프트(Gyro Drift)가 발생하므로 가속도 센서(Accelerometer)와 자기 센서(Magnetometer)출력을 자기 보상(Magnetic compensation)을 포함하여 기울기 강하(Gradient descent)방법으로 결합할 수 있다.

상태 공간(State space)과 관측 공간(Observation space)의 관계를 나타내는 측정 민감도

행렬(Measurement Sensitivity

Matrix)은 아이덴티티(Identity)로 모두 쿼터니온을 이용하여 방향각(Orientation)을 나타낼 수 있으며, 이를 이용한 칼만 게인(Kalman gain)은

이고, 자세를 추적하는 최종 업데이트 식은

일 수 있다.

한편, 본 발명의 일실시예에 따르면 상기 사용자의 모션에 대응되는 절대 방향 데이터를 포함하는 상기 가상현실 인터페이스 시스템 제어 데이터를 무선 통신 유닛(예를 들어, 근거리 무선 통신 모듈 및/또는 원거리 통신 모듈 등)을 통해 수신한 가상현실 인터페이스 시스템은 이를 기반으로 디스플레이부를 통해 디스플레이 되고 있는 상기 가상현실 인터페이스 시스템 내 오브젝트의 동작을 실시간으로 제어할 수 있다. 즉, 본 발명에서 상기 가상현실 인터페이스 시스템은, 캘리브레이션, 모션(동작)정의, 모션(동작)데이터 비교분석, 인터페이스 연결을 수행하는 응용 프로그램을 포함하는 개념일 수 있다.

이 때, 상기 가상현실 인터페이스 시스템 내 오브젝트의 동작 제어는, 상기 생성된 가상현실 인터페이스 시스템 제어 데이터를 미리 정해진 적어도 하나 이상의 오브젝트 동작 정의 값과 비교하되, 상기 비교 결과를 기반으로 상기 미리 정해진 적어도 하나 이상의 오브젝트의 동작 중 특정 동작을 결정하고, 상기 결정된 특정 동작이 수행되도록 상기 디스플레이 되고 있는 가상현실 인터페이스 시스템 내 오브젝트를 실시간으로 제어함에 따라 이루어질 수 있다.

상기 미리 정해진 하나 이상의 오브젝트의 동작은 상기 가상현실 인터페이스 시스템 내 오브젝트의 활성 상태(On/Off) 전환, 상기 오브젝트의 움직임 제어, 상기 가상현실 인터페이스 시스템 내 기 설정된 메뉴에 대한 선택 명령의 입력, 상기 선택 명령에 대한 취소 명령의 입력 및 상기 가상현실 인터페이스 시스템 내 기 설정된 모드 또는 메뉴 간의 전환을 포함할 수 있으나, 이에 제한되지 않으며 이는 설정에 따라 달라질 수 있다.

이하에서는, 본 발명의 일실시예에 따른 사용자의 모션 인식을 기반으로 하여 이루어지는 상기 가상현실 인터페이스 시스템 내 오브젝트의 동작 제어에 대하여 보다 구체적인 예를 들어 설명하기로 한다.

먼저 도 4를 참고하면, 도 4(a)에 도시된 바와 같이 상기 물리기반센서의 전원이 비활성 또는 꺼짐(OFF)상태인 경우, 상기 가상현실 인터페이스 시스템 및/또는 그 오브젝트 또한 이에 대응하여 그 동작이 비활성화 되어 있을 수 있다.

이와 같은 상태에서 상기 물리기반센서의 전원이 활성화 또는 켜지게 될 경우(ON), 도 4(b)에 도시된 바와 같이 상기 물리기반센서가 활성화(ON) 된 것에 대응하여 상기 가상현실 인터페이스 시스템 및/또는 오브젝트 또한 그 동작이 활성화 될 수 있다.

다만, 이 경우 설정에 따라 상기 활성화 상태로 전환된 이후 사용자의 추가적인 모션 입력이 없다면, 상기 가상현실 인터페이스 시스템 내 오브젝트의 움직임, 선택 명령 입력/취소, 메뉴 전환 등의 기능은 잠금(Lock) 상태로 설정되어 별도의 제어가 가능하지 않은 상태로 존재할 수 있다.

이 때, 도 4(c)에 도시된 바와 같이 상기 사용자가 상기 물리기반센서가 결합되어 있는 임의의 객체(컵)에 미리 정해진 모션(예를 들어, 컵을 들어올리는 모션 등)을 가하는 경우, 이에 따라 상기 가상현실 인터페이스 시스템 내 오브젝트는 잠금 상태에서 잠금 해제 상태로 천이될 수 있으며, 이에 대응하여 상기 가상현실 인터페이스 시스템 내 오브젝트는 움직임, 선택 명령 입력/취소, 메뉴 전환 등의 기능 수행이 가능할 수 있다.

이와 같이 상기 가상현실 인터페이스 시스템 내 오브젝트가 잠금 해제 된 상태에서, 도 5(a)에 도시된 바와 같이 상기 사용자가 상기 물리기반센서가 결합된 객체(컵)를 든 채 사용자의 신체(손목)를 수직 방향으로 회전하는 경우, 상기 가상현실 인터페이스 시스템 내 기 설정된 모드 또는 메뉴 간의 전환이 이루어질 수 있다.

또한, 도 5(b)에 도시된 바와 같이 상기 사용자가 상기 물리기반센서가 결합된 객체(컵)를 든 채 사용자의 신체(손목)를 수평 방향으로 회전하는 경우에는, 상기 가상현실 인터페이스 시스템 내 기 설정된 메뉴에 대한 선택 명령의 입력 또는 상기 선택 명령에 대한 취소 명령의 입력이 이루어질 수 있다.

한편, 상기 가상현실 인터페이스 시스템 내 오브젝트가 잠금 해제 된 상태에서, 도 6(a)에 도시된 바와 같이 상기 사용자가 상기 물리기반센서가 결합된 객체(컵)를 내려놓는 경우, 즉, 이 때는 사용자의 움직임이 없으므로 물리기반센서에 의해 인식되는 사용자의 모션도 존재하지 않으며, 마찬가지로 상기 가상현실 인터페이스 시스템 내 오브젝트 또한 움직임이 없을 수 있다.

이와 같은 경우, 즉, 상기 오브젝트에 가해지는 움직임이 없되 상기 오브젝트가 향하는 방향이 미리 정해진 특정 방향을 향하고 있는 경우, 본 발명에서는 상기 가상현실 인터페이스 시스템 내 오브젝트의 움직임, 선택 명령 입력/취소, 메뉴 전환 등의 기능은 잠금(Lock) 상태로 천이되도록 설정될 수 있다.

또한, 위와 같이 상기 가상현실 인터페이스 시스템 내 오브젝트가 잠금 상태로 천이된 상태에서, 미리 정해진 일정 값 이상의 움직임이 발생하고 상기 가상현실 인터페이스 시스템 내 오브젝트가 미리 설정된 특정 방향으로 놓이게 되면, 본 발명에서는 상기 가상현실 인터페이스 시스템 내 오브젝트의 움직임, 선택 명령 입력/취소, 메뉴 전환 등의 기능은 다시 잠금 해제 상태로 천이되도록 설정될 수 있다.

한편, 도 6(b)에 도시된 바와 같이, 상기 사용자가 상기 물리기반센서가 결합된 객체(컵)를 든 채 사용자의 신체(손목)를 수평 방향으로 회전하되 상기 수평회전의 회전각 최대치에 근접할 경우, 본 발명에서는 상기 가상현실 인터페이스 시스템의 추가 모드(또는 부과 모드)가 실행되도록 설정될 수 있다.

앞서 설명한 예시에서, 상기 사용자가 상기 물리기반센서가 결합되어 있는 임의의 객체(컵)에 가하는 하나 이상의 모션 및 이에 대응하여 이루어지는 상기 가상현실 인터페이스 시스템 내 오브젝트의 제어는 설정에 따라 각각 달라질 수 있음은 당연하다.

한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 저장하는 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함한다.

본 발명의 실시예들과 관련된 기술 분야에서 통상의 지식을 가진 자는 상기 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로, 개시된 방법들은 한정적인 관점이 아닌 설명적 관점에서 고려되어야 한다. 본 발명의 범위는 발명의 상세한 설명이 아닌 청구 범위에 나타나며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

본 발명인 사용자의 모션에 대한 인식을 기반으로 가상현실 인터페이스 시스템 내 오브젝트를 제어하는 방법 및 이를 위한 컴퓨터 프로그램은 가상현실 인터페이스 시스템 내 오브젝트를 제어하기 위한 다양한 방법에 적용하는 것이 가능하다.

100: 물리기반센서 200: 단말
300: 네트워크

Claims (1)

1. 컴퓨터 또는 이동 단말을 포함하는 하드웨어에 결합되어,
   적어도 하나 이상의 센서를 포함하여 이루어지는 물리기반센서가 사용자의 모션에 의해 이동되는 경우, 상기 이동에 대응되어 인식된 사용자의 모션을 기반으로 하여 생성된 가상현실 인터페이스 시스템 제어 데이터를 상기 물리기반센서로부터 제공받는 단계; 및
   상기 제어 데이터에 대응하여, 디스플레이부를 통해 디스플레이 되고 있는 상기 가상현실 인터페이스 시스템 내 오브젝트의 동작을 실시간으로 제어하는 단계;를 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램이되,
   상기 가상현실 인터페이스 시스템 내 오브젝트의 동작 제어는, 상기 생성된 가상현실 인터페이스 시스템 제어 데이터를 미리 정해진 적어도 하나 이상의 오브젝트 동작 정의 값과 비교하는 단계;
   상기 비교 결과를 기반으로 상기 미리 정해진 적어도 하나 이상의 오브젝트의 동작 중 특정 동작을 결정하는 단계; 및
   상기 결정된 특정 동작이 수행되도록 상기 디스플레이 되고 있는 가상현실 인터페이스 시스템 내 오브젝트를 실시간으로 제어하는 단계;를 포함하여 이루어지는, 기록매체에 저장된 컴퓨터 프로그램.

Images