KR102284821B1

KR102284821B1 - 가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치

Info

Publication number: KR102284821B1
Application number: KR1020187021839A
Authority: KR
Inventors: 나다브 그로싱거; 에밀 알론; 데이비드 이도 바; 에프랫 솔로드닉
Original assignee: 페이스북, 인크.
Priority date: 2014-12-18
Filing date: 2015-12-18
Publication date: 2021-08-03
Also published as: JP6810125B2; EP3234741A4; JP2019083033A; KR20180088754A; WO2016100931A8; JP2018501570A; US20170169618A1; WO2016100931A1; KR20210097818A; US9659413B2; KR20210099163A; JP6554631B2; CN107209561A; US9972136B2; KR20170081272A; US20160180595A1; EP3234741A1; CN113050802A

Abstract

신체 부분 제스처 및 자세를 사용하여, 가상 현실 장면에서 내비게이션하기 위한 방법, 시스템 및 장치가 본 명세서에 제공된다. 방법은: 사용자에게 가상 현실 뷰를 제공하기 위해, 근안 디스플레이를 통해, 사용자의 두 눈에 합성 3D 장면을 투영하는 단계; 상기 사용자의 적어도 하나의 신체 부분에 의해 수행되는 적어도 하나의 제스처 또는 자세를 식별하는 단계; 감지된 제스처 또는 자세와 연관되는 벡터의 적어도 하나의 메트릭을 측정하는 단계; 측정된 메트릭에 기반하여, 가상 현실 환경에 상기 사용자의 움직임 또는 행위를 적용하는 단계; 및 가상 현실 환경에 상기 사용자의 움직임 또는 행위를 반영하기 위해 가상 현실 뷰를 수정하는 단계를 포함할 수 있다.

Description

가상 현실 환경에서의 내비게이션을 위한 방법, 시스템 및 장치{METHOD, SYSTEM AND DEVICE FOR NAVIGATING IN A VIRTUAL REALITY ENVIRONMENT}

본 발명은 일반적으로 가상 현실(virtual reality, VR) 환경에 관한 것이고, 더욱 특히 VR 환경에서 내비게이션하기 위한 방법, 시스템 및 장치에 관한 것이다.

본 발명의 배경이 제시되기에 앞서, 이하에서 사용될 특정 용어의 정의를 규정하는 것이 도움이 될 것이다.

본 명세서에서 사용되는 용어 '가상 현실'(VR)은 실제 세계 또는 상상의 세계에 대한 물리적 존재를 시뮬레이션할 수 있는 컴퓨터 시뮬레이션 환경으로 정의된다. 가상 현실은 가상의 맛, 시야, 냄새, 소리, 촉각 등을 포함하는 감각적 경험을 재생성할 수 있다. 다수의 종래의 VR 시스템들은 3D 가상 환경을 제시하기 위한 근안(near eye) 디스플레이를 사용한다.

본 명세서에서 사용되는 용어 '증강 현실(augmented reality, AR)'은 요소가 컴퓨터-생성된 감각 입력, 가령 소리, 비디오, 그래픽 또는 GPS 데이터에 의해 증강 (또는 보완)되는 물리적인, 현실 세계의 환경의 실시간의 직접 또는 간접적인 뷰로 정의된다. 이는, 현실의 뷰가 컴퓨터에 의해 수정되고 (가능하다면 심지어는 증강되는 것이 아닌 감소되는) 중재된 현실이라 지칭되는 더 일반적인 컨셉과 관련된다.

본 명세서에 사용되는 용어 '근안 디스플레이'는 웨어러블 프로젝션 디스플레이를 포함하고, 보통은 각 눈에 3D 지각을 생성하기 위해 다소 상이한 시야가 제시된다는 점에서 입체적인 장치로 정의된다.

종종 '고글(goggles)'이라고 지칭되는 용어 '가상 현실 헤드셋'은 컴퓨터 출력을 디스플레이하기 위한 랩-어라운드(wrap-around) 시각적 인터페이스이다. 일반적으로 컴퓨터 디스플레이 정보는 실제 세상 환경의 3차원적 표현으로 제시된다. 고글은 (아마도 스마트폰 형태의) 컴퓨터 디스플레이를 유지하기 위한 단순한 구조 외의 광학 장치를 포함하거나 포함하지 않을 수 있다.

본 명세서에 사용되는 용어 '가상 현실 내비게이션(Virtual Reality navigation)'은 사용자의 눈에 투영(project)되는 장면의 각 변화를 발생시키는 가상 환경을 통해 이동하는 것으로 정의된다. VR 시스템은 실제 세계의 움직임과 가상 세계의 움직임 사이의 일대일 비율을 보통 유지하지 않는다는 점(예컨대, 실제 세계에서 한걸음 앞으로 나아가는 것은 필연적으로 가상 세계에서 한걸음 앞으로 나아가는 것을 의미하지 않는다는 점)을 유의해야 한다. 결과적으로, 모든 타입의 입력 장치는 사용자에 의한 VR 내비게이션을 허용하기 위해 사용된다.

도 1은 사용자(10)의 각 눈에 장면(예컨대, 타지마할)의 합성 이미지(15A, 15B)를 투영하는 헤드 장착 입체 디스플레이(12)(예컨대, Oculus Rift™)를 사용자가 착용하는 전통적인 가상 현실(VR) 시스템을 도시한다. 각 눈은 다소 상이한 각도로 합성 장면을 수신하여 사용자의 뇌에 3D 지각을 생성하도록 한다. 추가로, 헤드 장착 디스플레이(12)에는, 가령 시야 각도 또는 사용자의 시선 방향을 감지할 수 있는 가속도계 또는 자이로(미도시)와 같은 센서가 제공될 수 있다. 결과적으로, VR 시스템은 사용자의 새로운 헤드 방향에 맞추기 위해 이미지(15A, 15B)를 조정할 수 있다. 이러한 조정이 실시간으로 수행됨에 따라 실제 세상에서 헤드의 움직임을 모방하는 가상 현실의 환영이 이루어질 수 있다.

전술한 바와 같이 사용자의 시점을 추적하는 것 외에도, VR 시스템은 입력 장치, 가령 조이스틱(14) (또는 마우스, 터치패드 또는 심지어는 키보드)을 통해 가상 세계와의 추가적인 상호작용을 제공한다. 이러한 입력 장치는 사용자(10)가 시각 표시자를 사용하여 VR 내비게이션을 수행하게 할 수 있다. 예컨대, 사용자에게는 그가 또는 그녀가 움직일 수 있는 시각적 표시자, 예컨대, VR 장면에 걸쳐 입체 이미지(15A, 15B) 상에 표시되는 커서(16A, 16B)가 제시된다. 이후, 사용자(10)에 의한 추가 행위, 가령 조이스틱(14)의 트리거를 당기는 것에 응답하여, 사용자는 그가 또는 그녀가 커서에 의해 가리키는 위치를 향해 가상에서 전진한다. 사용자(10)가 실제 세계에서 한걸음 또는 두 걸음으로 이동하는 것으로 제한되기 때문에 가상 세계에서 그는 또는 그녀는 주변으로 이동할 수 있고 장거리를 걸을 수 있다. 전술한 입력 장치는 가상 세계에서 내비게이션 문제를 해결하기 위해 현재 사용되고 있다. 자연스럽게, 이러한 종래의 입력 장치의 사용은 전체적인 VR 사용자 경험을 손상시킨다.

본 발명의 일실시예에 따르면, 자세 및/또는 제스처를 사용하여 가상 현실 장면에서 내비게이션하기 위한 입력 장치로서 기능을 하는 시스템이 본 명세서에 제공된다. 시스템은: 가상 현실 환경을 생성하기 위해 사용자의 두 눈에 합성 3D 장면을 투영하도록 구성되는 근안 디스플레이; 상기 사용자의 적어도 하나의 신체 부분의 제스처를 도출하도록 구성되는 제스처 자세 캡처 장치; 및 상기 신체 부분의 도출된 제스처를 상기 합성 3D 장면에서 상기 사용자의 움직임이나 행위로 변환하고, 변환된 움직임이나 행위에 기반하여 가상 현실 환경의 사용자의 시점을 수정하도록 구성되는 컴퓨터 프로세서를 포함할 수 있다.

본 발명의 다른 실시예에 따르면, 자세 및 제스처를 사용하는 가상 현실 장면에서 내비게이션하기 위한 방법이 본 명세서에 제공된다. 방법은 다음의 단계들: 가상 현실 뷰를 사용자에게 제공하기 위해, 사용자의 두 눈에 합성 3D 장면을 투영하는 단계; 상기 사용자의 적어도 하나의 신체 부분에 의해 수행되는 적어도 하나의 제스처 또는 자세를 식별하는 단계; 감지된 제스처 또는 자세와 연관되는 벡터의 적어도 하나의 메트릭을 측정하는 단계; 측정된 메트릭에 기반하여, 가상 현실 환경에서 상기 사용자의 움직임 또는 행위를 적용하는 단계; 및 가상 현실 환경에서 상기 사용자의 움직임이나 행위를 반영하도록 가상 현실 뷰를 수정하는 단계를 포함할 수 있다.

이들, 본 발명의 실시예의 추가적 및/또는 다른 측면 및/또는 이점은 다음의 상세한 설명에 기재되어 있고; 상세한 설명으로부터 추론가능하고; 및/또는 본 발명의 실시예의 실시에 의해 학습가능하다.

본 발명의 내용 중에 포함되어 있다.

본 발명의 실시예의 보다 나은 이해를 위해 및 어떻게 수행되어 효과를 내는지 보이기 위하여, 참조가 예시의 방식으로 유사한 숫자가 대응하는 요소 또는 섹션에 지정되는 첨부되는 도면에 설명된다. 첨부되는 도면에서,
도 1은 종래 기술에 따른 가상 현실 시스템을 도시하는 개략도이다.
도 2는 본 발명의 일부 실시예에 따른 가상 현실 시스템을 도시하는 개략도이다.
도 3a 내지 3c는 본 발명의 일부 실시예에 따른 가상 현실 시스템의 양태를 도시하는 도면이다.
도 4는 본 발명의 실시예의 가상 현실 시스템에 따르는 가능한 구조를 도시하는 블록도이다.
도 5는 본 발명의 실시예에 따른 방법을 도시하는 흐름도이다.
도 6a 및 6b는 본 발명의 일부 실시예에 따른 추가 양태를 도시하는 도면이다.
도 7은 본 발명의 일부 실시예의 다른 양태를 도시하는 개략도이다.
도 8a 및 8b는 본 발명의 일부 실시예의 또 다른 양태를 도시하는 도면이다.
도 9는 본 발명의 일부 실시예의 또 다른 양태를 도시하는 도면이다.
도 10은 본 발명의 일부 실시예에 따른 방법의 또 다른 양태를 도시하는 흐름도이다.
도 11은 본 발명의 일부 실시예의 또 다른 양태를 도시하는 도면이다.

이제 도면을 상세히 구체적으로 참조하면, 도시된 세부 사항은 단지 예일 뿐이고 본 기술의 바람직한 실시예에 대한 예시적인 논의만을 목적으로 함이 강조되고, 본 기술의 이론과 개념적인 측면의 가장 유용하고 이해 가능한 설명일 것으로 생각되는 것을 제공하기 위해 제시된다. 이에 관해, 본 기술의 구조적 세부사항을 더 자세히 보이려는 시도는 본 기술의 기본적 이해를 위하여 필요하지 않고, 도면과 함께 기재된 설명은 본 발명의 여러 형태가 어떻게 실제로 구현될 수 있는지 당업자에게 명백하다.

본 기술의 적어도 하나의 실시예를 상세히 설명하기 전에, 본 발명은 본 출원의 다음 설명 또는 도면에 도시된 구성요소의 구조 및 배열의 세부사항으로 제한되지 않음이 이해될 것이다. 본 기술은 다른 실시예에 적용가능하거나 다양한 방법으로 실시 또는 수행될 수 있다. 또한, 본 명세서에 사용된 어구 또는 용어는 설명을 위한 것이며 제한하는 것으로 간주되어서는 안 된다.

본 발명의 일부 실시예는 사용자에게 직관적인 다양한 신체 자세 및/또는 제스처를 수행함으로써 가상 현실 환경에서 내비게이션하기 위한 방법, 시스템 및 장치를 제공한다. 더 구체적으로는, 사용자는 본 발명의 실시예에 의해 기정의된 내비게이션 명령으로 변환되는 방식으로 그의 또는 그녀의 신체 부분을 움직일 수 있다. 따라서, 실제 세계에서의 특정 자세 및/또는 제스처는 가상 현실 세계에서의 해당 움직임을 야기한다.

본 발명의 일부 실시예는 우선 사용자에 의해 가해지는 기정의된 자세 또는 제스처를 감지하고 이후 제스처나 자세와 연관되는 정량적 메트릭을 측정한다. 이들 메트릭은 자세나 제스처와 연관되는 벡터와 관련될 수 있고 벡터의 길이 및 공간 각도를 포함할 수 있다. 일부 실시예로, 벡터의 메트릭은 보통 연속적인 방식으로 가상 현실 세계에서 정량적 내비게이션 명령으로 변환(translate)된다. 따라서, 가상 현실에서의 내비게이션 명령은 기정의된 종결 행위가 사용자에 의해 수행되지 않는 한 변화하지 않는다. 이러한 종결 행위는 기본 자세 또는 임의의 종료의 손 동작을 재개하는 것을 포함할 수 있다.

도 2는 팩킹되고 그것의 직접적인 환경(200)에 부착된 본 발명의 일부 실시예에 따른 모바일 장치, 가령 스마트폰(220)과 함께 사용하기 위해 구성되는 가상 현실(VR) 헤드셋(240)(고글)인 장치(210)의 사시도이다. 장치(210)는 일루미네이터(예컨대, 레이저 송신기), 가령 IR(infra-red) 패턴 일루미네이터(212)와 카메라, 가령 IR 카메라(214)를 포함할 수 있다. 장치(210)는 초기 이미지 프로세싱을 수행하도록 구성되는 사전-프로세서(미도시)를 더 포함할 수 있다. 장치(210)는 VR 헤드셋을 함께 형성하는 스마트폰(220) 및 근안 디스플레이(240) 둘 모두와 물리적 및 전기적으로 인터페이싱하도록 더 구성된다. 이러한 VR 헤드셋(고글)은 해당 업계에서 알려진 바와 같이 스마트폰과 함께 사용하도록 배치될 수 있고, 보통 스마트폰의 디스플레이(미도시 - 대향면을 향함)를 송신할 수 있는 광학계, 카메라(222)를 포함할 수 있는 스마트폰(220)을 수용하기 위한 슬리브(sleeve, 250), 및 VR 헤드셋(고글)을 사용자의 헤드로 고정하기 위한 스트랩(230)을 포함한다. 하지만, 장치(210)는 근안 디스플레이, 가령 Google Glass™ 및 Oculus Rift™와 인터페이싱할 수 있음이 이해된다.

동작시 장치(210)는 이하에서 상세히 설명될 바와 같이 사용자의 하나 이상의 신체 부분의 직관적 자세 및 제스처를 사용하여 VR 내비게이션 명령을 제공하기 위한 수단으로서 기능할 수 있다.

도 3a 내지 3c는 본 발명의 일부 실시예에 따른 가상 현실 시스템의 양태를 도시하는 도면이다. 도 3a는 본 발명의 일실시예에 따른 동작 중인 VR 내비게이션 장치(300)를 도시하는 개략도이다. 사용자(10)는 전술한 바와 같이 VR 내비게이션 장치(300)가 배타적이진 않지만 아마도 애드온으로서 장착될 수 있는 근안 디스플레이(330)를 착용한다. VR 내비게이션 장치(300)는, 시야(field of view, FOV)(322)를 가지는 일루미네이터(예컨대, 레이저 송신기)(320) 및 FOV(312)를 가지는 캡처 유닛(예컨대, 카메라)(310)을 포함할 수 있다. 유익하게는, FOV 둘 모두는 사용자의 중간 주변환경을 포함하도록 충분히 크다. 실용적인 목적을 위해, 양 손을 신체의 양 측면으로 넓게 개방하여 연장하는 것을 포함하는, 양 손의 임의의 움직임을 FOV들이 커버하는 것이 중요하다. 따라서, 비록 '세로(portrait)' 방향도 가능하지만 일루미네이터 및 카메라 둘 모두의 '가로(landscape)' 방향이 유용하다. 제한하지 않는 구성은 '가로' 방향에 대해 55° 수평 FOV와 43° 수직 FOV 및 '세로' 방향에 대해 55° 수직 FOV 및 43° 수직 FOV를 포함할 수 있다.

동작시, 근안 디스플레이(330)는, 합성 장면을 사용자(10)의 두 눈으로 투영하도록 아마도 모바일 장치(미도시)의 것과 같은 외부 컴퓨터 프로세서를 통해 구성될 수 있다. 일루미네이터(310)는 사용자(10) 부근 및/또는 사용자(10)를 패턴화 광(324)으로 조명할 수 있다. 패턴화 광의 반사는 캡처 유닛(310)에 의해 캡처되고 이후 컴퓨터 프로세서(여기에서는 도시되지 않음)에 의해 분석될 수 있다. 컴퓨터 프로세서는 사용자(10)에 의해 수행되고 있는 자세나 제스처의 타입을 도출할 수 있다. 여기서, 사용자(10)의 손(12)의 직립된 포인팅 손가락(14)은 벡터(340)를 따라 위치(14A)로부터 위치(14B)로 낮춰지고 있다. 포인팅 손가락의 낮춰짐이 이와 같이 감지되면, 벡터(340)와 연관되는 메트릭은, 가령 방향과 변위와 같은 (실제 세계에서의) 벡터의 메트릭을 (가상 세계에서의) 해당 내비게이션 움직임으로 변환하기 위해 더 분석된다. 도 3b는 사용자의 포인팅 손가락이 위치(14A)에 있을 때 사용자(10)가 무엇을 보는지를 도시하는 한편, 도 3b는 사용자(10)의 포인팅 손가락이 위치(14B)로 이동함에 따른 가상 세계에서의 전진을 도시한다.

도 4는 본 발명의 일부 실시예에 따른 VR 시스템(400B)을 도시하는 블록도이다. 시스템(400B)은 사용자의 다양한 신체 부분 또는 사용자가 잡은 사물의 위치 및 배향의 시간에 걸친 다양한 변화를 캡처하도록 구성될 수 있는 제스처 자세 캡처 장치(402B)를 포함할 수 있거나, 이와 연관하여 동작할 수 있다. 위치 및 방향은 본 명세서에서 "자세"로 표시되는 한편, 자세의 시간에 걸친 변화는 '제스처'로 표시된다.

비제한적 일실시예로, 제스처 자세 캡처 장치(402B)는 장면의 입체 뷰를 캡처하는 하나 이상의 가시광 카메라에 기반할 수 있다. 비디오는 이후 사용자의 움직임을 도출하기 위해 프로세서(404B)에 의해 실행되는 다양한 이미지 프로세싱 알고리즘을 사용하여 프로세싱된다. 다른 가능한 구현예는, 장면으로부터 다시 돌아오는 반사가 자세 및/또는 제스처가 그로부터 추론되는 깊이 맵을 생성하기 위해 분석되는, 전술한 바와 같은 패턴화 광의 사용이다.

프로세서(404B)는 제스처 자세 캡처 장치(402B)로부터 미가공 데이터(가령, 기술에 따라 다수의 비디오 이미지나 패턴화 반사)를 수신하고, 실행되는 분류 알고리즘을 사용하여, 기정의된 기준 (또는 데이터베이스)에 기반하여 자세나 제스처를 식별하도록 구성될 수 있다. 일단 특정 자세나 제스처가 식별되면, 자세 제스처 저장소(408B)가 어떤 형태의 VR 움직임 또는 VR 내비게이션 활동이 감지된 자세나 제스처와 연관되는지를 결정하기 위해 사용될 수 있다.

따라서, 자세 제스처 저장소(408B)에 저장된 사전에 기반하여, 프로세서(404B)는 해당 VR 내비게이션 활동을 따르도록 근안 디스플레이(409B)가 사용자에게 제시되는 VR 장면의 시점을 조정하게 명령할 수 있다. 예컨대, 사용자(410B)는 VR 장면에서 '앞으로 이동함'으로 프로세서(404B) 및 저장소(208B)에 의해 해석될 수 있는 제스처(420B)에서 그의 또는 그녀의 손을 흔들 수 있다. 그 결과, 프로세서(204B)는 근안 디스플레이(409B)가 보는 사용자(410B)의 시점을 앞으로 나아가도록 명령할 수 있다. 아래에서 상세히 기술되고 도시되는 바와 같이, 손(420B)을 흔드는 것은 VR 세계에서 앞으로 움직이는 것을 모방하는 임의의 다른 조작(예컨대, 수영 동작)으로 대체될 수 있다. 제스처뿐만 아니라 정적인 기정의된 자세도 VR 내비게이션 활동을 유도하는데 사용될 수 있음을 또한, 유의해야 한다. 예컨대, 사용자(410B)의 손을 움직이는 것은, 그의 또는 그녀의 손이 특정 각도만큼 위로 기울어질 때 종료한다. 이 자세는, '앞으로 진행'을 의미하는 내비게이션 활동 명령으로 해석되고 - 해석된다면, 기정의될 수 있으며 - 손이 대략 특정 각도로 기울어지는 한 사용자는 VR 세계에서 앞으로 계속 이동할 것이다. 전술한 바와 같이, 적어도 일부 실시예에서, 제스처 자세 캡처 장치(402B)는 시스템(400B)의 외부에 있고, 원격의 위치로부터 위치 및 방향에 관한 미가공 데이터를 제공할 수 있다.

도 5는 본 발명의 일부 실시예에 따른 방법(500)을 도시하는 흐름도이다. 프로세스는 객체(510)의 자세를 식별하는 것으로 시작한다. 이후 자세가 일단 감지되면 벡터가 객체로부터 도출되어서 벡터가 감지된 자세를 공간적으로 표현하도록 한다. 가상 현실에서 벡터를 내비게이션 움직임으로 변환하여, 벡터의 길이 및 각도에 기반하는 연속적 움직임이 가상 세계(530)에 적용된다. 방법은 이후 종결 행위 또는 트리거가 식별되었는지 여부를 반복하여 확인한다(540). 종결 행위가 식별되는 경우, 가상 세계에서의 움직임이 종료된다(550). 종결 행위가 식별되지 않는 경우, 연속적 움직임이 이러한 종결 행위가 식별될 때까지 반복하여 적용된다(530). 위의 설명은 자세뿐만 아니라 제스처에도 또한, 적용가능함을 유의해야 한다. 자세에 이를 적용하는 것은 심지어 정적인 자세도 가상 세계에서의 움직임을 유발할 수 있다는 점에서 독특하다.

도 6a는 본 발명의 실시예의 VR 시스템에 따른 자세와 관련되는 양태를 도시하는 도면이다. 일련의 상체 경사가 도시된다. 자세(611C)는 모든 다른 제스처나 자세가 도출되는 기본 자세이다. 자세(612C)에서 사용자는 몸을 앞으로 기울이며, 이 실제 세계에서의 행위는 VR 내비게이션 도메인에서 VR 내비게이션 명령으로 해석될 수 있다. 위에서 언급한 것과 같이, 기정의된 VR 내비게이션 활동을 발생시키는 각도(α)를 정의하는 것은 611C에서 612C로의 이동(예컨대, 제스처) 또는 단순히 212C의 정적 발생(예컨대, 자세)일 수 있다.

유사하게, 자세(613C)에서 앞으로 더 기울이는 것은 이미 동작하는 VR 내비게이션 활동의 가속도기로서 역할을 할 수 있어서 움직임은 여기에서의 각도가 각도(α)보다 큰 β이므로 더 빨리 진행된다. 기본 자세(614C)로 돌아가는 것은 종결 행위로 간주될 수 있고, 컨텍스트에 기반하여 VR 내비게이션 활동을 일반적으로 제거하거나 적어도 그 영향을 감소시킬 것이다.

도 6b는 본 발명의 실시예의 VR 시스템에 따른 자세와 관련되는 다른 양태를 도시하는 도면이다. 여기서, 기본 자세는 서로로부터 거리(D1)만큼 떨어지도록 배치된 손의 2개의 손바닥(621D)이다. 일단 자세 타입이 식별되면(예컨대, 2개의 손바닥이 나란히 연장되면), VR 내비게이션 활동이 거리의 측정된 값에 따라 발생될 수 있고, 여기서 자세(622D)는 D2가 된다. 전술한 바와 같이, D2의 절대값 또는 대안으로 D1과 D2 사이의 차이는 저장소에 의해 기정의되는 바와 같이 VR 내비게이션 활동에 해당하는 메트릭으로서 기능을 할 수 있다.

자세(623D)에서 손들 사이의 거리(D2)는 동일하게 유지되고, 따라서, 일부 실시예에 따르면 손들이 정적이고 전혀 움직이지는 않지만 진행되는 내비게이션 명령으로 해석될 수 있다. 자세(624D)에서, 손들 사이의 수평 거리(D3)가 VR 내비게이션 활동으로 변환되는 메트릭으로서 사용되고 있다. 둘 이상의 신체 부분 사이의 비율, 거리 및 각도는 해당 VR 내비게이션 명령이나 활동으로 해석되는 메트릭으로서 모두 사용될 수 있음이 이해된다.

도 7은 사용자(700A)가 가상 세계에서 움직임이나 변위를 발생시킬 수 있는 또 다른 방식을 도시한다. 사용자(700A)는 위치(720)로부터 위치(710)를 향해 앞으로 그의 몸을 기울임으로써 전방 기울임 각도(α)를 정의한다. 실제 세계에서의 전방 기울임 움직임은, 아마도 Segway™를 제어하는 것과 유사한 방식으로 가상 세계에서의 전방 전진 움직임으로 변환될 수 있다.

구체적으로, 사용자(700A)의 상체가 위치(710) 및 기본 위치(720) 사이에서 0이 아닌 각도(α)를 정의하는 한, 가상 세계에서의 전방 진행 움직임은 계속된다. 각도(α)의 값은 전진의 속도에 영향을 줄 수 있다. 그래프(700B)가 도시하는 바와 같이, 실제 세계에서의 움직임과 해당하는 가상 세계의 움직임이 선형 관계를 나타내지 않는다. 오히려, 그래프(700B)가 도시하는 바와 같이, 상체의 사소한 기울임은 실제 세계에 영향을 주지 않고, 오로지 기정의된 각도(α)를 넘어서야만 가상 세계에서의 움직임이 시작된다. 이후 일단 가상 세계에서의 움직임이 시작되면, 사소한 기울임은 가상 세계에서 전진하는데에 충분하다.　특정 각도를 넘어서면, 상체 기울임에 대한 민감도가 다시 감소되어서 전방 속도에 대한 상한이 효과적으로 가해지도록 한다.

일부 실시예로, 사용되는 상체의 기울기는 위치(722)에서 장치에 의해 생성되는 깊이 맵과 위치(712)에서 장치에 의해 생성되는 깊이 맵 간의 차이를 분석함으로써 감지된다. 구체적으로, 실제 세계에서의 시점이 위치(720)에서 위치(730)로 이동하는 동안에 변화하기 때문에 장치에 의해 생성되는 깊이 맵도 변화한다. 깊이 맵의 변화를 분석하는 것은 간접적인 방식으로 상체 기울기를 감소시키는데 사용될 수 있다. 이러한 제스처는 때때로 사용자를 응시하는 원격 외부 카메라(여기에서는 도시되지 않음)를 필요로 할 수 있음이 이해된다.

도 8a 및 8b는 본 발명의 일부 실시예의 또 다른 양태를 도시하는 도면이다. 도 8a는 위치(800A)에서 전방으로 연장되고 서로에 대해 인접하는 2개의 손(810A, 820A)을 갖는 사용자를 도시한다. 도 8b는 위치(800B)에서 사이에 각도(γ)를 정의하는 2개의 손(810B, 820B)을 갖는 사용자를 도시한다. 일단 전방으로 연장되는 2개의 손의 자세의 타입이 식별되면, 각도(γ)의 해당 메트릭이 측정될 수 있고 가상 세계에서의 내비게이션 명령을 위한 지침으로 사용될 수 있다.

도 9는 본 발명의 일부 실시예의 또 다른 양태를 도시하는 도면이다. 여기서, 가상 현실 내비게이션은, 가상 현실 세계에서 해당 내비게이션 명령으로 변환될 수 있고 측정될 수 있는 변위(930)를 정의하는 아마도 위치(920)로부터 위치(910)로 사용자(900)의 어깨를 들어올림으로써 발생된다. 본 명세서에 기술되는 이러한 제스처는 사용자(900)로 향하는, 장면에 배치된 원격 카메라(940)를 요구할 수 있음이 이해된다.

도 10은 본 발명의 일부 실시예에 따른 양태를 도시하는 높은 레벨의 흐름도이다. 본 발명의 실시예의 하나의 도전은 응시 방향 또는 머리의 배향에서의 변화 및 VR 내비게이션 명령으로 해석되어야 하는 머리 위치에 영향을 주는 의도적인 제스처나 간의 차이를 구별하는 것이다. 이러한 구별은, 오로지 시점 변경의 목적을 위해 전체 신체 제스처로부터 사용자의 머리를 움직이는 것과 관련되는 것으로 지각되는 것을 뺌으로써 수행될 수 있다.

본 발명의 일부 실시예에 따르면, 패턴화 광의 반사의 분석은, 사용자의 머리에 상대적인 신체 부분의 제스처를 검색하기 위해 사용자의 머리의 움직임과 연관되는 움직임 컴포넌트를 빼는 것을 포함할 수 있다. 검색되는 움직임은 원하지 않는 머리 움직임을 제거한 소위 "순수한 제스처(pure gesture)"로 지칭될 것이다.

가능한 비-제한적 구현에 따르면, 일단 움직임이 반사(1010)에 기반하여 식별되면, 흐름은 사용자의 머리가 움직였는지 여부를 확인하는 단계(1020)로 진행한다. 움직인 경우, 유사한 방식으로 손이 움직였는지 여부가 더 확인된다(1022). 손이 움직인 경우, 행위가 더 취해질 필요가 없다(1030). 그들이 상이하게 움직인 경우, 머리 움직임 및 손 움직임을 빼는 것이 수행된다(1040). 머리가 움직이지 않은 경우, 손이 움직였는지 여부에 대한 확인이 이루어진다(1024). 손이 움직이지 않은 경우, 행위가 취해지지 않는다(1030). 손이 움직인 경우, 머리 움직임 및 손 움직임을 빼는 것이 수행된다(1040).

도 11은 본 발명의 일실시예에 따른 시스템 및 환경을 도시하는 개략도이다. 사용자(10)는, 일루미네이터(1120) 및 캡처 장치(1110)를 더 포함하는 근안 디스플레이(1100)를 착용한다. 동작시 근안 디스플레이(1130)는 사용자(10)의 양 눈에 합성 장면을 투영하도록 구성된다. 일루미네이터(1110)는 패턴화 광(1122)으로 사용자(10)의 근방 및/또는 사용자(10) 그 자신이나 그녀 자신을 조명할 수 있고, 패턴화 광의 반사는 캡처 장치(1110)에 의해 캡처될 수 있으며, 이후 실시간으로 변화되는 위치 및 배향을 생성하기 위해, 근안 디스플레이(1100) 내에서 컴퓨터 프로세서(1130)에 의해 분석될 수 있다. 사용자(10)가 기정의된 제스처를 수행하는 경우, 가상 입력 장치, 가령 조이스틱(18A/18B)이 이미지에 나타난다. 사용자는 이후 가상 세계에서 가상 조이스틱을 잡고 가상 세계에서 제스처를 사용하여 그것을 제어할 수 있고, 조이스틱의 배향의 변화는 20A/20B에서 보여지는 것과 같이 도 19a 및 19b에서 명백하다. 여기에서 어떠한 실제 조이스틱도 연루되지 않았고, 오히려 임의의 입력 장치일 수 있는 완전히 가상인 조이스틱이 가상화되고 있음을 유의하는 것이 중요하다. 조이스틱을 쥐고 제어하는 것을 모방하는 사용자에 의해 수행되는 자세 및 제스처는 직관적 신체 제스처를 가능하게 하는 본 실시예의 핵심이다.

상기 설명에서, 실시예는 본 발명의 예시 또는 구현이다. 다양한 형태의 "일실시예", "실시예" 또는 "일부 실시예"는 반드시 모두 동일한 실시예를 지칭하는 것이 아니다.

본 발명의 다양한 특징이 단일 실시예의 문맥에서 서술될 수 있지만, 특징은 별개로 또는 임의의 적절한 조합에서 제공될 수 있다. 반대로, 본 명세서에서 본 발명이 명확성을 위해 별개의 실시예의 문맥에서 서술될 수 있지만, 본 발명은 단일 실시예에서도 구현될 수 있다.

본 명세서에서 "일부 실시예", "한 실시예", "일실시예" 또는 "다른 실시예"의 지칭은 실시예와 관련하여 서술된 특정한 특징, 구조 또는 특성이 적어도 일부의 실시예에 포함되는 것이나, 반드시 본 발명의 모든 실시예에 포함되는 것은 아니라는 것을 의미하는 것이다.

본 명세서에서 사용된 어구 및 용어는 제한으로 해석되지 않고 설명의 목적만을 위한 것이라는 것이 이해될 것이다.

본 발명의 개시의 원리 및 사용은 첨부된 설명, 도면 및 예시를 참조하여 더 잘 이해될 수 있다.

본 명세서의 세부 사항은 본 발명의 응용을 제한으로 해석되지 않는다는 것이 이해될 것이다.

나아가, 본 발명은 다양한 방식으로 수행 또는 실시될 수 있고 본 발명은 상기 설명에서 서술된 것과 다른 실시예로 구현될 수 있음이 이해될 것이다.

용어 "포함하는(including)", "포함(comprising)", "이루어진" 및 그 문법적 변형은 하나 이상의 구성요소, 특징, 단계 또는 정수나 그 그룹의 추가를 못하게 하지 않으며 용어들은 구성요소, 특징, 단계 또는 정수를 명시하는 것으로 해석되는 것이 이해될 것이다.

명세서 또는 청구범위가 "추가적" 요소를 지칭한다면, 하나 이상의 추가적 요소가 있음을 배제하지 않는다.

청구항 또는 명세서가 "한" 또는 "하나의" 요소를 지칭할 때, 이런 지칭은 그 요소가 오직 하나만 있는 것으로 해석되지 않음이 이해될 것이다.

명세서가 구성요소, 특징, 구조 또는 특성이 포함"되도 좋거나(may)", 포함"될지도 모르거나(might)", 포함"될 수 있거나(can)", 포함"되는 것이 가능(could)"하다고 언급한다면, 특정 구성요소, 특징, 구조 또는 특성이 포함될 것이 요구되는 것이 아님이 이해될 것이다.

적용 가능하다면, 상태 천이도, 흐름도 또는 양자 모두 실시예를 설명하기 위해 사용될 수 있지만, 본 발명은 이들 도면 또는 대응하는 설명에 제한되지 않는다. 예를 들어, 흐름은 각 도시된 상자 또는 상태를 통해, 또는 도시되고 설명된 정확히 동일한 순서로 이동하지 않아도 된다.

본 발명의 방법은 선택된 단계나 작업을 수동, 자동 또는 그 조합으로 수행 또는 완료함으로써 구현될 수 있다.

청구범위 및 명세서에 제시된 설명, 예시, 방법 및 소재는 제한이 아니고 단지 예시적인 것으로 해석되어야 한다.

본 명세서에서 사용된 기술적 및 과학적 용어의 의미는 다르게 정의되지 않으면, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되어야 한다.

본 발명은 본 명세서에 서술된 것과 동등하거나 유사한 방법 및 물질로 시험 또는 실시에서 구현될 수 있다.

본 발명이 제한된 수의 실시예에 관하여 설명되었지만, 이들은 본 발명의 범위의 제한이 아닌, 바람직한 실시예의 일부의 예시로 해석되어야 한다. 다른 가능한 변형, 수정 및 응용 또한 본 발명의 범위에 속한다. 따라서, 본 발명의 범위는 지금까지 설명된 내용에 의해 제한되지 않고, 첨부된 청구범위 및 그 법적 균등물에 의해 제한되어야 한다.

Claims

합성 3D 장면을 디스플레이하는 단계;
사용자의 적어도 하나의 신체 부분에 의해 수행되는 사용자의 움직임을 식별하는 단계;
식별된 움직임을 공간적으로 표현하는 벡터를 도출하는 단계;
벡터의 각도에 기반하여 합성 3D 장면에서 연속적인 움직임으로 벡터를 변환하는 단계; 및
합성 3D 장면에서 움직임을 반영하도록 합성 3D 장면을 수정하는 단계를 포함하고,
상기 각도의 값은 상기 연속적인 움직임의 속도에 영향을 주고,
합성 3D 장면에서의 움직임은 상기 각도가 기정의된 임계 각도보다 크다는 것에 기반하여 발생되며,
사용자의 식별된 움직임과 합성 3D 장면에서의 움직임은 상기 각도가 기정의된 임계 각도 및 상한(upper bound) 각도 사이에 있는 경우 비-선형적 관계를 나타내고,
상기 기정의된 임계 각도보다 작은 각도는 상기 합성 3D 장면에 영향을 주지 않고,
상기 각도가 상기 기정의된 임계 각도를 초과하는 경우 기울기들은 상기 합성 3D 장면에서의 움직임을 발생시키는데 충분하고,
상기 연속적인 움직임의 속도는 비-선형적 방식에서 상기 각도와 연관되고,
상기 상한 각도를 넘어서는 각도들에 대한 민감도는 감소되는 방법.
제 1 항에 있어서,
사용자의 움직임을 식별하는 단계는 사용자의 적어도 하나의 제스처 또는 자세를 식별하는 단계를 포함하는 방법.
제 2 항에 있어서,
식별된 자세는 사용자의 적어도 2개의 신체 부분 사이의 공간적 관계에 의해 정의되고, 상기 방법은 상기 적어도 2개의 신체 부분 사이의 각도를 결정하는 단계와 결정된 각도를 합성 3D 장면에서의 움직임으로 변환하는 단계를 더 포함하는 방법.
제 1 항에 있어서,
각도의 값과 기정의된 임계 각도 사이의 차이에 기반하여 합성 3D 장면에서의 움직임을 가속하는 단계를 더 포함하는 방법.
삭제
제 1 항에 있어서,
합성 3D 장면에서의 움직임에 대해, 각도의 값이 상한 각도를 초과하는 것에 기반하여 사용자의 움직임에 대한 민감도를 감소시키는 단계를 더 포함하는 방법.
제 1 항에 있어서,
각도의 값이 상한 각도를 초과하는 것에 기반하여 합성 3D 장면에서의 움직임의 속도에 대해 상한을 가하는 단계를 더 포함하는 방법.
제 1 항에 있어서,
합성 3D 장면에서의 거리에 걸쳐 사용자의 움직임에 의해 발생되는 각도의 값의 변화를 합성 3D 장면에서의 움직임으로 변환하는 단계를 더 포함하고, 거리와 각도의 값의 변화는 비-선형적 관계를 나타내는 방법.
제 1 항에 있어서,
합성 3D 장면에서의 움직임은 연속적으로 수행되는 방법.
제 1 항에 있어서,
사용자가 가상 사용자 인터페이스 객체에 제스처 및 자세를 적용할 수 있도록 가상 사용자 인터페이스 객체를 합성 3D 장면 내에 중첩하는 단계를 더 포함하는 방법.
합성 3D를 디스플레이하도록 구성된 장치; 및
사용자의 적어도 하나의 신체 부분에 의해 수행되는 사용자의 움직임을 식별하고;
식별된 움직임을 공간적으로 표현하는 벡터를 도출하고;
벡터의 각도에 기반하여 합성 3D 장면에서 연속적인 움직임으로 벡터를 변환하고;
합성 3D 장면에서 움직임을 반영하도록 합성 3D 장면을 수정하도록 구성된 컴퓨터 프로세서를 포함하고,
상기 각도의 값은 상기 연속적인 움직임의 속도에 영향을 주고,
합성 3D 장면에서의 움직임은 상기 각도가 기정의된 임계 각도보다 크다는 것에 기반하여 발생되며,
사용자의 식별된 움직임과 합성 3D 장면에서의 움직임은 각도가 기정의된 임계 각도 및 상한(upper bound) 각도 사이에 있는 경우 비-선형적 관계를 나타내고,
상기 기정의된 임계 각도보다 작은 각도는 상기 합성 3D 장면에 영향을 주지 않고,
상기 각도가 상기 기정의된 임계 각도를 초과하는 경우 기울기들은 상기 합성 3D 장면에서의 움직임을 발생시키는데 충분하고,
상기 연속적인 움직임의 속도는 비-선형적 방식에서 상기 각도와 연관되고,
상기 상한 각도를 넘어서는 각도들에 대한 민감도는 감소되는 시스템.
제 11 항에 있어서,
컴퓨터 프로세서는: 사용자의 적어도 하나의 제스처 또는 자세를 식별함으로써 사용자의 움직임을 식별하도록 또한, 구성되는 시스템.
제 12 항에 있어서,
식별된 자세는 사용자의 적어도 2개의 신체 부분 사이의 공간적 관계에 의해 정의되고, 컴퓨터 프로세서는 적어도 2개의 신체 부분 사이의 각도를 결정하고 결정된 각도를 합성 3D 장면에서의 움직임으로 변환하도록 또한, 구성되는 시스템.
제 11 항에 있어서,
컴퓨터 프로세서는: 각도의 값과 기정의된 임계 각도 사이의 차이에 기반하여 합성 3D 장면에서의 움직임을 가속하도록 또한, 구성되는 시스템.
삭제
제 11 항에 있어서,
컴퓨터 프로세서는: 합성 3D 장면에서의 움직임에 대해, 각도의 값이 상한 각도를 초과하는 것에 기반하여 사용자의 움직임에 대한 민감도를 감소시키도록 또한, 구성되는 시스템.
제 11 항에 있어서,
컴퓨터 프로세서는: 각도의 값이 상한 각도를 초과하는 것에 기반하여 합성 3D 장면에서의 움직임의 속도에 대해 상한을 가하도록 또한, 구성되는 시스템.
제 11 항에 있어서,
컴퓨터 프로세서는: 합성 3D 장면에서의 거리에 걸쳐 사용자의 움직임에 의해 발생되는 각도의 값의 변화를 합성 3D 장면에서의 움직임으로 변환하도록 또한, 구성되고, 상기 거리와 각도의 값의 변화는 비-선형적 관계를 나타내는 시스템.
제 11 항에 있어서,
합성 3D 장면에서의 움직임은 연속적으로 수행되는 시스템.
제 11 항에 있어서,
컴퓨터 프로세서는, 사용자가 가상 사용자-인터페이스 객체에 상대적인 제스처 및 자세를 적용할 수 있도록 합성 3D 장면에 가상 사용자-인터페이스 객체를 중첩하도록 또한, 구성되는 시스템.