KR20210107710A - Ar/vr 환경에서의 사용자 주의의 오디오 표시자 - Google Patents

Abstract

증강 현실/가상 현실(AR/VR) 시스템에서 또 다른 사용자로부터의 주의에 관해 사용자에게 통보하는 방법이 제공된다. 방법은 제 1 전자 디스플레이의 제 1 이미지를 AR/VR 시스템의 제 1 사용자에게 디스플레이하는 단계 및 AR/VR 시스템의 제 2 사용자 또는 제 1 이미지의 제 2 사용자의 아바타에서 제 1 사용자의 응시를 검출할 때, 제 1 사용자가 제 2 사용자에게 더 잘 들리도록 오디오 통신 채널의 파라미터를 제 1 사용자로부터 제 2 사용자로 변경함으로써 제 2 사용자에게 제 1 사용자의 응시에 관해 통보하는 단계를 포함한다.

Description

AR/VR 환경에서의 사용자 주의의 오디오 표시자

본 발명은 시각적 디스플레이들 및 디스플레이 시스템들, 특히 웨어러블 디스플레이들 및 그를 위한 방법들에 관한 것이다.

웨어러블 디스플레이들은 사용자에게 가상 이미지들을 제공하거나, 동적 정보, 데이터, 또는 가상 객체들로 실세계 이미지들을 증강하기 위해 사용될 수 있다. 가상 현실(VR) 또는 증강 현실(AR) 풍경은 경험을 향상시키고 가상 객체들을 사용자가 관찰한 실제 객체들과 매칭시키기 위해 3차원일 수 있다. 눈 위치 및 응시 방향, 및/또는 공간에서 사용자의 지향방향(orientation)은 실시간으로 추적될 수 있으며, 디스플레이된 풍경은 시뮬레이팅되거나 증강 환경에 더 양호한 몰입 경험을 제공하기 위해 사용자 머리의 지향방향 및 응시 방향에 의존하여 동적으로 조정될 수 있다.

웨어러블 디스플레이들은 사용자들 사이의 사회적 상호작용들을 시뮬레이팅하거나 증강하기 위해 사용될 수 있다. 예를 들면, 가상 회의 애플리케이션에서, 가상 회의실에서 아바타들로 표현된 사용자들은 서로 대화하고, 사용자들의 그룹에게 정보를 제공하며, 등에 의해 서로 상호작용할 수 있다. 친목 모임 이벤트의 AR/VR 시뮬레이션의 한 가지 단점은 사용자들이 AR/VR 환경에 의해 고립되거나 방향 감각을 잃어버릴 수 있어서, 사용자들 사이의 사회적 접촉들을 덜 간단하게 만들 수 있다는 것이다.

본 발명은 본 기술 분야에 있어 종래 기술의 문제점들을 고려하여 개선되고 향상된 구성 및 방법을 제공한다.

본 명세서에 개시된 방법들 및 시스템들은 사용자들이 AR/VR 환경에서 다른 사용자(들)의 주의를 끄는 것을 가능하게 하기 위해 이용될 수 있다. AR/VR 시스템은 상이한 사용자들에 의해 착용될 복수의 웨어러블 디스플레이들, 및 제어기를 포함할 수 있다. 웨어러블 디스플레이들은 각각 VR 이미지들을 사용자에게 및/또는 AR 이미지 및 표시들을 사용하여 관찰된 외부 세계를 증강하는데 디스플레이하기 위한 시각적 디스플레이 모듈, 사용자의 응시 방향, 수렴(vergence), 눈 확장, 등과 같은 이러한 파라미터들을 실시간으로 결정하기 위한 눈 추적 시스템, 및 다른 사용자들과의 오디오 통신을 위한 오디오 시스템을 포함할 수 있다. 제어기는 원격 또는 분산 컴퓨팅 시스템 및 제어기를 웨어러블 디스플레이들에 연결하는 통신 네트워크를 포함할 수 있어서, 웨어러블 디스플레이들이 제어기와 통신가능하게 결합되게 할 수 있다. 본 명세서에서 사용된 용어 AR/VR은 AR 시스템들, VR 시스템들, 혼합 현실(MR) 시스템들을 포함하는 이들의 임의의 조합을 포함한다. AR/VR 시스템들의 예들은 하기에 더 제공될 것이다.

특정한 사용자의 웨어러블 디스플레이는 시스템의 다른 사용자(들)를 표현하는 이미지들을 보여줄 수 있다. 방법은 AR/VR 시스템의 사용자가 시스템의 또 다른 사용자가 그들을 보고 있을 때를 의식하는 것을 가능하게 한다. 화면에 표현된 사용자들은 멀리 떨어져 위치되고 특정한 웨어러블 디스플레이를 착용한 사용자에게는 보이지 않을 수 있으며, 아바타들에 의해 표현될 수 있다. 일부 AR 실시예들에서, 사용자들은 자신의 AR 헤드셋들을 통해 다른 사용자를 직접적으로 뷰잉할 수 있다.

본 발명에 따르면, 증강 현실/가상 현실(AR/VR) 시스템의 웨어러블 디스플레이에서의 방법이 제공된다. 방법은 웨어러블 디스플레이를 사용하여, AR/VR 시스템의 제 2 사용자에게 오디오를 들리게 하는(sounding) 단계를 포함하고, 오디오는 AR/VR 시스템의 제 1 사용자로부터 발생되고 제 1 사용자로부터 제 2 사용자로의 오디오 통신 채널의 파라미터를 가지며, 상기 파라미터는 상기 제 1 사용자가 상기 제 2 사용자에게 더 잘 들리도록 제 1 값으로부터 제 2 값으로 변경된다. 파라미터는 제 1 사용자에게 디스플레이된 이미지에서 제 2 사용자 또는 제 2 사용자의 아바타로 지향된 제 1 사용자의 응시가 예를 들면, 제 1 사용자의 눈 추적 데이터를 프로세싱하기 위한 지시들을 실행하는 프로세서에 의해 검출되었을 때 변경된다.

파라미터는 프로세서가 제 1 사용자의 눈들이 적어도 미리 정의된 시간 간격 동안 제 2 사용자 또는 제 2 사용자의 아바타를 바라보았다고 결정하기 위한 지시들을 실행할 때 제 1 값으로부터 제 2 값으로 변경될 수 있다.

파라미터는 제 2 사용자에서 제 1 사용자의 응시 방향이 검출되었을 때 제 1 값으로부터 제 2 값으로 변경될 수 있다. 이 경우에, 파라미터는 제 2 사용자에서 제 1 사용자의 응시 수렴(gaze vergence) 또는 제 1 사용자의 동공 확장 중 적어도 하나가 검출되었을 때 제 1 값으로부터 제 2 값으로 변경될 수 있다.

파라미터는 제 1 사용자의 응시 전에 제 1 값을 가질 수 있다.

파라미터는 제 1 사용자의 응시 방향 또는 응시 수렴 중 적어도 하나가 규칙적인 시간 간격들로 프로세서에 의해 결정되었을 때 제 1 값으로부터 제 2 값으로 변경될 수 있다.

파라미터는 적어도 미리 정의된 시간 간격 동안 응시가 철회되었을 때 제 1 값으로 다시 변경될 수 있다.

본 발명에 따르면, 지시들을 저장한 비 일시적 메모리가 제공되고, 상기 지시들은 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들로 하여금 웨어러블 디스플레이를 사용하여, AR/VR 시스템의 제 2 사용자에게 오디오를 들리게 하고, 오디오는 AR/VR 시스템의 제 1 사용자로부터 발생되고 제 1 사용자로부터 제 2 사용자로의 오디오 통신 채널의 파라미터를 가지며, 상기 파라미터는 상기 제 1 사용자가 상기 제 2 사용자에게 더 잘 들리도록 제 1 값으로부터 제 2 값으로 변경된다. 파라미터는 제 1 사용자에게 디스플레이된 이미지에서 제 2 사용자 또는 제 2 사용자의 아바타로 지향된 제 1 사용자의 응시가 예를 들면, 제 1 사용자의 눈 추적 데이터를 프로세싱하기 위한 지시를 실행하는 프로세서에 의해 검출되었을 때 변경된다.

파라미터는 프로세서가 제 1 사용자의 눈들이 적어도 미리 정의된 시간 간격 동안 제 2 사용자 또는 제 2 사용자의 아바타를 바라보았다고 결정하기 위한 지시들을 실행할 때 제 1 값으로부터 제 2 값으로 변경될 수 있다.

파라미터는 제 2 사용자에서 제 1 사용자의 응시 방향이 검출되었을 때 제 1 값으로부터 제 2 값으로 변경될 수 있다. 이 경우에, 파라미터는 제 2 사용자에서 제 1 사용자의 응시 수렴 또는 제 1 사용자의 동공 확장 중 적어도 하나가 검출되었을 때 제 1 값으로부터 제 2 값으로 변경될 수 있다.

파라미터는 제 1 사용자의 응시 전에 제 1 값을 가질 수 있다.

파라미터는 제 1 사용자의 응시 방향 또는 응시 수렴 중 적어도 하나가 규칙적인 시간 간격들로 프로세서에 의해 결정되었을 때 제 1 값으로부터 제 2 값으로 변경될 수 있다.

파라미터는 적어도 미리 정의된 시간 간격 동안 응시가 철회되었을 때 제 1 값으로 다시 변경될 수 있다.

본 발명에 따르면, AR/VR 시스템이 또한 제공되고, 상기 시스템은 눈 추적 시스템, 제 1 사용자에게 제 1 이미지를 디스플레이하기 위한 제 1 전자 디스플레이, 및 마이크로폰을 포함하는 제 1 웨어러블 디스플레이; 제 2 사용자에게 제 2 이미지를 디스플레이하기 위한 제 2 전자 디스플레이, 및 스피커를 포함하는 제 2 웨어러블 디스플레이; 및 제 1 및 제 2 웨어러블 디스플레이들에 통신가능하게 결합된 제어기를 포함한다. 제어기는 AR/VR 시스템의 제 1 사용자로부터 제 2 사용자로의 오디오 통신 채널을 확립하고, 제 1 이미지를 디스플레이하기 위해 제 1 웨어러블 디스플레이에 데이터를 제공하도록 구성된다. 제어기는 제 1 웨어러블 디스플레이로부터 제 1 사용자의 눈 검출 및 추적과 관련된 데이터를 수신하고 제 1 이미지에서 제 2 사용자 또는 제 2 사용자의 아바타로 지향된 제 1 사용자의 응시를 식별하도록 구성된 주의 모니터(attention monitor)를 포함한다. 제어기는 응시의 검출 시에 제 1 사용자가 제 2 사용자에게 더 잘 들리도록 오디오 통신 채널의 파라미터를 제 1 값으로부터 제 2 값으로 변경하도록 구성된다.

주의 모니터는 제 1 사용자의 눈들이 적어도 미리 정의된 시간 간격 동안 제 1 이미지에서 제 2 사용자 또는 제 2 사용자의 아바타를 바라본다고 결정하도록 구성될 수 있다.

주의 모니터는 제 1 사용자의 응시 방향을 결정하도록 구성될 수 있다. 이 경우에, 주의 모니터는 제 1 사용자의 응시 수렴 또는 동공 확장 중 적어도 하나를 결정하도록 구성될 수 있다.

파라미터는 피크 오디오 주파수, 오디오 통신 채널의 스펙트럼 폭, 또는 라우드니스(loudness) 중 적어도 하나를 포함할 수 있다.

주의 모니터는 시간에 따라 제 1 사용자의 응시를 모니터링하고, 적어도 미리 정의된 시간 간격 동안 응시가 철회되었을 때 제 1 값으로 파라미터를 다시 변경하도록 구성될 수 있다.

예시적인 실시예들은 이제 도면과 결부하여 설명될 것이며, 여기서:
도 1은 본 발명에 따른 AR/VR 시스템의 블록도;
도 2는 도 1의 AR/VR 시스템에서의 방법의 흐름도;
도 3은 도 1의 오디오 통신 채널의 스펙트럼 응답 함수들을 도시하는 도면;
도 4는 도 1의 AR/VR 시스템의 주의 모니터를 위한 일 예시적인 방법의 흐름도;
도 5a는 근안 증강 현실(AR)/가상 현실(VR) 웨어러블 디스플레이 실시예의 안경 폼 인자의 등각 투상도;
도 5b는 도 5a의 AR/VR 웨어러블 디스플레이의 측 단면도;
도 6a는 본 발명의 머리 장착형 디스플레이 헤드셋의 등각 투상도;
도 6b는 도 6a의 헤드셋을 포함하는 가상 현실 시스템의 블록도;
도 7은 스크린을 응시하는 눈의 개략도;
도 8은 일 실시예에 따른, 도 1의 AR/VR 시스템에 대한 일 예시적인 네트워크 환경의 블록도; 및
도 9는 본 발명의 방법을 구현하기 위한 컴퓨터 시스템의 블록도.

본 교시들이 다양한 실시예들 및 예들과 결부하여 설명되지만, 본 교시들이 이러한 실시예들로 제한되는 것으로 의도되지는 않는다. 반대로, 본 교시들은 당업자들에 의해 이해될 바와 같이, 다양한 대안들 및 등가물들을 포함한다. 본 발명의 원리들, 양태들, 및 실시예들 뿐만 아니라, 이들의 특정 예들을 인용하는 본 명세서에서의 모든 진술들은 이들의 구조적 및 기능적 등가물들 둘 모두를 포함하도록 의도된다. 부가적으로, 이러한 등가물들이 현재 알려진 등가물들 뿐만 아니라, 미래에 개발된 등가물들, 즉 구조에 관계 없이 동일한 기능을 수행하는 개발된 임의의 요소들 둘 모두를 포함하는 것으로 의도된다.

본 명세서에서 사용된 바와 같이, 용어 "제 1", "제 2", 등은 순차적인 순서를 의미하도록 의도되지 않지만, 오히려 명시적으로 언급되지 않는 한, 하나의 요소를 또 다른 요소와 구별하도록 의도된다. 유사하게, 방법 단계들의 순차적 순서는 명시적으로 언급되지 않는 한, 그들의 실행의 순차적 순서를 의미하지 않는다. 용어 "복수"는 본 명세서에서 "2개 이상"으로서를 의미하기 위해 사용되며, 단어 "포함하다(include)"는 단어 "포함하다(comprise)"와 동일한 의미로 사용된다.

도 1을 참조하면, AR/VR 시스템(100)은 사용자들(앤(Ann)(111) 및 밥(Bob)(112))과 같은 2명 이상의 사용자들의 상호작용을 가능하게 한다. 시스템(100)은 2개 이상의 웨어러블 디스플레이들(128(앤의 웨어러블 디스플레이) 및 126(밥의 웨어러블 디스플레이))과 네트워크를 통해 연결된 제어기(152)를 포함한다. 각각의 웨어러블 디스플레이(126, 128)는 전자 디스플레이 및 오디오 시스템을 포함하고 즉, 앤의 웨어러블 디스플레이(128)는 전자 디스플레이(121) 및 오디오 시스템(191)을 포함하고, 밥의 웨어러블 디스플레이(126)는 전자 디스플레이(122) 및 오디오 시스템(192)을 포함한다. 오디오 시스템들(191, 192)은 각각 스피커들(193) 또는 마이크로폰(194) 중 적어도 하나를 포함할 수 있다. 이미지들 및 사운드들은 제어기(152)로부터 수신된 데이터를 사용하여 전달된다. 제어기(152)는 또한, 앤으로부터 밥으로 지향된 제 1 오디오 통신 채널(171), 및 밥으로부터 앤으로 지향된 제 2 오디오 통신 채널(172)을 확립한다. 제 1(171) 및 제 2(172) 오디오 통신 채널들은 앤과 밥 사이의 양방향 통신 채널의 일부들, 및/또는 앤, 밥, 및 존재하는 경우 다른 사용자들 사이의 다중 방향 통신 채널의 일부들일 수 있다. 또한, 제어기(152)는 사운드트랙, 배경 음악, 자동 안내 방송, 등과 같은 다른 사운드들을 생성할 수 있다.

앤의 웨어러블 디스플레이(128)에 의해 생성된 이미지는 광각 카메라에 의해 캡쳐된 이미지를 포함할 수 있거나, 전체적으로 VR 생성 이미지를 포함할 수 있다. VR 생성 이미지는 다수의 사용자들을 표현할 수 있으며, 특히 밥을 표현하는 이미지(136)를 포함할 수 있다. 본 명세서에서, 밥을 표현하는 이미지(136)는 밥의 아바타(136)로서 언급된다. 밥의 아바타(136)는 정지 이미지 또는 동적 이미지, 아이콘, 그래픽 표현, 애니메이션 이미지, 등일 수 있다. 일부 AR 실시예들에서, 앤은 컴퓨터 생성 그래픽들 및 다른 컴퓨터 생성 이미지로 실제 뷰들을 증강하면서, 외부 세계의 직접 뷰를 가능하게 하는 외부 광을 송신하는 AR 헤드셋을 통해 직접적으로 밥을 볼 수 있다. 이러한 실시예들에서, 밥의 실세계 뷰는 신호(cue)들, 표시들, 등으로 증강될 수 있다. 같은 내용이 앤 및 임의의 다른 사용자들과 다른 사용자들을 서로 표현하는 이미지들 즉, 다른 사용자의 아바타들(131, 132, 및 136)에 대해 적용된다. 일부 AR 실시예들에서, 동일한 장면에 배치된 가상 아바타들 및 실제 사람이 있을 수 있다. 또한, 사용자들은 전화로 전화를 걸고 전화를 건 사용자들을 표현하는 아바타를 배치함으로써 장면에 배치될 수 있다.

도 2는 본 발명에 따라 오디오 신호들을 제공하기 위한 방법의 흐름도이다. 방법은 AR/VR 시스템의 제 1 사용자로부터 제 2 사용자로의 오디오 통신 채널을 확립하는 단계(225), 및 제 1 전자 디스플레이의 제 1 이미지를 AR/VR 시스템의 제 1 사용자에게 디스플레이하는 단계(230)를 포함한다. 도 1에 도시된 예에서, 제 1 사용자(111)는 앤이고, 제 1 전자 디스플레이는 그녀의 전자 디스플레이(121)이며, 이미지(136)는 밥을 표현한다.

도 1을 또한 참조하면, AR/VR 시스템(100)의 제 1 웨어러블 디스플레이(128)는 제 1 사용자의 눈들에 관한 데이터를 수집하고, 얻어진 데이터를 주의 모니터(161)에 제공하는(도 1에서 161A 및 161B로서 도시됨) 눈 추적 시스템(142)을 포함한다. 바람직하게, 제 2 웨어러블 디스플레이(126)는 또한, 눈 추적 시스템을 포함하여, 앤이 또한 밥의 응시를 통보 받을 수 있게 한다.

주의 모니터(161)는 앤의 웨어러블 디스플레이(128)와 같은 웨어러블 디스플레이들 내의 하나 이상의 로컬 부분들(161B), 및 제어기(152) 내의 중앙 부분(161A)을 포함하는 기능 블록이다. 일부 기능은 사용자 위치에서 로컬 부분(161B)에 의해 또는 중앙 위치에서 중앙 부분(161A)에 의해 구현될 수 있다. 주의 모니터(161)는 컴퓨터 판독가능한 저장 매체에 저장되고 하드웨어 프로세서(들)에 의해 실행된 지시들로 구현될 수 있다.

주의 모니터(161)는 앤이 밥을 바라보는지 예컨대, AR 애플리케이션들에서 직접적으로 밥을 보거나, VR 애플리케이션들에서 밥의 아바타(136)를 바라보는지의 여부를 식별하기 위해 눈 추적 시스템(142)에 의해 얻어진 정보 및 전자 디스플레이(121)에 현재 디스플레이된 이미지와 관련된 정보를 동기화한다. 도 1에서, 라인(170)은 앤이 밥의 아바타(136)를 볼 때 앤의 응시의 특정한 방향을 나타낸다.

이 예에서, 앤은 밥의 아바타(136)를 바라본다. 앤은 또 다른 사용자를 표현하는 이미지(132)로 그녀의 주의를 이동시킬 수 있다. 주의 모니터(161)는 전자 디스플레이(121)에 제공된 이미지를 형성하기 위해 사용된 초기 정보에 기초하여, 이미지들(136 및 132) 사이를 구별할 수 있다. 주의 모니터(161)는 전자 디스플레이(121)의 어느 부분이 특정한 사용자의 이미지에 의해 점유되는지를 식별하는 정보를 갖는다. AR 애플리케이션들에 대해, 각각의 AR 헤드셋에는 AR/VR 시스템(100)이 실시간으로 각각의 사용자가 3D 공간에 위치된 장소를 결정하는 것을 가능하게 하는 위치 센서 또는 위치 표시자가 구비될 수 있다. 이 정보는 다양한 사용자들을 위한 3D 공간에서의 응시 방향 및/또는 수렴과 함께, AR/VR 시스템(100)이 각각의 사용자에 대해, 어떤 다른 사용자 또는 사용자들이 그 특정한 사용자를 볼 가능성이 있는지를 실시간으로 결정하는 것을 가능하게 한다. 예를 들면, 밥이 실세계 위치(A)에 있고, 앤이 3D 공간에서 동일한 실세계 위치(A)를 우연히 바라본다면, AR/VR 시스템(100)은 앤이 밥을 보고 있다고 결정할 수 있다.

AR/VR 시스템(100)의 또 다른 사용자로 지향된 한 명의 사용자의 응시의 지속기간을 식별하는 목적을 위해, 주의 모니터(161)는 밥 또는 밥의 아바타(136)에 대한 앤의 응시의 시간 지속기간을 산출할 수 있다. 응시 지속기간은 미리 정의된 시간 간격 동안, 밥의 아바타(136)와 같은 특정한 이미지, 또는 AR 애플리케이션들의 특정한 사람 또는 3D 공간 위치에 대한 중단되지 않고 연속적인 응시로서 정의될 수 있다. 응시 검출 조건은 적어도 미리 정의된 시간 간격(T1) 동안 특정한 이미지를 뷰잉하는 것으로서 구성될 수 있다. 응시 검출 조건이 만족될 때, 응시의 발생이 검출된다.

그에 따라, 도 2의 방법은 응시 예컨대, 제 1 사용자(앤)에 대해 제 1 전자 디스플레이(121)에 디스플레이된 제 1 이미지에서 제 2 사용자(밥) 또는 제 2 사용자의 아바타(밥의 아바타(136))를 향한, 라인(170)에 의해 표현된 제 1 사용자(이 경우에 앤)의 응시를 검출하는 단계(235)를 더 포함한다. 검출하는 단계(235)는 눈 추적 유닛 예컨대, 눈 추적 시스템(142)에 의해 제 1 사용자의 눈 움직임들을 추적하는 단계를 포함할 수 있다. 검출하는 단계는 응시 지속기간이 미리 정의된 시간의 임계 양보다 길다는 조건을 포함할 수 있다. 검출하는 단계는 또한, 제 1 사용자의 동공 확장과 같은 일부 눈 특성들을 고려할 수 있다. 확장된 동공들은 주의의 높아진 레벨을 나타낼 수 있다. 주의 모니터(161)가 한 명의 사용자가 적어도 미리 결정된 시간의 임계 양 동안 또 다른 사용자에게 주의를 끈다고 결정할 때, 다른 사용자가 통보 받을 수 있다. 예를 들면, 모니터(161)가 밥과 관련된 이미지(136)를 향한 앤으로부터의 응시(170)을 검출할 때, 제어기(152)는 밥에게 통보할 수 있다.

방법은 통보(240)를 더 포함한다. 통보(240)는 제 1 사용자(111)가 제 2 사용자(112)에게 더 잘 들리도록 제 1 사용자(111)(앤)로부터 제 2 사용자(112)(밥)로 제 1 오디오 통신 채널(171)의 파라미터를 변경하는 것을 포함할 수 있다. 파라미터는 제 1 기본 값 예를 들면, 모든 사용자들에게 공통된 값으로부터 제 2 상이한 값으로 변경된다. 파라미터는 예컨대, 오디오 신호 레벨, 즉 앤이 밥과 대화할 때 앤의 음성의 라우드니스를 포함할 수 있다. 이것은 그 문제에 대해 밥, 또는 임의의 다른 사용자의 주의를 더 용이하게 얻을 수 있도록 함으로써, AR/VR 시스템(100)의 다양한 사용자들 사이의 사회적 상호작용을 용이하게 할 수 있다.

제 1 사용자의 음성이 제 2 사용자에게 더 잘 들리게 하거나 눈에 띄게 하는 임의의 파라미터는 응시 검출(235) 시에 수정될 수 있다. 예를 들면, 파라미터는 오디오 통신 채널의 스펙트럼 형상과 관련될 수 있다. 도 1을 더 참조하여 도 3을 참조하면, 제 1 통신 채널(171)(도 1)은 AR/VR 시스템(100)의 모든 사용자들에게 공통일 수 있는 기본 스펙트럼 응답 함수(300)(도 3)를 갖는다. 기본 스펙트럼 응답 함수(300)는 제 1 피크 오디오 주파수(302) 및 제 1 스펙트럼 폭(304)에 의해 특징지워질 수 있다. 제 2 사용자(112)에 대한 제 1 사용자(111)의 응시를 검출(235)할 때, 제어기(152)는 수정된 스펙트럼 응답 함수(310)를 갖기 위해 제 1 통신 채널(171)을 변경하고, 수정된 스펙트럼 응답 함수는 제 2 더 높은 피크 오디오 주파수(312) 및 제 2 더 좁은 스펙트럼 폭(314)에 의해 특징지워진다. 수정된 스펙트럼 응답 함수(310)는 음성 사운드를 더 선명하게 하고, 따라서 예컨대, 제 1 사용자(111)가 미리 결정된 시간의 양 동안 제 2 사용자(112)를 응시할 때 제 2 사용자(112)에 의해 더 용이하게 눈에 띄게 한다.

일부 실시예들에서, 주파수 이동 기술들은 실시간으로 사용자의 음성의 피치를 변경하고, 사용자의 목소리의 모델링된 음향 파라미터들을 실시간으로 변경하여 그것을 상이하게 들리게 하며, 등을 위해 적용될 수 있다. 제 1 사용자의 음성의 특정 주파수들이 차단될 수 있고/거나, 배경 사운드가 제 1 사용자의 음성을 강조하기 위해 감소될 수 있다. 또한, 일부 실시예들에서, 능동(전자) 외부 잡음 억제/잡음 소거가 이용될 수 있으며, 특정한 사용자가 보여질 때, 잡음 소거는 더 큰 효과를 위해 턴 온되거나 증가될 수 있다. 제어기(152)는 특히, 사람들이 사용자에게가 아니라 서로 이야기하고 있는 경우, 사용자 옆에 위치된 이들 사람의 음성을 억제하도록 또한 구성될 수 있다.

통보는 또한, 표시, 시각적 신호, 텍스트, 기호, 및/또는 밥의 디스플레이(122)에서 그에게 디스플레이된 앤의 이미지에 부가된 색상, 대비, 밝기, 윤곽선, 등과 같은 앤의 아바타(131)의 일부 수정과 같은 시각적 정보를 선택적으로 포함할 수 있다. 시각적 신호는 밥의 AR 헤드셋에 의해 제공된 인공 이미지 또는 특징을 표현할 수 있다. 바람직하게, 시각적 신호는 시각적 신호가 합리적으로 미묘하게 유지될 수 있을지라도, 미리 정의되고 쉽게 눈에 띄게 된다. 시각적 신호의 목적은 제 2 사용자에 대한 또는 그를 향한 제 1 사용자의 식별된 응시에 응답하여, 제 1 사용자에게 제 2 사용자의 주의를 끄는 것을 용이하게 하는 것이다.

방법은 실시간으로 수행될 수 있다. AR/VR 시스템(100)은 사용자의 눈들이 화면의 상이한 영역들 사이를 이동함에 따라 규칙적인 시간 간격들로 업데이트된 눈 추적 정보를 수신할 수 있으며, 디스플레이 시스템은 관련 지점, 즉 업데이트된 눈 추적 정보에 기초하여 사용자가 보고 있는 화면의 지점인 응시 지점을 계산할 수 있다. 바람직하게, 응시 방향 및 응시 수렴에 의해 표현된 관련 지점은 미리 정의된 규칙적인 시간 간격들로 식별된다. 상기 설명된 바와 같이, 제 2 사용자는 제 1 사용자의 응시가 신뢰가능하게 검출되자마자 즉, 미리 결정된 시간의 양 동안 응시가 발생하였는지를 통보 받는다. 그 다음, 시스템은 제 1 사용자(111)의 응시를 계속 모니터링한다. 응시 철회 조건은 미리 정의된 시간 간격(T2) 미만 동안 제 2 사용자를 계속 바라보는 것으로서 구성될 수 있다. 2개의 시간 간격들, T1(응시 임계 시간의 검출) 및 T2(응시 철회)는 반드시 그런 것은 아니지만, 동일할 수 있다(T1=T2). 주의 모니터(161)는 또한, 눈 접촉의 지속기간을 시간의 편안한 지속기간으로 제한하는 목적을 위해 사용자들의 자연스러운 눈 및/또는 머리 움직임들을 검출하도록 구성될 수 있다. 즉, 제 1 사용자는 잠시 바닥을 보고, 그들의 고개를 좌우로 돌리며, 등을 할 수 있다. 주의 모니터(161)는 제 1 및 제 2 사용자들 사이의 오디오 통신 채널의 파라미터들을 변경하지 않고 "짧은 철회 시간" T3 동안 이러한 움직임들을 허용하도록 구성될 수 있다. 그러나, 응시 철회 조건이 만족될 때, 제 1 오디오 통신 채널(171)의 파라미터는 원래(제 1) 값으로 다시 변경된다.

결국, 제 1 사용자(111)는 제 2 사용자(112)에게 그들의 주의를 되돌릴 수 있다. 응시 검출 조건들이 만족될 때, 제 1 오디오 통신 채널(171)의 파라미터는 다시 제 2 값으로 변경될 수 있거나, 예컨대 제 1 사용자의 음성이 바라보고 있는사용자에게 심지어 더 눈에 띄게 하기 위해 선택된 상이한 제 3 값으로 변경될 수 있다. 본 명세서에서, 오디오 파라미터의 제 2 또는 제 3 값은 주의를 나타내고, 제 1 (기본) 값은 주의 부족을 나타낼 수 있다.

제 2 사용자 밥(112)의 관점에서, 방법은 밥의 웨어러블 디스플레이를 사용하여, 밥의 주의를 끌기 위한 오디오를 들리게 하는 단계를 포함한다. 오디오는 앤으로부터 발생했으며 앤(제 1 사용자(111))으로부터 밥(제 2 사용자(112))로의 오디오 통신 채널(171)의 파라미터를 갖는다. 상기 설명된 바와 같이, 파라미터는 앤(제 1 사용자(111))이 밥(제 2 사용자(112))에게 더 잘 들리도록 제 1 값으로부터 제 2 값으로 변경된다. 이것은 앤의 눈 추적 데이터를 프로세싱하기 위한 지시들을 실행하는 프로세서에 의해 앤의 전자 디스플레이(121)에서 앤에 디스플레이된 이미지의 밥 또는 밥의 아바타(136)로 지향된 앤의 응시가 검출되었을 때 발생한다. 파라미터는 프로세서가 제 1 사용자(111)(앤)의 눈들이 적어도 미리 정의된 시간 간격 동안 제 2 사용자(112)(밥) 또는 제 2 사용자의 아바타(136)를 바라보았다고 결정하기 위한 지시들을 실행했을 때 제 1 값으로부터 제 2 값으로 변경될 수 있다. 일부 실시예들에서, 오디오 파라미터의 변경은 제 2 사용자(111)에서 제 1 사용자의 응시 방향, 수렴, 동공 확장, 등이 검출되었을 때 발생할 수 있다. 제 1 사용자의 응시 방향 또는 응시 수렴 중 적어도 하나는 규칙적인 시간 간격들로 프로세서에 의해 결정될 수 있으며, 응시가 철회되었을 때 제 1 값으로 다시 변경될 수 있다.

일부 실시예들에서, 얼굴 인식은 장면에서 사람의 존재를 결정하고, 연령 및 성별에 기초하여 그 사람의 음성 피치를 예측하기 위해 사용될 수 있다. VR 애플리케이션들에 대해, 오디오 프로파일들은 각각의 사용자에 대해 제공될 수 있으며, 음성 검출가능성을 최적화하기 위해 오디오 프로파일들에 기초하여 스펙트럼 필터링이 적용될 수 있다. 또한, 일부 애플리케이션들에서, 각각의 사용자의 청력 주파수 응답은 예컨대, 사용자 자신의 헤드셋을 사용하여 청력 테스트를 수행함으로써 결정될 수 있다. 측정된 청각 주파수 응답은 본 명세서에서 설명된 바와 같이, 사용자에 의한 음성 검출가능성을 향상시키고/거나 특정한 사용자를 바라보는 다른 사용자(들)에 의한 통신의 오디오 채널들을 강조하기 위해 사용자에게 오디오 신호들을 제공할 때 설명될 수 있다.

도 4는 제 2 사용자(112)를 향한 제 1 사용자(111)의 응시의 존재 또는 부재를 검출하기 위해 주의 모니터(161)에 의해 이용된 일 예시적인 방법(400)의 흐름도이다. 처음에(402) 응시 상태는 아니오이다. 간격 타이머는 (404)에서 시작되고, 관련 지점이 검출된다(406). 관련 지점이 제 2 사람의 이미지 내에 있으면(408), 뷰잉 타이머가 증가된다(410). 그렇지 않고 간격 타이머가 <T1이면(412), 프로세스는 다시 관련 지점을 검출하기 위해 되돌아간다(406). 아니오인 경우, 응시 상태가 결정된다(414). 응시가 없고 뷰잉 타이머가 <X*T1이면(416), 프로세스는 간격 타이머를 재시작한다(404). 뷰잉 타이머가 >X*T1이면(418), 응시 상태는 예이고(420) 제 2 사용자는 응시 변경을 통보 받는다(422). 응시가 지속되고 뷰잉 타이머가 >Y*T1이면, 프로세스는 또한, 간격 타이머를 재시작한다(404). 뷰잉 타이머가 <Y*T1이면, 응시 상태는 아니오이고(424) 제 2 사용자는 응시 변경을 통보 받는다(422). 사용자들의 응시는 시간에 따라 지속적으로 모니터링될 수 있다. 본 명세서에서, X 및 Y는 프로세스 파라미터들 >1이다. 제 1 전자 디스플레이(121)에 표현된 다른 사용자들을 향한 제 1(111) 사용자의 가능한 응시들은 유사한 방식으로 설명될 수 있다. 물론, 다른 방법(들)이 이용될 수 있으며, 특히 응시의 존재 또는 부재를 결정하기 위해 슬라이딩 시간 윈도우가 사용될 수 있다.

제 1(111) 및 제 2(112) 사용자들은 그들의 응시가 눈 추적 디바이스에 의해 캡쳐될 수 있도록 사람일 수 있다. 그러나, 제 1 사용자에 대해 주의를 끄는 것을 통보 받는 제 2 사용자(112)는 또한, 기계, 컴퓨터, 또는 로봇일 수 있다.

도 5a 및 도 5b를 참조하면, 근안 AR/VR 디스플레이(500)는 웨어러블 디스플레이들(126, 128)의 일 실시예이다. 근안 AR/VR 디스플레이(500)의 본체 또는 프레임(502)은 도시된 바와 같이, 한 쌍의 안경들의 폼 인자를 갖는다. 디스플레이(504)는 아이박스(510) 즉, 양질의 이미지가 사용자의 눈(512)에 제공될 수 있는 기하학적 영역에 이미지 광(508)을 제공하는 디스플레이 어셈블리(506)(도 5b)를 포함한다. 디스플레이 어셈블리(506)는 각각의 눈을 위한 별개의 근안 AR/VR 디스플레이 모듈, 또는 양쪽 눈들을 위한 하나의 AR/VR 디스플레이 모듈을 포함할 수 있다.

디스플레이 어셈블리(506)의 전자 디스플레이는 예를 들면 및 제한 없이, 액정 디스플레이(LCD), 유기 발광 디스플레이(OLED), 무기 발광 디스플레이(ILED), 능동형 유기 발광 다이오드(AMOLED) 디스플레이, 투명 유기 발광 다이오드(TOLED) 디스플레이, 프로젝터, 또는 이들의 조합을 포함할 수 있다. 디스플레이들에 의해 생성된 이미지들을 사용자의 눈들에 전달하기 위해 도파관 구조들이 제공될 수 있다. AR 애플리케이션들에서, 투명 또는 반투명 도파관 구조들은 디스플레이 어셈블리(506) 위로 연장될 수 있다. 도파관들은 선택적 반사기들 및 회절 격자들을 포함할 수 있다. 도파관들은 또한, 동공 복제 도파관 섹션들을 포함할 수 있다.

근안 AR/VR 디스플레이(500)는 또한, 실시간으로 사용자 눈들(512)의 응시 방향 및/또는 수렴 각도를 결정하기 위한 눈 추적 시스템(514)을 포함할 수 있다. 결정된 응시 방향 및 응시 수렴 각도는 또한, 화각 및 눈 위치에 의존하여 시각적 아티팩트들의 실시간 보상을 위해 사용될 수 있다. 또한, 결정된 수렴 및 응시 각도들은 사용자와의 상호작용, 객체들의 강조, 객체들을 전경으로 가져오기, 부가적인 객체들 또는 포인터들의 동적 생성, 등을 위해 사용될 수 있다. 근안 가간섭성(near-eye coherent) AR/VR 디스플레이(500)는 또한 오디오 시스템(520)을 포함한다. 오디오 시스템(520)은 소형 스피커들 또는 헤드폰들 및/또는 마이크로폰을 포함할 수 있다.

도 6a를 참조하면, HMD(600)는 AR/VR 환경으로의 더 큰 정도의 몰입감을 위해 사용자의 얼굴을 감싸는 AR/VR 웨어러블 디스플레이 시스템의 일례이다. HMD(600)의 기능은 컴퓨터 생성 이미지로 물리적인 실세계 환경의 뷰들을 증강하고/거나, 완전히 가상의 3D 이미지를 생성하는 것이다. HMD(600)는 전면 본체(602) 및 밴드(604)를 포함할 수 있다. 전면 본체(602)는 신뢰가능하고 편안한 방식으로 사용자의 눈들의 정면에 배치되도록 구성되고, 밴드(604)는 사용자의 머리에 전면 본체(602)를 고정하기 위해 늘어날 수 있다. 디스플레이 시스템(680)은 AR/VR 이미지를 사용자에게 제공하기 위해 전면 본체(602)에 배치될 수 있다. 전면 본체(602)의 측면들(606)은 불투명하거나 투명할 수 있다.

일부 실시예들에서, 전면 본체(602)는 HMD(600)의 가속도를 추적하기 위한 로케이터(locator)들(608) 및 관성 측정 유닛(IMU)(610), 및 HMD(600)의 위치를 추적하기 위한 위치 센서들(612)을 포함한다. IMU(610)는 위치 센서들(612) 중 하나 이상으로부터 수신된 측정 신호들에 기초하여 HMD(600)의 위치를 나타내는 데이터를 생성하는 전자 디바이스이고, 위치 센서들은 HMD(600)의 움직임에 응답하여 하나 이상의 측정 신호들을 생성한다. 위치 센서들(612)의 예들은: 하나 이상의 가속도계들, 하나 이상의 자이로스코프들, 하나 이상의 자력계들, 움직임을 검출하는 또 다른 적합한 유형의 센서, IMU(610)의 오류 정정을 위해 사용된 일 유형의 센서, 또는 이들의 일부 조합을 포함한다. 위치 센서들(612)은 IMU(610)의 외부, IMU(610)의 내부, 또는 이들의 일부 조합에 위치될 수 있다.

로케이터들(608)은 가상 현실 시스템이 전체 HMD(600)의 위치 및 지향방향을 추적할 수 있도록, 가상 현실 시스템의 외부 이미징 디바이스에 의해 추적된다. IMU(610) 및 위치 센서들(612)에 의해 생성된 정보는 HMD(600)의 위치 및 지향방향의 개선된 추적 정확도를 위해, 로케이터들(608)을 추적함으로써 얻어진 위치 및 지향방향과 비교될 수 있다. 정확한 위치 및 지향방향은 후자가 3D 공간에서 이동하고 회전할 때 사용자에게 적절한 가상 풍경을 제공하기 위해 중요하다.

HMD(600)는 HMD(600)의 일부 또는 전부를 둘러싸는 로컬 영역의 깊이 정보를 설명하는 데이터를 캡쳐하는 깊이 카메라 어셈블리(DCA)(611)를 더 포함할 수 있다. 이를 위해, DCA(611)는 레이저 레이더(LIDAR) 또는 유사한 디바이스를 포함할 수 있다. 깊이 정보는 3D 공간에서 HMD(600)의 위치 및 지향방향의 결정의 더 양호한 정확도를 위해 IMU(610)로부터의 정보와 비교될 수 있다.

HMD(600)는 실시간으로 사용자의 눈들의 지향방향 및 위치를 결정하기 위한 눈 추적 시스템(614)을 더 포함할 수 있다. 눈 추적 시스템(614)은 양쪽 눈들을 조명하는 적외선 조명기들의 어레이, 적외선 및 가시 광선을 분리하기 위한 핫 미러(hot mirror), 및 조명기들로부터 반사들(반짝임(glint)들)을 갖는 양쪽 눈들의 이미지들을 얻는 눈 추적 카메라를 포함할 수 있다. 눈 동공의 위치에 대한 반짝임들의 위치를 비교함으로써, 눈 위치 및 지향방향이 결정될 수 있다. 눈들의 상기 얻어진 위치 및 지향방향은 또한, HMD(600)가 사용자의 응시 방향을 결정하고 그에 따라 디스플레이 시스템(680)에 의해 생성된 이미지를 조정하는 것을 허용한다. 하나의 실시예에서, 수렴, 즉 사용자의 눈들의 응시의 수렴 각도가 결정된다. 결정된 응시 방향 및 응시 수렴 각도는 또한, 화각 및 눈 위치에 의존하여 시각적 아티팩트들의 실시간 보상을 위해 사용될 수 있다. 또한, 결정된 수렴 및 응시 각도들은 사용자와의 상호작용, 객체들의 강조, 객체들을 전경으로 가져오기, 부가적인 객체들 또는 포인터들의 생성, 등을 위해 사용될 수 있다. 예컨대, 전면 본체(602)에 내장된 소형 스피커들의 세트 및/또는 마이크로폰을 포함하는 오디오 시스템(644)이 제공될 수 있다.

도 6b를 참조하면, AR/VR 시스템(650)은 도 6a의 HMD(600), 다양한 AR/VR 애플리케이션들, 설정 및 교정 절차들, 3D 비디오들, 등을 저장하는 외부 콘솔(690), 및 콘솔(690)을 동작시키고/거나 AR/VR 환경과 상호작용하기 위한 입력/출력(I/O) 인터페이스(615)를 포함한다. HMD(600)는 물리적 케이블을 사용하여 콘솔(690)에 "테더링(tethering)"되거나, 블루투스®, 와이파이, 등과 같은 무선 통신 링크를 통해 콘솔(690)에 연결될 수 있다. 각각이 연관된 I/O 인터페이스(615)를 갖고, 각각의 HMD(600) 및 I/O 인터페이스(들)(615)가 콘솔(690)과 통신하는 다수의 HMD들(600)이 존재할 수 있다. 대안적인 구성들에서, 상이한 및/또는 부가적인 구성요소들은 AR/VR 시스템(650)에 포함될 수 있다. 부가적으로, 도 6a 및 도 6b에 도시된 구성요소들 중 하나 이상과 결부하여 설명된 기능은 일부 실시예들에서 도 6a 및 도 6b와 결부하여 설명된 것과 상이한 방식으로 구성요소들 사이에 분포될 수 있다. 예를 들면, 콘솔(615)의 기능의 일부 또는 전부는 HMD(600)에 의해 제공될 수 있으며 그 반대의 경우도 마찬가지이다. HMD(600)에는 이러한 기능을 성취할 수 있는 프로세싱 모듈이 제공될 수 있다.

도 6a를 참조하여 상기 설명된 바와 같이, HMD(600)는 눈 위치 및 지향방향을 추적하고, 응시 각도 및 수렴 각도, 등을 결정하기 위한 눈 추적 시스템(614)(도 6b), 3D 공간에서 HMD(600)의 위치 및 지향방향을 결정하기 위한 IMU(610), 외부 환경을 캡쳐하기 위한 DCA(611), HMD(600)의 위치를 독립적으로 결정하기 위한 위치 센서(612), 및 사용자에게 AR/VR 콘텐트를 디스플레이하기 위한 디스플레이 시스템(680)을 포함할 수 있다. 디스플레이 시스템(680)은 전자 디스플레이(625), 예를 들면 및 제한 없이, 액정 디스플레이(LCD), 유기 발광 디스플레이(OLED), 무기 발광 디스플레이(ILED), 능동형 유기 발광 다이오드(AMOLED) 디스플레이, 투명 유기 발광 다이오드(TOLED) 디스플레이, 프로젝터, 또는 이들의 조합을 포함한다(도 6b). 디스플레이 시스템(680)은 그 기능이 전자 디스플레이(625)에 의해 생성된 이미지들을 사용자의 눈으로 전달하는 광학 블록(630)을 더 포함한다. 디스플레이 시스템(680)은 광학 블록(630)의 일부일 수 있는 가변초점 모듈(635)을 더 포함할 수 있다. 가변초점 모듈(635)의 기능은 예컨대, 광학 블록(630)의 초점을 조정하는 것 예컨대, 수렴 원근조절 충돌을 보상하는 것, 특정한 사용자의 시력 결함들을 정정하는 것, 광학 블록(630)의 수차들을 상쇄하는 것, 등이다.

I/O 인터페이스(615)는 사용자가 동작 요청들을 전송하고 콘솔(690)로부터 응답들을 수신하는 것을 허용하는 디바이스이다. 동작 요청은 특정한 동작을 수행하기 위한 요청이다. 예를 들면, 동작 요청은 이미지 또는 비디오 데이터의 캡쳐를 시작 또는 종료하기 위한 지시 또는 애플리케이션 내에서 특정한 동작을 수행하기 위한 지시일 수 있다. I/O 인터페이스(615)는 키보드, 마우스, 게임 제어기, 또는 동작 요청들을 수신하고 이들을 콘솔(690)에 전달하기 위한 임의의 다른 적합한 디바이스와 같은 하나 이상의 입력 디바이스들을 포함할 수 있다. I/O 인터페이스(615)에 의해 수신된 동작 요청은 동작 요청에 대응하는 동작을 수행하는 콘솔(690)에 전달된다. 일부 실시예들에서, I/O 인터페이스(615)는 I/O 인터페이스(615)의 초기 위치에 대한 I/O 인터페이스(615)의 추정된 위치를 나타내는 교정 데이터를 캡쳐하는 IMU를 포함한다. 일부 실시예들에서, I/O 인터페이스(615)는 콘솔(690)로부터 수신된 지시들에 따라 사용자에게 햅틱 피드백을 제공할 수 있다. 예를 들면, 동작 요청이 수신될 때 햅틱 피드백이 제공될 수 있거나, 콘솔(690)은 I/O 인터페이스(615)에 지시들을 전달하여 I/O 인터페이스(615)로 하여금 콘솔(690)이 동작을 수행할 때 햅틱 피드백을 생성하게 한다.

콘솔(690)은 IMU(610), DCA(611), 눈 추적 시스템(614), 및 I/O 인터페이스(615) 중 하나 이상으로부터 수신된 정보에 따라 프로세싱하기 위해 HMD(600)에 콘텐트를 제공할 수 있다. 도 6b에 도시된 예에서, 콘솔(690)은 애플리케이션 저장장치(655), 추적 모듈(660), 및 VR 엔진(665)을 포함한다. 콘솔(690)의 일부 실시예들은 도 6b와 결부하여 설명된 것들과 상이한 모듈들 또는 구성요소들을 가질 수 있다. 유사하게, 하기에 더 설명된 기능들은 도 6a 및 도 6b와 결부하여 설명된 것과 상이한 방식으로 콘솔(690)의 구성요소들 사이에 분산될 수 있다.

애플리케이션 저장장치(655)는 콘솔(690)에 의한 실행을 위해 하나 이상의 애플리케이션들을 저장할 수 있다. 애플리케이션은 프로세서에 의해 실행될 때, 사용자에게 제공하기 위한 콘텐트를 생성하는 지시들의 그룹이다. 애플리케이션에 의해 생성된 콘텐트는 HMD(600) 또는 I/O 인터페이스(615)의 움직임을 통해 사용자로부터 수신된 입력들에 응답할 수 있다. 애플리케이션들의 예들은: 게이밍 애플리케이션들, 프레젠테이션 및 회의 애플리케이션들, 비디오 재생 애플리케이션들, 또는 다른 적합한 애플리케이션들을 포함한다.

추적 모듈(660)은 하나 이상의 교정 파라미터들을 사용하여 AR/VR 시스템(650)을 교정할 수 있고 HMD(600) 또는 I/O 인터페이스(615)의 위치의 결정 시에 오류를 감소시키기 위해 하나 이상의 교정 파라미터들을 조정할 수 있다. 추적 모듈(660)에 의해 수행된 교정은 또한, HMD(600)의 IMU(610) 및/또는 존재한다면, I/O 인터페이스(615)에 포함된 IMU로부터 수신된 정보를 설명한다. 부가적으로, HMD(600)의 추적이 손실되면, 추적 모듈(660)은 AR/VR 시스템(650)의 일부 또는 전부를 재교정할 수 있다.

추적 모듈(660)은 HMD(600)의 또는 I/O 인터페이스(615), IMU(610), 또는 이들의 일부 조합의 움직임들을 추적할 수 있다. 예를 들면, 추적 모듈(660)은 HMD(600)로부터의 정보에 기초하여 로컬 영역의 매핑에서 HMD(600)의 기준 지점의 위치를 결정할 수 있다. 추적 모듈(660)은 각각 IMU(610)로부터 HMD(600)의 위치를 나타내는 데이터를 사용하거나 I/O 인터페이스(615)에 포함된 IMU로부터 I/O 인터페이스(615)의 위치를 나타내는 데이터를 사용하여 HMD(600)의 기준 지점 또는 I/O 인터페이스(615)의 기준 지점의 위치들을 또한 결정할 수 있다. 또한, 일부 실시예들에서, 추적 모듈(660)은 HMD(600)의 미래 위치를 예측하기 위해 DCA(611)로부터의 로컬 영역의 표현들 뿐만 아니라, IMU(610)로부터의 HMD(600) 또는 위치를 나타내는 데이터의 부분들을 사용할 수 있다. 추적 모듈(660)은 HMD(600) 또는 I/O 인터페이스(615)의 추정되거나 예측된 미래 위치를 VR 엔진(665)에 제공한다.

VR 엔진(665)은 HMD(600)로부터 수신된 정보에 기초하여 HMD(600)의 일부 또는 전부를 둘러싸는 영역("로컬 영역")의 3D 매핑을 생성할 수 있다. 일부 실시예들에서, VR 엔진(665)은 깊이 계산 시에 사용된 기술들에 대해 관련되는 DCA(611)로부터 수신된 정보에 기초한 로컬 영역의 3D 매핑에 대한 깊이 정보를 결정한다. 다양한 실시예들에서, VR 엔진(665)은 로컬 영역의 모델을 업데이트하고 업데이트된 모델에 부분적으로 기초하여 콘텐트를 생성하기 위해 깊이 정보를 사용할 수 있다.

VR 엔진(665)은 AR/VR 시스템(650) 내에서 애플리케이션들을 실행하고 추적 모듈(660)로부터 HMD(600)의 위치 정보, 가속도 정보, 속도 정보, 예측된 미래 위치들, 또는 이들의 일부 조합을 수신한다. 수신된 정보에 기초하여, VR 엔진(665)은 사용자에게 제공하기 위해 HMD(600)에 제공할 콘텐트를 결정한다. 예를 들면, 수신된 정보가 사용자가 좌측을 바라보았다는 것을 나타내는 경우, VR 엔진(665)은 가상 환경에서 또는 부가적인 콘텐트로 로컬 영역을 증강하는 환경에서 사용자의 움직임을 미러링하는 HMD(600)를 위한 콘텐트를 생성한다. 부가적으로, VR 엔진(665)은 I/O 인터페이스(615)로부터 수신된 동작 요청에 응답하여 콘솔(690)에서 실행되는 애플리케이션 내에서 동작을 수행하고 동작이 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 HMD(600)을 통한 시각적 또는 청각적 피드백 또는 I/O 인터페이스(615)를 통한 햅틱 피드백일 수 있다.

일부 실시예들에서, 눈 추적 시스템(614)으로부터 수신된 눈 추적 정보(예컨대, 사용자의 눈들의 지향방향)에 기초하여, VR 엔진(665)은 전자 디스플레이(625)의 사용자에게 제공하기 위해 HMD(600)에 제공된 콘텐트의 해상도를 결정한다. VR 엔진(665)은 사용자의 응시의 중심와 영역에서 전자 디스플레이(625)의 최대 픽셀 해상도를 가지는 콘텐트를 HMD(600)에 제공할 수 있다. VR 엔진(665)은 전자 디스플레이(625)의 다른 영역들에서 더 낮은 픽셀 해상도를 제공할 수 있고, 따라서 AR/VR 시스템(650)의 전력 소비를 감소시키고 사용자의 시각적 경험을 손상시키지 않으면서 콘솔(690)의 컴퓨팅 리소스들을 절약한다. 일부 실시예들에서, VR 엔진(665)은 객체들이 수렴 원근조절 충돌을 방지하고/거나 광학 왜곡들 및 수차들을 상쇄하기 위해 전자 디스플레이(625)에 디스플레이되는 장소를 조정하도록 눈 추적 정보를 또한 사용할 수 있다.

도 7은 도 1의 응시 벡터(170)에 대응하는 응시 벡터(706)에 의해 표시된 방향으로 화면(704)을 응시하는 사용자의 눈(702)을 도시한다. 도 7은 또한, 화면의 중심와 영역(708)을 도시한다. 주의 모니터 모듈(161)(도 1)은 눈이 바라보는 방향을 표현하는 응시 벡터를 결정한다. 일부 실시예들에서, 주의 모니터 모듈(161)은 안구 중심(도 7의 A), 각막 중심(C), 동공(E)을 포함하는 눈과 연관된 복수의 눈 특성들에 기초하여 응시 벡터, 및 각막 중심과 동공 중심 사이의 거리(h)를 결정한다. 하나의 실시예에서, 눈 추적 시스템(142)은 이들 눈 특성들을 추정하고 추정치들을 눈 추적 정보의 일부로서 주의 모니터 모듈(161)로 전송한다. 또 다른 실시예에서, 모듈(161)은 눈 추적 시스템(142)으로부터 눈의 각도 지향방향을 수신하고 각도 회전에 기초하여 눈의 모델에 회전을 적용함으로써 이들 눈 특성들을 생성한다. 다른 실시예들에서, 주의 모니터 모듈(161)은 눈 추적 시스템(142)으로부터 눈의 중심와 축을 수신하고 응시 벡터(306)로서 중심와 축의 방향을 사용한다. 응시 벡터(706)를 결정한 후에, 모듈(161)은 응시 벡터(706)와 화면(704) 사이의 교차점을 계산함으로써 관련 지점(714)을 결정한다. 다른 실시예들에서, 관련 지점(714)은 다른 수단에 의해 계산된다.

또 다른 실시예에서, 2개의 응시 벡터들은 사용자의 2개의 눈들에 대해 별개로 결정되고, 웨어러블 디스플레이(128)는 2개의 응시 벡터들의 수렴에 기초하여 사용자의 초점 깊이를 결정한다. 이 실시예에서, 웨어러블 디스플레이(128)는 제 1 사용자가 사용자의 눈들을 특정한 객체나 사용자에 집중시키는지의 여부, 또는 화면에 주의를 끌지 않고 그냥 눈들을 쉬게 하는지를 결정하기 위해, 장면에 있는 객체들의 초점의 깊이와 깊이 값들 사이의 깊이의 차(이하에 깊이 차로서 언급됨)를 결정한다.

도 8은 본 발명의 방법들이 구현될 수 있는 AR/VR 시스템(100)의 일례를 제공한다. AR/VR 시스템(100)은 네트워크(855), 제어기(152)를 포함하는 하나 이상의 서버들(850), 및 디바이스들(820 및 821)로 도시된 복수의 사용자 디바이스들 예컨대, 웨어러블 디스플레이들(128 또는 126)을 포함한다. 서버(들)(850)는 이미지들을 디스플레이하기 위해 데이터를 사용자 디바이스들에 제공하고, 사용자 음성들을 전달하고, 사용자 활동을 모니터링하며, 다른 사용자(들)가 사용자에게 기울인 관심을 자신에게 통보한다. 네트워크(855)는 서버들(850)과 사용자 디바이스들(820 및 821) 사이의 통신을 위한 수단을 제공한다. 네트워크(855)는 인터넷, 모바일 디바이스 캐리어 네트워크와 같은 무선 또는 유선 네트워크, 또는 서버와 클라이언트 사이의 통신을 위해 사용될 수 있는 임의의 다른 네트워크일 수 있다. 사용자 디바이스들(820 및 821)은 HMD들일 수 있으며, 각각은 데스크톱 컴퓨터와 같은 임의의 적합한 컴퓨팅 디바이스, 또는 모바일 디바이스 예컨대, 모바일 폰, 셀 폰, 스마트 폰, 개인 휴대용 정보 단말기, 노트북 컴퓨터, 태블릿 컴퓨터, 랩탑 컴퓨터, 카메라, 비디오 카메라, 또는 핸드 헬드 게임 콘솔을 포함할 수 있다.

도 9는 일 예시적인 컴퓨터 시스템(900)을 도시한다. 특정한 실시예들에서, 하나 이상의 컴퓨터 시스템들(900)은 본 명세서에서 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정한 실시예들에서, 하나 이상의 컴퓨터 시스템들(900)은 본 명세서에서 설명되거나 도시된 기능을 제공한다. 특정한 실시예들에서, 하나 이상의 컴퓨터 시스템들(900)에서 실행되는 소프트웨어는 본 명세서에서 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나 본 명세서에서 설명되거나 도시된 기능을 제공한다. 특정한 실시예들은 하나 이상의 컴퓨터 시스템들(900)의 하나 이상의 부분들을 포함한다.

본 발명은 임의의 적합한 수의 컴퓨터 시스템들(900)을 고려한다. 본 발명은 임의의 적합한 물리적 형태를 취하는 컴퓨터 시스템(900)을 고려한다. 일례로서 그리고 제한에 의한 것이 아닌 것으로서, 컴퓨터 시스템(900)은 내장된 컴퓨터 시스템, 시스템 온 칩(SOC), 단일 보드 컴퓨터 시스템(SBC)(예를 들면, 컴퓨터 온 모듈(COM) 또는 시스템 온 모듈(SOM)과 같음), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 대화형 키오스크, 메인프레임, 컴퓨터 시스템들의 메쉬, 모바일 전화, 개인 휴대용 정보 단말기(PDA), 서버, 태블릿 컴퓨터 시스템, 또는 이들 중 2개 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(900)은 하나 이상의 컴퓨터 시스템들(900)을 포함할 수 있거나; 단일 또는 분산될 수 있거나; 다수의 위치들에 걸쳐 있을 수 있거나; 다수의 기계들에 걸쳐 있을 수 있거나; 다수의 데이터센터들에 걸쳐 있을 수 있거나; 하나 이상의 네트워크들에 하나 이상의 클라우드 구성요소들을 포함시킬 수 있는 클라우드에 상주할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템들(900)은 본 명세서에서 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 실질적인 공간적 또는 시간적 제한 없이 수행할 수 있다. 일례로서 그리고 제한에 의한 것이 아닌 것으로서, 하나 이상의 컴퓨터 시스템들(900)은 본 명세서에서 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 실시간 또는 배치 모드로 수행할 수 있다. 하나 이상의 컴퓨터 시스템들(900)은 적절한 경우, 본 명세서에서 설명되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 상이한 시간들에서 또는 상이한 위치들에서 수행할 수 있다.

특정한 실시예들에서, 컴퓨터 시스템(900)은 프로세서(902), 비 일시적 메모리(904), 저장장치(906), 입력/출력(I/O) 인터페이스(908), 통신 인터페이스(910), 및 버스(912)를 포함한다. 본 발명이 특정한 배열로 특정한 수의 특정한 구성요소들을 가지는 특정한 컴퓨터 시스템을 설명하고 도시할지라도, 본 발명은 임의의 적합한 배열로 임의의 적합한 수의 임의의 적합한 구성요소들을 가지는 임의의 적합한 컴퓨터 시스템을 고려한다.

특정한 실시예들에서, 프로세서(902)는 컴퓨터 프로그램을 구성하는 지시들과 같은, 지시들을 실행하기 위한 하드웨어를 포함한다. 일례로서 그리고 제한에 의한 것이 아닌 것으로서, 지시들을 실행하기 위해, 프로세서(902)는 내부 레지스터, 내부 캐시, 비 일시적 메모리(904), 또는 저장장치(906)로부터 지시들을 검색(또는 인출)하고; 그들을 디코딩하고 실행하며; 그 다음, 하나 이상의 결과들을 내부 레지스터, 내부 캐시, 비 일시적 메모리(904), 또는 저장장치(906)에 기록할 수 있다. 특정한 실시예들에서, 프로세서(902)는 데이터, 지시들, 또는 주소들을 위한 하나 이상의 내부 캐시들을 포함할 수 있다. 본 발명이 특정한 프로세서를 설명하고 도시할지라도, 본 발명은 임의의 적합한 프로세서를 고려한다.

특정한 실시예들에서, 비 일시적 메모리(904)는 프로세서(902)가 실행할 지시들 또는 프로세서(902)가 동작할 데이터를 저장하기 위한 메인 메모리를 포함한다. 일례로서 그리고 제한에 의한 것이 아닌 것으로서, 컴퓨터 시스템(900)은 저장장치(906) 또는 또 다른 소스(예를 들면, 또 다른 컴퓨터 시스템(900)과 같음)로부터 메모리(904)로 지시들을 로드할 수 있다. 프로세서(902)는 그 다음, 메모리(904)로부터 내부 레지스터 또는 내부 캐시로 지시들을 로드할 수 있다. 지시들을 실행하기 위해, 프로세서(902)는 내부 레지스터 또는 내부 캐시로부터 지시들을 검색하고 그들을 디코딩할 수 있다. 지시들의 실행 동안 또는 이후에, 프로세서(902)는 하나 이상의 결과들(중간 또는 최종 결과들일 수 있음)을 내부 레지스터 또는 내부 캐시에 기록할 수 있다. 프로세서(902)는 그 다음, 그들 결과들 중 하나 이상을 비 일시적 메모리(904)에 기록할 수 있다.

특정한 실시예들에서, 프로세서(902)는 하나 이상의 내부 레지스터들 또는 내부 캐시들에서 또는 메모리(904)(저장장치(906)와는 대조적으로 또는 어딘가의)에서 단지 지시들을 실행하고 하나 이상의 내부 레지스터들 또는 내부 캐시들에서 또는 메모리(904)(저장장치(906)와는 대조적으로 또는 어딘가의)에서 단지 데이터에 따라 동작한다. 하나 이상의 메모리 버스들(주소 버스 및 데이터 버스를 각각의 포함할 수 있음)은 프로세서(02)를 메모리(904)에 결합할 수 있다. 버스(912)는 하기에 설명된 바와 같이, 하나 이상의 메모리 버스들을 포함할 수 있다. 특정한 실시예들에서, 하나 이상의 메모리 관리 유닛(MMU)들은 프로세서(902)와 메모리(904) 사이에 상주하고 프로세서(902)에 의해 요청된 메모리(904)에 대한 액세스들을 용이하게 한다. 본 발명이 특정한 메모리를 설명하고 도시할지라도, 본 발명은 임의의 적합한 메모리를 고려한다.

특정한 실시예들에서, 저장장치(906)는 데이터 또는 지시들을 위한 대용량 저장장치를 포함한다. 저장장치(906)는 적절한 경우, 탈착가능하거나 탈착가능하지 않은(또는 고정된) 매체들을 포함할 수 있다. 저장장치(906)는 적절한 경우, 컴퓨터 시스템(900)의 내부 또는 외부에 있을 수 있다. 특정한 실시예들에서, 저장장치(906)는 비 휘발성, 고체 상태 메모리이다. 적절한 경우, 저장장치(906)는 하나 이상의 저장장치들(906)을 포함할 수 있다. 본 발명이 특정한 저장장치를 설명하고 도시할지라도, 본 발명은 임의의 적합한 저장장치를 고려한다.

특정한 실시예들에서, I/O 인터페이스(908)는 컴퓨터 시스템(900)과 하나 이상의 I/O 디바이스들 사이의 통신을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 둘 모두를 포함한다. 컴퓨터 시스템(900)은 적절한 경우, 이들 I/O 디바이스들 중 하나 이상을 포함할 수 있다. 이들 I/O 디바이스들 중 하나 이상은 사람과 컴퓨터 시스템(900) 사이의 통신을 가능하게 할 수 있다. 일례로서 그리고 제한에 의한 것이 아닌 것으로서, I/O 디바이스는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 고정형 카메라, 스타일러스, 태블릿, 터치화면, 트랙볼, 비디오 카메라, 또 다른 적합한 I/O 디바이스 또는 이들 중 2개 이상의 조합을 포함할 수 있다. I/O 디바이스는 하나 이상의 센서들을 포함할 수 있다. 본 발명은 임의의 적합한 I/O 디바이스들 및 그들을 위한 임의의 적합한 I/O 인터페이스들(908)을 고려한다. 적절한 경우, I/O 인터페이스(908)는 프로세서(902)가 이들 I/O 디바이스들 중 하나 이상을 구동하는 것을 가능하게 하는 하나 이상의 디바이스 또는 소프트웨어 구동기들을 포함할 수 있다. I/O 인터페이스(908)는 적절한 경우, 하나 이상의 I/O 인터페이스들(908)을 포함할 수 있다. 본 발명이 특정한 I/O 인터페이스를 설명하고 도시할지라도, 본 발명은 임의의 적합한 I/O 인터페이스를 고려한다.

특정한 실시예들에서, 통신 인터페이스(910)는 컴퓨터 시스템(900)과 하나 이상의 다른 컴퓨터 시스템들(900) 또는 하나 이상의 네트워크들 사이의 통신(예를 들면, 패킷 기반 통신과 같음)을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 둘 모두를 포함한다. 일례로서 그리고 제한에 의한 것이 아닌 것으로서, 통신 인터페이스(910)는 이더넷 또는 다른 유선 기반 네트워크와 통신하기 위한 네트워크 인터페이스 제어기(NIC) 또는 네트워크 어댑터 또는 와이파이 네트워크와 같은, 무선 네트워크와 통신하기 위한 무선 NIC(WNIC) 또는 무선 어댑터를 포함할 수 있다. 본 발명은 임의의 적합한 네트워크 및 그것을 위한 임의의 적합한 통신 인터페이스(910)를 고려한다. 본 발명이 특정한 통신 인터페이스를 설명하고 도시할지라도, 본 발명은 임의의 적합한 통신 인터페이스를 고려한다.

특정한 실시예들에서, 버스(912)는 컴퓨터 시스템(900)의 구성요소들을 서로 결합하는 하드웨어, 소프트웨어, 또는 둘 모두를 포함한다. 본 발명이 특정한 버스를 설명하고 도시할지라도, 본 발명은 임의의 적합한 버스 또는 상호연결부를 고려한다.

본 명세서에서, 컴퓨터 판독가능한 저장 매체에 대한 언급은 하나 이상의 비 일시적, 유형의 컴퓨터 판독가능한 저장 매체 프로세싱 구조를 포함한다. 일례로서 그리고 제한에 의한 것이 아닌 것으로서, 컴퓨터 판독가능한 저장 매체는 적절한 경우, 반도체 기반 또는 다른 집적 회로(IC)(예를 들면, 필드 프로그래밍가능한 게이트 어레이(FPGA) 또는 주문형 반도체(ASIC)와 같음), 하드 디스크, HDD, 하이브리드 하드 드라이브(HHD), 광 디스크, 광 디스크 드라이브(ODD), 광 자기 디스크, 광 자기 드라이브, 플로피 디스크, 플로피 디스크 드라이브(FDD), 자기 테이프, 홀로그래픽 저장 매체, 고체 상태 드라이브(SSD), RAM 드라이브, 보안 디지털 카드, 보안 디지털 드라이브, 또는 또 다른 적합한 컴퓨터 판독가능한 저장 매체 또는 이들 중 2개 이상의 조합을 포함할 수 있다. 본 명세서에서, 컴퓨터 판독가능한 저장 매체에 대한 언급은 35 U.S.C.§101 하에서 특허 보호를 받을 자격이 없는 임의의 매체를 배제한다. 본 명세서에서, 컴퓨터 판독가능한 저장 매체에 대한 언급은 35 U.S.C.§101 하에서 신호 송신(전파 전기 또는 전자기 신호 그 자체와 같음)의 일시적인 형태들이 특허 보호를 받을 자격이 없는 범위까지 그들을 배제한다. 컴퓨터 판독가능한 비 일시적 저장 매체는 적절한 경우, 휘발성, 비 휘발성, 또는 휘발성 및 비 휘발성의 조합일 수 있다.

본 발명은 임의의 적합한 저장장치를 구현하는 하나 이상의 컴퓨터 판독가능한 저장 매체들을 고려한다. 특정한 실시예들에서, 컴퓨터 판독가능한 저장 매체는 적절한 경우, 프로세서(902)의 하나 이상의 부분들(예를 들면, 하나 이상의 내부 레지스터들 또는 캐시들과 같음), 메모리(904)의 하나 이상의 부분들, 저장장치(906)의 하나 이상의 부분들, 또는 이들의 조합을 구현한다. 특정한 실시예들에서, 컴퓨터 판독가능한 저장 매체는 RAM 또는 ROM을 구현한다. 특정한 실시예들에서, 컴퓨터 판독가능한 저장 매체는 휘발성 또는 영구 메모리를 구현한다. 특정한 실시예들에서, 하나 이상의 컴퓨터 판독가능한 저장 매체들은 소프트웨어를 구현한다. 본 명세서에서, 소프트웨어에 대한 언급은 적절한 경우, 하나 이상의 애플리케이션들, 바이트코드, 하나 이상의 컴퓨터 프로그램들, 하나 이상의 실행 파일들, 하나 이상의 지시들, 로직, 기계 코드, 하나 이상의 스크립트들, 또는 소스 코드를 포함할 수 있으며 그 반대도 가능하다. 특정한 실시예들에서, 소프트웨어는 하나 이상의 애플리케이션 프로그래밍 인터페이스(API)들을 포함한다. 본 발명은 임의의 적합한 프로그래밍 언어 또는 프로그래밍 언어들의 조합으로 기록되거나 그렇지 않으면, 표현된 임의의 적합한 소프트웨어를 고려한다. 특정한 실시예들에서, 소프트웨어는 소스 코드 또는 객체 코드로서 표현된다.

본 발명은 본 명세서에서 설명된 특정 실시예들에 의해 범위가 제한되지 않아야 한다. 실제로, 본 명세서에서 설명된 것들에 더하여, 다른 다양한 실시예들 및 수정들이 상기 설명 및 첨부된 도면들로부터 당업자들에게 명백할 것이다. 따라서, 이러한 다른 실시예들 및 수정들은 본 발명의 범위 내에 있는 것으로 의도된다. 게다가, 본 발명이 특정한 목적을 위해 특정한 환경에서의 특정한 구현의 맥락에서 본 명세서에서 설명되었을지라도, 당업자들은 그것의 유용성이 그로 제한되지 않고 본 발명이 임의의 수의 목적들을 위해 임의의 수의 환경들에서 유익하게 구현될 수 있음을 인식할 것이다. 그에 따라, 하기에 제시된 청구항들은 본 명세서에서 설명된 바와 같이 본 발명의 전체 범위 및 사상의 관점에서 해석되어야 한다.

Claims (15)

1. AR/VR 시스템의 웨어러블 디스플레이에서의 방법에 있어서:
   상기 웨어러블 디스플레이를 사용하여, 상기 AR/VR 시스템의 제 2 사용자에게 오디오를 들리게 하는(sounding) 단계를 포함하고, 상기 오디오는 상기 AR/VR 시스템의 제 1 사용자로부터 발생되고 상기 제 1 사용자로부터 상기 제 2 사용자로의 오디오 통신 채널의 파라미터를 가지며, 상기 파라미터는 상기 제 1 사용자가 상기 제 2 사용자에게 더 잘 들리도록 제 1 값으로부터 제 2 값으로 변경되고;
   상기 제 1 사용자에게 디스플레이된 이미지에서 상기 제 2 사용자 또는 상기 제 2 사용자의 아바타로 지향된 상기 제 1 사용자의 응시는 상기 제 1 사용자의 눈 추적 데이터를 프로세싱하기 위한 지시들을 실행하는 프로세서에 의해 검출되는, 방법.
2. 제 1 항에 있어서, 상기 파라미터는 상기 프로세서가 상기 제 1 사용자의 눈들이 적어도 미리 정의된 시간 간격 동안 상기 제 2 사용자 또는 상기 제 2 사용자의 아바타를 바라보았다고 결정하기 위한 지시들을 실행할 때 상기 제 1 값으로부터 상기 제 2 값으로 변경되는, 방법.
3. 제 1 항에 있어서,
   상기 파라미터는 상기 제 2 사용자에서 상기 제 1 사용자의 응시 방향이 검출되었을 때 상기 제 1 값으로부터 상기 제 2 값으로 변경되고; 선택적으로,
   상기 파라미터는 상기 제 2 사용자에서 상기 제 1 사용자의 응시 수렴(gaze vergence) 또는 상기 제 1 사용자의 동공 확장 중 적어도 하나가 검출되었을 때 상기 제 1 값으로부터 상기 제 2 값으로 변경되는, 방법.
4. 제 1 항에 있어서, 상기 파라미터는 상기 제 1 사용자의 응시 전에 상기 제 1 값을 갖는, 방법.
5. 제 1 항에 있어서,
   상기 파라미터는 상기 제 1 사용자의 응시 방향 또는 응시 수렴 중 적어도 하나가 규칙적인 시간 간격들로 상기 프로세서에 의해 결정되었을 때 상기 제 1 값으로부터 상기 제 2 값으로 변경되고/거나;
   상기 파라미터는 적어도 미리 정의된 시간 간격 동안 상기 응시가 철회되었을 때 상기 제 1 값으로 다시 변경되는, 방법.
6. 지시들을 저장한 비 일시적 메모리에 있어서:
   상기 지시들은 하나 이상의 프로세서들에 의해 실행될 때, 상기 하나 이상의 프로세서들로 하여금 웨어러블 디스플레이를 사용하여, AR/VR 시스템의 제 2 사용자에게 오디오를 들리게 하고, 상기 오디오는 상기 AR/VR 시스템의 제 1 사용자로부터 발생되고 상기 제 1 사용자로부터 상기 제 2 사용자로의 오디오 통신 채널의 파라미터를 가지며, 상기 파라미터는 상기 제 1 사용자가 상기 제 2 사용자에게 더 잘 들리도록 제 1 값으로부터 제 2 값으로 변경되고;
   상기 제 1 사용자에게 디스플레이된 이미지에서 상기 제 2 사용자 또는 상기 제 2 사용자의 아바타로 지향된 상기 제 1 사용자의 응시는 상기 제 1 사용자의 눈 추적 데이터를 프로세싱하기 위한 지시들을 실행하는 프로세서에 의해 검출되는, 비 일시적 메모리.
7. 제 6 항에 있어서, 상기 파라미터는 상기 프로세서가 상기 제 1 사용자의 눈들이 적어도 미리 정의된 시간 간격 동안 상기 제 2 사용자 또는 상기 제 2 사용자의 아바타를 바라보았다고 결정하기 위한 지시들을 실행할 때 상기 제 1 값으로부터 상기 제 2 값으로 변경되는, 비 일시적 메모리.
8. 제 6 항에 있어서,
   상기 파라미터는 상기 제 2 사용자에서 상기 제 1 사용자의 응시 방향이 검출되었을 때 상기 제 1 값으로부터 상기 제 2 값으로 변경되고; 선택적으로,
   상기 파라미터는 상기 제 2 사용자에서 상기 제 1 사용자의 응시 수렴 또는 상기 제 1 사용자의 동공 확장 중 적어도 하나가 검출되었을 때 상기 제 1 값으로부터 상기 제 2 값으로 변경되는, 비 일시적 메모리.
9. 제 6 항에 있어서, 상기 파라미터는 상기 제 1 사용자의 응시 전에 상기 제 1 값을 갖는, 비 일시적 메모리.
10. 제 6 항에 있어서,
    상기 파라미터는 상기 제 1 사용자의 응시 방향 또는 응시 수렴 중 적어도 하나가 규칙적인 시간 간격들로 상기 하나 이상의 프로세서들에 의해 결정되었을 때 상기 제 1 값으로부터 상기 제 2 값으로 변경되고/거나;
    상기 파라미터는 적어도 미리 정의된 시간 간격 동안 상기 응시가 철회되었을 때 상기 제 1 값으로 다시 변경되는, 비 일시적 메모리.
11. AR/VR 시스템에 있어서:
    눈 추적 시스템, 제 1 사용자에게 제 1 이미지를 디스플레이하기 위한 제 1 전자 디스플레이, 및 마이크로폰을 포함하는 제 1 웨어러블 디스플레이;
    제 2 사용자에게 제 2 이미지를 디스플레이하기 위한 제 2 전자 디스플레이, 및 스피커를 포함하는 제 2 웨어러블 디스플레이; 및
    상기 제 1 및 제 2 웨어러블 디스플레이들에 통신가능하게 결합된 제어기로서, 상기 AR/VR 시스템의 제 1 사용자로부터 제 2 사용자로의 오디오 통신 채널을 확립하고, 상기 제 1 이미지를 디스플레이하기 위해 상기 제 1 웨어러블 디스플레이에 데이터를 제공하도록 구성되는, 상기 제어기를 포함하고, 상기 제어기는 상기 제 1 웨어러블 디스플레이로부터 상기 제 1 사용자의 눈 추적과 관련된 데이터를 수신하고 상기 제 1 이미지에서 상기 제 2 사용자 또는 상기 제 2 사용자의 아바타로 지향된 상기 제 1 사용자의 응시를 식별하도록 구성된 주의 모니터(attention monitor)를 포함하며, 상기 제어기는 상기 응시의 검출 시에, 상기 제 1 사용자가 상기 제 2 사용자에게 더 잘 들리도록 상기 오디오 통신 채널의 파라미터를 제 1 값으로부터 제 2 값으로 변경하도록 구성되는, AR/VR 시스템.
12. 제 11 항에 있어서, 상기 주의 모니터는 상기 제 1 사용자의 눈들이 적어도 미리 정의된 시간 간격 동안 상기 제 1 이미지에서 상기 제 2 사용자 또는 상기 제 2 사용자의 아바타를 바라본다고 결정하도록 구성되는, AR/VR 시스템.
13. 제 11 항에 있어서,
    상기 주의 모니터는 상기 제 1 사용자의 응시 방향을 결정하도록 구성되고; 선택적으로,
    상기 주의 모니터는 상기 제 1 사용자의 응시 수렴 또는 동공 확장 중 적어도 하나를 결정하도록 구성되는, AR/VR 시스템.
14. 제 11 항에 있어서, 상기 파라미터는 피크 오디오 주파수, 상기 오디오 통신 채널의 스펙트럼 폭, 또는 라우드니스(loudness) 중 적어도 하나를 포함하는, AR/VR 시스템.
15. 제 11 항에 있어서, 상기 주의 모니터는 시간에 따라 상기 제 1 사용자의 응시를 모니터링하고, 적어도 미리 정의된 시간 간격 동안 상기 응시가 철회되었을 때 상기 제 1 값으로 상기 파라미터를 다시 변경하도록 구성되는, AR/VR 시스템.

Images