KR102190072B1

KR102190072B1 - 콘텐츠 발견

Info

Publication number: KR102190072B1
Application number: KR1020197008571A
Authority: KR
Inventors: 프란체스코 크리크리; 아르토 레티니에미; 안티 에로넨; 주시 레파넨
Original assignee: 노키아 테크놀로지스 오와이
Priority date: 2016-08-26
Filing date: 2017-08-22
Publication date: 2020-12-14
Also published as: KR20190041002A; EP3287868B1; US10831443B2; CN109791436A; CN109791436B; US20190187954A1; EP3287868A1; WO2018037157A1

Abstract

방법, 장치 및 컴퓨터 프로그램 코드가 제공된다. 상기 방법은, 가상 공간 내 제1 위치에 가상 객체가 디스플레이되게 하는 단계 - 상기 가상 객체는 제1 위치에서 시각적 위치 및 청각적 위치를 가짐 - , 가상 객체의 청각적 위치가 제1 위치임을 기초로 위치 오디오 데이터를 프로세싱하는 단계, 프로세싱된 위치 오디오 데이터를 기초로 위치 오디오가 사용자에게 출력되게 하는 단계, 가상 객체의 시각적 위치를 제1 위치에 유지하면서, 가상 객체의 청각적 위치를 제1 위치에서 가상 공간 내 제2 위치로 변경하는 단계, 가상 객체의 청각적 위치가 제2 위치임을 기초로 위치 오디오 데이터를 더 프로세싱하는 단계, 및 가상 객체의 시각적 위치를 제1 위치에 유지하면서, 더 프로세싱된 위치 오디오 데이터를 기초로 위치 오디오가 사용자에게 출력되게 하는 단계를 포함한다.

Description

콘텐츠 발견

본 발명의 실시예는 콘텐츠 발견과 관련된다. 구체적으로, 이들은 매개 현실, 가령, 증강 현실 또는 가상 현실에서의 콘텐츠 발견과 관련된다.

본 명세서에서의 매개 현실은 사용자가 완전 또는 부분 인공 환경을 경험하는 것을 지칭한다.

증강 현실은 사용자가 부분적으로 인공이고 부분적으로 현실인 환경을 경험하는 매개 현실의 한 형태이다. 가상 현실은 사용자가 완전 인공 환경을 경험하는 매개 현실의 한 형태이다.

일부 경우, 매개 현실 콘텐츠의 일부분이 사용자의 시야 밖에 위치할 수 있다. 매개 현실 콘텐츠의 이들 부분의 우연한 발견에 의존하는 것은 바람직하지 않다.

본 발명의 다양한, 그러나 반드시 모든 실시예일 필요는 없는 실시예에 따라, 방법이 제공되며, 상기 방법은, 가상 공간 내 제1 위치에 가상 객체가 디스플레이되게 하는 단계 - 상기 가상 객체는 상기 제1 위치에서 시각적 위치 및 청각적 위치를 가짐 - , 상기 가상 객체의 청각적 위치가 상기 제1 위치임을 기초로 위치 오디오 데이터를 프로세싱하는 단계, 프로세싱된 위치 오디오 데이터를 기초로 사용자에게 위치 오디오가 출력되게 하는 단계, 상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 가상 객체의 청각적 위치를 상기 제1 위치에서 상기 가상 공간 내 제2 위치로 변경하는 단계, 상기 가상 객체의 청각적 위치가 상기 제2 위치임을 기초로 위치 오디오 데이터를 더 프로세싱하는 단계, 및 상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 더 프로세싱된 위치 오디오 데이터를 기초로 상기 사용자에게 위치 오디오가 출력되게 하는 단계를 포함한다.

본 발명의 다양한, 그러나 반드시 모든 실시예일 필요는 없는 실시예에 따라, 컴퓨터 프로그램 코드가 제공되며, 상기 컴퓨터 프로그램 코드는 적어도 하나의 프로세서에 의해 수행될 때, 적어도 다음의 단계가 수행되게 한다: 가상 공간 내 제1 위치에 가상 객체가 디스플레이되게 하는 단계 - 상기 가상 객체는 상기 제1 위치에서 시각적 위치 및 청각적 위치를 가짐 - , 상기 가상 객체의 청각적 위치가 상기 제1 위치임을 기초로 위치 오디오 데이터를 프로세싱하는 단계, 프로세싱된 위치 오디오 데이터를 기초로 사용자에게 위치 오디오가 출력되게 하는 단계, 상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 가상 객체의 청각적 위치를 상기 제1 위치에서 상기 가상 공간 내 제2 위치로 변경하는 단계, 상기 가상 객체의 청각적 위치가 상기 제2 위치임을 기초로 위치 오디오 데이터를 더 프로세싱하는 단계, 및 상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 더 프로세싱된 위치 오디오 데이터를 기초로 상기 사용자에게 위치 오디오가 출력되게 하는 단계.

컴퓨터 프로그램 코드는 비-일시적(non-transitory) 컴퓨터 판독형 매체에 의해 저장될 수 있다.

본 발명의 다양한, 그러나 반드시 모든 실시예일 필요는 없는 실시예에 따라, 장치가 제공되며, 상기 장치는 가상 공간 내 제1 위치에 가상 객체가 디스플레이되게 하기 위한 수단 - 상기 가상 객체는 상기 제1 위치에서 시각적 위치 및 청각적 위치를 가짐 - , 상기 가상 객체의 청각적 위치가 상기 제1 위치임을 기초로 위치 오디오 데이터를 프로세싱하기 위한 수단, 프로세싱된 위치 오디오 데이터를 기초로 사용자에게 위치 오디오가 출력되게 하기 위한 수단, 상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 가상 객체의 청각적 위치를 상기 제1 위치에서 상기 가상 공간 내 제2 위치로 변경하기 위한 수단, 상기 가상 객체의 청각적 위치가 상기 제2 위치임을 기초로 위치 오디오 데이터를 더 프로세싱하기 위한 수단, 및 상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 더 프로세싱된 위치 오디오 데이터를 기초로 상기 사용자에게 위치 오디오가 출력되게 하기 위한 수단을 포함한다.

본 발명의 다양한, 그러나 반드시 모든 실시예일 필요는 없는 실시예에 따라, 장치가 제공되며, 상기 장치는 적어도 하나의 프로세서, 및 상기 적어도 하나의 프로세서와 함께 동작하여, 장치로 하여금 적어도 다음의 단계를 수행하게 하도록 구성된 컴퓨터 프로그램 코드를 저장하는 메모리를 포함한다: 가상 공간 내 제1 위치에 가상 객체가 디스플레이되게 하는 단계 - 상기 가상 객체는 상기 제1 위치에서 시각적 위치 및 청각적 위치를 가짐 - , 상기 가상 객체의 청각적 위치가 상기 제1 위치임을 기초로 위치 오디오 데이터를 프로세싱하는 단계, 프로세싱된 위치 오디오 데이터를 기초로 사용자에게 위치 오디오가 출력되게 하는 단계, 상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 가상 객체의 청각적 위치를 상기 제1 위치에서 상기 가상 공간 내 제2 위치로 변경하는 단계, 상기 가상 객체의 청각적 위치가 상기 제2 위치임을 기초로 위치 오디오 데이터를 더 프로세싱하는 단계, 및 상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 더 프로세싱된 위치 오디오 데이터를 기초로 상기 사용자에게 위치 오디오가 출력되게 하는 단계.

본 발명의 다양한, 그러나 반드시 모든 실시예일 필요는 없는 실시예에 따라, 이하의 청구범위에서 청구되는 예시가 제공된다.

간략한 설명을 이해하는 데 유용한 다양한 예시를 더 잘 이해하기 위해, 첨부된 도면을 단지 예시로 참조할 것이다.
도 1a-1c 및 2a-2c는 매개 현실의 예시를 도시하며, 여기서 도 1a, 1b, 1c는 동일한 가상 공간 및 상이한 시점을 도시하고, 도 2a, 2b, 2c는 각자의 시점에서의 가상 장면을 도시한다.
도 3a는 현실 공간의 하나의 예시를 도시하며 도 3b는 도 1b의 가상 장면에 부분적으로 대응하는 현실 장면의 예시를 도시한다.
도 4a는 칩 또는 칩셋의 형태로 된 장치의 개략도를 도시한다.
도 4b는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 활성화하도록 동작 가능한 장치의 하나의 예시를 도시한다.
도 5는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 활성화하기 위한 방법의 하나의 예시를 도시한다.
도 6은 증강 현실을 위한 가상 공간의 모델을 업데이트하기 위한 방법의 하나의 예시를 도시한다.
도 7은 가상 장면의 적어도 일부분을 사용자에게 디스플레이할 수 있게 하는 장치의 하나의 예시를 도시한다.
도 8은 방법의 흐름도를 도시한다.
도 9는 매개 현실 콘텐츠를 보는 사용자를 도시한다.
도 10은 가상 공간 내 제1 위치에 디스플레이되는 가상 객체를 도시하며, 여기서 가상 객체의 청각적 위치도 제1 위치이다.
도 11은 가상 객체의 청각적 위치가 제1 위치에서 가상 공간 내 제2 위치로 이동한 후의 가상 공간을 도시한다.
도 12는 사용자의 시선이 제1 위치를 향하는 것에서 제2 위치를 향하는 것으로 이동된 후의 가상 공간을 도시한다.
도 13은 가상 객체의 청각적 위치가 제2 위치에서 가상 공간 내 제3 위치로 이동된 후 그리고 사용자의 시선이 제2 위치를 향하는 것에서 제3 위치를 향하는 것으로 이동된 후의 가상 공간을 도시한다.

본 발명의 실시예는 사용자가 콘텐츠를 더 쉽고 효율적으로 발견할 수 있도록 돕는 것과 관련된다. 이들은, 특히, 매개 현실 콘텐츠의 일부분의 발견과 관련된다. 본 발명의 실시예에서, 위치 오디오(positional audio)가 사용자에게 출력된다. 가상 객체가 제1 위치에 디스플레이될 수 있다. 위치 오디오에서 사용자가 식별할 수 있는 가상 객체의 청각적 위치 역시 초기에 제1 위치에 있다. 가상 객체의 시각적 위치가 제1 위치에 머무르면서, 가상 객체의 청각적 위치는 제2 위치로 이동될 수 있다. 이는 사용자가 제2 위치를 바라보게 하여 아마도 사용자를 새로운 콘텐츠 부분으로 안내하는 청각적 프롬프트를 제공한다.

정의

본 명세서에서, 다음의 정의가 적용된다:

"시야"는 특정 시점에서 사용자가 볼 수 있는 관측 가능한 세계의 영역을 지칭한다.

"가상 공간"은 3차원일 수 있는 완전 또는 부분 인공 환경을 지칭한다.

"가상 장면"은 가상 공간 내에서 특정 시점으로 보는 가상 공간의 표현을 지칭한다.

"현실 공간"은 3차원일 수 있는 현실 환경을 지칭한다.

"현실 장면"은 현실 공간 내에서 특정 시점으로 보는 현실 공간의 표현을 지칭한다.

본 명세서에서 "매개 현실"은 사용자가 완전 또는 부분 인공 환경(가상 공간)을 컴퓨터가 사용자에게 적어도 부분적으로 디스플레이하는 가상 장면으로서 시각적으로 경험하는 것을 지칭한다. 가상 장면은 가상 공간 내 시점 및 시야에 의해 결정된다. 가상 장면을 디스플레이하는 것은 이를 사용자가 볼 수 있는 형태로 제공함을 의미한다.

"매개 현실 콘텐츠"는 사용자가 완전 또는 부분 인공 환경(가상 공간)을 가상 장면으로서 시각적으로 경험할 수 있게 하는 콘텐츠이다. 매개 현실 콘텐츠는 대화형 콘텐츠(interactive content), 가령, 비디오 게임 또는 비-대화형 콘텐츠, 가령, 모션 비디오를 포함할 수 있다.

본 명세서에서 "증강 현실"은 사용자가 부분 인공 환경(가상 공간)을, 장치가 사용자에게 디스플레이하는 하나 이상의 시각적 요소로 보강되는 실제 현실 세계 환경(현실 공간)의 현실 장면을 포함하는 가상 장면으로서 시각적으로 경험하는 매개 현실의 한 형태를 지칭한다.

"증강 현실 콘텐츠"는 사용자가 부분 인공 환경(가상 공간)을 가상 장면으로서 시각적으로 경험할 수 있게 하는 매개 현실 콘텐츠의 한 형태이다. 증강 현실 콘텐츠는 대화형 콘텐츠, 가령, 비디오 게임 또는 비-대화형 콘텐츠, 가령, 모션 비디오를 포함할 수 있다.

본 명세서에서 "가상 현실"은 사용자가 완전 인공 환경(가상 공간)을 장치가 사용자에게 디스플레이하는 가상 장면으로서 시각적으로 경험하는 매개 현실의 한 형태를 지칭한다.

"가상 현실 콘텐츠"는 사용자가 부분 인공 환경(가상 공간)을 가상 장면으로서 시각적으로 경험할 수 있게 하는 매개 현실 콘텐츠의 한 형태이다. 가상 현실 콘텐츠는 대화형 콘텐츠, 가령, 비디오 또는 비-대화형 콘텐츠, 가령, 모션 비디오를 포함할 수 있다.

"관점-매개형(perspective-mediated)"은 매개 현실, 증강 현실 또는 가상 현실에 적용될 때, 사용자 동작이 가상 장면을 변경하는, 가상 공간 내 시점을 결정함을 의미한다.

"1인칭 관점-매개형"는 매개 현실, 증강 현실 또는 가상 현실에 적용될 때, 사용자의 현실 시점이 가상 공간 내 시점을 결정한다는 추가 제한사항을 갖는 관점-매개형을 의미한다.

"사용자 대화-매개형"는 매개 현실, 증강 현실 또는 가상 현실에 적용될 때, 사용자 동작이 가상 공간 내에서 발생하는 일을 적어도 부분적으로 결정함을 의미한다.

"디스플레이하는 것"은 사용자가 시각적으로 지각하는 형태로 제공하는 것을 의미한다.

"위치 오디오"는 사용자에게 출력될 때 하나 이상의 소스의 가상의 청각적 위치를 사용자에게 나타내는 오디오이다.

설명

도 1a-1c 및 2a-2c는 매개 현실의 예시를 도시한다. 매개 현실은 증강 현실 또는 가상 현실일 수 있다.

도 1a, 1b, 1c는 동일한 가상 객체(21)를 포함하는 동일한 가상 공간(20)을 도시하지만, 각각의 도면은 상이한 시점(24)을 나타낸다. 시점(24)의 위치와 방향이 독립적으로 변할 수 있다. 시점(24)의 방향이 도 1a에서 도 1b로 변하지만 위치는 변하지 않는다. 시점(24)의 방향과 위치가 도 1b에서 도 1c로 변한다.

도 2a, 2b, 2c가 도 1a, 1b, 1c의 시점(24)의 상이한 관점에서의 가상 장면(22)을 도시한다. 가상 장면(22)은 가상 공간(20) 내 시점(24) 및 시야(26)에 의해 결정된다. 가상 장면(22)은 사용자에게 적어도 부분적으로 디스플레이된다.

도시된 가상 장면(22)은 매개 현실 장면, 가상 현실 장면, 또는 증강 현실 장면일 수 있다. 가상 현실 장면은 완전 인공 가상 공간(20)을 디스플레이한다. 증강 현실 장면은 부분적으로 인공이고 부분적으로 현실인 가상 공간(20)을 디스플레이한다.

매개 현실, 증강 현실 또는 가상 현실이 사용자 대화-매개형일 수 있다. 이 경우, 사용자 동작이 가상 공간(20) 내에서 발생하는 일을 적어도 부분적으로 결정한다. 이로 인해 가상 객체(21), 가령, 가상 공간(20) 내 시각적 요소(28)와의 대화를 가능하게 할 수 있다.

매개 현실, 증강 현실 또는 가상 현실은 관점-매개형일 수 있다. 이 경우, 사용자 동작은 가상 장면(22)을 변경하는 가상 공간(20) 내 시점(24)을 결정한다. 예를 들어, 도 1a, 1b, 1c에 도시된 바와 같이 가상 공간(20) 내 시점(24)의 위치(23)가 변경 및/또는 가상 공간(20) 내 시점(24)의 방향 또는 배향이 변경될 수 있다. 가상 공간(20)이 3차원인 경우, 시점(24)의 위치(23)가 3 자유도, 가령, 상/하, 전/후, 좌/우를 가지며 가상 공간(20) 내 시점(24)의 방향이 3 자유도, 가령, 롤(roll), 피치(pitch), 요(yaw)를 가진다. 시점(24)은 위치(23) 및/또는 방향(24)이 지속적으로 변할 수 있으며, 그렇다면 사용자 동작이 시점(24)의 위치 및/또는 방향을 지속적으로 변경한다. 또는, 시점(24)은 이산 양자화된 위치(23) 및/또는 이산 양자화된 방향(25)을 가질 수 있고 사용자 동작이, 시점(24)의 허용된 위치(23) 및/또는 방향(25) 간에 이산적으로 점프함으로써 전환된다.

도 3a는 도 1a의 가상 공간(20)에 부분적으로 대응하는 현실 객체(11)를 포함하는 현실 공간(10)을 도시한다. 이 예시에서, 현실 공간(10) 내 각각의 현실 객체(11)는 가상 공간(20) 내 대응하는 가상 객체(21)를 갖지만, 가상 공간(20) 내 각각의 가상 객체(21)는 현실 공간(10) 내 대응하는 현실 객체(11)를 갖지 않는다. 이 예시에서, 가상 객체(21) 중 하나, 컴퓨터-생성 시각적 요소(28)가 현실 공간(10) 내 대응하는 현실 객체(11)를 갖지 않는 인공 가상 객체(21)이다.

현실 공간(10)과 가상 공간(20) 간 선형 매핑(linear mapping)이 존재하고, 현실 공간(10) 내 각각의 현실 객체(11)와 이의 대응하는 가상 객체(21) 간에 동일한 매핑이 존재한다. 따라서 현실 공간(10) 내 현실 객체(11) 간 상대적 관계가 가상 공간(20) 내 대응하는 가상 객체(21) 간 상대적 관계와 동일하다.

도 3b는 현실 객체(11)는 포함하지만 인공 가상 객체는 포함하지 않는 도 1b의 가상 장면(22)에 부분적으로 대응하는 현실 장면(12)을 도시한다. 현실 장면(12)은 도 1a의 가상 공간(20) 내 시점(24)에 대응하는 관점을 가진다. 현실 장면(12) 콘텐츠는 대응하는 시점(24) 및 시야(26)에 의해 결정된다.

도 2a는 도 3b에 도시된 현실 장면(12)의 증강 현실 버전의 도시일 수 있다. 가상 장면(22)은 장치가 사용자에게 디스플레이하는 하나 이상의 시각적 요소(28)로 보강되는 현실 공간(10)의 현실 장면(12)을 포함한다. 시각적 요소(28)는 컴퓨터에 의해 생성되는 시각적 요소일 수 있다. 투과 방식(see-through arrangement)에서, 가상 장면(22)은 보강 시각적 요소(28)의 디스플레이를 투과하여 보이는 실제 현실 장면(12)을 포함한다. 비디오 보기 방식(see-video arrangement)에서, 가상 장면(22)은 디스플레이되는 현실 장면(12) 및 디스플레이되는 보강 시각적 요소(28)를 포함한다. 디스플레이되는 현실 장면(12)은 단일 시점(24)의 이미지를 기초로 하거나, 단일 시점(24)으로부터의 이미지를 생성하도록 처리될 동일 시간에서의 복수의 서로 다른 시점(24)의 복수의 이미지를 기초로 할 수 있다.

도 4a는 칩 또는 칩셋의 형태로 된 장치(4)를 도시한다. 도시된 장치(4)는 적어도 하나의 프로세서(40) 및 적어도 하나의 메모리(46)를 포함한다. 프로세서(40)는 중앙 처리 장치(CPU) 및/또는 그래픽 처리 장치(GPU)이거나 이들을 포함할 수 있다. 프로세서(40)는 메모리(46)로부터 읽거나 메모리에 쓰기를 하도록 구성된다. 프로세서(40)는 프로세서(40)에 의해 데이터 및/또는 명령어가 출력될 때 통하는 출력 인터페이스 및 프로세서(40)에 의해 데이터 및/또는 명령어가 입력될 때 통하는 입력 인터페이스를 더 포함할 수 있다.

메모리(46)는 프로세서(40)로 로딩될 때 장치(4/30)의 동작을 제어하는 컴퓨터 프로그램 명령(컴퓨터 프로그램 코드)(48)을 포함하는 컴퓨터 프로그램(148)을 저장한다. 컴퓨터 프로그램(148)의 컴퓨터 프로그램 코드(48)는 장치(4/30)가 도 5, 6 및 8에 도시된 방법을 수행하게 하는 로직 및 루틴을 제공한다. 프로세서(40)는 메모리(46)를 읽음으로써 컴퓨터 프로그램(148)을 로딩하고 실행할 수 있다.

컴퓨터 프로그램(148)은 임의의 적절한 전달 메커니즘을 통해 장치(4/30)에 도달할 수 있다. 전달 메커니즘은, 예를 들어, 비일시적(non-transitory) 컴퓨터 판독형 저장 매체, 컴퓨터 프로그램 프로덕트, 메모리 디바이스, 기록 매체, 가령, 컴팩트 디스크 리드-온리 메모리(CD-ROM) 또는 디지털 다목적 디스크(DVD), 컴퓨터 프로그램(148)을 유형으로(tangibly) 구현한 제조 물품일 수 있다. 전달 메커니즘은 컴퓨터 프로그램(148)을 신뢰할만하게 전송하도록 구성된 신호일 수 있다. 신호는, 예를 들어, 하나 이상의 프로토콜에 따라 무선 연결(가령, 라디오 주파수 연결) 또는 유선 연결을 통해 전송될 수 있다. 장치(4/30)는 컴퓨터 프로그램(148)이 컴퓨터 데이터 신호로서 전송되게 할 수 있다.

메모리(46)가 단일 구성요소/회로로 도시되지만, 하나 이상의 개별 구성요소/회로로서 구현될 수 있고, 이들 중 일부 또는 모두가 일체형/탈착형이거나 및/또는 영구/반영구/동적/캐싱된 저장을 제공할 수 있다.

프로세서(40)가 단일 구성요소/회로로 도시되지만, 복수의 프로세서, 가령, 하나 이상의 개별 구성요소/회로로 구현될 수 있으며, 이들 중 일부 또는 모두가 일체형/탈착형일 수 있다. 프로세서(40)는 싱글 코어 또는 멀티-코어일 수 있다.

도 4b는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 가능하게 하도록 동작 가능한 장치(30)의 개략도이다.

일부 실시예에서, 장치(30)는 단일 전자 디바이스, 가령, 머리 장착형 디바이스(머리 장착형 디바이스)일 수 있다. 이러한 머리 장착형 디바이스의 예시가 도 7에 도시되어 있다.

또 다른 실시예에서, 장치(30)는 머리 장착형 디바이스, 게임 콘솔/개인 컴퓨터 및/또는 하나 이상의 핸드-헬드 제어기의 조합으로부터 형성될 수 있는 복수의 디바이스에 걸쳐 분산될 수 있다. 장치(30)가 게임 콘솔 또는 개인 컴퓨터에 의해 적어도 부분적으로 형성되는 경우, 프로세서(40) 및 메모리(46)(또는 복수의 프로세서 및/또는 복수의 메모리가 제공되는 경우 이들 중 하나 이상 또는 둘 모두)가 게임 콘솔/개인 컴퓨터에 제공될 수 있다.

예를 들어, 장치(30)는 도 4a에 도시된 장치(4), 하나 이상의 디스플레이(32), 오디오 출력 회로(39), 하나 이상의 트랜시버(42) 및 사용자 입력 회로(44)를 포함한다.

도 4a에서, 메모리(46)는 매개 현실 콘텐츠를 시각 데이터(10) 및 오디오 데이터(102)의 형태로 저장하는 것으로 도시된다. 시각 데이터(101)는 프로세서(40)에 의해 처리되어 매개 현실 콘텐츠의 시각 양태를 사용자에게 제공할 수 있고, 오디오 데이터(102)는 프로세서(40)에 의해 처리되어 매개 현실 콘텐츠의 청각 양태를 사용자에게 제공할 수 있다.

매개 현실 콘텐츠에 의해 사용자는 완전 또는 부분 인공 환경(가상 공간(20))을 가상 장면(22)으로서 시각적으로 경험할 수 있다. 매개 현실 콘텐츠는, 예를 들어, 대화형 콘텐츠, 가령, 비디오 게임 또는 비-대화형 콘텐츠, 가령, 모션 비디오일 수 있다.

매개 현실 콘텐츠는 볼 때 사용자 주위에서 사용자의 시야 너머로 확장될 수 있다. 이는 사용자가 한 번에 디스플레이되는 매개 현실 콘텐츠 전체를 볼 수 없음을 의미한다. 매개 현실 콘텐츠는, 예를 들어, 하나 이상의 차원에서 약 180도 이상까지 확장될 수 있다. 일부 예시에서, 매개 현실 콘텐츠는 하나 이상의 차원에서 약 360도까지 확장될 수 있다.

매개 현실 콘텐츠 전체가 동시에 디스플레이될 필요가 없다. 즉, 사용자가 자신의 머리 및/또는 눈을 움직여 매개 현실 콘텐츠를 볼 수 있는 각도 범위가 특정 시기에서 하나 이상의 디스플레이에 의해 매개 현실 콘텐츠가 디스플레이되는 각도 범위보다 클 수 있다.

매개 현실 콘텐츠는 가상 현실 콘텐츠 또는 증강 현실 콘텐츠일 수 있다. 가상 현실 콘텐츠는 사용자가 부분 인공 환경(가상 공간(20))을 가상 장면(22)으로서 경험할 수 있게 한다. 증강 현실 콘텐츠는 사용자가 부분 인공 환경을 장치(30)의 디스플레이(32)가 디스플레이하는 하나 이상의 가상의 시각적 요소(28)로 보강되는 물리적 실세계 환경(현실 공간)을 포함하는 가상 장면(22)으로서 경험할 수 있게 한다.

이 예시에서, 오디오 데이터(102)는 위치 오디오 데이터이다. 위치 오디오는 사용자에게 출력될 때 위치 오디오 데이터(102)에 포함된 하나 이상의 오디오 소스의 가상의 청각적 위치를 사용자에게 나타내는 오디오이다. 즉, 오디오는 사용자가 오디오를 들을 때 오디오 스트림 내 특정 소스를 가상 공간(20) 내 특정 위치와 연관시킬 수 있도록 한다. 위치 오디오 데이터(102)는, 예를 들어, 하나 이상의 오디오 소스로부터의 오디오의 가상 위치 및 방향을 정의할 수 있다.

일부 예시에서, 위치 오디오는 바이노럴 오디오(binaural audio)이고 위치 오디오 데이터(102)는 바이노럴 오디오 데이터이다. 바이노럴 오디오는 스탠드 또는 더미(dummy) 인간 머리의 양측에 위치하는 2개의 마이크로폰을 이용해 바이노럴 오디오 데이터로서 녹음되어, 녹음된 바이노럴 오디오 데이터가 사람/사용자가 (예를 들어, 귀의 공간 및 인체의 소리의 필터링 때문에) 오디오를 듣는 방식을 고려하도록 할 수 있다. 그러나 바이노럴 데이터의 사용은 더미 머리에 의해 수행되는 녹음에 한정되지 않는다. 모노럴(단일-채널) 음원이 바이노럴로 렌더링되어, 음원이 오디오 장면 내 원하는 음원 위치에서 청자의 귀로의 전달 경로를 모델링하는 이러한 머리 전달 함수(HRTF: head related transfer function) 필터에 의해 필터링되도록 할 수 있다. 일반적으로 왼쪽 귀와 오른쪽 귀에 하나씩, HRTF 필터의 쌍이 사용된다.

일부 예시에서, 위치 오디오가 확성기 포맷의 공간 오디오이다. 예를 들어, 벡터 기반 진폭 패닝(VBAP: Vector Base Amplitude Panning)의 알려진 방법이 음원을 다중채널 확성기 배열, 가령, 5.1. 또는 7.1 등의 적절한 (가상) 위치로 패닝하는 데 사용될 수 있다. 예를 들어, VBAP를 이용해, 음원의 이득이 계산되어, 음원 신호에 이들 이득이 곱해지고 신호가 2개의 확성기로부터 재생될 때, 음원이 확성기들을 연결하는 선을 따르는 어딘가에 가상으로 위치하는 것처럼 보이게 할 수 있다. 적절한 확성기 쌍을 선택함으로써, 음원이 5.1 및 7.1 같은 확성기 배열에서 360도 반경 내 임의의 곳에 위치할 수 있다. 유사한 방식으로, 3차원 확성기 배열이 구현될 수 있으며, 차이점은 3차원 배열이 사용될 때 이득이 확성기 쌍이 아니라 확성기 삼원쌍(triplet)에 대해 계산된다는 것이다.

바이노럴 포맷 오디오 및 확성기 포맷 오디오는 오디오가 캡처되는 방식을 한정하지 않는다. 두 기법 모두를 이용해 모노럴 음원이 위치 오디오로 렌더링될 수 있다. 일반적으로 가령, 대역별 방향의 도착 추정 및 확산 추정 같은 단계를 포함하는 파라미터 공간 오디오 처리 기법을 이용해, 다중-마이크로폰 입력 신호, 가령, 구면 마이크로폰 어레이(spherical microphone array)로부터의 입력 신호가 바이노럴 포맷 또는 확성기 포맷 위치 오디오로 변환될 수 있다. 확성기 포맷 공간 오디오와 바이노럴 포맷 공간 오디오의 조합을 이용해 위치 오디오가 또한 생성될 수 있다. 예를 들어, 확성기 신호를 가상 음원으로 번역하고 상기 가상 음원을 적절한 공간 위치로부터 바이노럴로 렌더링하여 확성기 포맷 오디오의 바이노럴 모니터링을 가능하게 함으로써, 확성기 포맷 공간 오디오가 바이노럴로 렌더링될 수 있다.

하나 이상의 디스플레이(32)가 사용자에게 가상 장면(22)의 적어도 일부분을 사용자가 시각적으로 지각하는 형태로 제공하기 위한 것이다. 이러한 가상 장면은 매개 현실 콘텐츠, 가령, 가상 현실 콘텐츠 또는 증강 현실 콘텐츠의 일부를 형성할 수 있다. 디스플레이(32)는 사용자에게 가상 장면(22)의 적어도 일부를 디스플레이하는 빛을 제공하는 하나 이상의 시각적 디스플레이일 수 있다. 시각적 디스플레이의 예시는 액정 디스플레이, 유기 발광 디스플레이, 방출형, 반사형, 투과형 및 반투과형(transflective) 디스플레이, 직접 망막 투사 디스플레이, 근안용 디스플레이(near eye display) 등이 있다. 디스플레이(32)는 이 예시에서 프로세서(40)에 의해 제어되지만, 모든 예시에서 반드시 그런 것은 아니다.

사용자의 머리가 이동할 때 머리 장착형 디바이스가 이동된다. 머리 장착형 디바이스는 디스플레이(32)가 하나 이상의 시각적 요소(28)를 사용자에게 디스플레이하는 동안 실시간 현실 장면(12)이 보일 수 있도록 하여 가상 장면(22)을 조합으로 제공할 수 있는 증강 현실을 위한 투과 구성일 수 있다. 이 경우, 바이저(visor)가 존재한다면 투명하거나 반-투명이어서, 실시간 현실 장면(12)이 바이저를 통해 보일 수 있다.

머리 장착형 디바이스는 사용자가 볼 수 있도록 디스플레이(32)가 하나 이상의 시각적 요소(28)를 디스플레이하면서 동시에 사용자가 볼 수 있도록 디스플레이(32)가 현실 장면(12)의 실시간 비디오를 디스플레이하도록 하는 증강 현실을 위한 비디오 보기 구성일 수 있다. 디스플레이된 현실 장면(12) 및 디스플레이된 하나 이상의 시각적 요소(28)의 조합이 사용자에게 가상 장면(22)을 제공한다. 이 경우 바이저는 불투명하고 디스플레이(32)로서 사용될 수 있다.

오디오 출력 회로(39)가 사용자에게 오디오를 출력하기 위한 것이다. 오디오 출력 회로(39)는, 예를 들어, 헤드폰에 의해 제공될 수 있다. 대안으로, 오디오 출력 회로(39)가 멀티-채널 오디오를 위한 복수의 확성기에 의해 제공될 수 있다.

하나 이상의 트랜시버(42)가 프로세서(40)로부터 입력을 수신하여 출력을 프로세서(40)로 제공하도록 구성된다. 예를 들어, 하나 이상의 트랜시버(42)가 프로세서(40)로부터 데이터를 수신하고 이를 전송하며, 수신된 데이터를 프로세서(40)로 제공할 수 있다.

하나 이상의 트랜시버(42)는 하나 이상의 무선 트랜시버 및/또는 하나 이상의 유선 트랜시버를 포함할 수 있다. 이러한 무선 트랜시버는, 예를 들어, 하나 이상의 장거리 셀룰러 트랜시버 또는 (가령, 전기전자학회(Institute of Electrical and Electronic Engineers) 로컬 영역 네트워크 802.11 프로토콜 또는 블루투쓰(Bluetooth) 프로토콜에 따라 동작할 수 있는) 단거리 무선 트랜시버의 형태로 된 라디오 주파수 수신기를 포함할 수 있다. 이러한 유선 트랜시버는, 예를 들어, USB(Universal Serial Bus) 트랜시버를 포함할 수 있다.

예를 들어, 사용자 입력 회로(44)는 하나 이상의 촉각 센서(43), 하나 이상의 시점 센서(45), 현실 공간(10)을 이미징하기 위한 하나 이상의 이미지 센서(47) 및 하나 이상의 심도 센서(49)를 포함할 수 있다.

하나 이상의 촉각 센서(43)는, 예를 들어, 하나 이상의 조이스틱 및 하나 이상의 키/버튼을 포함할 수 있다. 조이스틱 및/또는 키/버튼은 물리적 핸드-헬드 제어기의 일부를 형성할 수 있다. 장치(30)가 머리 장착형인 경우, 하나 이상의 촉각 센서(43) 중 적어도 일부가 머리-장착형 장치 상에 위치할 수 있다.

장치(30)는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 위한 사용자 대화 매개를 가능하게 할 수 있다. 사용자 입력 회로(44)는 가령, 촉각 센서(43)를 통해 사용자 입력을 이용하는 사용자 동작을 검출한다. 이들 사용자 동작은 프로세서(40)에 의해 사용되어 가상 공간(20) 내에서 발생하는 일을 결정할 수 있다. 이로 인해 가상 공간(20) 내에서의 시각적 요소(28)와의 대화가 가능해질 수 있다.

장치(30)는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 위한 관점 매개를 가능하게 할 수 있다. 사용자 입력 회로(44)는 사용자 동작을 검출한다. 이들 사용자 동작이 프로세서(40)에 의해 사용되어 가상 장면(22)을 변경하는 가상 공간(20) 내 시점(24)을 결정할 수 있다. 시점(24)은 위치 및/또는 방향이 지속적으로 변할 수 있으며 사용자 동작이 시점(24)의 위치 및/또는 방향을 변화시킨다. 또는, 시점(24)은 이산 양자화된 위치 및/도는 이산 양자화된 방향을 가질 수 있으며 사용자 동작이 시점(24)의 다음 위치 및/또는 방향으로 점프함으로써 전환된다.

장치(30)는 매개 현실, 증강 현실 또는 가상 현실을 위한 1인칭 관점을 가능하게 할 수 있다. 사용자 입력 회로(44)는 사용자 시점 센서(45)를 이용해 사용자의 현실 시점(14)을 검출한다. 사용자의 현실 시점이 프로세서(40)에 의해 사용되어 가상 장면(22)을 변경하는 가상 공간(20) 내 시점(24)을 결정할 수 있다. 다시 도 3a를 참조하면, 사용자(18)는 현실 시점(14)을 가진다. 현실 시점은 사용자(18)에 의해 변경될 수 있다. 예를 들어, 현실 시점(14)의 현실 위치(13)가 사용자(18)의 위치이고 사용자(18)의 물리적 위치(13)를 변경함으로써 변경될 수 있다. 예를 들어, 현실 시점(14)의 현실 방향(15)이 사용자(18)가 바라보는 방향이고 사용자(18)의 현실 방향을 변경함으로써 변경될 수 있다. 현실 방향(15)은 예를 들어 사용자(18)가 자신의 머리 또는 시점(14)의 배향을 변경함으로써 및/또는 사용자가 자신의 눈을 이동시킴으로써 변경될 수 있다. 머리 장착형 장치(30)가 사용되어 1인칭 관점 매개를 가능하게 할 수 있다.

장치(30)는 입력 회로(44)의 일부로서 현실 시점의 변경을 결정하기 위한 시점 센서(45)를 포함할 수 있다.

예를 들어, 위치결정 기법, 가령, GPS, 복수의 수신기로 전송 및/또는 복수의 송신기로부터 수신함으로써 이뤄지는 삼각법(삼변측량), 가속도 검출 및 통합이 사용자(18)의 새로운 물리적 위치(13) 및 현실 시점(14)을 결정하는 데 사용될 수 있다.

예를 들어, 가속도계, 전자 자이로스코프 또는 전자 나침반이 사용자의 머리 또는 시점의 배향의 변경 및 이에 따른 현실 시점(14)의 현실 방향(15)의 변경을 결정하는 데 사용될 수 있다.

현실 또는 가상 공간(10, 20)에서의 사용자의 시선이 사용자의 시점(14, 24)과 사용자의 눈의 방향 모두에 의해 결정된다. 따라서 사용자의 시선은 사용자가 자신의 시점(14, 24)을 변경하거나 자신의 눈을 이동시키거나 둘 모두에 의해 변경될 수 있다.

예를 들어, 컴퓨터 비전(computer vision)을 기초로 하는 동공 추적 기법이 사용되어 사용자의 하나 이상의 눈의 움직임을 추적하고 따라서 사용자의 시선의 방향 및 이에 따른 현실 시점(14)의 현실 방향(15)의 변경을 결정할 수 있다.

장치(30)는 현실 공간(10)을 이미징하기 위한 이미지 센서(47)를 입력 회로(44)의 일부로서 포함할 수 있다.

이미지 센서(47)의 예시로는 카메라로서 동작하도록 구성된 디지털 이미지 센서가 있다. 이러한 카메라는 정적 이미지 및/또는 비디오 이미지를 기록하도록 동작될 수 있다. 일부, 그러나 반드시 모든 실시예일 필요는 없는 실시예에서, 카메라는 스테레오스코픽 또는 그 밖의 다른 공간 분산된 배열로 구성되어, 현실 공간(10)이 상이한 관점에서 보이게 할 수 있다. 이로 인해 시차 효과(parallax effect)를 이용한 3차원 이미지의 생성 및/또는 심도를 확립하기 위한 처리가 가능해질 수 있다.

일부, 그러나 반드시 모든 실시예일 필요는 없는 실시예에서, 입력 회로(44)는 심도 센서(49)를 포함한다. 심도 센서(49)는 송신기 및 수신기를 포함할 수 있다. 송신기는 신호(가령, 인간이 감지할 수 없는 신호, 가령, 초음파 또는 적외선 광)를 송신하고 수신기는 반사된 신호를 수신한다. 단일 송신기 및 단일 수신기를 이용해 송신에서 수신까지의 비행 시간(time of flight)을 측정함으로써 일부 심도 정보가 획득될 수 있다. 더 많은 송신기 및/또는 더 많은 수신기를 이용할수록(공간 다이버시티) 더 좋은 분해능이 획득될 수 있다. 예를 들어, 송신기가 광, 바람직하게는, 보이지 않는 광, 가령, 적외선 광으로 공간 종속적 패턴을 갖고 현실 공간(10)을 "그리도록(paint)" 구성된다. 수신기에 의해 특정 패턴이 검출되면, 현실 공간(10)이 공간적으로 분해될 수 있다. 현실 공간(10)의 공간 분해된 부분까지의 거리가 비행 시간 및/또는 (수신기가 송신기에 대해 스테레오스코픽 위치에 있는 경우) 스테레오스코피에 의해 결정될 수 있다.

장치(30)는 예를 들어 도 5에 도시된 방법(60) 또는 이와 유사한 방법을 이용해 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 가능하게 할 수 있다. 프로세서(40)는 시각 데이터(101) 및 오디오 데이터(102)를 처리함으로써 공간(20)의 시각 및 청각 모델(50)을 저장 및 유지한다. 모델(50)은 특정 시기에서 사용자에게 제공되도록 렌더링된 매개 현실 콘텐츠(90)를 나타낸다.

모델(50)의 시각적 양태가 컴퓨터 프로그램 코드(48)에 따라 동작하는 프로세서(40)로 제공되거나 프로세서(40)에 의해 결정될 수 있다. 예를 들어 입력 회로(44)의 센서가 사용되어 상이한 시점에서의 가상 공간의 겹치는 심도 맵들을 생성할 수 있고 그 후 3차원 모델(50)이 생성될 수 있다.

모델(50)의 청각적 양태가 컴퓨터 프로그램 코드(48)의 일부를 형성하는 오디오 렌더러(audio renderer)를 이용해 프로세서(40)에 의해 결정될 수 있다. 모델(50)의 청각적 양태가 위치 오디오, 가령, 바이노럴 오디오에 의해 제공될 수 있다. 오디오 렌더러는 바이노럴 렌더링 기법을 이용해, 가령, 헤드폰에 의해 오디오 출력 회로(39)가 제공되는 경우 머리 전달 함수(head related transfer function) 필터링 및 확성기에 의해 오디오 출력 회로(39)가 제공되는 경우 벡터-기반 진폭 패닝(vector-base amplitude panning)을 이용함으로써, 소리를 렌더링할 수 있다.

블록(62)에서, 가상 공간(20)의 모델(50)이 변경됐는지 여부가 결정된다. 가상 공간(20)의 모델(50)이 변경된 경우 방법은 블록(66)으로 이동한다. 가상 공간(20)의 모델(50)이 변경되지 않은 경우 방법은 블록(64)으로 이동한다.

블록(64)에서, 가상 공간(20)의 시점(24)이 변경됐는지 여부가 결정된다. 시점(24)이 변경된 경우 방법은 블록(66)으로 이동한다. 시점(24)이 변경되지 않은 경우 방법은 블록(62)으로 복귀한다.

블록(66)에서, 3차원 가상 공간(20)의 2차원 투사가 위치(23)로부터 그리고 현재 시점(24)에 의해 정의된 방향(25)에서 취해진다. 그 후 투사가 시야(26)로 제한되어 가상 장면(22)을 생성할 수 있다. 가상 공간(20) 내 사용자의 위치(23) 그리고 가능하다면 사용자의 시점(24)까지 이용해 위치 오디오가 렌더링된다. 그 후 방법은 블록(62)으로 복귀한다.

장치(30)가 증강 현실을 활성화하는 경우, 가상 공간(20)은 현실 공간(10)으로부터의 객체(11)와 현실 공간(10)에 존재하지 않는 시각적 요소(28)까지 포함한다. 이러한 시각적 요소(28)의 조합이 인공 가상 공간이라 지칭될 수 있다. 도 6은 증강 현실을 위한 가상 공간(20)의 모델(50)을 업데이트하기 위한 방법(70)을 도시한다.

블록(72)에서 현실 공간(10)이 변경됐는지 여부가 결정된다. 현실 공간(10)이 변경된 경우, 방법은 블록(76)으로 이동한다. 현실 공간(10)이 변경되지 않은 경우 방법은 블록(74)으로 이동한다. 현실 공간(10)의 변경의 검출은 미분(differentiating)을 이용해 픽셀 레벨에서 이뤄지고 컴퓨터 비전을 이용해 움직이는 객체를 추적함으로써 객체 레벨에서 이뤄질 수 있다.

블록(74)에서 인공 가상 공간이 변경됐는지 여부가 결정된다. 인공 가상 공간이 변경된 경우 방법은 블록(76)으로 이동한다. 인공 가상 공간이 변경되지 않은 경우 방법은 블록(72)으로 복귀한다. 제어기(42)에 의해 인공 가상 공간이 생성될 때 시각적 요소(28)의 변경이 쉽게 검출된다.

블록(76)에서 가상 공간(20)의 모델이 업데이트된다.

일부, 그러나 반드시 모든 실시예일 필요는 없는 실시예에서, 이미지 센서(47) 및 심도 센서(49) 중 하나 이상에 추가로 또는 이를 대체하여, 입력 회로(44)가 통신 회로(41)를 포함할 수 있다. 이러한 통신 회로(41)는 현실 공간(10) 내 하나 이상의 원격 이미지 센서(47) 및/또는 현실 공간(10) 내 원격 심도 센서(49)와 통신할 수 있다. 통신 회로(41)는 트랜시버(42)의 일부를 형성할 수 있다.

도 7은 사용자에게 이미지를 디스플레이하는 디스플레이(32)를 포함하는 머리 장착형 디바이스(33)의 형태로 장치(30)의 하나의 예시를 도시한다. 머리 장착형 장치(33)는 사용자의 머리가 이동할 때 자동으로 이동될 수 있다.

머리 장착형 디바이스(33)는 디스플레이(32)가 하나 이상의 시각적 요소(28)를 사용자에게 디스플레이하는 동안 실시간 현실 장면(12)이 보일 수 있도록 하여 가상 장면(22)을 조합으로 제공할 수 있는 증강 현실을 위한 투과 구성일 수 있다. 이 경우, 바이저(34)가 존재한다면 투명하거나 반-투명이어서, 실시간 현실 장면(12)이 바이저(34)를 통해 보일 수 있다.

머리 장착형 디바이스(33)는 사용자가 볼 수 있도록 디스플레이(32)가 하나 이상의 시각적 요소(28)를 디스플레이하면서 동시에 사용자가 볼 수 있도록 디스플레이(32)가 현실 장면(12)의 실시간 비디오를 디스플레이하도록 하는 증강 현실을 위한 비디오 보기 구성일 수 있다. 디스플레이된 현실 장면(12) 및 디스플레이된 하나 이상의 시각적 요소(28)의 조합이 사용자에게 가상 장면(22)을 제공한다. 이 경우 바이저(34)는 불투명하고 디스플레이(32)로서 사용될 수 있다.

도 4b를 다시 참조하면, 장치(30)는 매개 현실 및/또는 증강 현실 및/또는 가상 현실을 위한 사용자-대화 매개를 가능하게 할 수 있다. 사용자 입력 회로(44)는 사용자 입력으로부터 사용자 동작을 검출한다. 이들 사용자 동작은 프로세서(40)에 의해 사용되어 가상 공간(20) 내에서 발생하는 일을 결정할 수 있다. 이로 인해 가상 공간(20) 내의 시각적 요소(28)와의 대화가 가능해질 수 있다.

검출된 사용자 동작은, 예를 들어, 현실 공간(10)에서 수행되는 제스처일 수 있다. 제스처는 다양한 방식으로 검출될 수 있다. 예를 들어, 심도 센서(49)가 사용되어 사용자(18)의 부분의 움직임을 검출하거나 및/또는 이미지 센서(47)가 사용되어 사용자(18)의 부분의 움직임을 검출하거나 및/또는 사용자(18)의 사지에 부착된 위치/운동 센서가 사용되어 사지의 움직임을 검출할 수 있다.

객체 추적이 사용되어 객체 또는 사용자가 움직일 때를 검출할 수 있다. 예를 들어, 대규모로 객체를 추적함으로써 객체와 함께 움직이는 기준계를 생성할 수 있다. 그 후 이러한 기준계는, 객체에 대한 시간차법(temporal differencing)을 이용함으로써 객체의 형태의 시간에 따른 변경을 추적하는 데 사용될 수 있다. 이는 소규모 인간 모션, 가령, 제스처, 손 움직임, 안면 움직임을 검출하는 데 사용될 수 있다. 이들은 장면 독립적인 사용자에 대한 사용자(만의) 움직임이다.

장치(30)는 복수의 객체 및/또는 사용자의 몸과 관련된 점, 가령, 사용자의 몸의 하나 이상의 관절을 추적할 수 있다. 일부 예시에서, 장치(30)는 사용자의 몸의 전체 골격 추적을 수행할 수 있다.

하나 이상의 객체 및/또는 사용자의 몸과 관련된 점의 추적은 장치(30)에 의해 제스처 인식 등에서 사용될 수 있다.

도 8은 본 발명의 실시예에 따르는 방법의 흐름도를 도시한다. 방법의 설명은 도 4a 내지 13을 참조하여 이하에서 제공된다.

이하에서 기재되는 방법의 예시에서, 장치(30)는 사용자(82)가 매개 현실 콘텐츠(90)를 경험하기 위해 착용하는 머리 장착형 디바이스(33)이다. 매개 현실 콘텐츠(90)는, 예를 들어, 가상 현실 콘텐츠 또는 증강 현실 콘텐츠일 수 있다. 또 다른 예시에서, 가상 현실 콘텐츠가 머리 장착형 디바이스(33)가 아닌 사용자(82) 주위에 위치하는 복수의 디스플레이에 의해 제공될 수 있다.

이하의 예시에서 머리 장착형 디바이스(33)와 일체 구성될 수 있는 헤드폰에 의해 제공되는 오디오 출력 회로(39)를 통해 오디오가 사용자(82)에게 출력되나, 반드시 그런 것은 아니다. 대안으로 오디오 출력 회로(39)가 복수의 확성기에 의해 제공될 수 있다. 이 예시에서 오디오는 바이노럴 오디오이지만, 그 밖의 다른 예시에서는 반드시 그럴 필요는 없다.

프로세서(40)는 시각 데이터(101)를 프로세싱하여, 사용자(82)가 매개 현실 콘텐츠(90)를 경험하게 할 수 있으며 도 5에 도시된 방법 및 증강 현실 콘텐츠의 경우 도 6의 방법을 지속적으로 순환시킬 수 있다.

도 9는 사용자(82)가 머리 장착형 디바이스(33)를 통해 매개 현실 콘텐츠(90)를 경험하고 있는 것을 도시한다. 사용자는 사용자의 시야(26) 및 가상 공간(20) 내 위치에 의해 결정되는 가상 장면(22)을 보고 있다. 가상 공간(20)은 매개 현실 콘텐츠(90)의 일부를 형성한다. 이 예시에서, 매개 현실 콘텐츠(90)는 적어도 방위각 차원 ø에서 사용자의 시야(26) 너머까지 확장되어 있다. 이 예시에서 매개 현실 콘텐츠(90)는 방위각 방향 ø에서 사용자(82) 주위에서 360°까지 확장되어 있지만, 그 밖의 다른 예시에서 반드시 그럴 필요는 없다.

사용자(82)가 매개 현실 콘텐츠(90)를 경험하는 동안 사용자의 시야가 앞서 기재된 방식으로 (지속적으로) 모니터링된다.

도 8의 블록(801)에서, 프로세서(40)는 디스플레이(32)가 가상 공간(20) 내에 가상 객체(21a)를 디스플레이하게 한다. 가상 객체(21a)는 제1 위치(7)에 디스플레이된다. 도 10은 가상 객체(21a)가 가상 공간(20) 내 제1 위치(7)에 디스플레이되는 것을 도시한다. 가상 객체(21a)는 위치 오디오 데이터(102)에 제공되는 오디오 소스와 연관된다. 이 예시에서, 오디오 소스는 이야기의 내레이션이고 가상 객체(21a)는 이야기의 내레이터이다. 또 다른 예시에서, 오디오 소스와 가상 객체(21a)는 상이할 수 있다.

가상 객체(21a)가 사용자(82)가 보고 있는 가상 장면(22) 내에 디스플레이된다. 도 10에서, 가상 객체(21a)는 가상 공간(20)에서 제1 위치(7)에 디스플레이(32)에 의해 디스플레이되기 때문에 상기 위치에서 "시각적 위치"를 가진다고 여겨질 수 있다.

위치 오디오 데이터(102)에 정의된 바와 같은, 가상 객체(21a)의 가상 공간(20) 내 청각적 위치가 또한 제1 위치(7)이다. 컴퓨터 프로그램 코드(48)에서 오디오 렌더러에 의해 오디오 소스 및 청각적 위치가 처리될 때, 오디오 출력 회로(39)에 의해 출력되는 오디오는, 사용자(82)가 오디오를 들을 때 상기 오디오가 제1 위치(7)(의 가상 객체(21a))로부터 발산되는 것으로 지각되도록 한다.

도 8의 블록(802)에서, 프로세서(40)는 앞서 설명된 방식으로 위치 오디오 데이터(102)를 프로세싱한다. 도 8의 블록(803)에서, 프로세서(40)는 위치 오디오가 앞서 기재된 방식으로 프로세싱된 위치 오디오 데이터(102)를 기초로, 오디오 출력 회로(39)를 통해 사용자(82)에게 출력되게 한다.

앞서 언급된 바와 같이, 프로세서(40)는 사용자의 시선을 지속적으로 모니터링한다. 방법의 이 지점에서, 프로세서(40)는, 가상 객체(21a)의 시각적 위치 및 청각적 위치가 제1 위치(7)에 있는 동안, 사용자의 시선이 제1 위치(7)를 향함을 결정한다.

그 후 프로세서(40)는, 예를 들어 사용자의 주의/시선을 끌어야 할 콘텐츠의 일부가 존재함을 가리키는, 시각 데이터(101)의 일부로서 저장될 수 있는 트리거를 수신한다. 이 예시의 상황에서, 이야기를 내레이션하는 가상 객체(21a)는 가상 공간(20)에서 사용자의 현재 시야(26) 밖에 있는 위치에 디스플레이되는 매개 현실 콘텐츠(90)의 특정 부분에 대해 내레이션할 수 있다.

트리거를 수신함에 응답하여, 도 8의 블록(804)에서, 프로세서(40)는 제1 위치(7)의 가상 객체(21a)의 시각적 위치를 변경하지 않은 채 유지하면서, 가상 객체(21a)의 청각적 위치를 가상 공간(20) 내 제2 위치(8)로 변경한다. 이는 도 11에 도시되어 있다. 이 예시에서, 가상 객체(21a)의 청각적 위치가 제1 위치(7)에서 제2 위치(8)로 이동했다는 어떠한 시각적 지시자도 사용자에게 제공되지 않는다.

일부 실시예에서, 제1 위치(7)에서 제2 위치(8)로의 청각적 위치의 초기 변경은 작을 수 있다. 예를 들어, 제2 위치(7)가, 청각적 위치의 이동 전에 사용자(82)가 가상 객체(21a)를 보는 중일 때 그의 시야(26) 내에 위치할 수 있다.

이 예시에서, 위치 오디오 데이터(102) 내에 형성된 가상 객체(21a)와 연관된 오디오 소스의 청각적 위치를 변경/업데이트함으로써 가상 객체(21a)의 청각적 위치의 변경이 이뤄진다. 업데이트된 청각적 위치가 추가 처리되도록 컴퓨터 프로그램 코드(48) 내 오디오 렌더러로 제공된다. 이는 도 8의 블록(805)에 도시되어 있으며, 여기서 프로세서(40)는 제2 위치(8)에 있는 가상 객체(21a)의 청각적 위치를 기초로 위치 오디오 데이터(102)를 더 프로세싱한다. 도 8의 블록(805)에서, 프로세서(40)는, 제1 위치(7)의 가상 객체(21a)의 시각적 위치를 변경되지 않은 채 유지하면서, 더 프로세싱된 오디오 데이터를 기초로 (오디오 출력 회로(39)를 통해) 위치 오디오가 사용자(82)에게 출력되게 한다. 이는 사용자(82)가 가상 객체(21a)와 연관된 오디오 소스가 제1 위치(7)가 아닌 제2 위치(8)로부터 발산되는 것으로 지각함을 의미한다.

가상 객체(21a)의 청각적 위치의 제2 위치(8)로의 변경이 사용자(82)에게 제2 위치(8)를 바라보라는 가청 프롬프트로서 역할 한다. 프로세서(40)는 사용자의 시선의 방향을 지속적으로 모니터링한다. 프로세서(40)가 가상 객체(21a)의 청각적 위치의 변경 후에 사용자(82)가 제1 위치(7)의 가상 객체(21a)로 그의 시선을 계속 향하게 함으로써, 시선 방향을 유지했다고 결정한 경우, 프로세서(40)는 가상 객체(21a)의 청각적 위치가 제1 위치(7)로 되돌아가게 할 수 있다. 이는, 예를 들어, 가상 객체(21a)의 청각적 위치가 제2 위치(8)로 변경된 후 지정 시간 동안 사용자의 시선이 변경되지 않은 채 유지되는 경우에 이뤄질 수 있다.

도 12는 사용자(82)가 자신의 머리 및/또는 눈을 이동함으로써 자신의 시선을 제1 위치(7)에서 제2 위치(8)로 향하게 하는 상황을 도시한다. 이 예시에서, 프로세서(40)가 이를 결정할 때, 프로세서(40)는 가상 공간(20)에서 청각적 위치를 제1 위치(7) 및 제2 위치(8) 모두와 상이한 제3 위치(9)로 변경한다. 프로세서(40)는, 예를 들어, 가상 객체(21a)의 청각적 위치가 제2 위치(8)에 있을 때 지정 시간 동안 사용자의 시선이 제2 위치(8)로 향해짐을 결정한 후 가상 객체(21a)의 청각적 위치를 제2 위치(8)에서 제3 위치(9)로 변경할 수 있다.

도 13은 사용자(82)가 자신의 머리 및/또는 눈을 이동함으로써 자신의 시선을 제2 위치(8)에서 제3 위치(9)로 향하게 하는 상황을 도시한다. 가상 콘텐츠, 가령, 하나 이상의 그 밖의 다른 가상 객체(21b)가 제3 위치(9)에서 자신의 시각 및 청각적 위치를 갖도록 제3 위치(9)에 위치한다. 이 예시에서, 제3 위치(9)는 청각적 위치를 제1 위치(7)에서 제2 위치(8)로 이동하기 전에 사용자(82)가 가상 객체(21a)를 보고 있는 동안 사용자의 시야(26) 밖에 위치한다.

그 후 사용자(82)는 자신의 시선을 계속 제3 위치(9)에 둔다. 그러는 동안, 제3 위치(9)에 청각적 위치를 갖는 하나 이상의 오디오 소스, 가령, 가상 객체(21a)와 연관된 오디오 소스로부터 오디오가 (오디오 출력 회로(39)를 통해) 사용자(82)에게 제공될 수 있다.

프로세서(40)는 사용자의 시선을 계속 모니터링한다. 사용자의 시선이 제3 위치(9)에 머무르는 경우, 프로세서(40)는 사용자의 시선이 제3 위치(9)의 그 밖의 다른 가상 객체(21b)에 머무르는 동안 가상 객체(21a)의 청각적 위치를 제3 위치(9)로 유지한다. 대안으로, 프로세서(40)는 사용자의 시선이 제3 위치(9)의 그 밖의 다른 가상 객체(21b)에 머무르는 동안 가상 객체(21a)의 청각적 위치를 (가상 객체(21a)가 디스플레이되는) 제1 위치(7)로 다시 되돌릴(또는 향하게 할) 수 있다.

대신, 프로세서(40)가 사용자의 시선이 (예를 들어, 지정 시간보다 길게) 제3 위치(9)의 다른 가상 객체(21b)로부터 멀어졌다고 결정한 경우, 프로세서(40)는 가상 객체(21a)의 청각적 위치를 (가상 객체(21a)가 디스플레이되는) 제1 위치(7)로 다시 되돌릴(또는 향하게 할) 수 있다. 대안으로, 가상 객체(21a)의 청각적 위치는 제3 위치(9)로부터 멀어지는 사용자의 시선을 추적할 수 있다. 프로세서(40)는 사용자의 시선이 (예를 들어, 지정 시간보다 길게) 가상 객체(21b)로부터 멀어졌다고 결정한 경우, 그 밖의 다른 가상 객체(21b)가 디스플레이에서 제거되게 할 수 있다.

가상 객체(21a)의 청각적 위치가 제3 위치(9)로 이동된 후, 프로세서(40)는, 사용자의 시선의 방향에 무관하게 자동으로, 가상 객체(21a)의 청각적 위치를 (가상 객체(21a)가 디스플레이되는) 제1 위치(7)로 다시 되돌릴(또는 향하게 할) 수 있다. 이는 가상 객체(21a)의 청각적 위치를 가상 객체(21a)가 디스플레이되는 제1 위치(7)로 직접 다시 되돌리는 것, 또는 가상 객체(21a)의 청각적 위치를 제1 위치(7)까지의 경로를 따라 이동시키는 것을 포함할 수 있다.

앞서 기재된 본 발명의 실시예에서, 가상 객체(21a)(와 연관된 오디오)의 청각적 위치의 변경이 사용자(82)를, 우연히 발견되지 않았다면 사용자(82)가 경험하지 않았을 수 있는 매개 현실 콘텐츠(90)의 부분으로 안내할 수 있는 가이드로서 동작 한다. 이러한 안내는 콘텐츠(90)의 일부를 가리거나 및/또는 사용자의 경험의 질을 낮추는 시각적 가이드, 가령, 그래픽 또는 텍스트 필요 없이, 이뤄진다.

앞서 기재된 방법에서, 도 8의 블록(804)에서 가상 객체(21a)의 청각적 위치가 초기에 재-위치 설정되는 제2 위치(8)가 사용자의 주의가 안내되는 최종 도착지가 아니다. 사용자(82)는 가상 객체(21a)가 디스플레이되는 제1 위치(7)로부터 최종 도착지를 나타내는 제3 위치(9)까지의 가상 공간(20) 내 경로를 따라 안내되는 중이다. 일부 구현예에서, 가상 객체(21a)의 청각적 위치는 가상 공간(20)을 가로질러 경로를 따라 제1 위치(7)와 제3 위치(9) 사이의 일련의 위치들(제2 위치(8)는 이들 위치 중 하나에 불과함)을 통과하여 점진적으로 이동될 수 있다. 사용자의 시선이 (가령, 지정 시간 동안) 제1 위치(7)에서 최종 도착지/제3 위치(9)까지의 경로를 따르는 가상 객체(21a)의 청각적 위치의 이동을 추적하는 경우, 프로세서(40)는 가상 객체(21a)의 청각적 위치를 제3 위치(9)로 계속 이동시키지만, 사용자의 시선이 가상 객체(21a)의 청각적 위치의 이동을 추적하지 않는 경우(또는 추적을 중단한 경우), 프로세서(40)는 가상 객체(21a)의 청각적 위치가 가상 객체(21a)가 디스플레이된 제1 위치(7)로 복귀하게 하거나, 대신, 사용자의 시선을 추적하게 한다.

그 밖의 다른 구현예에서, 제2 위치(8)는 사용자(82)가 제3 위치(9) 대신 안내되는 최종 도착지를 나타낼 수 있다. 간단히, 가상 객체(21a)의 청각적 위치의 제1 위치(7)에서 제2 위치(8)로의 한 번의 이동이 존재할 수 있다.

일부 실시예에서, 트리거는 시작 시기, 종료 시기, 및 사용자 주의/시선을 끌어야 하는 콘텐츠(90)의 부분에 대한 위치(상기의 예시에서, 이는 제3 위치(9)임)를 정의할 수 있다. 이러한 실시예에서, 프로세서(40)가 종료 시기 전에 사용자의 시선이 제3 위치(9)로부터 멀어짐을 결정한 경우, 프로세서(40)는 가상 객체(21a)의 청각적 위치를 사용자의 시선을 따라 이동하도록 변경한다.

종료 시기 후, 프로세서(40)는 사용자의 시선의 방향과 무관하게, 가상 객체(21a)의 청각적 위치가 제1 위치(7)로 다시 되돌아가도록 할 수 있다.

본 출원에서 사용될 때, 용어 '회로'는 다음 모두를 지칭한다:

(a) 하드웨어-전용 회로 구현(가령, 아날로그 및/또는 디지털 회로로만 구현), 및

(b) 회로와 소프트웨어(및/또는 펌웨어)의 조합, 가령 (적합할 때), (i) 프로세서들의 조합 또는 (ii) 프로세서/소프트웨어의 일부분(함께 동작하여 장치, 가령, 모바일 전화기 또는 서버가 다양한 기능을 수행하게 하는 디지털 신호 프로세서, 소프트웨어 및 메모리를 포함), 및

(c) 소프트웨어 또는 펌웨어가 물리적으로 존재하지 않는 경우라도, 동작을 위해 소프트웨어 또는 펌웨어를 필요로 하는 회로, 가령, 마이크로프로세서 또는 마이크로프로세서의 일부분. 이러한 '회로'의 정의는 임의의 청구항을 포함하여 본 출원에서의 이 용어의 모든 사용 경우에 적용된다. 또 다른 예를 들면, 본 출원에서 사용될 때, 용어 "회로"는 프로세서(또는 복수의 프로세서)만 또는 프로세서의 일부분과 이의 동반되는 소프트웨어 및/또는 펌웨어의 구현까지 포함할 것이다. 용어 "회로"는 예를 들어, 특정 청구항 요소에 적용 가능할 때, 모바일 전화기를 위한 기저대역 집적 회로 또는 애플리케이션 프로세서 집적 회로 또는 서버, 셀룰러 네트워크 디바이스 또는 그 밖의 다른 네트워크 디바이스 내 유사한 집적 회로까지 포함할 것이다.

도 5, 6 및 8에 도시된 블록은 방법의 단계 및/또는 컴퓨터 프로그램(48)의 코드 섹션을 나타낼 수 있다. 장치(4)는 도 5, 6 및 8에 도시되고 앞서 기재된 방법을 수행하기 위한 수단을 제공한다. 블록의 특정 순서의 도시가 반드시 블록에 대한 필수 또는 선호되는 순서가 있음을 의미하는 것은 아니며 블록의 순서 및 배열이 변할 수 있다. 또한, 일부 블록이 생략될 수 있다.

구조적 특징이 기재된 경우, 이는 기능이 명시적 또는 묵시적으로 기재되는지에 무관하게, 구조적 특징의 기능 중 하나 이상을 수행하기 위한 수단으로 대체될 수 있다.

본 명세서에서 사용될 때 '모듈'은 최종 제조업체 또는 사용자에 의해 추가될 특정 부분/구성요소를 배제하는 유닛 또는 장치를 지칭한다. 제어기(42)는 예를 들어 모듈일 수 있다. 장치(30)는 모듈일 수 있다. 사용자 입력 회로(44)는 모듈이거나 모듈을 포함할 수 있다. 하나 이상의 디스플레이(32)는 하나 이상의 모듈일 수 있다.

앞서 문단에서 본 발명의 실시예가 다양한 예시를 참조하여 기재되었지만, 청구되는 본 발명의 범위 내에서 상기 예시의 수정이 이뤄질 수 있음이 자명할 것이다.

앞서 문단에서 기재된 특징들은 명시적으로 기재된 조합이 아닌 다른 조합으로 사용될 수 있다.

기능이 특정 특징을 참조하여 기재되었지만, 이들 기능은 기재되거나 기재되지 않았거나에 무관하게 그 밖의 다른 특징에 의해서도 수행될 수 있다.

특징이 특정 실시예를 참조하여 기재되었지만, 이들 특징은 기재되거나 기재되지 않았거나에 무관하게 그 밖의 다른 특징에 의해서도 수행될 수 있다.

지금까지의 명세서에서 특히 중요하다고 여겨지는 발명의 특징들에 집중하려고 했지만, 출원인은 특정 강조가 이뤄졌거나 이뤄지지 않은 것에 무관하게 본 명세서에서 언급되거나 및/또는 도면에 도시된 임의의 특허 가능한 특징 또는 특징 조합 관련하여 보호를 주장함이 이해되어야 한다.

Claims

장치로서,
가상 공간 내 제1 위치에 가상 객체가 디스플레이되게 하기 위한 수단- 상기 가상 객체는 상기 제1 위치에서 시각적 위치 및 청각적 위치를 가짐 -과,
상기 가상 객체의 청각적 위치가 상기 제1 위치임을 기초로 위치 오디오 데이터를 프로세싱하기 위한 수단과,
상기 프로세싱된 위치 오디오 데이터를 기초로 사용자에게 위치 오디오가 출력되게 하기 위한 수단과,
상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 가상 객체의 청각적 위치를 상기 제1 위치에서 상기 가상 공간 내 제2 위치로 변경하기 위한 수단과,
상기 가상 객체의 청각적 위치가 상기 제2 위치임을 기초로 위치 오디오 데이터를 더 프로세싱하기 위한 수단과,
상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 더 프로세싱된 위치 오디오 데이터를 기초로 상기 사용자에게 위치 오디오가 출력되게 하기 위한 수단을 포함하는
장치.
제1항에 있어서,
상기 가상 객체의 시각적 위치가 상기 제1 위치에 있고 상기 가상 객체의 청각적 위치가 상기 제1 위치에 있을 때, 사용자의 시선이 상기 가상 공간 내 상기 제1 위치로 향함을 결정하기 위한 수단과,
상기 가상 객체의 청각적 위치가 상기 제2 위치로 이동한 후 상기 사용자의 시선이 상기 제1 위치에서 멀어졌는지 여부를 결정하도록 상기 사용자의 시선을 모니터링하기 위한 수단을 더 포함하는
장치.
제2항에 있어서,
상기 가상 객체의 청각적 위치가 상기 제2 위치로 이동된 후 상기 사용자의 시선이 상기 제1 위치로부터 멀어지지 않았음을 결정하기 위한 수단과,
상기 가상 객체의 청각적 위치가 상기 제2 위치로 이동된 후 상기 사용자의 시선이 상기 제1 위치로부터 멀어지지 않았다는 결정에 응답하여, 상기 가상 객체의 청각적 위치를 상기 제2 위치에서 상기 제1 위치로 변경하기 위한 수단을 더 포함하는
장치.
제2항에 있어서,
상기 가상 객체의 청각적 위치가 상기 제2 위치로 이동된 후 상기 사용자의 시선이 상기 제1 위치로부터 멀어졌음을 결정하기 위한 수단과,
상기 가상 객체의 청각적 위치가 상기 제2 위치로 이동된 후 상기 사용자의 시선이 상기 제1 위치로부터 멀어졌다는 결정에 응답하여 상기 가상 객체의 청각적 위치를 상기 제2 위치에서 상기 가상 공간 내 제3 위치로 변경하기 위한 수단을 더 포함하는
장치.
제4항에 있어서,
지정 시간 주기 동안 상기 사용자의 시선이 상기 제2 위치를 향했음을 결정하기 위한 수단- 상기 사용자의 시선이 지정 시간 주기 동안 상기 제2 위치를 향했다는 결정 후 상기 가상 객체의 청각적 위치가 상기 제2 위치에서 상기 제3 위치로 변경됨 -을 더 포함하는
장치.
제4항 또는 제5항에 있어서,
상기 제3 위치에 시각적 위치 및 청각적 위치를 가지며 상기 가상 객체와 상이한 가상 콘텐츠가 디스플레이되게 하기 위한 수단을 더 포함하는
장치.
제4항 또는 제5항에 있어서,
상기 가상 객체의 청각적 위치가 상기 제3 위치에 있는 동안 상기 사용자의 시선을 계속 모니터링하기 위한 수단과,
상기 사용자의 시선이 상기 제3 위치로부터 멀어졌음을 결정하기 위한 수단과,
상기 사용자의 시선이 상기 제3 위치로부터 멀어졌다는 결정 후 상기 가상 객체의 청각적 위치를 상기 제3 위치에서 상기 제1 위치로 또는 상기 제1 위치 방향으로 변경하기 위한 수단을 더 포함하는
장치.
제7항에 있어서,
상기 가상 객체의 청각적 위치를 상기 제3 위치에서 상기 가상 공간 내 상기 제1 위치로 또는 상기 제1 위치 방향으로 변경하기 위한 수단과,
상기 사용자의 시선이 지정 시간 주기보다 길게 상기 가상 공간 내 상기 제3 위치에서 멀어졌음을 결정하기 위한 수단- 상기 사용자의 시선이 지정 시간 주기보다 길게 상기 가상 공간 내 상기 제3 위치에서 멀어져 있었다는 결정 후 상기 가상 객체의 청각적 위치가 상기 제3 위치에서 상기 가상 공간 내 상기 제1 위치로 또는 상기 제1 위치 방향으로 변경됨 -을 더 포함하는
장치.
제7항에 있어서,
상기 가상 객체의 청각적 위치가 상기 사용자의 시선의 이동을 따르게 하는 수단을 더 포함하는
장치.
제4항 또는 제5항에 있어서,
지정 시간 주기 후, 상기 가상 객체의 청각적 위치는 상기 제3 위치에서 상기 가상 공간 내 상기 제1 위치로 또는 상기 제1 위치 방향으로 변경되는
장치.
방법으로서,
가상 공간 내 제1 위치에 가상 객체가 디스플레이되게 하는 단계- 상기 가상 객체는 상기 제1 위치에서 시각적 위치 및 청각적 위치를 가짐 -와,
상기 가상 객체의 청각적 위치가 상기 제1 위치임을 기초로 위치 오디오 데이터를 프로세싱하는 단계와,
상기 프로세싱된 위치 오디오 데이터를 기초로 사용자에게 위치 오디오가 출력되게 하는 단계와,
상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 가상 객체의 청각적 위치를 상기 제1 위치에서 상기 가상 공간 내 제2 위치로 변경하는 단계와,
상기 가상 객체의 청각적 위치가 상기 제2 위치임을 기초로 위치 오디오 데이터를 더 프로세싱하는 단계와,
상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 더 프로세싱된 위치 오디오 데이터를 기초로 상기 사용자에게 위치 오디오가 출력되게 하는 단계를 포함하는
방법.
제11항에 있어서,
상기 가상 객체의 시각적 위치가 상기 제1 위치에 있고 상기 가상 객체의 청각적 위치가 상기 제1 위치에 있을 때, 사용자의 시선이 상기 가상 공간 내 상기 제1 위치로 향함을 결정하는 단계와,
상기 가상 객체의 청각적 위치가 상기 제2 위치로 이동한 후 상기 사용자의 시선이 상기 제1 위치에서 멀어졌는지 여부를 결정하도록 상기 사용자의 시선을 모니터링하는 단계를 더 포함하는
방법.
제12항에 있어서,
상기 가상 객체의 상기 청각적 위치가 상기 제2 위치로 이동된 후 상기 사용자의 시선이 상기 제1 위치에서 멀어지지 않았다는 결정에 응답하여, 상기 가상 객체의 청각적 위치를 상기 제2 위치에서 상기 제1 위치로 변경하는 단계를 더 포함하는
방법.
제12항에 있어서,
상기 가상 객체의 청각적 위치가 상기 제2 위치로 이동된 후 상기 사용자의 시선이 상기 제1 위치에서 멀어졌다는 결정에 응답하여, 상기 가상 객체의 청각적 위치를 상기 제2 위치에서 상기 가상 공간 내 제3 위치로 변경하는 단계를 더 포함하는
방법.
제14항에 있어서,
지정 시간 주기 동안 상기 사용자의 시선이 제2 위치로 향했음을 결정한 후 상기 가상 객체의 청각적 위치는 상기 제2 위치에서 상기 제3 위치로 변경되는
방법.
제14항 또는 제15항에 있어서,
상기 가상 객체와 상이한 가상 콘텐츠는 상기 제3 위치에서 시각적 위치 및 청각적 위치를 갖는
방법.
제14항 또는 제15항에 있어서,
상기 가상 객체의 청각적 위치가 상기 제3 위치에 있는 동안 상기 사용자의 시선을 계속 모니터링하는 단계와,
상기 사용자의 시선이 상기 제3 위치에서 멀어졌다고 결정한 후, 상기 가상 객체의 청각적 위치를 상기 제3 위치에서 상기 제1 위치로 또는 상기 제1 위치 방향으로 변경하는 단계를 더 포함하는
방법.
제17항에 있어서,
상기 사용자의 시선이 지정 시간 주기보다 오래 상기 가상 공간 내 상기 제3 위치로부터 멀어져 있었음을 결정한 후, 상기 가상 객체의 청각적 위치는 상기 가상 공간 내에서 상기 제3 위치에서 상기 제1 위치로 또는 상기 제1 위치 방향으로 변경되는
방법.
제17항에 있어서,
상기 가상 객체의 청각적 위치는 상기 사용자의 시선의 이동을 따르는,
방법.
제14항 또는 제15항에 있어서,
지정 시간 주기 후에, 상기 가상 객체의 청각적 위치를 상기 가상 공간 내 상기 제3 위치에서 상기 제1 위치로 또는 상기 제1 위치 방향으로 변경하는 단계를 더 포함하는
방법.
제11항 내지 제15항 중 어느 한 항에 있어서,
상기 가상 객체는 가상 현실 콘텐츠 또는 증강 현실 콘텐츠의 일부인
방법.
장치로 하여금 적어도:
가상 공간 내 제1 위치에 가상 객체가 디스플레이되게 하는 단계- 상기 가상 객체는 상기 제1 위치에서 시각적 위치 및 청각적 위치를 가짐 -와,
상기 가상 객체의 청각적 위치가 상기 제1 위치임을 기초로 위치 오디오 데이터를 프로세싱하는 단계와,
상기 프로세싱된 위치 오디오 데이터를 기초로 사용자에게 위치 오디오가 출력되게 하는 단계와,
상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 가상 객체의 청각적 위치를 상기 제1 위치에서 상기 가상 공간 내 제2 위치로 변경하는 단계와,
상기 가상 객체의 청각적 위치가 상기 제2 위치임을 기초로 위치 오디오 데이터를 더 프로세싱하는 단계와,
상기 가상 객체의 시각적 위치를 상기 제1 위치로 유지하면서, 상기 더 프로세싱된 위치 오디오 데이터를 기초로 상기 사용자에게 위치 오디오가 출력되게 하는 단계
를 수행하게 하는 컴퓨터 프로그램 명령어가 기록된 컴퓨터 판독가능 저장 매체.