KR20180133326A - 몰입형 콘텐츠 아이템을 소비할 때 기준 방향을 향하여 회전시키도록 뷰어를 자극하는 방법 및 장치 - Google Patents

Abstract

본 개시내용은 몰입형 렌더링 디바이스를 관심 영역의 방향으로 회전시키도록 몰입형 콘텐츠를 소비하는 사용자를 자극시키는 방법, 장치 또는 시스템에 관한 것이다. 본 원리들에 따르면, 캐릭터를 나타내는 객체는 사용자의 시야에 삽입된다. 몰입형 콘텐츠에서 캐릭터는 그것이 자신의 위치로부터 관심 영역의 방향으로 바라보는 방식으로 계산된다. 또한, 캐릭터의 얼굴 및 몸 자세는 관심 영역과 연관된 감정, 예를 들어 공포, 행복 또는 관심을 반영할 수 있다. 사용자는 삽입된 캐릭터가 가리키는 방향을 보면서 자연스럽게 자극될 것이다.

Description

몰입형 콘텐츠 아이템을 소비할 때 기준 방향을 향하여 회전시키도록 뷰어를 자극하는 방법 및 장치{METHOD AND APPARATUS FOR INCITING A VIEWER TO ROTATE TOWARD A REFERENCE DIRECTION WHEN CONSUMING AN IMMERSIVE CONTENT ITEM}

본 개시내용은, 예를 들어 머리 장착 디스플레이들(HMD), 또는 TV 세트, 또는 태블릿이나 스마트폰과 같은 모바일 디바이스를 사용하여, 관심 있는 방향을 바라보도록, 몰입형 콘텐츠를 소비하는 사용자를 자극하는 영역에 관한 것이다.

몰입형 콘텐츠 아이템은 사용자가 콘텐츠의 중간에 있다고 느끼도록, 사용자 주위에 디스플레이되도록 만들어진 콘텐츠 아이템이다. 몰입형 콘텐츠는 3차원 컴퓨터 그래픽 이미지 콘텐츠(three-dimensional computer graphic imagery content; 3D CGI), 체적 측정의 비디오(volumetric video), 또는 구체, 입방체 또는 원통과 같은 3차원 볼록 표면에 매핑된 비디오일 수 있다. 게다가, 예를 들어 크로핑(cropping)의 방법으로, 사용자가 일부만을 볼 수 있는 큰 2차원 이미지도 또한 몰입형 콘텐츠이며; 사용자는 콘텐츠의 실제로 디스플레이되지 않은 부분을 보기 위해 렌더링 디바이스를 제어해야 한다.

몰입형 콘텐츠 아이템들은 몰입형 렌더링 디바이스들에 의해 렌더링된다. 예를 들어, 머리 장착 디스플레이들(head-mounted displays; HMD)은 한쪽 눈(단안(monocular) HMD) 또는 각각의 눈(쌍안(binocular) HMD) 앞에 작은 디스플레이 옵틱(optic)을 갖는, 머리에 착용하는 또는 헬멧의 일부인 디스플레이 디바이스들이다. 이들은 유리하게도 몰입형 콘텐츠 아이템들을 소비하도록 적응된다. 이러한 디바이스에서는, 비디오의 일부만이 디스플레이된다. 비디오 콘텐츠의 디스플레이된 부분은 예를 들어, (자이로스코프(gyroscope)를 포함하는) 통합 모션 유닛 측정(integrated Motion Unit Measurement)의 방법으로 사용자 머리 포즈(pose)에 따라, 및/또는 예를 들어 카메라들을 사용하는 포즈 추정 시스템에 따라 업데이트된다. 스마트폰이나 태블릿에서도 또한 몰입형 콘텐츠를 렌더링할 수 있다. 디스플레이된 부분은 디바이스의 배향에 따라 업데이트되고 결국에는 위치에 따라 업데이트된다.

이러한 디바이스들의 출현으로 사용자는 예를 들어 머리 회전들과 같은 움직임들을 사용하여 4π스테라디안(steradians) 콘텐츠를 볼 수 있게 되었다. 이러한 특징이 콘텐츠의 몰입 관점에서 실제 개선으로 나타날 수 있는 경우, 사용자가 오직 콘텐츠의 일부만 보고 있음으로써, 사용자는 주어진 순간에 바라봐야 하는 방향을 바라보지 못할 수도 있다. 실제로, 사용자가 자신의 주위 전체를 응시할 수 있으므로, 내러티브 이벤트(narrative event)가 발생하는 순간에 콘텐츠의 다른 부분을 보고 있기 때문에 내레이션(narration)의 일부 중요한 주요 부분들을 놓칠 수 있다.

배경 기술에 따르면, 사용자가 자신이 바라봐야 하는 방향을 바라보도록 하기 위해 가상 카메라 패닝(virtual camera panning)을 강제하는 것이 매우 효율적인 솔루션이라는 것이 알려져 있다. 그러나, 이 솔루션은 사용자가 멀미를 느끼게 하고 결과적으로 사용자의 경험의 질을 악화시키는 단점을 갖고 있다는 것이 잘 알려져 있다. 피하기 위한 방향으로 콘텐츠를 저하시키는 가상 햅틱 방법(pseudo-haptics method)들이 알려져 있다. 그들은 렌더링된 이미지들을 저하시켜 저자의 작업을 변경하고 사용자의 경험을 바꾸는 단점을 가진다. 사용자의 움직임에 의해 제어되는 디바이스의 조준 방향과 렌더링할 장면의 일부을 캡처하는 가상 카메라의 조준 방향 간의 불일치를 제어하는 방법들도 또한 기존 솔루션이다. 그들은 사용자가 바라볼 수 있는 가능한 방향을 제한하는 단점을 가진다.

자극을 따르지 않을 사용자의 자유를 제한하지 않으며 시청 경험을 저하시키지 않고서, 관심 있는 방향(또는 지역)을 바라보도록 친숙하게 사용자를 자극하는 솔루션이 부족하다.

본 개시내용은, 자극을 따르지 않을 사용자의 자유를 제한하지 않으며 시청 경험을 저하시키지 않고서, 몰입형 콘텐츠 내에서 기준 방향을 바라보도록 사용자를 유도하는 방법에 관한 것이다. 본 원리들에 따르면, 몰입형 렌더링 디바이스에서, 친숙한 캐릭터가 사용자의 시야에 삽입된다. 사용자가 기준 방향(예를 들어 관심의 방향)으로 바라보고 있을 때, 캐릭터는 예를 들어 사용자 쪽을 바라보거나 사용자에게 등을 돌리고, 중립적인 표정을 갖는다. 변형예에서, 사용자가 기준 방향으로 바라볼 때 캐릭터는 디스플레이되지 않는다. 또 다른 변형예에서, 캐릭터의 크기는 변경되고, 예를 들어 감소되고, 스크린의 코너에서 렌더링될 수 있다. 캐릭터가 자신의 눈을 감을 수도 있다. 무슨 일이 발생하고 기준 방향이 사용자의 시야를 벗어나면, 캐릭터는 사용자에게 기준 방향을 보여주는 방향으로 바라본다. 캐릭터는 얼굴 표정, 예를 들어, 콘텐츠에서 발생하는 이벤트의 유형에 따라 두려운 표정이나 놀란 표정으로 보이게 바뀔 수 있으므로, 사용자는 캐릭터가 응시하는 곳으로 자극된다. 변형예에서, 캐릭터는 자극 효과를 강화하는 몸 표현을 가지고 있다.

본 개시내용은 렌더링 디바이스에 의해 몰입형 콘텐츠를 렌더링하는 방법에 관한 것이다. 이 방법은:

- 몰입형 콘텐츠 내의 관심의 기준 방향(reference direction of interest) 및 상기 기준 방향과 연관된 감정 데이터를 획득하는 단계;

- 몰입형 콘텐츠 내의 위치에 적어도 하나의 눈을 갖는 캐릭터를 표현하는 객체를 삽입하는 단계 - 위치는 렌더링 디바이스에 의해 렌더링되는 몰입형 콘텐츠의 부분에 포함됨 -

를 포함하고, 객체의 적어도 하나의 눈의 응시 방향은 위치 및 기준 방향에 따라 결정되며, 객체는 감정 데이터를 반영하도록 결정된다.

본 원리들의 양태에 따르면, 응시 방향은 캐릭터가 몰입형 콘텐츠 내의 객체의 위치로부터 기준 방향의 방향으로 바라보게 하도록 계산된다.

실시예에서, 감정 데이터는 기준 방향과 연관되고, 캐릭터의 얼굴은 이 감정을 표현하도록 애니메이팅된다.

본 원리들의 다른 양태에 따르면, 캐릭터는 그것의 머리에 더하여, 응시 방향의 지시(indication)를 보강하기 위해 애니메이팅되는 신체 부분들을 포함한다.

실시예에서, 객체의 위치는 디스플레이되는 몰입형 콘텐츠의 제1 부분에서 객체의 투영의 스크린 공간 위치 및 크기에 따라 계산된다.

본 원리들의 다른 양태에 따르면, 기준 방향은 몰입형 콘텐츠를 인코딩하는 데이터 스트림(data stream)으로부터 획득된다.

실시예에서, 기준 방향은 관심 영역들을 검출하기 위해 몰입형 콘텐츠를 분석함으로써 획득되며, 기준 방향은 몰입형 콘텐츠에서의 뷰어의 위치로부터 시작하여 관심 영역을 가리키는 벡터이다.

본 개시내용은 또한:

- 몰입형 콘텐츠 내의 관심의 기준 방향 및 상기 기준 방향과 연관된 감정 데이터를 획득하고;

- 몰입형 콘텐츠 내의 위치에 적어도 하나의 눈을 갖는 캐릭터를 표현하는 객체를 삽입 - 위치는 렌더링 디바이스에 의해 렌더링되는 몰입형 콘텐츠의 부분에 포함됨 -

하도록 구성되고, 객체의 적어도 하나의 눈의 응시 방향은 위치 및 기준 방향에 따라 결정되며, 객체는 감정 데이터를 반영하도록 결정되는, 적어도 하나의 프로세서와 연관된 메모리를 포함하는 렌더링 디바이스에 관한 것이다.

첨부된 도면들을 참조하여 이하의 설명을 읽을 때, 본 개시내용은 보다 잘 이해될 것이고, 다른 특정 특징들 및 장점들이 나타날 것이다.
도 1은 본 원리들의 특정 실시예에 따라, 사용자가 몰입형 렌더링 디바이스, 예를 들어 머리에 착용하는 HMD에 의해 렌더링된 몰입형 콘텐츠 아이템을 소비하는 것의 예를 예시한다.
도 2a는 본 원리들의 특정 실시예에 따라, 도 1의 사용자가 기준 방향이 획득되기 전에 렌더링된 몰입형 콘텐츠 아이템을 소비하는 것을 도시한다.
도 2b는 본 원리들의 특정 실시예에 따라, 도 1의 사용자가 기준 방향이 획득될 당시에 렌더링되는 몰입형 콘텐츠 아이템을 소비하는 것을 도시한다.
도 2c는 본 원리들의 특정 실시예에 따라, 도 1의 사용자가 도 2b의 캐릭터에 의해 자극된 대로 자신의 머리를 회전시켰을 때, 사용자가 몰입형 렌더링 디바이스에 의해 렌더링된 몰입형 콘텐츠 아이템을 소비하는 것을 도시한다.
도 3은 본 원리들의 특정 실시예에 따라, 몸과 팔들을 포함하는 캐릭터를 갖는 도 2b의 이미지로서 디스플레이된 이미지를 예시한다.
도 4는 본 원리들의 특정 실시예에 따라, 단 하나의 눈만을 포함하는 캐릭터를 갖는 도 3의 이미지로서 디스플레이된 이미지를 예시한다.
도 5는 비제한적인 유리한 실시예에 따라, 도 6의 디바이스와 같은 프로세싱 디바이스에 구현되는 방법의 실시예를 도식적으로 도시한다.
도 6은 본 원리들의 특정 실시예에 따라, 도 5와 관련하여 설명된 방법을 구현하도록 구성될 수 있는 디바이스의 예시적인 아키텍처를 도시한다.

이제, 도면들을 참조하여 발명의 주제가 설명되며, 유사한 참조 번호는 전반적으로 유사한 요소들을 언급하는 데 사용된다. 이하의 설명에서, 설명의 목적으로, 발명의 주제의 완전한 이해를 제공하기 위해 많은 특정 세부 사항들이 제시된다. 발명의 주제 실시예들은 이러한 특정 세부 사항들 없이도 실시될 수 있음이 이해된다.

명확하게 하기 위해, 도 1, 도 2a, 도 2b 및 도 2c는 2차원에서의 예들을 도시하고, 단지 "요(yaw)" 앵글(즉, Z축 둘레의 회전)만을 언급한다. 본 원리들은 3차원, 및 "피치(pitch)" 앵글(즉, Y축 둘레의 회전) 및 "롤(roll)" 앵글(즉, X축 둘레의 회전)까지 연장 가능함이 이해된다.

도 1은 사용자(11)가 몰입형 렌더링 디바이스, 예를 들어 머리에 착용하는 HMD에 의해 렌더링된 몰입형 콘텐츠 아이템을 소비하는 것의 예를 예시한다. 예를 들어, 가상 카메라(12)는 HMD의 적어도 하나의 스크린 상에 디스플레이되는 몰입형 콘텐츠(10)의 부분(14)의 이미지들을 캡처하고 있다. HMD의 경우에, 하나의 이미지가 사용자의 각각의 눈 앞에서 렌더링된다. 이는 동일한 이미지(즉, 모노 렌더링(mono-rendering)) 또는 두 개의 다른 이미지들(즉, 스테레오 렌더링(stereo-rendering)) 일 수 있다. 몰입형 콘텐츠는 객체들의 3D 모델들이 기준의 프레임 내에 위치하는 3차원 컴퓨터 그래픽 이미지 장면(3D CGI 장면)일 수 있다. 다른 실시예에서, 몰입형 콘텐츠는 3차원 볼록면(예를 들어, 구체, 원통, 입방체, 피라미드 또는 이들 3D 형상들의 일부) 상에 매핑된 비디오일 수 있다. 사용자는 몰입형 렌더링 디바이스를 이동시킴으로써, 예를 들어 HMD의 예에서 사용자의 머리를 회전시킴으로써 몰입형 콘텐츠(10)의 디스플레이된 부분(14)을 제어한다. 사용자는 방향(13)으로, 예를 들어 도 1의 풍차(mills)를 바라보고 있다. 디스플레이된 부분(14)은 방향(13), 및 시야를 정의하는 디바이스의 하드웨어 구성(예를 들어, HMD의 렌즈들 및/또는 스크린들의 폭)에 따라 몰입형 렌더링 디바이스에 의해 결정된다.

본 원리들에 따라, 기준 방향(15)이 획득된다. 기준 방향(15)은 콘텐츠 내의 관심 포인트, 객체 또는 영역을 검출하기 위해 몰입형 콘텐츠를 분석함으로써 획득될 수 있으며, 기준 방향(15)은 가상 카메라 및 관심 영역의 상대적인 위치에 따라 계산된다(포인트는 단일 영역(unitary region)이며, 콘텐츠의 일부인 객체는 콘텐츠 내의 영역을 정의하는 것으로 볼 수 있다). 몰입형 콘텐츠의 유형에 따라 기존 영역 검출 알고리즘들이 사용될 수 있다. 예를 들어, 몰입형 콘텐츠가 몰입형 비디오인 경우, 돌출도(saliency) 또는 내부-흥미도(intra-interestingness)에 기초한 관심 영역 검출 알고리즘들이 사용될 수 있다. 다른 실시예에서, 기준 방향은 몰입형 콘텐츠 아이템을 인코딩하는 데이터 스트림, 예를 들어 몰입형 콘텐츠의 렌더링과 동기화된 메타데이터로부터 획득될 수 있다. 제3 실시예에서, 기준 방향(15)은 몰입형 콘텐츠 아이템을 인코딩하는 데이터 스트림 이외의 다른 소스로부터 획득되며, 예를 들어 기준 방향(15)은 원격 디바이스(예를 들어, HTTP 서버 또는 방송 서버)로부터 수신되거나, 몰입형 렌더링 디바이스 또는 이 몰입형 렌더링 디바이스와 연관된 디바이스와 연관된 메모리에서 판독된다.

예를 들어, 기준 방향(15)은, 예를 들어 내러티브 이벤트(narrative event)가 이 방향에서 발생하기 때문에, 관심의 방향이다. 이벤트에 따라, 예를 들어 "무서운" 또는 "즐거운" 또는 "지루한"과 같은 감정을 표현하는 데이터는 기준 방향(15)과 연관될 수 있다. 이 감정은 몰입형 콘텐츠에서의 감정들, 특히 관심 영역과 관련된 감정들을 분석하는 알고리즘들을 사용함으로써 결정될 수 있다. 다른 실시예에서, 감정 데이터는 몰입형 콘텐츠 아이템을 인코딩하는 데이터 스트림으로부터 검색된다. 방향(15)은 사건이 발생한 순간에 획득될 수 있다. 변형예에서, 방향(15)은 이벤트가 발생하기 약간 전에, 예를 들어 1초 또는 3초 전에 획득된다.

본 원리들에 따르면, 캐릭터를 표현하는 객체(16)는 적어도 방향(15)이 획득될 때 몰입형 콘텐츠에 삽입된다. 객체(16)는 몰입형 콘텐츠의 기준 프레임 내의 위치에 삽입되어 방향(13)에 따라 정의된 사용자의 시야에 포함된다. 다시 말해서, 객체(16)는 몰입형 콘텐츠의 부분(14)의 디스플레이된 이미지에 포함된다. 객체(13)는 몰입형의 부분(14)에서 객체(13)의 방향(13), 방향(15) 및 위치에 따라 계산된다. 캐릭터는 적어도 하나의 눈을 가지며, 그것의 응시 방향(17)이 계산되어, 캐릭터는 몰입형 콘텐츠(10) 내의 그것의 위치에서 렌더링될 때 관심 방향을 향해 바라본다. 변형예에서, 캐릭터의 머리 방향이 계산되어 캐릭터는 응시 방향으로 향하고 있다. 실제로, 머리의 기준 프레임에서 눈이 애니메이팅되지 않더라도, 머리가 장면의 기준 프레임에서 회전할 때 캐릭터의 응시 방향이 변경된다. 다른 변형예에서, 캐릭터는 기준 방향과 연관된 감정 데이터와 관련된 얼굴 표정을 갖도록 계산된다. 예를 들어, "놀라운" 감정 데이터의 경우, 캐릭터의 눈은 크게 떠져 있다. 변형예에서, 캐릭터는 그것의 응시의 자극 효과를 강화하는 몸 자세를 가지고 있다. 예를 들어, 캐릭터는 사용자가 방향(15)을 바라보도록 자극하기 위해 그것의 팔 또는 손가락들로 응시 방향(17)을 가리킬 수 있다. 응시 방향(17)이 사용자의 뒤를 가리키는 경우, 캐릭터는 사용자의 어깨 너머로 바라보기 위해 그것의 머리를 들어 올리거나 기울일 수 있다. 본 원리들의 이러한 양태는 도 2a, 도 2b 및 도 2c를 참조하여 더 상세히 설명된다.

객체(16)는 캐릭터를 표현하며, 몰입형 콘텐츠의 기준 프레임 내의 위치 및 응시 방향(17)에 따라, 적어도 기준 방향(15)이 획득될 때 계산된다. 변형예에서, 기준 방향(15)과 연관된 감정 데이터는 객체(16)를 계산하는 데 사용된다. 객체(16)의 계산은 3D 모델 애니메이션 기술들에 기초할 수 있다. 캐릭터의 애니메이션 가능한 3D 모델은 몰입형 렌더링 디바이스와 연관된 메모리에 저장된다. 모델의 눈들은 응시 방향(17)에 따라 배향된다. 변형예에서, 캐릭터의 애니메이션 가능한 3D 모델은 응시 방향(17)에 따라 애니메이팅될 수 있는 다른 몸 부분들을 포함한다. 변형예에서, 감정 데이터는 기준 방향(15)과 연관된다. 예를 들어, 애니메이션 가능한 3D 모델의 얼굴은 감정 데이터를 반영하는 정서(sentiment)를 표현하기 위해 애니메이팅될 수 있다. 애니메이션 기술들은 잘 알려져 있다. 예를 들어, 주요 메쉬(key mesh)들 간의 메쉬 인터폴레이션(mesh interpolation)은 일반적으로 얼굴 3D 모델에 단계를 나눌 수 있는 정서의 표현(gradable expression of a sentiment)을 제공하는 데 사용된다. 다른 실시예에서, 객체(16)는 텍스처된 게시판(textured billboard)(즉, 항상 가상 카메라를 향해 배향된 직사각형 이미지)이다. 게시판 텍스처의 계산은 3D 애니메이션 기술들과 유사한 원리들에 따라 2D 애니메이션 기술들을 기초로 한다. 제3 실시예에서, 객체(16)는 미리 결정된 객체들의 세트 내에서, 몰입형 콘텐츠의 기준 프레임 내의 위치, 및 응시 방향(17)에 따라, 그리고 변형예에서, 방향(15)과 연관된 감정 데이터에 따라 선택된다.

도 2a는 도 1의 사용자(11)가 기준 방향이 획득되기 전에 몰입형 렌더링 디바이스에 의해 렌더링된 몰입형 콘텐츠 아이템을 소비하는 것을 도시한다. 사용자는 몰입형 콘텐츠의 부분(14)을 정의하는 방향(13)으로 바라보고 있다. 부분(14)에 대응하는 이미지(20a)가 몰입형 렌더링 디바이스의 적어도 하나의 스크린 상에 디스플레이된다. 이 시점에서는 기준 방향이 획득되지 않는다. 본 원리들에 따르면, 객체(16a)는 사용자의 시야에 포함된 장면 공간 위치에서 몰입형 콘텐츠에 삽입된다. 이 장면 공간 위치는 캐릭터의 이미지(21a)가 렌더링될 스크린 공간 위치 및 크기에 관련된다. 이미지(21a)의 스크린 공간 위치 및 크기는 객체(16a)의 장면 공간 위치 및 크기에 기초하여 계산될 수 있다. 상반되게, 캐릭터가 스크린 상에 차지할 장소를 최적화하기 위해, 객체(16a)의 위치 및 크기는 이미지(21a)의 제1 계산된 위치 및 크기에 따라 계산될 수 있다. 예시적인 방법은 디스플레이된 이미지들의 의미 있는 부분들의 중첩(overlapping)을 최소화하는 것이다. 도 2a, 도 2b 및 도 2c의 예에서, 이미지(21a, 21b 및 21c)의 장소는 하늘에 나타나도록 선택된다. 디스플레이된 이미지들은 사용자에 의해 제어되는 방향(13)에 따라 생성되므로, 캐릭터 이미지의 스크린 공간 위치 및 크기는 시간에 따라 변할 수 있다. 그러나, 그것을 크게 변하게 하지 않고, 이미지(21a)가 아래에 설명되는 바와 같이 한 위치로부터 다른 위치로 불쑥 나타나게 하지 않는 것이 바람직하다. 또 다른 예시적인 방법은 도 2b를 참조하여 설명된 바와 같이 기준 방향(15) 및 추정된 다가오는 방향(estimated upcoming direction)(17)의 다가올 획득(upcoming obtaining)에 따라 이미지(21a)의 스크린 공간 위치 및 크기를 계산하는 것이다.

도 2b는 도 1의 사용자(11)가 기준 방향이 획득될 당시에 몰입형 렌더링 디바이스에 의해 렌더링되는 몰입형 콘텐츠 아이템을 소비하는 것을 도시한다. 기준 방향(15)은 콘텐츠 이벤트가 발생하는 순간에 획득된다. 변형예에서, 기준 방향(15)은, 콘텐츠 이벤트가 발생하기 약간 전에, 예를 들어 0.5초 또는 2초 전에 획득된다. 본 원리들에 따르면, 도면의 객체(16a)는 객체(16b)가 되도록 변경된다. 변형예에서, 객체(16a)는 객체(16b)로 대체된다(즉, 객체(16a)는 몰입형 콘텐츠로부터 제거되고 객체(16b)는 몰입형 콘텐츠에 삽입된다). 객체(16b)는 객체(16b)의 장면 공간 위치 및 기준 방향(15)에 따라 결정된 응시 방향(17)에 따라 계산된다. 변형예에서, 감정 데이터는 기준 방향(15)과 연관되고 객체(16b)를 계산하는 데 사용된다. 도 2b에서, 캐릭터는 방향(22)으로, 즉 뷰어의 오른쪽, 뒤 및 위에서의 이벤트에 의해 놀라면서 바라본다.

이미지(21b)에서 이미지(21a)의 갑작스런 변경의 예시적인 효과는 캐릭터에 뷰어의 주의를 끌기 위한 것이다. 자연스러운 반응은 뷰어가 동일한 방향(22)으로 바라보도록 그의 머리를 회전하는 것을 유도한다. 그러나 이 자극은 위압적(peremptory)이지 않으며, 뷰어는 이것을 무시하기로 결정할 수 있다. 변형예에서, 화살표(22)는 자극 효과를 강화하기 위해 이미지(20b) 상에 효과적으로 그려진다.

(기준 방향(15)의 갑작스런 변경과 연관되지 않는 한) 이미지들(21a, 21b 및 21c)이 하나의 스크린 공간 위치로부터 다른 스크린 공간 위치로 불쑥 나타나지 않는 것이 바람직한데, 왜냐하면 그것은 뷰어의 관심을 비이벤트(non-event)로 이끌어 내고 뷰어의 시청 경험 품질을 방해하기 때문이다. 이미지(21b)의 스크린 공간 위치는 응시 방향(17 및 22)에 따라 결정될 수 있다. 예를 들어, 객체는 스크린 공간의 측면에 위치할 수 있어서 그것의 시선은 도 2b에서와 같이 스크린을 가로지른다. 변형예에서, 캐릭터의 이미지는, 예를 들어 기준 방향과 연관된 감정 데이터에 따라, 응시 방향으로 진행하거나 반대 방향으로 도망가기 위해 점차적으로 스크린 공간을 가로질러 움직일 수 있다.

여러 기준 방향들이 동시에 획득될 수 있다. 이러한 경우에, 응시 방향은 이들 방향들 중 하나에 따라, 예를 들어 각각의 기준 방향과 연관된 중요도 스코어에 따라 또는 각각의 기준 방향과 연관된 감정 데이터에 따라 계산될 수 있다. 각각의 캐릭터를 표현하는 여러 객체들이 계산될 수 있고 몰입형 콘텐츠에 삽입될 수 있다.

도 2c는 도 1의 사용자(11)가 도 2b의 방향(23)으로 자신의 머리를 회전시켰을 때 사용자가 몰입형 렌더링 디바이스에 의해 렌더링된 몰입형 콘텐츠 아이템을 소비하는 것을 도시한다. 도 2b의 자극 효과는 뷰어가 방향(21)을 향해 머리를 회전하는 것을 유도하고, 응시 방향(17)과 관련된 몰입형 콘텐츠의 부분이 디스플레이된다. 기준 방향(15)은 무시되는데, 왜냐하면 그것이 뷰어의 시야에 포함되고, 객체(16c)가 계산되어 캐릭터가 예를 들어 중립적인 표정을 한 채 사용자의 방향으로 바라보기 때문이다. 변형예에서, 객체(16c)는 몰입형 콘텐츠로부터 제거되므로, 어떠한 이미지(21c)도 스크린들 상에 디스플레이되지 않는다.

다른 실시예에서, 기준 방향(15)은 무시되지 않으며, 응시 방향(17)은 도 3 및 도 4를 참조하여 설명된 바와 같이 계산된다.

도 3은 몸과 팔들을 포함하는 캐릭터를 갖는 도 2b의 이미지(20b)로서 디스플레이된 이미지(30)를 예시한다. 이 예에서, 예를 들어, 기준 방향이 감정 데이터 "흥미로운(interesting)"과 연관되어 있기 때문에, 캐릭터를 표현하는 객체는 뷰어의 시야 내에 포함되는 기준 방향(15), 여기서는 풍차에 초점을 맞추도록 뷰어를 자극하기 위해 계산된다. 응시 방향(32)은 기준 방향 및 도 1의 객체(16)의 장면 공간 위치에 따라 계산된다. 캐릭터는 기준 방향으로 바라보기 위한 자극 효과를 강화하도록 구성되고 애니메이팅될 수 있는 몸을 가질 수 있다. 도 3의 예에서, 연필 캐릭터는 풍차를 향해 구부러지고, 그것의 팔들과 손가락들로 기준 방향에 있는 흥미로운 객체를 가리킨다.

기준 방향에 따라 캐릭터를 표현하는 객체를 계산하는 데 사용되는 데이터는 몰입형 렌더링 디바이스와 연관된 메모리에 저장된다. 다른 실시예에서, 이들 데이터는 원격 디바이스와 연관된 메모리에 저장되고, 몰입형 렌더링 디바이스에 의해 필요할 때 요청된다. 캐릭터는 사용자 선호에 따라 선택될 수 있다. 캐릭터는 만화로 그려질 수도 있고 포토리얼리스틱(photorealistic)할 수도 있다. 캐릭터는 인간, 예를 들어 사용자의 친구나 친척 또는 사용자 자신의 사진에 따라 생성될 수 있다.

도 4는 단 하나의 눈만을 포함하는 캐릭터를 갖는 도 3의 이미지(30)로서 디스플레이된 이미지(40)를 예시한다. 디스플레이된 캐릭터(41)의 응시 방향(42) 및 두려운 자세는 첫 번째 비행기 또는 낙하산을 타고 뛰어내리는 사람들을 따라가는 것보다 더 중요한 것으로 예상되는, 시야를 곧 떠날 두 번째 비행기에 초점을 맞추도록 자연스럽게 그리고 우호적으로 사용자를 자극한다. 캐릭터의 한쪽 눈 시선은 두 번째 비행기를 점차적으로 따라가서, 뷰어가 동일하게 행하도록 자극할 것이다.

도 5는 비제한적인 유리한 실시예에 따라, 도 6의 디바이스(60)와 같은 프로세싱 디바이스에 구현되는 방법(50)의 실시예를 도식적으로 도시한다.

초기화 단계(51)에서, 도 6의 몰입형 렌더링 디바이스(60)는 몰입형 콘텐츠 아이템을 인코딩하는 데이터 스트림을 획득하고, 몰입형 렌더링 디바이스(60)의 방향에 따라 몰입형 콘텐츠의 제1 부분을 렌더링한다.

단계(52)에서, 기준 방향이 획득된다. 기준 방향은 몰입형 콘텐츠 내의 뷰어의 위치로부터 몰입형 콘텐츠의 관심 영역을 가리킬 수 있다. 감정 데이터는 기준 방향에 연관될 수 있다. 기준 방향은 관심 영역 검출 알고리즘들로 몰입형 콘텐츠를 분석함으로써 획득될 수 있다. 감정 데이터는 장면 분석 알고리즘들에 의해 결정될 수 있다. 다른 실시예에서, 기준 방향 정보는 몰입형 콘텐츠 아이템의 데이터 스트림에 인코딩된 동기화된 데이터로부터 추출될 수 있다. 감정 데이터는 또한 이들 동기화된 데이터로부터 검색될 수 있다. 동기화된 데이터는 자동으로 생성되었거나 인간 작업자에 의해 결정되었을 수 있다.

단계(53)에서, 캐릭터를 표현하는 객체는 획득된 기준 방향에 따라 계산된다. 캐릭터에 대한 응시 방향은 몰입형 콘텐츠에서 기준 방향 및 객체의 위치에 따라 계산된다. 객체의 위치는 캐릭터 이미지가 디스플레이될 때 가질 스크린 공간 위치 및 스크린 공간 크기에 따라 계산될 수 있다. 객체는 캐릭터의 적어도 하나의 눈이 계산된 응시 방향으로 바라보고 있도록 계산된다. 변형예에서, 캐릭터는 기준 방향을 향해, 응시 방향으로 바라보게 하는 자극 효과를 강화하기 위해 애니메이팅되는 머리를 포함하는 몸 부분들(예를 들어, 몸통, 팔들, 손가락들 등)을 갖는다. 다른 변형예에서, 기준 방향과 연관된 감정 데이터는 관련된 정서를 표현하는 방식으로 캐릭터를 애니메이팅하는 데 사용된다.

단계(54)에서, 캐릭터를 표현하는 계산된 객체는 몰입형 콘텐츠에 삽입된다. 몰입형 렌더링 디바이스는 사용자가 바라보는 방향에 따라 디스플레이할 이미지를 계산한다. 객체가 사용자의 시야 내에 위치하므로, 캐릭터의 이미지가 사용자의 바라보는 방향에 대응하는 몰입형 콘텐츠의 부분과 함께 디스플레이된다. 다른 실시예에서, 스크린 공간에서 캐릭터를 표현하는 객체의 투영이 첫 번째로 이미지로서 프로세싱된다. 두 번째로, 캐릭터 이미지는 몰입형 콘텐츠의 디스플레이된 부분 상에 중첩된다.

단계(55)에서, 캐릭터의 이미지의 갑작스런 변경의 결과로서, 사용자는 응시 방향에 의해 지시된 방향으로 디바이스를 회전시키도록 자극된다. 이 새로운 사용자의 바라보는 방향에 대응하는 몰입형 콘텐츠의 제2 부분은 몰입형 렌더링 디바이스에 의해 렌더링된다.

도 6은 도 5와 관련하여 설명된 방법을 구현하도록 구성될 수 있는 디바이스(60)의 예시적인 아키텍처를 도시한다.

디바이스(60)는 데이터 및 어드레스 버스(61)에 의해 서로 링크되는 다음 요소들을 포함한다:

- 예를 들어 DSP(또는 디지털 신호 프로세서)인 마이크로 프로세서(62)(또는 CPU);

- ROM(또는 판독 전용 메모리)(63);

- RAM(또는 랜덤 액세스 메모리)(64);

- 저장 인터페이스(65);

- 애플리케이션으로부터 전송할 데이터의 수신을 위한 I/O 인터페이스(66); 및

- 전력 공급장치(power supply), 예를 들어, 배터리.

예에 따르면, 전력 공급장치는 디바이스 외부에 있다. 각각의 언급된 메모리에서, 명세서에서 사용되는 "레지스터"라는 단어는 작은 용량(몇몇 비트들)의 영역 또는 매우 큰 영역(예를 들어, 전체 프로그램, 또는 대량의 수신되거나 디코딩된 데이터)에 대응할 수 있다. ROM(63)은 적어도 프로그램 및 매개변수들을 포함한다. ROM(63)은 본 원리들에 따라 기술들을 수행하기 위한 알고리즘들 및 명령어들을 저장할 수 있다. 전원이 켜지면, CPU(62)는 RAM에 프로그램을 업로드하고 대응하는 명령어들을 실행한다.

RAM(64)은, 레지스터 내에서, CPU(62)에 의해 실행되고 디바이스(60)의 전원이 켜진 후에 업로드되는 프로그램, 레지스터 내의 입력 데이터, 레지스터 내의 방법의 다른 상태들에서의 중간 데이터, 및 레지스터 내의 방법의 실행을 위해 사용되는 다른 변수들(variables)을 포함한다.

도 5의 방법에 따르면, 몰입형 콘텐츠 아이템을 인코딩하는 데이터 스트림은 소스로부터 획득된다. 예를 들어, 소스는:

- 로컬 메모리(63 또는 64), 예를 들어 비디오 메모리 또는 RAM(또는 랜덤 액세스 메모리), 플래시 메모리, ROM(또는 읽기 전용 메모리), 하드 디스크;

- 저장 인터페이스(65), 예를 들어 대용량 저장소, RAM, 플래시 메모리, ROM, 광 디스크 또는 자기 서포트와의 인터페이스;

- 통신 인터페이스(66), 예를 들어 유선 인터페이스(예를 들어 버스 인터페이스, 광역 네트워크 인터페이스, 근거리 네트워크 인터페이스) 또는 무선 인터페이스(예를 들어 IEEE 802.11 인터페이스 또는 Bluetooth® 인터페이스); 및

- 사용자가 데이터를 입력할 수 있게 하는 그래픽 사용자 인터페이스와 같은 사용자 인터페이스

를 포함하는 세트에 속한다.

예들에 따르면, 디바이스(60)는 도 5와 관련하여 설명된 방법을 구현하도록 구성되며,

- 모바일 디바이스;

- 통신 디바이스;

- 게임 디바이스;

- 태블릿(또는 태블릿 컴퓨터)

를 포함하는 세트에 속한다.

당연히, 본 개시내용은 앞서 설명된 실시예들에 제한되지 않는다. 특히, 본 개시내용은 캐릭터를 표현하는 객체를 삽입함으로써 몰입형 콘텐츠를 렌더링하는 방법에 제한되는 것이 아니라, 캐릭터를 표현하는 적어도 하나의 객체, 예를 들어, 주어진 방향으로 또는 관심 영역들을 향해 바라보도록 대화로 뷰어를 자극하는 말하는 캐릭터들을 프로세싱하는 것까지 확장된다. 각각의 캐릭터를 표현하는 적어도 하나의 객체를 계산하는 데 필요한 계산들의 구현예는 CPU에서의 구현예에 제한되지 않고, 임의의 프로그램 유형, 예를 들어 GPU 유형의 마이크로프로세서에 의해 실행될 수 있는 프로그램들의 구현예까지 확장된다.

본 명세서에서 기술된 구현예들은, 예를 들어, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림, 또는 신호로 구현될 수 있다. 단지 단일 형태의 구현의 맥락에서 논의되기는 하지만(예를 들어, 단지 방법 또는 디바이스로서 논의되기는 하지만), 논의된 특징들의 구현예는 또한 다른 형태들(예를 들어 프로그램)로 구현될 수 있다. 장치는 예를 들어 적절한 하드웨어, 소프트웨어, 및 펌웨어로 구현될 수 있다. 예를 들어, 방법들은 예를 들어 컴퓨터, 마이크로프로세서, 집적 회로, 또는 프로그래밍 가능 논리 디바이스를 포함하는 처리 디바이스들을 일반적으로 지칭하는 예를 들어 프로세서와 같은 장치에서 구현될 수 있다. 프로세서들은 또한 예를 들어 스마트폰들, 태블릿들, 컴퓨터들, 휴대폰들, 휴대용/개인용 디지털 단말기들("PDA"), 및 다른 디바이스들과 같은 통신 디바이스들을 포함한다.

본 명세서에서 기술되는 다양한 프로세스들 및 특징들의 구현예들은 여러 상이한 장비 또는 응용들, 특히, 예를 들어 데이터 인코딩, 데이터 디코딩, 뷰 생성, 텍스처 프로세싱, 및 이미지들 및 관련 텍스처 정보 및/또는 깊이 정보의 다른 프로세싱과 연관된 장비 또는 응용들에 내장될 수 있다. 이러한 장비의 예들은 인코더, 디코더, 디코더로부터의 출력을 처리하는 포스트 프로세서, 인코더로의 입력을 제공하는 프리 프로세서, 비디오 코더, 비디오 디코더, 웹 서버, 셋톱 박스, 랩톱, 개인용 컴퓨터, 셀 폰, PDA, 및 다른 통신 디바이스들을 포함한다. 명확한 것처럼, 장비는 이동식일 수 있으며 심지어 이동식 차량에 설치될 수도 있다.

추가적으로, 방법들은 프로세서에 의해 수행되는 명령어들에 의해 구현될 수 있고, 그러한 명령어들(및/또는 구현에 의해 생성된 데이터 값들)은, 예를 들어, 집적 회로, 소프트웨어 캐리어, 또는 예를 들면 하드 디스크, 컴팩트 디스켓("CD"), 광 디스크(예를 들면, 종종 디지털 다기능 디스크 또는 디지털 비디오 디스크로 지칭되는 DVD), 랜덤 액세스 메모리("RAM"), 또는 판독 전용 메모리("ROM")와 같은 다른 저장 디바이스와 같은 프로세서 판독 가능한 매체 상에 저장될 수 있다. 명령어들은 프로세서 판독 가능 매체 상에 유형적으로(tangibly) 구현되는 애플리케이션 프로그램을 형성할 수 있다. 명령어들은, 예를 들어, 하드웨어, 펌웨어, 소프트웨어, 또는 조합 내에 존재할 수 있다. 명령어들은, 예를 들어, 운영 체제, 개별 애플리케이션, 또는 이 둘의 조합에서 발견될 수 있다. 따라서, 프로세서는, 예를 들어, 프로세스를 실행하도록 구성된 디바이스와, 프로세스를 실행하기 위한 명령어들을 가진 (저장 디바이스와 같은) 프로세서 판독 가능 매체를 포함하는 디바이스 모두로서 특징지어질 수 있다. 게다가, 프로세서 판독 가능 매체는 명령어들에 부가하여 또는 명령어들을 대신하여, 구현에 의하여 생성되는 데이터 값들을 저장할 수 있다.

해당 분야의 통상의 기술자에게 명백한 바와 같이, 구현예들은, 예를 들어, 저장되거나 또는 전송될 수 있는 정보를 운반하도록 포맷팅된 다양한 신호들을 생성할 수 있다. 정보는, 예를 들어, 방법을 수행하기 위한 명령어들, 또는 기술된 구현예들 중 하나에 의하여 생성된 데이터를 포함할 수 있다. 예를 들어, 신호는 기술된 실시예의 신택스를 기입하거나 판독하기 위한 규정들을 데이터로서 운반하도록, 또는 기술된 실시예에 의해 기입되는 실제 신택스 값들을 데이터로서 운반하도록 포맷팅될 수 있다. 이러한 신호는, 예를 들어, (예를 들어, 스펙트럼의 무선 주파수 부분을 사용하여) 전자기파로서, 또는 기저대역 신호로서 포맷팅될 수 있다. 포맷팅하는 것은, 예를 들어, 데이터 스트림을 인코딩하는 것과 인코딩된 데이터 스트림으로 캐리어를 변조하는 것을 포함할 수 있다. 신호가 운반하는 정보는, 예를 들어, 아날로그 또는 디지털 정보일 수 있다. 신호는 공지된 바와 같이 여러 상이한 유선 또는 무선 링크들을 통해 전송될 수 있다. 신호는 프로세서 판독 가능 매체 상에 저장될 수 있다.

다수의 구현예들이 기술되었다. 그럼에도 불구하고, 다양한 변경들이 이루어질 수 있다는 점이 이해될 것이다. 예를 들어, 다른 구현예들을 생성하기 위해 상이한 구현예들의 요소들은 결합, 보충, 변경, 또는 제거될 수 있다. 추가적으로, 본 기술분야의 통상의 기술자라면, 다른 구조들 및 프로세스들이 개시된 것들을 대체할 수 있으며, 결과적인 구현예들은 개시된 구현예들과 적어도 실질적으로 동일한 결과(들)를 달성하기 위해서 적어도 실질적으로 동일한 방식(들)으로 적어도 실질적으로 동일한 기능(들)을 수행할 것이라는 점을 이해할 것이다. 따라서, 이들, 및 다른 구현예들은 본 출원에 의해 고려된다.

Claims (15)

1. 렌더링 디바이스(rendering device)에 의해 몰입형 콘텐츠(immersive content)를 렌더링하는 방법으로서,
   상기 몰입형 콘텐츠 내의 관심의 기준 방향(reference direction of interest), 및 상기 기준 방향과 연관된 감정 데이터를 획득하는 단계; 및
   상기 몰입형 콘텐츠 내의 위치에 적어도 하나의 눈을 갖는 캐릭터를 표현하는 객체를 삽입하는 단계 - 상기 위치는 상기 렌더링 디바이스에 의해 렌더링되는 상기 몰입형 콘텐츠의 부분에 포함됨 -
   를 포함하고, 상기 객체의 적어도 하나의 눈의 응시 방향(gaze direction)은 상기 위치 및 상기 기준 방향에 따라 결정되며, 상기 객체는 상기 감정 데이터를 반영하도록 결정되는, 방법.
2. 제1항에 있어서,
   상기 응시 방향은 상기 캐릭터가 상기 몰입형 콘텐츠 내의 상기 위치로부터 상기 기준 방향의 방향으로 바라보게 만들도록 결정되는, 방법.
3. 제1항 또는 제2항에 있어서,
   상기 객체는 상기 감정을 반영하도록 애니메이팅되는(animated), 방법.
4. 제1항 또는 제2항에 있어서,
   상기 캐릭터는 몸 부분들을 포함하고, 상기 몸 부분들은 상기 응시 방향의 지시(indication)를 강화하도록 애니메이팅되는, 방법.
5. 제1항 또는 제2항에 있어서,
   상기 위치는 상기 몰입형 콘텐츠의 렌더링된 부분에서 상기 객체의 투영의 스크린 공간 위치 및 스크린 공간 크기에 따라 결정되는, 방법.
6. 제1항 또는 제2항에 있어서,
   상기 기준 방향은 상기 몰입형 콘텐츠를 인코딩하는 데이터 스트림(data stream)으로부터 획득되는, 방법.
7. 제1항 또는 제2항에 있어서,
   상기 기준 방향은 관심 영역들을 검출하기 위해 상기 몰입형 콘텐츠를 분석함으로써 획득되는, 방법.
8. 제1항 또는 제2항에 있어서,
   상기 기준 방향은 상기 몰입형 콘텐츠에서 이벤트가 발생하기 전에 획득되는, 방법.
9. 렌더링 디바이스로서,
   몰입형 콘텐츠 내의 관심의 기준 방향, 및 상기 기준 방향과 연관된 감정 데이터를 획득하고;
   상기 몰입형 콘텐츠 내의 위치에 적어도 하나의 눈을 갖는 캐릭터를 표현하는 객체를 삽입 - 상기 위치는 상기 렌더링 디바이스에 의해 렌더링되는 상기 몰입형 콘텐츠의 부분에 포함됨 -
   하도록 구성되고, 상기 객체의 적어도 하나의 눈의 응시 방향은 상기 위치 및 상기 기준 방향에 따라 결정되며, 상기 객체는 상기 감정 데이터를 반영하도록 결정되는, 적어도 하나의 프로세서와 연관된 메모리를 포함하는 렌더링 디바이스.
10. 제9항에 있어서,
    상기 응시 방향은 상기 캐릭터가 상기 몰입형 콘텐츠 내의 상기 위치로부터 상기 기준 방향의 방향으로 바라보게 만들도록 결정되는, 렌더링 디바이스.
11. 제9항 또는 제10항에 있어서,
    상기 객체는 상기 감정을 반영하도록 애니메이팅되는, 렌더링 디바이스.
12. 제9항 또는 제10항에 있어서,
    상기 캐릭터는 몸 부분들을 포함하고, 상기 몸 부분들은 상기 응시 방향의 지시를 강화하도록 애니메이팅되는, 렌더링 디바이스.
13. 제9항 또는 제10항에 있어서,
    상기 위치는 상기 몰입형 콘텐츠의 렌더링된 부분에서 상기 객체의 투영의 스크린 공간 위치 및 스크린 공간 크기에 따라 결정되는, 렌더링 디바이스.
14. 제9항 또는 제10항에 있어서,
    상기 기준 방향은 상기 몰입형 콘텐츠를 인코딩하는 데이터 스트림으로부터 획득되는, 렌더링 디바이스.
15. 제9항 또는 제10항에 있어서,
    상기 기준 방향은 관심 영역들을 검출하기 위해 상기 몰입형 콘텐츠를 분석함으로써 획득되는, 렌더링 디바이스.

Images