KR20220043106A - 정보 처리 장치, 정보 처리 방법, 및 프로그램 - Google Patents

Abstract

본 기술은, 가상 공간에 있어서, 오브젝트를 적절하게 표시할 수 있도록 하는 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다. 현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 오브젝트의 사이즈에 관한 사이즈 정보, 및 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 오브젝트를 표시부에 초기 표시하는 초기 위치를 설정하는 설정부를 구비하고, 설정부는, 초기 위치를, 현실 세계를 기준으로 하는 좌표계에 있어서, 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정한다. 본 기술은, 예를 들어 확장 현실(AR)을 제공하는 정보 처리 장치에 적용할 수 있다.

Description

정보 처리 장치, 정보 처리 방법, 및 프로그램

본 기술은, 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것으로서, 예를 들어 가상의 오브젝트를 표시할 때, 유저 입장에서 바람직한 표시가 행하여지도록 하는 정보 처리 장치, 정보 처리 방법, 및 프로그램에 관한 것이다.

실제 공간에 부가적인 정보를 중첩하여 유저에게 제시하는 확장 현실(AR: Augmented Reality)이라고 불리는 기술이 알려져 있다. AR 기술에 있어서 유저에게 제시되는 정보는, 애노테이션이라고도 불린다. 애노테이션은, 텍스트, 아이콘, 애니메이션 등 다양한 형태의 가상의 오브젝트에 의해 가시화된다.

특허문헌 1에서는, 가상 오브젝트의 표시를 적절하게 제어하여, 가상 오브젝트의 표시의 흐트러짐에 의해 유저에게 혼란을 부여하지 않도록 하는 것이 제안되어 있다.

일본 특허 공개 제2012-221250호 공보

오브젝트를 표시할 때, 유저와 오브젝트의 위치 관계가 적절하지 않으면, 적절한 표시로는 되지 않는다. 예를 들어, 오브젝트가 유저의 눈앞(유저에 가까운 위치)에 표시되면, 오브젝트의 일부밖에 보이지 않는다는 등 적절한 표시로는 되지 않아서, 유저에게 불쾌감이나 위화감을 부여해버릴 가능성이 있었다.

본 기술은, 이러한 상황을 감안하여 이루어진 것이며, 오브젝트 등의 표시를 적절하게 행할 수 있도록 하는 것이다.

본 기술의 일측면의 정보 처리 장치는, 현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 상기 오브젝트의 사이즈에 관한 사이즈 정보, 및 상기 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 상기 오브젝트를 상기 표시부에 초기 표시하는 초기 위치를 설정하는 설정부를 구비하고, 상기 설정부는, 상기 초기 위치를, 상기 현실 세계를 기준으로 하는 좌표계에 있어서, 상기 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정한다.

본 기술의 일측면의 정보 처리 방법은, 정보 처리 장치가, 현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 상기 오브젝트의 사이즈에 관한 사이즈 정보, 및 상기 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 상기 오브젝트를 상기 표시부에 초기 표시하는 초기 위치를 설정하고, 상기 초기 위치를, 상기 현실 세계를 기준으로 하는 좌표계에 있어서, 상기 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정한다.

본 기술의 일측면의 프로그램은, 컴퓨터에, 현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 상기 오브젝트의 사이즈에 관한 사이즈 정보, 및 상기 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 상기 오브젝트를 상기 표시부에 초기 표시하는 초기 위치를 설정하고, 상기 초기 위치를, 상기 현실 세계를 기준으로 하는 좌표계에 있어서, 상기 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정하는 스텝을 포함하는 처리를 실행시킨다.

본 기술의 일측면의 정보 처리 장치, 정보 처리 방법, 그리고 프로그램에 있어서는, 현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 오브젝트의 사이즈에 관한 사이즈 정보, 및 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 오브젝트를 표시부에 초기 표시하는 초기 위치가 설정된다. 초기 위치는, 현실 세계를 기준으로 하는 좌표계에 있어서, 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정된다.

또한, 정보 처리 장치는, 독립된 장치여도 되고, 하나의 장치를 구성하고 있는 내부 블록이어도 된다.

또한, 프로그램은, 전송 매체를 통하여 전송함으로써, 또는, 기록 매체에 기록하여, 제공할 수 있다.

도 1은 본 개시에 관한 정보 처리 시스템의 일 실시 형태의 구성을 도시하는 도면이다.
도 2는 표시 디바이스의 일례를 도시하는 도면이다.
도 3은 본 개시에 관계되는 기술을 적용한 AR-HMD의 외관 구성을 도시하는 도면이다.
도 4는 정보 처리 장치로서의 AR-HMD의 구성예를 도시하는 블록도이다.
도 5는 AR-HMD의 기능 구성예를 도시하는 블록도이다.
도 6은 가상 스크린 사이즈에 대하여 설명하기 위한 도면이다.
도 7은 유저의 동작의 일례를 도시하는 도면이다.
도 8은 표시되는 화면의 일례를 도시하는 도면이다.
도 9는 표시되는 화면의 일례를 도시하는 도면이다.
도 10은 표시되는 화면의 일례를 도시하는 도면이다.
도 11은 표시 설정에 대하여 설명하기 위한 도면이다.
도 12는 표시되는 화면의 일례를 도시하는 도면이다.
도 13은 표시 설정에 대하여 설명하기 위한 도면이다.
도 14는 표시 설정에 대하여 설명하기 위한 도면이다.
도 15는 표시 설정에 대하여 설명하기 위한 도면이다.
도 16은 정보 처리 장치의 동작에 대하여 설명하기 위한 흐름도이다.
도 17은 기록 매체에 대하여 설명하기 위한 도면이다.

이하에, 본 기술을 실시하기 위한 형태(이하, 실시 형태라고 함)에 대하여 설명한다.

<AR 콘텐츠의 표시 디바이스에 대해서>

도 1은, 본 기술의 일 실시 형태에 관계되는 정보 처리 시스템의 구성예를 도시하는 도면이다.

도 1의 정보 처리 시스템은, AR-HMD(1)와 정보 처리 장치(2)가 LAN(Local Area Network)이나 인터넷 등의 네트워크(3)를 통하여 접속됨으로써 구성된다.

도 1에 도시하는 바와 같이, AR-HMD(1)는, 투과형의 표시부를 구비한 안경형의 웨어러블 단말기이다. AR-HMD(1)는, 네트워크(3)를 통하여 행하여지는 정보 처리 장치(2)에 의한 제어에 따라서, 캐릭터 등의 각종 오브젝트를 포함하는 영상을 표시부에 표시한다. 유저는, 자신의 전방 풍경에 겹쳐서 오브젝트를 보게 된다.

오브젝트를 포함하는 영상의 투영 방식은, 허상 투영 방식이어도 되고, 유저의 눈의 망막에 직접 결상시키는 망막 투영 방식이어도 된다.

정보 처리 장치(2)는 AR 콘텐츠를 재생하고, 재생하여 얻어진 영상 데이터를 AR-HMD(1)로 송신함으로써, AR 콘텐츠의 영상을 AR-HMD(1)에 있어서 표시시킨다. 정보 처리 장치(2)는 예를 들어 PC(Personal Computer)에 의해 구성된다.

AR-HMD(1) 대신에, 도 2의 A에 도시하는 비디오 투과형의 HMD인 AR-HMD(1A)나, 도 2의 B에 도시하는 스마트폰(1B) 등의 휴대 단말기가, AR 콘텐츠의 표시 디바이스로서 사용되게 해도 된다.

표시 디바이스로서 AR-HMD(1A)가 사용되는 경우, 정보 처리 장치(2)가 재생하는 AR 콘텐츠의 영상은, AR-HMD(1A)에 마련된 카메라에 의해 촬영된, AR-HMD(1A)의 전방의 풍경 화상에 겹쳐서 표시된다. AR-HMD(1A)를 장착한 유저의 눈의 전방에는, 카메라에 의해 촬영된 화상에 겹쳐서 AR 콘텐츠를 표시하는 디스플레이가 마련되어 있다.

또한, 스마트폰(1B)이 사용되는 경우, 정보 처리 장치(2)가 재생하는 AR 콘텐츠의 영상은, 스마트폰(1B)의 배면에 마련된 카메라에 의해 촬영된, 스마트폰(1B)의 전방의 풍경의 화상에 겹쳐서 표시된다. 스마트폰(1B)의 정면에는, 각종 화상을 표시하는 디스플레이가 마련되어 있다.

실제의 씬에 존재하는 물체의 표면에 영상을 투영하는 프로젝터가 AR 콘텐츠의 표시 디바이스로서 사용되게 해도 된다. 태블릿 단말기, 텔레비전 수상기 등의 각종 디바이스를 AR 콘텐츠의 표시 디바이스로서 사용하는 것이 가능하다.

표시 디바이스와 정보 처리 장치(2)가 네트워크(3)를 통하여 무선으로 접속되는 것이 아니라, 유선으로 접속되게 해도 된다.

<AR-HMD의 외관 구성>

이하의 설명에 있어서는, 도 3에 도시한 바와 같이, 본 기술을 적용한 정보 처리 장치로서, 안경형의 형상을 갖는 웨어러블 단말기를 예로 들어 설명한다.

도 3에 도시한 AR-HMD(1)는, 전체적으로 안경형의 형상을 채용하고, 표시부(11) 및 카메라(12)를 구비하고 있다.

표시부(11)는 안경의 렌즈 부분에 대응하고, 예를 들어 그 전부가 투과형의 디스플레이로서 구성된다. 따라서, 표시부(11)는 유저가 직접 시인하고 있는 실세계의 상(실제 오브젝트)에, 애노테이션(가상 오브젝트)을 투과적으로 중첩 표시한다.

카메라(12)는 AR-HMD(1)를 장착하는 유저의 좌안에 대응하는 표시부(11)의 단부에 마련되고, 그 유저의 시계에 포함되는 실제 공간의 상을 촬상한다. 카메라(12)는 예를 들어 CCD(Charge Coupled Device) 이미지 센서나, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 고체 촬상 소자를 사용하여 구성된다. 또한, 각 센서는, 각각 복수 마련되어 있어도 된다. 즉, 카메라(12)는 스테레오 카메라로서 구성되어도 된다.

표시부(11)에는, 카메라(12)에 의해 취득된 화상을 표시시킴과 함께, 그 화상에 대하여 애노테이션을 중첩 표시시키도록 할 수도 있다.

또한, 도시는 하지 않지만, AR-HMD(1)에 있어서 안경의 프레임에 대응하는 하우징에는, 각종 센서류나 버튼, 스피커 등이, 수납 또는 탑재되어 있다.

또한, AR-HMD(1)의 형상은, 도 3에 도시되는 형상에 한하지 않고, 모자 형상, 유저의 헤드부를 일주하여 고정되는 벨트 형상, 유저의 헤드부 전체를 덮는 헬멧 형상 등, 다양한 형상을 채용할 수 있다. 즉, 본 개시에 관계되는 기술은, HMD 전반에 적용할 수 있다.

<정보 처리 장치로서의 AR-HMD의 구성예>

도 4는, 정보 처리 장치로서의 AR-HMD(1)의 구성예를 도시하는 블록도이다.

도 4의 AR-HMD(1)는, CPU(Central Processor Unit)(31), 메모리(32), 센서부(33), 입력부(34), 출력부(35), 및 통신부(36)를 구비하고 있다. 이들은, 버스(37)를 통하여 서로 접속되어 있다.

CPU(31)는, 메모리(32)에 기억되어 있는 프로그램이나 데이터 등에 따라서, AR-HMD(1)가 구비하는 각종 기능을 실현하기 위한 처리를 실행한다.

메모리(32)는 반도체 메모리 또는 하드 디스크 등의 기억 매체에 의해 구성되고, CPU(31)에 의한 처리를 위한 프로그램이나 데이터를 저장한다.

센서부(33)는 도 3의 카메라(12)를 비롯하여, 마이크로폰, 자이로 센서, 가속도 센서 등의 각종 센서류로 구성된다. 센서부(33)에 의해 취득된 각종 센서 정보도 또한, CPU(31)에 의한 처리에 사용된다.

입력부(34)는 버튼이나 키, 터치 패널 등으로 구성된다. 출력부(35)는 도 3의 표시부(11)나 스피커 등으로 구성된다. 통신부(36)는 각종 통신을 중개하는 통신 인터페이스로서 구성된다.

<AR-HMD의 기능 구성예>

도 5는, 본 개시에 관계되는 기술을 적용한 AR-HMD(1)의 기능 구성예를 도시하는 블록도이다.

도 3의 AR-HMD(1)는, 제어부(51), 센서부(52), 표시부(53), 스피커(54), 통신부(55), 조작 입력부(56), 및 기억부(57)로 구성된다.

제어부(51)는 도 4의 CPU(31)에 대응하고, AR-HMD(1)가 구비하는 각종 기능을 실현하기 위한 처리를 실행한다.

센서부(52)는 도 3의 센서부(33)에 대응하고, 각종 센서류로 구성된다.

구체적으로는, 센서부(52)는 도 3의 카메라(12)에 대응하는 외측 방향 카메라(52a), AR-HMD(1)를 장착하는 유저를 촬상하는 내측 방향 카메라(52b), 및 AR-HMD(1)의 주위 음성을 집음하는 마이크로폰(52c)을 갖고 있다. 특히, 내측 방향 카메라(52b)에 의하면, 유저의 시선을 검출하는 것이 가능하게 된다.

또한, 센서부(52)는 AR-HMD(1)의 각도(자세)와 각속도를 검출하는 자이로 센서(52d), 가속도를 검출하는 가속도 센서(52e), 및 방각을 검출하는 방위 센서(52f)를 갖고 있다. 이들은, 개별로 구성되어 있어도 되고, 일체로 되어서 구성되게 해도 된다.

또한, 센서부(52)는 GPS(Global Positioning System) 시스템 등의 위성 측위 시스템에 의해 위치를 측위하기 위한 위치 측위부(52g), 및 AR-HMD(1)를 장착하고 있는 유저의 생체 정보(심박수, 체온, 뇌파 등)를 취득하는 생체 센서(52h)를 갖고 있다.

이들 센서에 의해 취득된 각종 센서 정보는, 제어부(51)에 의해 실행되는 처리에 사용된다.

표시부(53)는 도 3의 표시부(11)에 대응하고, 제어부(51)의 제어에 따라서 애노테이션 표시하거나, 외측 방향 카메라(52a)에 의해 취득된 화상을 표시하거나 한다.

스피커(54)는 유저를 향하여 출력되는 음성의 음원이 되어, 제어부(51)의 제어에 따라서 음성을 출력한다.

통신부(55)는 도 4의 통신부(36)에 대응하고, 다른 장치, 예를 들어, 정보 처리 장치(2)(도 1) 간에 각종 통신을 행한다.

조작 입력부(56)는 도 4의 입력부(34)에 대응하여, AR-HMD(1)에 대한 유저의 조작 입력을 접수한다.

제어부(51)는 AR-HMD(1)의 표시부(53)의 표시 영역과 삼차원 공간 중에 배치된 실제 오브젝트 또는 가상 오브젝트 간의 위치 관계, 및 유저의 동작을 나타내는 유저 동작 정보(이하, 간단히 동작 정보라고도 한다)에 기초하여, 그 실제 오브젝트 또는 가상 오브젝트의 위치에 관련지어진 출력을 제어한다. 여기에서 말하는 삼차원 공간은, 실제 공간으로 할 수도 있고, 가상 공간으로 할 수도 있다.

구체적으로는, 제어부(51)는 소정의 프로그램을 실행함으로써, 센서 정보 취득부(71), 헤드부 위치·방향 검출부(72), 오브젝트 사이즈 설정부(73), 레이아웃 파라미터 계산부(74), 레이아웃 결정부(75), 및 출력 제어부(76)를 실현한다.

센서 정보 취득부(71)는 센서부(52)로부터 센서 정보를 취득하고, 그 센서 정보에 기초하여, AR-HMD(1)를 장착하는 유저의 동작을 나타내는 유저 동작 정보를 취득한다. 유저 동작 정보에는, 유저의 신체 전체 또는 그 각 부위의 동작, 유저의 시선의 움직임(시선 위치의 변화), 유저와 오브젝트의 거리의 변화 등에 관한 동적 정보가 포함된다. 또한, 센서 정보 취득부(71)는 센서부(52)로부터 취득한 센서 정보에 기초하여, AR-HMD(1)를 장착하는 유저의 위치와 자세를 나타내는 유저 위치 자세 정보(이하, 간단히 위치 자세 정보라고도 한다)를 취득한다. 유저 위치 자세 정보에는, 유저의 자세와 위치, 유저와 오브젝트의 거리 등에 관한 정적 정보가 포함된다.

헤드부 위치·방향 검출부(72)는 센서 정보 취득부(71)에 의해 취득된 정보로부터, 유저의 헤드부의 위치나, 유저의 헤드부가 향하고 있는 방향(유저가 보고 있는 방향)을 검출한다.

오브젝트 사이즈 설정부(73)는 표시할 오브젝트의 크기나, 표시 위치 등을 설정한다. 후술하는 바와 같이, 표시할 오브젝트가 있는 경우, 그 오브젝트를 유저에게 위화감이나 불쾌감을 부여하지 않고 보이기 위해서, 유저와의 위치 관계를 고려하여, 오브젝트의 크기나, 표시 위치가 설정된다.

레이아웃 파라미터 계산부(74)는 센서 정보 취득부(71)에 의해 취득된 센서 정보, 구체적으로는, 그 센서 정보로부터 취득된 유저 동작 정보 및 유저 위치 자세 정보에 기초하여, 또한, 오브젝트 사이즈 설정부(73)에 의해 설정된 오브젝트의 크기나 표시 위치에 기초하여, 유저의 동작·위치·상태 등을 나타내는 파라미터를 계산한다.

레이아웃 결정부(75)는 레이아웃 파라미터 계산부(74)에 의해 계산된 파라미터에 기초하여, 표시부(53)의 표시 영역에 표시할 오브젝트에 관한 출력의 출력 형태를 결정한다.

출력 제어부(76)는 레이아웃 결정부(75)에 의해 결정된 출력 형태로, 표시부(53)의 표시 영역에 있어서 오브젝트에 관한 출력을 제어한다.

기억부(57)는 제어부(51)가 제어를 행하기 위해 필요한 각종 데이터를 기억하고 있다. 기억부(57)와 제어부(51)의 일부는, 정보 처리 장치(2)(도 1)가 갖는 구성으로 할 수도 있다.

<오브젝트가 화각 잘림되는 경우에 대해서>

본 기술을 적용한 AR-HMD(1)는, 상황에 따라, 표시할 오브젝트의 크기나 표시 위치를 설정한다. 여기서, 오브젝트란, 예를 들어, 텍스트, 아이콘, 애니메이션 등의 콘텐츠이다.

도 6을 참조하여, 오브젝트와, 가상 스크린의 크기의 관계에 대하여 설명한다. AR-HDM(1)에서는, AR-HDM(1)의 장착자(도 6에서는 유저(101))와 오브젝트(도 6에서는 오브젝트(121))의 거리에 따라, 표시 가능한 오브젝트의 최대 사이즈는 다르다. 표시 가능한 오브젝트의 사이즈는, 가상 스크린의 사이즈에 의존한다.

가상 스크린이란, 표시부(53)에 가상적으로 표시되는 화면이다. 가상 스크린의 사이즈에 대해서는, 다음 식 (1)에 기초하여 산출할 수 있다.

식 (1)에 있어서, d는, 유저(101)와 가상 스크린 사이의 거리를 나타낸다. FOV(h)는 FOV의 수평 각도 또는 수직 각도를 나타낸다. FOV는, Field Of View의 약칭이며, 시계를 나타낸다. 일반적으로, AR-HDM(1)의 FOV는, 수평 각도가 40도, 수직 각도가 20도이다. 이하의 설명은, FOV의 값으로서, 이 값이 설정되어 있는 경우를 예로 들어 설명을 계속한다.

식 (1)을 사용하여, 100㎝(1m)의 위치에 표시할 수 있는 최대 콘텐츠 사이즈(가상 스크린 사이즈)를 산출하면, 가로 73㎝, 세로 35㎝가 된다. 또한 300㎝(3m)의 위치에 표시할 수 있는 최대 콘텐츠 사이즈(가상 스크린 사이즈)를 산출하면, 가로 160㎝, 세로 105㎝가 된다. 또한 500㎝(5m)의 위치에 표시할 수 있는 최대 콘텐츠 사이즈(가상 스크린 사이즈)를 산출하면, 가로 267㎝, 세로 176㎝가 된다.

도 6을 참조하면, 100㎝(1m)의 위치에 표시되는 가상 스크린을, 가상 스크린(122)으로 하고, 500㎝(5m)의 위치에 표시되는 가상 스크린을, 가상 스크린(123)으로 한다. 도 6 중, 오브젝트(121)를 원형으로 나타낸다.

1m에 위치하는 가상 스크린(122)에서 오브젝트(121)를 표시하면, 화각 잘림을 일으키고 있다. 도 6에 도시한 상태에서는, 오브젝트(121)의 중앙 부분밖에 표시되어 있지 않은 상태가 된다. 또한, 이하의 설명에 있어서, 화각 잘림이란, 표시부(53)에 오브젝트가 수렴되지 않는 상태로 표시되어 있는 것을 의미한다. 또한, 화각 잘림이란, 유저의 시계 영역 내에 오브젝트가 수렴되지 않는 상태로 표시되어 있는 것을 의미한다.

5m에 위치하는 가상 스크린(123)에서, 오브젝트(121)를 표시하면, 수직 방향은 화각 잘림을 일으키고 있지만(시계 영역 내로 수렴되어 있지 않다), 수평 방향은 화각 내로 수렴되어 있다(시계 영역 내로 수렴되어 있다). 따라서, 도 6에 도시한 상태에서는, 오브젝트(121)의 수직 방향은 일부 보이지 않지만, 수평 방향은 모두 보이고 있는 상태로 된다.

예를 들어, 도 6에 도시한 가상 스크린(122)에서의 표시 상태의 경우, 유저는, 무엇이 표시되어 있는지 이해할 수 없어, 당황해버리고, 불쾌하게 느껴버리는 등, 바람직하지 않은 상태가 될 가능성이 있다. 또한, 상황을 이해할 수 없어, 어떻게 해야할지 몰라서, 움직임이 멈추어버릴 가능성도 있다.

도 6에 도시한 가상 스크린(123)에서의 표시 상태의 경우도, 화각 잘림되어 있는 부분은 있지만, 수평 방향(도면 중 좌우 방향)으로는 전체가 보이고 있기 때문에, 오브젝트(121)의 크기를 유저는 인식할 수 있다. 따라서, 예를 들어, 유저는, 뒤로 물러나면, 오브젝트(121) 전체를 볼 수 있다고 하는 판단을 내릴 수 있어, 그 판단에 기초하는 동작을 행할 수 있다.

이러한 것으로부터, 도 6에 도시한 거리 d=1m에서 화각 잘림이 일어난 가상 스크린(122)과 같은 표시 상태가 발생하지 않도록 하는 것이 바람직하다. 이에 대해서, 도 7을 참조하여 설명을 첨가한다. 또한, 이하의 설명에 있어서는 특별히 언급이 없을 경우, 좌표, 위치 등은, 월드 좌표계에서의 좌표나 위치 등이다.

또한, 오브젝트를 표시하는 위치는, 현실 세계를 기준으로 한 위치에서 정의되어도 되고, 가상 삼차원 공간을 기준으로 한 위치에서 정의되어도 된다. 여기에서는, 가상 삼차원 공간으로 설정되어 있는 월드 좌표계에서 정의되는 위치일 경우를 예로 들어 설명을 계속한다.

예를 들어, 도 7의 A에 도시하는 바와 같이, 오브젝트 A는, 월드 좌표계에서 규정되는 위치 P1에서 표시되는 오브젝트로서 설정되어 있다. 유저(151)가 위치 P2에 위치하고 있을 때에 오브젝트 A를 본 경우, 화각 잘림 없이 표시된다. 예를 들어, 도 8의 A에 도시하는 바와 같이, 오브젝트 A(도깨비인 듯한 형상의 오브젝트로 한다)가 화각 잘림 없이 표시부(53)에 표시된다.

도 7의 B에 도시하는 바와 같이, 오브젝트 A가 표시되는 위치 P1 부근의 위치 P3에, 유저(151)는 위치하고, 방향 D2쪽을 향하고 있다. 방향 D2는, 월드 좌표계에서 X축 방향이며, 오브젝트 A가 표시되는 Z축 방향과는 다른 방향이다. 따라서, 유저(151)가 방향 D2를 향하고 있을 때에, 오브젝트 A가 위치 P1에서 표시되더라도, 유저(151)가 그 오브젝트 A를 볼 수 있는 상태가 아니다.

유저(151)가 방향 D2를 향하고 있는 상태로부터, 방향 D1로 방향 전환한 경우, 오브젝트 A가 눈앞에 표시된다. 예를 들어, 도 8의 B에 도시하는 바와 같이, 표시부(53)에 오브젝트 A가 크게 표시되어, 화각 잘림을 일으키고 있다. 이와 같이, 유저(151)가 돌아보거나 했을 때에, 돌연 화면에 오브젝트 A의 일부가 표시되면, 유저는, 무엇이 일어난 것인지 몰라서, 당황해버리거나, 동작이 멈추어버리거나 한다.

오브젝트 A가, 도 9에 도시하는 바와 같은 부동 물체인 경우도 있다. 부동 물체로서, 예를 들어, 간판을 예로 들어 설명한다. 도 9의 A는, 도 7의 A와 같이, 오브젝트 A와 유저(151)가 적절한 위치 관계에 있을 때에 표시부(53)에 표시되는 화면이며, 오브젝트로서의 간판의 전체가 표시되어 있다.

도 9의 B는, 도 7의 B와 같이, 오브젝트 A와 유저(151)가 적절하지 않은 위치 관계에 있을 때에, 표시부(53)에 표시되는 화면이며, 오브젝트로서의 간판의 일부가 표시되어 있다. 간판의 일부만이 표시되어 있기 때문에, 유저는, 표시되어 있는 것이 무엇인지 인식하기 어려운 상태이다.

오브젝트 A는, 유저에게 어떠한 정보를 텍스트로 통지하는 오브젝트일 경우도 있다. 예를 들어, 도 10의 A에 도시한 바와 같이, "목적의 점포"라고 하는 메시지가 오브젝트 A로서 표시부(53)에 표시되는 경우도 있다. 도 10의 A는, 도 7의 A와 같이, 오브젝트 A와 유저(151)가 적절한 위치 관계에 있을 때에 표시부(53)에 표시되는 화면이며, 오브젝트로서의 통지된 메시지 전체가 표시되어 있기 때문에, 유저는, 그 메시지를 읽을 수 있다.

도 10의 B는, 도 7의 B와 같이, 오브젝트 A와 유저(151)가 적절하지 않은 위치 관계에 있을 때에, 표시부(53)에 표시되는 화면이며, 오브젝트로서의 통지(메시지)의 일부가 표시되어 있다. 메시지의 일부만이 표시되어 있기 때문에, 유저는, 표시되어 있는 메시지를 읽을 수 없는 상태이다.

이와 같이, 오브젝트와 유저의 위치 관계가 적절하지 않은 경우, 유저가 오브젝트를 인식할 수 없다는 등의 문제가 발생할 가능성이 있다. 또한, 유저의 동작에 따라서도, 오브젝트가 갑자기 표시되거나, 유저가 오브젝트를 인식할 수 없는 상태에서 표시되거나 한다. 따라서, 이하에 설명하는 바와 같이, 오브젝트의 속성에 따라 오브젝트의 표시가 제어된다.

<오브젝트의 표시 위치, 크기의 설정에 대해서>

<제1 표시 설정>

도 8에 도시한 바와 같이, 오브젝트 A가 도깨비와 같은 가동 물체인 경우에 대하여 설명한다. 오브젝트 A가 가동 물체이며, 어떠한 동작을 수반하는 표시가 된 경우에도, 유저에게 위화감을 부여할 일이 없는 오브젝트의 경우, 도 11에 도시하는 바와 같은 표시가 행하여진다.

도 11을 참조하면, 유저(151)는 시각 t1에 있어서, 위치 P3에 위치한다. 또한, 위치 P3은, 오브젝트 A가 표시되는 위치 P1의 근방이다. 이 상태는, 도 7의 B를 참조하여 설명한 경우와 동일하게, 오브젝트 A가 위치 P1에 표시되면, 유저(151)에게 제시되는 화면은, 도 8의 B와 같이 되어, 화각 잘림이 일어난 화면이 된다.

시각 t1에 있어서, 유저(151)에게 제시하고자 하는 오브젝트 A가 있는데, 오브젝트 A를 표시하는 위치로서 설정되어 있는 위치 P1에서 표시한 경우, 화각 잘림 등 적합하지 않은 표시가 될 것으로 판정된 경우, 시각 t2에 있어서, 위치 P4에 오브젝트 A가 표시된다. 위치 P4는, 위치 P1보다도 유저(151)로부터 이격된 위치이다. 그러한 유저(151)로부터 이격된 위치 P4에 오브젝트 A가 표시된다.

예를 들어, 위치 P4는, 도 8의 A에 도시한 바와 같이, 오브젝트 A가 화각 잘림되지 않고 표시되는 위치이다. 바꾸어 말하면, 오브젝트 A가 유저의 시야 영역 내로 수렴되도록 표시되는 위치이다. 일단, 오브젝트 A 전체가 표시되는 위치 P4까지 오브젝트를 후퇴시킨다. 그 후의 시각 t3에, 위치 P1에 오브젝트 A를 표시한다. 위치 P4로부터 위치 P1까지, 오브젝트 A는, 점차 유저(151)에게 가까워져 오는 듯한 애니메이션 표시가 이루어진다.

이러한 표시가 이루어짐으로써, 유저(151)에게는, 예를 들어, 도 12에 도시하는 바와 같은 화면이 제시된다. 시각 t2에 있어서는, 오브젝트 A는, 먼 위치에 표시되어 있기 때문에, 오브젝트 A 전체가 표시되어 있는 상태이다. 시각 t2 내지 시각 t3 동안에, 점차 오브젝트 A의 표시는 커진다.

시각 t2의 다음의 시각 t2'일 때 오브젝트 A는, 시각 t2일 때 오브젝트 A보다도 크게 표시된다. 또한, 시각 t2'의 다음의 시각 t2"일 때 오브젝트 A는, 시각 t2'일 때 오브젝트 A보다도 크게 표시된다. 그리고, 시각 t2"의 다음의 시각 t3일 때 오브젝트 A는, 시각 t2"일 때 오브젝트 A보다도 크게 표시된다.

유저(151)로부터 보면, 오브젝트 A가 점차 자신에게 가까워져 오는 듯한 표시이다.

오브젝트가 표시되는 위치로서 설정되어 있는 위치 P1을, 적절히, 제시 예정 위치라고 기재한다. 또한 오브젝트가 화각 잘림 없는 위치로서, 오브젝트를 처음에 표시시키는 위치를, 적절히, 초기 위치라고 기재한다.

제시 예정 위치나 초기 위치 등의 위치란, 3차원 공간에 있어서 가상 오브젝트를 표시하는 위치이며, AR-HMD(1)를 장착한 유저가 표시부(53)(도 5)에 표시된 화면을 보았을 때에, 중첩 표시된 실제 공간 내에 있어서 가상 오브젝트가 존재하면 지각하는 3차원적인 위치를 나타낸다.

본 기술을, 도 1 내지 도 3에 도시한 AR-HMD(1)에 적용한 경우, AR-HDM(1)에 의해, 3차원 공간 중에 배치된 실제 오브젝트나 가상 오브젝트가 표시된 화면이 유저에게 제시된다. 위치란, 유저에게 제시되는 화면에 있어서, 유저가 실제 오브젝트나 가상 오브젝트를 지각(시인)하는, 3차원 공간에 있어서의 위치이다.

AR-HMD(1)는, 오브젝트가, 가동 물체라고 하는 속성을 갖고 있는 경우, 초기 위치를 설정하고, 그 초기 위치에 오브젝트를 일단 표시하고 나서, 미리 설정되어 있는 제시 예정 위치까지 애니메이션 표시한다.

초기 위치는, 예를 들어, 다음 식 (2)에 의해 설정할 수 있다.

식 (2)는 유저의 위치를 (0,0,0)으로 했을 때의 초기 위치를 산출하는 식이다. 식 (2)에 있어서, (x,y,z)는 제시 예정 위치의 좌표를 나타내고, (X, Y, Z)는 초기 위치를 나타낸다. 식 (2) 중, d는, 깊이 정보(Z 좌표)이며, 식 (3)에 의해 구해진다.

식 (3)은 식 (1)을 변형한 식이다. 즉, d는, 유저와 가상 스크린 사이의 거리이다. 식 (2)와 식 (3)으로부터, 초기 위치가 설정된다. 이하의 설명에 있어서도, 초기 위치는, 식 (2)와 식 (3)으로부터 산출되는 것으로 하여 설명을 계속한다.

또한, 여기에서는, 위치 P4(초기 위치)에서 오브젝트 A가 표시되는 경우, 오브젝트 A의 전체가 표시되는 것으로 하여 설명을 했지만, 오브젝트 A의 수평 방향 또는 수직 방향의 적어도 한쪽에 있어서 화각 잘림을 일으키지 않으면 된다. 바꾸어 말하면, 오브젝트 A의 수평 방향 또는 수직 방향의 적어도 한쪽에 있어서 화각 잘림을 일으키지 않는 위치가, 초기 위치로서 설정된다.

또한 환언하면, 표시부(53)의 가로 방향과 오브젝트 A의 가로 방향의 사이즈가 조정됨으로써, 오브젝트 A가 시계 영역 내에 들어가도록 조정되거나, 표시부(53)의 세로 방향과 오브젝트 A의 세로 방향의 사이즈가 조정됨으로써, 오브젝트 A가 시계 영역 내에 들어가도록 조정된다.

시계 영역 내로 수렴되도록 오브젝트 A의 초기 위치가 설정되는데, 그 깊이에 제한을 마련해도 된다. 예를 들어, 오브젝트 A가 가동할 수 있는 범위가 설정되어 있는 경우, 그 가동 범위 내로 수렴되도록 초기 위치가 설정되도록 해도 된다.

또한, 위치 P4는, 제시 예정 위치의 Z축 방향(깊이 방향)의 좌표가 변경되는 것으로 하여 설명을 계속하는데, 예를 들어, 상측 방향(또는 하측 방향)으로부터, 점차 가까워져 오는 듯한 애니메이션을 행하기 위해서, 제시 예정 위치의 Z축 방향과 Y축 방향의 각각의 좌표가 변경되게 해도 된다.

또한, 시계 영역은, 시야각에서, 인간의 시야각(예를 들어, 180도) 이하로 설정되어 있고, 상기한 처리를 행할 때에 사용되는 시계 영역 정보는, 그 설정되어 있는 시야각의 정보가 된다.

<제2 표시 설정>

오브젝트 A가 가동 물체인 경우의 다른 표시의 방법에 대하여 도 13을 참조하여 설명한다. 도 13의 시각 t11일 때에 나타낸 상태는, 도 11의 시각 t1과 마찬가지의 상태이며, 오브젝트 A가 위치 P1에 표시되면, 유저(151)에게 제시되는 화면은 화각 잘림이 일어난 화면으로 되는 상태이다. 따라서, 이러한 경우, 도 11을 참조하여 설명한 바와 같이, 오브젝트 A는, 화각 잘림이 일어나지 않는 위치 P4의 위치가 초기 위치로서 설정되어, 표시된다.

그러나, 도 13의 시각 t11일 때에 나타낸 상태는, 위치 P1과 위치 P4 사이의 위치 P5에, 벽 등의 장애물이 있는 상태이다. 이 장애물은, 현실 세계에 있어서 존재하는 장애물일 경우도 있고, 가상 삼차원 공간 내에 설정되어 있는 장애물일 경우도 있다.

이와 같이, 초기 위치로서 설정하고자 하는 위치와, 유저가 위치하고 있는 위치 P3 사이에, 벽 등의 장애물이 있는 경우에, 위치 P4를 초기 위치로 하여, 오브젝트 A를 표시시킬 수는 없다.

이러한 경우, 가능한 한 유저(151)로부터 이격된 위치가 초기 위치로서 설정된다. 도 13의 시각 t11에 나타낸 바와 같은 상황의 경우, 벽이 있는 위치 P5의 위치가 초기 위치로 설정된다. 도 13의 시각 t12일 때에 도시한 바와 같이, 위치 P6이 초기 위치로 설정된다. 위치 P6은, 정확하게는, 위치 P5보다도 위치 P1에 가까운 측이다. 또한, 위치 P6은, 위치 P5보다도 깊이 방향으로 전방측(유저(151)측)이며, 위치 P6보다도 소정의 거리 떨어진 위치이다.

이와 같이, 깊이 방향에 장애물 등, 오브젝트를 표시할 수 없는 영역이 있는 경우에는, 그 장애물까지의 거리(심도)를 검출하고, 그 심도의 전방측에 초기 위치가 설정된다.

시각 t12에 있어서, 위치 P6(초기 위치)에 오브젝트 A가 표시된다. 시각 t13에, 위치 P1(제시 예정 위치)에 오브젝트 A가 표시된다. 위치 P6으로부터 위치 P1까지, 오브젝트 A는, 점차 유저(151)에게 가까워져 오는 듯한 애니메이션 표시가 이루어진다.

오브젝트가 가동 물체라고 하는 속성을 갖고 있는 경우, 초기 위치를 설정하고, 그 초기 위치에 오브젝트를 일단 표시하고 나서, 미리 설정되어 있는 제시 예정 위치까지 애니메이션 표시된다. 또한 초기 위치로서 설정하고자 하는 장소와 제시 예정 위치 사이에 벽 등의 장애물이 있는 경우, 그 장애물의 위치를, 초기 위치로서 설정할 수 있다.

도 13의 시각 t12에서는, 초기 위치로서 설정된 위치 P6에 오브젝트 A가 표시되는 것으로 했지만, 이 위치 P6은, 화각 잘림이 발생할 가능성이 있는 위치이다. 따라서, 설정한 초기 위치에서도, 화각 잘림이 발생할 가능성이 있는 경우, 도 14의 시각 t12'→t13일 때에 도시하는 바와 같이, 오브젝트 A를 일단 작게 표시하도록 해도 된다. 작게 표시한다란, 오브젝트 A의 사이즈 정보로 나타내지는 사이즈보다도 작게 표시하는 것을 의미한다.

시각 t12'에 있어서, 위치 P6에, 화각 잘림되지 않을 정도의 크기로 오브젝트 A가 표시된다. 바꾸어 말하면, 위치 P6에 작게 오브젝트 A가 표시된다. 그 후, 시각 t13이 될 때까지의 동안에, 오브젝트 A는 점차 크게, 또한 점차 유저에게 가까워지는 애니메이션이 행하여져서 표시된다.

이러한 표시는, 오브젝트가 부동 물체인 경우에도 적용할 수 있다. 오브젝트가, 도 9에 도시한 바와 같은 부동 물체인 경우에 대하여 설명한다. 오브젝트 A가 부동 물체인 경우, 가령, 도 11, 도 12를 참조하여 설명한 가동 물체와 동일한 표시를 한 경우, 움직이지 않는 물체가 움직이는 표시가 이루어지게 되어, 유저에게 위화감을 부여하게 된다. 따라서, 오브젝트가 부동 물체인 경우, 도 14를 참조하여 설명한 바와 같이, 일단 작게 표시하고 나서, 원래의 크기(사이즈 정보로 나타내지는 사이즈)로 표시되도록 해도 된다.

단, 부동 물체인 경우, 가동 물체와 같이, 가동하고 있는 애니메이션이 행해지는 것이 아니라, 제시 예정 위치를 초기 위치로 하고, 그 초기 위치에서 일단 작게 표시된다. 이러한 표시에 대해서, 도 15를 참조하여 설명한다.

도 15의 시각 t21일 때에 나타낸 상태는, 도 11의 시각 t1과 마찬가지의 상태이며, 오브젝트 A가 위치 P1에 표시되면, 유저(151)에게 제시되는 화면은 화각 잘림이 일어난 화면으로 되는 상태이다. 오브젝트 A가, 부동 물체라는 속성이 부여되어 있는 경우, 초기 위치는, 제시 예정 위치에 설정된다.

시각 t22에 있어서, 위치 P1에 오브젝트 A가 작게 표시된다. 시각 t23에 있어서, 위치 P1에, 오브젝트 A가, 원래 표시되는 크기로서 설정되어 있는 크기로 표시된다.

시각 t22 내지 시각 t23 동안, 오브젝트 A가 점차 커지는 애니메이션이 되어도 된다. 또는, 오브젝트 A가 부동 물체인 경우, 애니메이션은 행하여지지 않고, 작은 표시로부터 큰 표시로 전환되게 해도 된다.

또는, 작은 표시인 때에는, 엷게 표시되도록 해도 된다. 또는 작게 표시하는 것이 아니라, 엷게 표시하고, 그 후 진하게 표시되도록 해도 된다.

부동 물체가, 위치 P1에 있다고 하는 것을 유저에게 인식시키는 것이 하나의 목적이다. 유저가 부동 물체의 존재를 인식함으로써, 유저의 의사에 따라, 부동 물체의 전체를 보고 싶으면, 뒤로 물러나는 등의 행동을 행한다. 이러한 유저에게 자발적인 행동을 일으키게 하기 위해서, 일단 작게 표시하거나, 엷게 표시하거나 한다.

또한, 오브젝트 A가 부동 물체인 경우, 상기한 바와 같은 표시가 행해짐으로써, 유저에게 보다 위화감을 부여해버리는 것도 생각된다. 오브젝트 A가 부동 물체인 경우에는, 화각 잘림이 일어나는 경우에도, 위치 변경이나 크기의 변경은 행하여지지 않고 제시 예정 위치에, 설정되어 있는 크기로 표시되도록 한다고 하는 설정도 가능하다.

또한, 부동 물체의 경우, 서브 속성을 마련하고, 상기한 바와 같은 표시를 바꾼 표시를 행하는 속성과, 상기한 바와 같은 표시를 바꾼 표시를 행하지 않는 속성을 마련하고, 그 속성에 따라 표시가 제어되게 해도 된다.

<제3 표시 설정>

부동 물체의 오브젝트에는, 그 부동 물체를 유저가 보았을 때(유저의 시계각 내에 부동 물체가 들어갔을 때)에, 예를 들어 말을 하는 것과 같은 액션을 개시하도록 설정되어 있는 오브젝트도 있다. 이러한 오브젝트의 경우, 예를 들어, 도 9의 B와 같이, 화각 잘림을 일으킨 상태일 때에, 오브젝트 A가 발화하면, 유저는, 어디에서 목소리가 발해지고 있는 것인지 몰라서, 어리둥절해버릴 가능성이 높다.

따라서, 상기한 바와 같이, 일단 작게 표시하여, 유저에게 오브젝트 A의 존재를 인식시키고, 인식시킨 후, 소리를 내게 해도 된다.

또는, 부동 물체이며, 유저의 시계각 내에 들어갔을 때에 어떤 행동을 취하는 물체인 경우, 화각 잘림을 일으킨 상태로 표시가 될 때에는, 액션을 일으키지 않도록 설정되어 있어도 된다. 액션이 일어나는 조건으로서, 이하의 조건 1과 조건 2이 충족될 때로 설정되어 있어도 된다.

조건 1

오브젝트가 유저의 시계각 내에 있다(표시부(53)에 전체가 표시되어 있다)

조건 2

오브젝트와 유저의 거리가 일정 범위 내(역치 이하)이다

조건 1은 오브젝트가 유저에게 보이는 상태일 때에, 또한 화각 잘림되어 있지 않을 때에, 액션이 개시된다고 하는 조건이다. 상기한 바와 같이, 화각 잘림을 일으킨 상태일 때에, 액션이 개시되는 일이 없도록 하기 위한 조건이다. 조건 1은 예를 들어 이하의 판정식 (4)에 의해 판정할 수 있다.

식 (4)에 있어서, pt.w, pt.x, pt.y는, 각각 식 (5)로 산출되는 폭을 나타내는 값, x축 방향의 값, y축 방향의 값을 나타낸다. 또한, 식 (4)는 정규화한 계산식으로 하기 위해서, 폭 w으로, x축 방향의 길이와, y축 방향의 길이를, 각각 제산한 값을 사용하고 있다.

식 (4)는 오브젝트의 x축 방향의 길이와, y축 방향의 길이를 2변으로 하는 직각삼각형의 빗변의 길이가 1 이하로 수렴되는지 여부를 판정하는 식이며, 바꾸어 말하면, 오브젝트를 둘러싸는 사각형의 대각선이, 1 이하로 수렴되는지 여부를 판정하는 식이며, 이 판정식이 충족될 때, 오브젝트는 시계각 내에 있다고 판정되는 식이다.

식 (5)에 있어서, Mworld는, 월드 좌표에 있어서의 행렬, Mprojection은, 프로젝션에 관한 행렬, Mobjpos는, 오브젝트에 관한 행렬이며, 시추체(視錐體)에 오브젝트의 좌표를 투영하기 위한 식이다.

조건 1을 상기한 식이 충족되는지 여부로 판정하도록 해도 되고, 다른 방법으로 판정하도록 해도 된다.

조건 1뿐이라면, 유저로부터 이격된 위치에 있는 오브젝트는, 모두 조건 1을 만족하는 것으로 판정될 가능성이 있다. 따라서, 조건 2에 의해, 유저가 오브젝트에 가까운 위치에 있는지 여부가 판정되도록 한다. 바꾸어 말하면, 행동을 일으키는 것으로 설정되어 있는 범위 내에, 유저가 있는지 여부가 조건 2로서 판정되도록 한다. 조건 2가 있음으로써, 유저로부터 이격된 위치에 있는 오브젝트가 행동을 일으키는 것과 같은 것을 방지할 수 있다.

조건 2은 예를 들어, 이하의 판정식 (6)에 의해 판정할 수 있다.

식 (6)에 있어서, Mobjpos는, 오브젝트의 위치를 나타내고, Mcamera는, 카메라의 위치, 즉 유저의 위치를 나타낸다. 식 (6)은 오브젝트와 유저의 위치 차분이 거리 d가 되고, 이 거리 d가 미리 설정되어 있는 역치 Const보다 작은지의 여부를 판정하는 식이 된다.

조건 2에 의해, 오브젝트가 액션을 발동하기 위하여 설정되어 있는 범위 내에, 유저가 들어갔다고 판정되고, 또한, 조건 1에 의해 시계각 내에 화각 잘림되지 않고 오브젝트가 표시되는 것으로 판정되었을 때, 오브젝트에 관련지어져 있는 액션이 발동된다.

<제4 표시 설정>

도 15를 참조하여 설명한 표시의 방법은, 도 10을 참조하여 설명한 오브젝트 A가 텍스트 등의 통지인 경우에도 적용할 수 있다. 텍스트의 경우, 도 10의 B를 참조하여 설명한 바와 같이, 메시지의 일부가 표시되더라도, 유저에게 그 메시지를 전하는 것은 어려워, 도 10의 A를 참조하여 설명한 바와 같이, 메시지 전체가 보이도록 함으로써, 그 메시지를 전할 수 있을 것으로 생각된다.

따라서, 도 10의 B와 같이, 메시지의 일부밖에 표시되지 않는 경우에는, 일단, 메시지(오브젝트 A)를 작게 표시하여, 유저에게 오브젝트 A의 존재를 인식시킨다. 이때, 작게 표시되는 메시지를 유저가 읽어낼 수 있는지 여부는 문제는 안되고, 메시지의 존재를 인식시킬 수 있으면 된다.

도 15의 시각 t21일 때에 나타낸 상태는, 도 11의 시각 t1과 마찬가지의 상태이며, 오브젝트 A가 위치 P1에 표시되면, 유저(151)에게 제시되는 화면은 화각 잘림이 일어난 화면으로 되는 상태이다. 오브젝트 A가, 텍스트(메시지)라는 속성이 부여되어 있는 경우, 초기 위치는, 제시 예정 위치에 설정된다. 즉 이 경우, 초기 위치는, 제시 예정 위치로서 설정되어 있는 위치 P1로 설정된다.

시각 t22에 있어서, 위치 P1에 오브젝트 A가 작게 표시된다. 시각 t23에 있어서, 위치 P1에, 오브젝트 A가, 원래 표시되는 크기로서 설정되어 있는 크기로 표시된다.

시각 t22 내지 시각 t23 동안, 오브젝트 A(메시지)가 점차 커지는 애니메이션이 되어도 된다. 또는, 애니메이션은 행하여지지 않고, 작은 표시로부터 큰 표시로 전환되게 해도 된다.

메시지가, 위치 P1에 있다고 하는 것을 유저에게 인식시킴으로써, 유저의 의사에 따라, 메시지의 전체를 보고 싶으면, 뒤로 물러나는 등의 행동을 행한다. 예를 들어, 시각 t23에 있어서, 도 10의 B에 도시한 바와 같이, 메시지의 일부가 표시되어 있는 상태일지라도, 거기에 메시지가 있는 것을 인식하고 있다면, 유저는, 뒤로 물러나서, 도 10의 A에 도시한 바와 같이, 메시지 전체가 표시되어 있는 상태로 할 수 있어, 메시지를 읽을 수 있다.

이와 같이, 오브젝트의 속성에 따라, 표시의 방법이 설정되어 있다. 이와 같이, 표시의 방법이 설정되어 있는 AR-HMD(1)의 동작에 대하여 설명한다.

<AR-HMD(1)의 동작에 대해서>

이러한 표시를 행하는 AR-HMD(1)의 동작에 대하여 도 16의 흐름도를 참조하여 설명한다.

스텝 S11에 있어서, 환경 정보가 취득된다. 환경 정보는, 유저의 주위 환경 정보이며, AR-HMD(1)를 통하여 유저가 보고 있는 현실의 풍경에 관한 정보이다. 예를 들어, 환경 정보로서, 주위의 깊이 정보, 물체 인식, 인식한 물체의 형상, 이동 물체의 유무 등의 정보가 취득된다.

스텝 S12에 있어서, 유저의 위치 정보가 취득된다. 여기에서는, 유저의 신체 정보, 예를 들어 헤드부의 위치나 시선의 방향이 취득된다. 스텝 S11과 스텝 S12에 있어서의 처리는, 센서 정보 취득부(71)가 센서부(52)로부터의 센서 정보를 취득하고, 처리함으로써 행하여진다.

스텝 S13에 있어서, 표시할 오브젝트가 있는지의 여부가 판정된다. 유저의 시계 내에, 표시해야 할 소정의 오브젝트가 있는지의 여부가 판정된다. 스텝 S13에 있어서, 표시해야 할 오브젝트는 없다고 판정된 경우, 스텝 S11로 처리가 복귀되고, 그 이후의 처리가 반복된다.

한편, 스텝 S13에 있어서, 표시해야 할 오브젝트가 있다고 판정된 경우, 처리는, 스텝 S14로 진행된다. 스텝 S14에 있어서, 오브젝트 사이즈 정보가 취득된다. 오브젝트 사이즈 정보로서는, 표시할 오브젝트의 제시 위치 정보(제시 예정 위치의 정보)와, 오브젝트의 크기에 관한 정보(사이즈 정보)가 취득된다. 사이즈 정보로서는, 3D 모델 데이터를 사용할 수 있다.

스텝 S15에 있어서, 스텝 S14에 있어서 취득된 오브젝트 사이즈 정보를 사용하여, 화각 잘림이 발생할 것인지 여부(시계 영역 내로 수렴될 것인지 여부)가 판정된다. 스텝 S15에 있어서, 화각 잘림은 일어나지 않는 것으로 판정된 경우, 스텝 S20으로 처리는 진행된다. 스텝 S20에 있어서, 출력 처리, 이 경우, 오브젝트의 표시가 행하여진다.

한편, 스텝 S15에 있어서, 화각 잘림이 일어나는 것으로 판정된 경우, 처리는 스텝 S16으로 진행된다. 스텝 S16에 있어서, 표시할 오브젝트의 속성이 참조된다. 속성은, 화각 잘림을 일으킬 때에, 상기한 제1 내지 제4 표시 설정의 어느 설정으로 표시할지 판정하기 위하여 사용되는 정보이다.

속성 정보로서는, 상기한 바와 같이, 가동 물체, 부동 물체, 텍스트 등의 표시될 오브젝트의 특징을 나타낸 정보로 해도 된다. 또한 속성 정보는, 제1 내지 제4 표시 설정의 어느 것을 직접 나타내는 정보, 예를 들어, 제1 표시 설정으로 표시하는 경우에는 "1", 제2 표시 설정으로 표시하는 경우에는 "2"와 같은 정보여도 된다.

또한 제1이나 제2 표시 설정과 같이, 초기 위치를 설정하는 표시를 위치 변경 속성으로 하고, 제4 표시 설정과 같이, 제시 예정 위치에서 사이즈를 변경하여 표시하는 사이즈 변경 속성으로 하여, 이러한 정보가 속성 정보로서 사용되게 해도 된다. 이하의 설명에서는, 속성 정보로서, 위치 변경 속성과 사이즈 변경 속성이 사용되는 경우를 예로 들어 설명을 계속한다.

이러한 속성 정보는, 오브젝트 사이즈 정보에 부수되는 정보로서, 오브젝트 사이즈 정보와 함께 취득되게 해도 된다.

스텝 S16에 있어서, 표시할 오브젝트의 속성은, 위치 변경 속성이라고 판정된 경우, 처리는 스텝 S17로 진행된다. 스텝 S17에 있어서, 깊이 방향으로 표시 제한이 있는지의 여부가 판정된다. 깊이 방향이란, 월드 좌표계에 있어서 Z축 방향이며, 그 Z축 방향으로 표시 제한이 있는지의 여부가 판정된다.

예를 들어, 도 13을 참조하여 설명한 바와 같이, 깊이 방향으로 벽 등의 장애물이 있고, 그러한 장애물보다도 앞의 위치에는 오브젝트를 표시할 수 없는 경우, 스텝 S17에 있어서, 깊이 방향으로 표시 제한이 있다고 판정된다.

스텝 S17에 있어서, 깊이 방향으로 표시 제한은 없다고 판정된 경우, 처리는 스텝 S18로 진행된다. 스텝 S18에 있어서, 오브젝트의 Z 방향의 위치를 어긋나게 한 초기 위치가 설정된다. 스텝 S18의 처리가 실행되는 것은, 제1 표시 설정이 실행될 때이며, 도 11을 참조하여 설명한 바와 같은 표시를 행하는 경우이다.

스텝 S18에 있어서는, 도 11을 참조한 설명에 있어서, 위치 P4라고 칭한 초기 위치를 설정하는 처리이다. 초기 위치가 설정되면, 스텝 S19로 처리는 진행된다. 스텝 S19에 있어서, 초기 위치에 오브젝트를 표시하고, 제시 예정 위치(도 11 등에서 위치 P1이라고 칭한 위치)까지, 애니메이션 표시하기 위한 표시 데이터가 생성되고, 그 생성된 표시 데이터에 기초하는 표시가, 스텝 S20에 있어서 행하여진다.

한편, 스텝 S17에 있어서, 깊이 방향으로 표시 제한이 있다고 판정된 경우, 스텝 S21로 처리는 진행된다. 스텝 S21에 있어서, 액션이 있는 오브젝트인지의 여부가 판정된다. 스텝 S21에 있어서, 액션이 있는 오브젝트가 아니라고 판정된 경우, 스텝 S22로 처리가 진행된다.

스텝 S22의 처리가 실행되는 것은, 제2 표시 설정이 실행될 때이다. 제2 표시 설정에 대해서는, 도 13, 도 14, 도 15를 참조하여 설명하였다. 도 13, 도 14를 참조하여 설명한 바와 같이, 초기 위치를 장애물보다 깊이 방향으로 전방측(유저와 면하고 있는 측)의 위치, 바람직하게는 장애물의 깊이 방향의 위치보다도 소정의 거리 떨어진 전방측의 위치에 설정하고, 그 초기 위치로부터, 애니메이션에 의해 제시 예정 위치까지 표시하도록(제2-1 표시 설정으로 하도록) 해도 된다. 또는, 도 15를 참조하여 설명한 바와 같이, 제시 예정 위치를 초기 위치로 하고, 그 초기 위치에서 작게 표시하고 나서 크게 표시하도록(제2-2 표시 설정으로 하도록) 해도 된다.

깊이 방향으로 표시 제한이 있고, 액션을 일으키지 않는 오브젝트의 경우, 제2-1 표시 설정에 의해 표시를 행할지, 제2-2 표시 설정에 의해 표시를 행할지도, 속성 정보로서 오브젝트에 관련지어져서 부여되어 있게 해도 된다. 또한, 가동 물체의 경우에는, 제2-1 표시 설정에 의해 표시를 행하는 것으로 하고, 부동 물체의 경우에는, 제2-2 표시 설정에 의해 표시를 행하는 것으로 해도 된다.

또한, 깊이 방향으로 표시 제한이 있는 경우, 제시 예정 위치를 초기 위치에 설정한다고 하는 구성으로 할 수도 있다. 이와 같이 구성된 경우, 제시 예정 위치에 오브젝트는 표시된다.

스텝 S22에 있어서, 초기 위치가, 장애물보다 깊이 방향으로 전방측의 위치에 설정, 또는 제시 예정 위치에 설정된다. 스텝 S23에 있어서, 초기 위치에 오브젝트를 표시하고, 제시 예정 위치까지, 애니메이션 표시하기 위한 표시 데이터가 생성되고, 그 생성된 표시 데이터에 기초하는 표시가, 스텝 S20에 있어서 행하여진다.

또한, 스텝 23에 있어서, 애니메이션 표시를 행할지의 여부는, 오브젝트에 따라서 설정되도록 할 수 있다. 스텝 S23에 있어서, 애니메이션 표시를 행하지 않는다는 설정이 되고, 초기 위치에 오브젝트가 표시된 후, 제시 예정 위치에서의 표시로 전환되는 데이터가 생성되도록 해도 된다.

한편, 스텝 S21에 있어서, 액션이 있는 오브젝트라고 판정된 경우, 스텝 S24로 처리는 진행된다. 스텝 S24의 처리가 실행되는 것은, 제3 표시 설정이 실행될 때이다.

제3 표시 설정은, 유저가 오브젝트의 근방에 위치하고, 유저의 시계각 내에 오브젝트의 전체(수평 방향 또는 수직 방향의 적어도 한쪽의 방향으로 화각 잘림이 일어나지 않은 상태)가 표시될 때에, 관련지어져 있는 액션(예를 들어 발화한다고 하는 액션)이 발동된다는 표시이다.

따라서, 초기 위치는 제시 예정 위치이기 때문에, 초기 위치의 설정은 생략된다(초기 위치로서 제시 예정 위치가 설정되는 처리가 실행되게 해도 된다). 스텝 S24에 있어서는 트리거가 설정된다. 이 트리거는, 액션을 발동하기 위한 조건으로서 사전에 설정되어 있는 트리거이며, 상기한 바와 같이, 이 경우, 유저의 시계각 내에 오브젝트가 표시된다는 조건이다. 바꾸어 말하면, 상기한 조건 1과 조건 2가 충족되었을 때에, 액션을 발동한다고 하는 트리거가 설정된다.

또한, 조건 2은 스텝 S13에 있어서, 표시할 오브젝트가 있다고 판정된 시점에서 충족되어 있다. 즉, 유저가 설정되어 있는 범위 내에 들어왔을 때, 스텝 S13에 있어서, 표시할 오브젝트가 있다고 판정된다. 따라서, 스텝 S24에 있어서 설정되는 트리거는, 조건 1에 관한 트리거이면 된다.

또한, 상기한 바와 같이, 제3 표시 설정은, 제2 표시 설정과 조합해도 된다. 즉, 일단 작게 표시되거나, 표시 위치가 변경되거나 한 후에, 트리거가 발생할 때까지의 대기 상태로 되도록 할 수도 있다.

또한 여기에서는, 액션이 관련지어져 있는 오브젝트의 속성 정보는, 위치 변경 속성인 경우를 예로 들어 설명하고 있지만, 사이즈 변경 속성이어도 되고, 사이즈 변경 속성의 경우에는, 도 16에 도시한 처리의 플로를 바꿈으로써 대응할 수 있다.

스텝 S25에 있어서, 트리거가 발생할 때까지 대기 상태로 되고, 트리거가 발생하면, 스텝 S20로 처리가 진행되어, 오브젝트에 관련지어져 있는 액션이 발동된다. 즉, 액션을 발동시키기 위한 조건이, 사전에 복수 설정되어 있고, 그들 조건 중의 적어도 일부, 이 경우, 트리거로서 설정된 유저의 시계 내에 오브젝트가 표시된다는 조건이 충족되었다고 판정되었을 때, 액션이 발동된다.

한편, 스텝 S16에 있어서, 표시할 오브젝트는, 위치 변경 속성이 아니라고 판정된 경우, 스텝 S26로 처리는 진행된다. 스텝 S26에 있어서, 사이즈 변경 속성인지의 여부가 판정된다. 스텝 S26에 있어서, 사이즈 변경 속성이라고 판정된 경우, 스텝 S27로 처리는 진행된다.

스텝 S27의 처리가 실행되는 것은, 제4 표시 설정이 실행될 때이며, 도 15를 참조하여 설명한 바와 같은 표시를 행할 때이다. 즉, 텍스트와 같은 오브젝트는, 제시 예정 위치에서, 일단, 제시 예정 위치에서 표시하는 크기보다도 작은 사이즈로 표시하고 나서, 제시 예정의 크기까지 크게 하는 표시가 행하여진다.

스텝 S27에 있어서, 초기 출력 사이즈가 변경된다. 스텝 S28에 있어서, 초기 출력 사이즈로 오브젝트를 표시하고, 제시 예정 사이즈로 될 때까지, 애니메이션 표시하기 위한 표시 데이터가 생성되고, 그 생성된 표시 데이터에 기초하는 표시가, 스텝 S20에 있어서 행하여진다.

한편, 스텝 S26에 있어서, 사이즈 변경 속성이 아니라고 판정된 경우, 스텝 S20로 처리가 진행된다. 이 경우, 오브젝트가 화각 잘림을 일으킨 상태로 표시될 가능성이 있는데, 그러한 상태이더라도, 초기 위치를 변경하거나, 사이즈를 변경하거나 한 표시는 행하여지지 않는 것으로 설정되어 있는 오브젝트이다. 따라서, 스텝 S20에 있어서, 오브젝트는, 제시 예정 위치에서, 제시 예정 사이즈로 표시된다.

이와 같이, 화각 잘림이 발생할 가능성이 있는 경우, 초기 위치를 변경하거나, 사이즈를 변경하거나 하여 표시가 제어된다. 이러한 표시가, 화각 잘림이 일어나기 전의 시점에서 행해짐으로써, 유저는, 일단 오브젝트 전체를 확인할 수 있게 되어, 그 후 화각 잘림이 일어나더라도, 그 화각 잘림을 의식해버리는 것을 방지할 수 있다.

화각 잘림이 발생하고, 유저가 화각 잘림을 의식해버리면, AR 체험에의 몰입감이 엷어져버릴 가능성이 있지만, 본 기술에 의하면, 몰입감이 엷어져버리는 것을 방지하여, AR 체험을 보다 즐겁게 하는 것이 가능하게 된다.

또한, 상기한 실시 형태에 있어서, 속성 정보를 설정함으로써, 더 미세한 표시 설정을 행할 수 있다. 또한 속성 정보나, 표시 설정은, 설계자가 설정할 수 있다.

상기한 실시 형태에 있어서, 초기 위치가 설정되고, 그 초기 위치에서 표시되고, 그 후, 제시 예정 위치에서 표시된 후에, 다시 초기 위치에서 표시하는 상황이 발생한 경우, 다시 초기 위치를 설정하고, 동일한 표시가 반복되게 해도 되고, 2번째 이후의 때에는, 초기 위치는 설정하지 않고, 제시 예정 위치에서 표시하도록 해도 된다.

또한, 상기한 예를 들어, 제1 표시 설정과 같이, 표시 위치가 변경되면, 현실 세계의 위치나 물체에 관련지어져 있는 오브젝트의 경우, 그 관련짓기가 의미를 만들어 내지 못하게 될 가능성이 있다. 따라서, 현실 세계의 위치나 물체에 관련지어져 있는 오브젝트에는, 표시 위치의 변경(조정)이 행하여지는 것은 금지한다고 하는 속성이 부여되고, 표시 위치의 변경은 행하여지지 않도록 해도 된다.

또한, 그러한 오브젝트의 경우에는, 관련짓기가 무너지지 않는 범위 내에서의 표시 사이즈의 변경은 가능하게 하고, 그러한 속성이 부여되게 해도 된다.

<기록 매체에 대해서>

상술한 일련의 처리는, 하드웨어에 의해 실행할 수도 있고, 소프트웨어에 의해 실행할 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 컴퓨터에 인스톨된다. 여기서, 컴퓨터에는, 전용의 하드웨어에 내장되어 있는 컴퓨터나, 각종 프로그램을 인스톨함으로써, 각종 기능을 실행하는 것이 가능한, 예를 들어 범용의 퍼스널 컴퓨터 등이 포함된다.

도 17은, 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터의 하드웨어의 구성예를 도시하는 블록도이다. 컴퓨터에 있어서, CPU(Central Processing Unit)(1001), ROM(Read Only Memory)(1002), RAM(Random Access Memory)(1003)은, 버스(1004)에 의해 서로 접속되어 있다. 버스(1004)에는, 또한, 입출력 인터페이스(1005)가 접속되어 있다. 입출력 인터페이스(1005)에는, 입력부(1006), 출력부(1007), 기억부(1008), 통신부(1009), 및 드라이브(1010)가 접속되어 있다.

입력부(1006)는 키보드, 마우스, 마이크로폰 등을 포함한다. 출력부(1007)는 디스플레이, 스피커 등을 포함한다. 기억부(1008)는 하드 디스크나 불휘발성의 메모리 등을 포함한다. 통신부(1009)는 네트워크 인터페이스 등을 포함한다. 드라이브(1010)는 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(1011)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(1001)가, 예를 들어, 기억부(1008)에 기억되어 있는 프로그램을, 입출력 인터페이스(1005) 및 버스(1004)를 통하여, RAM(1003)에 로드하여 실행함으로써, 상술한 일련의 처리가 행하여진다.

컴퓨터(CPU(1001))가 실행하는 프로그램은, 예를 들어, 패키지 미디어 등으로서의 리무버블 기록 매체(1011)에 기록하여 제공할 수 있다. 또한, 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송과 같은, 유선 또는 무선의 전송 매체를 통하여 제공할 수 있다.

컴퓨터에서는, 프로그램은, 리무버블 기록 매체(1011)를 드라이브(1010)에 장착함으로써, 입출력 인터페이스(1005)를 통하여, 기억부(1008)에 인스톨할 수 있다. 또한, 프로그램은, 유선 또는 무선의 전송 매체를 통하여, 통신부(1009)로 수신하여, 기억부(1008)에 인스톨할 수 있다. 기타, 프로그램은, ROM(1002)이나 기억부(1008)에 미리 인스톨해 둘 수 있다.

또한, 컴퓨터가 실행하는 프로그램은, 본 명세서에서 설명하는 순서를 따라서 시계열로 처리가 행하여지는 프로그램이어도 되고, 병렬로, 혹은 호출이 행하여졌을 때 등의 필요한 타이밍에 처리가 행하여지는 프로그램이어도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 장치에 의해 구성되는 장치 전체를 나타내는 것이다.

또한, 본 명세서에 기재된 효과는 어디까지나 예시이며 한정되는 것은 아니고, 또 다른 효과가 있어도 된다.

또한, 본 기술의 실시 형태는, 상술한 실시 형태에 한정되는 것은 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

또한, 본 기술은 이하와 같은 구성도 취할 수 있다.

(1)

현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 상기 오브젝트의 사이즈에 관한 사이즈 정보, 및 상기 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 상기 오브젝트를 상기 표시부에 초기 표시하는 초기 위치를 설정하는 설정부를 구비하고,

상기 설정부는, 상기 초기 위치를, 상기 현실 세계를 기준으로 하는 좌표계에 있어서, 상기 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정하는

정보 처리 장치.

(2)

상기 설정부는, 상기 오브젝트를, 상기 제시 위치에, 상기 사이즈 정보가 나타내는 사이즈로 표시한 경우에, 상기 시계 영역 내에 상기 오브젝트의 적어도 일부가 수렴되지 않는 것으로 판정했을 때, 상기 초기 위치를 설정하는

상기 (1)에 기재된 정보 처리 장치.

(3)

상기 설정부는, 상기 오브젝트가 상기 시계 영역 내로 수렴되는 위치를 상기 초기 위치로서 설정하는

상기 (1) 또는 (2)에 기재된 정보 처리 장치.

(4)

상기 설정부는, 상기 오브젝트의 가로 방향 또는 세로 방향의 적어도 일방향이, 상기 시계 영역 내로 수렴되는 위치를 상기 초기 위치로서 설정하는

상기 (1) 내지 (3)의 어느 것에 기재된 정보 처리 장치.

(5)

상기 초기 위치로부터 상기 제시 위치까지 상기 오브젝트를 이동시키는 애니메이션을 표시하는

상기 (1) 내지 (4)의 어느 것에 기재된 정보 처리 장치.

(6)

상기 설정부는, 상기 깊이 방향에 장애물이 있는 경우, 상기 장애물의 위치에 기초하여, 상기 초기 위치를 설정하는

상기 (1) 내지 (5)의 어느 것에 기재된 정보 처리 장치.

(7)

상기 설정부는, 상기 깊이 방향에 장애물이 있는 경우, 상기 깊이 방향에 있어서의 상기 장애물의 위치보다도 전의 위치를 상기 초기 위치로 설정하는

상기 (6)에 기재된 정보 처리 장치.

(8)

상기 설정부는, 상기 깊이 방향에 장애물이 있는 경우, 상기 제시 위치를 상기 초기 위치로서 설정하는

상기 (6) 또는 (7)에 기재된 정보 처리 장치.

(9)

상기 설정부는, 상기 깊이 방향에 장애물이 있는 경우, 설정된 상기 초기 위치에, 상기 오브젝트를 상기 사이즈 정보가 나타내는 사이즈보다도 작게 표시하는

상기 (6) 내지 (8)의 어느 것에 기재된 정보 처리 장치.

(10)

상기 설정부는, 상기 제시 위치를 상기 초기 위치로서 설정하고, 상기 오브젝트를, 상기 시계 영역 내로 상기 오브젝트가 수렴되는 사이즈로 설정하는

상기 (1) 내지 (9)의 어느 것에 기재된 정보 처리 장치.

(11)

상기 설정부는, 상기 오브젝트에 소정의 액션이 관련지어져 있는 경우, 상기 시계 영역 내로 상기 오브젝트가 수렴되었다고 판정되었을 때, 상기 소정의 액션을 발동시키기 위한 조건의 적어도 일부가 충족되었다고 판정하는

상기 (1) 내지 (10)의 어느 것에 기재된 정보 처리 장치.

(12)

상기 오브젝트의 속성에 기초하여, 상기 초기 위치를 설정하는

상기 (1) 내지 (11)의 어느 것에 기재된 정보 처리 장치.

(13)

상기 설정부는, 상기 오브젝트의 속성이 가동 물체의 속성일 경우, 상기 오브젝트가 상기 시계 영역에 수렴되는 위치를 상기 초기 위치로서 설정하는

상기 (12)에 기재된 정보 처리 장치.

(14)

상기 설정부는, 상기 오브젝트의 속성이 부동 물체의 속성일 경우, 상기 제시 위치를 상기 초기 위치로서 설정하는

상기 (12)에 기재된 정보 처리 장치.

(15)

상기 설정부는, 상기 오브젝트의 속성이 사이즈 변경 속성일 경우, 상기 오브젝트가 표시되는 사이즈를 변경하는

상기 (12)에 기재된 정보 처리 장치.

(16)

상기 오브젝트는, 텍스트인

상기 (14)에 기재된 정보 처리 장치.

(17)

정보 처리 장치가,

현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 상기 오브젝트의 사이즈에 관한 사이즈 정보, 및 상기 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 상기 오브젝트를 상기 표시부에 초기 표시하는 초기 위치를 설정하고,

상기 초기 위치를, 상기 현실 세계를 기준으로 하는 좌표계에 있어서, 상기 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정하는

정보 처리 방법.

(18)

컴퓨터에,

현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 상기 오브젝트의 사이즈에 관한 사이즈 정보, 및 상기 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 상기 오브젝트를 상기 표시부에 초기 표시하는 초기 위치를 설정하고,

상기 초기 위치를, 상기 현실 세계를 기준으로 하는 좌표계에 있어서, 상기 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정하는

스텝을 포함하는 처리를 실행시키기 위한 프로그램.

1: AR-HMD
2: 정보 처리 장치
3: 네트워크
11: 표시부
12: 카메라
31: CPU
32: 메모리
33: 센서부
34: 입력부
35: 출력부
36: 통신부
37: 버스
51: 제어부
52: 센서부
53: 표시부
54: 스피커
55: 통신부
56: 조작 입력부
57: 기억부
71: 센서 정보 취득부
72: 방향 검출부
73: 오브젝트 사이즈 설정부
74: 레이아웃 파라미터 계산부
75: 레이아웃 결정부
76: 출력 제어부
101: 유저
121: 오브젝트
122, 123: 가상 스크린

Claims (18)

1. 현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 상기 오브젝트의 사이즈에 관한 사이즈 정보, 및 상기 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 상기 오브젝트를 상기 표시부에 초기 표시하는 초기 위치를 설정하는 설정부를 구비하고,
   상기 설정부는, 상기 초기 위치를, 상기 현실 세계를 기준으로 하는 좌표계에 있어서, 상기 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정하는
   정보 처리 장치.
2. 제1항에 있어서, 상기 설정부는, 상기 오브젝트를, 상기 제시 위치에, 상기 사이즈 정보가 나타내는 사이즈로 표시한 경우에, 상기 시계 영역 내에 상기 오브젝트의 적어도 일부가 수렴되지 않는 것으로 판정했을 때, 상기 초기 위치를 설정하는
   정보 처리 장치.
3. 제1항에 있어서, 상기 설정부는, 상기 오브젝트가 상기 시계 영역 내로 수렴되는 위치를 상기 초기 위치로서 설정하는
   정보 처리 장치.
4. 제1항에 있어서, 상기 설정부는, 상기 오브젝트의 가로 방향 또는 세로 방향의 적어도 일방향이, 상기 시계 영역 내로 수렴되는 위치를 상기 초기 위치로서 설정하는
   정보 처리 장치.
5. 제1항에 있어서, 상기 초기 위치로부터 상기 제시 위치까지 상기 오브젝트를 이동시키는 애니메이션을 표시하는
   정보 처리 장치.
6. 제1항에 있어서, 상기 설정부는, 상기 깊이 방향에 장애물이 있는 경우, 상기 장애물의 위치에 기초하여, 상기 초기 위치를 설정하는
   정보 처리 장치.
7. 제6항에 있어서, 상기 설정부는, 상기 깊이 방향에 장애물이 있는 경우, 상기 깊이 방향에 있어서의 상기 장애물의 위치보다도 전의 위치를 상기 초기 위치로 설정하는
   정보 처리 장치.
8. 제6항에 있어서, 상기 설정부는, 상기 깊이 방향에 장애물이 있는 경우, 상기 제시 위치를 상기 초기 위치로서 설정하는
   정보 처리 장치.
9. 제6항에 있어서, 상기 설정부는, 상기 깊이 방향에 장애물이 있는 경우, 설정된 상기 초기 위치에, 상기 오브젝트를 상기 사이즈 정보가 나타내는 사이즈보다도 작게 표시하는
   정보 처리 장치.
10. 제1항에 있어서, 상기 설정부는, 상기 제시 위치를 상기 초기 위치로서 설정하고, 상기 오브젝트를, 상기 시계 영역 내로 상기 오브젝트가 수렴되는 사이즈로 설정하는
    정보 처리 장치.
11. 제1항에 있어서, 상기 설정부는, 상기 오브젝트에 소정의 액션이 관련지어져 있는 경우, 상기 시계 영역 내로 상기 오브젝트가 수렴되었다고 판정되었을 때, 상기 소정의 액션을 발동시키기 위한 조건의 적어도 일부가 충족되었다고 판정하는
    정보 처리 장치.
12. 제1항에 있어서, 상기 오브젝트의 속성에 기초하여, 상기 초기 위치를 설정하는
    정보 처리 장치.
13. 제12항에 있어서, 상기 설정부는, 상기 오브젝트의 속성이 가동 물체의 속성일 경우, 상기 오브젝트가 상기 시계 영역에 수렴되는 위치를 상기 초기 위치로서 설정하는
    정보 처리 장치.
14. 제12항에 있어서, 상기 설정부는, 상기 오브젝트의 속성이 부동 물체의 속성일 경우, 상기 제시 위치를 상기 초기 위치로서 설정하는
    정보 처리 장치.
15. 제12항에 있어서, 상기 설정부는, 상기 오브젝트의 속성이 사이즈 변경 속성일 경우, 상기 오브젝트가 표시되는 사이즈를 변경하는
    정보 처리 장치.
16. 제15항에 있어서, 상기 오브젝트는, 텍스트인
    정보 처리 장치.
17. 정보 처리 장치가,
    현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 상기 오브젝트의 사이즈에 관한 사이즈 정보, 및 상기 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 상기 오브젝트를 상기 표시부에 초기 표시하는 초기 위치를 설정하고,
    상기 초기 위치를, 상기 현실 세계를 기준으로 하는 좌표계에 있어서, 상기 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정하는
    정보 처리 방법.
18. 컴퓨터에,
    현실 세계에 중첩되어서 표시되는 오브젝트의 가상 삼차원 공간 내에 있어서 제시하는 제시 위치에 관한 제시 위치 정보, 상기 오브젝트의 사이즈에 관한 사이즈 정보, 및 상기 오브젝트를 표시하는 표시부의 시계 영역에 관한 시계 영역 정보에 기초하여, 상기 오브젝트를 상기 표시부에 초기 표시하는 초기 위치를 설정하고,
    상기 초기 위치를, 상기 현실 세계를 기준으로 하는 좌표계에 있어서, 상기 제시 위치 정보가 나타내는 위치보다도 깊이 방향에 있어서 안쪽에 설정하는
    스텝을 포함하는 처리를 실행시키기 위한 프로그램.

Images