KR102477842B1 - 정보 처리 장치, 정보 처리 방법 및 프로그램 - Google Patents

정보 처리 장치, 정보 처리 방법 및 프로그램 Download PDF

Info

Publication number
KR102477842B1
KR102477842B1 KR1020207016033A KR20207016033A KR102477842B1 KR 102477842 B1 KR102477842 B1 KR 102477842B1 KR 1020207016033 A KR1020207016033 A KR 1020207016033A KR 20207016033 A KR20207016033 A KR 20207016033A KR 102477842 B1 KR102477842 B1 KR 102477842B1
Authority
KR
South Korea
Prior art keywords
display
information
virtual object
transition
display device
Prior art date
Application number
KR1020207016033A
Other languages
English (en)
Other versions
KR20200098509A (ko
Inventor
하지메 와카바야시
Original Assignee
소니그룹주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니그룹주식회사 filed Critical 소니그룹주식회사
Publication of KR20200098509A publication Critical patent/KR20200098509A/ko
Application granted granted Critical
Publication of KR102477842B1 publication Critical patent/KR102477842B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0141Head-up displays characterised by optical features characterised by the informative content of the display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04804Transparency, e.g. transparent or translucent windows
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

유저에 의한 AR 기술의 이용을 원활화한다. 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와, 상기 위치 자세 정보를 보정하는 보정부를 구비하고, 상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하는, 정보 처리 장치를 제공한다.

Description

정보 처리 장치, 정보 처리 방법 및 프로그램
본 개시는 정보 처리 장치, 정보 처리 방법 및 프로그램에 관한 것이다.
근년, 실공간에 부가적인 정보를 중첩하여 제시하는 확장 현실(AR: Augmented Reality)이라고 칭해지는 기술이 주목받고 있다. AR 기술은, 예를 들어 유저의 헤드부에 장착되는 표시 장치인 HMD(Head Mount Display)에 의해 실현된다. 구체적으로는, 이러한 표시 장치로서, 실공간에 있어서의 유저의 시계 내에 있어서의 실공간에 가상 오브젝트를 중첩하여 표시하는 광학 투과형 HMD나, 실공간을 촬상하고 촬상에 의해 얻어지는 화상 상의 실공간에 가상 오브젝트를 중첩하여 표시하는 비디오 투과형 HMD가 사용된다(예를 들어, 특허문헌 1을 참조).
일본 특허 공개 제2011-203823호 공보
그런데, 종래의 AR 기술에서는, 유저에 의한 AR 기술의 원활한 이용이 곤란해지는 경우가 있었다. 예를 들어, HMD를 사용한 AR 기술에서는, 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트의 실공간에 대한 중첩 표시가 HMD의 위치 및 자세를 나타내는 위치 자세 정보에 의해 제어될 수 있다. 그에 의해, 가상 오브젝트를 HMD의 위치 및 자세에 구애되지 않고 설정 위치에 중첩하는 것이 실현될 수 있다. 여기서, HMD의 위치 및 자세를 검출하기 위해 사용되는 센서의 검출 오차 등에 기인하여 위치 자세 정보의 오차가 생길 수 있다. 그에 의해, 가상 오브젝트의 중첩 위치와 설정 위치의 사이에서의 어긋남이 생길 수 있으므로, 위치 자세 정보를 보정할 필요가 있다. 위치 자세 정보의 보정이 행해진 경우, 위치 자세 정보의 보정 전후에 있어서 가상 오브젝트의 중첩 위치가 급준하게 변화할 수 있다. 그에 의해, 유저에게 위화감을 주는 것 등에 의해 유저에 의한 AR 기술의 원활한 이용이 곤란해지는 경우가 있었다.
그래서, 본 개시에서는, 유저에 의한 AR 기술의 이용을 원활화하는 것이 가능한, 신규이면서도 개량된 정보 처리 장치, 정보 처리 방법 및 프로그램을 제안한다.
본 개시에 따르면, 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와, 상기 위치 자세 정보를 보정하는 보정부를 구비하고, 상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하는,
정보 처리 장치가 제공된다.
또한, 본 개시에 따르면, 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 정보 처리 장치에 의해 표시 장치를 제어하는 것과, 상기 위치 자세 정보를 보정하는 것을 포함하고, 상기 위치 자세 정보가 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하는,
정보 처리 방법이 제공된다.
또한, 본 개시에 따르면, 컴퓨터를, 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와, 상기 위치 자세 정보를 보정하는 보정부로서 기능시키기 위한 프로그램이며, 상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하는, 프로그램이 제공된다.
이상 설명한 바와 같이 본 개시에 따르면, 유저에 의한 AR 기술의 이용을 원활화하는 것이 가능하다.
또한, 상기 효과는 반드시 한정적인 것은 아니며, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서에 나타난 어느 효과 또는 본 명세서로부터 파악될 수 있는 다른 효과가 발휘되어도 된다.
도 1은, 본 개시의 실시 형태에 관한 표시 장치의 개략 구성의 일례를 도시하는 모식도이다.
도 2는, 동 실시 형태에 관한 정보 처리 장치의 기능 구성의 일례를 도시하는 블록도이다.
도 3은, 길 안내용 애플리케이션의 실행 시에 있어서의 표시 장치에 의한 표시예를 도시하는 설명도이다.
도 4는, 길 안내용 애플리케이션의 실행 시에 있어서의 표시 장치에 의한 표시예를 도시하는 설명도이다.
도 5는, 동 실시 형태에 관한 정보 처리 장치가 행하는 처리의 전체적인 흐름의 일례를 도시하는 흐름도이다.
도 6은, 동 실시 형태에 관한 정보 처리 장치의 제어부가 행하는 천이 표시 제어에 관한 처리의 흐름의 일례를 도시하는 흐름도이다.
도 7은, 동 실시 형태에 관한 정보 처리 장치의 제어부가 행하는 제1 천이 표시 제어의 제1 예의 흐름의 일례를 도시하는 흐름도이다.
도 8은, 가상 오브젝트의 설정 위치와 보정 전후에 있어서의 위치 자세 정보에 의해 나타나는 표시 장치의 사이의 위치 관계의 일례를 도시하는 모식도이다.
도 9는, 표시 장치의 위치와 가상 오브젝트의 중첩 위치를 연결하는 직선을 따른 방향으로 중첩 위치를 조정하는 처리에 대하여 설명하기 위한 모식도이다.
도 10은, 제1 천이 표시 제어의 제1 예에 의한 표시의 추이예를 도시하는 설명도이다.
도 11은, 참고예에 관한 정보 처리 장치가 행하는 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다.
도 12는, 동 실시 형태에 관한 정보 처리 장치의 제어부가 행하는 제1 천이 표시 제어의 제2 예의 흐름의 일례를 도시하는 흐름도이다.
도 13은, 제1 천이 표시 제어의 제2 예에 의한 표시의 추이예를 도시하는 설명도이다.
도 14는, 동 실시 형태에 관한 정보 처리 장치의 제어부가 행하는 제2 천이 표시 제어의 제1 예의 흐름의 일례를 도시하는 흐름도이다.
도 15는, 제2 천이 표시 제어의 제1 예에 의한 표시의 추이예를 도시하는 설명도이다.
도 16은, 참고예에 관한 정보 처리 장치가 행하는 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다.
도 17은, 동 실시 형태에 관한 정보 처리 장치의 제어부가 행하는 제2 천이 표시 제어의 제2 예의 흐름의 일례를 도시하는 흐름도이다.
도 18은, 제2 천이 표시 제어의 제2 예에 의한 표시의 추이예를 도시하는 설명도이다.
도 19는, 동 실시 형태에 관한 정보 처리 장치의 제어부가 행하는 제3 천이 표시 제어의 흐름의 일례를 도시하는 흐름도이다.
도 20은, 제3 천이 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다.
도 21은, 참고예에 관한 정보 처리 장치가 행하는 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다.
도 22는, 가상 오브젝트가 천이 표시 제어의 개시 직전 및 천이 표시 제어의 종료 직후의 쌍방에 있어서 표시 영역 내에 표시되지 않는다고 판정되는 경우에 있어서의 천이 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 적합한 실시 형태에 대하여 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 번호를 부여함으로써 중복 설명을 생략한다.
또한, 설명은 이하의 순서로 행하기로 한다.
1. 표시 장치의 구성
2. 정보 처리 장치의 동작
2-1. 처리의 전체적인 흐름
2-2. 천이 표시 제어
2-2-1. 제1 천이 표시 제어
2-2-2. 제2 천이 표시 제어
2-2-3. 제3 천이 표시 제어
2-2-4. 보충
3. 정보 처리 장치의 효과
4. 정리
<1. 표시 장치의 구성>
우선, 도 1 내지 도 4를 참조하여, 본 개시의 실시 형태에 관한 표시 장치(1)의 구성에 대하여 설명한다.
도 1은, 본 실시 형태에 관한 표시 장치(1)의 개략 구성의 일례를 도시하는 모식도이다.
표시 장치(1)는, 유저의 헤드부에 장착되어 사용되는 표시 장치인 헤드 마운트 디스플레이이다. 예를 들어, 표시 장치(1)는, 실공간에 있어서의 유저의 시계 내에 있어서의 실공간에 가상 오브젝트를 중첩하여 표시하는 광학 투과형 HMD이다. 예를 들어, 표시 장치(1)는, 장착 시에 유저의 눈과 대향하는 투과성 부재와, 투과성 부재에 화상을 투사하는 기구를 갖는다. 투과성 부재에 투사된 화상은 투과성 부재에 의해 반사되어 유저의 눈에 입사되고, 유저에게 허상으로서 시인된다. 그에 의해, 가상 오브젝트의 실공간에 대한 중첩 표시가 실현될 수 있다. 또한, 표시 장치(1)는, 본 개시에 관한 이동체의 일례에 상당한다.
표시 장치(1)는, 예를 들어 도 1에 도시한 바와 같이, 카메라(20)와, 위치 자세 센서(30)와, 정보 처리 장치(100)를 구비한다.
카메라(20)는, 유저의 시계 내에 있어서의 실공간을 촬상한다. 또한, 카메라(20)는, 촬상에 의해 얻어지는 실공간이 비치는 촬상 화상을 정보 처리 장치(100)로 출력한다.
위치 자세 센서(30)는, 표시 장치(1)의 위치 및 자세에 관한 정보를 검출하는 센서이다. 위치 자세 센서(30)는, 복수의 센서를 포함해도 되며, 예를 들어 지자기 센서, 가속도 센서, 자이로 센서 및 GNSS(Global Navigation Satellite System) 센서 등의 모션 센서를 포함한다. 위치 자세 센서(30)는, 구체적으로는 이들 센서를 사용함으로써, 표시 장치(1)의 위치 및 자세에 관한 정보로서, 표시 장치(1)의 위치, 자세, 가속도 및 각속도를 검출할 수 있다. 위치 자세 센서(30)에 의한 표시 장치(1)의 위치 및 자세의 검출은, 예를 들어 지자기 센서 및 GNSS 센서를 사용함으로써 실현될 수 있다. 또한, 위치 자세 센서(30)에 의한 표시 장치(1)의 가속도 및 각속도의 검출은, 예를 들어 가속도 센서 및 자이로 센서를 사용함으로써 실현될 수 있다. 또한, 위치 자세 센서(30)는, 검출 결과를 정보 처리 장치(100)로 출력한다. 또한, 카메라(20)에 의한 촬상 화상에 기초하여 장치의 자기 위치를 추정하는 Visual SLAM(Simultaneous Localization and Mapping) 기술이 채용되는 경우, 위치 자세 센서(30)에 카메라(20)가 포함되는 것으로 추정되어도 된다.
정보 처리 장치(100)는, 연산 처리 장치인 CPU(Central Processing Unit), CPU가 사용하는 프로그램이나 연산 파라미터 등을 기억하는 기억 소자인 ROM(Read Only Memory) 및 CPU의 실행에 있어서 적절하게 변화하는 파라미터 등을 일시 기억하는 기억 소자인 RAM(Random Access Memory) 등을 포함하여 구성된다. 정보 처리 장치(100)는, 예를 들어 표시 장치(1)에 내장된다.
도 2는, 본 실시 형태에 관한 정보 처리 장치(100)의 기능 구성의 일례를 도시하는 블록도이다.
정보 처리 장치(100)는, 예를 들어 도 2에 도시되는 바와 같이, 통신부(110)와, 기억부(120)와, 갱신부(130)와, 보정부(140)와, 제어부(150)를 구비한다.
통신부(110)는, 유선 또는 무선의 정보 네트워크를 통하여 정보 처리 장치(100)의 외부의 장치와 통신한다.
구체적으로는, 통신부(110)는, 위치 자세 센서(30)에 의해 검출된 표시 장치(1)의 위치 및 자세에 관한 정보를 위치 자세 센서(30)로부터 수신하여, 기억부(120) 및 갱신부(130)로 출력한다. 또한, 통신부(110)는, 카메라(20)의 촬상 화상을 카메라(20)로부터 수신하여, 보정부(140)로 출력한다. 또한, 통신부(110)는, 제어부(150)로부터 출력된 표시 장치(1)의 동작을 제어하기 위한 동작 명령을 표시 장치(1)로 송신한다.
기억부(120)는, 정보 처리 장치(100)가 행하는 각 처리에 있어서 사용되는 정보를 기억한다.
구체적으로는, 기억부(120)는, 제어부(150)가 행하는 표시 제어에 있어서 사용되는 정보로서, 표시 장치(1)의 위치 및 자세를 나타내는 정보인 위치 자세 정보나 실공간에 중첩 표시되는 가상 오브젝트에 관한 정보를 기억한다. 또한, 기억부(120)는, 보정부(140)가 행하는 보정 처리에 있어서 사용되는 정보로서, 보정 처리에 있어서 카메라(20)의 촬상 화상과의 비교 대상으로 되는 마커 화상을 기억한다.
갱신부(130)는, 표시 장치(1)의 위치 자세 정보를 갱신한다. 구체적으로는, 갱신부(130)는, 기억부(120)에 기억되는 위치 자세 정보가 최신의 상태로 유지되도록, 반복 위치 자세 정보를 갱신한다. 또한, 표시 장치(1)의 위치 자세 정보는, 실공간에 관련지어진, 소위 글로벌 좌표계 상에 있어서 정의되는 것으로 간주되어도 된다. 이 경우, 가상 오브젝트의 실공간에 대한 중첩 표시는, 글로벌 좌표계에 있어서의 표시 장치(1)의 위치와, 가상 오브젝트의 설정 위치의 상대적인 위치 관계에 따라 제어될 수 있다.
보정부(140)는, 표시 장치(1)의 위치 자세 정보를 보정한다. 구체적으로는, 보정부(140)는, 기억부(120)에 기억되는 위치 자세 정보의 오차가 캔슬되도록, 위치 자세 정보를 보정한다. 또한, 본 명세서에서는, 「보정」이라고 하는 경우, 표시 장치(1)의 위치 또는 자세의 순간적인 변경(환언하면, 비교적 큰 변경)을 수반하는 정보의 변경을 의미한다. 또한, 보정 전의 위치 자세 정보는 제1 위치 자세 정보로 간주되어도 되고, 보정 후의 위치 자세 정보는 제2 위치 자세 정보로 간주되어도 된다. 이와 같이, 제1 위치 자세 정보와 제2 위치 자세 정보는, 서로 비연속적인 위치 자세 정보에 상당한다.
제어부(150)는, 표시 장치(1)의 동작을 제어하기 위한 동작 명령을 통신부(110)로 출력함으로써, 표시 장치(1)의 동작을 제어한다. 그에 의해, 표시 장치(1)에 의한 가상 오브젝트의 실공간에 대한 중첩 표시가 제어된다. 이와 같이, 제어부(150)는, 가상 오브젝트를 실공간에 중첩하도록 표시 장치(1)를 제어한다. 또한, 본 명세서에서는, 표시 장치(1)에 의한 가상 오브젝트의 실공간에 대한 중첩 표시에 대하여 제어부(150)가 실행하는 제어를 표시 제어라고 칭한다.
구체적으로는, 제어부(150)는, 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 표시 장치(1)의 위치 자세 정보에 기초하여 실공간에 중첩하도록 표시 장치(1)를 제어한다. 보다 구체적으로는, 제어부(150)는, 설정 위치와 대응지어진 가상 오브젝트를 표시 장치(1)의 위치 자세 정보와 설정 위치의 관계성에 기초하여 실공간에 중첩하도록 표시 장치(1)를 제어한다. 그에 의해, 설정 위치와 대응지어진 가상 오브젝트가 표시 장치(1)의 위치 및 자세에 구애되지 않고 설정 위치에 중첩될 수 있다.
정보 처리 장치(100)가 행하는 표시 제어는, 예를 들어 길 안내용 애플리케이션에 적용된다.
도 3 및 도 4는, 길 안내용 애플리케이션의 실행 시에 있어서의 표시 장치(1)에 의한 표시예를 도시하는 설명도이다. 구체적으로는, 도 3에서는, 표시 장치(1)를 장착한 상태에서 역구내를 이동하고 있는 유저의 시점에서 본 모습이 도시되어 있다. 도 4에서는, 도 3과 비교하여 시간이 경과한 후에 있어서, 시가지를 이동하고 있는 유저의 시점에서 본 모습이 도시되어 있다. 또한, 도 3 및 도 4에 도시되는 표시 영역(50)은, 표시 장치(1)에 의한 정보의 표시의 대상으로 되는 영역이며, 유저의 시계 내의 영역에 상당한다.
길 안내용 애플리케이션의 실행 시에는, 예를 들어 도 3에 도시되는 바와 같이, 유저에 의한 조작에 따라 표시 영역(50) 내에 지도 화상(61)이 표시된다. 유저는, 지도 화상(61)을 사용하여 원하는 목적지를 설정할 수 있다. 목적지가 설정되면, 표시 장치(1)는, 현재지로부터 설정된 목적지로의 권장 루트를 안내하는 표시를 행한다. 예를 들어, 표시 장치(1)는, 도 3 및 도 4에 도시되는 바와 같이, 권장 루트를 나타내는 화살표(62)를 표시한다.
그리고, 유저가 목적지에 가까워져, 예를 들어 유저의 시계 내에 목적지가 들어온 경우, 표시 장치(1)는, 도 4에 도시되는 바와 같이, 설정 위치로서의 목적지와 대응지어진 가상 오브젝트(70)를 목적지에 중첩하여 표시한다. 그에 의해, 유저는, 목적지의 위치를 용이하게 인식할 수 있으므로, 원활하게 목적지에 다다를 수 있다.
가상 오브젝트(70)의 표시는, 가상 오브젝트(70)를 표시 장치(1)의 위치 및 자세에 구애되지 않고 목적지에 중첩하기 위해, 표시 장치(1)의 위치 자세 정보와 목적지의 관계성에 기초하여 제어된다. 따라서, 위치 자세 정보의 보정이 행해진 경우, 위치 자세 정보의 보정 전후에 있어서 가상 오브젝트(70)의 중첩 위치는 변화할 수 있다. 여기서, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)는, 위치 자세 정보가, 제1 위치 자세 정보로부터 당해 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 제1 위치 자세 정보에 기초하여 가상 오브젝트(70)가 표시되는 제1 표시 상태로부터 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 표시 장치(1)를 제어한다. 그에 의해, 유저에 의한 AR 기술의 이용을 원활화할 수 있다.
또한, 본 명세서에서는, 제어부(150)에 의한 표시 제어가 광학 투과형 HMD인 표시 장치(1)에 적용되는 예를 설명하지만, 제어부(150)가 행하는 표시 제어의 적용 대상으로 되는 이동체는 이러한 예에 한정되지 않는다.
예를 들어, 제어부(150)에 의한 표시 제어는, 비디오 투과형 HMD에 적용되어도 된다. 그 경우, 제어부(150)는, 표시 제어에 있어서, 비디오 투과형 HMD에 의한 가상 오브젝트의 화상 상의 실공간에 대한 중첩 표시를 제어한다. 또한, 제어부(150)는, 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체로서의 비디오 투과형 HMD의 위치 자세 정보에 기초하여 화상 상의 실공간에 중첩하도록 당해 HMD를 제어한다.
또한, 예를 들어 제어부(150)에 의한 표시 제어는, 실공간을 촬상하여 촬상에 의해 얻어지는 화상 상의 실공간에 가상 오브젝트를 중첩하여 표시하는 스마트폰 또는 태블릿 단말기 등의 정보 처리 단말기에 적용되어도 된다. 그 경우, 제어부(150)는, 표시 제어에 있어서, 정보 처리 단말기에 의한 가상 오브젝트의 화상 상의 실공간에 대한 중첩 표시를 제어한다. 또한, 제어부(150)는, 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체로서의 정보 처리 단말기의 위치 자세 정보에 기초하여 화상 상의 실공간에 중첩하도록 당해 정보 처리 단말기를 제어한다.
또한, 예를 들어 제어부(150)에 의한 표시 제어는, 차량, 항공기 또는 드론 등의 이동체를 이용함으로써 가상 오브젝트의 실공간에 대한 중첩 표시를 실현하는 시스템의 표시 장치에 적용되어도 된다. 구체적으로는, 이러한 표시 장치로서, 차량 또는 항공기의 탑승자의 시계 내에 있어서의 실공간에 가상 오브젝트를 중첩하여 표시하는 표시 장치인 HUD(Head-Up Display)나, 실공간을 촬상하는 드론에 의해 얻어지는 화상 상의 실공간에 가상 오브젝트를 중첩하여 표시하는 표시 장치를 들 수 있다. 그 경우, 제어부(150)는, 표시 제어에 있어서, 상기 시스템의 표시 장치에 의한 가상 오브젝트의 실공간에 대한 중첩 표시를 제어한다. 또한, 제어부(150)는, 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체로서의 차량, 항공기 또는 드론 등의 위치 자세 정보에 기초하여 실공간에 중첩하도록 상기 시스템의 표시 장치를 제어한다.
<2. 정보 처리 장치의 동작>
이어서, 도 5 내지 도 22를 참조하여, 본 실시 형태에 관한 정보 처리 장치(100)의 동작에 대하여 설명한다.
[2-1. 처리의 전체적인 흐름]
우선, 도 5를 참조하여, 본 실시 형태에 관한 정보 처리 장치(100)가 행하는 처리의 전체적인 흐름에 대하여 설명한다.
도 5는, 본 실시 형태에 관한 정보 처리 장치(100)가 행하는 처리의 전체적인 흐름의 일례를 도시하는 흐름도이다. 도 5에 도시되는 처리 플로우는, 예를 들어 상시 반복된다. 또한, 도 5에 도시되는 처리 플로우는, 표시 제어가 개시되지 않은 상태에서 개시된다.
도 5에 도시되는 처리 플로우가 개시되면, 우선, 스텝 S501에 있어서, 정보 처리 장치(100)는, 표시 제어를 개시할지 여부를 판정한다. 표시 제어를 개시한다고 판정된 경우(스텝 S501/"예"), 스텝 S503으로 진행한다. 한편, 표시 제어를 개시하지 않는다고 판정된 경우(스텝 S501/"아니오"), 도 5에 도시되는 처리 플로우는 종료된다.
예를 들어, 정보 처리 장치(100)는, 상술한 길 안내용 애플리케이션이 유저에 의한 조작에 따라 기동된 것을 갖고, 표시 제어를 개시한다고 판정한다. 또한, 표시 제어를 개시한다고 판정하는 트리거는, 이러한 예에 한정되지 않는다. 예를 들어, 정보 처리 장치(100)는, 길 안내용 애플리케이션과 상이한 다른 애플리케이션이 기동된 것을 갖고, 표시 제어를 개시한다고 판정해도 된다. 또한, 예를 들어 정보 처리 장치(100)는, 표시 장치(1)의 전원이 ON으로 된 것을 갖고, 표시 제어를 개시한다고 판정해도 된다.
또한, 이하에서는, 상술한 길 안내용 애플리케이션의 실행 시에 있어서의 가상 오브젝트(70)의 중첩 표시에 관한 처리에 대하여 주로 설명하지만, 정보 처리 장치(100)의 동작은 이러한 예에 한정되지 않으며, 정보 처리 장치(100)는 다른 상황(예를 들어 다른 애플리케이션의 실행 시)에 있어서의 가상 오브젝트의 중첩 표시에 대해서도 마찬가지로 동작할 수 있다.
스텝 S503에 있어서, 통신부(110)는, 표시 장치(1)의 위치 자세 정보를 취득한다.
예를 들어, 통신부(110)는, 위치 자세 센서(30)에 의한 표시 장치(1)의 위치 및 자세의 검출 결과를 위치 자세 정보의 초기값으로서 수신하여, 기억부(120)에 기억시킨다.
이어서, 스텝 S505에 있어서, 제어부(150)는, 통상 표시 제어를 실행한다.
통상 표시 제어에서는, 제어부(150)는, 표시 장치(1)의 위치 자세 정보와 가상 오브젝트(70)의 설정 위치의 관계성에 기초하여 가상 오브젝트(70)를 표시하도록 표시 장치(1)를 제어한다.
예를 들어, 제어부(150)는, 통상 표시 제어에 있어서, 실제의 표시 장치(1)의 위치 및 자세를 기준으로 한 가상 오브젝트(70)의 중첩 위치의 상대 위치를, 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 및 자세를 기준으로 한 가상 오브젝트(70)의 설정 위치의 상대 위치와 일치시키도록 표시 제어를 행한다. 그에 의해, 가상 오브젝트(70)의 중첩 위치를 설정 위치와 일치시킬 수 있다. 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 내인 경우, 가상 오브젝트(70)는 표시 장치(1)의 표시 영역(50) 내에 표시된다. 한편, 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 외인 경우, 가상 오브젝트(70)는 표시 장치(1)의 표시 영역(50) 내에 표시되지 않는다.
중첩 위치는, 구체적으로는 실공간에 있어서 가상 오브젝트(70)가 중첩되는 위치(환언하면, 실공간에 있어서 가상 오브젝트(70)가 배치되는 위치)이다. 설정 위치는, 구체적으로는 가상 오브젝트(70)와 대응지어지는 실공간에 있어서의 위치이며, 미리 설정된다. 예를 들어, 길 안내용 애플리케이션에 있어서, 가상 오브젝트(70)의 설정 위치로서, 가상 오브젝트(70)에 의해 나타나는 목적지가 설정된다. 설정 위치를 나타내는 정보는, 예를 들어 기억부(120)에 기억된다.
위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 및 자세가 실제의 표시 장치(1)의 위치 및 자세와 일치하는 경우, 가상 오브젝트(70)의 중첩 위치는 설정 위치와 일치한다. 그러나, 위치 자세 정보에는, 상술한 바와 같이, 위치 자세 센서(30)의 검출 오차 등에 기인하여 오차(환언하면, 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 및 자세와, 실제의 표시 장치(1)의 위치 및 자세의 사이의 어긋남)가 생길 수 있다. 이와 같이 위치 자세 정보의 오차가 생김으로써, 가상 오브젝트(70)의 중첩 위치와 설정 위치의 사이에서, 위치 자세 정보의 오차에 따른 어긋남이 생긴다. 그래서, 가상 오브젝트(70)의 중첩 위치와 설정 위치의 사이의 어긋남을 억제하기 위해, 후술되는 바와 같이, 위치 자세 정보의 보정이 행해진다.
이어서, 스텝 S507에 있어서, 정보 처리 장치(100)는, 표시 장치(1)의 위치 자세 정보를 보정 가능한지 여부를 판정한다. 위치 자세 정보를 보정 가능하다고 판정된 경우(스텝 S507/"예"), 스텝 S509로 진행한다. 한편, 위치 자세 정보를 보정 가능하지 않다고 판정된 경우(스텝 S507/"아니오"), 스텝 S511로 진행한다.
표시 장치(1)의 위치 자세 정보의 보정 처리는, 후술되는 바와 같이, 예를 들어 기억부(120)에 기억되는 마커 화상에 비치는 마커와 대응하는 실공간 상의 마커가 비치는 카메라(20)의 촬상 화상을 사용하여 행해진다. 따라서, 정보 처리 장치(100)는, 예를 들어 마커가 비치는 카메라(20)의 촬상 화상이 취득된 것을 갖고, 위치 자세 정보를 보정 가능하다고 판정한다.
스텝 S509에 있어서, 보정부(140)는, 표시 장치(1)의 위치 자세 정보를 보정한다. 이때, 구체적으로는 표시 장치(1)의 위치 자세 정보가, 제1 위치 자세 정보로부터 당해 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정된다.
예를 들어, 보정부(140)는, 마커가 비치는 카메라(20)의 촬상 화상과 마커 화상을 비교함으로써, 위치 자세 정보를 보정한다. 여기서, 마커 화상은, 표시 장치(1)의 위치 및 자세가 특정한 위치 및 자세를 취하는 상태에서 카메라(20)에 의한 촬상을 행한 경우에 얻어지는 화상이며, 예를 들어 기억부(120)에 미리 기억된다. 이와 같이, 마커 화상은, 특정한 위치 및 자세와 관련지어진 화상이다. 구체적으로는, 기억부(120)에는, 복수의 위치 및 자세에 대한 마커 화상이 미리 기억된다. 또한, 마커 화상에는, 마커라고 칭해지는 실물체가 비쳐져 있어도 되고, 비쳐져 있지 않아도 된다. 또한, 마커 화상과 특정한 위치 및 자세의 관련짓기의 관계성으로서, 정보 처리 장치(100)에 의해 동적으로 생성된 것이 이용되어도 되고, 미리 다른 장치에 의해 생성된 것이 이용되어도 되고, 그들 쌍방이 이용되어도 된다.
보정부(140)는, 구체적으로는 카메라(20)의 촬상 화상에 있어서의 마커의 위치, 자세 및 치수와, 마커 화상에 있어서의 마커의 위치, 자세 및 치수를 비교함으로써, 실제의 표시 장치(1)의 위치 및 자세를 특정한다. 그리고, 보정부(140)는, 기억부(120)에 기억되어 있는 위치 자세 정보를, 이와 같이 특정된 실제의 표시 장치(1)의 위치 및 자세를 나타내는 정보로 보정한다. 그에 의해, 위치 자세 센서(30)의 검출 오차 등에 기인하여 생길 수 있는 위치 자세 정보의 오차가 캔슬된다. 보정부(140)는, 예를 들어 위치 자세 센서(30)에 의해 검출되는 위치 자세 정보의 오차가 역치 이상인 경우에, 위치 자세 정보를 보정해도 된다. 당해 역치는, 예를 들어 가상 오브젝트(70)의 중첩 위치와 설정 위치의 사이의 어긋남을 적절하게 억제할 수 있도록 설정된다. 또한, 위치 자세 정보의 보정이 행해졌을 때, 보정 직전의 위치 자세 정보가 기억부(120)에 이력으로서 기억될 수 있다.
이어서, 스텝 S600에 있어서, 제어부(150)는, 천이 표시 제어에 관한 처리를 실행한다.
천이 표시 제어에서는, 제어부(150)는, 보정 전의 위치 자세 정보인 제1 위치 자세 정보에 기초하여 가상 오브젝트(70)가 표시되는 제1 표시 상태로부터 보정 후의 위치 자세 정보인 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 표시 장치(1)를 제어한다. 환언하면, 천이 표시 제어에서는, 보정 전의 위치 자세 정보인 제1 위치 자세 정보에 기초하여 통상 표시 제어가 실행되는 상태로부터 보정 후의 위치 자세 정보인 제2 위치 자세 정보에 기초하여 통상 표시 제어가 실행되는 상태로의 천이를 나타내는 표시를 행하도록 표시 장치(1)가 제어된다. 천이 표시 제어에 관한 처리에 있어서의 구체적인 처리의 흐름에 대해서는, 후술에서 상세하게 설명한다.
이어서, 스텝 S511에 있어서, 정보 처리 장치(100)는, 표시 제어를 종료할지 여부를 판정한다. 표시 제어를 종료한다고 판정된 경우(스텝 S511/"예"), 도 5에 도시되는 처리 플로우는 종료된다. 한편, 표시 제어를 종료하지 않는다고 판정된 경우(스텝 S511/"아니오"), 스텝 S513으로 진행한다.
예를 들어, 정보 처리 장치(100)는, 상술한 길 안내용 애플리케이션이 유저에 의한 조작에 따라 종료된 것을 갖고, 표시 제어를 종료한다고 판정한다. 또한, 표시 제어를 종료한다고 판정하는 트리거는, 이러한 예에 한정되지 않는다. 예를 들어, 정보 처리 장치(100)는, 길 안내용 애플리케이션과 상이한 다른 애플리케이션이 종료된 것을 갖고, 표시 제어를 종료한다고 판정해도 된다. 또한, 예를 들어 정보 처리 장치(100)는, 표시 장치(1)의 전원이 OFF로 된 것을 갖고, 표시 제어를 종료한다고 판정해도 된다.
스텝 S513에 있어서, 갱신부(130)는, 표시 장치(1)의 위치 자세 정보를 갱신한다.
예를 들어, 갱신부(130)는, 위치 자세 센서(30)에 의한 표시 장치(1)의 가속도 및 각속도의 검출 결과에 기초하여, 기억부(120)에 기억되는 위치 자세 정보를 갱신한다.
또한, 갱신부(130)는, 카메라(20)의 촬상 화상에 비치는 특징점의 위치의 변화에 기초하여 표시 장치(1)의 위치 자세 정보를 갱신해도 된다. 예를 들어, SLAM(Simultaneous Localization And Mapping)이라고 칭해지는 기술을 이용함으로써, 카메라(20)의 촬상 화상에 기초하는 위치 자세 정보의 갱신이 실현될 수 있다. 또한, 갱신부(130)는, 위치 자세 센서(30)에 의한 표시 장치(1)의 위치 및 자세의 검출 결과에 기초하여, 표시 장치(1)의 위치 자세 정보를 갱신해도 된다. 또한, 이들 경우에 있어서도, 위치 자세 정보에는 오차가 생길 수 있다.
이어서, 스텝 S505로 되돌아가, 갱신된 위치 자세 정보에 기초하는 통상 표시 제어가 실행된다.
[2-2. 천이 표시 제어]
이어서, 도 6 내지 도 22를 참조하여, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 천이 표시 제어에 관한 처리에 대하여 설명한다. 천이 표시 제어에 관한 처리는, 예를 들어 도 5에 도시되는 처리 플로우에 있어서의 스텝 S600의 처리와 대응한다.
우선, 도 6을 참조하여, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 천이 표시 제어에 관한 처리의 흐름에 대하여 설명한다.
도 6은, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 천이 표시 제어에 관한 처리의 흐름의 일례를 도시하는 흐름도이다.
천이 표시 제어에 관한 처리에서는, 예를 들어 천이 표시의 개시 직전에 있어서 가상 오브젝트(70)가 표시 영역(50) 내에 표시되는지 여부의 판정 결과와, 천이 표시의 종료 직후에 있어서 가상 오브젝트(70)가 표시 영역(50) 내에 표시되는지 여부의 판정 결과에 따라 다른 천이 표시 제어가 실행된다.
도 6에 도시되는 처리 플로우가 개시되면, 우선, 스텝 S601에 있어서, 제어부(150)는, 가상 오브젝트(70)가 천이 표시의 종료 직후(환언하면, 위치 자세 정보의 보정 직후에 있어서의 통상 표시 제어의 실행 시)에 있어서 표시 영역(50) 내에 표시되는지 여부를 판정한다. 가상 오브젝트(70)가 천이 표시의 종료 직후에 있어서 표시 영역(50) 내에 표시된다고 판정된 경우(스텝 S601/"예"), 스텝 S603으로 진행한다. 한편, 가상 오브젝트(70)가 천이 표시의 종료 직후에 있어서 표시 영역(50) 내에 표시되지 않는다고 판정된 경우(스텝 S601/"아니오"), 스텝 S605로 진행한다.
예를 들어, 제어부(150)는, 보정 직후의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 및 자세를 기준으로 한 가상 오브젝트(70)의 설정 위치의 상대 위치에 기초하여, 가상 오브젝트(70)가 천이 표시의 종료 직후에 있어서 표시 영역(50) 내에 표시되는지 여부를 판정할 수 있다.
스텝 S603에 있어서, 제어부(150)는, 가상 오브젝트(70)가 천이 표시의 개시 직전(환언하면, 위치 자세 정보의 보정 직전에 있어서의 통상 표시 제어의 실행 시)에 있어서 표시 영역(50) 내에 표시되는지 여부를 판정한다. 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시된다고 판정된 경우(스텝 S603/"예"), 스텝 S610으로 진행한다. 한편, 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시되지 않는다고 판정된 경우(스텝 S603/"아니오"), 스텝 S620으로 진행한다.
예를 들어, 제어부(150)는, 보정 직전의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 및 자세를 기준으로 한 가상 오브젝트(70)의 설정 위치의 상대 위치에 기초하여, 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시되는지 여부를 판정할 수 있다.
스텝 S610에 있어서, 제어부(150)는, 제1 천이 표시 제어를 실행한다. 제1 천이 표시 제어에 있어서의 구체적인 처리의 흐름에 대해서는, 후술에서 상세하게 설명한다.
스텝 S620에 있어서, 제어부(150)는, 제2 천이 표시 제어를 실행한다. 제2 천이 표시 제어에 있어서의 구체적인 처리의 흐름에 대해서는, 후술에서 상세하게 설명한다.
스텝 S605에 있어서, 제어부(150)는, 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시되는지 여부를 판정한다. 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시된다고 판정된 경우(스텝 S605/"예"), 스텝 S630으로 진행한다. 한편, 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시되지 않는다고 판정된 경우(스텝 S605/"아니오"), 도 6에 도시되는 처리는 종료된다.
스텝 S630에 있어서, 제어부(150)는, 제3 천이 표시 제어를 실행한다. 제3 천이 표시 제어에 있어서의 구체적인 처리의 흐름에 대해서는, 후술에서 상세하게 설명한다.
이하에서는, 스텝 S601, 스텝 S603 및 스텝 S605의 각 판정 처리에 있어서의 판정 결과에 따라 실행되는 제1 천이 표시 제어, 제2 천이 표시 제어 및 제3 천이 표시 제어의 각각에 대하여 상세하게 설명한다.
(2-2-1. 제1 천이 표시 제어)
우선, 도 7 내지 도 13을 참조하여, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 제1 천이 표시 제어에 대하여 설명한다.
도 7은, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 제1 천이 표시 제어의 제1 예의 흐름의 일례를 도시하는 흐름도이다.
도 7에 도시되는 처리 플로우가 개시되면, 우선, 스텝 S611에 있어서, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치를 위치 자세 정보의 보정 전의 통상 표시 제어에 있어서의 중첩 위치로 조정한다.
도 8은, 가상 오브젝트(70)의 설정 위치 P72와 보정 전후에 있어서의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 사이의 위치 관계의 일례를 도시하는 모식도이다. 도 8에서는, 보정 직전의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치가 위치 P101이고, 보정 직후의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치가 위치 P102인 예가 도시되어 있다.
구체적으로는, 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치가, 보정 전후에 있어서, 위치 P101로부터 거리 T만큼 이격된 위치 P102로 이동하고 있다. 또한, 위치 자세 정보에 의해 나타나는 표시 장치(1)의 자세가, 보정 전후에 있어서, 각도 R만큼 회전하고 있다.
예를 들어, 도 8에 도시되는 예에서는, 보정 직전의 통상 표시 제어에 있어서, 제어부(150)는, 보정 직전의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 P101 및 자세를 기준으로 한 설정 위치 P72의 상대 위치에 기초하여 표시 제어를 행한다. 여기서, 실제의 표시 장치(1)의 위치 및 자세는, 보정 직후의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 P102 및 자세와 대응한다. 따라서, 보정 전의 통상 표시 제어에 있어서의 가상 오브젝트(70)의 중첩 위치는, 설정 위치 P72와 다른 위치 P71로 된다.
보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P71은, 구체적으로는 설정 위치 P72를 위치 P101로부터 위치 P102로 향하는 방향으로 거리 T만큼 이동시킨 후, 위치 자세 정보에 의해 나타나는 표시 장치(1)의 자세의 보정 전후의 회전 방향과 동일 방향으로 위치 P102를 중심으로 각도 R만큼 회전시킨 위치이다.
제어부(150)는, 도 8에 도시되는 예에서는, 우선, 보정 전의 통상 표시 제어에 있어서의 가상 오브젝트(70)의 중첩 위치인 위치 P71을 산출한다. 그리고, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치를 산출된 위치 P71로 조정한다. 이러한 중첩 위치의 조정은, 구체적으로는 실제의 표시 장치(1)의 위치 및 자세를 기준으로 한 가상 오브젝트(70)의 중첩 위치의 상대 위치를, 보정 직후의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 P102 및 자세를 기준으로 한 위치 P71의 상대 위치와 일치시키도록 표시 제어를 행함으로써 실현된다.
이와 같이, 제어부(150)는, 가상 오브젝트(70)의 설정 위치와, 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 및 자세의 보정 전후에 있어서의 변화에 기초하여, 보정 전의 통상 표시 제어에 있어서의 중첩 위치를 특정할 수 있다. 또한, 제어부(150)는, 이하에서 설명하는 천이 표시 제어의 다른 예에 있어서도 마찬가지로, 보정 전의 통상 표시 제어에 있어서의 중첩 위치를 특정할 수 있다.
이어서, 스텝 S612에 있어서, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치를 위치 자세 정보의 보정 후의 통상 표시 제어에 있어서의 중첩 위치로 점차(예를 들어, 단계적으로) 변화시킨다.
예를 들어, 도 8에 도시되는 예에서는, 보정 후의 통상 표시 제어에 있어서, 제어부(150)는, 보정 후의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 및 자세를 기준으로 한 설정 위치 P72의 상대 위치에 기초하여 표시 제어를 행한다. 따라서, 보정 후의 통상 표시 제어에 있어서의 가상 오브젝트(70)의 중첩 위치는, 설정 위치 P72와 일치한다.
제어부(150)는, 도 8에 도시되는 예에서는, 가상 오브젝트(70)의 중첩 위치를 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P71로부터 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P72로 단계적으로 변화시킨다. 이러한 중첩 위치의 단계적인 변화는, 구체적으로는 실제의 표시 장치(1)의 위치 및 자세를 기준으로 한 가상 오브젝트(70)의 중첩 위치의 상대 위치를, 보정 후의 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치 및 자세를 기준으로 한 위치 P71과 설정 위치 P72의 사이의 각 위치의 상대 위치와 단계적으로 일치시키도록 표시 제어를 행함으로써 실현된다.
이와 같이, 제어부(150)는, 가상 오브젝트(70)의 설정 위치를 보정 후의 통상 표시 제어에 있어서의 중첩 위치로서 특정할 수 있다. 또한, 제어부(150)는, 이하에서 설명하는 천이 표시 제어의 다른 예에 있어서도 마찬가지로, 가상 오브젝트(70)의 설정 위치를 보정 후의 통상 표시 제어에 있어서의 중첩 위치로서 특정할 수 있다.
제어부(150)는, 가상 오브젝트(70)의 중첩 위치의 변화 속도를 여러 가지 파라미터에 기초하여 제어할 수 있다. 또한, 제어부(150)는, 이하에서 설명하는 천이 표시 제어의 다른 예에 있어서도 마찬가지로, 가상 오브젝트(70)의 중첩 위치의 변화 속도를 제어할 수 있다.
예를 들어, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치의 변화 속도를 표시 장치(1)의 움직임에 기초하여 제어해도 된다. 구체적으로는, 제어부(150)는, 표시 장치(1)의 위치 또는 자세의 변화 속도가 클수록, 가상 오브젝트(70)의 중첩 위치의 변화 속도를 크게 해도 된다. 즉, 표시 장치(1)의 위치 또는 자세의 변화 속도가 제1 변화 속도인 경우, 표시 장치(1)의 위치 또는 자세의 변화 속도가 제1 변화 속도보다 작은 제2 변화 속도인 경우보다, 가상 오브젝트(70)의 중첩 위치의 변화 속도가 커지도록 표시 장치(1)가 제어된다고 간주되어도 된다. 또한, 여기서 말하는 표시 장치(1)의 위치 또는 자세의 변화 속도에는, 유저(표시 장치(1))의 이동 속도, 혹은 회전 속도의 변화가 포함된다.
또한, 예를 들어 제어부(150)는, 가상 오브젝트(70)의 중첩 위치의 변화 속도를 가상 오브젝트(70)가 동적 오브젝트(동화상)인지 여부에 기초하여 제어해도 된다. 구체적으로는, 제어부(150)는, 가상 오브젝트(70)가 동적 오브젝트인 경우에, 가상 오브젝트(70)가 비동적 오브젝트(정지 화상)인 경우와 비교하여 가상 오브젝트(70)의 중첩 위치의 변화 속도를 크게 해도 된다. 또한, 동적 오브젝트에는, 소위 애니메이션 화상이 포함되며, 소정의 조건에 기초하여 동작을 행하는 오브젝트이면 된다.
또한, 예를 들어 제어부(150)는, 표시 장치(1)의 위치와 가상 오브젝트(70)의 중첩 위치를 연결하는 직선을 따른 방향으로 중첩 위치를 우선적으로 변화시켜도 된다. 도 9는, 표시 장치(1)의 위치와 가상 오브젝트(70)의 중첩 위치를 연결하는 직선을 따른 방향으로 중첩 위치를 조정하는 처리에 대하여 설명하기 위한 모식도이다. 예를 들어, 도 9에 도시되는 바와 같이, 가상 오브젝트(70)의 중첩 위치가 위치 P73이며 위치 자세 정보에 의해 나타나는 표시 장치(1)의 위치가 위치 P103인 경우에 있어서, 제어부(150)는, 위치 P103과 위치 P73을 연결하는 직선 L1을 따라 위치 P74까지 중첩 위치를 우선적으로 변화시켜도 된다. 위치 P74는, 예를 들어 위치 P103과 위치 P73을 연결하는 직선 L1과, 직선 L1에 대하여 직교하고 설정 위치 P72를 통과하는 직선 L2의 교점과 대응한다. 환언하면, 위치 P74는, 직선 L1 상에 있어서 설정 위치 P72와 가장 가까운 점과 대응한다. 또한, 제어부(150)는, 직선 L1과 직선 L2이 이루는 각의 각도 θ가 소정의 각도(예를 들어, 30°)보다 작은 경우에 한하여, 중첩 위치를 직선 L1을 따라 우선적으로 변화시켜도 된다.
또한, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치의 변화 속도를 일정하게 유지해도 된다. 그 경우, 가상 오브젝트(70)의 중첩 위치는, 시간의 경과에 따라 변화한다.
이어서, 도 7에 도시되는 처리는 종료된다.
도 10은, 제1 천이 표시 제어의 제1 예에 의한 표시의 추이예를 도시하는 설명도이다. 도 10에서는, 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P11 및 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P12가 도시되어 있다.
제1 천이 표시 제어는, 상술한 바와 같이, 가상 오브젝트(70)가 천이 표시의 개시 직전 및 천이 표시의 종료 직후의 쌍방에 있어서 표시 영역(50) 내에 표시된다고 판정되는 경우에 실행된다. 따라서, 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P11 및 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P12는 모두 표시 영역(50) 내에 위치할 수 있다.
예를 들어, 시각 T11에 있어서, 제1 천이 표시 제어의 제1 예가 실행되면, 가상 오브젝트(70)의 중첩 위치가 위치 P11로 조정된다. 그에 의해, 도 10에 도시되는 바와 같이, 천이 표시 제어의 개시 직전과 마찬가지로, 표시 영역(50) 내의 위치 P11에 가상 오브젝트(70)가 표시된다. 그 후, 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 내에 있어서 위치 P11로부터 설정 위치 P12로 단계적으로 변화한다.
구체적으로는, 시각 T11보다 후인 시각 T12에 있어서의 가상 오브젝트(70)의 중첩 위치는, 시각 T11과 비교하여 설정 위치 P12에 근접해 있다. 또한, 시각 T12보다 후인 시각 T13에 있어서의 가상 오브젝트(70)의 중첩 위치는, 시각 T12와 비교하여 더 설정 위치 P12에 근접해 있다. 그리고, 시각 T14에 있어서, 가상 오브젝트(70)가 설정 위치 P12에 표시된 상태에서, 천이 표시 제어가 통상 표시 제어로 전환된다.
이와 같이, 제1 천이 표시 제어의 제1 예가 실행됨으로써, 위치 자세 정보의 보정이 행해졌을 때, 예를 들어 위치 자세 정보의 보정 전에 있어서 표시 영역(50) 내의 위치 P11에 표시되어 있던 가상 오브젝트(70)가 표시 영역(50) 내에 있어서 위치 P11로부터 설정 위치 P12로 단계적으로 이동한다.
도 11은, 참고예에 관한 정보 처리 장치가 행하는 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다. 참고예에 관한 정보 처리 장치는, 본 실시 형태에 관한 정보 처리 장치(100)와 달리, 위치 자세 정보의 보정이 행해졌을 때에 천이 표시 제어를 실행하지 않고, 통상 표시 제어를 계속적으로 실행한다. 도 11에서는, 구체적으로는 위치 자세 정보의 보정 직전의 통상 표시 제어 및 보정 직후의 통상 표시 제어의 쌍방에 있어서 가상 오브젝트(70)가 표시 영역(50) 내에 표시되는 경우의 참고예에 의한 표시의 추이예가 도시되어 있다. 이러한 경우, 참고예에서는, 예를 들어 도 11에 도시되는 바와 같이, 위치 자세 정보의 보정 전의 시각 T21에 있어서 표시 영역(50) 내의 위치 P11에 표시되어 있던 가상 오브젝트(70)가, 위치 자세 정보의 보정이 행해지는 시각 T22에 있어서 급준하게 표시 영역(50) 내의 설정 위치 P12로 이동한다.
이와 같이, 참고예에서는, 위치 자세 정보의 보정이 행해지는 것에 수반하여, 표시 영역(50) 내에 표시되는 가상 오브젝트(70)가 급준하게 이동한다. 그에 의해, 위치 자세 정보의 보정 전후에 있어서 유저에게 위화감을 준다. 한편, 본 실시 형태에 관한 정보 처리 장치(100)에 따르면, 위치 자세 정보의 보정이 행해졌을 때에 제1 천이 표시 제어의 제1 예가 행해짐으로써, 표시 영역(50) 내에 표시되는 가상 오브젝트(70)가 급준하게 이동하는 것이 억제된다. 그에 의해, 위치 자세 정보의 보정 전후에 있어서 유저에게 위화감을 주는 것을 억제할 수 있다.
도 12는, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 제1 천이 표시 제어의 제2 예의 흐름의 일례를 도시하는 흐름도이다.
도 12에 도시되는 처리 플로우가 개시되면, 우선, 스텝 S615에 있어서, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치를 위치 자세 정보의 보정 전의 통상 표시 제어에 있어서의 중첩 위치로 조정한다.
이어서, 스텝 S616에 있어서, 제어부(150)는, 가상 오브젝트(70)의 투명도를 100%로 점차(예를 들어, 단계적으로) 상승시킨다.
구체적으로는, 투명도가 100%인 상태는, 투명도가 가장 높은 상태에 상당한다. 가상 오브젝트(70)의 투명도가 100%인 경우, 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 내라도, 가상 오브젝트(70)는 표시되지 않는다.
이어서, 스텝 S617에 있어서, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치를 위치 자세 정보의 보정 후의 통상 표시 제어에 있어서의 중첩 위치로 조정한다.
이어서, 스텝 S618에 있어서, 제어부(150)는, 가상 오브젝트(70)의 투명도를 점차(예를 들어, 단계적으로) 저하시킨다.
이어서, 도 12에 도시되는 처리는 종료된다.
도 13은, 제1 천이 표시 제어의 제2 예에 의한 표시의 추이예를 도시하는 설명도이다. 도 13에서는, 도 10과 마찬가지로, 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P11 및 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P12가 도시되어 있다.
예를 들어, 시각 T31에 있어서, 제1 천이 표시 제어의 제2 예가 실행되면, 가상 오브젝트(70)의 중첩 위치가 위치 P11로 조정된다. 그에 의해, 도 13에 도시되는 바와 같이, 천이 표시의 개시 직전과 마찬가지로, 표시 영역(50) 내의 위치 P11에 가상 오브젝트(70)가 중첩하여 표시된다. 그 후, 가상 오브젝트(70)의 투명도가 100%로 단계적으로 상승한다. 구체적으로는, 시각 T31보다 후인 시각 T32에 있어서의 가상 오브젝트(70)의 투명도는, 시각 T31과 비교하여 높게 되어 있다. 그리고, 가상 오브젝트(70)의 투명도가 더 상승하여 시각 T33에 있어서 100%로 되고, 가상 오브젝트(70)가 비표시의 상태로 된다.
또한, 시각 T33에 있어서 가상 오브젝트(70)의 중첩 위치가 설정 위치 P12로 조정된다. 그 후, 가상 오브젝트(70)의 투명도가 단계적으로 저하된다. 구체적으로는, 시각 T33보다 후인 시각 T34에 있어서의 가상 오브젝트(70)의 투명도는, 시각 T33과 비교하여 낮게 되어 있다. 그리고, 가상 오브젝트(70)의 투명도가 더 저하하여, 시각 T35에 있어서, 가상 오브젝트(70)가 설정 위치 P12에 표시된 상태에서, 천이 표시 제어가 통상 표시 제어로 전환된다.
이와 같이, 제1 천이 표시 제어의 제2 예가 실행됨으로써, 위치 자세 정보의 보정이 행해졌을 때, 예를 들어 위치 자세 정보의 보정 전에 있어서 표시 영역(50) 내의 위치 P11에 표시되어 있던 가상 오브젝트(70)가 페이드 아웃된 후에, 표시 영역(50) 내의 설정 위치 P12에 가상 오브젝트(70)가 페이드 인된다.
위치 자세 정보의 보정이 행해졌을 때에 제1 천이 표시 제어의 제2 예가 실행됨으로써, 제1 천이 표시 제어의 제1 예가 행해지는 경우와 마찬가지로, 표시 영역(50) 내에 있어서 가상 오브젝트(70)의 중첩 위치가 급준하게 이동하는 것에 기인하여 유저에게 위화감을 주는 것을 억제할 수 있다.
이와 같이, 제어부(150)는, 천이 표시에 있어서, 가상 오브젝트(70)의 시인성을 점차 변화시키도록 표시 장치(1)를 제어해도 된다. 또한, 상기에서는, 제어부(150)가 가상 오브젝트(70)의 투명도를 점차 변화시킴으로써 가상 오브젝트(70)의 시인성을 점차 변화시키는 예를 설명하였지만, 제어부(150)는 다른 방법에 의해 가상 오브젝트(70)의 시인성을 점차 변화시켜도 된다. 또한, 제어부(150)는, 이하에서 설명하는 천이 표시 제어의 다른 예에 있어서도 마찬가지로, 투명도를 점차 변화시키는 이외의 방법에 의해서도, 가상 오브젝트(70)의 시인성을 점차 변화시킬 수 있다.
예를 들어, 제어부(150)는, 가상 오브젝트의 색을 점차 변화시킴으로써 가상 오브젝트(70)의 시인성을 점차 변화시켜도 된다. 또한, 예를 들어 제어부(150)는, 가상 오브젝트를 점멸 표시하고, 점멸의 간격을 점차 변화시킴으로써 가상 오브젝트(70)의 시인성을 점차 변화시켜도 된다.
제어부(150)는, 가상 오브젝트(70)의 시인성의 변화 속도를 여러 가지 파라미터에 기초하여 제어할 수 있다. 또한, 제어부(150)는, 이하에서 설명하는 천이 표시 제어의 다른 예에 있어서도 마찬가지로, 가상 오브젝트(70)의 시인성의 변화 속도를 제어할 수 있다.
예를 들어, 제어부(150)는, 가상 오브젝트(70)의 시인성의 변화 속도를 표시 장치(1)의 움직임에 기초하여 제어해도 된다. 구체적으로는, 제어부(150)는, 표시 장치(1)의 위치 또는 자세의 변화 속도가 클수록, 가상 오브젝트(70)의 시인성의 변화 속도를 크게 해도 된다. 즉, 표시 장치(1)의 위치 또는 자세의 변화 속도가 제1 변화 속도인 경우, 표시 장치(1)의 위치 또는 자세의 변화 속도가 제1 변화 속도보다 작은 제2 변화 속도인 경우보다, 가상 오브젝트(70)의 시인성의 변화 속도가 커지도록 표시 장치(1)가 제어된다고 간주되어도 된다. 또한, 여기서 말하는 표시 장치(1)의 위치 또는 자세의 변화 속도에는, 유저(표시 장치(1))의 이동 속도, 혹은 회전 속도의 변화가 포함된다.
(2-2-2. 제2 천이 표시 제어)
이어서, 도 14 내지 도 18을 참조하여, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 제2 천이 표시 제어에 대하여 설명한다.
도 14는, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 제2 천이 표시 제어의 제1 예의 흐름의 일례를 도시하는 흐름도이다.
도 14에 도시되는 처리 플로우가 개시되면, 우선, 스텝 S621에 있어서, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치를 위치 자세 정보의 보정 전의 통상 표시 제어에 있어서의 중첩 위치로 조정한다.
이어서, 스텝 S622에 있어서, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치를 위치 자세 정보의 보정 후의 통상 표시 제어에 있어서의 중첩 위치로 점차(예를 들어, 단계적으로) 변화시킨다.
이어서, 도 14에 도시되는 처리는 종료된다.
도 15는, 제2 천이 표시 제어의 제1 예에 의한 표시의 추이예를 도시하는 설명도이다. 도 15에서는, 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P21 및 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P22가 도시되어 있다.
제2 천이 표시 제어는, 상술한 바와 같이, 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시되지 않는다고 판정되며, 또한 천이 표시의 종료 직후에 있어서 표시 영역(50) 내에 표시된다고 판정되는 경우에 실행된다. 따라서, 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P21은 표시 영역(50) 밖에 위치하고, 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P22는 표시 영역(50) 내에 위치할 수 있다.
예를 들어, 시각 T41에 있어서, 제2 천이 표시 제어의 제1 예가 실행되면, 가상 오브젝트(70)의 중첩 위치가 위치 P21로 조정된다. 그에 의해, 도 15에 도시되는 바와 같이, 천이 표시의 개시 직전과 마찬가지로, 표시 영역(50) 내에는 가상 오브젝트(70)가 표시되지 않는다. 그 후, 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 외의 위치 P21로부터 표시 영역(50) 내의 설정 위치 P22로 단계적으로 변화한다.
구체적으로는, 시각 T41보다 후인 시각 T42에 있어서의 가상 오브젝트(70)의 중첩 위치는, 시각 T41과 비교하여 설정 위치 P22에 근접해 있다. 또한, 시각 T42에서는, 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 외이므로, 표시 영역(50) 내에는 가상 오브젝트(70)가 표시되지 않는다. 또한, 시각 T42보다 후인 시각 T43에 있어서의 가상 오브젝트(70)의 중첩 위치는, 시각 T42와 비교하여 더 설정 위치 P22에 근접해 있다. 또한, 시각 T43에서는, 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 내이므로, 표시 영역(50) 내에 가상 오브젝트(70)가 표시된다. 그리고, 시각 T44에 있어서, 가상 오브젝트(70)가 설정 위치 P22에 표시된 상태에서, 천이 표시 제어가 통상 표시 제어로 전환된다.
이와 같이, 제2 천이 표시 제어의 제1 예가 실행됨으로써, 위치 자세 정보의 보정이 행해졌을 때, 예를 들어 위치 자세 정보의 보정 전에 있어서 표시 영역(50) 내에 표시되지 않았던 가상 오브젝트(70)가 표시 영역(50)의 단부에 표시된 후에 표시 영역(50) 내에 있어서 단부로부터 설정 위치 P22로 단계적으로 이동한다.
도 16은, 참고예에 관한 정보 처리 장치가 행하는 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다. 참고예에 관한 정보 처리 장치는, 상술한 바와 같이, 위치 자세 정보의 보정이 행해졌을 때에 천이 표시 제어를 실행하지 않고, 통상 표시 제어를 계속적으로 실행한다. 도 16에서는, 구체적으로는 위치 자세 정보의 보정 직전의 통상 표시 제어에 있어서 가상 오브젝트(70)가 표시 영역(50) 내에 표시되지 않고, 또한 보정 직후의 통상 표시 제어에 있어서 가상 오브젝트(70)가 표시 영역(50) 내에 표시되는 경우의 참고예에 의한 표시의 추이예가 도시되어 있다. 이러한 경우, 참고예에서는, 예를 들어 도 16에 도시되는 바와 같이, 위치 자세 정보의 보정 전의 시각 T51에 있어서 표시 영역(50) 내에 표시되지 않았던 가상 오브젝트(70)가, 위치 자세 정보의 보정이 행해지는 시각 T52에 있어서 표시 영역(50) 내의 설정 위치 P22에 돌연 표시된다.
이와 같이, 참고예에서는, 위치 자세 정보의 보정이 행해지는 것에 수반하여, 표시 영역(50) 내에 가상 오브젝트(70)가 돌연 표시된다. 그에 의해, 위치 자세 정보의 보정 전후에 있어서 유저에게 위화감을 준다. 또한, 유저의 시선 상에 가상 오브젝트(70)가 돌연 표시되는 경우, 유저가 전방을 보기 어렵게 될 수 있다. 한편, 본 실시 형태에 관한 정보 처리 장치(100)에 따르면, 위치 자세 정보의 보정이 행해졌을 때에 제2 천이 표시 제어의 제1 예가 행해짐으로써, 표시 영역(50) 내에 가상 오브젝트(70)가 돌연 표시되는 것이 억제된다. 그에 의해, 위치 자세 정보의 보정 전후에 있어서 유저에게 위화감을 주는 것 및 유저가 전방을 보기 어렵게 되는 것을 억제할 수 있다.
도 17은, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 제2 천이 표시 제어의 제2 예의 흐름의 일례를 도시하는 흐름도이다.
도 17에 도시되는 처리 플로우가 개시되면, 우선, 스텝 S625에 있어서, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치를 위치 자세 정보의 보정 후의 통상 표시 제어에 있어서의 중첩 위치로 조정하고, 가상 오브젝트(70)의 투명도를 100%로 설정한다.
이어서, 스텝 S626에 있어서, 제어부(150)는, 가상 오브젝트(70)의 투명도를 점차(예를 들어, 단계적으로) 저하시킨다.
이어서, 도 17에 도시되는 처리는 종료된다.
도 18은, 제2 천이 표시 제어의 제2 예에 의한 표시의 추이예를 도시하는 설명도이다. 도 18에서는, 도 15와 마찬가지로, 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P21 및 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P22가 도시되어 있다.
예를 들어, 시각 T61에 있어서, 제2 천이 표시 제어의 제2 예가 실행되면, 가상 오브젝트(70)의 중첩 위치가 설정 위치 P22로 조정되고, 가상 오브젝트(70)의 투명도가 100%로 설정된다. 따라서, 가상 오브젝트(70)의 중첩 위치는 표시 영역(50) 내이기는 하지만, 가상 오브젝트(70)는 비표시의 상태로 되어 있다. 그 후, 가상 오브젝트(70)의 투명도가 단계적으로 저하된다. 구체적으로는, 시각 T61보다 후인 시각 T62에 있어서의 가상 오브젝트(70)의 투명도는, 시각 T61과 비교하여 낮게 되어 있다. 그리고, 가상 오브젝트(70)의 투명도가 더 저하되어, 시각 T63에 있어서, 가상 오브젝트(70)가 설정 위치 P22에 표시된 상태에서, 천이 표시 제어가 통상 표시 제어로 전환된다.
이와 같이, 제2 천이 표시 제어의 제2 예가 실행됨으로써, 위치 자세 정보의 보정이 행해졌을 때, 예를 들어 위치 자세 정보의 보정 전에 있어서 가상 오브젝트(70)가 표시되지 않았던 표시 영역(50) 내의 설정 위치 P22에 가상 오브젝트(70)가 페이드 인된다.
위치 자세 정보의 보정이 행해졌을 때에 제2 천이 표시 제어의 제2 예가 실행됨으로써, 제2 천이 표시 제어의 제1 예가 행해지는 경우와 마찬가지로, 표시 영역(50) 내에 가상 오브젝트(70)가 돌연 표시되는 것에 기인하여 유저에게 위화감을 주는 것 및 유저가 전방을 보기 어렵게 되는 것을 억제할 수 있다.
(2-2-3. 제3 천이 표시 제어)
이어서, 도 19 내지 도 21을 참조하여, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 제3 천이 표시 제어에 대하여 설명한다.
도 19는, 본 실시 형태에 관한 정보 처리 장치(100)의 제어부(150)가 행하는 제3 천이 표시 제어의 흐름의 일례를 도시하는 흐름도이다.
도 19에 도시되는 처리 플로우가 개시되면, 우선, 스텝 S631에 있어서, 제어부(150)는, 가상 오브젝트(70)의 중첩 위치를 위치 자세 정보의 보정 후의 통상 표시 제어에 있어서의 중첩 위치로 조정한다.
이어서, 스텝 S632에 있어서, 제어부(150)는, 위치 자세 정보의 보정 전의 통상 표시 제어에 있어서의 중첩 위치와 대응하는 위치에 통지 오브젝트를 표시시킨다. 통지 오브젝트는, 보정 전의 위치 자세 정보인 제1 위치 자세 정보에 기초하는 제1 표시 상태로부터 보정 후의 위치 자세 정보인 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시의 실행을 통지하는 통지 오브젝트이다. 이와 같이, 제어부(150)는, 천이 표시에 있어서, 가상 오브젝트(70)의 표시 상태를, 제1 위치 자세 정보에 기초하는 제1 표시 상태로부터 제2 위치 자세 정보에 기초하는 제2 표시 상태로 순간적으로 변경함과 함께 통지 오브젝트를 표시하도록 표시 장치(1)를 제어해도 된다. 또한, 천이 표시에 있어서의 가상 오브젝트(70)의 표시 상태는, 도 20을 참조하여 후술하는 바와 같이, 가상 오브젝트(70)가 표시 영역(50) 내에 표시되지 않는 상태를 포함한다.
예를 들어, 제어부(150)는, 텍스트 오브젝트를 통지 오브젝트로서 표시시켜도 된다. 또한, 통지 오브젝트는 이러한 예에 한정되지 않고, 예를 들어 마크 등의 다른 오브젝트여도 된다. 또한, 통지 오브젝트는 애니메이션이어도 된다.
이어서, 스텝 S633에 있어서, 제어부(150)는, 설정 시간이 경과하였는지 여부를 판정한다. 설정 시간이 경과하였다고 판정된 경우(스텝 S633/"예"), 스텝 S634로 진행한다. 한편, 설정 시간이 경과하지 않았다고 판정된 경우(스텝 S633/"아니오"), 스텝 S633의 처리가 반복된다.
설정 시간은, 예를 들어 유저에 의해 통지 오브젝트가 시인될 가능성이 비교적 높다고 상정될 정도의 길이를 갖는 시간으로 설정된다.
이어서, 스텝 S634에 있어서, 제어부(150)는, 통지 오브젝트의 표시를 정지시킨다.
이어서, 도 19에 도시되는 처리는 종료된다.
도 20은, 제3 천이 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다. 도 20에서는, 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P31 및 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P32가 도시되어 있다.
제3 천이 표시 제어는, 상술한 바와 같이, 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시된다고 판정되며, 또한 천이 표시의 종료 직후에 있어서 표시 영역(50) 내에 표시되지 않는다고 판정되는 경우에 실행된다. 따라서, 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P31은 표시 영역(50) 내에 위치하고, 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P32는 표시 영역(50) 밖에 위치할 수 있다.
예를 들어, 시각 T71에 있어서, 제3 천이 표시 제어가 실행되면, 가상 오브젝트(70)의 중첩 위치가 설정 위치 P32로 조정된다. 그에 의해, 가상 오브젝트(70)가 표시 영역(50) 내에 표시되지 않는 상태로 된다. 또한, 위치 P31과 대응하는 위치(예를 들어, 위치 P31 자체 또는 위치 P31의 근방의 위치)에 통지 오브젝트가 표시된다. 예를 들어, 도 20에 도시되는 바와 같이, 표시 영역(50) 내의 위치 P31과 대응하는 위치에, 가상 오브젝트(70)의 중첩 위치가 이동하였다는 취지를 나타내는 텍스트 오브젝트(81) 및 화살표(82)가 통지 오브젝트로서 표시된다. 그 후, 텍스트 오브젝트(81) 및 화살표(82)의 표시가 개시된 후 설정 시간이 경과한 시각 T72에 있어서, 텍스트 오브젝트(81) 및 화살표(82)가 비표시 상태로 되고, 천이 표시 제어가 통상 표시 제어로 전환된다.
이와 같이, 제3 천이 표시 제어가 실행됨으로써, 위치 자세 정보의 보정이 행해졌을 때, 예를 들어 위치 자세 정보의 보정 전에 있어서 표시 영역(50) 내에 표시되어 있던 가상 오브젝트(70)가 비표시 상태로 됨과 함께 통지 오브젝트가 설정 시간 동안 표시된다.
도 21은, 참고예에 관한 정보 처리 장치가 행하는 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다. 참고예에 관한 정보 처리 장치는, 상술한 바와 같이, 위치 자세 정보의 보정이 행해졌을 때 천이 표시 제어를 실행하지 않고, 통상 표시 제어를 계속적으로 실행한다. 도 21에서는, 구체적으로는 위치 자세 정보의 보정 직전의 통상 표시 제어에 있어서 가상 오브젝트(70)가 표시 영역(50) 내에 표시되며, 또한 보정 직후의 통상 표시 제어에 있어서 가상 오브젝트(70)가 표시 영역(50) 내에 표시되지 않는 경우의 참고예에 의한 표시의 추이예가 도시되어 있다. 이러한 경우, 참고예에서는, 예를 들어 도 21에 도시되는 바와 같이, 위치 자세 정보의 보정 전의 시각 T81에 있어서 표시 영역(50) 내의 위치 P31에 표시되어 있던 가상 오브젝트(70)가, 위치 자세 정보의 보정이 행해지는 시각 T82에 있어서 돌연 비표시 상태로 된다.
이와 같이, 참고예에서는, 위치 자세 정보의 보정이 행해지는 것에 수반하여, 표시 영역(50) 내에 표시되어 있던 가상 오브젝트(70)가 돌연 비표시 상태로 된다. 그에 의해, 유저가 가상 오브젝트(70)를 놓칠 우려가 있다. 한편, 본 실시 형태에 관한 정보 처리 장치(100)에 따르면, 위치 자세 정보의 보정이 행해졌을 때에 제3 천이 표시 제어가 행해짐으로써, 통지 오브젝트에 의해 가상 오브젝트(70)의 중첩 위치가 변화하였음을 통지할 수 있다. 그에 의해, 가상 오브젝트(70)가 돌연 비표시 상태로 되는 것에 기인하여 유저가 가상 오브젝트(70)를 놓치는 것을 억제할 수 있다.
또한, 상기에서는, 통지 오브젝트의 표시가 개시된 후에 있어서 설정 시간이 경과한 경우에, 통지 오브젝트의 표시가 종료되는 예에 대하여 설명하였지만, 통지 오브젝트의 표시의 종료의 트리거는 이러한 예에 한정되지 않는다. 예를 들어, 제어부(150)는, 통지 오브젝트의 표시가 개시된 후에 있어서, 표시 장치(1)의 움직임이 소정 시간 정지되었다고 판정된 경우에 통지 오브젝트의 표시를 종료해도 된다. 제어부(150)는, 예를 들어 위치 자세 정보에 기초하여, 표시 장치(1)의 움직임이 소정 시간 정지하였는지 여부를 판정할 수 있다. 그에 의해, 유저가 통지 오브젝트를 시인하기 전에 통지 오브젝트의 표시가 종료되는 것을 억제할 수 있다.
(2-2-4. 보충)
상기에서는, 도 6을 참조하여, 가상 오브젝트(70)가 천이 표시의 개시 직전 및 천이 표시의 종료 직후의 쌍방에 있어서 표시 영역(50) 내에 표시되지 않는다고 판정되는 경우에, 천이 표시 제어가 실행되지 않는 예에 대하여 설명하였지만, 제어부(150)는, 그러한 경우에 천이 표시 제어를 실행해도 된다. 예를 들어, 제어부(150)는, 그러한 경우에 가상 오브젝트(70)의 중첩 위치를 위치 자세 정보의 보정 전의 통상 표시 제어에 있어서의 중첩 위치로부터 보정 후의 통상 표시 제어에 있어서의 중첩 위치로 점차 변화시켜도 된다.
도 22는, 가상 오브젝트(70)가 천이 표시의 개시 직전 및 천이 표시의 종료 직후의 쌍방에 있어서 표시 영역(50) 내에 표시되지 않는다고 판정되는 경우에 있어서의 천이 표시 제어에 의한 표시의 추이예를 도시하는 설명도이다. 도 22에서는, 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P41 및 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P42가 도시되어 있다. 보정 전의 통상 표시 제어에 있어서의 중첩 위치인 위치 P41 및 보정 후의 통상 표시 제어에 있어서의 중첩 위치인 설정 위치 P42는 모두 표시 영역(50) 밖에 위치할 수 있다.
예를 들어, 시각 T91에 있어서, 상기 천이 표시 제어가 실행되면, 가상 오브젝트(70)의 중첩 위치가 위치 P41로 조정된다. 그에 의해, 도 22에 도시되는 바와 같이, 천이 표시의 개시 직전과 마찬가지로, 표시 영역(50) 내에는 가상 오브젝트(70)가 표시되지 않는다. 그 후, 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 밖에 있어서 위치 P41로부터 설정 위치 P42로 단계적으로 변화한다.
구체적으로는, 시각 T91보다 후인 시각 T92에 있어서의 가상 오브젝트(70)의 중첩 위치는, 시각 T91과 비교하여 설정 위치 P42에 근접해 있다. 또한, 시각 T92보다 후인 시각 T93에 있어서의 가상 오브젝트(70)의 중첩 위치는, 시각 T92와 비교하여 더 설정 위치 P42에 근접해 있다. 그리고, 시각 T94에 있어서, 가상 오브젝트(70)가 설정 위치 P42에 표시된 상태에서, 천이 표시 제어가 통상 표시 제어로 전환된다.
이러한 천이 표시 제어가 실행됨으로써, 위치 자세 정보의 보정이 행해졌을 때, 표시 영역(50) 내에 표시되고 있지 않은 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 밖에 있어서 점차 변화한다. 예를 들어, 유저가 일시적으로 가상 오브젝트(70)로부터 시계를 벗어남으로써 가상 오브젝트(70)의 중첩 위치가 표시 영역(50) 밖으로 된 타이밍에 위치 자세 정보의 보정이 행해지는 경우가 고려된다. 이러한 경우에, 가상 오브젝트(70)의 중첩 위치를 표시 영역(50) 밖에 있어서 점차 변화시킴으로써, 위치 자세 정보의 보정 직후에 시선을 복귀시킨 유저가 가상 오브젝트(70)를 놓치는 것을 억제할 수 있다.
또한, 상기에서는, 유저가 가상 오브젝트(70)를 시인하고 있는지 여부에 기초한 표시 제어에 대하여 언급하지 않았지만, 제어부(150)는, 유저가 가상 오브젝트(70)를 시인하고 있는지 여부의 판정 결과에 기초하여 천이 표시를 실행하도록 표시 장치(1)를 제어해도 된다.
예를 들어, 제어부(150)는, 유저가 가상 오브젝트(70)를 시인하고 있지 않다고 판정된 경우에 천이 표시를 정지하고, 그 후, 유저가 가상 오브젝트(70)를 시인하고 있다고 판정된 경우에 천이 표시를 재개하도록 표시 장치(1)를 제어한다. 구체적으로는, 제어부(150)는, 천이 표시 제어로서 가상 오브젝트(70)의 중첩 위치 또는 시인성을 점차 변화시키는 표시 제어를 실행하는 경우에 있어서, 유저가 가상 오브젝트(70)를 시인하고 있다고 판정될 때에 한하여, 가상 오브젝트(70)의 중첩 위치 또는 시인성을 점차 변화시켜도 된다.
또한, 예를 들어 제어부(150)는, 유저가 가상 오브젝트(70)를 시인하고 있지 않다고 판정된 경우에, 유저가 가상 오브젝트(70)를 시인하고 있다고 판정된 경우와 비교하여, 천이 표시에 있어서의 가상 오브젝트(70)의 중첩 위치 또는 시인성의 변화 속도를 크게 해도 된다. 그에 의해, 유저가 가상 오브젝트(70)의 중첩 위치 또는 시인성의 변화를 알아차리기 어려운 상태에 있어서, 중첩 위치 또는 시인성을 신속히 변화시킬 수 있다.
제어부(150)는, 예를 들어 유저의 시선의 검출 결과에 기초하여, 유저가 가상 오브젝트(70)를 시인하고 있는지 여부를 판정해도 된다. 구체적으로는, 유저의 시선을 검출하는 시선 센서를 사용함으로써 유저의 시선의 검출이 실현된다. 시선 센서는, 예를 들어 표시 장치(1)에 있어서의 유저의 얼굴과 대향하는 부분에 마련되며, 유저의 얼굴을 촬상하고, 촬상에 의해 얻어지는 화상에 대하여 화상 처리를 행함으로써 유저의 시선을 검출할 수 있다. 구체적으로는, 시선 센서는, 유저의 얼굴의 방향에 기초하여 유저의 시선을 검출해도 되고, 각막 반사법을 사용하여 유저의 시선을 검출해도 된다.
또한, 제어부(150)는, 예를 들어 가상 오브젝트(70)가 표시 영역(50) 내에 표시되어 있는지 여부에 기초하여, 유저가 가상 오브젝트(70)를 시인하고 있는지 여부를 판정해도 된다. 구체적으로는, 제어부(150)는, 가상 오브젝트(70)가 표시 영역(50) 내에 표시되어 있는 것을 갖고, 유저가 가상 오브젝트(70)를 시인하고 있다고 판정할 수 있다.
상술한 바와 같이, 제어부(150)는, 예를 들어 가상 오브젝트(70)가 천이 표시의 종료 직후에 있어서 표시 영역(50) 내에 표시된다고 판정되는 경우, 제1 천이 표시 제어 또는 제2 천이 표시 제어에 있어서, 가상 오브젝트(70)의 중첩 위치 또는 시인성을 점차 변화시킨다. 또한, 상술한 바와 같이, 제어부(150)는, 예를 들어 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시되며, 또한 천이 표시의 종료 직후에 있어서 표시 영역(50) 내에 표시되지 않는다고 판정된 경우, 제3 천이 표시 제어에 있어서, 통지 오브젝트를 표시시킨다. 여기서, 각 천이 표시 제어에 있어서 실행되는 표시 제어는, 이러한 예에 한정되지 않는다.
예를 들어, 제1 천이 표시 제어 및 제2 천이 표시 제어에 있어서, 가상 오브젝트(70)의 중첩 위치 또는 시인성을 점차 변화시키는 표시 제어에 추가하여 통지 오브젝트를 표시시키는 표시 제어가 실행되어도 된다.
또한, 예를 들어 제3 천이 표시 제어에 있어서, 가상 오브젝트(70)의 중첩 위치 또는 시인성을 점차 변화시키는 표시 제어가 실행되어도 된다. 또한, 제3 천이 표시 제어에 있어서, 통지 오브젝트를 표시시키는 표시 제어에 추가하여 가상 오브젝트(70)의 중첩 위치 또는 시인성을 점차 변화시키는 표시 제어가 실행되어도 된다.
또한, 예를 들어 각 천이 표시 제어에 있어서, 가상 오브젝트(70)의 중첩 위치를 점차 변화시키는 표시 제어와, 가상 오브젝트(70)의 시인성을 점차 변화시키는 표시 제어가 병행하여 실행되어도 된다. 구체적으로는, 제어부(150)는, 각 천이 표시 제어에 있어서, 가상 오브젝트(70)의 시인성이 중첩 위치의 이동의 개시 후에 감소하고 중첩 위치의 이동의 종료 전에 증대되도록, 가상 오브젝트(70)의 중첩 위치 및 시인성을 점차 변화시켜도 된다.
또한, 상기에서는, 표시 영역(50) 내에 설정 위치와 대응지어진 가상 오브젝트가 복수 표시되는 예에 대하여 언급하고 있지 않지만, 예를 들어 그러한 경우에 있어서, 제어부(150)는, 복수의 가상 오브젝트 중 일부의 가상 오브젝트에 대해서만 천이 표시 제어를 실행해도 된다. 예를 들어, 제어부(150)는, 유저가 시인하고 있다고 판정되는 가상 오브젝트에 대해서만 천이 표시 제어를 실행해도 된다. 구체적으로는, 제어부(150)는, 제3 천이 표시 제어에 있어서, 유저가 시인하고 있다고 판정되는 가상 오브젝트에 대해서만 통지 오브젝트를 표시해도 된다. 제어부(150)는, 예를 들어 유저의 시선의 검출 결과에 기초하여, 유저가 어느 가상 오브젝트를 시인하고 있는지 여부를 판정할 수 있다. 이와 같이, 유저가 시인하고 있다고 판정되는 가상 오브젝트에 대해서만 천이 표시 제어가 실행됨으로써, 천이 표시 제어에 의해 과잉 정보가 유저에게 제시되는 것을 억제할 수 있다.
<3. 정보 처리 장치의 효과>
이어서, 본 실시 형태에 관한 정보 처리 장치(100)의 효과에 대하여 설명한다.
본 실시 형태에 관한 정보 처리 장치(100)에서는, 이동체로서의 표시 장치(1)의 위치 자세 정보의 보정이 제1 위치 자세 정보로부터 당해 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 제1 위치 자세 정보에 기초하여 가상 오브젝트(70)가 표시되는 제1 표시 상태로부터 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 표시 장치(1)가 제어된다. 그에 의해, 위치 자세 정보의 보정 전후에 있어서 가상 오브젝트(70)의 중첩 위치가 급준하게 변화하는 것에 기인하여, 유저에 의한 AR 기술의 원활한 이용이 곤란해지는 것을 억제할 수 있다. 따라서, 유저에 의한 AR 기술의 이용을 원활화할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 천이 표시에 있어서, 가상 오브젝트(70)의 중첩 위치를 점차 변화시키도록 표시 장치(1)가 제어될 수 있다. 그에 의해, 위치 자세 정보의 보정 전후에 있어서 가상 오브젝트(70)의 중첩 위치가 급준하게 변화하는 것에 기인하여 유저에게 위화감을 주는 것 및 유저가 전방을 보기 어렵게 되는 것을 억제할 수 있다. 따라서, 유저에 의한 AR 기술의 이용을 원활화하는 것을 효과적으로 실현할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 천이 표시에 있어서, 이동체로서의 표시 장치(1)의 위치 또는 자세의 변화 속도가 제1 변화 속도인 경우, 표시 장치(1)의 위치 또는 자세의 변화 속도가 당해 제1 변화 속도보다 작은 제2 변화 속도인 경우보다, 가상 오브젝트(70)의 중첩 위치의 변화 속도가 커지도록 표시 장치(1)가 제어될 수 있다. 여기서, 표시 장치(1)의 위치 또는 자세의 변화 속도가 클수록, 유저는 가상 오브젝트(70)의 중첩 위치의 변화를 알아차리기 어려울 것이 기대된다. 따라서, 가상 오브젝트(70)의 중첩 위치의 변화 속도를 표시 장치(1)의 위치 또는 자세의 변화 속도에 기초하여 제어함으로써, 유저에게 위화감을 주는 것을 억제하면서, 중첩 위치를 신속히 변화시킬 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 천이 표시에 있어서, 가상 오브젝트(70)가 동적 오브젝트인 경우, 가상 오브젝트(70)가 비동적 오브젝트인 경우보다, 가상 오브젝트(70)의 중첩 위치의 변화 속도가 커지도록 표시 장치(1)가 제어될 수 있다. 여기서, 가상 오브젝트(70)가 동적 오브젝트인 경우에는, 가상 오브젝트(70)가 비동적 오브젝트인 경우와 비교하여, 유저는 가상 오브젝트(70)의 중첩 위치의 변화를 알아차리기 어려울 것이 기대된다. 따라서, 가상 오브젝트(70)의 중첩 위치의 변화 속도를 가상 오브젝트(70)가 동적 오브젝트인지 여부에 기초하여 제어함으로써, 유저에게 위화감을 주는 것을 억제하면서, 중첩 위치를 신속히 변화시킬 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 천이 표시에 있어서, 이동체로서의 표시 장치(1)의 위치와 가상 오브젝트(70)의 중첩 위치를 연결하는 직선을 따른 방향으로 중첩 위치를 우선적으로 변화시키도록 표시 장치(1)가 제어될 수 있다. 여기서, 표시 장치(1)의 위치와 가상 오브젝트(70)의 중첩 위치를 연결하는 직선을 따른 방향으로 중첩 위치가 이동하는 경우에는, 다른 방향으로 중첩 위치가 이동하는 경우와 비교하여, 유저는 가상 오브젝트(70)의 중첩 위치의 변화를 알아차리기 어려울 것이 기대된다. 따라서, 표시 장치(1)의 위치와 가상 오브젝트(70)의 중첩 위치를 연결하는 직선을 따른 방향으로 중첩 위치를 우선적으로 변화시킴으로써, 유저에게 위화감을 주는 것을 억제하면서, 중첩 위치를 신속히 변화시킬 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 가상 오브젝트(70)가 천이 표시의 종료 직후에 있어서 표시 장치(1)의 표시 영역(50) 내에 표시된다고 판정되는 경우, 천이 표시에 있어서, 가상 오브젝트(70)의 중첩 위치를 점차 변화시키도록 표시 장치(1)가 제어될 수 있다. 이러한 경우에 있어서 가령 천이 표시 제어가 실행되지 않으면, 표시 영역(50) 내에 표시되는 가상 오브젝트(70)가 급준하게 이동할 수 있으므로, 유저에게 위화감을 줄 수 있다. 혹은, 가상 오브젝트(70)가 표시 영역(50) 내에 돌연 표시될 수 있으므로, 유저가 전방을 보기 어렵게 될 수 있다. 따라서, 이러한 경우에 있어서 가상 오브젝트(70)의 중첩 위치를 점차 변화시킴으로써, 위치 자세 정보의 보정 전후에 있어서 유저에게 위화감을 주는 것 및 유저가 전방을 보기 어렵게 되는 것을 적절하게 억제할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 천이 표시에 있어서, 가상 오브젝트(70)의 시인성을 점차 변화시키도록 표시 장치(1)가 제어될 수 있다. 그에 의해, 위치 자세 정보의 보정 전후에 있어서 가상 오브젝트(70)의 중첩 위치가 급준하게 변화하는 것에 기인하여 유저에게 위화감을 주는 것 및 유저가 전방을 보기 어렵게 되는 것을 억제할 수 있다. 따라서, 유저에 의한 AR 기술의 이용을 원활화하는 것을 효과적으로 실현할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 천이 표시에 있어서, 이동체로서의 표시 장치(1)의 위치 또는 자세의 변화 속도가 제1 변화 속도인 경우, 표시 장치(1)의 위치 또는 자세의 변화 속도가 당해 제1 변화 속도보다 작은 제2 변화 속도인 경우보다, 가상 오브젝트(70)의 시인성의 변화 속도가 커지도록 표시 장치(1)가 제어될 수 있다. 여기서, 표시 장치(1)의 위치 또는 자세의 변화 속도가 클수록, 유저는 가상 오브젝트(70)의 시인성의 변화를 알아차리기 어려울 것이 기대된다. 따라서, 가상 오브젝트(70)의 시인성의 변화 속도를 표시 장치(1)의 위치 또는 자세의 변화 속도에 기초하여 제어함으로써, 유저에게 위화감을 주는 것을 억제하면서, 시인성을 신속히 변화시킬 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 천이 표시에 있어서, 가상 오브젝트(70)의 투명도를 점차 변화시킴으로써 가상 오브젝트(70)의 시인성을 점차 변화시키도록 표시 장치(1)가 제어될 수 있다. 그에 의해, 가상 오브젝트(70)를 표시 영역(50) 내에 있어서 페이드 인 또는 페이드 아웃시킬 수 있으므로, 가상 오브젝트(70)의 시인성을 효과적으로 변화시킬 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 가상 오브젝트(70)가 천이 표시의 종료 직후에 있어서 표시 영역(50) 내에 표시된다고 판정되는 경우, 천이 표시에 있어서, 가상 오브젝트(70)의 시인성을 점차 변화시키도록 표시 장치(1)가 제어될 수 있다. 이러한 경우에 있어서 가령 천이 표시 제어가 실행되지 않으면, 표시 영역(50) 내에 표시되는 가상 오브젝트(70)가 급준하게 이동할 수 있으므로, 유저에게 위화감을 줄 수 있다. 혹은, 가상 오브젝트(70)가 표시 영역(50) 내에 돌연 표시될 수 있으므로, 유저가 전방을 보기 어렵게 될 수 있다. 따라서, 이러한 경우에 있어서 가상 오브젝트(70)의 시인성을 점차 변화시킴으로써, 위치 자세 정보의 보정 전후에 있어서 유저에게 위화감을 주는 것 및 유저가 전방을 보기 어렵게 되는 것을 적절하게 억제할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 천이 표시에 있어서, 가상 오브젝트(70)의 표시 상태를, 제1 위치 자세 정보에 기초하는 제1 표시 상태로부터 제2 위치 자세 정보에 기초하는 제2 표시 상태로 순간적으로 변경함과 함께 천이 표시의 실행을 통지하는 통지 오브젝트를 표시하도록 표시 장치(1)가 제어될 수 있다. 그에 의해, 위치 자세 정보의 보정 전후에 있어서 가상 오브젝트(70)의 중첩 위치가 급준하게 변화하는 것에 기인하여 유저가 가상 오브젝트(70)를 놓치는 것을 억제할 수 있다. 따라서, 유저에 의한 AR 기술의 이용을 원활화하는 것을 효과적으로 실현할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 천이 표시에 있어서, 텍스트 오브젝트를 통지 오브젝트로서 표시하도록 표시 장치(1)가 제어될 수 있다. 그에 의해, 가상 오브젝트(70)의 중첩 위치가 변화하였음을 적절하게 유저에게 통지할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 가상 오브젝트(70)가 천이 표시의 개시 직전에 있어서 표시 영역(50) 내에 표시되며, 또한 천이 표시의 종료 직후에 있어서 표시 영역(50) 내에 표시되지 않는다고 판정된 경우, 천이 표시에 있어서, 통지 오브젝트를 표시하도록 표시 장치(1)가 제어될 수 있다. 이러한 경우에 있어서 가령 천이 표시 제어가 실행되지 않으면, 표시 영역(50) 내에 표시되어 있던 가상 오브젝트(70)가 돌연 비표시 상태로 될 수 있다. 그에 의해, 위치 자세 정보의 보정 전후에 있어서 유저가 가상 오브젝트(70)를 놓칠 우려가 있다. 따라서, 이러한 경우에 있어서 통지 오브젝트를 표시시킴으로써, 위치 자세 정보의 보정 전후에 있어서 유저가 가상 오브젝트(70)를 놓치는 것을 적절하게 억제할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 유저가 가상 오브젝트(70)를 시인하고 있는지 여부의 판정 결과에 기초하여, 천이 표시를 실행하도록 표시 장치(1)가 제어될 수 있다. 그에 의해, 가상 오브젝트(70)의 중첩 위치 또는 시인성의 변화의 유저에 의한 알아차리기 용이성에 기초하여 적절하게 천이 표시 제어를 실행할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 유저의 시선의 검출 결과에 기초하여, 유저가 가상 오브젝트(70)를 시인하고 있는지 여부가 판정될 수 있다. 그에 의해, 유저가 가상 오브젝트(70)를 시인하고 있는지 여부를 적절하게 판정할 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 유저가 가상 오브젝트(70)를 시인하고 있지 않다고 판정된 경우에 천이 표시를 정지하고, 그 후, 유저가 가상 오브젝트(70)를 시인하고 있다고 판정된 경우에 천이 표시를 재개하도록 표시 장치(1)가 제어될 수 있다. 그에 의해, 위치 자세 정보의 보정에 의해 상태 천이가 생겼음을 유저에게 보다 적절하게 인식시킬 수 있다.
또한, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 위치 자세 센서(30)에 의해 검출되는 위치 자세 정보의 오차가 역치 이상인 경우에, 위치 자세 정보가 보정될 수 있다. 그에 의해, 가상 오브젝트(70)의 중첩 위치와 설정 위치의 사이의 어긋남을 적절하게 억제할 수 있다.
<4. 정리>
이상 설명한 바와 같이, 본 실시 형태에 관한 정보 처리 장치(100)에서는, 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 자세 정보에 기초하여 실공간에 중첩하도록 표시 장치(1)를 제어하는 제어부(150)를 구비한다. 또한, 제어부(150)는, 위치 자세 정보가, 제1 위치 자세 정보로부터 당해 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 제1 위치 자세 정보에 기초하여 가상 오브젝트(70)가 표시되는 제1 표시 상태로부터 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 표시 장치(1)를 제어한다. 그에 의해, 유저에 의한 AR 기술의 이용을 원활화할 수 있다.
또한, 상술에서는, 정보 처리 장치(100)가 행하는 각 처리에 있어서 사용되는 정보가 정보 처리 장치(100)의 기억부(120)에 기억되는 예를 설명하였지만, 그러한 정보는, 정보 처리 장치(100)의 외부의 장치에 기억되어도 된다. 그 경우, 통신부(110)가 당해 외부의 장치와 통신을 행함으로써, 정보 처리 장치(100)는 그러한 정보를 취득할 수 있다. 또한, 그 경우, 정보 처리 장치(100)의 구성으로부터 기억부(120)가 생략되어도 된다.
또한, 상술에서는, 위치 자세 센서(30)가 표시 장치(1)에 마련되는 예에 대하여 설명하였지만, 위치 자세 센서(30)는 표시 장치(1)의 외부에 마련되어도 된다. 환언하면, 위치 자세 센서(30)는, 반드시 표시 장치(1)와 일체로서 이동하지 않아도 된다. 예를 들어, 위치 자세 센서(30)는, 차량, 노상 또는 건물 등에 마련되어도 된다. 그러한 경우라도, 정보 처리 장치(100)는, 위치 자세 센서(30)와 통신함으로써, 위치 자세 센서(30)에 의해 검출된 표시 장치(1)의 위치 및 자세에 관한 정보를 취득할 수 있다.
또한, 상술에서는, 정보 처리 장치(100)가 표시 장치(1)에 마련되는 예에 대하여 설명하였지만, 정보 처리 장치(100)는 표시 장치(1)의 외부에 마련되어도 된다. 환언하면, 정보 처리 장치(100)는, 반드시 표시 장치(1)와 일체로서 이동하지 않아도 된다. 그러한 경우라도, 정보 처리 장치(100)는, 표시 장치(1)와 통신함으로써, 표시 장치(1)의 동작을 제어할 수 있다.
또한, 본 명세서에 있어서 설명한 각 장치에 의한 일련의 제어 처리는, 소프트웨어, 하드웨어 및 소프트웨어와 하드웨어의 조합 중 어느 것을 사용하여 실현되어도 된다. 소프트웨어를 구성하는 프로그램은, 예를 들어 각 장치의 내부 또는 외부에 마련되는 기억 매체(비일시적인 매체: non-transitory media)에 미리 저장된다. 그리고, 각 프로그램은, 예를 들어 실행 시에 RAM에 읽어들여져, CPU 등의 프로세서에 의해 실행된다. 각 프로그램을 실행하는 프로세서는, 단수여도 복수여도 된다.
구체적으로는, 상술한 바와 같은 정보 처리 장치(100)의 각 기능을 실현하기 위한 컴퓨터 프로그램을 제작하고, PC 등에 실장하는 것이 가능하다. 정보 처리 장치(100)는, 컴퓨터에 상당할 수 있다. 또한, 이러한 컴퓨터 프로그램이 저장된, 컴퓨터로 판독 가능한 기록 매체도 제공할 수 있다. 기록 매체는, 예를 들어 자기 디스크, 광 디스크, 광 자기 디스크, 플래시 메모리 등이다. 또한, 상기 컴퓨터 프로그램은, 기록 매체를 사용하지 않고, 예를 들어 네트워크를 통하여 배신되어도 된다. 또한, 정보 처리 장치(100)의 각 기능은 복수의 컴퓨터에 의해 분할되어도 되며, 그 경우, 당해 복수의 컴퓨터가 갖는 각 기능은, 상기 컴퓨터 프로그램에 의해 실현될 수 있다.
또한, 본 명세서에 있어서 흐름도를 사용하여 설명한 처리는, 반드시 흐름도에 나타난 순서로 실행되지 않아도 된다. 몇 개의 처리 스텝은, 병렬적으로 실행되어도 된다. 또한, 추가적인 처리 스텝이 채용되어도 되고, 일부의 처리 스텝이 생략되어도 된다.
이상, 첨부 도면을 참조하면서 본 개시의 적합한 실시 형태에 대하여 상세하게 설명하였지만, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 갖는 자라면, 특허청구범위에 기재된 기술적 사상의 범주 내에 있어서, 각종 변경예 또는 수정예에 상도할 수 있는 것은 명확하며, 이들에 대해서도, 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것으로서 한정적이지는 않다. 즉, 본 개시에 관한 기술은, 상기 효과와 함께, 또는 상기 효과 대신에, 본 명세서의 기재로부터 당업자에게는 명확한 다른 효과를 발휘할 수 있다.
또한, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1)
실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와,
상기 위치 자세 정보를 보정하는 보정부
를 구비하고,
상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하는,
정보 처리 장치.
(2)
상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트의 중첩 위치를 점차 변화시키도록 상기 표시 장치를 제어하는,
상기 (1)에 기재된 정보 처리 장치.
(3)
상기 제어부는, 상기 천이 표시에 있어서, 상기 이동체의 위치 또는 자세의 변화 속도가 제1 변화 속도인 경우, 상기 이동체의 위치 또는 자세의 변화 속도가 상기 제1 변화 속도보다 작은 제2 변화 속도인 경우보다, 상기 중첩 위치의 변화 속도가 커지도록 상기 표시 장치를 제어하는,
상기 (2)에 기재된 정보 처리 장치.
(4)
상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트가 동적 오브젝트인 경우, 상기 가상 오브젝트가 비동적 오브젝트인 경우보다, 상기 중첩 위치의 변화 속도가 커지도록 상기 표시 장치를 제어하는,
상기 (2) 또는 (3)에 기재된 정보 처리 장치.
(5)
상기 제어부는, 상기 천이 표시에 있어서, 상기 이동체의 위치와 상기 중첩 위치를 연결하는 직선을 따른 방향으로 상기 중첩 위치를 우선적으로 변화시키도록 상기 표시 장치를 제어하는,
상기 (2) 내지 (4) 중 어느 한 항에 기재된 정보 처리 장치.
(6)
상기 제어부는, 상기 가상 오브젝트가 상기 천이 표시의 종료 직후에 있어서 상기 표시 장치의 표시 영역 내에 표시된다고 판정되는 경우, 상기 천이 표시에 있어서, 상기 중첩 위치를 점차 변화시키도록 상기 표시 장치를 제어하는,
상기 (2) 내지 (5) 중 어느 한 항에 기재된 정보 처리 장치.
(7)
상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트의 시인성을 점차 변화시키도록 상기 표시 장치를 제어하는,
상기 (1) 내지 (6) 중 어느 한 항에 기재된 정보 처리 장치.
(8)
상기 제어부는, 상기 천이 표시에 있어서, 상기 이동체의 위치 또는 자세의 변화 속도가 제1 변화 속도인 경우, 상기 이동체의 위치 또는 자세의 변화 속도가 상기 제1 변화 속도보다 작은 제2 변화 속도인 경우보다, 상기 시인성의 변화 속도가 커지도록 상기 표시 장치를 제어하는,
상기 (7)에 기재된 정보 처리 장치.
(9)
상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트의 투명도를 점차 변화시킴으로써 상기 시인성을 점차 변화시키도록 상기 표시 장치를 제어하는,
상기 (7) 또는 (8)에 기재된 정보 처리 장치.
(10)
상기 제어부는, 상기 가상 오브젝트가 상기 천이 표시의 종료 직후에 있어서 표시 영역 내에 표시된다고 판정되는 경우, 상기 천이 표시에 있어서, 상기 시인성을 점차 변화시키도록 상기 표시 장치를 제어하는,
상기 (7) 내지 (9) 중 어느 한 항에 기재된 정보 처리 장치.
(11)
상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트의 표시 상태를, 상기 제1 위치 자세 정보에 기초하는 상기 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 상기 제2 표시 상태로 순간적으로 변경함과 함께 상기 천이 표시의 실행을 통지하는 통지 오브젝트를 표시하도록 상기 표시 장치를 제어하는,
상기 (1) 내지 (10) 중 어느 한 항에 기재된 정보 처리 장치.
(12)
상기 제어부는, 상기 천이 표시에 있어서, 텍스트 오브젝트를 상기 통지 오브젝트로서 표시하도록 상기 표시 장치를 제어하는,
상기 (11)에 기재된 정보 처리 장치.
(13)
상기 제어부는, 상기 가상 오브젝트가 상기 천이 표시의 개시 직전에 있어서 표시 영역 내에 표시되며, 또한 상기 천이 표시의 종료 직후에 있어서 당해 표시 영역 내에 표시되지 않는다고 판정된 경우, 상기 천이 표시에 있어서, 상기 통지 오브젝트를 표시하도록 상기 표시 장치를 제어하는,
상기 (11) 또는 (12)에 기재된 정보 처리 장치.
(14)
상기 제어부는, 유저가 상기 가상 오브젝트를 시인하고 있는지 여부의 판정 결과에 기초하여, 상기 천이 표시를 실행하도록 상기 표시 장치를 제어하는,
상기 (1) 내지 (13) 중 어느 한 항에 기재된 정보 처리 장치.
(15)
상기 제어부는, 상기 유저의 시선의 검출 결과에 기초하여, 상기 유저가 상기 가상 오브젝트를 시인하고 있는지 여부를 판정하는,
상기 (14)에 기재된 정보 처리 장치.
(16)
상기 제어부는, 상기 유저가 상기 가상 오브젝트를 시인하고 있지 않다고 판정된 경우에 상기 천이 표시를 정지하고, 그 후, 상기 유저가 상기 가상 오브젝트를 시인하고 있다고 판정된 경우에 상기 천이 표시를 재개하도록 상기 표시 장치를 제어하는,
상기 (14) 또는 (15)에 기재된 정보 처리 장치.
(17)
상기 표시 장치는, 헤드 마운트 디스플레이인,
상기 (1) 내지 (16) 중 어느 한 항에 기재된 정보 처리 장치.
(18)
상기 위치 자세 정보는, 상기 이동체의 위치 및 자세를 검출하는 위치 자세 센서에 의해 검출되고,
상기 보정부는, 상기 위치 자세 센서에 의해 검출되는 상기 위치 자세 정보의 오차가 역치 이상인 경우에, 상기 위치 자세 정보를 보정하는,
상기 (1) 내지 (17) 중 어느 한 항에 기재된 정보 처리 장치.
(19)
실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 정보 처리 장치에 의해 표시 장치를 제어하는 것과,
상기 위치 자세 정보를 보정하는 것
을 포함하고,
상기 위치 자세 정보가 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하는,
정보 처리 방법.
(20)
컴퓨터를,
실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와,
상기 위치 자세 정보를 보정하는 보정부
로서 기능시키기 위한 프로그램이며,
상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하는,
프로그램.
1: 표시 장치
20: 카메라
30: 위치 자세 센서
50: 표시 영역
70: 가상 오브젝트
100: 정보 처리 장치
110: 통신부
120: 기억부
130: 갱신부
140: 보정부
150: 제어부

Claims (20)

  1. 삭제
  2. 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와,
    상기 위치 자세 정보를 보정하는 보정부
    를 구비하고,
    상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하고,
    상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트의 중첩 위치를 점차 변화시키도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  3. 제2항에 있어서,
    상기 제어부는, 상기 천이 표시에 있어서, 상기 이동체의 위치 또는 자세의 변화 속도가 제1 변화 속도인 경우, 상기 이동체의 위치 또는 자세의 변화 속도가 상기 제1 변화 속도보다 작은 제2 변화 속도인 경우보다, 상기 중첩 위치의 변화 속도가 커지도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  4. 제2항에 있어서,
    상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트가 동적 오브젝트인 경우, 상기 가상 오브젝트가 비동적 오브젝트인 경우보다, 상기 중첩 위치의 변화 속도가 커지도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  5. 제2항에 있어서,
    상기 제어부는, 상기 천이 표시에 있어서, 상기 이동체의 위치와 상기 중첩 위치를 연결하는 직선을 따른 방향으로 상기 중첩 위치를 우선적으로 변화시키도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  6. 제2항에 있어서,
    상기 제어부는, 상기 가상 오브젝트가 상기 천이 표시의 종료 직후에 있어서 상기 표시 장치의 표시 영역 내에 표시된다고 판정되는 경우, 상기 천이 표시에 있어서, 상기 중첩 위치를 점차 변화시키도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  7. 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와,
    상기 위치 자세 정보를 보정하는 보정부
    를 구비하고,
    상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하고,
    상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트의 시인성을 점차 변화시키도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  8. 제7항에 있어서,
    상기 제어부는, 상기 천이 표시에 있어서, 상기 이동체의 위치 또는 자세의 변화 속도가 제1 변화 속도인 경우, 상기 이동체의 위치 또는 자세의 변화 속도가 상기 제1 변화 속도보다 작은 제2 변화 속도인 경우보다, 상기 시인성의 변화 속도가 커지도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  9. 제7항에 있어서,
    상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트의 투명도를 점차 변화시킴으로써 상기 시인성을 점차 변화시키도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  10. 제7항에 있어서,
    상기 제어부는, 상기 가상 오브젝트가 상기 천이 표시의 종료 직후에 있어서 표시 영역 내에 표시된다고 판정되는 경우, 상기 천이 표시에 있어서, 상기 시인성을 점차 변화시키도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  11. 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와,
    상기 위치 자세 정보를 보정하는 보정부
    를 구비하고,
    상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하고,
    상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트의 표시 상태를, 상기 제1 위치 자세 정보에 기초하는 상기 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 상기 제2 표시 상태로 순간적으로 변경함과 함께 상기 천이 표시의 실행을 통지하는 통지 오브젝트를 표시하도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  12. 제11항에 있어서,
    상기 제어부는, 상기 천이 표시에 있어서, 텍스트 오브젝트를 상기 통지 오브젝트로서 표시하도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  13. 제11항에 있어서,
    상기 제어부는, 상기 가상 오브젝트가 상기 천이 표시의 개시 직전에 있어서 표시 영역 내에 표시되며, 또한 상기 천이 표시의 종료 직후에 있어서 당해 표시 영역 내에 표시되지 않는다고 판정된 경우, 상기 천이 표시에 있어서, 상기 통지 오브젝트를 표시하도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  14. 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와,
    상기 위치 자세 정보를 보정하는 보정부
    를 구비하고,
    상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하고,
    상기 제어부는, 유저가 상기 가상 오브젝트를 시인하고 있는지 여부의 판정 결과에 기초하여, 상기 천이 표시를 실행하도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  15. 제14항에 있어서,
    상기 제어부는, 상기 유저의 시선의 검출 결과에 기초하여, 상기 유저가 상기 가상 오브젝트를 시인하고 있는지 여부를 판정하는,
    정보 처리 장치.
  16. 제14항에 있어서,
    상기 제어부는, 상기 유저가 상기 가상 오브젝트를 시인하고 있지 않다고 판정된 경우에 상기 천이 표시를 정지하고, 그 후, 상기 유저가 상기 가상 오브젝트를 시인하고 있다고 판정된 경우에 상기 천이 표시를 재개하도록 상기 표시 장치를 제어하는,
    정보 처리 장치.
  17. 제2항에 있어서,
    상기 표시 장치는 헤드 마운트 디스플레이인,
    정보 처리 장치.
  18. 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와,
    상기 위치 자세 정보를 보정하는 보정부
    를 구비하고,
    상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하고,
    상기 위치 자세 정보는, 상기 이동체의 위치 및 자세를 검출하는 위치 자세 센서에 의해 검출되고,
    상기 보정부는, 상기 위치 자세 센서에 의해 검출되는 상기 위치 자세 정보의 오차가 역치 이상인 경우에, 상기 위치 자세 정보를 보정하는,
    정보 처리 장치.
  19. 실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 정보 처리 장치에 의해 표시 장치를 제어하는 것과,
    상기 위치 자세 정보를 보정하는 것
    을 포함하고,
    상기 위치 자세 정보가 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하고,
    상기 천이 표시에 있어서, 상기 가상 오브젝트의 중첩 위치를 점차 변화시키도록 상기 표시 장치를 제어하는,
    정보 처리 방법.
  20. 컴퓨터로 판독가능한 기록매체에 저장된 프로그램으로서, 상기 프로그램은
    컴퓨터를,
    실공간에 있어서의 설정 위치와 대응지어진 가상 오브젝트를 이동체의 위치 및 자세를 나타내는 위치 자세 정보에 기초하여 상기 실공간에 중첩하도록 표시 장치를 제어하는 제어부와,
    상기 위치 자세 정보를 보정하는 보정부
    로서 기능시키기 위한 프로그램이며,
    상기 제어부는, 상기 위치 자세 정보가, 제1 위치 자세 정보로부터 상기 제1 위치 자세 정보에 대하여 비연속적인 제2 위치 자세 정보로 보정될 때, 상기 제1 위치 자세 정보에 기초하여 상기 가상 오브젝트가 표시되는 제1 표시 상태로부터 상기 제2 위치 자세 정보에 기초하는 제2 표시 상태로의 상태 천이를 나타내는 천이 표시를 행하도록 상기 표시 장치를 제어하고,
    상기 제어부는, 상기 천이 표시에 있어서, 상기 가상 오브젝트의 중첩 위치를 점차 변화시키도록 상기 표시 장치를 제어하는,
    컴퓨터로 판독가능한 기록매체에 저장된 프로그램.
KR1020207016033A 2017-12-20 2018-10-03 정보 처리 장치, 정보 처리 방법 및 프로그램 KR102477842B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017244026 2017-12-20
JPJP-P-2017-244026 2017-12-20
PCT/JP2018/037084 WO2019123770A1 (ja) 2017-12-20 2018-10-03 情報処理装置、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
KR20200098509A KR20200098509A (ko) 2020-08-20
KR102477842B1 true KR102477842B1 (ko) 2022-12-16

Family

ID=66992558

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207016033A KR102477842B1 (ko) 2017-12-20 2018-10-03 정보 처리 장치, 정보 처리 방법 및 프로그램

Country Status (6)

Country Link
US (1) US11468868B2 (ko)
EP (1) EP3731066A4 (ko)
JP (1) JP7226332B2 (ko)
KR (1) KR102477842B1 (ko)
CN (1) CN111512272A (ko)
WO (1) WO2019123770A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112702643B (zh) * 2019-10-22 2023-07-21 上海哔哩哔哩科技有限公司 弹幕信息显示方法、装置、移动终端
JPWO2023026634A1 (ko) * 2021-08-25 2023-03-02
WO2023189580A1 (ja) * 2022-03-31 2023-10-05 ソニーグループ株式会社 画像処理装置及び画像処理システム

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3486536B2 (ja) * 1997-09-01 2004-01-13 キヤノン株式会社 複合現実感提示装置および方法
US6522312B2 (en) 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP2003216552A (ja) * 2002-01-23 2003-07-31 Equos Research Co Ltd 情報種別表示プログラム
ATE552478T1 (de) * 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
JP2011203823A (ja) 2010-03-24 2011-10-13 Sony Corp 画像処理装置、画像処理方法及びプログラム
US9767799B2 (en) 2013-05-21 2017-09-19 Mitsubishi Electric Corporation Voice recognition system and recognition result display apparatus
EP3012587A4 (en) * 2013-06-17 2017-03-08 Sony Corporation Image processing device, image processing method, and program
EP3061642B1 (en) * 2013-10-22 2019-10-02 Nippon Seiki Co., Ltd. Vehicle information projection system, and projection device
JP5825328B2 (ja) 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型hmdを有する情報表示システム及び表示制御プログラム
JP6515813B2 (ja) 2014-02-17 2019-05-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP6547741B2 (ja) 2014-05-09 2019-07-24 ソニー株式会社 情報処理システムおよび情報処理方法
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
GB2528699B (en) * 2014-07-29 2017-05-03 Sony Computer Entertainment Europe Ltd Image processing
US9652047B2 (en) * 2015-02-25 2017-05-16 Daqri, Llc Visual gestures for a head mounted device
US9852547B2 (en) * 2015-03-23 2017-12-26 International Business Machines Corporation Path visualization for augmented reality display device based on received data and probabilistic analysis
JP6596883B2 (ja) * 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
JP6612538B2 (ja) 2015-06-30 2019-11-27 新明工業株式会社 装着型ナビゲーションシステム
CN106330200B (zh) 2015-07-09 2019-09-10 华邦电子股份有限公司 执行于通量图形处理器的低密度奇偶校验解码方法
US10586464B2 (en) * 2015-07-29 2020-03-10 Warren F. LeBlanc Unmanned aerial vehicles
US10373392B2 (en) * 2015-08-26 2019-08-06 Microsoft Technology Licensing, Llc Transitioning views of a virtual model
JP6556015B2 (ja) 2015-10-09 2019-08-07 ソニー株式会社 情報処理装置、位置および/または姿勢の推定方法、およびコンピュータプログラム
JP2017111723A (ja) * 2015-12-18 2017-06-22 株式会社ブリリアントサービス バイク用ヘッドマウントディスプレイ、バイク用ヘッドマウントディスプレイの制御方法およびバイク用ヘッドマウントディスプレイの制御プログラム。
JP6723743B2 (ja) * 2015-12-28 2020-07-15 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2017129904A (ja) * 2016-01-18 2017-07-27 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
US10942024B2 (en) 2016-02-02 2021-03-09 Sony Corporation Information processing apparatus, information processing method, and recording medium

Also Published As

Publication number Publication date
WO2019123770A1 (ja) 2019-06-27
JPWO2019123770A1 (ja) 2021-03-11
EP3731066A4 (en) 2021-01-27
US11468868B2 (en) 2022-10-11
EP3731066A1 (en) 2020-10-28
KR20200098509A (ko) 2020-08-20
JP7226332B2 (ja) 2023-02-21
CN111512272A (zh) 2020-08-07
US20210166661A1 (en) 2021-06-03

Similar Documents

Publication Publication Date Title
US11796309B2 (en) Information processing apparatus, information processing method, and recording medium
US9158305B2 (en) Remote control system
KR102477842B1 (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
US20140160170A1 (en) Provision of an Image Element on a Display Worn by a User
EP3360022B1 (en) Method for displaying image and electronic device thereof
US10108018B2 (en) Image display apparatus for displaying an image captured by a mobile apparatus
CN108027700B (zh) 信息处理装置
WO2017169841A1 (ja) 表示装置および表示制御方法
JP2021060627A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7320736B2 (ja) 表示システム
US9751607B1 (en) Method and system for controlling rotatable device on marine vessel
US20210018911A1 (en) Display control system, display control device and display control method
WO2020241134A1 (ja) 表示システム
WO2020208883A1 (ja) 表示システム
US11492115B2 (en) Unmanned aerial vehicle display control system, display control device and display control method
JPWO2020032189A1 (ja) 表示システム
US11945310B2 (en) Display system
JP2019081480A (ja) ヘッドアップディスプレイ装置
WO2022004483A1 (ja) 情報処理装置、情報処理方法及びプログラム
WO2024000189A1 (zh) 控制方法、头戴式显示设备、控制系统及存储介质
US20230162634A1 (en) Image display system
US20220244726A1 (en) Information processing apparatus, information processing method, and program
US20230376109A1 (en) Image processing apparatus, image processing method, and storage device
JP2020179745A (ja) 表示システム
CN115437390A (zh) 无人机的控制方法及控制系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant