KR102278229B1 - 전자기기 및 그 제어 방법 - Google Patents

전자기기 및 그 제어 방법 Download PDF

Info

Publication number
KR102278229B1
KR102278229B1 KR1020197031077A KR20197031077A KR102278229B1 KR 102278229 B1 KR102278229 B1 KR 102278229B1 KR 1020197031077 A KR1020197031077 A KR 1020197031077A KR 20197031077 A KR20197031077 A KR 20197031077A KR 102278229 B1 KR102278229 B1 KR 102278229B1
Authority
KR
South Korea
Prior art keywords
range
display
content
image
electronic device
Prior art date
Application number
KR1020197031077A
Other languages
English (en)
Other versions
KR20190129982A (ko
Inventor
세이지 쿠도
Original Assignee
캐논 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2017074496A external-priority patent/JP7005161B2/ja
Priority claimed from JP2017074483A external-priority patent/JP7005160B2/ja
Application filed by 캐논 가부시끼가이샤 filed Critical 캐논 가부시끼가이샤
Publication of KR20190129982A publication Critical patent/KR20190129982A/ko
Application granted granted Critical
Publication of KR102278229B1 publication Critical patent/KR102278229B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06GANALOGUE COMPUTERS
    • G06G5/00Devices in which the computing operation is performed by means of fluid-pressure elements
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0492Change of orientation of the displayed image, e.g. upside-down, mirrored
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G09G2340/125Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Abstract

본 발명의 전자기기는, VR콘텐츠의 일부의 범위를 표시 범위로서 표시 수단에 표시하도록 제어하고, 상기 표시 범위의 위치를 변경가능한 표시 제어 수단이며, 표시 대상의 VR콘텐츠의 일부가 비영상 범위일 경우에, 해당 VR콘텐츠의 일부의 범위를 표시 범위로서 표시함과 아울러, 해당 VR콘텐츠의 영상범위와 비영상 범위와의 위치 관계를 나타내는 가이드를 표시하도록 제어하는 표시 제어 수단을 갖는 것을 특징으로 한다.

Description

전자기기 및 그 제어 방법
본 발명은, 전자기기, 전자기기의 제어 방법, 프로그램, 및, 기억 매체에 관한 것이고, 특히, 광범위한 영상범위를 갖는 화상을 표시하는 제어 방법에 관한 것이다.
최근, 전방위 화상, 전천구 화상이라고 한, 인간의 시야각보다 넓은 범위의 영상을 갖는 화상을 촬영하는 것이 가능한 촬상 장치가 보급되고 있다. 또한, 이러한 넓은 범위의 영상을 갖는 화상의 일부를 디스플레이에 표시하고, 장치의 자세의 변화에 추종하여서 디스플레이에 표시하는 영상의 범위(표시 범위)를 변경함으로써, 몰입감이나 현장감이 높은 표시를 행하는 방법도 알려져 있다.
특허문헌1에서는, 전천구 카메라에 의해 촬상된 영상을 헤드 마운트 디스플레이(HMD)에 있어서 볼 때에, 유저의 시선방향을 검출하고, 시선방향에 맞춘 소정범위의 영상 데이터를 표시하는 영상표시 시스템이 제안되어 있다.
특허문헌1:일본 특허공개2017-22665호 공보
HMD등으로 표시하는 영상 콘텐츠의 생성에 있어서, 콘텐츠 촬영시의 촬상 장치의 촬영 화각은 다양하고, 콘텐츠 편집시에 화각이 변경되는 것등이 있다. 그 때문에, 영상 콘텐츠가, 전체 주위 360도(전체 방향)의 영상이 아니고, 그 일부의 범위(예를 들면, 상하120도, 좌우220도)밖에 영상을 갖지 않는 것이 있다. 그러한 영상 콘텐츠의 유효한 영상범위는 주위360도로 연결되고 있지 않기 때문에, 영상이 있는 범위(유효영상범위)에는 끝이 존재하고, 끝을 초과하는 영역은 비영상 범위가 된다. 이러한 영상 콘텐츠의 일부를 표시 범위로서 표시하는 방법으로서, 유효영상범위의 일단을 초월해서 표시 범위를 이동시키고, 그 과정에서 비영상 범위를 표시시켜, 더욱 표시 범위를 같은 방향으로 이동시키면 타단측의 유효영상범위의 영상을 표시시키는 방법이 생각될 수 있다.
그러나, 유효영상범위의 일단을 초월해서 비영상 범위를 표시시킬 경우는, 비영상 범위에 대응하는 부분에 대해서, 비영상 범위이기 때문에 영상이 표시되지 않고 있는 것인지, 어떠한 표시 처리 이상 때문에 영상이 표시되지 않고 있는 것인지 유저에게는 이해하기 힘들다. 또한, 유효영상범위의 일단을 초월한 비영상 범위의 표시는 하지 않는다고 하면, 표시 범위의 변경이 되지 않는 요인이, 유효영상범위의 끝에 도달했기 때문인지, 어떠한 표시 처리 이상 때문인지 유저에게는 이해하기 힘들다.
인간의 시야각보다 넓은 범위의 영상을 갖는 영상 콘텐츠에 있어서, 비영상 범위는, 유효영상범위의 중앙을 전방면으로 했을 경우의 후방이나 바로 아래등에 위치하고, 유효영상범위의 중앙을 정면으로 한 유저가 시선을 향하기 어려운 방향으로 위치하는 경우가 많다. 그러나, 상술한 바와 같이, 일단을 초월해서 비영상 범위의 표시를 경유하고나서 타단의 유효영상범위를 표시시키기 위해서는, 비영상 범위가 넓을 경우에, 비영상 범위를 길게 경유 해야만 한다. 비영상 범위를 길게 경유하면, 시선을 향하기 어려운 자세를 많이 취하지 않으면 안된다고 하는 문제나, 어느 범위를 표시하고 있는 것인지 이해하기 힘들다고 하는 문제가 있다. 그것보다는, 역방향으로 표시 범위를 이동시켜서 타단의 유효영상범위를 표시시키는 쪽이 어디를 표시시키고 있는지 이해하기 쉽고, 또한, 간단한 것도 있다.
그래서, 본 발명은, 광범위한 영상범위를 갖는 콘텐츠에 비영상 범위가 있을 경우에, 보다 적합한 표시를 행할 수 있는 전자기기, 전자기기의 제어 방법, 프로그램, 및 기억 매체를 제공하는 것을 목적으로 한다.
본 발명의 전자기기는, 전자기기의 자세를 검출하는 검출수단과, VR 콘텐츠의 일부를 표시 범위로서 표시 수단에 표시하고, 상기 검출수단에 의해 검출된 자세에 따라서 상기 표시 범위의 위치를 변경하는 표시 제어 수단을 구비하는 전자기기로서, 상기 표시 제어 수단은, 상기 VR 콘텐츠의 360도와 영상범위 간의 차이에 대응하는 상기 VR 콘텐츠의 비영상범위가 특정량보다 좁은 경우에, 상기 표시 범위의 위치가 상기 전자기기의 특정 회전 방향의 자세 변화에 따라 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 상기 전자기기의 특정 회전 방향의 자세가 더 변화하는 것에 따라 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하고, 상기 표시 제어 수단은, 상기 VR 콘텐츠의 비영상범위가 상기 특정량보다 좁지 않은 경우에, 상기 표시 범위의 위치가 상기 전자기기의 특정 회전 방향의 자세 변화에 따라 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 상기 전자기기의 특정 회전 방향의 자세가 더 변화하더라도 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하지 않는 것을 특징으로 한다.
본 발명에 의하면, 광범위한 영상범위를 갖는 콘텐츠에 비영상 범위가 있을 경우에, 보다 적합한 표시를 행할 수 있다.
[도1] 전자기기100의 블록 구성도다.
[도2] 전자기기100의 외관도다.
[도3] 전자기기100을 장착가능한 VR고글의 외관도다.
[도4] VR표시 처리의 흐름도다.
[도5] VR표시 처리에 있어서의 표시 범위의 위치 관계와 표시 예다.
[도6] VR표시 처리에 있어서의 표시 범위의 위치 관계와 표시 예다.
[도7] VR표시 처리의 다른 예의 흐름도다.
도1에, 본 발명을 적용가능한 표시 제어장치의 일례로서의 전자기기100의 구성의 일례를 도시한다. 전자기기100은, 스마트 폰등의 표시장치를 사용해서 구성가능한 것이다.
도1에 있어서, 내부 버스150에 대하여 CPU101, 메모리102, 불휘발성 메모리103, 화상처리부104, 디스플레이105, 조작부106, 기억 매체I/FlO7, 외부I/FlO9, 및, 통신I/FllO이 접속되어 있다. 또한, 내부 버스150에 대하여 음성출력부112와 자세검출부113도 접속되어 있다. 내부 버스150에 접속되는 각 부는, 내부 버스150을 통해서 서로 데이터의 주고받기를 행할 수 있게 되어 있다.
CPU101은, 전자기기100의 전체를 제어하는 제어부이며, 적어도 1개의 프로세서로 이루어진다. 메모리102는, 예를 들면 RAM(반도체소자를 이용한 휘발성의 메모리등)으로 이루어진다. CPU101은, 예를 들면 불휘발성 메모리103에 격납되는 프로그램을 따르고, 메모리102를 워크 메모리로서 사용하고, 전자기기100의 각 부를 제어한다. 불휘발성 메모리103에는, 화상 데이터나 음성 데이터, 그 밖의 데이터, CPU101이 동작하기 위한 각종 프로그램등이 격납된다. 불휘발성 메모리103은 예를 들면 플래시 메모리나 ROM등으로 구성된다.
화상처리부104는, CPU101의 제어에 근거하여, 불휘발성 메모리103이나 기억 매체108에 격납된 화상이나, 외부I/FlO9를 통해 취득한 영상신호, 통신I/FllO을 통해 취득한 화상등에 대하여 각종 화상 처리를 실시한다. 화상처리부104가 행하는 화상처리에는, A/D변환 처리, D/A변환 처리, 화상 데이터의 부호화 처리, 압축 처리, 디코드 처리, 확대/축소 처리(리사이즈), 노이즈 감소 처리, 색 변환처리등이 포함된다. 또한, 전방위 화상 혹은 전방위가 아니라고 해도 광범위한 데이터를 갖는 광범위 화상의 파노라마 전개나 맵핑 처리, 변환등의 각종 화상처리도 행한다. 화상처리부104는 특정한 화상 처리를 실시하기 위한 전용의 회로 블록으로 구성해도 좋다. 또한, 화상처리의 종별에 따라서는 화상처리부104를 사용하지 않고 CPU101가 프로그램을 따라서 화상 처리를 실시하는 것도 가능하다.
디스플레이105는, CPU101의 제어에 근거하여, 화상이나 GUI(Graphical User Interface)를 구성하는 GUI화면등을 표시한다. CPU101은, 프로그램을 따라 표시 제어 신호를 생성하고, 디스플레이105에 표시하기 위한 영상신호를 생성해서 디스플레이105에 출력하도록 전자기기100의 각 부를 제어한다. 디스플레이105는 출력된 영상신호에 근거해서 영상을 표시한다. 또한, 전자기기100 자체가 구비하는 구성으로서는 디스플레이105에 표시시키기 위한 영상신호를 출력하기 위한 인터페이스까지로 하고, 디스플레이105는 외장형의 모니터(텔레비전등)으로 구성해도 좋다.
조작부106은, 키보드등의 문자정보입력 디바이스나, 마우스나 터치패널이라고 한 포인팅 디바이스, 버튼, 다이얼, 조이스틱, 터치 센서, 터치 패드등을 포함하는, 유저 조작을 접수하기 위한 입력 디바이스다. 또한, 터치패널은, 디스플레이105에 포개서 평면적으로 구성되어, 접촉된 위치에 따른 좌표정보가 출력되도록 한 입력 디바이스다.
기억 매체I/FlO7은, 메모리카드나 CD, DVD라고 한 기억 매체108이 장착 가능하게 되고, CPU101의 제어에 근거하여, 장착된 기억 매체108로부터의 데이터의 판독이나, 해당 기억 매체108에 대한 데이터의 기록을 행한다. 외부I/FlO9는, 외부기기와 유선 케이블이나 무선에 의해 접속하고, 영상신호나 음성신호의 입출력을 행하기 위한 인터페이스다. 통신I/FllO은, 외부기기나 인터넷111등과 통신하고, 파일이나 커맨드등의 각종 데이터의 송수신을 행하기 위한 인터페이스다.
음성출력부는 112는, 동화상이나 음악 데이터의 음성이나, 조작서, 착신음, 각종 통지서등을 출력한다. 음성출력부112에는, 이어폰등을 접속하는 음성출력 단자112a, 스피커112b가 포함되는 것으로 하지만, 무선통신등으로 음성출력을 행해도 좋다.
자세검출부113은, 중력방향에 대한 전자기기100의 자세를 검지한다. 자세검출부113에서 검지된 자세에 근거하여, 전자기기100이 횡으로 보유되어 있는지, 종으로 보유되어 있는지, 위로 향해져 있는지, 아래로 향해져 있는, 비스듬한 자세로 되었는지 등을 판별가능하다. 자세검출부113으로서는, 가속도 센서, 자이로 센서, 지자기 센서, 방위 센서등 중 적어도 1개를 사용할 수 있고, 복수를 조합해서 사용하는 것도 가능하다.
또한, 조작부106에는, 터치패널106a가 포함된다. CPU101은 터치패널106a에의 이하의 조작, 혹은 상태를 검출할 수 있다.
·터치패널106a에 터치하지 않고 있었던 손가락이나 펜이 새롭게 터치패널106a에 터치한 것, 다시 말해, 터치의 시작(이하, 터치다운(Touch-Down)이라고 칭한다.)
·터치패널106a를 손가락이나 펜이 터치하고 있는 상태인 것(이하, 터치 온(Touch-On)이라고 칭한다)
·손가락이나 펜이 터치패널106a를 터치한 채 이동하고 있는 것(이하, 터치무브(Touch-Move)이라고 칭한다)
·터치패널106a에 터치하고 있었던 손가락이나 펜이 터치패널106a로부터 떨어진 것, 다시 말해, 터치의 종료(이하, 터치업(Touch-Up)이라고 칭한다)
·터치패널106a에 아무 것도 터치하지 않고 있는 상태(이하, 터치 오프(Touch-Off)이라고 칭한다)
터치다운이 검출되면, 동시에 터치 온도 검출된다. 터치다운 후, 터치업이 검출되지 않는 한은, 통상은 터치 온이 계속 검출된다. 터치무브가 검출되었을 경우도, 동시에 터치 온이 검출된다. 터치 온이 검출되어 있어도, 터치 위치가 이동하지 않고 있으면 터치무브는 검출되지 않는다. 터치하고 있었던 모든 손가락이나 펜이 터치업 한 것이 검출되면, 터치 오프가 검출된다.
이들의 조작·상태나, 터치패널106a 위에 손가락이나 펜이 터치하고 있는 위치 좌표는 내부 버스를 통해서 CPU101에 통지되고, CPU101은 통지된 정보에 근거해서 터치패널106a 위에 어떤 조작(터치 조작)이 행하여졌는지를 판정한다. 터치무브에 대해서는 터치패널106a 위에서 이동하는 손가락이나 펜의 이동 방향에 대해서도, 위치 좌표의 변화에 근거하여, 터치패널106a 위의 수직성분·수평성분마다 판정할 수 있다. 소정거리이상을 터치무브한 것이 검출되었을 경우는 슬라이드 조작이 행하여졌다고 판정하는 것으로 한다. 터치패널106a 위에 손가락을 터치한 채 어느정도의 거리만 재빠르게 옮기고, 그대로 방치한 조작을 플릭이라고 부른다. 플릭은, 바꿔 말하면, 터치패널106a 위를 손가락으로 튕기듯이 재빠르게 덧그리는 조작이다. 소정거리이상을, 소정속도이상으로 터치무브한 것이 검출되고, 그대로 터치업이 검출되면 플릭이 행하여졌다고 판정할 수 있다(슬라이드 조작에 계속되어서 플릭이 있었던 것이라고 판정할 수 있다). 더욱, 복수개소(예를 들면, 2점)을 동시에 터치하고, 서로의 터치 위치를 가깝게 하는 터치 조작을 핀치 인, 서로의 터치 위치를 멀리하는 터치 조작을 핀치 아웃이라고 칭한다. 핀치 아웃과 핀치 인을 총칭해서 핀치 조작(혹은 간단히 핀치)이라고 칭한다. 터치패널106a는, 저항막방식이나 정전용량방식, 표면탄성파 방식, 적외선방식, 전자 유도방식, 화상인식 방식, 광 센서 방식등, 여러가지 방식의 터치패널 중 어느쪽의 방식의 것을 사용해도 좋다. 터치패널에 대한 접촉이 있었던 것으로 터치가 있었다고 검출하는 방식이나, 터치패널에 대한 손가락이나 펜의 접근이 있었던 것으로 터치가 있었다고 검출하는 방식이 있지만, 어느쪽의 방식이라도 좋다.
도2에, 전자기기100의 외관도의 예를 도시한다. 디스플레이105는 화상이나 각종 정보를 표시하는 표시부다. 디스플레이105는 상술한 대로 터치패널106a와 일체적으로 구성되어 있고, 디스플레이105의 표시면에의 터치 조작을 검출할 수 있게 되어 있다. 조작부106에는 도시한 것처럼 조작부106b, 106c, 106d, 106e가 포함된다. 조작부106b는 전자기기100의 전원의 온과 오프를 바꾸는 조작을 접수하는 전원 버튼이다. 조작부106c와 조작부106d는 음성출력부112로부터 출력하는 음성의 볼륨을 증감하는 볼륨 버튼이다. 조작부106e는, 디스플레이105에 홈 화면을 표시시키기 위한 홈 버튼이다.
도3에, 전자기기100을 장착가능한 VR고글(헤드 마운트 어댑터)의 외관도를 도시한다. 전자기기100은, VR고글에 장착하므로, 헤드 마운트 디스플레이로서 사용하는 것도 가능하다. 삽입구301은, 전자기기100을 꽂아넣기 위한 삽입구다. 디스플레이105의 표시면을, VR고글을 유저의 머리 부분에 고정하기 위한 헤드밴드302측(즉, 유저측)을 향해서 전자기기100의 전체를 VR고글에 꽂아넣을 수 있다. 이렇게 해서 전자기기100이 장착된 VR고글을 장착 함에 의해, 유저는 VR고글을 머리 부분에 장착한 상태로, 유저가 손으로 전자기기100을 보유하지 않고, 전자기기100의 디스플레이105를 시인할 수 있다. 이 경우, 유저가 머리 부분 또는 몸 전체를 움직이면, 전자기기100의 자세도 변화된다. 자세검출부113은 이때의 전자기기100의 자세의 변화를 검출하고, 이 자세의 변화에 근거해서 CPU101이 후술하는 VR표시 처리를 행한다. 이 경우에, 자세검출부113이 전자기기100의 자세를 검출하는 것은, 유저의 머리 부분의 자세(유저의 시선이 향하고 있는 방향)를 검출하는 것과 동등하다.
전자기기100은, VR화상(VR콘텐츠)을 디스플레이105에 있어서 VR표시하는 것이 가능하다.
VR화상이란, VR표시를 하는 것이 가능한 화상인 것으로 한다. VR화상에는, 전방위 카메라(전천구 카메라)로 촬상한 전방위 화상(전천구 화상)이나, 표시 수단에 한번에 표시할 수 있는 표시 범위보다 넓은 영상범위(유효영상범위)를 갖는 파노라마 화상등이 포함되는 것으로 한다. 또한, 카메라로 촬영한 화상에 한하지 않고, 컴퓨터 그래픽스(CG)를 사용해서 작성한 화상이여도, VR표시 가능한 것은 VR 화상(VR콘텐츠)에 포함되는 것으로 한다. VR 화상에는, 정지 화상뿐만 아니라, 동화상이나 라이브 뷰 화상(카메라로부터 거의 실시간으로 취득한 화상)도 포함된다. VR 화상은, 최대로 상하 방향(수직각도, 천정으로부터의 각도, 앙각, 부각, 고도 각도)360도, 좌우 방향(수평각도, 방위각도)360도의 시야분의 영상범위(유효영상범위)를 가진다. 또한, VR화상은, 상하360도미만, 좌우360도미만이여도, 통상의 카메라로 촬영가능한 화각보다도 넓은 광범한 화각(시야범위), 혹은, 표시 수단에 한번에 표시할 수 있는 표시 범위보다 넓은 영상범위(유효영상범위)를 갖는 화상도 포함하는 것으로 한다. 예를 들면, 좌우 방향(수평각도, 방위각도)360도, 천정(zenith)을 중심으로 한 수직각도 210도의 시야분(화각분)의 피사체를 촬영가능한 전천구 카메라로 촬영된 화상은 VR화상의 일종이다. 다시 말해, 상하 방향과 좌우 방향으로 각각 180도(±90도)이상의 시야분의 영상범위를 가지고 있고, 인간이 한번에 시인할 수 있는 범위에서도 넓은 영상범위를 가지고 있는 화상은 VR화상의 일종이다. 이 VR화상을 VR표시하면, 좌우 회전 방향으로 자세를 변화시키는 것으로, 좌우 방향(수평회전 방향)으로는 이음매가 없는 전방위의 영상을 시청할 수 있다. 상하 방향(수직회전 방향)으로는, 바로 위(천정)로부터 보아서 ±105도의 범위에서는 이음매가 없는 전방위의 영상을 시청할 수 있지만, 바로 위에서 105도를 초과하는 범위는 영상이 존재하지 않는 공백 영역이 된다. VR 화상은, 「영상범위가 가상 공간(VR공간)의 적어도 일부인 화상」이라고도 말할 수 있다.
VR표시란, VR화상 중, 자세검출부113에서 검출한 전자기기100의 자세에 따른 시야범위의 영상을 표시하는, 표시 범위를 변경가능한 표시 방법이다. 전자기기100을 VR고글에 장착해서 시청할 경우에는, 유저의 얼굴의 방향에 따른 시야범위의 영상을 표시하게 된다. 예를 들면, VR화상 중, 어떤 시점에서 좌우 방향으로 0도(특정의 방위, 예를 들면 북쪽), 상하 방향으로 90도(천정으로부터 90도, 즉, 수평)를 중심으로 한 시야각(화각)의 영상을 표시하고 있는 것으로 한다. 이 상태로부터, 전자기기100의 자세를 표리반전시키면(예를 들면, 표시면을 남향으로부터 북향으로 변경하면), 같은 VR화상 중, 좌우 방향으로 180도(반대의 방위, 예를 들면 남쪽), 상하 방향으로 90도(수평)를 중심으로 한 시야각의 영상에, 표시 범위가 변경된다. 유저가 VR고글에 장착한 전자기기100을 시청하고 있을 경우에서 말하면, 유저가 얼굴을 북쪽에서 남쪽을 향하면(즉, 뒤를 향하면), 전자기기100에 표시되는 영상도 북쪽의 영상으로부터 남쪽의 영상으로 변한다고 하는 것이다.이러한 VR표시에 의해, 유저에게, 시각적으로 마치 VR화상내(VR공간내)의 그 자리에 있는 것 같은 감각을 제공할 수 있다.
도4에, 전자기기100에서 행해지는 VR표시 처리의 흐름도를 도시한다. 이 처리는, 불휘발성 메모리103에 기록된 프로그램을 메모리102에 전개해서 CPU101이 실행 함으로써 실현된다. 전자기기100의 전원이 온으로 되고, 기억 매체108에 기록된 화상이나, 통신처로부터 취득한 화상 중, VR화상(VR콘텐츠)이 선택되고, 복수의 표시 방법 중, VR표시에서의 표시가 지정되면 도4의 처리가 개시된다.
S401에서는, CPU101은, 기억 매체108 혹은 통신I/F를 통한 통신처로부터, 표시 대상이 되는 VR화상을 판독한다. 또한, VR화상의 속성정보로서 부대되어 있는 영상범위(유효영상범위)를 나타내는 정보를 취득한다. 유효영상범위를 나타내는 정보란, VR화상이, 상하 방향, 좌우 방향으로 어느 각도범위분의 유효한 영상을 가지고 있는 것인가 하는 정보다. 유효영상범위를 나타내는 정보는, VR화상의 유효영상범위를 특정할 수 있는 정보이면 좋고, 화각, 시야각, 방위각, 앙각, 부가, 고도 각도, 스테라디안등에 의해 나타내는 각도 정보이여도 좋고, 상하, 좌우의 화소수나 좌표등의 위치 정보이여도 좋다. 또한, 유효영상범위를 나타내는 정보는, VR화상을 촬상한 카메라의 기종정보(기종을 특정하는 것으로 촬영가능한 범위를 특정 가능)나 촬영시의 줌의 정보등이어도 좋다. CPU101은, 유효영상범위를 나타내는 정보를 취득하면, 상하 좌우360도와의 차이로 무효영상범위(비영상 범위)도 특정(산출)한다. 또한, 반대로, VR화상의 속성정보로부터 무효영상범위를 나타내는 정보를 취득하고, 거기로부터 유효영상범위를 산출해도 좋고, 유효영상범위를 나타내는 정보와 무효영상범위를 나타내는 정보의 쌍방을 VR화상의 속성정보로부터 취득해도 좋다.
S402에서는, CPU101은, 자세검출부113에서 검출된 자세(자세의 정보)를 취득한다.
S403에서는, CPU101은, S402에서 취득된 자세에 근거하여, VR화상 중 표시해야 할 범위를 나타내는 표시 범위를 잠정으로 산출한다(잠정표시 범위를 산출). 이후의 처리에서는, 여기에서 산출한 잠정표시 범위의 영상을 실제로 표시해야 할 것인가 아닌가를 판별하게 된다.
S404에서는, CPU101은, 잠정표시 범위로부터 무효영상범위까지의 거리가 역치인 소정거리이내(소정량 이내)인 것인가 아닌가를 판정한다. 소정거리이내이면 S406에 진행되고, 소정거리보다도 떨어져 있을 경우는 S405에 진행된다. 도5(al)을 사용하여, S404의 처리에 대해서 설명한다. 도5(al)에 있어서, 유효영상범위501은, VR화상에 있어서의 유효영상범위의 전체를 2차원 평면 위에 맵핑한 것이다. 그레이로 도시한 무효영상범위502는, 좌우의 전범위(전방위)360도, 상하의 범위180도 중, VR화상에 있어서 유효영상범위가 아닌 영역(비영상 범위)을 나타내고 있다. 이 영역에는 영상은 없고, 표시하려고 하면, 블랙이나 그레이이라고 한 단색으로 표시되는등, 공백 영역으로서 표시되게 된다. 표시 범위503은, VR화상 중, 디스플레이105에 현재(자세변경전)표시하고 있는 범위를 나타내고 있다. 표시 범위503이 도5(al)의 위치이면, 디스플레이105에서는, 도5(a2)과 같은 표시가 행해진다. 잠정표시 범위504는, 표시 범위503으로부터, 자세검출부113에서 검출한 자세의 변화분만큼 이동시킨 화각이다. S404에서 판정하는 잠정표시 범위로부터 무효영상범위까지의 거리는 이하의 값이다.
·잠정표시 범위504의 오른쪽 끝과 유효영상범위501의 오른쪽 끝과의 거리al
·잠정표시 범위504의 위쪽 끝과 유효영상범위501의 위쪽 끝과의 거리a2
·잠정표시 범위504의 왼쪽 끝과 유효영상범위501의 왼쪽 끝과의 거리a3
·잠정표시 범위504의 아래쪽 끝과 유효영상범위501의 아래쪽 끝과의 거리a4
이때, 유효영상범위501의 끝은, 유효영상범위501과 무효영상범위502과의 경계에 접하는 부분이다. 거리al∼a4중 어느 하나가, 역치가 되는 거리Ath이하가 되었을 경우는 S406에 진행되고, 그렇지 않을 경우는 S405에 진행된다. 역치Ath는 예를 들면 표시 범위503의 횡방향의 폭의 3할정도의 길이이며, 거리al∼a4중 어느 하나가 역치Ath이하가 되었을 경우는, 그것 이상 같은 방향으로 표시 범위를 이동시키면, 슬슬 유효영상범위의 끝에 도달하는 것을 나타내고 있다. 또한, 여기에서는, 2차원 평면도를 사용해서 설명했기 때문에 S404의 처리의 설명으로서 거리를 역치와 비교하는 예를 설명했지만 이것에 한정되는 것이 아니다. 잠정표시 범위504와 유효영상범위501의 끝이 가깝게 되었는지를 판정할 수 있으면 좋고, 유효영상범위501의 끝을 나타내는 각도와 잠정표시 범위504의 끝을 나타내는 각도와의 각도차이를 역치와 비교하도록 해도 좋다. 또한, 거리al∼a4의 모두를 역치가 되는 거리Ath와 비교하는 예를 설명했지만, 이것에 한정되는 것이 아니다.예를 들면, 거리al∼a4 중 가장 짧은 거리만큼을 거리Ath와 비교하고, 거리Ath이하가 되었을 경우에 S406에 진행되고, 그렇지 않을 경우에 S405에 진행되도록 해도 좋다. 또한, 거리al∼a4 중, 자세변화전의 표시 범위503으로부터 자세변화후에 산출한 잠정표시 범위504에의 이동 방향에 따라서, 잠정표시 범위504의 끝이 유효영상범위의 끝으로부터 떨어지는 방향의 거리는 판정에 사용하지 않아도 좋다. 도시의 예에서는, 거리a3에 대해서는 역치Ath와 비교하지 않더라도 좋다. 또한, 거리al∼a4를 모두 같은 역치Ath와 비교하는 것이 아니고, 거리al∼a4마다 다른 역치와 비교하도록 해도 좋다. 예를 들면 좌우 방향의 거리al, a3은 거리Athl과 비교하고, 거리Athl이하가 되었을 경우에 S406에 진행되도록 한다. 상하 방향의 거리a2, a4는 거리Ath2(<Athl)와 비교하고, 거리Ath2이하가 되었을 경우에 S406에 진행되도록 한다. 그리고, 그것들 이외의 경우에 S405에 진행되도록 한다. 이렇게 하면, 이후의 처리에 의해, 인간이 목을 크게 옮기기 쉬운 방향인 좌우 방향의 자세의 변화의 경우는, 상하 방향의 자세의 변화의 경우보다도 앞당겨, 표시 범위가 유효영상범위의 끝에 도달할 것 같은 것을 유저에게 주의 환기 할 수 있다.
S405에서는, CPU101은, 표시 범위를 S403에서 산출한 잠정표시 범위에서 갱신하고, 갱신한 표시 범위의 영상을 디스플레이105에 표시한다. 또한, 이 상황은 S404에서 무효영상범위까지의 거리가 소정거리이내가 아니라고 판정되었을 경우이므로, 범위 가이드는 표시하지 않는다. 자세의 변화전에 범위 가이드가 표시되어 있었을 경우에는 CPU101은 범위 가이드를 비표시로 한다. 범위 가이드에 대해서는 후술한다.
도5(al)에, S405의 상황에 있어서의 VR화상중의 표시 범위503의 위치 관계를, 도5(a2)에 이 경우의 표시 예를 도시한다. 또한, 도5(al)에 도시된 잠정표시 범위504는, S405에서 표시되는 표시 범위503으로부터 더욱 오른쪽으로 회전하는 자세의 변화가 있었을 경우에 산출되는 잠정표시 범위의 예다. 그 때문에, S405에서는 도5(al)에 도시된 위치의 잠정표시 범위504는 취득되지 않고 있는 것으로 한다. 표시 범위503의 오른쪽 끝과 유효영상범위501의 오른쪽 끝과의 거리는 역치Ath보다도 크고, 거리가 떨어져 있다(다른 거리에 대해서도 같다). 도5(a2)은, 도5(al)에 있어서의 표시 범위503에 대응하는 위치를 디스플레이105에 VR표시했을 경우의 표시 예다. 후술하는 범위 가이드510은 표시하지 않기 때문에, VR화상의 시인을 방해하지 않는다.
S406에서는, CPU101은, 잠정표시 범위504의 어느 하나의 끝(변)이, 유효영상범위의 일단에 도달한 것인가 아닌가를 판정한다. 이것은, 다시 말해, 거리al∼a4중 어느 하나가 제로로 된 것인가 아닌가의 판정이다. 잠정표시 범위504의 어느 하나의 끝(변)이, 유효영상범위의 일단에 도달했을 경우는 S408에 진행되고, 그렇지 않을 경우는 S407에 진행된다.
S407에서는, CPU101은, 표시 범위를 S403에서 산출한 잠정표시 범위에서 갱신하고, 갱신한 표시 범위의 영상을 디스플레이105에 표시한다. 또한, 이 상황은 S404에서 무효영상범위까지의 거리가 소정거리이내라고 판정되었을 경우이므로, CPU101은, 소정거리이내로 된 것을 나타내는 통지로서 범위 가이드를 표시한다.
도5(bl)에, S407의 상황에 있어서의 VR화상중의 표시 범위503의 위치 관계를, 도5(b2)에 이 경우의 표시 예를, 도시한다. 표시 범위503은 도5(al)보다도 오른쪽으로 이동하여 있고, 표시 범위503이 유효영상범위501의 끝에 도달하지 않고 있지만, 표시 범위503의 오른쪽 끝과 유효영상범위501의 오른쪽 끝과의 거리는 역치Ath이하이며, 거리가 가깝다. 도5(b2)은, 도5(bl)에 있어서의 표시 범위503에 대응하는 위치를 디스플레이105에 VR표시했을 경우의 표시 예다. VR 표시한 화상에 중첩하고, 범위 가이드510이 표시되어 있다. 범위 가이드510은, 주위360도 중, 유효영상범위(사선부511)와, 현재 VR표시하고 있는 범위인 표시 범위(도형을 희게 한 부512)와, 무효영상범위(검은 칠을 한 부513)를 나타내고 있다. 유저는 범위 가이드510을 보는 것에 의해, 현재 표시되어 있는 범위(표시 범위)가, VR화상 전체에 있어서의 어디의 범위(위치 관계)인지를 인식할 수 있다. 도5(b2)의 예에서는, 도형을 희게 한 부512가 검은 칠을 한 부513에 가깝게 되어 있고, 그 이상 오른쪽으로 시선(표시 범위)을 이동하면 슬슬 무효영상범위에 도달하는 것을 안다.
또한, 도5(b2)의 범위 가이드510은, 좌우 방향360도에 있어서의, 유효영상범위, 무효영상범위, 및 표시 범위를 나타내고 있다. 이것에 더해서, 상하 방향360도 또는 180도에 있어서의 유효영상범위, 무효영상범위, 및 표시 범위를 나타내는 범위 가이드를 별도로 표시해도 좋다. 다시 말해, 좌우 방향의 범위 가이드510과 상하 방향의 범위 가이드의 쌍방을 표시해도 좋다. 또한, 쌍방 표시하면, VR표시된 화상의 시인의 방해가 되기 때문에, 직전의 자세의 변화 방향에 맞추고, 좌우 방향의 범위 가이드510과 상하 방향의 범위 가이드 중 어느 한쪽을 표시, 혹은 모두 표시하지 않도록 동적으로 바꾸어도 좋다. 예를 들면, 직전의 자세의 변화에 의해, 표시 범위503과 유효영상범위501과의 좌우 방향의 거리인 거리al 또는 거리a3이 역치Ath이하가 되었을 경우에는, 좌우 방향의 범위 가이드510을 표시하고, 상하 방향의 범위 가이드를 표시하지 않도록 해도 좋다. 또한, 직전의 자세의 변화에 의해, 표시 범위503과 유효영상범위501과의 상하 방향의 거리인 거리a2 또는 거리a4이 역치Ath이하가 되었을 경우에는, 상하 방향의 범위 가이드를 표시하고, 좌우 방향의 범위 가이드510을 표시하지 않도록 해도 좋다. 이것에 의해 유저는, 유효영상범위의 끝에 도달해버릴 것 같은 방향에 대해서, 현재 시청하고 있는 범위(표시 범위)의 위치 관계를 파악할 수 있다. 혹은, 직전의 자세로부터의 이동 벡터에 있어서의 좌우 방향의 성분과 상하 방향의 성분과를 비교하고, 큰쪽의 이동 성분의 범위 가이드를 표시하도록 해도 좋다.
S408에서는, CPU101은, 잠정표시 범위504가 유효영상범위501을 초과한 양이 역치Bth(소정량)을 초과한 것인가 아닌가를 판정한다. 도5(cl)에, 잠정표시 범위504가 유효영상범위501을 초과하고 있을 경우의 위치 관계의 예를 도시한다. S408에서는, 잠정표시 범위504가 유효영상범위501을 초과한 양인 거리b가 역치Bth를 초과한 것인가 아닌가를 판정한다. 거리b가 역치Bth를 초과했을 경우는 S410에 진행되고, 그렇지 않을 경우에는 S409에 진행된다. 잠정표시 범위504가 유효영상범위501을 초과한 양(유효영상범위501의 끝에서의 초과량)이란, 보다 자세하게는 아래와 같다.
·잠정표시 범위504의 오른쪽 끝이 유효영상범위501의 오른쪽 끝을 초과하고 있을 경우(즉, al <0의 경우): 잠정표시 범위504의 오른쪽 끝과 유효영상범위501의 오른쪽 끝과의 거리
·잠정표시 범위504의 위쪽 끝이 유효영상범위501의 위쪽 끝을 초과하고 있을 경우(즉, a2 <0의 경우): 잠정표시 범위504의 위쪽 끝과 유효영상범위501의 위쪽 끝과의 거리
·잠정표시 범위504의 왼쪽 끝이 유효영상범위501의 왼쪽 끝을 초과하고 있을 경우(즉, a3 <0의 경우): 잠정표시 범위504의 왼쪽 끝과 유효영상범위501의 왼쪽 끝과의 거리
·잠정표시 범위504의 아래쪽 끝이 유효영상범위501의 아래쪽 끝을 초과하고 있을 경우는(즉, a4 <0의 경우: 잠정표시 범위504의 아래쪽 끝과 유효영상범위501의 아래쪽 끝과의 거리
역치Bth는, 무효영상범위의 폭(유효영상범위의 폭)에 의해 결정되는 변수이며, 표시 범위의 이동 방향에 있어서의 무효영상범위의 폭과 표시 범위의 폭의 합인 것으로 한다. 다시 말해, 초과량이 역치Bth에 도달하면, 잠정표시 범위가 정확히 유효영상범위 중 반대측의 끝에 접하는 범위가 된다.
S408에서는, 잠정표시 범위504가 유효영상범위501을 초과한 양이 역치Bth(소정량)을 초과한 것인가 아닌가를 판정하고 있지만, 이것은, 자세의 변화량이 역치를 초과한 것인가 아닌가의 판정과 동등하다. 다시 말해, 표시 범위503이 유효영상범위501의 끝에 접하고 있는 상태로부터, 특정한 회전 방향에 있어서의 전자기기100의 자세의 변화가, 초과량이 Bth에 도달하는 변화량에서 발생한 것인가 아닌가의 판정과 동등하다. 특정한 회전 방향에 있어서의 자세의 변화는, 잠정표시 범위504가 유효영상범위를 초과하는 방향으로 이동하는 요인이 되는 변화다. 따라서, S408의 판정은 자세에 근거한 판정으로 해도 좋다.
S409에서는, CPU101은, 표시 범위를, S403에서 산출한 잠정표시 범위가 아니고, 이동전의 표시 범위에서 S403에서 산출한 잠정표시 범위까지의 방향에 있어서 유효영상범위501의 끝에 접하는 범위로 갱신한다. 또한, CPU101은, VR화상 중, 갱신한 표시 범위의 영상을 디스플레이105에 표시한다. 또한, 이 상황은 S404에서 무효영상범위까지의 거리가 소정거리이내라고 판정되었을 경우이므로, CPU101은 범위 가이드를 표시한다.
도5(cl)에, S409의 상황에 있어서의 VR화상중의 표시 범위503의 위치 관계를, 도5(c2)에 이 경우의 디스플레이105에 있어서의 표시 예를 도시한다. 표시 범위503은, 도5(bl)보다도 더욱 오른쪽으로 이동하여 있고, 유효영상범위501의 끝에 도달하여 있고, 표시 범위503의 오른쪽 끝과 유효영상범위501의 오른쪽 끝이 접하고 있다. 이 직전의 전자기기100의 자세의 변화에 의해, 잠정표시 범위504는 도5(cl)에 나타낸 것처럼 유효영상범위501의 밖으로 밀려 나오지만, 표시 범위503은 이 잠정표시 범위504가 아니고, 유효영상범위501의 오른쪽 끝에 접하는 범위로 설정된다. 다시 말해, 유저가 전자기기의 자세를 변화시켜서 표시 범위503을 오른쪽으로 이동시켜도, 표시 범위503은 유효영상범위501의 오른쪽 끝에 맞부딪친 위치에서 일단 정지하고, S408 및 S410에서 Yes가 안되는 한은 그 이상 표시 범위는 이동하지 않는다. 예를 들면, 유저가 전자기기100을 VR고글에 장착해서 시청하고 있을 경우, 얼굴을 오른쪽을 향하는 것으로 표시 범위를 오른쪽으로 이동시킬(VR화상의 오른쪽을 볼) 수 있다. 그러나, 표시 범위가 유효영상범위의 오른쪽 끝에 도달한 바에서 표시 범위의 이동(좌측에의 영상의 스크롤)이 일단 정지하고, 얼굴을 그 이상 오른쪽을 향해도 408 및 S410에서 Yes가 안되는 한 표시 범위가 바뀌지 않는다.
도5(c2)은, 도5(cl)에 있어서의 표시 범위503에 대응하는 위치를 디스플레이105에 VR표시했을 경우의 표시 예다. VR 표시한 화상에 중첩하고, 범위 가이드510이 표시되어 있다. 범위 가이드510에 있어서, 표시 범위를 나타내는 도형을 희게 한 부가, 무효영상범위를 나타내는 검은 칠을 한 부와 맞대고 있어, 표시 범위가 유효영상범위의 끝에 도달한 것을 식별할 수 있다. 또한, CPU101은, 표시 범위503의 4변 중, 유효영상범위501과 접한 변인 우변에 대응하는, 도5(c2)의 우변에, 끝 인디케이터520을 표시한다. 끝 인디케이터520은, VR표시된 VR화상의 끝(디스플레이105의 표시 영역의 끝)에 따른 영역에 표시되는 반투과 또는 무투과의 표시 오브젝트다. 끝 인디케이터520은, 끝 인디케이터520이 표시된 변의 적어도 일부가 유효영상범위의 끝에 도달하고 있는 것을 의미하고 있다. 유저는 이 끝 인디케이터520을 보는 것에 의해, 도5(c2)의 예에서는, 오른쪽으로 더 이상 표시 범위를 이동시켜도 영상이 없는 것을 인식할 수 있다. 또한, 상술대로, 전자기기100의 자세를 변화시켜도 유효영상범위의 끝에서 표시 범위의 이동(좌측에의 영상의 스크롤)이 일단 정지한다. 이 경우, 표시된 영상(화상)만을 보면, 처리 능력의 부족에 의한 코마 결점이나 고장등의 어떠한 처리 이상 때문에 표시 범위의 이동이 정지했다고 유저가 오인할 가능성이 있다. 또한, 만일, 유효영상범위의 끝에서 표시 범위의 이동을 일단 정지하지 않는다고 해도, 공백 영역의 표시가, 무효영상범위를 포함하고 있기 때문인지, 어떠한 표시 처리의 이상에 의해 일부 표시가 되어 있지 않은 영역이 발생해버려 있는 것인지 유저에게는 판단하기 어렵다. 그러나, 본 실시예에서는, 이 경우에 끝 인디케이터520을 표시하기 때문에, 처리 이상은 없이 표시 범위가 유효영상범위의 끝에 도달했기 때문에 발생하는 정상적인 동작인 것을 유저에게 정확하게 인식시킬 수 있다. 또한, 무효영상범위에 대응하는 공백 상태의 표시(유효영상범위와는 관계가 없는 검은 칠을 하는 일 등의 표시)가 되지 않기 때문에, VR표시의 품위를 고품위로 유지할 수 있다. 공백 상태의 표시(유효영상범위와는 관계가 없는 검은 칠을 하는 일등의 표시)를 해버리면, 이것을 보는 것에 의해 가상 현실의 감각이 약해져, 유저의 몰입감을 저해할 우려가 있다. 이것에 대하여, 본 실시예에서는, 무효영상범위가 있어도 무효영상범위에 대응하는 영역을 표시하지 않기 때문에, 몰입감이 저해되는 것을 막을 수 있다.
또한, 표시 범위가 유효영상범위의 끝에 도달했을 경우에 표시하는 통지는, 끝 인디케이터520의 표시에 한정되는 것이 아니다. 표시 범위가 유효영상범위의 끝에 도달한 것에 따라서 범위 가이드510의 표시 형태를 변경하거나(점멸 표시나 색의 변경등), 「끝에 도달하고 있습니다」라고 한 메시지 표시, 그 밖의 표시 아이템의 표시(통지 아이콘 표시등)를 해도 좋다. 또한, 표시 범위가 유효영상범위의 끝에 도달할 때까지는 범위 가이드510을 표시하지 않고, 표시 범위가 유효영상범위의 끝에 도달한 것에 따라서 범위 가이드510을 표시 함으로써, 끝에 도달한 것을 통지해도 좋다. 또한, 유저의 몰입감을 저해하는 것을 방지한다고 하는 관점에서 말하면, 끝 인디케이터520과 같은 1변을 덮는 표시 오브젝트의 표시보다, 범위 가이드의 표시 형태의 변경이나, 1변을 덮도록 한 것이 아닌 다른 표시 아이템의 표시에 의한 통지가 적합하다. 또한, 표시 범위가 유효영상범위의 끝에 도달한 것은, 범위 가이드510에 의해서도 인식할 수 있으므로, 끝에 도달했기 때문이라고 해서 끝 인디케이터520과 같은 추가의 표시 오브젝트를 표시하지 않도록 해도 좋다. 반대로, 표시 범위의 이동의 정지 이유를 명확히 통지한다고 하는 관점에서는, 끝 인디케이터520을 표시하고, 유효영상범위로부터의 잠정표시 범위의 초과량이 많을수록 끝 인디케이터520의 면적을 크게 하는등, 초과량에 따른 표시의 변경을 해도 좋다. 잠정표시 범위의 초과가 발생하는 것은, 표시 범위가 유효영상범위의 끝에 도달해서 더욱 끝을 초과하는 영역에 표시 범위를 변경하려고 하는 지시(자세변화나 유저 조작등에 의한 지시)가 있었을 경우다. 또한, 끝 인디케이터520등의 끝에 도달하고 있는 것의 통지는, 표시 범위가 유효영상범위의 끝에 도달한 것만으로는 행하지 않고, 잠정표시 범위가 유효영상범위의 끝을 초과되었을 경우, 즉 끝을 초과하는 영역을 표시하려고 하는 자세의 변화가 있었을 경우에 행해도 좋다. 이 경우는, 표시 범위가 유효영상범위의 끝에 도달하고 있어도 자세가 변화되지 않고 안정되어 있을 경우에는 끝 인디케이터520등의 끝에 도달하고 있는 것을 통지는 행해지지 않는다.
S410에서는, CPU101은, 이동전의 표시 범위로부터 S403에서 산출한 잠정표시 범위까지의 이동 방향에 있어서의 무효영상범위의 폭이, 역치Cth(특정량)보다도 좁은 것인가 아닌가를 판정한다. 무효영상범위의 폭은, VR화상을 2차원 평면에 맵핑했을 경우는, 화소수나 길이, 거리로 나타낼 수 있지만, 화각, 시야각, 방위각, 앙각, 부각, 고도 각도, 스테라디안등에 의해 나타내는 각도 정보로도 나타낼 수 있다. 따라서, S410의 판정에 사용하는 역치Cth는, 화소수나 길이, 거리의 역치Cth로 해도 좋고, 각도 정보의 역치Cth로 해도 좋다. 역치Cth는 예를 들면, 이동 방향에 있어서의 표시 범위의 폭인 것으로 한다. 무효영상범위의 폭이 역치Cth보다도 좁을 경우는 S411에 진행되고, 그렇지 않을 경우는 S409에 진행된다.
도6(al), 도6(bl)에, 표시 범위의 이동 방향이 오른쪽이었을 경우의, 무효영상범위의 폭과, 역치Cth의 예로서의 표시 범위의 폭의 비교 예를 도시한다. 도6(al)과 도6(bl)은 모두, VR화상을 2차원 평면 위에 맵핑한 것을, 중심을 무효영상범위로서 도시한 것이다. 도6(al)과 도6(bl)에서는, VR화상의 좌우 방향의 유효영상범위가 다르고, 도6(al)의 VR화상쪽이, 도6(bl)의 VR화상보다도 유효영상범위가 넓은(무효영상범위가 좁은) 것으로 한다. 도6(al)과 도6(bl)에 있어서의 폭c는, 무효영상범위의 좌우 방향의 폭(길이)이다. 도6(al)에서는, 무효영상범위의 좌우 방향의 폭c가, 표시 범위503의 좌우 방향의 폭Xl(=Cth)보다도 좁다. 따라서, 만일 도6(al)에 도시한 표시 범위503에 대응하는 범위를 디스플레이105에 표시하면, 도6(a2)에 도시한 대로, 적어도 일부는 유효영상범위가 표시되고, 화면 전체가 공백 영역이 되어버릴 일은 없다. 이 경우는 S410에서는 Yes라고 판정한다. 한편, 도6(a2)에서는, 무효영상범위의 좌우 방향의 폭c가, 표시 범위503의 좌우 방향의 폭Xl(=Cth)보다도 넓다. 따라서, 만일, 도6(bl)에 도시한 표시 범위503에 대응하는 범위를 디스플레이105에 표시하면, 도6(b2)에 도시한 대로, 화면 전체가 공백 영역이 되어버린다. 이 경우는 S410에서는 No라고 판정한다.
S410에서 No라고 판정했을 경우는, S411에 진행될 일은 없고, 잠정표시 범위가 얼마 오른쪽으로 이동해도 표시 범위는 유효영상범위의 반대단으로는 이동하지 않는다. 다시 말해, 유저가 전자기기100의 자세를 같은 방향으로 아무리 변화시켜도, 유효영상범위의 반대단은 표시하지 않는다. 유효영상범위의 반대단을 표시시키기 위해서는, 전자기기100의 자세를 역방향으로 변화시킬 필요가 있다. 전자기기100을 VR고글에 장착하고 있었을 경우를 예로 하면, 얼굴을 얼마 오른쪽으로 돌려도, 표시 범위는 유효영상범위의 오른쪽 끝을 초과하지 않는다. 유효영상범위의 좌측의 영역을 보고 싶으면, 얼굴을 왼쪽으로 향할 필요가 있다. 이것은, 무효영상범위의 좌우 방향의 폭이 넓기 때문에, 무효영상범위를 끼운 유효영상범위의 우측과 좌측의 영상의 연속성(관련성)이 낮기 때문이다. 예를 들면, 유효영상범위의 오른쪽 끝에 찍혀 있는 피사체(도6(bl)의 예에서는, 흰벽 건물)의 더 우측은, 유효영상범위의 왼쪽 끝에는 찍혀 있지 않고, 도중에 끊어져 있다. 이 경우에, 얼굴을 오른쪽으로 돌리는 자세변화에 따라서 유효영상범위의 오른쪽 끝의 범위로부터 왼쪽 끝의 범위로 바꾸어서 표시해버리면, 유효영상범위의 오른쪽 끝에 찍혀 있는 피사체와 관련성이 낮은 영상(도6(bl)의 예에서는 다른 건물)이 표시되게 된다. 이러한 표시 변화를 유저가 보았을 경우, 표시된 유효영상범위의 왼쪽 끝의 범위의 영상이, 직전에 보았던 오른쪽 끝의 범위의 영상의 더 우측의 영상이라고 이해할 수 없고, 몰입감의 저하등의 위화감을 느낄 가능성이 있다. 따라서, 본 실시예에서는, 이동 방향에 있어서의 무효영상범위의 폭이 넓을 경우에는, 유효영상범위의 일단으로부터 반대단에의 표시 범위의 변경은 행하지 않는다. 또한, 역치Cth를 표시 범위의 폭분의 양으로 하는 예를 설명했지만, 270도분의 양이나 180도분의 양으로 한 고정의 각도분의 양으로 해도 좋다. 또한, 무효영상범위의 폭과 유효영상범위의 폭을 비교해서 무효영상범위의 폭이 넓을 경우에 표시 범위가 유효영상범위의 끝을 넘지 않는다, 라고 하도록, 역치Cth를 유효영상범위의 폭으로 해도 좋다.
S411에서는, CPU101은, 표시 범위를, 유효영상범위 중, 이동전의 표시 범위가 접하고 있었던 끝과 반대측의 끝에 접하는 범위로 갱신하고, VR 화상 중, 갱신한 표시 범위의 영상을 디스플레이105에 표시한다. 이동전의 표시 범위가 접하고 있었던 끝과 반대측의 끝에 접하는 범위는, 역치Bth를 이동 방향에 있어서의 무효영상범위의 폭과 표시 범위의 폭의 합이라고 했을 경우는, 역치Bth와 마찬가지의 초과량으로 설정되는 잠정표시 범위와 같게 된다. 또한, 이 상황은 S404에서 무효영상범위까지의 거리가 소정거리이내라고 판정되었을 경우이므로, CPU101은 범위 가이드를 표시한다.
도5(dl)에, S411의 상황에 있어서의 VR화상중의 표시 범위503의 위치 관계를, 도5(d2)에 이 경우의 디스플레이105에 있어서의 표시 예를 도시한다. 표시 범위503은, 도5(cl)에서는 유효영상범위501의 오른쪽 끝에 접하고 있었지만, 전자기기100의 자세가 더욱 표시 범위를 오른쪽으로 이동하는 자세변화를 한 결과, 도5(dl)에서는 유효영상범위501의 왼쪽 끝(오른쪽 끝의 반대단)에 접하는 범위로 되어 있다. 도5(d2)은, 도5(dl)에 있어서의 표시 범위503에 대응하는 위치를 디스플레이105에 VR표시했을 경우의 표시 예다. VR 표시한 화상에 중첩하고, 범위 가이드510이 표시되어 있다. 범위 가이드510에 있어서, 표시 범위를 나타내는 도형을 희게 한 부가, 무효영상범위를 나타내는 검은 칠을 한 부와 도5(c2)의 예와는 위치 관계가 역전해서 접하여 있고, 표시 범위가 유효영상범위의 반대단으로 이동한 것을 식별할 수 있다. 또한, 끝 인디케이터520은 표시하지 않는다. 이것은, 직전의 자세의 변화가, 표시 범위를, 유효영상범위의 왼쪽 끝을 초과하는 방향으로 이동시키는 것 같은 변화가 아니었기 때문이다.
또한, S408에서 초과량이 역치Bth를 초과했다고 판정되고나서, S411에서 도5(d2)의 표시를 행할 때까지의 도중에, 표시 범위가 유효영상범위의 반대단에 이동한 것을 알도록 한 애니메이션 표시를 행해도 좋다. 예를 들면, 도6(a2)과 같이, 이동전의 표시 범위의 영상601과 공백 영역602와 이동후의 표시 범위의 영상603이 재빠르게 왼쪽으로 이동(스크롤)하고, 이동후의 표시 범위의 영상603이 우측으로부터 이동해서 들어오도록 한 표시를 해도 좋다. 이러한 표시를 끼우므로, 유저는 표시 범위가 반대단에 이동한 것을 인식하기 쉬워진다. 또한, 이때, 표시 범위가 무효영상범위를 통과하기 때문에, 범위 가이드510에 있어서 표시 범위가 무효영상범위에 겹친다. 이 겹친 범위는, 겹치지 않고 있는 범위와 식별가능한 표시 형태로 표시한다(도시된 예에서는 흰 칠을 하는 일과도 검은 칠을 하는 일과도 다른 그레이로 표시하고 있다).
상술한 VR처리에 의하면, 유저가 전자기기의 자세를 변화시켜서 표시 범위503을 우측으로 이동시키면, 표시 범위503은, 도5(al), 도5(bl), 도5(cl), 도5(dl)로 순차로 이동한다. 이 이동 과정에 있어서, 도5(al), 도5(bl), 도5(cl)까지는 자세의 변화에 따라서 매끄럽게 표시 범위가 변화되지만, 도5(cl)로부터 도5(dl)에 걸쳐서는, 자세변화가 계속되고 있어도 일단 표시 범위의 이동이 정지한다. 그리고, 잠정표시 범위의 초과량이 역치Bth에 도달한 시점에서, 도5(cl)로부터 도5(dl)과 같이 표시 범위503이 이동한다.
또한, 상술한 VR표시 처리에서는, 범위 가이드510을, 표시 범위가 유효영상범위의 끝으로부터 소정거리이내일 경우에 표시하는 예를 설명했지만, 표시 대상인 VR화상에 무효영상범위가 존재할 경우에 표시하고, 존재하지 않을 경우에 표시하지 않도록 해도 좋다. 다시 말해, 표시 대상의 VR화상에 무효영상범위가 존재할 것인가 아닌가에 따라서 범위 가이드510을 표시할 것인가 아닌가를 바꾸어도 좋다.
또, 상술한 VR표시 처리에서는, 범위 가이드510을, 표시 범위가 유효영상범위의 끝으로부터 소정거리이내일 경우에 표시하는 예를 설명했지만, 유효영상범위의 끝으로부터 소정거리이내일 것인가 아닌가에 관계되지 않고 표시하는 것으로 해도 좋다. 다시 말해, 표시 범위가 유효영상범위의 끝으로부터 소정거리보다 떨어져 있을 경우에도 범위 가이드510을 표시하도록 해도 좋다. 표시 범위가 유효영상범위의 끝으로부터 소정거리보다 떨어져 있을 경우에도 범위 가이드510을 표시할 경우에는, 표시 범위가 유효영상범위의 끝으로부터 소정거리이내가 된 것에 따라서, 다른 방법으로 끝이 가깝게 된 것을 통지하도록 하면 여전히 좋다. 예를 들면, 표시 범위가 유효영상범위의 끝으로부터 소정거리이내가 된 것에 따라서, 아이콘, 메시지, 기호등의 범위 가이드510이외의 표시 아이템을 표시하도록 해도 좋다. 또한, 표시 범위가 유효영상범위의 끝으로부터 소정거리이내가 된 것에 따라서, 원래 표시하고 있었던 범위 가이드510의 표시 형태를 제1의 표시 형태로부터 제2의 표시 형태로 변화시켜도 좋다(예를 들면, 점멸시키는, 색을 변경하는 등).
또, 상술한 VR표시 처리에서는, 표시 범위가 유효영상범위의 끝에 도달하면, 표시 범위를 끝에 접한 상태로 유지한 후에 끝 인디케이터 520을 표시 함으로써, 끝에 도달한 것을 통지하는 예를 설명했다. 그러나 이것에 한정되는 것이 아니고, S409의 처리 대신에, 유효영상범위의 끝을 초과해서 무효영상범위의 일부까지 표시 범위를 이동하지만, 소정량(후술하는 Bmax상당량)이상은 무효영상범위를 보여주지 않도록 하는 것으로, 끝에 도달한 것을 통지해도 좋다.
도6(cl)에, 이 경우의 유효영상범위와 표시 범위의 위치 관계를 도시한다. 도6(cl)은, 전자기기100의 자세변화가 있고, 유효영상범위501로부터의 잠정표시 범위504의 초과량b가, 표시 범위503에 포함시키는 무효영상범위의 최대폭Bmax를 초과하고 있는 상황의 위치 관계의 예다. 도6(c2)은, 표시 범위503이 도6(cl)의 위치일 경우의 디스플레이105에 있어서의 VR표시의 표시 예다. 잠정표시 범위504가 최대폭Bmax를 초과할 때까지는, 표시 범위를, 무효영상범위를 포함하는 잠정표시 범위대로의 범위에서 갱신하고, 갱신한 표시 범위의 영상을 표시한다. 표시 범위에 포함되는 무효영상범위에 대응하는 공백 영역(유효영상범위의 끝을 초과하는 영역)은, 단일색으로 빈틈없이 칠하는등 해서 표시한다. 다시 말해, 전자기기100의 자세변화에 따라서, 잠정표시 범위504가 최대폭Bmax를 초과할 때까지는, 자세변화의 양에 따른 폭의 공백 영역이 표시된다. 잠정표시 범위504가 최대폭Bmax를 초과했을 경우에는, 표시 범위를, 잠정표시 범위대로가 아니고, 도6(cl)과 같이 최대폭Bmax를 초과하지 않는 범위로 유지하고, 유효영상범위501로부터의 초과량이 최대폭Bmax가 되는 범위를 표시 범위503으로서 표시한다. 최대폭Bmax는, 표시 범위503의 폭보다도 작은 값으로 설정하는 것으로 한다. 유효영상범위501로부터의 잠정표시 범위504의 초과량b가, 표시 범위503에 포함시키는 무효영상범위의 최대폭Bmax를 초과하고, 역치Bth를 초과할 때까지는, 도6(cl)에 도시된 표시 범위503이 유지되고, 도6(c2)과 같은 표시가 행해진다. 이러한 표시에 의해, 현재 표시되어 있는 영상의 끝을 초과하는 영역은 공백 영역이며, 영상이 존재하지 않는 것을 유저에 의해 직감적으로 이해시킬 수 있다. 또한, 이때, 표시 범위가 무효영상범위에 일부 겹치기 때문에, 범위 가이드510에 있어서 표시 범위와 무효영상범위가 겹친다. 이 겹친 범위는, 겹치지 않고 있는 범위와 식별가능한 표시 형태로 표시한다(도시된 예에서는 흰 칠을 하는 일과도 검은 칠을 하는 일과도 다른 그레이로 표시하고 있다). 유효영상범위501로부터의 잠정표시 범위504의 초과량b가 Bth를 초과했을 경우는 전술한 대로의 처리를 행한다.
또한, 상술한 VR표시 처리에서는, 범위 가이드를, 표시 범위가 유효영상범위의 끝으로부터 소정거리이내일 경우에 표시하는 예를 설명했지만, 표시 범위의 적어도 일부가 무효영상범위를 포함한 것에 따라서 표시하는 것으로 해도 좋다. 상술한 최대폭Bmax가 표시 범위의 폭보다도 넓을 경우등과 같이, 무효영상범위만을 포함하는 표시 범위(유효영상범위를 포함하지 않는 표시 범위)의 설정이 허용되어도 좋다. 그 경우에는, 표시 범위의 전체가 무효영상범위가 된 것에 따라서 범위 가이드를 표시하도록 해도 좋다.
또한, 상술한 VR표시 처리에서는, 범위 가이드510이 유효영상범위와표시 범위와 무효영상범위를 나타내는 예를 설명했지만, 표시 범위는 표시되지 않아도 좋다. 유효영상범위와 무효영상범위가 표시되면, 공백 영역의 표시가 무효영상범위에 의한 것이며 처리 이상이 아닌 것을 유저에게 인식시킬 수 있다.
<변형 예>
도4에서 설명한 VR표시 처리 대신에, 도7에 도시하는 VR표시 처리를 행해도 좋다. 도7에 있어서의 VR표시 처리는, 도4에 있어서의 S408과 S411의 처리의 생략, 대신에 S711을 추가한 것이다.
S401∼S409의 처리는, 도4에서 설명한 것과 마찬가지다. S406에서 잠정표시 범위가 유효영상범위의 끝에 도달했다고 판정하면, S410의 처리를 행한다.
S410에서는, CPU101은, 무효영상범위의 폭이 역치Cth보다 작은 것인가 아닌가를 판정한다. 무효영상범위의 폭이 역치Cth보다 작은 경우에는 S711에 진행되고, 무효영상범위의 폭이 역치Cth이상일 경우에는 S409에 진행된다.
S409에서는, CPU101은, 도4에서 설명한 처리와 마찬가지의 처리를 행한다. 다시 말해, 표시 범위는 유효영상범위의 끝을 초과한 범위로는 되지 않고, VR표시에 있어서 끝을 초과한 범위(무효영상범위)는 표시되지 않는다.
S711에서는, CPU101은, 표시 범위를 S403에서 산출된 잠정표시 범위에서 갱신하고, 갱신한 표시 범위의 영상을 디스플레이105에 표시한다. 이 상황에 있어서는, 표시 범위에 끝을 초과한 범위인 무효영상범위가 포함된다. 따라서, 이 경우는, 도6(c2), 도6(a2)과 같은 표시가 행해진다.
도7의 VR표시 처리에 의하면, 무효영상범위의 폭이 역치Cth보다 작은 경우에는, 잠정표시 범위가 유효영상 범위의 끝을 초과하는 자세변화가 있어도 표시 범위의 이동은 정지하지는 않는다. 도7의 VR표시 처리에 의하면, 이러한 경우에, 공백 영역의 표시를 경유해서 반대단의 유효영상범위까지 매끄럽게 표시 범위를 이동시킬 수 있다. 한편, 무효영상범위의 폭이 역치Cth이상일 경우에는, 잠정표시 범위가 유효영상 범위의 끝에 도달하면, 그것 이상 같은 방향으로 자세변화가 있어도 표시 범위는 이동하지 않고 정지한다. 이렇게, 무효영상범위의 폭이 역치Cth보다 작은 것인가 아닌가에 따라서, 표시 범위의 끝을 초과한 공백 영역을 표시할지, 공백 영역을 표시하지 않고 표시 범위가 정지할지가 다르다.
이것에 의해, 예를 들면 VR고글을 장착해서 전자기기100을 보고 있는 유저는, 얼굴을 오른쪽으로 돌리고 있는데도 표시 범위가 이동하지 않는 것을 보고, 그것이상 돌려도 목적지는 표시되지 않는 것을 빠른 시기에 알아차리고, 얼굴의 오른쪽에의 회전을 그만둔다. 구체적으로는, 유저는, 표시 범위가 정지하고나서 더욱 10도정도 얼굴을 돌린 시점에서, 그것 이상 돌려도 목적지는 표시되지 않는 것을 알아차리고, 얼굴의 오른쪽에의 회전을 그만둔다. 따라서, 쓸데 없는 얼굴의 회전 동작(예를 들면, 표시 범위가 정지하고나서 더욱 90도 얼굴을 회전시키는 동작)을 해버리는 것을 방지할 수 있다.
전자기기100을 VR고글에 장착해서 유저가 정면을 향했을 경우에 유효영상범위의 중앙이 표시 범위가 될 경우에는, 무효영상 범위의 중앙은 유저로부터 보아서 배후라고 하게 된다. 무효영상 범위가 좁을 경우(무효영상범위의 폭이 역치Cth미만일 경우)에는 배후에도 유효영상범위가 있고, 유저가 배후를 되돌아보는 의미가 있다. 그러나, 무효영상 범위가 넓을 경우(무효영상범위의 폭이 역치Cth이상일 경우)에는, 유저의 배후에는 유효영상범위가 존재하지 않고, 유저가 배후를 되돌아보는 의미는 적다. 또한, 유효영상범위의 오른쪽 끝이 표시되는 우경사 뒤를 보고 있는 상태로부터, 유효영상범위의 반대단이 표시되는 좌경사 뒤를 보기 위해서는, 배후를 되돌아봐서 더욱 오른쪽으로 회전함에 시선을 이동하는 것 보다도, 좌회전에서 정면을 경유해서 시선을 이동하는 쪽이 인체의 구조상, 편안히 행할 수 있다. 따라서, 도7에서 설명한 처리와 같이, 무효영상범위가 넓고, 배후를 되돌아보는 의미가 적을 경우에는, 빠른 시기에 표시 범위의 이동을 정지하고, 그 이상 유저가 배후를 향하려고 하지 않도록 유도한다. 이것에 의해, 배후를 되돌아본다고 한 행하기 어려운 동작을 쓸데 없이 행하게 해버리는 것을 방지하고, 쾌적하게 VR표시를 시인시킬 수 있다.
또한, 상술한 실시예에 있어서는, VR표시의 예로서 1개의 표시 범위의 화상을 1화면에 1개 표시하는 1안 VR표시를 행하는 예를 설명했다. VR 표시는 1안 VR표시에 한정되는 것이 아니다. 본 발명은, 1개의 표시 범위를 1화면의 2개의 표시 영역에 표시하거나, 혹은 시차를 고려해서 약간 벗어난 2개의 표시 범위를 1화면의 2개 표시 영역에 각각 표시하는 2안 VR표시에도 적용가능하다.
또한, 상술한 실시예에 있어서는, 자세검출부113에서 검출한 전자기기100의 자세에 근거해서 표시 범위를 이동하는 VR표시에 본 발명을 적용하는 예를 설명했지만, 이것에 한정되지 않는다. 자세에 근거해서 표시 범위를 이동하는 것이 아니고, 유저로부터의 스크롤 지시 조작에 근거해서 표시 범위를 이동하는 경우에도 적용가능하다. 예를 들면, VR표시 모드와 다른 기타의 표시 모드에 있어서는, 자세의 변화가 없고, 유저에 의한 터치패널106a에 대한 터치무브나, 십자 키등의 방향 버튼에 대한 조작에 따라서도, 표시 범위를 이동(스크롤)하는 것이 가능하다. 이 경우도, 스크롤 지시 조작에 따라서 잠정표시 범위를 구하고, 상술한 도4의 S404∼S411의 처리, 도7의 S404∼S711의 처리를 행하는 것이 가능하다. 다시 말해, 터치무브에 의해 표시 범위를 이동하는 경우에도, 표시 범위가 유효영상범위의 끝에 가까이 가거나 또는 도달한다면, 가까이 간 것 또는 도달한 것을 나타내는 통지를 행한다. 또한, 무효영상범위의 폭이 소정의 폭미만이면 터치무브에 의해 유효영상범위의 끝을 초과해서 스크롤시키는 것이 가능하지만, 무효영상범위의 폭이 소정의 폭이상이면 터치무브에 의한 표시 범위의 이동으로 유효영상범위의 끝을 초과하지는 않는다.
이상 설명한 처리에 의하면, 표시 범위가 VR화상의 유효영상범위 중 끝을 포함하지 않는 위치로부터 끝에 도달했을 경우에, 범위 가이드510이나 끝 인디케이터520을 표시하도록 제어한다. 이렇게 함으로써, 그 이상 표시 범위가 이동하지 않는 원인이, 유효영상범위의 끝에 도달했기 때문인 것을 인식할 수 있다. 따라서, 고부하 처리에 의한 처리 능력의 저하, 처리 이상, 고장등이라고 한 다른 요인이 원인이라고 오인식하는 것을 방지할 수 있다.
또, 상술한 처리에 의하면, 무효영상범위의 폭이 소정의 폭미만이면 유효영상범위의 끝을 초과해서 표시 범위를 반대단까지 변경시키는 것이 가능하지만, 무효영상범위의 폭이 소정의 폭이상이면 표시 범위는 유효영상범위의 끝을 초과해서 이동하는 일이 없도록 제어한다. 이렇게 함으로써, 무효영상범위가 좁을 경우에는, 적은 자세의 변화로 유효영상범위의 반대단의 영상을 표시시킬 수 있다. 한편으로, 무효영상범위가 넓은 경우에는, 배후를 되돌아봐서 더욱 시선을 크게 이동한다고 한 어려운 자세의 변화를 유저에게 행하게 하는 것을 억제할 수 있다.
인간의 시야각보다 넓은 범위의 영상을 갖는 VR콘텐츠에 있어서, 비영상 범위는, 유효영상범위의 중앙을 전방면으로 했을 경우의 후방이나 바로 아래등에 위치하고, 유효영상범위의 중앙을 정면으로 한 유저가 시선을 향하기 어려운 방향으로 위치하는 경우가 많다. 그러나, 일단을 초과해서 비영상 범위의 표시를 경유하고나서 타단의 유효영상범위를 표시시키기 위해서는, 비영상 범위가 넓을 경우에, 비영상 범위를 길게 경유해야만 한다. 비영상 범위를 길게 경유하면, 시선을 향하기 어려운 자세를 많이 취하지 않으면 안되고, 어느 범위를 표시하고 있는 것인지 이해하기 어렵다. 그것보다는, 역방향으로 표시 범위를 이동시켜서 타단의 유효영상범위를 표시시키는 쪽이 어디를 표시시키고 있는지 이해하기 쉽거나, 또한, 간단하다. 본 실시예에 의하면, 무효영상범위의 폭이 소정의 폭이상이면 표시 범위는 유효영상범위의 끝을 초과해서 이동하지 않으므로, 유저는, 역방향으로 표시 방향을 이동시켜서 타단의 유효영상범위를 표시시키려고 한다. 이렇게하여, 비영상 범위를 길게 경유함으로써 시선을 향하기 어려운 자세를 많이 취하지 않으면 안된다고 한 상황이나, 어느 범위를 표시하고 있는 것인지 이해하기 어렵다고 한 상황을 억제할 수 있다. 이렇게, VR콘텐츠가 갖는 영상범위의 끝에 도달한 후에 의해 적합한 표시를 행할 수 있다.
또한, CPU101이 행하는 것으로서 설명한 상술한 각종 제어는, 1개의 하드웨어가 행해도 좋고, 복수의 하드웨어가 처리를 분담 함으로써, 장치전체의 제어를 행해도 좋다.
또, 본 발명을 그 적합한 실시예에 근거해서 상세히 설명해왔지만, 본 발명은 이것들 특정의 실시예에 한정되는 것이 아니고, 본 발명의 요지를 일탈하지 않는 범위의 여러가지 형태도 본 발명에 포함된다. 더욱, 상술한 각 실시예는 본 발명의 일 실시예를 나타내는 것에 지나지 않고, 각 실시예를 적절하게 조합하는 것도 가능하다.
또, 상술한 실시예에 있어서는, 본 발명을 스마트 폰등의 전자기기100에 적용했을 경우를 예로 해서 설명했지만, 이것은 이 예에 한정되지 않고 VR화상의 일부분을 표시하도록 제어하는 것이 가능한 전자기기이면 적용가능하다. 물론, 스마트 폰이 아니고, 헤드 마운트 디스플레이(HMD)에 적용하는 것도 가능하다. 또한, 본 발명은 퍼스널 컴퓨터나 PDA, 휴대전화단말이나 휴대형의 화상 뷰어, 디스플레이를 구비하는 프린터 장치, 디지털 포토 프레임등에 적용가능하다. 또한, 본 발명은 음악 플레이어, 게임기, 전자 북 리더, 타블렛 단말, 스마트 폰, 투영 장치, 디스플레이를 구비하는 가전장치나 차재장치등에 적용가능하다.
(기타의 실시예)
본 발명은, 상술의 실시예의 1이상의 기능을 실현하는 프로그램을, 네트워크 또는 기억 매체를 통해 시스템 또는 장치에 공급하고, 그 시스템 또는 장치의 컴퓨터에 있어서의 1개이상의 프로세서가 프로그램을 판독해 실행하는 처리라도 실현가능하다. 또한, 1이상의 기능을 실현하는 회로(예를 들면, ASIC)에 의해서도 실현가능하다.
100: 전자기기 101: CPU l13: 자세검출부

Claims (34)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 전자기기의 자세를 검출하는 검출수단과,
    VR 콘텐츠의 일부를 표시 범위로서 표시 수단에 표시하고, 상기 검출수단에 의해 검출된 자세에 따라서 상기 표시 범위의 위치를 변경하는 표시 제어 수단을 구비하는 전자기기로서,
    상기 표시 제어 수단은, 상기 VR 콘텐츠의 360도와 영상범위 간의 차이에 대응하는 상기 VR 콘텐츠의 비영상범위가 특정량보다 좁은 경우에, 상기 표시 범위의 위치가 상기 전자기기의 특정 회전 방향의 자세 변화에 따라 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 상기 전자기기의 특정 회전 방향의 자세가 더 변화하는 것에 따라 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하고,
    상기 표시 제어 수단은, 상기 VR 콘텐츠의 비영상범위가 상기 특정량보다 좁지 않은 경우에, 상기 표시 범위의 위치가 상기 전자기기의 특정 회전 방향의 자세 변화에 따라 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 상기 전자기기의 특정 회전 방향의 자세가 더 변화하더라도 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하지 않는, 전자기기.
  16. VR 콘텐츠의 일부를 표시 범위로서 표시 수단에 표시하고, 유저에 의한 조작에 따라서 상기 표시 범위의 위치를 변경하는 표시 제어 수단을 구비하는 전자기기로서,
    상기 표시 제어 수단은, 상기 VR 콘텐츠의 360도와 영상범위 간의 차이에 대응하는 상기 VR 콘텐츠의 비영상범위가 특정량보다 좁은 경우에, 유저가 소정의 조작을 행하는 것에 따라 상기 표시 범위의 위치가 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 유저가 소정의 조작을 더 행하는 것에 따라 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하고,
    상기 표시 제어 수단은, 상기 VR 콘텐츠의 비영상범위가 상기 특정량보다 좁지 않은 경우에, 유저가 소정의 조작을 행하는 것에 따라 상기 표시 범위의 위치가 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 유저가 소정의 조작을 더 행하더라도 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하지 않는, 전자기기.
  17. 제 15 항에 있어서,
    상기 특정량은, 180도의 시야각에 대응하는 양인 것을 특징으로 하는, 전자기기.
  18. 제 15 항에 있어서,
    상기 특정량은, 상기 검출된 자세의 변화에 따라 상기 표시 범위의 이동 방향에서 상기 표시 범위의 폭에 대응하는 양인 것을 특징으로 하는, 전자기기.
  19. 제 15 항에 있어서,
    상기 특정량은, 상기 검출된 자세의 변화에 따라 상기 표시 범위의 이동 방향에서 상기 VR 콘텐츠의 영상범위의 폭에 대응하는 양인 것을 특징으로 하는, 전자기기.
  20. 삭제
  21. 제 15 항에 있어서,
    상기 표시 제어 수단은, 상기 VR 콘텐츠의 비영상범위가 상기 특정량보다 좁은 경우에도, 상기 전자기기의 특정 회전 방향의 추가 자세 변화의 변화량이 역치를 초과할 때까지 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 상기 영상범위의 위치를 변경하지 않는 것을 특징으로 하는, 전자기기.
  22. 제 15 항에 있어서,
    상기 표시 제어 수단은, 상기 표시 범위의 위치가 상기 VR 콘텐츠의 영상 범위의 끝에 도달했을 경우에, 상기 표시 범위가 상기 끝에 도달한 것을 나타내는 아이템을 표시하는 것을 특징으로 하는, 전자기기.
  23. 삭제
  24. 제 15 항에 있어서,
    상기 표시 제어 수단은, 상기 VR 콘텐츠의 일부와 함께 상기 VR 콘텐츠의 영상 범위, 비영상 범위, 및 표시 범위의 위치 간의 위치 관계를 나타내는 아이템을 표시하는 것을 특징으로 하는, 전자기기.
  25. 삭제
  26. 삭제
  27. 전자기기의 자세를 검출하는 검출 스텝과,
    VR 콘텐츠의 일부를 표시 범위로서 표시 수단에 표시하고, 상기 검출 스텝에서 검출된 자세에 따라서 상기 표시 범위의 위치를 변경하는 표시 제어 스텝을 포함하는 전자기기의 제어 방법으로서,
    상기 표시 제어 스텝에서, 상기 VR 콘텐츠의 360도와 영상범위 간의 차이에 대응하는 상기 VR 콘텐츠의 비영상범위가 특정량보다 좁은 경우에, 상기 표시 범위의 위치가 상기 전자기기의 특정 회전 방향의 자세 변화에 따라 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 상기 전자기기의 특정 회전 방향의 자세가 더 변화하는 것에 따라 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하고,
    상기 표시 제어 스텝에서, 상기 VR 콘텐츠의 비영상범위가 상기 특정량보다 좁지 않은 경우에, 상기 표시 범위의 위치가 상기 전자기기의 특정 회전 방향의 자세 변화에 따라 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 상기 전자기기의 특정 회전 방향의 자세가 더 변화하더라도 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하지 않는 것을 특징으로 하는, 전자기기의 제어 방법.
  28. VR 콘텐츠의 일부를 표시 범위로서 표시 수단에 표시하고, 유저에 의한 조작에 따라서 상기 표시 범위의 위치를 변경하는 표시 제어 스텝을 포함하는 전자기기의 제어 방법으로서,
    상기 표시 제어 스텝에서, 상기 VR 콘텐츠의 360도와 영상범위 간의 차이에 대응하는 상기 VR 콘텐츠의 비영상범위가 특정량보다 좁은 경우에, 유저가 소정의 조작을 행하는 것에 따라 상기 표시 범위의 위치가 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 유저가 소정의 조작을 더 행하는 것에 따라 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하고,
    상기 표시 제어 스텝에서, 상기 VR 콘텐츠의 비영상범위가 상기 특정량보다 좁지 않은 경우에, 유저가 소정의 조작을 행하는 것에 따라 상기 표시 범위의 위치가 상기 VR 콘텐츠의 영상범위의 일단에 도달한 후, 유저가 소정의 조작을 더 행하더라도 상기 표시 범위의 위치를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하지 않는 것을 특징으로 하는, 전자기기의 제어 방법.
  29. 컴퓨터를, 청구항 15 내지 19, 21, 22 및 24 중 어느 한 항에 기재된 전자기기의 각 수단으로서 기능시키기 위한 프로그램을 격납한 컴퓨터가 판독 가능한 기억 매체.
  30. 제 15 항에 있어서,
    상기 표시 제어 수단은, 상기 비영상범위가 상기 특정량보다 좁은 경우에, 상기 표시 범위를 상기 VR 콘텐츠의 영상범위의 일단으로부터 타단으로 변경하는 도중에, 상기 비영상범위에 대응하는 공백 화상을 표시하도록 제어하는 것을 특징으로 하는, 전자기기.
  31. 삭제
  32. 제 15 항에 있어서,
    상기 전자기기는, 유저의 머리 부분에 장착되고, 상기 전자기기의 자세는 상기 유저의 머리 부분이 이동하는 것에 의해 변화하는 것을 특징으로 하는, 전자기기.

  33. 삭제
  34. 삭제
KR1020197031077A 2017-04-04 2018-01-26 전자기기 및 그 제어 방법 KR102278229B1 (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JPJP-P-2017-074483 2017-04-04
JP2017074496A JP7005161B2 (ja) 2017-04-04 2017-04-04 電子機器及びその制御方法
JP2017074483A JP7005160B2 (ja) 2017-04-04 2017-04-04 電子機器及びその制御方法
JPJP-P-2017-074496 2017-04-04
PCT/JP2018/002464 WO2018186004A1 (ja) 2017-04-04 2018-01-26 電子機器及びその制御方法

Publications (2)

Publication Number Publication Date
KR20190129982A KR20190129982A (ko) 2019-11-20
KR102278229B1 true KR102278229B1 (ko) 2021-07-16

Family

ID=63712522

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197031077A KR102278229B1 (ko) 2017-04-04 2018-01-26 전자기기 및 그 제어 방법

Country Status (6)

Country Link
US (1) US11100903B2 (ko)
KR (1) KR102278229B1 (ko)
CN (1) CN110494915B (ko)
DE (1) DE112018001867T5 (ko)
GB (1) GB2574780B (ko)
WO (1) WO2018186004A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021095307A1 (ja) * 2019-11-13 2021-05-20 キヤノン株式会社 表示装置
CN112492289A (zh) * 2020-06-23 2021-03-12 中兴通讯股份有限公司 沉浸媒体数据的处理方法及装置、存储介质和电子装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013272A1 (ja) * 2014-07-23 2016-01-28 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796776B2 (ja) 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
IES20120509A2 (en) * 2012-11-27 2014-06-04 Digitaloptics Corp Europe Ltd Digital image capture device having a panorama mode
DE102014104070B4 (de) * 2013-03-26 2019-03-07 Htc Corporation Panoramaanzeigeverfahren und Bilderfassungsverfahren
US10070048B2 (en) * 2013-03-26 2018-09-04 Htc Corporation Panorama photographing method, panorama displaying method, and image capturing method
CN105229720B (zh) * 2013-05-21 2018-05-15 索尼公司 显示控制装置、显示控制方法以及记录介质
TW201502581A (zh) * 2013-07-11 2015-01-16 Seiko Epson Corp 頭部配戴型顯示裝置及頭部配戴型顯示裝置之控制方法
KR20150069559A (ko) * 2013-12-13 2015-06-23 삼성전자주식회사 화면 제어 방법 및 이를 구현하는 전자 장치
JP6067625B2 (ja) * 2014-07-02 2017-01-25 株式会社モリタ製作所 生体撮像装置
US9883101B1 (en) * 2014-07-23 2018-01-30 Hoyos Integrity Corporation Providing a real-time via a wireless communication channel associated with a panoramic video capture device
CN104394451B (zh) * 2014-12-05 2018-09-07 宁波菊风系统软件有限公司 一种智能移动终端的视频呈现方法
CN105988219B (zh) * 2015-03-17 2020-11-10 精工爱普生株式会社 头部佩戴型显示装置以及头部佩戴型显示装置的控制方法
JP6344723B2 (ja) 2015-07-14 2018-06-20 パナソニックIpマネジメント株式会社 映像表示システム、映像表示装置及び映像表示方法
KR101751840B1 (ko) 2015-08-21 2017-06-28 대우조선해양 주식회사 멤브레인형 저장탱크의 코너부 단열벽, 그것을 포함하는 멤브레인형 저장탱크 및 액화천연가스 저장탱크의 단열시스템
CN105791695B (zh) * 2016-03-30 2019-06-11 沈阳泰科易科技有限公司 全景图像的生成方法和装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016013272A1 (ja) * 2014-07-23 2016-01-28 ソニー株式会社 情報処理装置及び情報処理方法、並びに画像表示システム

Also Published As

Publication number Publication date
CN110494915A (zh) 2019-11-22
DE112018001867T5 (de) 2019-12-12
US20200035208A1 (en) 2020-01-30
GB2574780A (en) 2019-12-18
GB2574780B (en) 2022-09-21
KR20190129982A (ko) 2019-11-20
WO2018186004A1 (ja) 2018-10-11
US11100903B2 (en) 2021-08-24
GB201914081D0 (en) 2019-11-13
CN110494915B (zh) 2022-02-18

Similar Documents

Publication Publication Date Title
JP7005161B2 (ja) 電子機器及びその制御方法
US10739985B2 (en) Computer-readable storage medium having stored thereon display control program, display control system, display control apparatus, and display control method
JP3926837B2 (ja) 表示制御方法および装置、プログラム、並びに携帯機器
US9013368B1 (en) Foldable mobile device and method of controlling the same
US9021385B2 (en) Computer-readable storage medium having stored thereon display control program, display control system, display control apparatus, and display control method
US20160292922A1 (en) Display control device, display control method, and recording medium
US20120066627A1 (en) Computer-readable storage medium having stored thereon display control program, display control system, display control apparatus, and display control method
WO2015064552A1 (ja) 電子機器および制御プログラム並びに電子機器の動作方法
US20160291687A1 (en) Display control device, display control method, and recording medium
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
US10979700B2 (en) Display control apparatus and control method
KR102278229B1 (ko) 전자기기 및 그 제어 방법
JP7005160B2 (ja) 電子機器及びその制御方法
CN110442314B (zh) 一种显示方法、终端及计算机可读存储介质
US20200257396A1 (en) Electronic device and control method therefor
CN111381750B (zh) 电子装置及其控制方法和计算机可读存储介质
JP7187307B2 (ja) 電子機器及びその制御方法
US11036287B2 (en) Electronic device, control method for electronic device, and non-transitory computer readable medium
JP7278773B2 (ja) 電子機器及びその制御方法
WO2019102885A1 (ja) 画像の表示部分を変更可能な電子機器
JP2021128234A (ja) 電子機器及びその制御方法
JP2021018742A (ja) 制御装置、方法、プログラム、および情報処理システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application
E801 Decision on dismissal of amendment
GRNT Written decision to grant