KR102117376B1 - 정보 처리 장치 - Google Patents

정보 처리 장치 Download PDF

Info

Publication number
KR102117376B1
KR102117376B1 KR1020187007053A KR20187007053A KR102117376B1 KR 102117376 B1 KR102117376 B1 KR 102117376B1 KR 1020187007053 A KR1020187007053 A KR 1020187007053A KR 20187007053 A KR20187007053 A KR 20187007053A KR 102117376 B1 KR102117376 B1 KR 102117376B1
Authority
KR
South Korea
Prior art keywords
image
display
display device
display mode
flat image
Prior art date
Application number
KR1020187007053A
Other languages
English (en)
Other versions
KR20180040634A (ko
Inventor
유지 나카무라
구니아키 오에
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20180040634A publication Critical patent/KR20180040634A/ko
Application granted granted Critical
Publication of KR102117376B1 publication Critical patent/KR102117376B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/64—Constructional details of receivers, e.g. cabinets or dust covers
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Hardware Design (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

유저가 헤드부에 장착하여 사용하는 영상 표시 장치에 평면 영상을 표시시키는 경우에, 사용 상황에 적합한 형태로 표시시킬 수 있는 정보 처리 장치를 제공한다. 유저가 헤드부에 장착하여 사용하는 영상 표시 장치와 접속되고, 당해 영상 표시 장치의 위치 및/또는 방향의 변화에 구애되지 않고 유저의 정면 방향에 평면 영상을 표시시키는 제1 표시 모드와, 당해 영상 표시 장치의 위치 및/또는 방향의 변화에 따라 변화하는 형태로 평면 영상을 표시시키는 제2 표시 모드를, 주어진 조건에 기초하여 전환하는 정보 처리 장치이다.

Description

정보 처리 장치
본 발명은 유저가 헤드부에 장착하여 사용하는 영상 표시 장치에 영상을 표시시키는 정보 처리 장치, 영상 표시 장치의 제어 방법 및 프로그램에 관한 것이다.
헤드 마운트 디스플레이와 같이, 유저가 헤드부에 장착하여 사용하는 영상 표시 장치가 있다. 이 타입의 영상 표시 장치는, 유저의 눈앞에 화상을 결상시킴으로써, 그 화상을 유저에게 열람시킨다.
또한, 상술한 영상 표시 장치 중에는, 유저의 헤드의 움직임을 검출하고, 그 위치나 방향의 변화에 연동하여 갱신되는 화상을 표시하는 것이 있다. 이러한 영상 표시 장치는, 임장감이 있는 영상을 유저에게 열람시킬 수 있기 때문에, 가상현실 기술 등에 이용되고 있다. 일례로서, 가상 공간에 배치한 가상 카메라의 방향을 유저의 헤드의 움직임에 맞추어 변화시키면서, 이 가상 카메라로부터 본 가상 공간의 모습을 나타내는 영상을 영상 표시 장치에 표시시키는 프로그램이 알려져 있다. 이에 의해, 유저에게 마치 가상 공간 내에 있는 것과 같은 영상을 열람시킬 수 있다.
상술한 영상 표시 장치에 있어서, 평면 영상(종래의 표시 장치가 표시하는 것과 동일한 2차원의 영상)을 어떻게 표시해야 할지에 대해서는, 충분히 검토되고 있지 않았다.
본 발명은 상기 실정을 고려하여 이루어진 것이며, 그 목적의 하나는, 유저가 헤드부에 장착하여 사용하는 영상 표시 장치에 평면 영상을 표시시키는 경우에, 사용 상황에 적합한 형태로 표시시킬 수 있는 정보 처리 장치, 영상 표시 장치의 제어 방법, 및 프로그램을 제공하는 데 있다.
본 발명에 관한 정보 처리 장치는, 유저가 헤드부에 장착하여 사용하는 영상 표시 장치와 접속되는 정보 처리 장치이며, 상기 영상 표시 장치의 위치 및/또는 방향의 변화에 구애되지 않고 유저의 정면 방향에 평면 영상을 표시시키는 제1 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제1 표시 제어부와, 상기 영상 표시 장치의 위치 및/또는 방향의 변화에 따라 변화하는 형태로 평면 영상을 표시시키는 제2 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제2 표시 제어부와, 주어진 조건에 기초하여 상기 제1 표시 모드와 상기 제2 표시 모드를 전환하는 전환 제어부를 포함하는 것을 특징으로 한다.
또한, 본 발명에 관한 영상 표시 장치의 제어 방법은, 유저가 헤드부에 장착하여 사용하는 영상 표시 장치의 제어 방법이며, 상기 영상 표시 장치의 위치 및/또는 방향의 변화에 구애되지 않고 유저의 정면 방향에 평면 영상을 표시시키는 제1 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 스텝과, 상기 영상 표시 장치의 위치 및/또는 방향의 변화에 따라 변화하는 형태로 평면 영상을 표시시키는 제2 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 스텝과, 주어진 조건에 기초하여 상기 제1 표시 모드와 상기 제2 표시 모드를 전환하는 전환 스텝을 포함하는 것을 특징으로 한다.
또한, 본 발명에 관한 프로그램은, 유저가 헤드부에 장착하여 사용하는 영상 표시 장치와 접속되는 컴퓨터를, 상기 영상 표시 장치의 위치 및/또는 방향의 변화에 구애되지 않고 유저의 정면 방향에 평면 영상을 표시시키는 제1 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제1 표시 제어 수단, 상기 영상 표시 장치의 위치 및/또는 방향의 변화에 따라 변화하는 형태로 평면 영상을 표시시키는 제2 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제2 표시 제어 수단, 및 주어진 조건에 기초하여 상기 제1 표시 모드와 상기 제2 표시 모드를 전환하는 전환 제어 수단으로서 기능시키기 위한 프로그램이다. 이 프로그램은, 컴퓨터 판독 가능이며 비일시적인 정보 기억 매체에 저장되어 제공되어도 된다.
도 1은, 본 발명의 실시 형태에 관한 정보 처리 장치를 포함한 영상 표시 시스템의 구성을 도시하는 구성 블록도이다.
도 2는, 영상 표시 장치의 외관의 일례를 도시하는 정면 사시도이다.
도 3은, 영상 표시 장치의 외관의 일례를 도시하는 배면 사시도이다.
도 4는, 본 실시 형태에 관한 정보 처리 장치의 기능을 도시하는 기능 블록도이다.
도 5는, 제2 표시 모드에 있어서의 묘화 처리의 구체예를 설명하는 도면이다.
도 6a는, 제1 표시 모드 및 제2 표시 모드 양쪽의 초기 상태에 있어서의 표시예를 도시하는 도면이다.
도 6b는, 제1 표시 모드의 표시예를 도시하는 도면이다.
도 6c는, 제2 표시 모드의 표시예를 도시하는 도면이다.
도 7은, 본 실시 형태에 관한 정보 처리 장치가 실행하는 처리의 흐름의 일례를 도시하는 흐름도이다.
이하, 본 발명의 실시 형태에 대하여, 도면에 기초하여 상세하게 설명한다.
도 1은, 본 발명의 일 실시 형태에 관한 정보 처리 장치(10)를 포함하는 영상 표시 시스템(1)의 구성을 도시하는 구성 블록도이다. 도 1에 도시되는 바와 같이, 영상 표시 시스템(1)은, 정보 처리 장치(10)와, 조작 디바이스(20)와, 카메라(25)와, 중계 장치(30)와, 영상 표시 장치(40)를 포함하여 구성되어 있다.
정보 처리 장치(10)는, 영상 표시 장치(40)가 표시해야 할 영상을 공급하는 장치이며, 예를 들어 가정용 게임기, 휴대형 게임기, 퍼스널 컴퓨터, 스마트폰, 태블릿 등이어도 된다. 도 1에 도시되는 바와 같이, 정보 처리 장치(10)는, 제어부(11)와, 기억부(12)와, 인터페이스부(13)를 포함하여 구성된다.
제어부(11)는, CPU 등의 프로세서를 적어도 하나 포함하고, 기억부(12)에 기억되어 있는 프로그램을 실행하여 각종 정보 처리를 실행한다. 또한, 본 실시 형태에 있어서 제어부(11)가 실행하는 처리의 구체예에 대해서는, 후술한다. 기억부(12)는, RAM 등의 메모리 디바이스를 적어도 하나 포함하고, 제어부(11)가 실행하는 프로그램, 및 당해 프로그램에 의해 처리되는 데이터를 저장한다.
인터페이스부(13)는, 조작 디바이스(20), 카메라(25) 및 중계 장치(30)와의 사이의 데이터 통신을 위한 인터페이스이다. 정보 처리 장치(10)는, 인터페이스부(13)를 통하여 유선 또는 무선 중 어느 것으로 조작 디바이스(20), 카메라(25) 및 중계 장치(30)의 각각과 접속된다. 구체적으로 인터페이스부(13)는, 정보 처리 장치(10)가 공급하는 영상이나 음성을 중계 장치(30)에 송신하기 위해, HDMI(High-Definition Multimedia Interface: 등록 상표) 등의 멀티미디어 인터페이스를 포함해도 된다. 또한, 인터페이스부(13)는, Bluetooth(등록 상표)나 USB 등의 데이터 통신 인터페이스를 포함하고 있다. 정보 처리 장치(10)는, 이 데이터 통신 인터페이스를 통하여, 중계 장치(30) 경유로 영상 표시 장치(40)로부터 각종 정보를 수신하거나, 제어 신호 등을 송신하거나 한다. 또한, 이 데이터 통신 인터페이스를 통하여, 조작 디바이스(20)에 대한 유저의 조작 입력의 내용을 나타내는 신호나, 카메라(25)에 의해 촬상된 화상의 데이터를 수신한다.
조작 디바이스(20)는, 가정용 게임기의 컨트롤러 등이며, 유저가 정보 처리 장치(10)에 대하여 각종 지시 조작을 행하기 위해 사용된다. 조작 디바이스(20)에 대한 유저의 조작 입력의 내용은, 유선 또는 무선 중 어느 것에 의해 정보 처리 장치(10)에 송신된다. 또한, 조작 디바이스(20)는 정보 처리 장치(10)의 하우징 표면에 배치된 조작 버튼이나 터치 패널 등을 포함해도 된다. 카메라(25)는, 본 영상 표시 시스템(1)을 이용하는 유저의 전방에 설치되고, 유저가 장착하는 영상 표시 장치(40)를 포함한 영상을 촬상한다.
중계 장치(30)는, 유선 또는 무선 중 어느 것에 의해 영상 표시 장치(40)와 접속되어 있고, 정보 처리 장치(10)로부터 공급되는 영상의 데이터를 접수하여, 접수한 데이터에 따른 영상 신호를 영상 표시 장치(40)에 대하여 출력한다. 이때 중계 장치(30)는, 필요에 따라, 공급된 영상 데이터에 대하여, 영상 표시 장치(40)의 광학계에 의해 발생하는 변형을 제거하는 보정 처리 등을 실행하고, 보정된 영상 신호를 출력해도 된다. 또한, 중계 장치(30)로부터 영상 표시 장치(40)에 공급되는 영상 신호는, 좌안용 영상 및 우안용 영상의 2개의 영상을 포함하고 있다. 또한, 중계 장치(30)는, 영상 데이터 이외에도, 음성 데이터나 제어 신호 등, 정보 처리 장치(10)와 영상 표시 장치(40)의 사이에서 송수신되는 각종 정보를 중계한다.
영상 표시 장치(40)는, 중계 장치(30)로부터 입력되는 영상 신호에 따른 영상을 표시하고, 유저에게 열람시킨다. 영상 표시 장치(40)는, 유저가 헤드부에 장착하여 사용하는 영상 표시 장치이며, 양안에서의 영상의 열람에 대응하고 있다. 즉 영상 표시 장치(40)는, 유저의 우안 및 좌안 각각의 눈앞에 영상을 결상시킨다. 또한, 영상 표시 장치(40)는 양안 시차를 이용한 입체 영상을 표시 가능하게 구성된다. 도 1에 도시하는 바와 같이, 영상 표시 장치(40)는, 영상 표시 소자(41), 광학 소자(42), 발광 소자(43), 모션 센서(44), 근접 센서(45) 및 통신 인터페이스(46)를 포함하여 구성된다. 또한, 도 2 및 도 3은 영상 표시 장치(40)의 외관을 도시하고 있으며, 도 2가 정면측에서 본 사시도이고, 도 3이 배면측에서 본 사시도이다.
영상 표시 소자(41)는, 유기 EL 표시 패널이나 액정 표시 패널 등이며, 중계 장치(30)로부터 공급되는 영상 신호에 따른 영상을 표시한다. 영상 표시 소자(41)는, 좌안용 영상 및 우안용 영상의 2개의 영상을 표시한다. 또한, 영상 표시 소자(41)는, 좌안용 영상 및 우안용 영상을 배열하여 표시하는 하나의 표시 소자여도 되고, 각각의 영상을 독립적으로 표시하는 2개의 표시 소자에 의해 구성되어도 된다. 또한, 공지의 스마트폰 등을 영상 표시 소자(41)로서 사용해도 된다.
광학 소자(42)는, 홀로그램이나 프리즘, 하프 미러 등이며, 유저의 눈앞에 배치되고, 영상 표시 소자(41)가 표시하는 영상의 광을 투과 또는 굴절시켜, 유저의 좌우 각각의 눈에 입사시킨다. 구체적으로, 영상 표시 소자(41)가 표시하는 좌안용 영상은, 광학 소자(42)를 경유하여 유저의 좌안에 입사하고, 우안용 영상은 광학 소자(42)를 경유하여 유저의 우안에 입사한다. 이에 의해 유저는, 영상 표시 장치(40)를 헤드부에 장착한 상태에서, 좌안용 영상을 좌안으로, 우안용 영상을 우안으로, 각각 열람할 수 있다. 또한, 본 실시 형태에 있어서 영상 표시 장치(40)는, 유저가 외계의 모습을 시인할 수 없는 비투과형의 영상 표시 장치인 것으로 한다.
발광 소자(43)는 LED 등이며, 영상 표시 장치(40)의 전방면에 배치되고, 정보 처리 장치(10)로부터의 지시에 따라 발광한다. 이 발광 소자(43)의 광을 카메라(25)로 촬영함으로써, 정보 처리 장치(10)는 카메라(25)의 시야 내에 있어서의 영상 표시 장치(40)의 위치를 특정할 수 있다. 즉, 정보 처리 장치(10)는 발광 소자(43)의 광을 이용하여 영상 표시 장치(40)의 위치나 기울기의 변화를 트래킹할 수 있다. 또한, 도 2에 도시하는 바와 같이, 본 실시 형태에서는 발광 소자(43)는 복수 배치되어 있다.
모션 센서(44)는, 영상 표시 장치(40)의 위치나 방향, 움직임에 관한 각종 정보를 측정한다. 예를 들어 모션 센서(44)는, 가속도 센서, 자이로스코프, 또는 지자기 센서 등을 포함해도 된다. 모션 센서(44)의 측정 결과는, 중계 장치(30)를 경유하여 정보 처리 장치(10)에 송신된다. 정보 처리 장치(10)는, 영상 표시 장치(40)의 움직임이나 방향의 변화를 특정하기 위해, 이 모션 센서(44)의 측정 결과를 사용할 수 있다. 구체적으로 정보 처리 장치(10)는, 가속도 센서의 측정 결과를 사용함으로써, 영상 표시 장치(40)의 연직 방향에 대한 기울기나 평행 이동을 검출할 수 있다. 또한, 자이로스코프나 지자기 센서의 측정 결과를 사용함으로써, 영상 표시 장치(40)의 회전 운동을 검출할 수 있다.
근접 센서(45)는, 센서 근방의 검출 대상 범위에 물체가 근접한 경우에, 그 존재를 비접촉으로 검지하는 센서이다. 근접 센서(45)는, 예를 들어 적외선형 등, 각종 방식의 것이어도 된다. 도 3에 도시하는 바와 같이, 근접 센서(45)는 영상 표시 장치(40) 본체 부분의 배면측 대략 중앙에 배치되어 있다. 이에 의해 근접 센서(45)는, 유저가 영상 표시 장치(40)를 헤드부에 장착하려고 한 경우에, 유저의 이마가 근접하였음을 검출 가능하게 되어 있다. 근접 센서(45)의 검지 결과를 이용함으로써, 정보 처리 장치(10)는 유저가 영상 표시 장치(40)를 헤드부에 장착하거나 떼거나 한 것을 검출할 수 있다.
통신 인터페이스(46)는, 중계 장치(30)와의 사이에서 데이터 통신을 행하기 위한 인터페이스이다. 예를 들어 영상 표시 장치(40)가 중계 장치(30)와의 사이에서 무선 LAN이나 Bluetooth 등의 무선 통신에 의해 데이터의 송수신을 행하는 경우, 통신 인터페이스(46)는 통신용 안테나 및 통신 모듈을 포함한다. 또한, 통신 인터페이스(46)는, 중계 장치(30)와의 사이에서 유선에 의한 데이터 통신을 행하기 위한 HDMI나 USB 등의 통신 인터페이스를 포함해도 된다.
이어서, 정보 처리 장치(10)가 실현하는 기능에 대하여 도 4를 사용하여 설명한다. 도 4에 도시하는 바와 같이, 정보 처리 장치(10)는, 기능적으로 영상 공급부(51)와, 제1 표시 제어부(52)와, 제2 표시 제어부(53)와, 전환 제어부(54)를 포함한다. 이들 기능은, 제어부(11)가 기억부(12)에 기억된 프로그램을 실행함으로써 실현된다. 이 프로그램은, 인터넷 등의 통신 네트워크를 통하여 정보 처리 장치(10)에 제공되어도 되고, 광디스크 등의 컴퓨터 판독 가능한 정보 기억 매체에 저장되어 제공되어도 된다.
영상 공급부(51)는, 영상 표시 장치(40)가 표시해야 할 영상을 공급한다. 본 실시 형태에서는, 영상 공급부(51)는, 평면 영상(2D 영상)(M)을 표시 대상의 영상으로서 공급하기로 한다. 단, 영상 공급부(51)는 평면 영상(M)에만 한정되지 않고 시차에 의한 입체시가 가능한 입체 영상을 영상 표시 장치(40)에 공급해도 된다.
구체적으로, 예를 들어 영상 공급부(51)는, 제어부(11)가 게임의 애플리케이션 프로그램을 실행함으로써 실현되어도 된다. 이 경우, 영상 공급부(51)는 게임의 진행 상황을 나타내는 게임 화상을 평면 영상(M)으로서 공급하게 된다. 또한, 영상 공급부(51)는, 광디스크나 하드디스크 등의 정보 기억 매체에 기억된 영화 등의 영상 데이터를 판독하여 렌더링하는 렌더링 엔진이어도 된다.
제1 표시 제어부(52) 및 제2 표시 제어부(53)는, 모두 영상 공급부(51)가 공급하는 평면 영상(M)을 중계 장치(30)에 대하여 출력함으로써, 영상 표시 장치(40)에 표시시키는 표시 제어를 실현한다. 단, 제1 표시 제어부(52)와 제2 표시 제어부(53)에서는, 영상 표시 장치(40)에 평면 영상(M)을 표시시키는 방식이 상이하다. 이하에서는, 제1 표시 제어부(52)가 실현하는 표시 모드를 제1 표시 모드, 제2 표시 제어부(53)가 실현하는 표시 모드를 제2 표시 모드라고 한다. 또한, 제1 표시 제어부(52) 및 제2 표시 제어부(53)의 각각이 중계 장치(30)에 대하여 출력하는, 평면 영상(M)을 포함한 영상을, 표시용 영상이라고 한다.
제1 표시 모드는, 영상 표시 장치(40)의 위치 및/또는 방향의 변화에 구애되지 않고 유저의 정면 방향에 평면 영상(M)을 표시시키는 표시 모드이다. 이 제1 표시 모드에 있어서는, 영상 표시 장치(40)의 위치나 방향의 변화에 상관없이, 영상 표시 장치(40)의 표시 영역 내에 항상 평면 영상(M)이 표시된다. 구체적으로 제1 표시 제어부(52)는, 영상 공급부(51)가 공급하는 영상을 대략 중앙의 소정 위치에 배치한 우안용 영상 및 좌안용 영상을 생성한다. 그리고, 생성한 2개의 영상을 표시용 영상으로서 중계 장치(30)에 대하여 출력한다. 이에 의해, 제1 표시 모드에 의한 표시 중에는, 영상 표시 장치(40)의 표시 영역 내에 있어서의 평면 영상(M)의 표시 위치는 변화하지 않고, 항상 유저로부터 보아 정면 방향에 평면 영상(M)이 표시되게 된다. 즉, 제1 표시 모드에 의한 표시 중에는, 영상 표시 장치(40)의 표시 영역 밖으로 평면 영상(M)이 이동해 버리는 일은 없다. 영상 표시 장치(40)는 유저의 헤드부에 고정되어 있으므로, 유저가 자신의 헤드를 움직여 얼굴의 위치나 방향을 변화시키면, 유저에게는 자신의 움직임에 맞추어 평면 영상(M)을 표시하는 스크린이 움직이는 것 같이 느껴진다.
제2 표시 모드는, 영상 표시 장치(40)의 위치 및/또는 방향의 변화에 따라 변화하는 형태로 평면 영상(M)을 표시시키는 표시 모드이다. 이 제2 표시 모드에 있어서는, 영상 표시 장치(40)의 움직임에 연동하여 영상 표시 장치(40)의 표시 영역 내에 있어서의 평면 영상(M)의 표시 위치가 변화한다. 구체적으로 제2 표시 제어부(53)는, 평면 영상(M)의 표시 위치가 가상적인 공간 내에 있어서 고정되도록 평면 영상(M)의 표시 위치를 제어한다. 그 때문에 제2 표시 모드에서는, 유저가 헤드를 크게 움직이면, 영상 표시 장치(40)의 표시 영역 밖까지 평면 영상(M)이 이동해 버려, 평면 영상(M)이 표시되지 않게 되는 경우가 있다. 이러한 경우, 제2 표시 제어부(53)는, 평면 영상(M)을 다시 표시시키기 위해 어느 방향으로 얼굴을 돌리면 되는지를 유저에게 알리기 위해, 방향을 나타내는 마커 화상 등을 표시용 영상에 포함해도 된다.
도 5는, 제2 표시 모드에 있어서의 표시용 영상의 묘화 처리의 구체예를 설명하는 도면이다. 이 도면은, 가상 스크린(VS)과 2개의 시점 카메라(C1 및 C2)가 배치된 가상 공간을 상방에서 본 모습을 도시하고 있다. 도 5에 도시하는 바와 같이, 제2 표시 제어부(53)는, 가상 공간 내에 가상 스크린(VS)을 배치하고, 이 가상 스크린(VS)에 상대되는 위치에 2개의 시점 카메라(C1 및 C2)를 배치한다. 2개의 시점 카메라(C1 및 C2)는, 좌우 방향을 따라 소정 거리 떨어저 배열되어 있다. 그리고, 가상 스크린(VS)의 표면에, 영상 공급부(51)가 공급하는 평면 영상(M)을 텍스처로서 첩부한다. 이 상태에 있어서 제2 표시 제어부(53)는, 시점 카메라(C1)로부터 가상 공간 내를 본 모습을 나타내는 화상을 묘화하여 좌안용 영상을 생성한다. 또한, 시점 카메라(C2)로부터 가상 공간 내를 본 모습을 나타내는 화상을 묘화하여 우안용 영상을 생성한다. 이와 같이 하여 생성된 표시용 영상을 영상 표시 장치(40)가 표시함으로써, 유저는, 자신의 전방의 이격된 위치에 존재하는 가상 스크린(VS)에 평면 영상(M)이 비쳐 있는 모습을 열람할 수 있다.
또한, 제2 표시 제어부(53)는, 영상 표시 장치(40)의 방향의 변화에 따라, 2개의 시점 카메라(C1 및 C2)의 방향(시선 방향)을 변화시킨다. 여기서 영상 표시 장치(40)의 방향은, 예를 들어 영상 표시 장치(40)의 상하 방향, 좌우 방향 및 전후 방향의 각각의 방향을 따른 회전축을 중심으로 한 회전각(즉, 요우각, 피치각 및 롤각)에 의해 정의되어도 된다. 또한, 제2 표시 제어부(53)는, 영상 표시 장치(40)의 평행 이동에 따라, 2개의 시점 카메라(C1 및 C2)의 위치를 변화시킨다. 전술한 바와 같이, 제2 표시 제어부(53)는, 모션 센서(44)의 측정 결과를 이용하거나, 카메라(25)가 촬상한 촬상 화상으로부터 발광 소자(43)의 광의 위치를 검출하거나 함으로써, 영상 표시 장치(40)의 위치 및 방향의 변화를 특정할 수 있다. 제2 표시 제어부(53)는, 이와 같이 하여 특정되는 영상 표시 장치(40)의 위치 및 방향의 변화에 연동되도록, 시점 카메라(C1 및 C2)의 위치 및 방향을 변화시킨다.
구체적으로, 제2 표시 제어부(53)는, 영상 표시 장치(40)의 방향이 변화한 경우, 그 회전과 동일한 회전 방향 및 회전량만큼 시점 카메라(C1 및 C2)를 회전시킨다. 이때, 시점 카메라(C1 및 C2)는, 양자의 중심 위치를 회전 중심으로 하여, 서로의 거리를 유지한 채 가상 공간 내에서 회전한다. 또한, 영상 표시 장치(40)가 기준 위치로부터 평행 이동한 경우, 제2 표시 제어부(53)는, 그 이동 방향 및 이동량에 따라 시점 카메라(C1 및 C2)의 양쪽을 가상 공간 내에서 이동시킨다. 그리고, 위치 및 방향이 변화한 시점 카메라(C1 및 C2)의 각각으로부터 가상 스크린(VS)을 본 모습을 묘화함으로써, 좌안용 영상 및 우안용 영상을 생성한다. 이때, 시점 카메라의 위치나 방향은 변화하지만, 가상 스크린(VS)의 가상 공간 내에 있어서의 위치는 변화하지 않는다. 이에 의해 유저는, 마치 평면 영상(M)을 비추는 스크린이 실제로 공중에 고정되어 있는 것 같은 감각으로, 평면 영상(M)을 열람할 수 있다. 또한, 유저는, 예를 들어 평면 영상(M)의 외주 근방이 시계의 중심에 오도록 얼굴의 방향이나 위치를 변화시킴으로써, 초기 상태에서는 시인하기 어려운 외주 근방의 표시 내용에 주목하여 평면 영상(M)을 열람할 수 있다.
또한, 여기서는 영상 표시 장치(40)의 방향 및 위치의 양쪽의 변화에 연동하여 표시용 영상을 갱신하는 것으로 하였지만, 제2 표시 제어부(53)는, 영상 표시 장치(40)의 방향 및 위치 중 어느 한쪽에만 연동하도록 표시용 영상을 변화시켜도 된다. 또한, 이상의 설명에서는, 가상적인 3차원 공간 내에 배치된 가상 스크린(VS)을 2개의 시점 카메라로부터 본 모습을 묘화함으로써, 평면적인 표시용 영상을 생성하는 것으로 하였다. 그러나, 표시용 영상의 묘화 처리는 이러한 방법에 한정되지 않고, 제2 표시 제어부(53)는 2차원적인 화상 처리에 의해 표시용 영상을 생성해도 된다. 예를 들어 제2 표시 제어부(53)는, 영상 표시 장치(40)의 위치의 변화에 따라, 표시용 영상 내에 있어서의 평면 영상(M)의 배치 위치를 결정하고, 결정한 위치에 평면 영상(M)을 배치한 우안용 영상 및 좌안용 영상을 각각 묘화한다. 이때 제2 표시 제어부(53)는, 영상 표시 장치(40)의 이동 방향과 역방향으로 이동하도록 평면 영상(M)의 표시용 영상 내에 있어서의 위치를 변화시킨다. 이에 의해, 유저가 얼굴을 움직여도 평면 영상(M)이 원래의 위치에 계속해서 머물고 있는 것 같이 유저에게 느끼게 할 수 있다. 또한, 제2 표시 제어부(53)는, 영상 표시 장치(40)의 방향의 변화에 따라, 평면 영상(M)의 표시 위치를 변화시킴과 함께, 사영 변환 등에 의해 평면 영상(M)의 형상을 변화시켜도 된다. 이러한 제어에 따르면, 3차원적인 화상 처리를 실행하지 않아도 제2 표시 모드에 의해 평면 영상(M)을 표시할 수 있다.
도 6a 내지 도 6c는, 제1 표시 모드와 제2 표시 모드에 의한 표시의 상이를 설명하는 도면이다. 도 6a는, 초기 상태(평면 영상(M)의 표시를 개시한 상태)에 있어서의 표시의 일례를 도시하고 있고, 초기 상태에서는 제1 표시 모드 및 제2 표시 모드의 어느 경우라도 마찬가지의 표시로 되어 있다. 이에 비해 도 6b 및 도 6c는, 도 6a의 상태로부터 유저가 얼굴을 기울였을 때의 표시예를 도시하고 있고, 도 6b가 제1 표시 모드에 있어서의 표시예를, 도 6c가 제2 표시 모드에 있어서의 표시예를, 각각 도시하고 있다. 제1 표시 모드에서는, 유저가 얼굴을 기울였다고 해도 영상 표시 장치(40)의 표시 영역 내에 있어서의 평면 영상(M)의 표시 위치가 변화하지 않는다. 그 때문에, 유저가 얼굴을 기울이면 그것에 맞추어 평면 영상(M)도 기울여진 것 같이 보인다. 이에 비해 제2 표시 모드에서는, 전술한 바와 같이 가상적인 공간 내에 있어서의 평면 영상(M)의 표시 위치가 유저의 얼굴의 움직임에 상관없이 변화하지 않도록 제어된다. 그 때문에, 도 6c에 도시하는 바와 같이, 유저가 얼굴을 기울이면 그것에 맞추어 영상 표시 장치(40)의 표시 영역 내에 있어서의 평면 영상(M)의 표시 위치가 회전하고, 유저로부터는 평면 영상(M)이 도 6a와 동일한 방향을 유지하고 있는 것 같이 보인다.
전환 제어부(54)는, 주어진 조건에 기초하여, 이제까지 설명한 제1 표시 모드와 제2 표시 모드를 전환하는 표시 전환 제어를 행한다. 특히 본 실시 형태에 있어서, 전환 제어부(54)는, 유저의 직접적인 조작 디바이스(20)에 대한 지시 입력에 따라 표시 모드를 전환해도 되지만, 그 이외의 각종 조건에 기초하여 표시 모드를 전환해도 된다. 이하, 전환 제어부(54)가 표시 모드의 전환을 행하는 조건의 몇 가지 구체예에 대하여, 설명한다.
우선, 전환 조건의 제1 예로서, 평면 영상(M)의 표시 사이즈에 따라 표시 모드를 전환하는 예에 대하여 설명한다. 이 예에 있어서, 평면 영상(M)의 표시 사이즈는, 유저의 조작 디바이스(20)에 대한 지시 입력에 따라 전환되어도 되고, 평면 영상(M)을 공급하는 영상 공급부(51)로부터의 제어 명령에 의해 전환되어도 된다. 또한, 디폴트의 표시 사이즈가 미리 유저에 의해 지정되어도 된다.
이 예에서는, 전환 제어부(54)는, 평면 영상(M)의 표시를 개시하는 타이밍, 또는 평면 영상(M)의 표시 사이즈가 변경된 타이밍에, 앞으로 표시할 평면 영상(M)의 표시 사이즈에 따라, 제1 표시 모드 및 제2 표시 모드 중 어느 것으로 표시를 행할지 결정한다. 그리고, 제1 표시 제어부(52) 또는 제2 표시 제어부(53)에 대하여, 결정한 표시 모드에서 평면 영상(M)을 표시하도록 지시한다.
보다 구체적으로, 전환 제어부(54)는, 소정의 역치 이상의 표시 사이즈로 평면 영상(M)을 표시해야 하는 경우에, 제2 표시 모드를 선택한다. 반대로 소정의 역치보다 작은 표시 사이즈로 평면 영상(M)을 표시해야 하는 경우에는, 제1 표시 모드를 선택한다. 표시 사이즈가 커지면, 영상 표시 장치(40)의 표시 영역 내에 평면 영상(M)이 완전히 담기지 않게 되는 경우가 있다. 또한, 평면 영상(M)이 표시 영역 이하의 사이즈라도, 표시 영역의 외주에 가까운 위치에서는 표시되는 화상에 변형이 발생하거나 하여, 유저가 외주 근방의 화상을 시인하기 어려워지는 경우가 있다. 그래서, 표시 사이즈가 소정의 역치 이상인 경우에는, 제2 표시 모드에서 평면 영상(M)을 표시하기로 한다. 제2 표시 모드에서는, 유저의 헤드의 움직임에 따라 시점 카메라의 위치나 방향이 변화한다. 그 때문에, 유저는 평면 영상(M)의 외주 근방의 부분을 영상 표시 장치(40)의 표시 영역의 중심 근방으로 이동시킴으로써, 외주 근방의 부분을 보기 쉬운 상태로 평면 영상(M)을 열람할 수 있다. 반대로 평면 영상(M)의 표시 사이즈가 작은 경우, 유저는 시점을 이동시킬 것 까지도 없이 평면 영상(M)의 전체를 열람할 수 있다. 그 때문에, 평면 영상(M)을 유저의 정면 방향에 표시하는 제1 표시 모드에서 표시를 행함으로써, 유저는 항상 평면 영상(M)의 전체를 열람할 수 있다.
이어서, 전환 조건의 제2 예로서, 유저가 영상 표시 장치(40)의 사용을 개시할 때의 표시 전환 제어에 대하여 설명한다. 이 제2 예에 있어서 정보 처리 장치(10)는, 유저가 영상 표시 장치(40)의 사용을 개시하려고 한 경우에, 그것을 근접 센서(45)의 검출 결과를 사용하여 검지한다. 그리고, 유저가 영상 표시 장치(40)의 사용을 개시하였을 때, 예를 들어 기동 메시지나 시스템 메뉴 등을 포함한 평면 영상(M)을 영상 표시 장치(40)에 표시시킨다.
이 예에 있어서, 전환 제어부(54)는, 근접 센서(45)가 최초로 물체의 존재를 검출한 시점에서는, 제1 표시 모드에서 평면 영상(M)을 표시하도록 제1 표시 제어부(52)에 지시한다. 그리고, 근접 센서(45)가 최초로 물체의 존재를 검출한 시점부터 소정 시간이 경과한 타이밍에, 제2 표시 모드로의 전환을 제2 표시 제어부(53)에 지시한다. 이러한 전환 제어를 행하는 것은, 이하와 같은 이유에 따른다. 즉, 근접 센서(45)가 최초로 물체의 존재를 검출한 시점에서는, 유저는 아직 올바른 위치에 영상 표시 장치(40)를 장착하지 못하고, 영상 표시 장치(40)를 장착할 도중일 가능성이 높다. 그 때문에, 근접 센서(45)가 물체의 존재를 검출한 타이밍에 즉시 평면 영상(M)의 표시 위치를 확정해 버리는 것은 바람직하지 않다. 한편, 유저가 영상 표시 장치(40)를 장착하려고 하는 동안, 아무것도 표시하지 않기로 하면, 유저가 영상 표시 장치(40)를 장착할 때 그 위치를 조정하기가 어려워진다. 그래서, 이 제2 예에서는, 유저가 영상 표시 장치(40)를 장착하기 시작한 경우에, 우선 제1 표시 모드에서 평면 영상(M)을 표시시킨다. 제1 표시 모드에서는 영상 표시 장치(40)의 표시 영역의 대략 중앙에 평면 영상(M)이 항상 표시된 상태가 되기 때문에, 장착 시에 유저가 헤드를 움직여도 평면 영상(M)의 표시 영역 내에 있어서의 표시 위치가 변화하지 않는다. 그 때문에, 유저는 용이하게 평면 영상(M)이 보기 쉬운 위치가 되도록 영상 표시 장치(40)의 위치를 조정할 수 있다. 그 후, 유저가 영상 표시 장치(40)의 장착을 종료하였다고 상정되는 타이밍에 제2 표시 모드로 전환함으로써, 그 시점에서의 영상 표시 장치(40)의 위치를 기준으로, 평면 영상(M)의 표시 위치를 제어할 수 있다.
여기서, 이 제2 예에 있어서 정보 처리 장치(10)가 실행하는 처리의 흐름의 예에 대하여, 도 7의 흐름도를 사용하여 설명한다. 영상 표시 장치(40)가 사용되고 있지 않은 상태에 있어서, 전환 제어부(54)는, 정기적으로 근접 센서(45)의 검출 결과를 취득하고(S1), 물체의 존재가 검출되지 않았는지를 확인한다(S2). S2에서 물체의 존재가 검출된 경우, 유저가 정보 처리 장치(10)의 사용을 개시하려고 하고 있다고 추정되기 때문에, 전환 제어부(54)는 제1 표시 제어부(52)에 대하여 제1 표시 모드에서의 표시 개시를 지시한다. 이에 의해 제1 표시 제어부(52)는, 제1 표시 모드에서 시스템 메뉴 등의 평면 영상(M)을 표시하는 처리를 개시한다(S3).
그 후, 전환 제어부(54)는, S3에서 평면 영상(M)의 표시 처리가 개시되고 나서의 경과 시간을 카운트하고, 소정 시간이 경과하였는지를 판정한다(S4). 소정 시간이 경과한 경우, 전환 제어부(54)는, 제2 표시 제어부(53)에 대하여 제2 표시 모드에서의 표시 개시를 지시한다. 이에 의해 제2 표시 제어부(53)는, 그때까지 제1 표시 모드에서 표시되고 있었던 평면 영상(M)을, 제2 표시 모드에서 표시하는 처리를 개시한다(S5).
이때, 제2 표시 제어부(53)는, S5에서 표시 처리를 개시한 시점에 있어서의 영상 표시 장치(40)의 위치 및 방향을 영상 표시 장치(40)의 기준 자세로 하여, 표시용 영상을 생성한다. 즉, 제1 표시 모드로부터 제2 표시 모드로의 전환이 행해진 시점에 있어서의 영상 표시 장치(40)의 위치 및 방향이, 가상 공간 내에 있어서의 초기의 시점 카메라의 위치 및 시선 방향에 대응지어지고, 그 시점 카메라의 시선 방향의 전방에 가상 스크린(VS)이 배치된다. 이에 의해, 제2 표시 모드가 개시된 시점에서는, 그때까지 제1 표시 모드에서 표시되고 있던 것과 마찬가지로, 유저의 정면 방향에 평면 영상(M)이 표시된다. 그 후, 영상 표시 장치(40)의 위치나 방향이 변화하면, 그 변화에 연동하여, 시점 카메라의 위치나 시선 방향이 초기의 상태로부터 변화해 간다. 이와 같이 하면, 유저가 영상 표시 장치(40)의 장착을 개시하고 나서 소정 시간 경과한 후의 상태(즉, 유저가 영상 표시 장치(40)의 장착을 종료하였다고 상정되는 상태)를 기준 상태로 하여, 이 기준 상태에 있어서의 유저의 정면 방향에 가상 스크린(VS)을 고정할 수 있다.
또한, 이 제2 예에 있어서, 제1 표시 제어부(52)는, 제1 표시 모드로부터 제2 표시 모드로 전환될 때까지의 잔여 시간을 유저에게 알리는 통지 영상을 표시용 영상에 포함해도 된다. 이 경우의 통지 영상은, 예를 들어 제1 표시 모드에 의한 표시 개시로부터의 경과 시간이나 전환까지의 잔여 시간의 값을 직접 나타내는 타임 카운터나, 시간 경과를 시각적으로 나타내는 게이지 화상 등이어도 된다.
이상 설명한 제1 예와 제2 예는, 조합하여 사용되어도 된다. 구체적으로 전환 제어부(54)는, 평면 영상(M)의 표시 사이즈가 소정 역치 이상인 경우, 제2 예에서 설명한 바와 같이, 근접 센서(45)가 물체의 존재를 최초로 검출한 시점에서는 제1 표시 모드에서 평면 영상(M)을 표시시키고, 소정 시간이 경과한 후에 제2 표시 모드로의 전환을 행한다. 한편, 평면 영상(M)의 표시 사이즈가 소정 역치 미만인 경우, 이러한 전환은 행하지 않고, 계속해서 제1 표시 모드에서 평면 영상(M)을 표시시킨다.
또한, 전환 제어부(54)가 표시 모드의 전환을 행하는 계기가 되는 조건은, 이상 설명한 것에 한정되지 않는다. 예를 들어 전환 제어부(54)는, 영상 공급부(51)로부터의 명시의 지시에 따라 표시 모드를 전환해도 된다. 영상 공급부(51)는, 예를 들어 평면 화상 내에 포함되는 콘텐츠의 성질에 따라, 제1 표시 모드와 제2 표시 모드를 전환하도록 전환 제어부(54)에 대하여 지시한다. 이에 의해, 표시되는 콘텐츠의 내용에 따라 적합한 표시 모드에서 평면 영상(M)을 표시시킬 수 있다.
이상 설명한 본 실시 형태에 관한 정보 처리 장치(10)에 따르면, 제1 표시 모드와 제2 표시 모드를 각종 조건에 따라 전환함으로써, 유저의 사용 상황이나 콘텐츠의 내용에 적합한 표시 모드에서 평면 영상(M)을 표시시킬 수 있다.
또한, 본 발명의 실시 형태는 이상 설명한 것에 한정되지 않는다. 예를 들어 이상의 설명에서는, 제1 표시 제어부(52)는, 자신이 좌안용 영상 및 우안용 영상을 생성하는 것으로 하였지만, 이에 한정되지 않고 제1 표시 제어부(52)는 영상 공급부(51)가 공급하는 평면 영상(M)을 그대로 표시용 영상으로서 중계 장치(30)에 출력해도 된다. 이 경우, 중계 장치(30) 또는 영상 표시 장치(40) 중 어느 것이, 공급되는 평면 영상(M)을 대략 중앙에 배치한 좌안용 영상 및 우안용 영상을 생성한다. 이러한 방식에 따르면, 중계 장치(30) 및 영상 표시 장치(40)는, 종래의 정보 처리 장치가 공급하는 통상의 평면 영상(M)을 포함한 영상 신호를 접수하여, 영상 표시 소자(41)에 표시시킬 수 있다.
또한, 제1 표시 제어부(52)는, 제2 표시 제어부(53)가 제2 표시 모드의 표시용 영상을 생성하는 것과 유사한 처리에 의해 제1 표시 모드의 표시용 영상을 생성해도 된다. 구체적으로는, 가상 공간 내에 가상 스크린(VS)과 시점 카메라(C1 및 C2)를 배치하고, 각 시점 카메라(C1)로부터 가상 스크린(VS)을 본 모습을 나타내는 영상을 표시용 영상으로서 생성한다. 이 경우에 있어서, 제1 표시 제어부(52)는, 영상 표시 장치(40)의 방향이나 위치에 구애되지 않고 시점 카메라(C1 및 C2)의 위치를 항상 고정시켜 두면, 항상 평면 영상(M)의 위치가 표시용 영상 내에서 변화하지 않도록 제어할 수 있다. 이러한 제어에 따르면, 제1 표시 모드와 제2 표시 모드에서 묘화 처리의 프로세스를 전환하지 않고, 마찬가지의 수순으로 생성된 동일한 형식의 영상 신호로서 표시용 영상을 중계 장치(30)에 공급할 수 있다.
또한, 이상의 설명에 있어서 정보 처리 장치(10)가 실행하기로 한 처리의 일부, 또는 전부는, 중계 장치(30)에 의해 실현되어도 된다. 이 경우, 정보 처리 장치(10)와 중계 장치(30)를 포함한 시스템 전체, 또는 중계 장치(30)가 단체로 본 발명에 있어서의 정보 처리 장치로서 기능하게 된다.
1: 영상 표시 시스템
10: 정보 처리 장치
11: 제어부
12: 기억부
13: 인터페이스부
20: 조작 디바이스
25: 카메라
30: 중계 장치
40: 영상 표시 장치
41: 영상 표시 소자
42: 광학 소자
43: 발광 소자
44: 모션 센서
45: 근접 센서
46: 통신 인터페이스
51: 영상 공급부
52: 제1 표시 제어부
53: 제2 표시 제어부
54: 전환 제어부

Claims (7)

  1. 유저가 헤드부에 장착하여 사용하는 영상 표시 장치와 접속되는 정보 처리 장치이며,
    상기 영상 표시 장치의 위치 및/또는 방향의 변화에 구애되지 않고 유저의 정면 방향에 평면 영상을 표시시키는 제1 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제1 표시 제어부와,
    상기 영상 표시 장치의 위치 및/또는 방향의 변화에 따라 변화하는 형태로 평면 영상을 표시시키는 제2 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제2 표시 제어부와,
    상기 평면 영상의 표시 사이즈에 따라 상기 제1 표시 모드와 상기 제2 표시 모드를 전환하는 전환 제어부를 포함하는 것을 특징으로 하는 정보 처리 장치.
  2. 삭제
  3. 제1항에 있어서, 상기 전환 제어부는, 상기 평면 영상의 표시 사이즈가 소정의 역치 이상인 경우에, 상기 제2 표시 모드로 전환하고, 상기 표시 사이즈가 소정의 역치 미만인 경우에, 상기 제1 표시 모드로 전환하는 것을 특징으로 하는 정보 처리 장치.
  4. 삭제
  5. 유저가 헤드부에 장착하여 사용하는 영상 표시 장치와 접속되는 정보 처리 장치이며,
    상기 영상 표시 장치의 위치 및/또는 방향의 변화에 구애되지 않고 유저의 정면 방향에 평면 영상을 표시시키는 제1 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제1 표시 제어부와,
    상기 영상 표시 장치의 위치 및/또는 방향의 변화에 따라 변화하는 형태로 평면 영상을 표시시키는 제2 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제2 표시 제어부와,
    주어진 조건에 기초하여 상기 제1 표시 모드와 상기 제2 표시 모드를 전환하는 전환 제어부
    를 포함하고,
    상기 전환 제어부는, 유저에 의한 상기 영상 표시 장치의 장착 개시가 검출된 경우에, 상기 제1 표시 모드에 의한 표시를 개시시키고, 상기 장착 개시가 검출된 후, 소정 시간이 경과한 타이밍에, 상기 제1 표시 모드로부터 상기 제2 표시 모드로 전환하는 것을 특징으로 하는 정보 처리 장치.
  6. 유저가 헤드부에 장착하여 사용하는 영상 표시 장치의 제어 방법이며,
    상기 영상 표시 장치의 위치 및/또는 방향의 변화에 구애되지 않고 유저의 정면 방향에 평면 영상을 표시시키는 제1 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 스텝과,
    상기 영상 표시 장치의 위치 및/또는 방향의 변화에 따라 변화하는 형태로 평면 영상을 표시시키는 제2 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 스텝과,
    상기 평면 영상의 표시 사이즈에 따라 상기 제1 표시 모드와 상기 제2 표시 모드를 전환하는 전환 스텝을 포함하는 것을 특징으로 하는 영상 표시 장치의 제어 방법.
  7. 유저가 헤드부에 장착하여 사용하는 영상 표시 장치와 접속되는 컴퓨터를,
    상기 영상 표시 장치의 위치 및/또는 방향의 변화에 구애되지 않고 유저의 정면 방향에 평면 영상을 표시시키는 제1 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제1 표시 제어 수단,
    상기 영상 표시 장치의 위치 및/또는 방향의 변화에 따라 변화하는 형태로 평면 영상을 표시시키는 제2 표시 모드에서, 당해 평면 영상을 상기 영상 표시 장치에 표시시키는 제2 표시 제어 수단, 및
    상기 평면 영상의 표시 사이즈에 따라 상기 제1 표시 모드와 상기 제2 표시 모드를 전환하는 전환 제어 수단으로서 기능시키기 위한 프로그램을 기록한 컴퓨터 판독가능 기록 매체.
KR1020187007053A 2015-09-25 2016-05-10 정보 처리 장치 KR102117376B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015188025 2015-09-25
JPJP-P-2015-188025 2015-09-25
PCT/JP2016/063862 WO2017051564A1 (ja) 2015-09-25 2016-05-10 情報処理装置

Publications (2)

Publication Number Publication Date
KR20180040634A KR20180040634A (ko) 2018-04-20
KR102117376B1 true KR102117376B1 (ko) 2020-06-01

Family

ID=58385943

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187007053A KR102117376B1 (ko) 2015-09-25 2016-05-10 정보 처리 장치

Country Status (6)

Country Link
US (4) US10594936B2 (ko)
EP (2) EP3340024B1 (ko)
JP (2) JP6479199B2 (ko)
KR (1) KR102117376B1 (ko)
CN (1) CN108027700B (ko)
WO (1) WO2017051564A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108027700B (zh) * 2015-09-25 2021-10-08 索尼互动娱乐股份有限公司 信息处理装置
US10229540B2 (en) * 2015-12-22 2019-03-12 Google Llc Adjusting video rendering rate of virtual reality content and processing of a stereoscopic image
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
US11164378B1 (en) * 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
WO2019188229A1 (ja) * 2018-03-26 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2020090477A1 (ja) * 2018-11-01 2020-05-07 株式会社ソニー・インタラクティブエンタテインメント Ｖｒ酔い低減システム、ヘッドマウントディスプレイ、ｖｒ酔い低減方法及びプログラム
WO2021024526A1 (ja) * 2019-08-06 2021-02-11 パナソニックＩｐマネジメント株式会社 表示装置
JP2021067899A (ja) * 2019-10-28 2021-04-30 株式会社日立製作所 頭部装着型表示装置および表示コンテンツ制御方法
US12079923B2 (en) * 2020-03-30 2024-09-03 Sony Group Corporation Method for changing viewpoint in virtual space
KR102358898B1 (ko) * 2020-08-24 2022-02-07 민팃(주) 객체 촬영 장치 및 방법
CN113777788A (zh) * 2021-09-09 2021-12-10 京东方科技集团股份有限公司 显示控制方法及装置、显示设备
WO2023238197A1 (ja) * 2022-06-06 2023-12-14 株式会社ソニー・インタラクティブエンタテインメント 仮想現実コンテンツ表示システムおよび仮想現実コンテンツ表示方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011059435A (ja) * 2009-09-10 2011-03-24 Sumitomo Electric Ind Ltd ヘッドマウントディスプレイ

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3676391B2 (ja) 1994-04-27 2005-07-27 オリンパス株式会社 頭部装着式映像表示装置
JP2003279882A (ja) 2002-03-22 2003-10-02 Victor Co Of Japan Ltd ヘッドマウントディスプレイ装置
JP4373286B2 (ja) * 2004-05-06 2009-11-25 オリンパス株式会社 頭部装着型表示装置
JP2005339266A (ja) 2004-05-27 2005-12-08 Canon Inc 情報処理方法、情報処理装置、撮像装置
JP2009192905A (ja) 2008-02-15 2009-08-27 Nikon Corp 頭部装着型撮影装置
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
JP5434767B2 (ja) * 2010-04-16 2014-03-05 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
JP5714855B2 (ja) 2010-09-16 2015-05-07 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
WO2012147702A1 (ja) 2011-04-28 2012-11-01 シャープ株式会社 ヘッドマウントディスプレイ
JP2013097529A (ja) 2011-10-31 2013-05-20 Sony Corp 情報処理装置、情報処理装置の起動モード切替え方法、プログラム、及び記録媒体
EP2611152A3 (en) * 2011-12-28 2014-10-15 Samsung Electronics Co., Ltd. Display apparatus, image processing system, display method and imaging processing thereof
JP2013200775A (ja) * 2012-03-26 2013-10-03 Sony Corp 情報処理装置、情報処理方法およびプログラム
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
KR102127928B1 (ko) 2013-10-15 2020-06-29 엘지전자 주식회사 입체적 입력장치를 갖는 글래스형 단말기 및 그의 화면 제어방법
JP5884816B2 (ja) * 2013-12-16 2016-03-15 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
KR102355118B1 (ko) * 2014-01-06 2022-01-26 삼성전자주식회사 전자 장치 및 가상 현실 모드에서의 이벤트 표시 방법
JP6459380B2 (ja) * 2014-10-20 2019-01-30 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置の制御方法、および、コンピュータープログラム
US10192361B2 (en) * 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
CN108027700B (zh) * 2015-09-25 2021-10-08 索尼互动娱乐股份有限公司 信息处理装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011059435A (ja) * 2009-09-10 2011-03-24 Sumitomo Electric Ind Ltd ヘッドマウントディスプレイ

Also Published As

Publication number Publication date
US11601592B2 (en) 2023-03-07
WO2017051564A1 (ja) 2017-03-30
US20180255243A1 (en) 2018-09-06
US11202008B2 (en) 2021-12-14
JP6479199B2 (ja) 2019-03-06
JPWO2017051564A1 (ja) 2018-03-08
US20220060625A1 (en) 2022-02-24
US20200177810A1 (en) 2020-06-04
US12075157B2 (en) 2024-08-27
EP3340024A4 (en) 2019-03-27
US20230188843A1 (en) 2023-06-15
EP3340024B1 (en) 2024-02-21
US10594936B2 (en) 2020-03-17
CN108027700A (zh) 2018-05-11
EP4339689A2 (en) 2024-03-20
EP4339689A3 (en) 2024-06-12
CN108027700B (zh) 2021-10-08
KR20180040634A (ko) 2018-04-20
EP3340024A1 (en) 2018-06-27
JP2019113849A (ja) 2019-07-11

Similar Documents

Publication Publication Date Title
KR102117376B1 (ko) 정보 처리 장치
US11030771B2 (en) Information processing apparatus and image generating method
US10627628B2 (en) Information processing apparatus and image generating method
JP6339239B2 (ja) 頭部装着型表示装置、及び映像表示システム
JP6576536B2 (ja) 情報処理装置
JP6378781B2 (ja) 頭部装着型表示装置、及び映像表示システム
JP6963399B2 (ja) プログラム、記録媒体、画像生成装置、画像生成方法
JP6649010B2 (ja) 情報処理装置
US11125997B2 (en) Information processing apparatus, information processing method, and program
WO2018073969A1 (ja) 画像表示装置及び画像表示システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant