KR102066890B1 - 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 컴퓨터 프로그램 - Google Patents

정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 컴퓨터 프로그램 Download PDF

Info

Publication number
KR102066890B1
KR102066890B1 KR1020187026421A KR20187026421A KR102066890B1 KR 102066890 B1 KR102066890 B1 KR 102066890B1 KR 1020187026421 A KR1020187026421 A KR 1020187026421A KR 20187026421 A KR20187026421 A KR 20187026421A KR 102066890 B1 KR102066890 B1 KR 102066890B1
Authority
KR
South Korea
Prior art keywords
image
area
fineness
display
unit
Prior art date
Application number
KR1020187026421A
Other languages
English (en)
Other versions
KR20180113576A (ko
Inventor
다카유키 이시다
아키오 오바
아키히코 스가와라
야스히로 와타리
아키라 스즈키
Original Assignee
주식회사 소니 인터랙티브 엔터테인먼트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 소니 인터랙티브 엔터테인먼트 filed Critical 주식회사 소니 인터랙티브 엔터테인먼트
Publication of KR20180113576A publication Critical patent/KR20180113576A/ko
Application granted granted Critical
Publication of KR102066890B1 publication Critical patent/KR102066890B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/391—Resolution modifying circuits, e.g. variable screen formats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

정보 처리 장치(200)에 있어서 촬영 화상 취득부(250)는, 헤드 마운트 디스플레이(100)의 카메라가 촬영한 화상을 취득한다. 영역 결정부(254)는 표시 화상에 있어서 유저가 주시하는 영역을 예측한다. 화상 해석부(258)의 제1 정세도 처리부(270)는, 촬영 화상 중 주시 영역에 대응하는 영역에 대하여, 제2 정세도 처리부(272)보다 고정세로 해석 처리를 행한다. 정보 처리부(260)는 해석 결과를 이용하여 정보 처리를 실시한다. 화상 생성부(262)의 제1 정세도 처리부(274)는, 주시 영역에 대하여, 제2 정세도 처리부(276)보다 고정세로 표시 화상을 생성한다. 출력부(264)는 표시 화상의 데이터를 헤드 마운트 디스플레이(100)로 송신한다.

Description

정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 컴퓨터 프로그램
본 발명은, 촬영 화상의 해석이나 표시 화상의 생성을 수반하는 정보 처리를 행하는 정보 처리 장치, 정보 처리 시스템, 및 그것이 실시하는 정보 처리 방법에 관한 것이다.
헤드 마운트 디스플레이에 파노라마 영상을 표시하고, 헤드 마운트 디스플레이를 장착한 유저가 헤드부를 회전시키면 시선 방향에 따른 파노라마 화상이 표시되도록 한 시스템이 개발되어 있다. 헤드 마운트 디스플레이를 이용함으로써, 영상에 대한 몰입감을 높이거나, 게임 등의 애플리케이션의 조작성을 향상시키거나 할 수도 있다. 또한, 헤드 마운트 디스플레이를 장착한 유저가 물리적으로 이동함으로써, 영상으로서 표시된 공간 내를 가상적으로 돌아다닐 수 있는 워크스루 시스템도 개발되어 있다.
상기와 같은 기술에 있어서, 충분한 임장감, 몰입감을 부여하기 위해서는, 헤드부나 시선의 움직임과 표시 화상의 시야 변화가 항상 대응하고 있는 것이 바람직하다. 헤드 마운트 디스플레이에 한정되지 않고, 촬영 화상을 입력 데이터로 하여 표시 화상을 즉시 생성하는 형식의 시스템에서는, 그 즉시성이 중요해진다. 한편, 보다 고품질이고 매력적인 화상 세계를 실현하고자 할수록, 데이터 입력으로부터 화상 표시까지 필요한 처리가 복잡화되거나, 취급할 데이터가 방대해지거나 한다. 그 결과, 화상 표시에 지연이 발생하여, 실제의 움직임과 표시가 어긋나 있다고 하는 위화감을 유저에게 부여할 수도 있다. 이와 같이, 고정밀도의 화상 처리와 표시의 즉시성은 항상 트레이드오프의 관계에 있다.
본 발명은 이러한 과제를 감안하여 이루어진 것으로, 그 목적은, 고정밀도의 화상 처리와 표시의 즉시성을 양립시킬 수 있는 기술을 제공하는 데 있다.
상기 과제를 해결하기 위해서, 본 발명의 한 양태는 정보 처리 장치에 관한 것이다. 이 정보 처리 장치는, 카메라로부터 촬영 화상의 데이터를 취득하는 촬영 화상 취득부와, 촬영 화상을 해석하는 화상 해석부와, 해석의 결과에 기초하는 표시 화상을 생성하여 표시 장치로 출력하는 표시 화상 생성부를 구비하고, 화상 해석부 및 표시 화상 생성부의 적어도 한쪽은, 화상 평면상의 영역에 따라서, 처리의 정세도(精細度)를 상이하게 하는 것을 특징으로 한다.
본 발명의 다른 양태는 정보 처리 시스템에 관한 것이다. 이 정보 처리 시스템은, 카메라를 구비한 헤드 마운트 디스플레이와, 당해 카메라에 의한 촬영 화상에 기초하여 상기 헤드 마운트 디스플레이에 표시시키는 화상을 생성하는 정보 처리 장치를 포함하는 정보 처리 시스템으로서, 정보 처리 장치는, 카메라로부터 촬영 화상의 데이터를 취득하는 촬영 화상 취득부와, 촬영 화상을 해석하는 화상 해석부와, 해석의 결과에 기초하는 표시 화상을 생성하여 헤드 마운트 디스플레이로 출력하는 표시 화상 생성부를 구비하고, 화상 해석부 및 표시 화상 생성부의 적어도 한쪽은, 화상 평면상의 영역에 따라서, 처리의 정세도를 상이하게 하는 것을 특징으로 한다.
본 발명의 또 다른 양태는 정보 처리 방법에 관한 것이다. 이 정보 처리 방법은 정보 처리 장치가, 카메라로부터 촬영 화상의 데이터를 취득하는 스텝과, 촬영 화상을 해석하는 스텝과, 해석의 결과에 기초하는 표시 화상을 생성하는 스텝과, 표시 화상의 데이터를 표시 장치로 출력하는 스텝을 포함하고, 해석하는 스텝 및 상기 생성하는 스텝의 적어도 한쪽은, 화상 평면상의 영역에 따라서, 처리의 정세도를 상이하게 하는 것을 특징으로 한다.
또한, 이상의 구성 요소의 임의의 조합, 본 발명의 표현을 방법, 장치, 시스템, 컴퓨터 프로그램, 데이터 구조, 기록 매체 등의 사이에서 변환한 것도 또한, 본 발명의 형태로서 유효하다.
본 발명에 따르면, 고정밀도의 화상 처리와 표시의 즉시성을 양립시킬 수 있다.
도 1은, 본 실시 형태의 헤드 마운트 디스플레이의 외관도이다.
도 2는, 본 실시 형태의 헤드 마운트 디스플레이의 기능 구성도이다.
도 3은, 본 실시 형태의 정보 처리 시스템의 구성도이다.
도 4는, 본 실시 형태의 정보 처리 장치의 내부 회로 구성을 나타내는 도면이다.
도 5는, 본 실시 형태에 있어서의 실공간과 표시 화상의 관계를 설명하기 위한 도면이다.
도 6은, 본 실시 형태에 있어서 화상 평면의 영역에 따라서 처리 양태를 상이하게 하는 방법을 설명하기 위한 도면이다.
도 7은, 본 실시 형태에 있어서의 정보 처리 장치의 기능 블록을 나타내는 도면이다.
도 8은, 본 실시 형태에 있어서의 화상 해석부가 화상 해석에 있어서 정세도를 상이하게 하는 처리의 예를 설명하기 위한 도면이다.
도 9는, 본 실시 형태에 있어서의 화상 해석부가 화상 해석에 있어서 정세도를 상이하게 하는 처리의 다른 예를 설명하기 위한 도면이다.
도 10은, 본 실시 형태에 있어서의 정보 처리 장치가 촬영 화상에 기초하여 표시 화상을 생성하는 처리 수순을 나타내는 흐름도이다.
도 11은, 본 실시 형태의 변형예로서, 2종류의 화상을 촬영하는 카메라를 구비한 헤드 마운트 디스플레이의 외관 형상의 예를 나타내는 도면이다.
도 1은, 본 실시 형태에 있어서의 헤드 마운트 디스플레이의 외관 형상의 예를 나타내고 있다. 이 예에 있어서 헤드 마운트 디스플레이(100)는, 출력 기구부(102) 및 장착 기구부(104)로 구성된다. 장착 기구부(104)는, 유저가 머리에 씀으로써 헤드부를 한 바퀴 둘러 장치의 고정을 실현하는 장착 밴드(106)를 포함한다. 장착 밴드(106)는 각 유저의 머리 둘레에 맞춰서 길이의 조절이 가능한 소재 또는 구조로 한다. 예를 들어 고무 등의 탄성체로 해도 되고, 버클이나 기어 등을 이용해도 된다.
출력 기구부(102)는, 헤드 마운트 디스플레이(100)를 유저가 장착한 상태에 있어서 좌우의 눈을 덮는 형상의 케이스(108)를 포함하고, 내부에는 장착 시에 눈에 정면으로 마주 대하도록 표시 패널을 구비한다. 표시 패널은 액정 패널이나 유기 EL 패널 등으로 실현된다. 케이스(108) 내부에는, 헤드 마운트 디스플레이(100)의 장착 시에 표시 패널과 유저의 눈의 사이에 위치하고, 유저의 시야각을 확대하는 한 쌍의 렌즈를 더 구비한다. 또한 헤드 마운트 디스플레이(100)는, 장착 시에 유저의 귀에 대응하는 위치에 스피커나 이어폰을 더 구비해도 된다.
헤드 마운트 디스플레이(100)는, 출력 기구부(102)의 전방면에 카메라(140)를 구비한다. 카메라(140)는 CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등의 촬상 소자를 구비하고, 헤드 마운트 디스플레이(100)를 장착한 유저의 얼굴 방향에 대응하는 시야에서, 실공간을 소정의 프레임 레이트로 촬영한다. 또한 카메라(140)는 헤드 마운트 디스플레이(100)의 전방면에 1대만 설치되어도 되고, 기지의 간격을 갖도록 2대의 카메라를 좌우로 배치함으로써 스테레오 카메라를 실현해도 된다. 또한 카메라(140)는, 유저의 전방을 촬영할 수 있으면, 그 설치 장소는 특별히 한정되지 않는다.
카메라(140)가 촬영한 화상은, 헤드 마운트 디스플레이(100)에 있어서의 표시 화상의 적어도 일부로서 사용할 수 있는 외에, 가상 세계의 생성에 필요한 화상 해석을 위한 입력 데이터로 할 수도 있다. 예를 들어 촬영 화상을 그대로 표시 화상으로 하면, 유저는 눈앞의 실공간을 직접 보고 있는 것과 동일한 상태로 된다. 또한, 시야 내에 있는 책상 등의 실물체 위에 체류하거나 실물체와 인터랙션하거나 하는 오브젝트를 촬영 화상 위에 묘화하여 표시 화상으로 함으로써, AR(Augmented Reality: 증강 현실)을 실현할 수 있다.
또한, 헤드 마운트 디스플레이(100)를 장착한 유저의 헤드부의 위치나 자세를 촬영 화상으로부터 특정하고, 그에 대응하도록 시야를 변화시켜 가상 세계를 묘화함으로써 VR(Virtual Reality: 가상 현실)도 실현할 수 있다. 촬영 화상으로부터 카메라의 위치나 자세를 추정하는 기술에는, v-SLAM(Visual Simultaneous Localization And Mapping) 등의 일반적인 기술을 적용할 수 있다. 헤드부의 회전각이나 기울기는, 헤드 마운트 디스플레이(100)에 내장 또는 외장된 모션 센서에 의해 계측해도 된다. 촬영 화상의 해석 결과와 모션 센서의 계측값을 상보완적으로 이용해도 된다.
도 2는, 헤드 마운트 디스플레이(100)의 기능 구성도이다. 제어부(10)는, 화상 신호, 센서 신호 등의 신호나, 명령이나 데이터를 처리하여 출력하는 메인 프로세서이다. 카메라(140)는 촬영 화상의 데이터를 제어부(10)에 공급한다. 디스플레이(30)는 액정 디스플레이 등이며, 제어부(10)로부터 화상 신호를 수취하여 표시한다.
통신 제어부(40)는, 네트워크 어댑터(42) 또는 안테나(44)를 통하여, 유선 또는 무선 통신에 의해 제어부(10)로부터 입력되는 데이터를 외부로 송신한다. 통신 제어부(40)는, 또한 네트워크 어댑터(42) 또는 안테나(44)를 통하여, 유선 또는 무선 통신에 의해 외부로부터 데이터를 수신하고, 제어부(10)로 출력한다. 기억부(50)는, 제어부(10)가 처리하는 데이터나 파라미터, 조작 신호 등을 일시적으로 기억한다.
모션 센서(64)는, 헤드 마운트 디스플레이(100)의 회전각이나 기울기 등의 자세 정보를 검출한다. 모션 센서(64)는, 자이로 센서, 가속도 센서, 각가속도 센서 등을 적절히 조합하여 실현된다. 외부 입출력 단자 인터페이스(70)는, USB(Universal Serial Bus) 컨트롤러 등의 주변 기기를 접속하기 위한 인터페이스이다. 외부 메모리(72)는, 플래시 메모리 등의 외부 메모리이다. 제어부(10)는, 화상이나 음성 데이터를 디스플레이(30)나 헤드폰(도시생략)에 공급하여 출력시키거나, 통신 제어부(40)에 공급하여 외부로 송신시키거나 할 수 있다.
도 3은, 본 실시 형태에 따른 정보 처리 시스템의 구성도이다. 헤드 마운트 디스플레이(100)는, 무선 통신 또는 USB 등의 주변 기기를 접속하는 인터페이스(300)를 통해 정보 처리 장치(200)에 접속된다. 정보 처리 장치(200)는, 또한 네트워크를 통해 서버에 접속되어도 된다. 그 경우, 서버는, 복수의 유저가 네트워크를 통해 참가할 수 있는 게임 등의 온라인 애플리케이션을 정보 처리 장치(200)에 제공해도 된다. 헤드 마운트 디스플레이(100)는, 정보 처리 장치(200) 대신에 컴퓨터나 휴대 단말기에 접속되어도 된다.
정보 처리 장치(200)는 기본적으로, 헤드 마운트 디스플레이(100)의 카메라(140)가 촬영한 화상의 데이터를 취득하고, 소정의 처리를 실시한 다음 표시 화상을 생성하여 헤드 마운트 디스플레이(100)에 송신하는 처리를 소정의 레이트로 반복한다. 이에 의해 헤드 마운트 디스플레이(100)에는, 유저의 얼굴 방향에 따른 시야에서, AR이나 VR 등 다양한 화상이 표시된다. 또한 이와 같은 표시의 최종적인 목적은, 게임, 가상 체험, 동화상 감상 등 다양하게 생각된다.
정보 처리 장치(200)는 그와 같은 목적에 따른 처리를 적절히 행해도 되지만, 그들 자체에는 일반적인 기술을 적용할 수 있다. 이후의 설명에서는 특히, 그러한 목적들을 이루기 위해 촬영 화상으로부터 필요한 정보를 취득하는 방법, 및 그 결과로서 표시할 화상의 묘화 방법에 착안하여 설명한다.
도 4는 정보 처리 장치(200)의 내부 회로 구성을 나타내고 있다. 정보 처리 장치(200)는, CPU(Central Processing Unit)(222), GPU(Graphics Processing Unit)(224), 메인 메모리(226)를 포함한다. 이들 각 부는, 버스(230)를 통해 서로 접속되어 있다. 버스(230)에는 입출력 인터페이스(228)가 더 접속되어 있다.
입출력 인터페이스(228)에는, USB나 IEEE1394 등의 주변 기기 인터페이스나 유선 또는 무선 LAN 등의 네트워크 인터페이스를 포함하는 통신부(232), 하드디스크 드라이브나 불휘발성 메모리 등의 기억부(234), 헤드 마운트 디스플레이(100) 등의 표시 장치로 데이터를 출력하는 출력부(236), 헤드 마운트 디스플레이(100)로부터 데이터를 입력하는 입력부(238), 자기디스크, 광디스크 또는 반도체 메모리 등의 리무버블 기록 매체를 구동하는 기록 매체 구동부(240)가 접속된다.
CPU(222)는, 기억부(234)에 기억되어 있는 오퍼레이팅 시스템을 실행함으로써 정보 처리 장치(200)의 전체를 제어한다. CPU(222)는 또한, 리무버블 기록 매체로부터 판독되어 메인 메모리(226)에 로드되거나, 혹은 통신부(232)를 통해 다운로드된 각종 프로그램을 실행한다. GPU(224)는, 지오메트리 엔진의 기능과 렌더링 프로세서의 기능을 갖고, CPU(222)로부터의 묘화 명령에 따라서 묘화 처리를 행하고, 표시 화상을 프레임 버퍼(도시생략)에 저장한다. 그리고 프레임 버퍼에 저장된 표시 화상을 비디오 신호로 변환하여 출력부(236)로 출력한다. 메인 메모리(226)는 RAM(Random Access Memory)에 의해 구성되고, 처리에 필요한 프로그램이나 데이터를 기억한다.
도 5는, 본 실시 형태에 있어서의 실공간과 표시 화상의 관계를 설명하기 위한 도면이다. 상기 도면의 예에서는, 헤드 마운트 디스플레이(100)를 장착한 유저(370)가, 테이블(376)과 그 위에 놓인 상자(378)를 포함하는 실공간 쪽을 향하고 있다. 헤드 마운트 디스플레이(100)의 카메라(140)는, 유저가 향하고 있는 방향( 화살표(372))을 중심으로 하는, 점선으로 표시되는 시야 공간을 촬영한다. 유저(370)가 헤드부의 자세를 변화시키거나 이동하거나 하면, 촬영 화상의 시야도 변화한다.
정보 처리 장치(200)는, 이와 같이 하여 촬영된 화상을 이용하여, v-SLAM 등에 의해 유저 헤드부의 위치 및 자세를 취득하는 이외에, 예를 들어 다음의 처리를 행할 수 있다.
1. 뎁스 화상(depth image)의 생성
2. 실공간의 3차원 모델링
3. 실물체와 가상 오브젝트의 인터랙션 계산
4. 실물체의 추적
5. 매칭에 의한 화상 인식
6. 컴퓨터 그래픽스의 묘화
상기 1에 있어서 뎁스 화상이란, 피사체의 카메라로부터의 거리를, 촬영 화상 위의 대응하는 상(像)의 화소값으로서 표시한 화상이다. 예를 들어 카메라(140)를 스테레오 카메라로 한 경우, 촬영된 좌우의 시차 화상으로부터 대응점을 추출하고, 양자 간의 시차에 기초하여 삼각측량의 원리로 피사체의 거리를 산출할 수 있다. 카메라(140)가 단안 카메라여도, 피사체의 형상 및 사이즈를 기지로 하거나, 소정의 마커를 장착시키거나 함으로써, 촬영 화상에 있어서의 상의 크기로부터 피사체의 거리를 산출할 수 있다.
상기 2는, 피사체로 되어 있는 실물체를, 계산상의 3차원 공간에 있어서의 오브젝트로서 모델화하는 처리이다. 예를 들어 뎁스 화상의 각 화소를, 화소값이 나타내는 카메라로부터의 거리에 기초하여 3차원 공간으로 역사영함으로써, 실물체 표면을 이산적으로 나타내는 포인트 클라우드를 취득할 수 있다. 이것을, 3차원 공간을 분할하여 이루어지는 입체 영역 단위로 해석함으로써, 개개의 실물체의 형상을 인식할 수 있다. 또한 그 형상 정보에 기초하여, 실물체의 표면을 복셀, 옥트리, 폴리곤 메쉬 등으로 표현하여 모델화하고, 컴퓨터그래픽스의 오브젝트와 동등하게 취급할 수도 있다. 또한 실물체의 모델링 방법은 이에 한정되지 않으며, 다양한 기술을 적용할 수 있음은 당업자에게는 이해되는 바이다.
상기 3은, AR 등의 목적으로, 모델화한 실물체와 컴퓨터 그래픽스로 묘화할 가상 오브젝트의 인터랙션을 물리적으로 구하는 처리이다. 예를 들어 가상 오브젝트로서 볼을 묘화할 때, 실물체인 테이블 위에서 튀어 오르거나 구르거나 하는 모습을, 정확한 물리 계산에 기초하는 움직임으로 표현함으로써, 보다 리얼리티가 있는 AR을 실현할 수 있다.
상기 4는, AR, 제스처 인식, 대전 게임 등의 목적으로, 유저 자신의 손이나 다른 유저 등, 소정의 실물체의 움직임을 촬영 화상 위에서 추적하는 처리이다. 화상 위의 상을 추적하는 기술로서 다양한 방법이 실용화되어 있다. 상기 5는, 추적이나 실물체의 인식·검출을 위해서, 템플릿 화상과의 매칭을 행하는 처리이다. 상기 6은, 촬영 화상 위에 오브젝트를 묘화하거나, 헤드부의 위치나 자세에 대응하는 시야에서 가상 세계를 묘화하거나 하는 처리이다.
정보 처리 장치(200)는, 헤드 마운트 디스플레이(100)에 표시시키고 싶은 화상이나, 게임 등의 정보 처리의 내용에 따라서, 1 내지 6의 처리 중 어느 하나, 혹은 2개 이상의 처리를 조합하여 실시한다. 개개의 처리 자체에는 일반적인 기술을 이용할 수 있지만, 필요한 처리가 늘어날수록, 또한 고정밀도로 처리를 행하고자 할수록, 촬영으로부터 표시까지 시간을 요해, 레이턴시가 발생하기 쉬워진다. 그래서 본 실시 형태에서는, 화상 평면 혹은 3차원 공간을 분할하여 이루어지는 복수의 영역에서, 동일한 처리라도 그 양태를 상이하게 함으로써, 외견상의 영향을 적게 하여 처리를 효율화한다.
도 6은, 화상 평면의 영역에 따라서 처리 양태를 상이하게 하는 방법을 설명하기 위한 도면이다. 화상(380)은, 도 5에 도시한 환경에 있어서 촬영된 화상을 이용하여 AR을 실현했을 때의 표시 화상을 예시하고 있다. 즉 화상(380)은, 피사체인 테이블의 상(382) 및 상자의 상(384)을 포함하는 촬영 화상 위에, 가상적인 오브젝트로서 고양이 오브젝트(386) 및 구체의 오브젝트(388a, 388b, 388c)를 묘화한 것이다.
이와 같은 화상을 소정의 레이트로 생성, 표시시킴으로써, 고양이 오브젝트(386)가 상자의 위에 앉아, 구체의 오브젝트(388a, 388b, 388c)가 부유할 때 테이블에 의해 튀어오르는 듯한 세계를 표현할 수 있다. 오브젝트를 묘화하기 전의 촬영 화상은 유저의 헤드부의 움직임에 따라서 시야가 변화하기 때문에, 가상 오브젝트는 그 변화에 대응하도록 위치를 조정하여 묘화할 필요가 있다. 이때 예를 들어, 상기 1의 뎁스 화상의 생성, 2의 3차원 모델링, 3의 인터랙션 계산, 6의 컴퓨터 그래픽스 묘화와 같은 처리가 필요해진다.
여기서, 유저가 주시하고 있는 영역(390)과 그 이외의 영역에서, 그 처리들 중 적어도 어느 양태를 상이하게 함으로써, 표시까지의 효율성을 향상시킨다. 구체적으로는, 영역(390)에 대해서는 고정세(高精細) 처리로 하고, 그 이외의 영역에 대해서는, 영역(390)보다 낮은 정세도 처리로 한다. 여기서 「정세도」란, 처리 결과의 정밀도나 사람이 느끼는 품질 등에 영향을 미치는, 처리상의 어떠한 파라미터이며, 해상도, 처리 레이트, 계산 단위, 양자화 단위, 근사 정밀도 등, 공간적, 시간적, 혹은 시공간의 양쪽에서의 처리의 세밀함 외에, 정밀도가 상이한 처리 알고리즘 자체여도 된다.
즉 정세도가 높은 처리란, 시공간의 어느 한쪽에서 처리의 단위를 세밀하게 하거나, 보다 정밀도가 높은 결과가 얻어지는 알고리즘을 채용하거나 함을 의미한다. 일반적으로는, 정세도가 높을수록 처리 결과의 정밀도가 높아짐과 함께 처리의 부하가 커진다. 그와 같은 처리를 주시 영역 등 한정적인 영역에서 행함으로써, 처리의 부하를 증대시키지 않고 외견의 인상을 양호하게 할 수 있다. 화상(380)의 경우, 예를 들어 뎁스 화상의 생성 레이트를 영역(390)만 높이거나, 영역(390)에 포함되는 상자나 테이블 윗면의 모델링의 레이트나 해상도를 높이거나 하는 것이 생각된다.
또한, 영역(390) 내에 있는 고양이 오브젝트(386)를 움직이게 할 때, 상자와의 인터랙션 계산을, 다른 영역에 있는 구체의 오브젝트(388a, 388b, 388c)에 관한 인터랙션 계산보다 높은 레이트로 행하거나, 계산 단위를 세밀하게 하거나 하는 것도 생각된다. 또한 고양이 오브젝트(386)의 묘화 시에, 라이팅이나 쉐이딩의 계산을 다른 것보다 정밀하게 행하거나, 높은 해상도로 묘화하거나 해도 된다.
이와 같은 정세도의 차별화를, 하나의 처리만으로 행해도 되고, 복수의 처리로 행해도 된다. 또한 상기 도면의 예에서는 화상 평면을 두 영역으로 나눴지만, 셋 이상의 영역으로 분할하여 정세도를 셋 이상으로 해도 되고, 동일한 정세도의 영역이 복수 있어도 된다. 또한 고정세로 처리하는 영역이더라도, 그 처리 양태는 공통이 아니어도 된다. 예를 들어 영역(390)을 고정세로 처리한다고 해도, 거기에 찍혀 있는 실물체의 카메라로부터의 거리에 따라서, 당해 영역의 뎁스 화상의 생성 레이트 등을 조정해도 된다.
도 7은, 본 실시 형태에 있어서의 정보 처리 장치(200)의 기능 블록을 나타내고 있다. 또한 여기서 나타낸 정보 처리 장치(200)의 기능 중 적어도 일부를, 헤드 마운트 디스플레이(100)의 제어부(10)에 실장해도 된다. 또한 도 7에 도시한 기능 블록은, 하드웨어적으로는, 도 4에 도시한 CPU, GPU, 각종 메모리 등의 구성으로 실현할 수 있으며, 소프트웨어적으로는, 기록 매체 등으로부터 메모리에 로드한, 데이터 입력 기능, 데이터 유지 기능, 화상 처리 기능, 통신 기능 등의 여러 기능을 발휘하는 프로그램으로 실현된다. 따라서, 이들 기능 블록이 하드웨어만, 소프트웨어만, 또는 그들 조합에 의해 다양한 형태로 실현될 수 있음은 당업자에게는 이해되는 바이며, 어느 것에 한정되는 것은 아니다.
정보 처리 장치(200)는, 헤드 마운트 디스플레이(100)로부터 촬영 화상의 데이터를 취득하는 촬영 화상 취득부(250), 취득한 데이터를 저장하는 화상 기억부(252), 정세도를 상이하게 하는 영역을 결정하는 영역 결정부(254), 촬영 화상으로부터 헤드 마운트 디스플레이(100)의 위치나 자세를 취득하는 위치·자세 취득부(256), 촬영 화상을 해석하여 필요한 정보를 취득하는 화상 해석부(258), 화상 해석의 결과에 기초하는 정보 처리를 행하는 정보 처리부(260), 정보 처리의 결과로서 표시할 화상의 데이터를 생성하는 화상 생성부(262), 및 생성된 데이터를 출력하는 출력부(264)를 구비한다.
촬영 화상 취득부(250)는, 헤드 마운트 디스플레이(100)의 카메라(140)가 촬영한 화상의 데이터를 소정의 레이트로 취득하고, 복호 처리 등 필요한 처리를 실시하여 화상 기억부(252)에 저장한다. 카메라(140)를 스테레오 카메라로 구성하는 경우, 촬영 화상 취득부(250)는 좌우의 시점으로부터 촬영된 시차 화상의 데이터를 취득한다.
영역 결정부(254)는, 상술한 바와 같이 각종 처리의 정세도를 상이하게 하기 위해서, 각 정세도로 처리할 영역을 결정한다. 하나의 화상 프레임에 대해 이루어지는 처리 중 정세도를 상이하게 하는 대상으로 하는 처리, 영역의 분할 수, 분할 기준과 같은 규칙에는, 정보 처리나 표시의 내용, 요구되는 처리 정밀도, 정보 처리 장치(200)의 처리 성능 등에 따라서 다양한 조합이 생각된다. 이후의 설명에서는 특히 도 6에서 도시한 바와 같이, 유저가 주시하고 있는 영역(390)의 정세도를 높이고, 그 이외의 영역은 그보다 낮은 정세도로 처리하는 경우를 예시한다.
이 경우, 영역 결정부(254)는, 표시 화상 중, 유저가 주시하고 있는 영역을 결정한다. 헤드 마운트 디스플레이(100)에 표시되는 화상의 경우, 유저는 보고 싶은 방향으로 얼굴 그 자체를 돌리는 것이 일반적이다. 카메라(140)는, 유저가 얼굴을 돌린 방향을 촬영 대상으로 하고 있기 때문에, 결과적으로 촬영 화상의 중심 부분이 유저의 주시 영역에 대응한다고 추정할 수 있다. 따라서 영역 결정부(245)는, 촬영 화상 평면에 있어서의 중심을 포함하는 소정 사이즈의 영역을 주시 영역으로서 결정한다.
또는, 헤드 마운트 디스플레이(100)의 내부에 주시점 검출기를 설치하고, 유저가 표시 화상 중 어느 위치를 주시하고 있는지를 엄밀하게 측정해도 된다. 주시점 검출기는, 적외선 조사 기구에 의해 조사되고 동공에 있어서 반사한 적외선을 검출하여, 그것에 의해 특정되는 동공의 방향 등으로부터 주시점을 검출하는 장치이다. 이 경우, 영역 결정부(254)는, 주시점 검출기(도시생략)로부터 화상 평면에 있어서의 주시점의 위치 정보를 취득하고, 당해 주시점을 포함하는 소정 사이즈의 영역을 주시 영역으로서 결정한다.
영역 결정부(254)는 또한, 촬영 화상에 찍히는 특정한 피사체나 표시 화상에 묘화하는 오브젝트를 포함하는 영역을 주시 영역으로 해도 된다. 예를 들어 유저 자신의 손으로 가상적인 블록을 조립하는 AR을 실현하는 경우, 유저는 자신의 손 부근을 보고 있음을 추정할 수 있다. 이 경우, 영역 결정부(254)는, 촬영 화상으로부터 손의 상을 검출하고, 그것을 포함하는 영역을 주시 영역으로서 결정한다. 또한 대전 게임에 있어서, 대전 상대인 다른 유저가 전방에 있는 경우에는, 당해 유저의 얼굴이나 손 등 소정의 부위여도 된다. 촬영 화상으로부터 손이나 얼굴 등 인체의 소정 부위의 상을 검출하는 방법에는, 패턴 매칭이나 특징점 추출 등 일반적인 기술을 적용할 수 있다.
또는 소정의 색이나 사이즈를 갖는 마커를 설치한 컨트롤러를 갖도록 하면, 손의 검출은 더욱 용이해진다. 주시의 대상으로서 추정되는 피사체는 인체의 부위에 한정되지 않는다. 즉 최종적으로 표시되는 화상의 내용에 따라서, 사람이 주시하는 대상은 다양하게 생각된다. 예를 들어 도 6에서 도시한 표시 화상의 경우, 유저는, 묘화되고 있는 고양이 오브젝트(386)를 주로 보고 있을 가능성이 높다.
고양이 오브젝트(386)가 실물체인 상자의 근방에 있는 설정이면, 영역 결정부(254)는, 촬영 화상으로부터 상자의 상(384)을 검출하고, 그것과, 후단에서 묘화되어야 할 고양이 오브젝트(386)를 포함하는 영역(예를 들어 영역(390))을 주시 영역으로서 결정하면 된다. 오브젝트를 묘화하는 경우가 아니어도, 바닥이나 벽보다 테이블의 위쪽이 주시되기 쉬운, 방의 안쪽보다 손에 있는 쪽이 주시되기 쉽다고 하는 일반적인 경향에 기초하여, 실물체의 특성이나 위치 관계에 따라서 주시 영역을 결정할 수 있다.
그 때문에 영역 결정부(254)의 내부 메모리에는, 촬영 화상을 이용하여 행하는 게임 등의 정보 처리의 내용, 표시되는 화상 세계나 장면, 물건의 특성, 실물체의 위치 관계 등에 대해서, 주목받을 확률이 높은 실물체나 오브젝트의 설정, 혹은 그들의 도출 규칙에 관한 정보를 미리 저장해 둔다. 예를 들어 전자 게임에 있어서 주목받기 쉬운 캐릭터나 물건 등은, 일반적인 경향으로서 추정할 수 있기 때문에, 직접 설정이 가능하다.
또는, 얼굴이 향하고 있는 방향에 표시되고 있는 캐릭터의 이력을 유저별로 취득해 두면, 당해 유저가 높은 확률로 주목할 캐릭터를 특정할 수 있다. 이 경우, 상기 확률의 설정을, 유저별로 최적화할 수 있다. 그리고 영역 결정부(254)는, 메모리에 저장해 둔 정보에 기초하여, 실제의 촬영 화상에 있어서 주시될 확률이 높은 영역을 주시 영역으로서 결정한다. 이때, 촬영 화상에 찍혀 있는 물건의 인식, 위치 관계, 주시되는 오브젝트가 묘화되어야 할 위치 등의 필요한 정보는, 화상 해석부(258)나 화상 생성부(262) 등으로부터 취득한다. 영역 결정부(254)는 결정한 주시 영역에 관한 정보를, 화상 해석부(258) 및 화상 생성부(262)에 통지한다.
여기서 영역 결정부(254)는, 그때까지의 프레임에 있어서의 주시 영역의 움직임에 기초하여, 그 후의 주시 영역을 예측해도 된다. 예를 들어, 도 5의 화살표(372)로 표시되는 얼굴 방향의 그때까지의 시간 변화에 기초하여, 이후의 프레임에 대응하는 시각의 얼굴 방향을 추정할 수 있다. 시선도 그 방향에 있다고 하면, 미소 시간 후에 주시될 영역을 특정할 수 있기 때문에, 그 부분의 정세도를 높여서 화상 해석이나 묘화 처리를 행할 수 있다. 이에 의해, 화상 해석, 정보 처리, 화상 묘화와 같은 중간 처리를 하고 있는 동안에 주시 영역이 이동해버려서, 실제의 주시 영역과 표시 화상 위에서 고품질로 표시되고 있는 부분에 어긋남이 발생할 가능성을 낮출 수 있다.
이 경우, 영역 결정부(254)는, 위치·자세 취득부(256)로부터 헤드부의 위치나 자세에 관한 정보를 순차 취득하고, 화살표(372)와 같은 얼굴의 방향을 표시하는 벡터 등의 이력을 기록해 둔다. 그리고 얼굴의 방향을 표시하는 벡터의 시간 변화를 외삽함으로써, 예를 들어 1프레임 후의 주시 영역을 예측하여, 화상 해석부(258)나 화상 생성부(262)에 공급한다. 화상 해석부(258)나 화상 생성부(262)는 당해 주시 영역에 대하여 고정세로 처리를 행한다.
또한 이력을 기록함으로써 주시 영역을 추정하는 처리는, 얼굴의 방향을 시선으로 파악하는 경우에 한정되지 않는다. 즉 주시점 검출기를 이용하는 경우에는 주시점의 그때까지의 움직임으로부터 이후의 주시점의 위치를 예측할 수 있다. 인체의 소정의 부위, 특정의 실물체, 소정의 오브젝트 등을 주시 대상으로 추측하는 경우에도, 화상 평면에 있어서의 그들의 위치 변화로부터 이후의 위치를 예측할 수 있다. 어쨌든 그와 같이 하여 예측한 주시 영역을 화상 해석부(258)나 화상 생성부(262)에 공급하면, 그 후의 처리는 마찬가지이다.
위치·자세 취득부(256)는, 화상 기억부(252)로부터 촬영 화상의 데이터를 판독하고, v-SLAM 등의 방법에 의해 헤드 마운트 디스플레이(100)의 실공간에서의 위치나 자세, 나아가서는 그것을 장착하고 있는 유저의 헤드부의 위치나 자세를 취득한다. 화상 해석부(258)는, 화상 기억부(252)로부터 촬영 화상의 데이터를 판독하고, 해석을 행함으로써 소정의 정보를 취득한다. 구체적인 처리의 내용은 정보 처리의 목적 등에 따르지만, 예를 들어 상기 1 내지 6의 처리 중 1 내지 5의 적어도 어느 하나를 행한다.
화상 해석부(258)는 제1 정세도 처리부(270)와 제2 정세도 처리부(272)를 포함하고, 마찬가지의 처리를 상술한 바와 같이 서로 다른 정세도로 행한다. 주시 영역을 고정세로 처리하는 경우, 제1 정세도 처리부(270)는 주시 영역을 대상으로 하여 높은 정세도로 처리를 행하고, 제2 정세도 처리부(272)는, 주시 영역 이외의 영역을 대상으로 하여, 제1 정세도 처리부(270)보다 낮은 정세도로 처리를 행한다. 단 처리 내용이나 알고리즘에 따라서, 제2 정세도 처리부(272)가 처리 대상으로 하는 영역은, 제1 정세도 처리부(270)가 처리 대상으로 하는 영역을 포함하고 있어도 된다.
즉, 처리 효율의 관점에서 제2 정세도 처리부(272)가 촬영 화상 전체의 영역을 낮은 정세도로 처리하도록 해도, 주시 영역에 대해서는 제1 정세도 처리부(270)가 고정세로 처리한 결과를 이용하면 된다. 화상 해석부(258)가 행하는 화상 해석을, 촬영 화상의 공간적인 정세도를 상이하게 하기만 한 경우, 영역에 따라서 정세도가 상이한 해석 결과가, 전체 영역에 대하여 동일한 타이밍에 정보 처리부(260)나 화상 생성부(262)에 공급된다.
시간적인 정세도를 상이하게 하는 경우에는, 정세도가 높은 주시 영역에 대한 해석 결과가, 그 밖의 영역의 해석 결과보다 높은 레이트로 공급된다. 또한 상술한 바와 같이 화상 해석부(258)가 행하는 처리의 전부에 대하여 정세도를 상이하게 한다는 취지가 아니라, 예를 들어 제2 정세도 처리부(272)만을 동작시켜, 전체 영역을 동일한 정세도로 행하는 처리가 있어도 된다.
또한 「주시 영역」은 엄밀하게는 유저가 표시 영역에 대해 주시하고 있는 영역이지만, 본 실시 형태와 같이 촬영 화상과 표시 화상의 시야가 대응하고 있는 경우, 촬영 화상에 있어서도 화상 평면상에서 동일한 위치에 있는 영역을 주시 영역으로서 설정할 수 있다. 단 본 실시 형태를 그에 한정한다는 취지는 아니며, 화상 해석부가 촬영 화상에 있어서 처리를 차별화하는 영역이, 표시 화상 중의 주시 영역에 대응하는 영역으로서 결정할 수 있으면, 양자의 위치가 일치하지 않아도 된다.
정보 처리부(260)는, 화상 해석부(258)가 행한 해석의 결과를 이용하여, 소정의 정보 처리를 실시한다. 여기에서 행하는 처리는, 표시 화상에 게임의 요소를 가하거나, 유저의 제스처를 해석하여 소정의 기능을 실현하는 등과 같은, 촬영 화상과 직접적인 관련이 없는 일반적인 정보 처리여도 된다. 단순히 실물체와 인터랙션하는 오브젝트를 표시하는 경우 등, 화상 해석부(258) 및 화상 생성부(262)만으로 처리가 완료되는 경우에는, 정보 처리부(260)의 기능은 생략해도 된다.
화상 생성부(262)는, 정보 처리부(260)가 행한 처리의 결과, 혹은 화상 해석부(258)가 행한 처리의 결과로서 표시할 화상을 생성한다. 이 처리는 상기 1 내지 6의 처리 중 6의 처리에 대응한다. AR과 같이 표시 화상에 촬영 화상을 이용하는 경우에는, 화상 기억부(252)로부터 당해 데이터를 판독한다. 그리고, 화상 해석부(258)가 취득한 실물체의 3차원 모델이나 인터랙션 계산에 대응하도록 오브젝트를 묘화한다. 표시 화상에 촬영 화상을 이용하는지 여부에 관계없이, 화상 생성부(262)는 위치·자세 취득부(256)로부터 헤드부의 위치나 자세에 관한 정보를 취득하고, 그에 대응하는 시점으로부터의 화상을 묘화한다.
화상 생성부(262)는 제1 정세도 처리부(274)와 제2 정세도 처리부(276)를 포함하고, 마찬가지의 묘화 처리를 서로 다른 정세도로 행한다. 주시 영역을 고정세로 묘화하는 예에서는, 제1 정세도 처리부(274)는 주시 영역 내의 오브젝트에 대하여 높은 정세도로 묘화를 행하고, 제2 정세도 처리부(276)는 그 이외의 영역의 오브젝트를, 제1 정세도 처리부(274)보다 낮은 정세도로 묘화한다. 묘화에 있어서의 정세도를 변화시키는 방법으로서, 주시 영역 내의 오브젝트를 원래의 촬영 화상보다 높은 초해상도로 묘화하거나, 주시 영역 외의 오브젝트를 저해상도로 묘화하거나 하는 등, 영역에 따라서 해상도를 상이하게 하는 것이 생각된다. 또는 상술한 바와 같이, 쉐이딩 등 묘화에 필요한 연산의 상세도나 알고리즘을 상이하게 하거나, 묘화의 레이트를 상이하게 하는 것도 생각된다.
단 묘화 처리에 대해서도, 제2 정세도 처리부(276)가 묘화하는 영역은, 제1 정세도 처리부(274)가 묘화하는 영역을 포함해도 된다. 화상 해석부(258)와 마찬가지로, 처리 효율의 관점에서 제2 정세도 처리부(276)가 표시 화상의 전체를 묘화하도록 해도, 주시 영역에 대해서는 제1 정세도 처리부(274)가 묘화한 고정세의 화상을 표시에 이용하면 된다. 표시 화상의 공간적인 상세도를 상이하게 하기만 하는 경우, 영역에 따라서 정세도가 상이한 표시 화상이, 전체 영역에 대하여 동일한 타이밍에 출력부(264)에 공급된다.
시간적인 정세도를 상이하게 하는 경우에는, 주시 영역의 표시 화상이 그 밖의 영역의 표시 화상보다 높은 레이트로 공급된다. 또한 반드시 묘화의 정세도를 상이하게 하지 않아도 되며, 예를 들어 제2 정세도 처리부(276)만을 동작시켜 전체 영역을 동일한 정세도로 묘화해도 된다. 즉 적어도 화상 해석부(258) 및 화상 생성부(262) 중 어느 것에 있어서, 주시 영역과 그 이외의 영역에서 정세도를 상이하게 하면, 시인되는 화상의 질을 가능한 한 유지하면서 처리 효율을 향상시켜, 레이턴시가 적은 화상을 표시할 수 있다.
출력부(264)는, 화상 생성부(262)로부터 표시 화상의 데이터를 취득하고, 헤드 마운트 디스플레이(100)에 송신한다. 출력부(264)는 내부에 버퍼 메모리를 구비하고, 주시 영역의 화상을 그 밖의 영역의 화상과 적절한 위치에서 연결하여 최종적인 표시 화상으로 한다. 제2 정세도 처리부(276)가 전체 영역을 묘화하는 경우에는, 그 화상 중 주시 영역에 대해서는, 제1 정세도 처리부(274)가 묘화한 화상으로 덮어쓰기 한다. 화상 생성부(262)는 그 때문에, 화상 평면에 있어서의 주시 영역의 위치 정보도 출력부(264)에 통지한다.
주시 영역의 화상을 보다 높은 레이트로 묘화하는 경우, 주시 영역의 화상만이 화상 생성부(262)로부터 공급되는 타이밍이 발생한다. 이때 출력부(264)는, 버퍼 메모리에 직전에 저장된 화상 중 주시 영역만을 갱신하여 출력한다. 또한 시야 범위를 넓히기 위해서, 디스플레이에 표시된 화상을, 렌즈를 통해 보는 구조의 헤드 마운트 디스플레이의 경우, 출력부(264)는 또한, 렌즈에 의해 왜곡된 상태에서 정상적인 화상이 보이도록, 표시 화상에 역왜곡 보정을 실시한 다음 출력한다.
또한 상술한 바와 같이 정밀도는 3단계 이상으로 변화시켜도 된다. 이 경우, 화상 해석부(258) 및 화상 생성부(262)에 있어서, 제1 정세도 처리부, 제2 정세도 처리부에 제3, 제4, …의 정밀도 처리부를 더 추가한다. 하기 표는 지금까지 설명한 바와 같이, 화상 해석부(258) 및 화상 생성부(262)가 행하는 처리와, 각 처리에서 정세도를 상이하게 하기 위해서 변화시킬 수 있는 구체적인 대상을 예시하고 있다. 단 화상 해석이나 묘화에 필요한 처리는 이에 한정되지 않고, 정세도를 상이하게 하기 위한 대상도 다양하게 생각된다.
처리 항목 정세도 전환 대상
뎁스 화상 생성 처리 레이트, 대응점 검출에 이용하는 화상의 해상도
3차원 모델링 처리 레이트, 복셀 사이즈, 메쉬 사이즈
인터랙션 계산 처리 레이트, 연산에 이용하는 화상의 해상도, 연산 단위
대상물 추적 처리 레이트
대상물 검출 매칭에 이용하는 화상의 해상도
오브젝트 묘화 처리 레이트, 연산의 상세도, 묘화의 해상도
도 8은, 화상 해석부(258)가 화상 해석에 있어서 정세도를 상이하게 하는 처리의 예를 설명하기 위한 도면이다. 도 8의 (a)는, 헤드 마운트 디스플레이(100)와 그 전방의 실공간의 부감도, (b)는, 그와 같은 환경에서의 촬영 화상으로부터 화상 해석부(258)가 취득한 뎁스 화상을, 각각 모식적으로 나타내고 있다. (a)에 있어서, 점선으로 나타낸 카메라(140)의 시야 내에는, 실물체(400a, 400b)가 존재하는 것으로 한다. 실물체(400a)는 실물체(400b)보다 카메라(140)에 가까운 위치에 있다.
카메라(140)를 스테레오 카메라로 하여 실공간을 촬영하고, 그 시차로부터 각 실물체의 카메라로부터의 거리를 구하고, 촬영 화상 위의 상의 화소값으로서 표시하면, (b)의 뎁스 화상이 얻어진다. 이 예의 뎁스 화상은, 카메라에서 가까울수록 휘도를 높이고 있다. 즉 뎁스 화상에 있어서의 상(402a, 402b)은 각각, 실물체(400a, 400b)에 대응한다. 여기서, 실물체(400a)가 유저에 의해 주시되는 대상으로서 추정되는 경우, 영역 A가 주시 영역으로서 설정된다. 한편, 실물체(400b)가 유저에 의해 주시되는 대상으로서 추정되는 경우, 영역 B가 주시 영역으로서 설정된다. 경우에 따라서는 실물체(400a, 400b)의 양쪽이 주시될 수 있다고 보고, 영역 A, B의 양쪽을 동시에 주시 영역으로 해도 된다.
어쨌든 화상 해석부(258)는, 영역 A나 영역 B를 다른 영역보다 높은 정세도로 해석한다. 여기서, 실공간에 있어서 실물체(400a, 400b)가 촬상면과 평행하게 동일한 속도로 이동했다고 해도, 촬영 화상, 나아가서는 뎁스 화상에 있어서, 바로 앞에 있는 실물체의 상(402a)은, 후방에 있는 실물체의 상(402b)보다 외견상의 이동 속도가 커지게 된다. 이 특성을 고려하여, 주시 영역이더라도 그것에 포함되는 실물체의 카메라로부터의 거리에 따라서, 정세도를 높이는 방법을 조정한다.
즉, 실물체가 바로 앞에 있을수록 프레임 간의 이동량이 크기 때문에, 뎁스 화상의 생성 레이트를 증가시켜, 시간적인 정세도를 높인다. 한편, 바로 앞쪽에 있는 물건은 스테레오 카메라에 있어서의 시차가 크기 때문에, 시차 화상의 대응점을 추출하기 위해서 사용하는 화상의 해상도를 낮춰도 처리 정밀도에 대한 영향이 작다. 따라서 화상 해석부(258)는, 영역 A에 대해서는, 촬영된 시차 화상을 축소하고, 그 화소 단위로 대응점을 탐색하는 처리를 높은 레이트로 실시한다.
반대로, 카메라로부터 멀리에 있는 물건은 시차가 작기 때문에 정확하게 거리를 구하기 위해서는 높은 해상도의 화상을 이용할 필요가 있지만, 외견상의 이동 속도가 느리기 때문에, 뎁스 화상의 생성 레이트를 높여도 정밀도에 대한 효과는 희박하다. 따라서 화상 해석부(258)는, 영역 B에 대해서는, 촬영된 화상의 해상도 그대로, 대응점을 탐색하는 처리를, 영역 A보다 낮은 레이트로 실시한다. 또한 탐색은 화소보다 작은 서브 픽셀 단위로 해도 된다.
이와 같이, 실물체의 카메라로부터의 거리에 따라서, 해상도나 처리 레이트 등 시간적, 공간적으로 정세도의 밸런스를 최적화함으로써, 처리의 낭비를 최대한 억제하고, 또한 처리 정밀도나 외견상에 대한 영향을 적게 할 수 있다. 또한 카메라로부터 가까운 물건일수록, 유저와의 충돌 가능성이 높아지기 때문에, 그 관점에서 있어서도 가까운 실물체일수록 높은 레이트로 위치를 구하는 것이 유효해진다. 주시 영역의 안쪽이거나 바깥쪽 외에도, 주시 영역 내에 있는 실물체의 거리를 고려하여 처리의 정세도를 설정하면, 예를 들어 다음과 같아진다.
주시 영역 카메라로부터의 거리 처리 레이트 해상도
내 가까움 대 중
멈 중 대
외 ― 소 소
즉 영역 A와 같이, 주시 영역 내에 있는 실물체가 소정의 임계값보다 가깝게 있는 경우, 당해 주시 영역은 뎁스 화상 생성 처리의 레이트를 크게 하고, 대응점 탐색에 이용하는 화상의 해상도를 중 정도로 한다. 영역 B와 같이, 주시 영역 내에 있는 실물체가 소정의 임계값 또는 그보다 멀리 있는 경우, 당해 주시 영역은 뎁스 화상 생성 처리의 레이트를 중 정도로 하고, 대응점 탐색에 사용하는 화상의 해상도를 크게 한다.
주시 영역 외에는, 뎁스 화상 생성 처리의 레이트 및 대응점 탐색에 이용하는 화상의 해상도 어느 쪽도, 주시 영역 내보다 작게 한다. 또한 실제로는, 「가까움」, 「멈」에는 거리의 범위를, 「대」, 「중」, 「소」에는 처리 레이트나 해상의 구체적인 값을 설정한다. 또한, 이 표에서는 카메라로부터의 거리를 2단계, 처리 레이트나 해상도를 3단계로 나누고 있지만, 실제로는 보다 많은 단계로 나누어도 된다.
주시 영역 내에 있는 실물체의 카메라로부터의 거리는, 그보다 앞의 프레임 뎁스 화상으로부터 특정한다. 주시 영역과 마찬가지로, 이전의 실물체의 위치의 시간 변화로부터, 미소 시간 후의 실물체의 거리를 예측해도 된다. 예를 들어 도 8의 (a)에 있어서 실물체(400a)만이 존재하는 것으로 보고, 미소 시간 t 후에 실물체(404)의 위치로 이동한 경우, 더 미소 시간 t 후에 실물체(400b)의 위치에 있을 것으로 예측할 수 있다. 이에 의해 영역 결정부(254)는, 영역 B를 주시 영역으로서 예측할 수 있음과 함께, 대상의 실물체의 카메라로부터의 거리도 예측할 수 있다.
화상 해석부(528)는, 상기 표에 나타낸 바와 같은 설정을 참조하고, 실물체의 거리에 따라서 정세도를 상이하게 하는 정도나, 처리 레이트와 이용하는 화상의 해상도와의 밸런스 등을 조정해 간다. 또한 이와 같이, 화상 평면뿐만 아니라 카메라로부터의 깊이 방향을 포함한 3차원 공간에서의 위치를 고려하여 정세도를 상이하게 하는 처리는, 뎁스 화상 생성 처리에 한정되지는 않는다. 예를 들어 주시 영역 내이더라도 실물체가 카메라로부터 이격되어 있을 때는, 정세도의 높이가 그 후의 처리나 외견상에 그다지 공헌하지 않는 처리이면, 다른 영역과의 정세도의 차를, 거리의 증가에 따라서 줄여가도록 해도 된다.
도 9는, 화상 해석부(258)가 화상 해석에 있어서 정세도를 상이하게 하는 처리의 다른 예를 설명하기 위한 도면이다. 종래, 3차원 공간에 있어서의 입체를 표현하기 위한 다양한 방법이 제안되어 있다. 이 중, 복셀 표현에 있어서의 데이터 사이즈의 문제를 개선하기 위해 제안된 방법이 옥트리(Octree) 표현이다. 옥트리 표현에서는, 공간을 8진 트리에 의해 분할하여 이루어지는 영역이, 입체의 내부와 외부에 걸치는 일이 없어질 때까지, 재귀적으로 분할을 반복함으로써, 최종적으로 얻어진 영역 집합으로 입체를 표현한다.
옥트리 표현은 기본적으로, 공간을 구성하는 입방체를, 각 변의 중점을 통과하여 각면에 평행한 3개의 면으로 분할하기 때문에, 최종적으로는 사이즈가 상이한 입방체의 집합으로 입체를 표현하게 된다. 이러한 표현 방법은 일반적으로, 글로벌 공간에 입체적으로 부여되어 있는 물건의 모델링에 이용된다. 한편, 본 실시 형태에서는, 헤드 마운트 디스플레이(100)의 카메라(140)가 촬영하고 있는 화상에 기초하여, 실공간에 있는 물건을 모델링하거나 해석하거나 한다. 그래서 옥트리 표현을 응용하여, 그와 같은 시스템에 적합시킨다. 구체적으로는, 시야 공간을 소정의 거리 범위 Z로 구획하여 이루어지는 사각뿔대를 8분할해 간다.
도 9는 그 공간 분할의 모습을 모식적으로 나타내는 부감도이며, 수직 방향의 분할 경계를 선으로 나타내고 있다. 당연히, 수평 방향으로도 분할한다. 즉 카메라(140)의 시야를 구성하는 사각뿔대의 공간을, 각 변의 중점을 통과하는 두 수직면 및 하나의 수평면에 의해 8분할하여 이루어지는 영역마다, 실물체의 내부에 있는지 외부에 있는지, 걸쳐 있는지를 판정해 가고, 걸쳐 있는 경우에는 추가로 8분할한다. 이에 의해, 실물체를, 다양한 사이즈의 사각뿔대 영역의 집합으로 표현한다.
촬영 화상은, 전체가 대략 사각뿔대 형상인 시야 공간이, 카메라(140)의 촬상면에 결상한 것이다. 즉 촬영 화상 위의 어떤 화소는, 예를 들어 도 9의 영역(420) 위의 물건의 정보를 나타내고 있다. 따라서, 뎁스 화상에 기초하는 카메라로부터의 거리의 범위와, 화상 평면에서의 상의 영역에 대응시키기 위해서는, 도시한 바와 같은 사각뿔대 형상으로 분할해 가는 것이 보다 고정밀도이면서 효율적이라고 할 수 있다. 화상 평면에서의 주시 영역을 직사각형으로서 설정하면, 그에 대응하는 실공간의 영역도, 영역(420)과 같은 영역을 화상 위의 세로 방향 및 가로 방향으로 복수 통합한 집합체로서 사각뿔대 형상으로 된다. 따라서 공간을 사각뿔대 형상으로 분할함으로써, 주시 영역만을 고정세화하는 처리도 효율화할 수 있다.
예를 들어, 주시 영역에 대응하는 사각뿔대의 집합체 영역에 있어서는, 보다 상세하게 실물체와의 내외 판정을 행한다. 이에 의해, 보다 작은 사이즈의 뿔대로, 실물체를 정밀하게 표현할 수 있다. 또한, 도 8에서 설명한 바와 같이, 실물체의 거리에 따라서 처리의 정세도를 변화시키는 것과 마찬가지의 원리로, 카메라로부터의 거리에 따라서 뿔대 단위에서 처리의 정세도를 변화시켜도 된다. 예를 들어 어떤 뿔대 영역에서 실물체의 일부가 표현되어 있을 때, 그보다 안쪽에 있는 뿔대는, 실물체를 표현하고 있었다고 해도 오클루전에 의해 화상 위에는 표시되지 않는다. 따라서, 주시 영역 내이더라도, 그러한 영역은, 화상 해석부(258)에 의한 해석 대상으로부터 제외하거나, 그러한 영역에 묘화할 오브젝트의 묘화를 생략하거나 할 수 있다.
이상 설명한 구성에 의해 실현할 수 있는, 정보 처리 장치(200)의 동작을 설명한다. 도 10은 정보 처리 장치(200)가, 촬영 화상에 기초하여 표시 화상을 생성하는 처리 수순을 나타내는 흐름도이다. 이 흐름도는, 유저가 헤드 마운트 디스플레이(100)를 장착하고, 소정의 입력 수단(도시생략)에 의해 처리의 개시 지시를 입력했을 때 등에 개시된다. 우선 정보 처리 장치(200)의 촬영 화상 취득부(250)는, 헤드 마운트 디스플레이(100)에 촬영 개시의 요구 신호를 송신하거나 하여 촬영을 개시시키고, 그에 따라서 헤드 마운트 디스플레이(100)로부터 송신된 촬영 화상의 제1 프레임의 데이터를 취득한다(S10).
그렇게 하면 위치·자세 취득부(256)가, 촬영 화상에 기초하여 헤드 마운트 디스플레이(100), 나아가서는 유저의 헤드부의 위치나 자세를 취득함과 함께(S12), 영역 결정부(254)가 주시 영역을 예측한다(S14). 또한 S12의 처리는, 헤드 마운트 디스플레이(100)에 내장된 모션 센서에 의한 계측값에 의해 구해도 된다. 또한 S14에 있어서, 그때까지의 이력에 의해 주시 영역을 예측하는 경우에는, 제1 프레임에 관한 처리에서는 화상의 중심 부분 등 소정의 영역을 주시 영역으로 해도 된다.
다음으로 화상 해석부(258)의 제1 정세도 처리부(270)는, 예측된 주시 영역에 대하여 고정세로 소정의 화상 해석 처리를 실시한다(S16). 병행하여 제2 정세도 처리부(272)는, 주시 영역 이외의 영역, 혹은 화상 전체의 영역에 대하여, 제1 정세도 처리부(270)보다 낮은 정세도로, 제1 정세도 처리부(270)와 마찬가지의 처리를 실시한다(S18). 또한 상술한 바와 같이 정세도의 차별화를 하지 않는 처리에 대해서는, 제2 정세도 처리부(272)가 전체 영역을 대상으로 하여 실시하면 된다.
계속해서 정보 처리부(260)는, 화상 해석의 결과를 이용하여 소정의 정보 처리를 실시한다(S20). 이 처리는 상술한 바와 같이, 정세도의 차별화를 할 필요가 없는 일반적인 정보 처리여도 된다. 또한, 경우에 따라서는 도시하지 않은 입력 장치 등에 의한 유저 조작도 입력 정보로서 이용해도 된다. 다음으로 화상 생성부(262)는, 화상 해석부(258)에 의한 화상 해석 결과 및 정보 처리부(260)에 의한 정보 처리의 결과 중 적어도 어느 하나에 기초하여 표시 화상을 생성한다.
이때 화상 생성부(262)의 제1 정세도 처리부(274)는, 예측된 주시 영역에 대하여 고정세로 화상을 묘화한다(S22). 병행하여 제2 정세도 처리부(276)는, 주시 영역 이외의 영역, 혹은 화상 전체의 영역에 대하여, 제1 정세도 처리부(274)보다 낮은 정세도로, 화상을 묘화한다(S24). 단 묘화 처리에 있어서 정세도의 차별화를 하지 않는 경우에는, 제2 정세도 처리부(276)가 전체 영역에 대하여 필요한 화상을 묘화한다.
출력부(264)는, 주시 영역의 화상과 그 밖의 영역의 화상을 필요에 따라서 연결한 다음에, 헤드 마운트 디스플레이(100)로 출력한다(S26). 유저 조작 등에 의해 처리를 종료시킬 필요가 없는 기간은(S28의 아니오), 다음 프레임에 대하여 S10 내지 S26의 처리를 반복하고, 처리를 종료시킬 필요가 발생하면 모든 처리를 종료시킨다(S28의 예). 또한 도시한 예에서는, 모든 처리를 순차 행하고 있지만, 상술한 바와 같이, 고정세의 처리로서 처리 레이트를 높이는 경우에는, S16 및 S22의 처리가, S18 및 S24의 처리보다 높은 빈도로 실시되게 된다.
이상 설명한 본 실시 형태에 의하면, 촬영 화상에 기초하여 헤드 마운트 디스플레이에 표시시키는 화상을 생성하기 위해서 필요한 화상 해석 처리나 화상 묘화 처리의 적어도 일부를, 화상 위의 영역에 따라서 정세도를 상이하게 하여 실시한다. 예를 들어 유저가 주시하고 있는 영역에 한정하여 정세도를 높임으로써, 처리의 부하를 증대시키지 않고, 외견상의 인상으로서 고도의 화상 세계를 표현할 수 있다.
주시 영역은, 헤드 마운트 디스플레이의 위치나 자세로부터 추정되는 유저의 시선이나, 주시점 검출기에 의한 검출 결과 등에 기초하여 결정한다. 또는, 볼 수 있는 확률이 높은 오브젝트나 실물체를, 일반적인 경향이나 유저별 경향 등에 따라서 결정한다. 이때, 그때까지의 시선이나 주시점의 시간 변화 등에 기초하여, 미소 시간 후의 주시 영역을 예측함으로써, 화상 처리 등에 시간을 요해도, 표시 화상에 대한 실제의 주시 영역과, 고정세로 처리를 한 영역과의 어긋남을 적게 할 수 있다.
또한 주시 영역 내부에 찍혀 있는 실물체의 거리에 따라서, 정세도를 높이는 방법을 조정한다. 예를 들어 실물체가 근거리에 있는 경우에는 저해상도의 화상을 이용하여 높은 레이트로 뎁스 화상을 생성한다. 실물체가 원거리에 있는 경우에는, 고해상도의 화상을 이용하여 낮은 레이트로 뎁스 화상을 생성한다. 어느 쪽도 주시 영역 외보다는 고정세의 처리로 하여도, 처리 레이트와 해상도로 밸런스를 도모함으로써, 과도한 처리를 하지 않고 보다 큰 효과를 얻을 수 있다.
또한 실물체의 모델링 방법으로서, 옥트리 표현을 뿔대 형상으로 행한다. 즉 카메라의 시야 공간인 뿔대를, 실물체를 완전히 포함하거나 포함하지 않게 될 때까지 뿔대 형상으로 8분할해 감으로써 실물체를 표현한다. 이러한 뿔대 형상의 공간 분할에 의하면, 화상 위의 영역에 대응하는 3차원 공간을, 분할하여 이루어지는 뿔대의 집합체로서 추출할 수 있다. 따라서, 이러한 뿔대를 단위로 하여 정밀도를 조정하면, 표시 화상 위의 영역과 카메라로부터의 거리의 양쪽을 고려한 한정적인 공간에 대해서, 처리 부하를 가하지 않고 보다 효과적으로 정세도를 높일 수 있다.
이상, 본 발명을 실시 형태를 기초로 설명하였다. 실시 형태는 예시로서, 그들의 각 구성 요소나 각 처리 프로세스의 조합에 여러 변형예가 가능한 것, 또한 그러한 변형예도 본 발명의 범위에 있음은 당업자에게 이해되는 바이다.
예를 들어 본 실시 형태에서는 주로, 정세도를 상이하게 하는 영역의 분할 기준으로서, 유저의 주시 영역인지 여부를 예로 들어 설명하였다. 한편, 분할 기준은 그에 한정되지는 않는다. 예를 들어, 렌즈를 통해 디스플레이를 보는 구조의 헤드 마운트 디스플레이에서는, 렌즈에 의해 표시 화상이 왜곡된 결과, 유저의 시야 중심과 주변에서는 화상의 밀도가 상이한 것이 생각된다. 이러한 광학적인 특성을 상정하여, 미리 역방향의 왜곡 보정을 가하는 것 외에도, 표시 화상의 중심과 주변에서 본 실시 형태와 마찬가지로 처리의 양태를 상이하게 함으로써, 렌즈를 통해 보았을 때 시야 전체에서 균일하게 보이도록 해도 된다.
또한 본 실시 형태와 같이 촬영 화상과 표시 화상이 대응하는 시야를 갖는 경우, 주시 영역 등 공통의 영역에 대해서, 화상 해석부 및 화상 생성부가 처리의 정세도를 높게 할 수 있어, 상승 효과로서 당해 영역의 품질을 높일 수 있다. 한편, 화상 해석부 및 화상 생성부는 서로 독립적인 처리가 가능하기 때문에, 전자가 촬영 화상에 대해 정세도를 높이는 영역과, 후자가 표시 화상에 있어서 정세도를 높이는 영역은 독립적으로 결정할 수 있다. 따라서 화상 해석부와 화상 생성부는, 각각 서로 다른 기준으로 결정된 영역에 대해서, 정세도를 상이하게 해도 된다.
그 관점에 있어서, 촬영 화상과 표시 화상의 시야는 대응하고 있지 않아도 된다. 즉 본 실시 형태에서는, 카메라가 장착된 헤드 마운트 디스플레이를 상정하였지만, 정보 처리의 목적이나 표시하는 내용에 따라서는, 헤드 마운트 디스플레이와 카메라는 다른 케이스를 갖고 있어도 된다. 이에 의해 촬영 화상과 표시 화상의 시야에 관련성이 없어도, 상술한 바와 같이 각각에 대하여 독립적으로 결정된 영역에 대해서, 화상 해석부 및 화상 생성부가 독립적으로 정세도를 상이하게 하여 처리를 행하면, 본 실시 형태와 마찬가지의 효과를 얻을 수 있다. 또한 표시 장치는 헤드 마운트 디스플레이에 한정되지 않고, 플랫 패널 디스플레이 등이어도 된다.
또한 본 실시 형태에서는, 입력 데이터로서 취득한, 동일한 촬영 화상에 대하여, 화상 평면상에서 영역을 나눔으로써 정세도를 상이하게 하였다. 한편, 공간적, 시간적, 혹은 그 양쪽으로, 정세도가 상이한 복수 종류의 촬영 화상을 입력 데이터로서 취득해도 된다. 도 11은, 2종류의 화상을 촬영하는 카메라를 구비한 헤드 마운트 디스플레이의 외관 형상의 예를 나타내고 있다. 이 예에 있어서 헤드 마운트 디스플레이(100a)는, 도 1에서 도시한 헤드 마운트 디스플레이(100)에, 제2 카메라(142)를 더 설치한 구성을 갖는다.
제2 카메라(142)의 렌즈는, 카메라(140)를 구성하는 스테레오 카메라의 두 렌즈의 중점을 통과하는 수직선상에 배치된다. 그리고 제2 카메라(142)는 예를 들어, 카메라(140)의 각 카메라보다 넓은 시야를 갖는 카메라로 한다. 양자를 동일 정도의 화소 수로 한 경우, 제2 카메라(142)가 촬영한 화상은, 카메라(140)가 각각의 시점으로부터 촬영한 화상보다 해상도가 낮아진다. 이러한 제2 카메라(142)를 설치하고, 그것에 의해 촬영된 화상을 제2 정세도 처리부(272, 276)의 처리 대상으로 하고, 카메라(140)가 촬영한 화상을 제1 정세도 처리부(270, 274)의 처리 대상으로 하면, 본 실시 형태와 마찬가지의 효과를 얻을 수 있다.
여기서 고정세의 처리를 행하는 영역은 한정적이기 때문에, 카메라(140)의 화소 수를 낮춤으로써 제조 비용을 경감시키거나, 화소 수를 그대로 시야를 좁힘으로써 해상도를 더욱 높이거나 할 수도 있다. 또한 마찬가지의 원리에 의해, 제2 카메라(142)는 카메라(140)보다 낮은 레이트로 촬영하고, 그것을 사용하여 제2 정세도 처리부(272, 276)가 낮은 시간 분해능으로 각종 처리를 실시하도록 해도 된다.
이상과 같이 본 발명은, 게임 장치, 화상 처리 장치, 화상 재생 장치, 퍼스널 컴퓨터 등 각종 정보 처리 장치와, 그들을 포함하는 정보 처리 시스템 등에 이용 가능하다.
100: 헤드 마운트 디스플레이
140: 카메라
200: 정보 처리 장치
222: CPU
224: GPU
226: 메인 메모리
250: 촬영 화상 취득부
252: 화상 기억부
254: 영역 결정부
256: 위치·자세 취득부
258: 화상 해석부
260: 정보 처리부
262: 화상 생성부
264: 출력부
270: 제1 정세도 처리부
272: 제2 정세도 처리부
274: 제1 정세도 처리부
276: 제2 정세도 처리부

Claims (17)

  1. 카메라로부터 촬영 화상의 데이터를 취득하는 촬영 화상 취득부와,
    상기 촬영 화상을 해석하는 화상 해석부와,
    상기 해석 결과에 기초하는 표시 화상을 생성하여 표시 장치로 출력하는 표시 화상 생성부와,
    상기 표시 화상에 있어서의 유저의 주시 영역을 결정하는 영역 결정부
    를 구비하고,
    상기 화상 해석부는, 상기 촬영 화상에 있어서의, 상기 주시 영역에 대응하는 영역에 대한 해석 처리의 정세도를, 그 밖의 영역에 대한 처리의 정세도보다 높게 하는 것을 특징으로 하는, 정보 처리 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 표시 화상 생성부는, 상기 주시 영역에 대한 처리의 정세도를, 그 밖의 영역에 대한 처리의 정세도보다 높게 하는 것을 특징으로 하는, 정보 처리 장치.
  4. 제1항 또는 제3항에 있어서,
    상기 영역 결정부는, 상기 주시 영역을 결정짓는 파라미터의 시간 변화에 기초하여 후의 시간에 있어서의 주시 영역을 예측하는 것을 특징으로 하는, 정보 처리 장치.
  5. 제1항 또는 제3항에 있어서,
    상기 영역 결정부는, 상기 표시 장치로서 헤드 마운트 디스플레이를 장착하고 있는 유저의 헤드부의 움직임에 기초하여 상기 주시 영역을 결정하는 것을 특징으로 하는, 정보 처리 장치.
  6. 제1항 또는 제3항에 있어서,
    상기 영역 결정부는, 상기 표시 장치로서 헤드 마운트 디스플레이의 내부에 설치한 주시점 검출기에 의한 검출 결과에 기초하여 상기 주시 영역을 결정하는 것을 특징으로 하는, 정보 처리 장치.
  7. 제1항 또는 제3항에 있어서,
    상기 영역 결정부는, 표시 화상에 표시되어 있는 물건 중, 주시될 확률이 높은 물건을 이력에 기초하여 특정하고, 당해 물건을 포함하는 영역을, 상기 주시 영역으로서 결정하는 것을 특징으로 하는, 정보 처리 장치.
  8. 제1항 또는 제3항에 있어서,
    상기 화상 해석부는, 상기 촬영 화상 위의 영역에 따라서, 공간적인 정세도 및 시간적인 정세도의 적어도 한쪽을 상이하게 하는 것을 특징으로 하는, 정보 처리 장치.
  9. 제1항 또는 제3항에 있어서,
    상기 화상 해석부는, 상기 촬영 화상 위의 각 영역에 찍혀 있는 실물체의, 카메라로부터의 거리에 따라서, 정세도를 상이하게 하는 정도를 변화시키는 것을 특징으로 하는, 정보 처리 장치.
  10. 제9항에 있어서,
    상기 화상 해석부는, 상기 실물체의 카메라로부터의 거리에 따라서, 상기 촬영 화상에 있어서의 그 상을 포함하는 영역의 뎁스 화상의 생성 처리의 레이트와, 당해 생성 처리에 사용하는 시차 화상의 해상도의 밸런스를 변화시키는 것을 특징으로 하는, 정보 처리 장치.
  11. 제9항에 있어서,
    상기 영역 결정부는, 상기 실물체의 움직임에 기초하여, 상기 촬영 화상에 있어서의 그 상을 포함하는 영역 및 당해 실물체의 카메라로부터의 거리를 예측하고,
    상기 화상 해석부는, 예측된 상기 영역의 해석 처리의 정세도를 상이하게 하는 정도를, 예측된 상기 카메라로부터의 거리에 기초하여 변화시키는 것을 특징으로 하는, 정보 처리 장치.
  12. 제1항 또는 제3항에 있어서,
    상기 화상 해석부는, 상기 카메라의 시야를 구성하는 사각뿔대의 공간을, 각 변의 중점을 통과하는 두 수직면 및 하나의 수평면에 의해 8분할하는 처리를, 실물체와의 위치 관계에 기초하여 반복함으로써, 실물체를 사각뿔대의 집합체로 표시하여 모델화하고, 당해 사각뿔대의 단위에서 해석 처리의 정세도를 변화시키는 것을 특징으로 하는, 정보 처리 장치.
  13. 제1항 또는 제3항에 있어서,
    상기 화상 해석부는, 상기 촬영 화상에 있어서의, 상기 주시 영역에 대응하는 영역과 그 밖의 영역에서, 해석 처리의 레이트를 상이하게 하는 것을 특징으로 하는, 정보 처리 장치.
  14. 제1항 또는 제3항에 있어서,
    상기 화상 해석부는, 상기 촬영 화상에 있어서의, 상기 주시 영역에 대응하는 영역과 그 밖의 영역에서, 정밀도가 상이한 알고리즘을 이용하여 해석을 행하는 것을 특징으로 하는, 정보 처리 장치.
  15. 카메라를 구비한 헤드 마운트 디스플레이와, 당해 카메라에 의한 촬영 화상에 기초하여 상기 헤드 마운트 디스플레이에 표시시키는 화상을 생성하는 정보 처리 장치를 포함하는 정보 처리 시스템으로서,
    상기 정보 처리 장치는,
    상기 카메라로부터 촬영 화상의 데이터를 취득하는 촬영 화상 취득부와,
    상기 촬영 화상을 해석하는 화상 해석부와,
    상기 해석의 결과에 기초하는 표시 화상을 생성하여 상기 헤드 마운트 디스플레이로 출력하는 표시 화상 생성부와,
    상기 표시 화상에 있어서의 유저의 주시 영역을 결정하는 영역 결정부
    를 구비하고,
    상기 화상 해석부는, 상기 촬영 화상에 있어서의, 상기 주시 영역에 대응하는 영역에 대한 해석 처리의 정세도를, 그 밖의 영역에 대한 처리의 정세도보다 높게 하는 것을 특징으로 하는, 정보 처리 시스템.
  16. 카메라로부터 촬영 화상의 데이터를 취득하는 스텝과,
    상기 촬영 화상을 해석하는 스텝과,
    상기 해석의 결과에 기초하는 표시 화상을 생성하는 스텝과,
    상기 표시 화상의 데이터를 표시 장치로 출력하는 스텝과,
    상기 표시 화상에 있어서의 유저의 주시 영역을 결정하는 스텝
    을 포함하고,
    상기 해석하는 스텝은, 상기 촬영 화상에 있어서의, 상기 주시 영역에 대응하는 영역에 대한 해석 처리의 정세도를, 그 밖의 영역에 대한 처리의 정세도보다 높게 하는 것을 특징으로 하는, 정보 처리 장치에 의한 정보 처리 방법.
  17. 카메라로부터 촬영 화상의 데이터를 취득하는 기능과,
    상기 촬영 화상을 해석하는 기능과,
    상기 해석의 결과에 기초하는 표시 화상을 생성하는 기능과,
    상기 표시 화상의 데이터를 표시 장치로 출력하는 기능과,
    상기 표시 화상에 있어서의 유저의 주시 영역을 결정하는 기능
    을 포함하고,
    상기 해석하는 기능은, 상기 촬영 화상에 있어서의, 상기 주시 영역에 대응하는 영역에 대한 해석 처리의 정세도를, 그 밖의 영역에 대한 처리의 정세도보다 높게 하는 것을 특징으로 하는 컴퓨터 판독가능한 기록 매체에 저장된 컴퓨터 프로그램.
KR1020187026421A 2016-03-23 2017-02-21 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 컴퓨터 프로그램 KR102066890B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016058924A JP6632443B2 (ja) 2016-03-23 2016-03-23 情報処理装置、情報処理システム、および情報処理方法
JPJP-P-2016-058924 2016-03-23
PCT/JP2017/006353 WO2017163720A1 (ja) 2016-03-23 2017-02-21 情報処理装置、情報処理システム、および情報処理方法

Publications (2)

Publication Number Publication Date
KR20180113576A KR20180113576A (ko) 2018-10-16
KR102066890B1 true KR102066890B1 (ko) 2020-01-17

Family

ID=59899984

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187026421A KR102066890B1 (ko) 2016-03-23 2017-02-21 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 컴퓨터 프로그램

Country Status (6)

Country Link
US (1) US10957104B2 (ko)
EP (1) EP3422296A4 (ko)
JP (1) JP6632443B2 (ko)
KR (1) KR102066890B1 (ko)
CN (1) CN108885799B (ko)
WO (1) WO2017163720A1 (ko)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
JP2018004950A (ja) * 2016-07-01 2018-01-11 フォーブ インコーポレーテッド 映像表示システム、映像表示方法、映像表示プログラム
US11107287B2 (en) 2017-10-05 2021-08-31 Sony Corporation Information processing apparatus and information processing method
US10506217B2 (en) * 2017-10-09 2019-12-10 Facebook Technologies, Llc Head-mounted display tracking system
WO2019087491A1 (ja) * 2017-10-30 2019-05-09 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP7418075B2 (ja) * 2018-09-18 2024-01-19 キヤノン株式会社 撮像表示装置、ウェアラブルデバイスおよび撮像表示システム
US11048465B2 (en) 2018-09-18 2021-06-29 Canon Kabushiki Kaisha Imaging display device, wearable device, and imaging display system
US11544865B1 (en) 2019-02-15 2023-01-03 Apple Inc. Posture detection and correction
JP6611143B1 (ja) * 2019-03-08 2019-11-27 アビームコンサルティング株式会社 画像表示方法、画像表示システム、プログラム
JP7365185B2 (ja) * 2019-03-29 2023-10-19 株式会社ソニー・インタラクティブエンタテインメント 画像データ伝送方法、コンテンツ処理装置、ヘッドマウントディスプレイ、中継装置、および、コンテンツ処理システム
JPWO2020262261A1 (ko) * 2019-06-28 2020-12-30
US11579688B2 (en) 2019-06-28 2023-02-14 Canon Kabushiki Kaisha Imaging display device and wearable device
CN110990917A (zh) * 2019-11-19 2020-04-10 北京长空云海科技有限公司 Bim模型展示的方法、装置及系统
US11308698B2 (en) * 2019-12-05 2022-04-19 Facebook Technologies, Llc. Using deep learning to determine gaze
CN113329165A (zh) * 2020-02-28 2021-08-31 佳能株式会社 成像显示设备、可穿戴设备以及成像显示系统
US20230139216A1 (en) * 2020-03-30 2023-05-04 Sony Interactive Entertainment Inc. Image display system, image processing device, and image display method
CN111553846B (zh) * 2020-05-12 2023-05-26 Oppo广东移动通信有限公司 超分辨率处理方法及装置
JP2021182344A (ja) * 2020-05-20 2021-11-25 京セラ株式会社 視点検出装置および表示装置
CN111696039B (zh) * 2020-05-28 2023-07-28 Oppo广东移动通信有限公司 图像处理方法及装置、存储介质和电子设备
CN114079728A (zh) * 2020-08-19 2022-02-22 Oppo广东移动通信有限公司 拍摄防抖方法、装置、电子设备及存储介质
CN111988525A (zh) * 2020-08-25 2020-11-24 Oppo广东移动通信有限公司 图像处理方法及相关装置
US11735138B2 (en) * 2021-04-22 2023-08-22 GM Global Technology Operations LLC Dual image plane HUD with automated illuminance setting for AR graphics displayed in far virtual image plane
CN113327663B (zh) * 2021-05-19 2023-03-31 郑州大学 移动终端辅助的脑卒中交互式锻炼控制系统
JP2023061262A (ja) * 2021-10-19 2023-05-01 キヤノン株式会社 画像表示システム
WO2023162504A1 (ja) * 2022-02-28 2023-08-31 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2024071862A1 (ko) * 2022-09-28 2024-04-04 삼성전자 주식회사 응시점에 기반한 정보 제공을 위한 방법 및 이를 위한 전자 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272515A (ja) * 2003-03-07 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム
JP2011215968A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体及び物体認識システム
US20140361977A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60198684A (ja) * 1984-03-21 1985-10-08 Fujitsu Ltd ３次元物体認識方式
WO1999006956A1 (en) * 1997-07-29 1999-02-11 Koninklijke Philips Electronics N.V. Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system
JP2002542505A (ja) * 1999-04-08 2002-12-10 ニューヨーク ユニバーシティ 超解像力を有する中心窩画像表示装置
JP2004279031A (ja) * 2003-03-12 2004-10-07 Toyota Central Res & Dev Lab Inc 距離分布検知装置及び距離分布検知方法
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
JP5774889B2 (ja) * 2011-03-31 2015-09-09 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
US9274597B1 (en) * 2011-12-20 2016-03-01 Amazon Technologies, Inc. Tracking head position for rendering content
US20130300634A1 (en) 2012-05-09 2013-11-14 Nokia Corporation Method and apparatus for determining representations of displayed information based on focus distance
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
KR101845350B1 (ko) * 2013-03-26 2018-05-18 세이코 엡슨 가부시키가이샤 두부 장착형 표시 장치 및 두부 장착형 표시 장치의 제어 방법
WO2014178005A1 (en) * 2013-04-29 2014-11-06 The West Pomeranian University Of Technology System and method for probabilistic object tracking over time
JP2014238731A (ja) * 2013-06-07 2014-12-18 株式会社ソニー・コンピュータエンタテインメント 画像処理装置、画像処理システム、および画像処理方法
US10176639B2 (en) * 2014-11-27 2019-01-08 Magic Leap, Inc. Virtual/augmented reality system having dynamic region resolution
US10217286B1 (en) * 2015-09-21 2019-02-26 Amazon Technologies, Inc. Realistic rendering for virtual reality applications

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004272515A (ja) * 2003-03-07 2004-09-30 Nippon Telegr & Teleph Corp <Ntt> インタフェース方法、装置、およびプログラム
JP2011215968A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体及び物体認識システム
US20140361977A1 (en) * 2013-06-07 2014-12-11 Sony Computer Entertainment Inc. Image rendering responsive to user actions in head mounted display

Also Published As

Publication number Publication date
CN108885799A (zh) 2018-11-23
US20200090403A1 (en) 2020-03-19
JP6632443B2 (ja) 2020-01-22
KR20180113576A (ko) 2018-10-16
JP2017174125A (ja) 2017-09-28
EP3422296A4 (en) 2019-10-16
WO2017163720A1 (ja) 2017-09-28
EP3422296A1 (en) 2019-01-02
CN108885799B (zh) 2023-09-05
US10957104B2 (en) 2021-03-23

Similar Documents

Publication Publication Date Title
KR102066890B1 (ko) 정보 처리 장치, 정보 처리 시스템, 정보 처리 방법 및 컴퓨터 프로그램
JP5580855B2 (ja) 障害物回避装置および障害物回避方法
US9049428B2 (en) Image generation system, image generation method, and information storage medium
US20170324899A1 (en) Image pickup apparatus, head-mounted display apparatus, information processing system and information processing method
WO2018214697A1 (zh) 图形处理方法、处理器和虚拟现实系统
US20140362188A1 (en) Image processing device, image processing system, and image processing method
KR102214263B1 (ko) 화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체
KR20210130773A (ko) 이미지 처리 방법 및 머리 장착형 디스플레이 디바이스
KR101892735B1 (ko) 직관적인 상호작용 장치 및 방법
CN103517060A (zh) 一种终端设备的显示控制方法及装置
JP2019032599A (ja) 情報処理装置および位置情報取得方法
JP2022121443A (ja) 情報処理装置、ユーザガイド提示方法、およびヘッドマウントディスプレイ
CN110633009A (zh) 用于显示虚拟对象的方法和系统
JP2022028091A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2000184398A (ja) 仮想画像立体合成装置、仮想画像立体合成方法、ゲ―ム装置及び記録媒体
RU2020126876A (ru) Устройство и способ формирования изображений вида
JP6775669B2 (ja) 情報処理装置
US11128836B2 (en) Multi-camera display
JP2018116421A (ja) 画像処理装置および画像処理方法
JP2024019911A (ja) ヘッドマウントディスプレイおよび画像表示方法
WO2020036114A1 (ja) 画像処理装置、画像処理方法、およびプログラム
CN113170233A (zh) 图像处理装置、图像处理方法、程序以及显示装置
JP7044846B2 (ja) 情報処理装置
WO2023079623A1 (ja) 画像表示システム、画像送信装置、表示制御装置、および画像表示方法
WO2023149126A1 (ja) 情報処理装置および情報処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right