KR20200131820A - 화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체 - Google Patents

화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체 Download PDF

Info

Publication number
KR20200131820A
KR20200131820A KR1020207025195A KR20207025195A KR20200131820A KR 20200131820 A KR20200131820 A KR 20200131820A KR 1020207025195 A KR1020207025195 A KR 1020207025195A KR 20207025195 A KR20207025195 A KR 20207025195A KR 20200131820 A KR20200131820 A KR 20200131820A
Authority
KR
South Korea
Prior art keywords
image
image display
unit
display
motion
Prior art date
Application number
KR1020207025195A
Other languages
English (en)
Other versions
KR102550382B1 (ko
Inventor
고지 나가타
다카시 사이토
요시노리 나사다
도모야 다케이
준 니시카와
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200131820A publication Critical patent/KR20200131820A/ko
Application granted granted Critical
Publication of KR102550382B1 publication Critical patent/KR102550382B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/373—Details of the operation on graphic patterns for modifying the size of the graphic pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/74—Projection arrangements for image reproduction, e.g. using eidophor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0183—Adaptation to parameters characterising the motion of the vehicle
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/14—Solving problems related to the presentation of information to be displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 기술의 일 형태에 따른 화상 표시 시스템은, 화상 표시부와, 취득부와, 표시 제어부를 구비한다. 상기 화상 표시부는, 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 한다. 상기 취득부는, 상기 화상 표시부의 움직임에 관한 움직임 정보를 취득한다. 상기 표시 제어부는, 상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시킨다.

Description

화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체
본 기술은, 차량 등에 탑재 가능한 화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체에 관한 것이다.
특허문헌 1에는, 탑승자의 모니터 멀미 등을 억제할 수 있는 차량용 모니터 표시 시스템에 대하여 개시되어 있다. 이 표시 시스템에서는, 노면으로부터 차량에 입력되는 진동에 기초하여, 화상 모니터의 변위 주파수가 산출된다. 또한 탑승자를 촬영한 화상에 기초하여, 탑승자 시선의 변위 주파수가 산출된다. 그리고 화상 모니터의 변위 주파수와, 탑승자 시선의 변위 주파수와의 차분이, 모니터 멀미의 주파수 범위에 포함되지 않도록, 화상의 표시 범위의 위치가 제어된다(특허문헌 1의 명세서 단락 [0034] [0037] 도 6 등).
일본 특허 공개 제2017-171243호 공보
이와 같이 유저에게 쾌적한 시청 환경을 제공하는 것을 가능하게 하는 기술이 요구되고 있다.
이상과 같은 사정을 감안하여, 본 기술의 목적은, 쾌적한 시청 환경을 제공하는 것을 가능하게 하는 화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체를 제공하는 데 있다.
상기 목적을 달성하기 위해서, 본 기술의 일 형태에 따른 화상 표시 시스템은, 화상 표시부와, 취득부와, 표시 제어부를 구비한다.
상기 화상 표시부는, 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 한다.
상기 취득부는, 상기 화상 표시부의 움직임에 관한 움직임 정보를 취득한다.
상기 표시 제어부는, 상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시킨다.
이 화상 표시 시스템에서는, 유저의 움직임과 관련된 움직임을 하는 화상 표시부에 대해서, 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를 실행시키는 것이 가능하다. 이것에 의해 쾌적한 시청 환경을 제공하는 것이 가능해진다.
상기 억제용 화상 표시는, 상기 화상 표시부의 움직임의 영향을 캔슬하기 위한 화상 표시를 포함해도 된다.
상기 억제용 화상 표시는, 상기 유저에게 있어서, 상기 화상이 상기 유저의 움직임에 대응하여 상대적으로 움직이도록 하기 위한 화상 표시를 포함해도 된다.
상기 억제용 화상 표시는, 상기 화상이 상기 화상 표시부의 움직임에 대응하여 움직이는 것을 억제하기 위한 화상 표시를 포함해도 된다.
상기 억제용 화상 표시는, 상기 유저의 움직임에 의해 상기 유저가 느끼는 감각과, 상기 유저가 상기 화상을 시청함으로써 느끼는 감각과의 불일치를 억제하기 위한 화상 표시를 포함해도 된다.
상기 억제용 화상 표시는, 상기 유저에게 있어서, 경치를 보고 있는 것처럼상기 화상을 시청하는 것을 가능하게 하기 위한 화상 표시를 포함해도 된다.
상기 억제용 화상 표시는, 상기 화상의 표시 상태를 제어하는 것을 포함해도 된다.
상기 억제용 화상 표시는, 상기 화상의 표시 사이즈, 상기 화상의 표시 위치, 및 상기 화상의 형상의 적어도 하나를 제어하는 것을 포함해도 된다.
상기 화상 표시부는, 상기 화상을 투영하는 화상 투영부와, 상기 화상이 투영되는 피투영부를 가져도 된다. 이 경우, 상기 움직임 정보는, 상기 화상 투영부의 움직임에 관한 움직임 정보, 및 상기 피투영부의 움직임에 관한 움직임 정보의 적어도 한쪽을 포함해도 된다.
상기 억제용 화상 표시는, 상기 화상 투영부 및 상기 피투영부 사이의 상대적인 움직임의 영향을 억제하기 위한 화상 표시를 포함해도 된다.
상기 화상 투영부는, 투영하는 화상의 표시 위치를 광학적으로 이동시키는 것이 가능한 화상 이동 기구를 가져도 된다. 이 경우, 상기 억제용 화상 표시는, 상기 화상 이동 기구의 제어를 포함해도 된다.
상기 억제용 화상 표시는, 투영되는 화상의 화상 정보를 처리함으로써, 상기 화상 투영부의 투영 영역 내에 있어서 상기 화상을 이동시키는 것을 포함해도 된다.
상기 억제용 화상 표시는, 투영되는 화상의 화상 정보를 처리함으로써, 상기 화상 투영부의 투영 영역 내에 있어서 상기 화상을 이동시키는 것을 포함해도 된다. 이 경우, 상기 표시 제어부는, 상기 취득된 움직임 정보에 기초하여 상기 투영되는 화상에 대한 상기 화상 표시부의 움직임의 영향을 검출하고, 상기 검출된 영향에 기초하여 상기 화상 이동 기구의 제어 내용과, 상기 화상 정보의 처리 내용을 각각 설정해도 된다.
상기 표시 제어부는, 상기 화상 이동 기구의 제어가 상기 화상 정보의 처리에 의해서도 우선되도록, 상기 화상 이동 기구의 제어 내용과, 상기 화상 정보의 처리 내용을 각각 설정해도 된다.
상기 유저를 태우고 이동시키는 것이 가능한 이동체에 탑재되어도 된다.
상기 유저에게 장착되는 장착체에 탑재되어도 된다.
상기 화상 표시부는, 진동하여도 된다.
본 기술의 일 형태에 따른 정보 처리 장치는, 취득부와, 표시 제어부를 구비한다.
상기 취득부는, 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부의 움직임에 관한 움직임 정보를 취득한다.
상기 표시 제어부는, 상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시킨다.
본 기술의 일 형태에 따른 정보 처리 방법은, 컴퓨터 시스템에 의해 실행되는 정보 처리 방법으로서, 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 것을 포함한다.
상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시킨다.
본 기술의 일 형태에 따른 프로그램은, 컴퓨터 시스템에 이하의 스텝을 실행시킨다.
화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 스텝.
상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는 스텝.
본 기술의 일 형태에 따른 이동체는, 본체부와, 화상 표시부와, 취득부와, 표시 제어부를 구비한다.
상기 본체부는, 유저가 탑승 가능한 탑승부를 포함한다.
상기 화상 표시부는, 상기 본체부에 마련되고 화상을 표시 가능하다.
상기 취득부는, 상기 본체부에 마련된 상기 화상 표시부의 움직임에 관한 움직임 정보를 취득한다.
상기 표시 제어부는, 상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시킨다.
이상과 같이, 본 기술에 의하면, 쾌적한 시청 환경을 제공하는 것이 가능해진다. 또한, 여기에 기재된 효과는 반드시 한정되는 것이 아니라, 본 개시 중에 기재된 어느 효과여도 된다.
도 1은 본 기술의 제1 실시 형태에 따른 차량의 구성예를 나타내는 외관도이다.
도 2는 차량 내에 탑재되는 화상 표시 시스템의 일례를 나타내는 모식도이다.
도 3은 차량의 제어를 행하는 차량 제어 시스템의 구성예를 나타내는 블록도이다.
도 4는 화상 표시 시스템에 의한 화상 표시의 개요를 설명하기 위한 모식도이다.
도 5는 화상 표시 시스템에 의한 화상 표시의 개요를 설명하기 위한 모식도이다.
도 6은 화상 표시 시스템에 의한 화상 표시의 개요를 설명하기 위한 모식도이다.
도 7은 화상 표시 시스템의 기능적인 구성예를 나타내는 블록도이다.
도 8은 프로젝터의 화상 시프트 기능을 설명하기 위한 도면이다.
도 9는 억제용 화상 표시의 실행예를 나타내는 차트도이다.
도 10은 캔슬 방법의 분리예를 나타내는 모식도이다.
도 11은 화상 시프트 소자의 제어에 관하여 설명하기 위한 블록도이다.
도 12는 본 기술의 제2 실시 형태에 따른 억제용 화상 표시의 개요를 설명하기 위한 모식도이다.
도 13은 화상 표시 시스템의 기능적인 구성예를 나타내는 블록도이다.
도 14는 억제용 화상 표시의 실행예를 나타내는 차트도이다.
도 15는 화상 표시 시스템의 베리에이션예를 나타내는 모식도이다.
도 16은 HUD의 베리에이션예를 나타내는 모식도이다.
도 17은 HUD의 베리에이션예를 나타내는 모식도이다.
도 18은 화상 표시 시스템의 베리에이션예를 나타내는 모식도이다.
도 19는 다른 실시 형태에 따른 화상 표시 시스템을 설명하기 위한 모식도이다.
도 20은 다른 실시 형태에 따른 화상 표시 시스템을 설명하기 위한 모식도이다.
도 21은 다른 실시 형태에 따른 화상 표시 시스템을 설명하기 위한 모식도이다.
도 22는 다른 실시 형태에 따른 화상 표시 시스템을 설명하기 위한 모식도이다.
도 23은 본 기술에 따른 화상 표시 시스템을 적용 가능한 HMD의 구성예를 나타내는 사시도이다.
이하, 본 기술에 따른 실시 형태를, 도면을 참조하면서 설명한다.
<제1 실시 형태>
도 1은, 본 기술의 제1 실시 형태에 따른 차량의 구성예를 나타내는 외관도이다. 차량(5)은, 목적지까지의 자동 주행이 가능한 자동 운전 기능을 구비하고 있다. 차량(5)은, 본 기술에 따른 이동체의 일 실시 형태이며, 유저를 태우고 이동시키는 것이 가능한 이동체에 상당한다.
도 2는, 차량(5) 내에 탑재되는 화상 표시 시스템의 일례를 나타내는 모식도이다. 화상 표시 시스템(10)은, 스크린(11)과, 프로젝터(12)를 갖는다.
스크린(11)은, 운전석 및 조수석을 포함하는 전방측 좌석과, 뒷좌석(6)의 사이에 설치된다. 예를 들어 차량(5) 내부의 천장부나 측면부에 롤형으로 감겨 스크린(11)이 수용되어 있으며, 유저에 의해 잡아 당겨 설치되어도 된다. 그 밖에, 스크린(11)을 설치하는 방법이나 수용하는 방법 등은 한정되지 않고, 임의의 방법이 채용되어도 된다.
스크린(11)의 사이즈(애스펙트비)나 형상, 재질 등은 한정되지 않고, 임의로 설계되어도 된다. 또한 평면 스크린에 한정되지 않고, 곡면 형상을 갖는 스크린에 대해서도 본 기술은 적용 가능하다.
프로젝터(12)는, 뒷좌석(6)의 대략 중앙의 위치에, 전방측을 향해 배치된다. 프로젝터(12)는, 스크린(11)을 향해 화상(1)을 투영한다. 화상(1)은, 정지 화상 및 동화상(영상)의 양쪽을 포함한다. 물론 동화상(영상)을 구성하는 복수의 프레임 화상도, 화상(1)에 포함된다. 이하, 화상(1)의 표시 등을, 영상의 표시 등으로 기재하는 경우가 있다.
프로젝터(12)의 구성예 등에 대해서는, 후에 설명한다.
본 실시 형태에서는, 프로젝터(12) 및 스크린(11)에 의해, 화상을 표시 가능한 화상 표시부가 실현된다. 본 실시 형태에 있어서, 프로젝터(12)는, 화상을 투영하는 화상 투영부로서 기능한다. 또한 스크린(11)은, 화상이 투영되는 피투영부로서 기능한다.
또한 본 실시 형태에서는, 차량(5)의 차체(바디)의 외부 및 내부가 본체부에 상당하며, 뒷좌석(6) 등의 좌석은 유저가 탑승 가능한 탑승부에 상당한다. 따라서, 화상 표시 시스템(10)은, 본체부에 마련되게 된다.
도 3은, 차량(5)의 제어를 행하는 차량 제어 시스템(100)의 구성예를 나타내는 블록도이다. 차량 제어 시스템(100)은, 차량(5)에 마련되고, 차량(5)의 각종 제어를 행하는 시스템이다.
차량 제어 시스템(100)은, 입력부(101), 데이터 취득부(102), 통신부(103), 차내 기기(104), 출력 제어부(105), 출력부(106), 구동계 제어부(107), 구동계 시스템(108), 바디계 제어부(109), 바디계 시스템(110), 기억부(111), 및 자동 운전 제어부(112)를 구비한다. 입력부(101), 데이터 취득부(102), 통신부(103), 출력 제어부(105), 구동계 제어부(107), 바디계 제어부(109), 기억부(111), 및 자동 운전 제어부(112)는, 통신 네트워크(121)를 통해 서로 접속되어 있다. 통신 네트워크(121)는, 예를 들어 CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network), 또는 FlexRay(등록상표) 등의 임의의 규격에 준거한 차량 탑재 통신 네트워크나 버스 등을 포함한다. 또한, 차량 제어 시스템(100)의 각 부는, 통신 네트워크(121)를 통하지 않고, 직접 접속되는 경우도 있다.
또한, 이하, 차량 제어 시스템(100)의 각 부가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 통신 네트워크(121)의 기재를 생략하기로 한다. 예를 들어, 입력부(101)와 자동 운전 제어부(112)가, 통신 네트워크(121)를 통해 통신을 행하는 경우, 단순히 입력부(101)와 자동 운전 제어부(112)가 통신을 행한다고 기재한다.
입력부(101)는, 탑승자가 각종 데이터나 지시 등의 입력에 사용하는 장치를 구비한다. 예를 들어, 입력부(101)는, 터치 패널, 버튼, 마이크로폰, 스위치, 및 레버 등의 조작 디바이스, 그리고 음성이나 제스처 등에 의해 수동 조작 이외의 방법으로 입력 가능한 조작 디바이스 등을 구비한다. 또한, 예를 들어 입력부(101)는, 적외선 혹은 그 밖의 전파를 이용한 리모트 컨트롤 장치, 또는 차량 제어 시스템(100)의 조작에 대응한 모바일 기기 혹은 웨어러블 기기 등의 외부 접속 기기여도 된다. 입력부(101)는, 탑승자에 의해 입력된 데이터나 지시 등에 기초하여 입력 신호를 생성하고, 차량 제어 시스템(100)의 각 부에 공급한다.
데이터 취득부(102)는, 차량 제어 시스템(100)의 처리에 사용하는 데이터를 취득하는 각종 센서 등을 구비하고, 취득한 데이터를, 차량 제어 시스템(100)의 각 부에 공급한다.
예를 들어, 데이터 취득부(102)는, 차량(5)의 상태 등을 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 자이로 센서, 가속도 센서, 관성 계측 장치(IMU), 및 액셀러레이터 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수, 모터 회전수, 혹은 차륜의 회전 속도 등을 검출하기 위한 센서 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차량(5) 외부의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라, 및 그 밖의 카메라 등의 촬상 장치(차외 카메라)를 구비한다. 또한, 예를 들어 데이터 취득부(102)는, 날씨 또는 기상 등을 검출하기 위한 환경 센서, 및 차량(5) 주위의 물체를 검출하기 위한 주위 정보 검출 센서를 구비한다. 환경 센서는, 예를 들어 빗방울 센서, 안개 센서, 일조 센서, 적설 센서 등을 포함한다. 주위 정보 검출 센서는, 예를 들어 초음파 센서, 레이더, LiDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging), 음파 탐지기 등을 포함한다.
또한, 예를 들어 데이터 취득부(102)는, 차량(5)의 현재 위치를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 항법 위성인 GNSS(Global Navigation Satellite System) 위성으로부터의 위성 신호(이하, 'GNSS 신호'라고 칭함)를 수신하는 GNSS 수신기 등을 구비한다.
또한, 예를 들어 데이터 취득부(102)는, 차내의 정보를 검출하기 위한 각종 센서를 구비한다. 구체적으로는, 예를 들어 데이터 취득부(102)는, 운전자를 촬상하는 촬상 장치(차내 카메라), 운전자의 생체 정보를 검출하는 생체 센서, 및 차실내의 음성을 집음하는 마이크로폰 등을 구비한다. 생체 센서는, 예를 들어 시트면 또는 스티어링 휠 등에 마련되고, 좌석에 앉아 있는 탑승자 또는 스티어링 휠을 잡고 있는 운전자의 생체 정보를 검출한다.
통신부(103)는, 차내 기기(104), 그리고 차외의 다양한 기기, 서버, 기지국 등과 통신을 행하고, 차량 제어 시스템(100)의 각 부로부터 공급되는 데이터를 송신하거나, 수신한 데이터를 차량 제어 시스템(100)의 각 부에 공급하기도 한다. 또한, 통신부(103)가 서포트하는 통신 프로토콜은, 특별히 한정되는 것은 아니며, 또한, 통신부(103)가, 복수의 종류의 통신 프로토콜을 서포트하는 것도 가능하다.
예를 들어, 통신부(103)는, 무선 LAN, Bluetooth(등록상표), NFC(Near Field Communication), 또는 WUSB(Wireless USB) 등에 의해, 차내 기기(104)와 무선 통신을 행한다. 또한, 예를 들어 통신부(103)는, 도시하지 않은 접속 단자(및, 필요하면 케이블)를 통해 USB(Universal Serial Bus), HDMI(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등에 의해, 차내 기기(104)와 유선 통신을 행한다.
또한, 예를 들어 통신부(103)는, 기지국 또는 액세스 포인트를 통해 외부 네트워크(예를 들어, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크)상에 존재하는 기기(예를 들어, 애플리케이션 서버 또는 제어 서버)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, P2P(Peer To Peer) 기술을 이용하여, 차량(5)의 근방에 존재하는 단말기(예를 들어, 보행자 혹은 점포의 단말기, 또는 MTC(Machine Type Communication) 단말기)와의 통신을 행한다. 또한, 예를 들어 통신부(103)는, 차차간(Vehicle to Vehicle) 통신, 노차간(Vehicle to Infrastructure) 통신, 차량(5)과 집 사이(Vehicle to Home)의 통신, 및 보차간(Vehicle to Pedestrian) 통신 등의 V2X 통신을 행한다.
또한, 예를 들어 통신부(103)는, 비콘 수신부를 구비하고, 도로 위에 설치된 무선국 등으로부터 발신되는 전파 혹은 전자파를 수신하여, 현재 위치, 정체, 통행 규제 또는 소요 시간 등의 정보를 취득한다.
차내 기기(104)는, 예를 들어 탑승자가 갖는 모바일 기기 혹은 웨어러블 기기, 차량(5)에 반입되거나 혹은 설치되는 정보 기기, 및 임의의 목적지까지의 경로 탐색을 행하는 내비게이션 장치 등을 포함한다.
출력 제어부(105)는, 차량(5)의 탑승자 또는 차밖에 대한 각종 정보의 출력을 제어한다. 예를 들어, 출력 제어부(105)는, 시각 정보(예를 들어, 화상 데이터) 및 청각 정보(예를 들어, 음성 데이터) 중 적어도 하나를 포함하는 출력 신호를 생성하고, 출력부(106)에 공급함으로써, 출력부(106)로부터의 시각 정보 및 청각 정보의 출력을 제어한다. 구체적으로는, 예를 들어 출력 제어부(105)는, 데이터 취득부(102)의 서로 다른 촬상 장치에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상 등을 생성하고, 생성된 화상을 포함하는 출력 신호를 출력부(106)에 공급한다. 또한, 예를 들어 출력 제어부(105)는, 충돌, 접촉, 위험 지대로의 진입 등의 위험에 대한 경고음 또는 경고 메시지 등을 포함하는 음성 데이터를 생성하고, 생성된 음성 데이터를 포함하는 출력 신호를 출력부(106)에 공급한다.
출력부(106)는, 차량(5)의 탑승자 또는 차량 밖에 대해서, 시각 정보 또는 청각 정보를 출력하는 것이 가능한 장치를 구비한다. 예를 들어, 출력부(106)는, 표시 장치, 인스트루먼트 패널, 오디오 스피커 등의 음향 시스템, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터, 램프 등을 구비한다. 출력부(106)가 구비하는 표시 장치는, 통상의 디스플레이를 갖는 장치 이외에도, 예를 들어 헤드업 디스플레이, 투과형 디스플레이, AR(Augmented Reality) 표시 기능을 갖는 장치 등의 운전자의 시야 내에 시각 정보를 표시하는 장치여도 된다.
구동계 제어부(107)는, 각종 제어 신호를 생성하고, 구동계 시스템(108)에 공급함으로써, 구동계 시스템(108)의 제어를 행한다. 또한, 구동계 제어부(107)는, 필요에 따라서, 구동계 시스템(108) 이외의 각 부에 제어 신호를 공급하고, 구동계 시스템(108)의 제어 상태의 통지 등을 행한다.
구동계 시스템(108)은, 차량(5)의 구동계에 관련된 각종 장치를 구비한다. 예를 들어, 구동계 시스템(108)은, 내연 기관 또는 구동용 모터 등의 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 타각을 조절하는 스티어링 기구, 제동력을 발생시키는 제동 장치, ABS(Antilock Brake System), ESC(Electronic Stability Control), 그리고 전동 파워 스티어링 장치 등을 구비한다.
바디계 제어부(109)는, 각종 제어 신호를 생성하고, 바디계 시스템(110)에 공급함으로써, 바디계 시스템(110)의 제어를 행한다. 또한, 바디계 제어부(109)는, 필요에 따라 바디계 시스템(110) 이외의 각 부에 제어 신호를 공급하고, 바디계 시스템(110)의 제어 상태의 통지 등을 행한다.
바디계 시스템(110)은, 차체에 장비된 바디계의 각종 장치를 구비한다. 예를 들어, 바디계 시스템(110)은, 키리스 엔트리 시스템, 스마트 키 시스템, 파워 윈도우 장치, 파워 시트, 스티어링 휠, 공조 장치, 및 각종 램프(예를 들어, 헤드램프, 백 램프, 브레이크 램프, 방향지시등, 포그 램프 등) 등을 구비한다.
기억부(111)는, 예를 들어 ROM(Read Only Memory), RAM(Random Access Memory), HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스, 및 광자기 기억 디바이스 등을 구비한다. 기억부(111)는, 차량 제어 시스템(100)의 각 부가 사용하는 각종 프로그램이나 데이터 등을 기억한다. 예를 들어, 기억부(111)는, 다이내믹 맵 등의 3차원의 고정밀도 지도, 고정밀도 지도보다 정밀도가 낮으며, 넓은 에어리어를 커버하는 글로벌 맵, 및 차량(5)의 주위 정보를 포함하는 로컬 맵 등의 지도 데이터를 기억한다.
자동 운전 제어부(112)는, 자율 주행 또는 운전 지원 등의 자동 운전에 관한 제어를 행한다. 구체적으로는, 예를 들어 자동 운전 제어부(112)는, 차량(5)의 충돌 회피 혹은 충격 완화, 차간 거리에 기초하는 추종 주행, 차속 유지 주행, 차량(5)의 충돌 경고, 또는 차량(5)의 레인 일탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행한다. 또한, 예를 들어 자동 운전 제어부(112)는, 운전자의 조작에 따르지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행한다. 자동 운전 제어부(112)는, 검출부(131), 자기 위치 추정부(132), 상황 분석부(133), 계획부(134), 및 동작 제어부(135)를 구비한다.
검출부(131)는, 자동 운전의 제어에 필요한 각종 정보의 검출을 행한다. 검출부(131)는, 차외 정보 검출부(141), 차내 정보 검출부(142), 및 차량 상태 검출부(143)를 구비한다.
차외 정보 검출부(141)는, 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 차량(5) 외부 정보의 검출 처리를 행한다. 예를 들어, 차외 정보 검출부(141)는, 차량(5) 주위의 물체 검출 처리, 인식 처리, 및 추적 처리, 그리고 물체까지의 거리의 검출 처리를 행한다. 검출 대상으로 되는 물체에는, 예를 들어 차량, 사람, 장해물, 구조물, 도로, 신호기, 교통 표지, 도로 표시 등이 포함된다. 또한, 예를 들어 차외 정보 검출부(141)는, 차량(5)의 주위 환경 검출 처리를 행한다. 검출 대상으로 되는 주위의 환경에는, 예를 들어 날씨, 기온, 습도, 밝기, 및 노면의 상태 등이 포함된다. 차외 정보 검출부(141)는, 검출 처리의 결과를 나타내는 데이터를 자기 위치 추정부(132), 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152), 및 상황 인식부(153), 그리고 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차내 정보 검출부(142)는, 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 차내의 정보 검출 처리를 행한다. 예를 들어, 차내 정보 검출부(142)는, 운전자의 인증 처리 및 인식 처리, 운전자 상태의 검출 처리, 탑승자의 검출 처리, 및 차내 환경의 검출 처리 등을 행한다. 검출 대상으로 되는 운전자의 상태에는, 예를 들어 몸상태, 각성도, 집중도, 피로도, 시선 방향 등이 포함된다. 검출 대상으로 되는 차내의 환경에는, 예를 들어 기온, 습도, 밝기, 냄새 등이 포함된다. 차내 정보 검출부(142)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
차량 상태 검출부(143)는, 차량 제어 시스템(100)의 각 부로부터 데이터 또는 신호에 기초하여, 차량(5)의 상태 검출 처리를 행한다. 검출 대상으로 되는 차량(5)의 상태에는, 예를 들어 속도, 가속도, 타각, 이상의 유무 및 내용, 운전 조작의 상태, 파워 시트의 위치 및 기울기, 도어록의 상태, 그리고 그 밖의 차량 탑재 기기의 상태 등이 포함된다. 차량 상태 검출부(143)는, 검출 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 상황 인식부(153), 및 동작 제어부(135)의 긴급 사태 회피부(171) 등에 공급한다.
자기 위치 추정부(132)는, 차외 정보 검출부(141) 및 상황 분석부(133)의 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(5)의 위치 및 자세 등의 추정 처리를 행한다. 또한, 자기 위치 추정부(132)는, 필요에 따라 자기 위치의 추정에 사용하는 로컬 맵(이하, '자기 위치 추정용 맵'이라고 칭함)을 생성한다. 자기 위치 추정용 맵은, 예를 들어SLAM(Simultaneous Localization and Mapping) 등의 기술을 이용한 정밀도가 높은 맵으로 된다. 자기 위치 추정부(132)는, 추정 처리의 결과를 나타내는 데이터를 상황 분석부(133)의 맵 해석부(151), 교통 룰 인식부(152), 및 상황 인식부(153) 등에 공급한다. 또한, 자기 위치 추정부(132)는, 자기 위치 추정용 맵을 기억부(111)에 기억시킨다.
상황 분석부(133)는, 차량(5) 및 주위의 상황 분석 처리를 행한다. 상황 분석부(133)는, 맵 해석부(151), 교통 룰 인식부(152), 상황 인식부(153), 및 상황 예측부(154)를 구비한다.
맵 해석부(151)는, 자기 위치 추정부(132) 및 차외 정보 검출부(141) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호를 필요에 따라 사용하면서, 기억부(111)에 기억되어 있는 각종 맵의 해석 처리를 행하고, 자동 운전의 처리에 필요한 정보를 포함하는 맵을 구축한다. 맵 해석부(151)는, 구축한 맵을, 교통 룰 인식부(152), 상황 인식부(153), 상황 예측부(154), 그리고 계획부(134)의 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163) 등에 공급한다.
교통 룰 인식부(152)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(5) 주위의 교통 룰의 인식 처리를 행한다. 이 인식 처리에 의해, 예를 들어 차량(5) 주위의 신호 위치 및 상태, 차량(5) 주위의 교통 규제 내용, 그리고 주행 가능한 차선 등이 인식된다. 교통 룰 인식부(152)는, 인식 처리의 결과를 나타내는 데이터를 상황 예측부(154) 등에 공급한다.
상황 인식부(153)는, 자기 위치 추정부(132), 차외 정보 검출부(141), 차내 정보 검출부(142), 차량 상태 검출부(143), 및 맵 해석부(151) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(5)에 관한 상황의 인식 처리를 행한다. 예를 들어, 상황 인식부(153)는, 차량(5)의 상황, 차량(5)의 주위의 상황 및 차량(5)의 운전자 상황 등의 인식 처리를 행한다. 또한, 상황 인식부(153)는, 필요에 따라 차량(5)의 주위의 상황 인식에 사용하는 로컬 맵(이하, '상황 인식용 맵'이라고 칭함)을 생성한다. 상황 인식용 맵은, 예를 들어 점유 격자 지도(Occupancy Grid Map)로 된다.
인식 대상으로 되는 차량(5)의 상황에는, 예를 들어 차량(5)의 위치, 자세, 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 그리고 이상의 유무 및 내용 등이 포함된다. 인식 대상으로 되는 차량(5)의 주위의 상황에는, 예를 들어 주위의 정지 물체의 종류 및 위치, 주위의 동물체의 종류, 위치 및 움직임(예를 들어, 속도, 가속도, 이동 방향 등), 주위의 도로의 구성 및 노면의 상태, 그리고 주위의 날씨, 기온, 습도, 및 밝기 등이 포함된다. 인식 대상으로 되는 운전자의 상태에는, 예를 들어 몸상태, 각성도, 집중도, 피로도, 시선의 움직임, 그리고 운전 조작 등이 포함된다.
상황 인식부(153)는, 인식 처리의 결과를 나타내는 데이터(필요에 따라 상황 인식용 맵을 포함함)를 자기 위치 추정부(132) 및 상황 예측부(154) 등에 공급한다. 또한, 상황 인식부(153)는, 상황 인식용 맵을 기억부(111)에 기억시킨다.
상황 예측부(154)는, 맵 해석부(151), 교통 룰 인식부(152) 및 상황 인식부(153) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 차량(5)에 관한 상황의 예측 처리를 행한다. 예를 들어, 상황 예측부(154)는, 차량(5)의 상황, 차량(5)의 주위의 상황, 및 운전자의 상황 등의 예측 처리를 행한다.
예측 대상으로 되는 차량(5)의 상황에는, 예를 들어 차량(5)의 거동, 이상의 발생, 및 주행 가능 거리 등이 포함된다. 예측 대상으로 되는 차량(5)의 주위의 상황에는, 예를 들어 차량(5)의 주위의 동물체의 거동, 신호의 상태의 변화, 및 날씨 등의 환경의 변화 등이 포함된다. 예측 대상으로 되는 운전자의 상황에는, 예를 들어 운전자의 거동 및 몸상태 등이 포함된다.
상황 예측부(154)는, 예측 처리의 결과를 나타내는 데이터를, 교통 룰 인식부(152) 및 상황 인식부(153)로부터의 데이터와 함께, 계획부(134)의 루트 계획부(161), 행동 계획부(162), 및 동작 계획부(163) 등에 공급한다.
루트 계획부(161)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 목적지까지의 루트를 계획한다. 예를 들어, 루트 계획부(161)는, 글로벌 맵에 기초하여, 현재 위치로부터 지정된 목적지까지의 루트를 설정한다. 또한, 예를 들어 루트 계획부(161)는, 정체, 사고, 통행 규제, 공사 등의 상황, 및 운전자의 몸상태 등에 기초하여, 적절히 루트를 변경한다. 루트 계획부(161)는, 계획된 루트를 나타내는 데이터를 행동 계획부(162) 등에 공급한다.
행동 계획부(162)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 루트 계획부(161)에 의해 계획된 루트를 계획된 시간 내에서 안전하게 주행하기 위한 차량(5)의 행동을 계획한다. 예를 들어, 행동 계획부(162)는, 발진, 정지, 진행 방향(예를 들어, 전진, 후퇴, 좌회전, 우회전, 방향 전환 등), 주행 차선, 주행 속도, 및 추월 등의 계획을 행한다. 행동 계획부(162)는, 계획된 차량(5)의 행동을 나타내는 데이터를 동작 계획부(163) 등에 공급한다.
동작 계획부(163)는, 맵 해석부(151) 및 상황 예측부(154) 등의 차량 제어 시스템(100)의 각 부로부터의 데이터 또는 신호에 기초하여, 행동 계획부(162)에 의해 계획된 행동을 실현하기 위한 차량(5)의 동작을 계획한다. 예를 들어, 동작 계획부(163)는, 가속, 감속, 및 주행 궤도 등의 계획을 행한다. 동작 계획부(163)는, 계획된 차량(5)의 동작을 나타내는 데이터를, 동작 제어부(135)의 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
동작 제어부(135)는, 차량(5)의 동작 제어를 행한다. 동작 제어부(135)는, 긴급 사태 회피부(171), 가감속 제어부(172), 및 방향 제어부(173)를 구비한다.
긴급 사태 회피부(171)는, 차외 정보 검출부(141), 차내 정보 검출부(142), 및 차량 상태 검출부(143)의 검출 결과에 기초하여, 충돌, 접촉, 위험 지대에 대한 진입, 운전자의 이상, 차량(5)의 이상 등의 긴급 사태의 검출 처리를 행한다. 긴급 사태 회피부(171)는, 긴급 사태의 발생을 검출한 경우, 급정차나 급선회 등의 긴급 사태를 회피하기 위한 차량(5)의 동작을 계획한다. 긴급 사태 회피부(171)는, 계획된 차량(5)의 동작을 나타내는 데이터를 가감속 제어부(172) 및 방향 제어부(173) 등에 공급한다.
가감속 제어부(172)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 차량(5)의 동작을 실현하기 위한 가감속 제어를 행한다. 예를 들어, 가감속 제어부(172)는, 계획된 가속, 감속, 또는, 급정차를 실현하기 위한 구동력 발생 장치 또는 제동 장치의 제어 목표값을 연산하고, 연산된 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 차량(5)의 동작을 실현하기 위한 방향제어를 행한다. 예를 들어, 방향 제어부(173)는, 동작 계획부(163) 또는 긴급 사태 회피부(171)에 의해 계획된 주행 궤도 또는 급선회를 실현하기 위한 스티어링 기구의 제어 목표값을 연산하고, 연산된 제어 목표값을 나타내는 제어 명령을 구동계 제어부(107)에 공급한다.
도 4 내지 도 6은, 화상 표시 시스템(10)에 의한 화상 표시의 개요를 설명하기 위한 모식도이다.
도 2를 참조하여 설명한 바와 같이, 프로젝터(12) 및 스크린(11)은 차량(5) 내에 탑재된다. 따라서 차량(5)의 움직임에 따라 차량(5)에 타고 있는 유저와, 프로젝터(12) 및 스크린(11)은, 함께 움직이게 된다. 예를 들어 차량(5)이 진동한 경우에는, 그에 따라 유저가 진동하고, 프로젝터(12) 및 스크린(11)도 진동한다.
이때, 유저의 움직임과, 프로젝터(12) 및 스크린(11)의 움직임은, 서로 관련된 움직임으로 된다. 즉 화상 표시부를 구성하는 프로젝터(12) 및 스크린(11)이, 유저의 움직임과 관련된 움직임을 한다.
예를 들어 물체 A가 움직임으로써 물체를 움직이게 하는 힘이 발생하고, 그 힘이 작용하여 다른 물체 B가 움직인 경우에는, 물체 A의 움직임과, 물체 B의 움직임은, 서로 관련된 움직임에 포함된다. 또한 물체 A가 움직임으로써 발생한 힘에 의해, 물체 B와는 다른 물체 C도 움직였다고 하자. 이 경우, 물체 B의 움직임과, 물체 C의 움직임은, 서로 관련된 움직임에 포함된다.
즉, 물체 A의 움직임 및 물체 A에 의해 움직이게 된 물체 B의 움직임뿐만 아니라, 물체 A에 의해 동일한 타이밍에 움직이게 된 물체 B 및 C의 각각의 움직임도, 서로 관련된 움직임에 포함된다. 또한, 서로 연동하는 움직임이라고 기재하는 것도 가능하다.
또한 물체 A의 움직임에 대응하여, 물체 A에서 볼 때 물체 B가 상대적으로 움직인다. 이와 같은 상태는, 서로 관련된 움직임에 포함되지 않는다. 물체 A 자체의 움직임과, 물체 B 자체의 움직임의 사이에 어떠한 관련성이 있는 경우에, 이들 움직임은 서로 관련된 움직임에 포함된다.
도 4에 모식적으로 나타낸 바와 같이, 차량(5)이 진동하면(화살표 V1), 차량(5)에 타고 있는 유저(유저의 눈(2))도 흔들린다(화살표 V2). 또한 프로젝터(12) 및 스크린(11)도 진동되므로, 스크린(11)에 표시되는 화상(1)도 흔들린다(화살표 V3).
예를 들어 차량(5) 내의 소정의 위치에, 화상(1)의 표시 위치가 고정되어 있다고 하자. 즉 차내 공간에 화상(1)이 정위되어 있다고 하자. 이 경우, 차량(5)의 진동이 화상(1)의 진동으로 되어, 화상(1)의 시청에 불쾌감을 수반한다.
예를 들어 차량(5)이 가감속이나 선회, 상하 이동할 때, 유저는 그들 운동에 의한 관성력을 받고 있지만, 화상(1)은 운동하지 않고 차내에 고정되어 있기 때문에, 감각의 불일치가 발생한다. 즉, 속귀에 가해지는 자극에 따른 감각과, 시각을 통해 얻어지는 감각의 사이에 어긋남이 발생하여, 이 감각의 불일치는 멀미의 요인으로 된다.
예를 들어 도 5에 도시한 바와 같이, 유저의 눈(2)의 움직임에 추종하도록, 화상(1)의 표시 위치를 변위시킨다고 하자. 이에 의해 유저에게 있어서, 화상(1)은 상대적으로 정지되어 보이게 되어, 유저 공간에 화상(1)을 정위시키는 것이 가능해진다. 이 경우에도, 속귀에 가해지는 자극에 따른 감각과, 시각을 통하여 얻어지는 감각의 사이에 어긋남이 발생하므로, 화상(1)을 쾌적하게 시청하기는 어렵다.
본 발명자는, 멀미의 요인이 되는 감각의 불일치에 착안하여, 본 기술에 따른 화상 표시를 새롭게 고안하였다. 구체적으로는, 도 6에 도시한 바와 같이, 유저(유저의 눈(2))에 있어서, 차량(5)의 진동에 기인한 프로젝터(12) 및 스크린(11)의 진동으로부터 분리되어, 화상(1)이 표시되는 화상 표시를 고안하였다.
즉 유저에게 있어서, 진동이 없는 화상(1)을 시청하는 것이 가능해진다(지면에 대해서 진동이 없는 상태이며, 유저는 진동하고 있으므로 상대적으로는 진동하고 있음). 이에 의해 유저에게 있어서 차밖의 경치(3)를 보고 있는 것과 동일한 감각의 시청 환경을 제공하는 것이 가능하게 되어, 멀미 등의 불쾌감을 경감시키는 것이 가능해진다.
구체적인 처리로서는, 화상 표시부를 구성하는 프로젝터(12) 및 스크린(11)의 움직임(진동 V3)의 영향을 외부 공간에 대해서 억제하기 위한 화상 표시(이하, '억제용 화상 표시'라고 기재함)가 실행된다. 억제용 화상 표시를, 외부 공간에서 본 경우의, 프로젝터(12) 및 스크린(11)의 움직임(진동 V3)의 영향을 억제하는 화상 표시라고 하는 것도 가능하다. 또한 억제용 화상 표시를 실행 가능한 화상 표시 시스템(10)을, 제진 기능(방진 기능)을 갖는 화상 표시 시스템(10)이라고 하는 것도 가능하다.
억제용 화상 표시는, 프로젝터(12) 및 스크린(11)의 움직임(진동 V3)의 영향을 캔슬하기 위한 임의의 화상 표시를 포함한다. 이에 의해 유저에게 있어서, 프로젝터(12) 및 스크린(11)의 진동으로부터 분리되어, 화상(1)이 표시되는 시청 환경을 실현하는 것이 가능해진다.
또한 억제용 화상 표시는, 유저에게 있어서, 화상(1)이 유저의 움직임(진동 V2)에 대응하여 상대적으로 움직이도록 하기 위한 임의의 화상 표시를 포함한다. 바꿔 말하면, 억제용 화상 표시는, 화상(1)이 프로젝터(12) 및 스크린(11)의 움직임(진동 V3)에 대응하여 움직이는 것을 억제하기 위한 임의의 화상 표시를 포함한다. 이에 의해 속귀에 가해지는 자극에 따른 감각과, 시각을 통해 얻어지는 감각 사이의 불일치를 억제하는 것이 가능하게 되어, 쾌적한 시청 환경을 제공하는 것이 가능해진다.
또한 억제용 화상 표시는, 유저의 움직임에 의해 유저가 느끼는 감각과, 유저가 화상(1)을 시청함으로써 느끼는 감각의 불일치를 억제하기 위한 임의의 화상 표시를 포함한다. 예를 들어, 유저의 움직임에 의해 유저가 느끼는 감각은, 근육 등으로 느끼는 지각을 포함한다. 이와 같은 지각과, 시각을 통해 얻어지는 감각 사이의 불일치를 억제하기 위한 화상 표시가, 억제용 화상 표시로서 실행되어도 된다.
또한 억제용 화상 표시는, 유저에게 있어서, 경치(3)를 보고 있는 것처럼 화상(1)을 시청하는 것을 가능하게 하기 위한 임의의 화상 표시를 포함한다. 또한 억제용 화상 표시는, 유저에게 있어서, 화상(1)이 외부 공간에 정위되어 있는 것처럼 보이기 위한 화상 표시를 포함한다. 이것에 의해 쾌적한 시청 환경을 실현하는 것이 가능해진다.
또한 유저에게 있어서 외부 공간에 정위되어 있는 것처럼 보인다는 것은, 지구 좌표계에 있어서, 유저와의 위치 관계를 유지한 채 함께 이동하는 상태를 포함한다. 예를 들어 차밖의 공간으로 화상(1)이 진동하지 않고 고정된다. 그리고 차량(5)의 이동(유저의 이동)에 맞춰서, 그 화상(1)이 이동한다. 유저에게 있어서 이와 같이 보이는 화상 표시도, 억제용 화상 표시에 포함된다.
당연히, 상기한 억제용 화상 표시에 포함되는 각각의 화상 표시가, 서로 양립하거나 할 수 있다. 예를 들어 프로젝터(12) 및 스크린(11)의 움직임(진동 V3)의 영향을 캔슬하기 위한 화상 표시는, 화상(1)이 유저의 움직임(진동 V2)에 대응하여 상대적으로 움직이는 화상 표시나, 화상(1)이 프로젝터(12) 및 스크린(11)의 움직임(진동 V3)에 대응하여 움직이는 것을 억제하는 화상 표시 등으로서도 성립될 수도 있다.
억제용 화상 표시는, 전형적으로는, 스크린(11)에 표시되는 화상(1)의 표시 상태를 제어함으로써 실현된다. 예를 들어 화상(1)의 표시 사이즈, 화상(1)의 표시 위치, 및 화상(1)의 형상 등이 적절히 제어됨으로써, 억제용 화상 표시가 실현된다.
따라서 억제용 화상 표시로서, 전형적으로는, 화상(1)의 표시 상태를 제어하는 것을 포함하는 화상 표시가 실행되게 된다. 또한 예를 들어 억제용 화상 표시로서, 화상(1)의 표시 사이즈, 화상(1)의 표시 위치, 및 화상(1)의 형상의 적어도 하나를 포함하는 화상 표시가 실행된다. 물론 이것에 한정되는 것은 아니다. 표시 상태를 제어하기 위해서, 화상(1)의 표시 사이즈, 화상(1)의 표시 위치, 및 화상(1)의 형상과는 상이한 다른 파라미터가 제어되어도 된다.
도 7은, 화상 표시 시스템(10)의 기능적인 구성예를 나타내는 블록도이다. 화상 표시 시스템(10)은, 표시 제어부(20)를 더 갖는다.
표시 제어부(20)는, 본 실시 형태에 따른 정보 처리 장치에 상당하며, 예를 들어 CPU, RAM, 및 ROM 등의 컴퓨터에 필요한 하드웨어를 갖는다. CPU가 ROM에 미리 기록되어 있는 본 기술에 따른 프로그램을 RAM에 로드하여 실행함으로써, 도 7에 도시한 각 블록이 구성되고, 본 기술에 따른 정보 처리 방법이 실행된다.
예를 들어 PC(Personal Computer) 등의 임의의 컴퓨터에 의해, 표시 제어부(20)를 실현하는 것이 가능하다. 또한 FPGA(Field Programmable Gate Array) 등의 PLD(Programmable Logic Device), 그 밖에 ASIC(Application Specific Integrated Circuit) 등의 디바이스가 사용되어도 된다. 또한 각 블록을 실현하기 위해서, IC(집적 회로) 등의 전용의 하드웨어가 사용되어도 된다.
프로그램은, 예를 들어 다양한 기록 매체를 통해 표시 제어부(20)에 인스톨된다. 또는, 인터넷 등을 통해 프로그램의 인스톨이 실행되어도 된다.
본 실시 형태에서는 표시 제어부(20)는, 도 3에 도시한 출력 제어부(105)에 포함된다. 또한 프로젝터(12)는, 출력부(106)에 포함된다.
도 7에 도시한 바와 같이 표시 제어부(20)는, 주 영상 생성부(21)와, 디지털 화상 시프트부(22)와, 디지털 화상 시프트양 산출부(23)와, 광학 화상 시프트양 산출부(24)와, 광학·디지털 분리부(25)를 갖는다. 또한 표시 제어부(20)는, 변위 변형량 산출부(26)와, 진동량 산출부(27)와, BPF(대역 통과 필터)(28)를 갖는다. 각 블록에 대해서는, 화상 표시의 동작과 함께 후에 설명한다.
도 8은, 프로젝터(12)의 화상 시프트 기능을 설명하기 위한 도면이다. 도 7 및 도 8을 참조하여, 프로젝터(12)는, 광원(13)과, 화상 표시 소자(14)와, 광학부(15)와, 화상 시프트 소자 제어부(16)와, 변위량 검출부(17)와, 프로젝터 운동 센서(31)를 갖는다.
광원(13)으로서는, 예를 들어 레이저 광원, LED, 램프 광원 등의 임의의 광원이 사용되어도 된다. 화상 표시 소자(14)는, 광원(13)으로부터 출사되는 광에 기초하여, 화상(1)을 구성하는 화상 광을 생성하고, 광학부(15)로 출사한다. 화상 표시 소자(14)로서는, 예를 들어 액정 패널, 유기 EL(Electro-Luminescence), 디지털 마이크로미러 디바이스(DMD) 등, 임의의 화상 표시 소자가 사용되어도 된다.
광학부(15)는, 화상 시프트 소자(18)와, 투영 렌즈계(19)를 포함한다. 투영 렌즈계(19)는, 화상 표시 소자(14)에 의해 생성된 화상 광을, 스크린(11)에 투영한다. 이에 의해 스크린(11)에 화상(1)이 표시된다. 또한 도 8의 A 및 B에서는, 투영 영역(화상(1)을 투영 가능한 영역)(7) 전체에 화상(1)이 표시되어 있다. 즉 투영 영역(7)의 사이즈와, 화상(1)의 사이즈가 동등해지도록 화각이 설정되어 있다.
투영 렌즈계(19)의 구체적인 구성은 한정되지 않고, 다양한 렌즈나 미러 등에 의해 구성되어도 된다.
화상 시프트 소자(18)는, 투영되는 화상(1)의 표시 위치를 광학적으로 이동시키는 것이 가능하다. 화상 시프트 소자(18)는, 투영 영역(7)의 위치를 전체적으로 이동시킴으로써, 화상(1)의 표시 위치를 이동시킨다.
본 실시 형태에서는, 화상 시프트 소자(18)는 렌즈 기능을 가지며, 화상 표시 소자(14)로부터 출사되는 화상 광의 광축 위에 배치된다. 화상 시프트 소자(18)를, 투영 렌즈계(19)의 일부로서 기능시키는 것도 가능하다.
도 8에 도시한 바와 같이, 화상 표시 소자(14)로부터 출사되는 화상 광의 광축 방향을 Z 방향이라 하고, Z 방향에 직교하는 방향이며, 또한, 서로 직교하는 2 방향을, X 방향 및 Y 방향이라 한다. 도 8의 A에 도시한 바와 같이, 화상 시프트 소자(18)를 XY 평면 방향(광축에 수직인 평면 방향)을 따라 시프트시킨다. 그렇게 하면, 스크린(11)에 투영되는 화상(1)의 표시 위치(투영 영역(7)의 위치)가 시프트된다.
도 8의 A에서는, 직감적으로 이해되기 쉽도록, 화상 시프트 소자(18)의 시프트 방향과, 화상(1)의 표시 위치의 시프트 방향이 동등한 방향으로 되도록 도시되어 있지만, 이것에 한정되는 것은 아니다. 화상 시프트 소자(18)의 시프트 방향과, 화상(1)의 표시 위치의 시프트 방향이 서로 역방향이 되는 경우도 있을 수 있다. 어쨌든, 화상 시프트 소자(18)의 시프트 방향 및 시프트양에 따라서, 화상(1)의 표시 위치가 소정의 방향, 및 소정의 시프트양으로 이동한다.
예를 들어 이와 같은 화상 시프트 기능에 의해, 화상(1)의 표시 상태를 제어하는 것이 가능해진다. 예를 들어 프로젝터(12)의 진동 등에 의해, 프로젝터(12)의 투영 방향(광축 방향)에 대해서 수직으로 교차하는 평면 방향을 따라 화상(1)이 진동한다고 하자. 화상 시프트 소자(18)를 XY 평면 방향(광축에 수직인 평면 방향)을 따라 시프트시킴으로써, 화상(1)의 진동을 캔슬하는 것이 가능하게 되어, 억제용 화상 표시를 실현하는 것이 가능해진다.
또한 도 8의 B에 도시한 바와 같이, 화상 시프트 소자(18)를, Z 방향(광축 방향)을 따라 시프트시킨다. 그렇게 하면 화상(1)의 표시 사이즈(투영 영역(7)의 사이즈)가 변경된다. 화상(1)의 표시 사이즈는, 화상 시프트 소자(18)의 시프트양에 따른 비율로, 확대/축소된다.
예를 들어 이와 같은 화상 시프트 기능에 의해, 화상(1)의 표시 상태를 제어하는 것이 가능해진다. 예를 들어 프로젝터(12)의 진동 등에 의해, 화상(1)의 표시 사이즈가 미세하게 변동된다고 하자. 화상 시프트 소자(18)를 Z 방향(광축 방향)을 따라 시프트시킴으로써, 화상(1)의 표시 사이즈의 변동을 캔슬하는 것이 가능하게 되어, 억제용 화상 표시를 실현하는 것이 가능해진다.
또한, 화상 시프트 소자(18)를 기울이거나, 회전시킴으로써, 화상(1)의 표시 상태를 제어하는 것이 가능하다. 예를 들어 도 8에 도시한 X축을 피치축, Y축을 요축, Z축을 롤축이라고 한 경우에 있어서의, 피치 각도, 요 각도, 및 롤 각도를 적절히 제어한다. 이에 의해, 화상(1)의 형상(투영 영역(7)의 형상)의 제어 등을 실행하는 것이 가능하다.
화상 시프트 소자(18)의 동작은, 도 7에 도시한 화상 시프트 소자 제어부(16)에 의해 제어된다. 예를 들어 화상 시프트 소자 제어부(16)로서 액추에이터 등이 구성되고, 화상 시프트 소자(18)가 원하는 시프트양으로 이동하도록, 전력 등이 공급된다. 물론 이와 같은 구성에 한정되지 않고, 화상 시프트 소자(18), 및 화상 시프트 소자 제어부(16)로서, 임의의 구성이 채용되어도 된다.
본 실시 형태에 있어서, 화상 시프트 소자(18) 및 화상 시프트 소자 제어부(16)는, 화상 이동 기구에 상당한다. 화상 시프트 소자(18)를 제어함으로써, 표시 상태를 제어하는 것이 가능해진다. 즉 본 실시 형태에서는, 억제용 화상 표시는, 화상 시프트 소자(18)의 제어를 포함한다.
도 7에 도시한 변위량 검출부(17)는, 화상 시프트 소자(18)의 변위량(시프트양)을 검출한다. 또한, 화상 시프트 소자 제어부(16) 및 변위량 검출부(17)가, 표시 제어부(20) 내에 구성되어도 된다.
도 8의 C에 도시한 바와 같이, 투영되는 화상(1)의 화상 정보를 처리함으로써, 투영 영역(7) 내에 있어서의 화상(1)의 표시 위치를 시프트시키는 것이 가능하다. 예를 들어 화상 표시 소자(14)에 입력되는 화상 신호를 적절히 처리함으로써, 화상(1)의 시프트를 디지털적으로 실행하는 것이 가능하다. 또한 화상 표시 소자(14)에 입력되는 화상 신호는, 투영되는 화상(1)의 화상 정보를 포함한다. 따라서 화상 신호의 처리는, 화상 정보의 처리에 상당한다.
또한 화상(1)의 시프트뿐만 아니라, 화상(1)의 표시 사이즈의 제어나, 화상(1)의 형상의 제어 등도 가능하다. 즉 화상 정보를 처리함으로써, 화상 상태에 관하여 각종 제어를 실행하는 것이 가능하며, 억제용 화상 표시를 실현하는 것이 가능하다.
프로젝터 운동 센서(31)는, 프로젝터(12)의 운동을 검출하기 위한 센서이며, 예를 들어 가속도 센서, 자이로 센서 및 지자기 센서(9축 센서) 등에 의해 구성된다. 그 밖에, 임의의 구성이 채용되어도 된다.
본 실시 형태에서는, 프로젝터 운동 센서(31)에 의해 출력되는 검출 결과에 기초하여, 프로젝터(12)의 진동량 등을 산출하는 것이 가능해진다. 예를 들어 지구 좌표계에 기초한 지면에 대한 진동량 등을 산출하는 것이 가능하다. 물론 이것에 한정되는 것은 아니다.
본 실시 형태에서는, 프로젝터 운동 센서(31)는, 프로젝터(12)에 탑재된다. 이것에 한정되지 않고, 프로젝터(12)의 근방에, 프로젝터 운동 센서(31)가 설치되어도 된다. 프로젝터(12)의 진동 등을 검출 가능하면, 프로젝터 운동 센서(31)의 설정 위치는, 임의로 설정되어도 된다. 또한 프로젝터 운동 센서(31)는, 도 3에 도시한 데이터 취득부(102)에 포함된다.
프로젝터 운동 센서(31)에 의해 출력되는 검출 결과, 및 검출 결과에 기초하여 산출되는 진동량 등의 정보는, 본 실시 형태에 있어서, 화상 표시부의 움직임에 관한 움직임 정보에 포함된다. 또한 검출 결과 및 진동량 등의 정보는, 화상 투영부의 움직임에 관한 움직임 정보에 포함된다.
프로젝터(12)의 운동을 검출하기 위해서, 차량(5)의 움직임에 관한 움직임 정보가 이용되어도 된다. 예를 들어 차량(5)의 진동량 등이, 프로젝터(12)의 진동량 등으로서 원용되어도 된다. 또는 차량(5)의 진동량 등에 기초하여 연산이 실행되고, 프로젝터(12)의 진동량 등이 산출되어도 된다.
도 9는, 억제용 화상 표시의 실행예를 나타내는 차트도이다. 프로젝터 운동 센서(31)에 의해, 프로젝터(12)의 운동이 검출된다(스텝 101). BPF(28)에 의해 프로젝터 운동 센서(31)의 검출 결과로부터, 차량(5)의 진동 성분이 추출된다(스텝 102). 이와 같이 본 실시 형태에서는, 지면에 대한 진동 성분에 착안하여, 억제용 화상 표시가 실행된다. 물론 이것에 한정되는 것은 아니다.
프로젝터 운동 센서(31)의 검출 결과로부터 진동 성분을 추출하기 위한 필터 특성의 설정은 한정되지 않는다. 예를 들어 캘리브레이션 등에 의해 진동 성분에 상당하는 주파수대를 검출해 두고, 그 주파수대를 통과 대역으로 하도록 필터 특성이 설정된다.
진동량 산출부(27)에 의해, 프로젝터(12)의 진동량이 산출된다(스텝 103). 본 실시 형태에서는, 지구 좌표계에 기초한 지면에 대한 진동량이 산출된다. 본 실시 형태에서는, 프로젝터 운동 센서(31), BPF(28), 및 진동량 산출부(27)에 의해, 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 취득부가 실현된다.
변위 변형량 산출부(26)에 의해, 주 영상 표시 에어리어의 변위·변형량이 산출된다(스텝 104). 또한 주 영상이란, 메인에 표시되는 영상이며, 본 실시 형태에서는, 도 2 등에 도시한 화상(1)이다. 예를 들어 주 영상에 대해서 자막 등이나 텍스트 정보 등을 부 영상으로서 표시하는 경우도 있을 수 있다. 이 경우, 주 영상만에 대해서 본 기술에 따른 억제용 화상 표시가 실행되어도 되고, 주 영상 및 부 영상에 대해서 본 기술에 따른 억제용 화상 표시가 실행되어도 된다.
또한 주 영상 표시 에어리어는, 화상(1)이 표시되는 영역이며, 주 영상 표시 에어리어의 위치, 사이즈, 및 형상은, 화상(1)의 표시 위치, 표시 사이즈, 형상에 상당한다. 스텝 104에서는, 프로젝터(12)의 진동량에 따른, 화상(1)의 표시 위치의 변위와, 화상(1)의 표시 사이즈 및 형상의 변동의 정보가 산출된다.
광학·디지털 분리부(25)에 의해, 주 영상 표시 에어리어의 변위·변형을 캔슬하는 방법이, 광학적인 방법 및 디지털적인 방법의 2가지 방법으로 분리된다(스텝 105). 본 실시 형태에서는, 도 8의 A 및 B에 도시한 광학적인 방법과, 도 8의 B에 도시한 디지털적인 방법으로 분리된다.
도 10은, 캔슬 방법의 분리예를 나타내는 모식도이다. 광학·디지털 분리부(25)는, 변위·변형량을 보정 좌표계로 변환한다(스텝 201). 본 실시 형태에서는, 보정 좌표계로서, 도 8에 도시한 XYZ 좌표계가 이용된다. XYZ 좌표계를 기준으로 하여, 화상(1)의 표시 위치의 시프트양이나, 변형량(각 축을 기준으로 한 회전량)이, 좌표값을 이용하여 산출된다.
좌표값으로 변환된 화상(1)의 표시 위치의 시프트양이나, 변형량(각 축을 기준으로 한 회전량)이, XYZ축을 따른 직선 운동 성분과, 각 축을 기준으로 한 각운동 성분으로 분리된다(스텝 202, 203).
직선 운동 성분 중 X 및 Y축 방향을 따른 시프트에 대해서는, 도 8의 A에 예시한 화상 시프트 소자(18)를 이동시키는 광학적인 화상 시프트 방식이 이용되어, 화상(1)의 변위가 캔슬된다(스텝 204, 205). 또한 도 10에서는, 광학적인 화상 시프트 방식이, 광학 방진으로서 기재되어 있다.
직선 운동 성분 중 Z축 방향을 따른 시프트에 대해서는, 도 8의 C에 예시한 화상 신호를 처리하는 디지털적인 화상 시프트 방식(표시 사이즈의 제어)이 사용되고, 화상(1)의 변형(사이즈의 변동)이 캔슬된다(스텝 206). 또한 도 10에서는, 디지털적인 화상 시프트 방식이, 디지털 방진으로서 기재되어 있다.
각운동 성분 중 요축(Y축) 및 피치축(X축)의 각각을 기준으로 한 회전에 대해서는, 도 8의 A에 예시한 광학적인 화상 시프트 방식이 이용되어, 화상(1)의 변형이 캔슬된다(스텝 207, 208).
롤 축(Z축)을 기준으로 한 회전에 대해서는, 도 8의 C에 예시한 디지털적인 화상 시프트 방식이 이용되어, 화상(1)의 변형이 캔슬된다(스텝 209). 예를 들어 이와 같은 분리 방법에 의해, 고정밀도로 화상(1)의 변위·변형을 캔슬하는 것이 가능해진다.
주 영상 표시 에어리어의 변위·변형을 캔슬하는 방법의 분리에 대해서는, 상기에 설명하는 분리 방법에 한정되지 않고, 임의로 설정되어도 된다. 예를 들어 광학적인 방법을 우선하지만, 소정의 스트로크가 허용값을 초과하면 디지털적인 방법을 가하는 등의 설정도 가능하다. 예를 들어, 화상 표시 소자(14)의 응답 속도나 해상도 등에 기초하여, 분리 방법을 설정하는 것도 가능하다.
물론 도 8의 A에 예시한 화상 시프트 소자(18)를 이동시키는 광학적인 화상 시프트 방식으로, 모든 변위·변형이 캔슬되어도 된다. 또한 도 8의 C에 예시한 화상 신호를 처리하는 디지털적인 화상 시프트 방식으로, 모든 변위·변형이 캔슬되어도 된다.
본 실시 형태에 있어서, 변위 변형량 산출부(26)에 의한 주 영상 표시 에어리어의 변위·변형량의 산출은, 취득된 움직임 정보에 기초하여 투영되는 화상에 대한 화상 표시부의 움직임의 영향을 검출하는 것에 상당한다. 화상 표시부의 움직임의 영향을 검출하기 위해서, 주 영상 표시 에어리어의 변위·변형량의 산출 이외의 방법이 사용되어도 된다.
또한 광학·디지털 분리부(25)에 의한 캔슬하는 방법의 분리는, 검출된 영향에 기초하여 화상 이동 기구의 제어 내용과, 화상 정보의 처리 내용을 각각 설정하는 것에 상당한다. 도 8의 A 및 B에 도시한 화상 시프트 소자(18)의 구체적인 제어의 내용이, 화상 이동 기구의 제어 내용에 상당한다. 또한 도 8의 C에 도시한 화상 신호에 대한 처리 내용이, 화상 정보의 처리 내용에 상당한다.
예를 들어 광학적인 방법이 디지털적인 방법보다도 우선되도록, 캔슬 방법의 분리가 실행된다. 이러한 점은, 화상 이동 기구의 제어가 화상 정보의 처리에 의해서도 우선되도록, 화상 이동 기구의 제어 내용과, 화상 정보의 처리 내용을 각각 설정하는 것에 상당한다. 광학적인 방법을 우선함으로써, 화상 표시 소자(14)의 응답 속도나 해상도 등에 의한, 화상(1)의 변위·변형의 캔슬에 대한 영향을 억제하는 것이 가능해진다.
광학 화상 시프트양 산출부(24)에 의해, 화상(1)의 변위·변형을 캔슬하기 위한 광학 화상 시프트양이 산출된다(스텝 106). 즉 화상 시프트 소자(18)의 시프트양이 산출된다. 광학 화상 시프트양 산출부(24)는, 캔슬 방법이 분리될 때 정해지는 시프트 방향마다, 시프트양을 산출한다.
산출된 시프트양을 포함하는 제어 신호가, 프로젝터(12)의 화상 시프트 소자 제어부(16)로 출력된다(스텝 107). 화상 시프트 소자 제어부(16)는, 수신된 제어 신호에 기초하여, 화상 시프트 소자(18)를 제어한다.
디지털 화상 시프트양 산출부(23)에 의해, 화상(1)의 변위·변형을 캔슬하기 위한 디지털 화상 시프트양이 산출된다(스텝 108). 즉 화상 시프트 소자(18)의 시프트양이 산출된다. 또한 디지털적인 화상 시프트 방식에 있어서의 시프트양은, 화상의 변형량 등도 포함하는 파라미터이다.
디지털 화상 시프트부(22)에 의해, 산출된 시프트양에 기초하여, 주 영상 생성부(21)로부터 송신되는 화상 신호가 처리된다. 이에 의해 화상(1)의 표시 위치나 형상이 적절히 변경된 화상 신호가 출력된다(스텝 109).
도 7에 도시한 바와 같이, 디지털 화상 시프트부(22)에 의해 처리된 화상 신호가 화상 표시 소자(14)에 입력되고, 화상 광이 생성된다. 생성된 화상 광은, 화상 시프트 소자(18)를 포함하는 광학부(15)에 의해, 스크린(11)에 투영된다. 투영되는 화상에는 광학적인 보정 및 디지털적인 보정이 실행되어 있으므로, 차량(5)의 진동에 기인한 프로젝터(12)의 진동으로부터 분리되어, 화상(1)이 표시되는 바와 같은 화상 표시가 실현된다. 즉 억제용 표시 화상이 실현된다.
본 실시 형태에 있어서, 표시 제어부(20)는, 취득된 움직임 정보에 기초하여, 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 화상 표시부에 실행시키는 표시 제어부에 상당한다. 또한 표시 제어부(20)를 본 기술에 따른 정보 처리 장치로서 보는 경우에는, BPF(28) 및 진동량 산출부(27)가 취득부로서 기능한다. 또한 디지털 화상 시프트부(22), 디지털 화상 시프트양 산출부(23), 광학 화상 시프트양 산출부(24)와, 광학·디지털 분리부(25) 및 변위 변형량 산출부(26), 및 진동량 산출부(27)가 표시 제어부로서 기능한다.
도 11은, 도 7에 도시한 화상 시프트 소자 제어부(16)에 의한 화상 시프트 소자(18)의 제어에 관하여 설명하기 위한 블록도이다. 본 실시 형태에서는, 광학 화상 시프트양을 화상 시프트 소자를 제어하기 위한 제어값으로 변환하는 변환 테이블이 사용된다. 제어값은, 예를 들어 화상 시프트 소자(18)를 이동시키는 액추에이터에 가해지는 전류값 등이다. 물론 이것에 한정되는 것은 아니다.
화상 시프트 소자 제어부(16)는, 변환 테이블을 참조하여, 광학 화상 시프트양 산출부(24)로부터 수신한 광학 화상 시프트양을 제어값으로 변환한다(스텝 301). 변환된 제어값을 출력하여, 화상 시프트 소자(18)가 제어된다(스텝 302).
변위량 검출부(17)에 의해, 화상 시프트 소자(18)의 변위량(시프트양)이 검출된다. 즉 입력된 제어값에 대한 실제의 변위량이 검출된다(스텝 303). 변위량 검출부(17)에 의해 검출된 변위량에 기초하여, 변환 테이블이 갱신된다. 이와 같이 화상 시프트 소자(18)의 실제 변위량을 피드백함으로써, 광학적인 화상 시프트 방식의 정밀도를 향상시키는 것이 가능해진다.
이상, 본 실시 형태에 따른 화상 표시 시스템(10)에서는, 유저의 움직임과 관련된 움직임을 하는 프로젝터(12)에 대해서, 프로젝터(12)의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를 실행시키는 것이 가능하다. 이것에 의해 쾌적한 시청 환경을 제공하는 것이 가능해진다.
위에서도 설명하였지만, 영상 기기는 차량에 고정되는 경우가 많아, 차량이 진동하면, 영상도 마찬가지로 진동되어 버려서, 읽기 어려울뿐만 아니라, 안정피로나 멀미의 요인으로 된다. 본 실시 형태에 따른 화상 표시 시스템(10)에서는, 영상을 차량의 진동으로부터 분리하는 것이 가능하므로, 진동에 의한 영상 시청의 불쾌감을 대폭 저감할 수 있다.
또한, AR(Augmented Reality: 확장 현실감)이나 MR(Mixed Reality: 복합 현실)과 같이 차밖 풍경에 대해서 영상을 중첩하고자 하는 경우에도, 영상을 차량의 진동으로부터 분리하는 것이 가능하므로, 풍경과의 어긋남을 충분히 방지하는 것이 가능하게 되어, 고품질의 화상 표시를 실현하는 것이 가능해진다.
영상을 시청할 때의 불쾌감을 경감시켜, 쾌적한 영상 시청을 제공함으로써, 차량 내에서의 영상 시청의 체험 가치를 향상시키는 것이 가능하다. 또한 차량에서의 시청 환경이 크게 개선되기 때문에, 보다 고품위의 영상 음성 기기에 대한 요구나, 보다 고품위의 콘텐츠에 대한 요구에 부응하는 것이 가능하게 되어, 매우 고품질의 화상 표시 시스템을 실현하는 것이 가능해진다.
<제2 실시 형태>
본 기술의 제2 실시 형태에 따른 화상 표시 시스템에 대하여 설명한다. 이 이후의 설명에서는, 상기 실시 형태에서 설명한 화상 표시 시스템(10)에 있어서의 구성 및 작용과 마찬가지의 부분에 대해서는, 그 설명을 생략 또는 간략화한다.
상기 실시 형태에서는, 주로 차량(5)의 진동에 기인한 프로젝터(12)의 진동 영향을 억제하기 위한 억제용 화상 표시가 실행되었다. 본 실시 형태에서는, 프로젝터(12)의 진동 및 스크린(11)의 진동의 영향을 억제하기 위한 억제용 화상 표시가 실행된다.
도 12는, 본 실시 형태에 따른 억제용 화상 표시의 개요를 설명하기 위한 모식도이다. 예를 들어 프로젝터(12)의 진동량에 기초한 화상(1)의 변위·변형을 캔슬하였다고 하자. 이 결과, 도 12의 A에 도시한 바와 같이, 진동하고 있는 스크린(11)과의 상대적인 위치 관계에 의해, 스크린(11)에 대해서 화상(1)이 변위해버리는 경우도 있을 수 있다. 극단적인 예로서는, 예를 들어 스크린(11)으로부터 투영 영역(7) 및 화상(1)이 튀어나오는 경우도 있을 수 있다.
본 실시 형태에서는, 투영 영역(7) 및 화상(1)의 표시 위치 등을 광학적으로 시프트하거나, 혹은 투영 영역(7) 내에서 화상(1)의 표시 위치 등을 디지털적으로 시프트함으로써, 스크린(11)에 대한 화상(1)의 표시 위치 등을 제어하는 것이 가능하다. 즉 본 실시 형태에서는, 화상 투영부인 프로젝터(12) 및 피투영부인 스크린(11) 사이의 상대적인 움직임의 영향을 억제하기 위한 표시 화상을 포함하는, 억제용 표시 화상이 실행된다.
도 13은, 본 실시 형태에 따른 화상 표시 시스템(40)의 기능적인 구성예를 나타내는 블록도이다. 도 14는, 억제용 화상 표시의 실행예를 나타내는 차트도이다.
도 13에 도시한 블록 중 도 7에 도시한 화상 표시 시스템(10)과 다른 블록으로서는, 스크린(11)에 탑재되는 스크린 운동 센서(41)를 들 수 있다. 또한 표시 제어부(50)에 포함되는, BPF(51), 진동량 산출부(52), 상대 진동량 산출부(53), 상대 변위 변형량 산출부(54), 변위 변형량 합산부(55)를 들 수 있다.
스크린 운동 센서(41)는, 프로젝터(12)의 운동을 검출하기 위한 센서이며, 예를 들어 가속도 센서를 포함하는 9축 센서 등에 의해 구성된다. 그 밖에, 임의의 구성이 채용되어도 된다.
본 실시 형태에서는, 스크린 운동 센서(41)에 의해 출력되는 검출 결과에 기초하여, 스크린(11)의 진동량 등을 산출하는 것이 가능해진다. 예를 들어 지구 좌표계에 기초한 지면에 대한 진동량 등을 산출하는 것이 가능하다. 물론 이것에 한정되는 것은 아니다.
본 실시 형태에서는, 스크린 운동 센서(41)는, 스크린(11)에 탑재된다. 이것에 한정되지 않고, 스크린(11)의 근방에, 스크린 운동 센서(41)가 설치되어도 된다. 스크린(11)의 진동 등을 검출 가능하면, 스크린 운동 센서(41)의 설정 위치는, 임의로 설정되어도 된다. 또한 스크린 운동 센서(41)는, 도 3에 도시한 데이터 취득부(102)에 포함된다.
스크린 운동 센서(41)에 의해 출력되는 검출 결과 및 검출 결과에 기초하여 산출되는 진동량 등의 정보는, 본 실시 형태에 있어서, 화상 표시부의 움직임에 관한 움직임 정보에 포함된다. 또한 검출 결과 및 진동량 등의 정보는, 피투영부의 움직임에 관한 움직임 정보에 포함된다.
스크린(11)의 운동을 검출하기 위해서, 차량(5)의 움직임에 관한 움직임 정보가 이용되어도 된다. 예를 들어 차량(5)의 진동량 등이, 스크린(11)의 진동량 등으로서 원용되어도 된다. 또는 차량(5)의 진동량 등에 기초하여 연산이 실행되어, 스크린(11)의 진동량 등이 산출되어도 된다.
도 14에 도시한 스텝 401 내지 404는, 도 9에 도시한 스텝 101 내지 104와 마찬가지이다. 스텝 405 내지 407에서는, 스크린(11)의 진동량이 산출된다. 구체적으로는, BPF(51)에 의해 스크린 운동 센서(41)의 검출 결과로부터, 스크린(11)의 진동 성분이 추출된다. 그리고 진동량 산출부(52)에 의해, 스크린(11)의 진동량이 산출된다. 스크린 운동 센서(41), BPF(51), 및 진동량 산출부(52)는, 취득부로서 기능한다.
상대 변위 변형량 산출부(54)에 의해, 스크린(11)과 프로젝터(12)의 상대 진동량이 산출된다(스텝 408). 예를 들어, 스크린(11)에 대한 프로젝터(12)의 진동량이 산출된다.
상대 변위 변형량 산출부(54)에 의해, 상대 진동에 의한 주 영상 표시 에어리어의 변위·변형량이 산출된다(스텝 409). 예를 들어 스크린(11)을 기준으로 하고, 거기에 표시되는 화상(1)의 표시 위치의 변위와, 화상(1)의 표시 사이즈 및 형상의 변동의 정보가 산출된다.
변위 변형량 합산부(55)에 의해, 양쪽 진동에 의한 주 영상 표시 에어리어의 변위·변형량이 합산된다(스텝 410). 예를 들어, 프로젝터(12)의 진동량에 따른 화상(1)의 표시 위치의 변위와, 스크린(11)을 기준으로 한 화상(1)의 변위가 합산된다. 또한 프로젝터(12)의 진동량에 따른 화상(1)의 표시 사이즈 및 형상의 변동과, 스크린(11)을 기준으로 한 화상(1)의 표시 사이즈 및 형상의 변동이 합산된다.
예를 들어 프로젝터(12)의 진동에 의해 소정의 방향으로 소정의 양만큼, 화상(1)이 변위하였다고 하자. 또한 도 12의 A에 도시한 바와 같이, 화상(1)과 스크린(11)과의 위치 관계가 어긋났다고 하자. 이 경우, 프로젝터(12)의 진동에 따른 변위량과, 스크린(11)에 대한 화상(1)의 어긋남양이 합산된다. 표시 사이즈 및 형상의 변동에 대해서도 마찬가지이다.
이 합산된 변위·변형량에 대해서, 스텝 105 내지 109에서 설명한 캔슬 처리가 실행된다(스텝 411 내지 415). 예를 들어 프로젝터(12)의 진동에 따른 화상(1)의 변위·변형이 우선적으로 캔슬되도록, 억제용 화상 표시가 실행된다. 예를 들어 스크린(11)으로부터 화상(1)이 튀어나와 버리는 극단적인 일이 발생하지 않는 범위에서, 화상(1)의 변위·변형이 캔슬된다.
또는 스크린(11)을 기준으로 한 화상(1)의 변위·변형이 우선적으로 캔슬되도록, 억제용 화상 표시가 실행되어도 된다. 또는, 프로젝터(12)의 진동에 따른 화상(1)의 변위·변형과, 스크린(11)에 대한 화상(1)의 변위·변형이, 동일 정도로 캔슬되도록, 억제용 화상 표시가 실행되어도 된다.
프로젝터(12)의 특성이나 스크린(11)의 특성, 차내에 있어서 화상(1)이 어떠한 시각 효과를 초래하거나, 스크린(11)에 대한 화상(1)의 변위 등의 영향의 크기 등에 기초하여, 화상(1)의 변위·변형을 캔슬하기 위한 임의의 방법이 채용되어도 된다.
본 실시 형태와 같이, 프로젝터(12)와 스크린(11)의 상대적인 진동량을 고려한 억제용 화상 표시를 실행함으로써, 쾌적한 시청 환경을 제공하는 것이 가능해진다. 또한, 프로젝터(12)와 스크린(11)의 상대적인 진동량에만 기초하여, 억제용 화상 표시가 실행되어도 된다.
도 15 내지 도 18은, 화상 표시 시스템의 베리에이션예를 나타내는 모식도이다. 도 15의 A에 도시한 예에서는, 도 2에 도시한 예와 마찬가지로, 뒷좌석의 대략 중앙 위치에 프로젝터(61)가 설치되고, 전방측 좌석과 뒷좌석의 사이에 설치된 스크린(62)을 향해 화상이 투영된다.
도 15의 B에 도시한 예에서는, 뒷좌석의 좌우의 단에 2개의 프로젝터(63a 및 63b)가 배치되고, 전방측 좌석와 뒷좌석의 사이에 설치된 스크린(64)을 향해서 화상이 투영된다. 도 15의 C에 도시한 예에서는, 뒷좌석의 발밑의 바닥에 프로젝터(65)가 배치되고, 천장에 설치된 스크린(66)을 향해 화상이 투영된다.
도 15의 D에 도시한 예에서는, 뒷좌석의 발밑의 바닥에 단초점 프로젝터(67)가 배치되고, 전방측 좌석와 뒷좌석과의 사이에 설치된 스크린(68)을 향해서 하방측으로부터 화상이 투영된다. 도 15의 E에 도시한 예에서는, 좌우의 B 필러의 내측 부근에, 단초점 프로젝터(69a 및 69b)가 배치되고, 전방측 좌석과 뒷좌석의 사이에 설치된 스크린(70)을 향해 좌우로부터 화상이 투영된다.
도 15의 D에 도시한 예에서는, 좌우의 뒷좌석 도어의 상방에, 단초점 프로젝터(71a 및 72b)가 배치되고, 천장에 설치된 스크린(72)을 향해 좌우로부터 화상이 투영된다. 도 15의 A 내지 D에 예시한 바와 같은, 다양한 구성의 화상 표시 시스템에 대해서, 본 기술은 적용 가능하다. 또한 도 15의 A 내지 D에 예시한 구성을 적절히 조합하는 것도 가능하다.
도 16 및 도 17은, 헤드업 디스플레이(HUD)의 베리에이션예를 나타내는 모식도이다. 도 16에 도시한 HUD에서는, 프론트 윈드 실드 글라스(74)가 피투영부로서 기능하며, 프론트 윈드 실드 글라스(74) 전체에 화상이 표시된다.
도 16의 A에 도시한 예에서는, 프론트 윈드 실드 글라스(74)의 하방에 설치된 단초점 프로젝터(75)에 의해, 화상이 투영된다. 단초점 프로젝터(75)는 대시보드 내에 설치되어도 되고, 대시보드 내에 설치되어도 된다.
도 16의 B에 도시한 예에서는, 프론트 윈드 실드 글라스(74)의 좌우에 설치된 단초점 프로젝터(76a 및 76b)에 의해, 화상이 투영된다. 단초점 프로젝터(76a 및 76b)는 좌우의 A 필러 내에 설치되어도 되고, 좌우의 A 필러의 외측에 설정되어도 된다.
도 16의 C에 도시한 예에서는, 프론트 윈드 실드 글라스(74)의 상방에 설치된 단초점 프로젝터(77) 화상이 투영된다. 도 16의 A 내지 C에 예시한 바와 같은, 다양한 구성의 HUD에 대해서, 본 기술은 적용 가능하다. 또한 도 16의 A 내지 D에 예시한 구성을 적절히 조합하는 것도 가능하다.
도 17에서는, 컴바이너형의 HUD가 예시되어 있다. 도 17의 A에 도시한 예에서는, 운전자의 시선에 대향하는 위치에 피투영부로서 기능하는 컴바이너(78)가 설치되고, 프로젝터(79)에 의해 화상이 투영된다. 이에 의해 유저(운전자)는, 프론트 윈드 실드 글라스(80)보다도 전방측에 표시되는 허상을 시청하는 것이 가능해진다.
도 17의 B에 도시한 예에서는, 프론트 윈드 실드 글라스(81)가 컴바이너로서 사용된다. 프로젝터(82)에 의해, 프론트 윈드 실드 글라스(81)의 소정의 영역에 화상이 투영된다. 유저(운전자)는, 프론트 윈드 실드 글라스(81)보다도 전방측에 표시되는 허상을 시청하는 것이 가능해진다.
도 17의 A 및 B에 예시한 바와 같은, 다양한 구성의 HUD에 대해서, 본 기술은 적용 가능하다. 또한 도 17의 A 내지 D에 예시한 구성을 적절히 조합하는 것도 가능하다.
도 18에 도시한 화상 표시 시스템은, 천장의 좌우의 단부에 진행 방향을 따라 2개의 프로젝터(83a 및 83b)가 설치된다. 그리고 차량 내의 측면 전체 및 천장 전체에 투과 화상이 표시된다. 이와 같은 화상의 표시 시스템에 대해서도, 본 기술은 적용 가능하다.
자동 운전이 실행되어 있는 경우에는, 운전으로부터 해방된 상태에서, 스크린(피투영부)에 투영된 화상을 시청한다고 하는 경우도 많아지리라고 생각된다. 본 기술을 이용함으로써 쾌적한 시청 환경을 제공하는 것이 가능하며, 매우 고품질의 화상 표시 시스템을 실현하는 것이 가능해진다.
본 기술은, 다양한 이동체에 탑재되는 화상 표시 시스템에 적용하는 것이 가능하다. 예를 들어 자동차, 전기 자동차, 하이브리드 전기 자동차, 자동 이륜차, 자전거, 비행기, 선박, 로봇, 건설 기계, 농업 기계(트랙터) 등에, 본 기술에 따른 화상 표시 시스템을 탑재하는 것이 가능하다.
<그 밖의 실시 형태>
본 기술은, 이상 설명한 실시 형태에 한정되지 않고, 다른 다양한 실시 형태를 실현할 수 있다.
도 19 내지 도 22는, 다른 실시 형태에 따른 화상 표시 시스템을 설명하기 위한 모식도이다. 상기의 실시 형태에서는, 차량(5)의 차내 공간에 화상(1)이 표시되는 경우를 예로 들었다. 이것에 한정되지 않고, 차량(5)의 외부 공간에 대해서 화상(1)이 투영되는 경우에도, 본 기술은 적용 가능하다.
예를 들어 도 19의 A 및 B에 도시한 바와 같이, 차량(5)의 프론트부에 화상 표시부(화상 투영부)로서 기능하는 프로젝터(85)가 전방측을 향해 배치된다. 그리고, 차량(5)의 전방측의 노면(86)을 투영면으로 하여, 화상(1)이 투영된다.
본 기술에 따른 화상 표시 시스템에 의해, 화상 표시부를 구성하는 프로젝터(85)의 움직임(진동 V3)의 영향을 외부 공간에 대해서 억제하기 위한 억제 화상 표시가 실행된다. 이에 의해, 유저(유저의 눈)에게 있어서, 차밖의 경치를 보고 있는 것과 같은 감각으로 화상(1)을 시청하는 것이 가능해진다. 이 결과, 멀미 등의 불쾌감을 경감시키는 것이 가능하게 되어, 쾌적한 시청 환경을 제공하는 것이 가능해진다.
도 20의 A 내지 C에 도시한 바와 같이, 차량(5)의 전방의 벽면에 대해서, 화상(1)을 투영하는 것도 가능하다. 예를 들어, 차량(5)의 전방에 위치하고, 차량(5)을 좌우에서 사이에 두도록 배치되는 좌벽면(87a) 및 우벽면(87b)에 화상(1)을 투영하는 것이 가능하다. 또한 차량(5)의 좌우 비스듬하게 앞쪽에 위치하고, 차량(5)에 대해서 대향하는 좌전방 벽면(88a) 및 우전방 벽면(88b)에, 화상(1)을 투영하는 것도 가능하다.
물론 비스듬히 앞이 아니라, 바로 정면에 위치하는 정면 벽면에 화상(1)을 투영하는 것도 가능하다. 또한 전방의 상방측에 위치하는 벽면에 대해서 화상(1)을 투영하는 것도 가능하다. 본 기술에 따른 화상 표시 시스템에 의해 억제 화상 표시를 실행함으로써, 쾌적한 시청 환경을 제공하는 것이 가능해진다.
도 21에 도시한 예에서는, 차량(5)의 좌우의 도어 미러의 근처에, 프로젝터(89a 및 89b)가 배치된다. 그리고, 차량(5)에 대해서 바로 옆에 위치하는 좌벽면(90a) 및 우벽면(90b)에 화상(1)이 투영된다. 본 기술에 따른 화상 표시 시스템에 의해 억제 화상 표시를 실행함으로써, 쾌적한 시청 환경을 제공하는 것이 가능해진다.
도 22에 도시한 예에서는, 이동체로서, 자동 이륜차(모터사이클)(91)가 사용되고 있다. 그리고 모터사이클(91)의 좌우에 하방을 향해 프로젝터(92a 및 92b)가 배치된다. 도 22의 A 및 B에 도시한 바와 같이, 프로젝터(92a 및 92b)에 의해, 모터사이클(91)의 좌우의 거의 바로 아래인 노면(93a 및 93b)을 향해 화상(1)이 투영된다. 본 기술에 따른 화상 표시 시스템에 의해 억제 화상 표시를 실행함으로써, 쾌적한 시청 환경을 제공하는 것이 가능해진다.
물론, 외부 공간을 향해 화상(1)을 투영하는 방법, 화상(1)을 투영하기 위한 구성, 화상(1)이 투영되는 위치 등은 임의로 설정되어도 된다. 본 기술을 이용함으로써 쾌적한 시청 환경을 제공하는 것이 가능해진다.
또한 외부 공간을 향해서 화상(1)을 투영할 경우에는, 이동체를 타고 이동하는 유저 이외의 인물에 있어서도, 프로젝터(화상 표시부)의 진동으로부터 분리된 화상 표시가 실현된다. 즉 외부 공간에 있는 인물에 대해서도, 쾌적한 시청 환경을 제공하는 것이 가능해진다. 물론 외부 공간에 있는 인물을 본 기술에 따른 화상 표시 시스템의 유저로서, 다양한 콘텐츠를 제공하는 것이 가능하다.
도 23은, 본 기술에 따른 화상 표시 시스템을 적용 가능한 헤드 마운트 디스플레이(HMD)의 구성예를 나타내는 사시도이다. 도 23에 도시한 HMD(200)는, 투과형 디스플레이를 구비한 안경형 장치이며, 유저의 헤드부에 장착되어 사용된다. 유저가 움직이면, 거기에 연동하여 HMD(200)가 움직인다. 예를 들어 보행이나 주행 시에 유저의 헤드부가 진동하면, HMD(200)도 진동한다. 유저의 움직임과, HMD(200)는, 서로 관련된 움직임으로 된다.
HMD(200)는, 좌우의 렌즈(201L 및 201R), 좌안용 디스플레이(202L) 및 우안용 디스플레이(202R), 및 센서부(203L 및 203R)를 갖는다. 좌우의 렌즈(201L 및 201R)는, 유저의 좌안 및 우안의 앞쪽에 각각 배치된다. 좌안용 및 우안용 디스플레이(202L 및 202R)는, 유저의 시야를 덮도록, 좌우의 렌즈(201L 및 201R)에 각각 마련된다.
좌안용 및 우안용 디스플레이(202L 및 202R)는, 투과형 디스플레이이며, 좌안 및 우안용 화상 등이 각각 표시된다. HMD(200)를 장착하는 유저는, 현실의 경치를 시인함과 동시에, 각 디스플레이에 표시되는 화상을 시인하는 것이 가능해진다. 이에 의해, 유저는 확장 현실감(AR) 등을 체험하는 것이 가능해진다.
좌안용 및 우안용 디스플레이(202L 및 202R)로서는, 예를 들어 투과형 유기 EL 디스플레이나 LCD(Liquid Crystal Display, 액정 표시 소자) 디스플레이 등이 사용된다. 좌안용 및 우안용 디스플레이(202L 및 202R)는, 화상 표시부로서 기능한다.
센서부(203L 및 203R)는, 예를 들어 가속도 센서, 자이로 센서 및 지자기 센서(9축 센서) 등을 포함하고, 유저의 움직임에 따라서 발생하는 좌안용 및 우안용 디스플레이(202L 및 202R)의 각각의 진동량을 산출하는 것이 가능하다.
좌안용 및 우안용 디스플레이(202L 및 202R)에 표시되는 화상이, 좌안용 및 우안용 디스플레이(202L 및 202R)의 각각의 진동(HMD(200)의 진동)으로부터 분리되어 보이도록, 본 기술에 따른 억제용 화상 표시가 실행된다. 예를 들어 화상 정보가 적절히 처리됨으로써, 좌안용 및 우안용 디스플레이(202L 및 202R)에 표시되는 화상의 표시 상태가 제어된다. 좌안용 및 우안용 디스플레이(202L 및 202R)가 이동 가능하게 구성되어 있는 경우는, 좌안용 및 우안용 디스플레이(202L 및 202R) 자체가 이동되어도 된다.
이와 같이 유저에게 장착되는 장착체에, 본 기술에 따른 화상 표시 시스템이 탑재되어도 된다. 장착체로서는, HMD에 한정되지 않고, 다른 웨어러블 디바이스나, 헬멧 등을 들 수 있다. 예를 들어 풀페이스형 헬멧에 HUD를 탑재할 때 본 기술을 적용함으로써, 쾌적한 시청 환경을 실현하는 것이 가능해진다.
상기에서는, 표시 상태의 제어로서, 화상 시프트 소자의 제어와, 화상 정보의 처리를 예로 들었다. 이것에 한정되지 않고, 프로젝터 자체를 시프트/회전시킴으로써, 화상의 표시 상태가 제어되어도 된다. 또한 화상 표시 소자를 시프트/회전시킴으로써, 화상의 표시 상태가 제어되어도 된다.
상기에서는, 화상 표시 시스템으로서, 프로젝터가 사용되는 경우를 설명하였다. 그러나 유기 EL 디스플레이나 LCD(Liquid Crystal Display, 액정 표시 소자) 디스플레이가 사용되어도 된다. 그리고 이들 디스플레이를 시프트/회전시킴으로써, 화상의 표시 상태가 제어되어도 된다.
멀미 등의 불쾌감을 경감시키는 것이 가능하게 하는 방법으로서, 지구 좌표계를 의식시키는 화상 표시를 들 수 있다. 즉 차내 공간의 의식을 저감시키기 위한 화상 표시이다. 예를 들어 창에 주 영상을 비추는, 창 밖에 허상을 투영하는, 시계를 덮는 큰 영상을 보도록 하는, 차 실내를 아주 캄캄하게 하는(주 영상만이 떠서 보이도록 하는), 차 실내에 차밖의 운동을 반영한 주변 영상을 흘린다고 하는 것을 실현함으로써, 지구 좌표계를 의식시키는 것이 가능하다. 상기에서 설명한 억제용 화상 표시에, 이 지구 좌표계를 의식시키는 화상 표시를 조합함으로써, 더욱 쾌적한 시청 환경을 제공하는 것이 가능해진다.
본 기술에 따른 정보 처리 방법, 및 프로그램은, 단체의 컴퓨터에 의해 구성된 컴퓨터 시스템뿐만 아니라, 복수의 컴퓨터가 연동하여 동작하는 컴퓨터 시스템에 있어서도 실행 가능하다. 또한 본 개시에 있어서, 시스템이란, 복수의 구성 요소(장치, 모듈(부품) 등)의 집합을 의미하며, 모든 구성 요소가 동일 하우징 내에 있는지 여부는 무관하다. 따라서, 별개의 하우징에 수납되고, 네트워크를 통해 접속되어 있는 복수의 장치, 및 하나의 하우징 내에 복수의 모듈이 수납되어 있는 하나의 장치는, 모두 시스템이다.
컴퓨터 시스템에 의한 본 기술에 따른 정보 처리 방법, 및 프로그램의 실행은, 예를 들어 움직임 정보의 취득, 억제용 화상 표시의 실행 제어 등이, 단체의 컴퓨터에 의해 실행되는 경우, 및 각 처리가 다른 컴퓨터에 의해 실행되는 경우의 양쪽을 포함한다. 또한 소정의 컴퓨터에 의한 각 처리의 실행은, 당해 처리의 일부 또는 전부를 다른 컴퓨터에 실행시켜 그 결과를 취득하는 것을 포함한다.
즉 본 기술에 따른 정보 처리 방법, 및 프로그램은, 하나의 기능을 네트워크를 통해 복수의 장치로 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성에도 적용하는 것이 가능하다.
각 도면을 참조하여 설명한 화상 표시 시스템이나 억제용 화상 표시의 플로우 등은 어디까지나 일 실시 형태이며, 본 기술의 취지를 일탈하지 않는 범위에서, 임의로 변형 가능하다. 즉 본 기술을 실시하기 위한 다른 임의의 구성이나 알고리즘 등이 채용되어도 된다.
예를 들어, 억제용 화상 표시를 실행하기 위해서, 예를 들어 DNN(Deep NeuralNetwork: 심층 신경망) 등을 이용한 임의의 기계 학습 알고리즘이 사용되어도 된다. 예를 들어 딥 러닝(심층 학습)을 행하는 AI(인공지능) 등을 사용함으로써 진동 등의 캔슬의 정밀도를 향상시키는 것이 가능해진다.
본 개시에 있어서, 「중앙」 「동등하다」 「수직」 「직교」 등은, 「실질적으로 중앙」 「실질적으로 동등하다」 「실질적으로 수직」 「실질적으로 직교」를 포함하는 개념으로 한다. 예를 들어 「완전히 중앙」 「완전히 동등하다」 「완전히 수직」 「완전히 직교」 등을 기준으로 한 소정의 범위(예를 들어 ±10％의 범위)에 포함되는 상태도 포함된다.
이상 설명한 본 기술에 따른 특징 부분 중 적어도 2가지 특징 부분을 조합하는 것도 가능하다. 즉 각 실시 형태에서 설명한 다양한 특징 부분은, 각 실시 형태의 구별없이, 임의로 조합되어도 된다. 또한 상기에서 기재한 다양한 효과는, 어디까지나 예시이지 한정하는 것은 아니며, 또 다른 효과가 발휘되어도 된다.
또한, 본 기술은 이하와 같은 구성도 채용할 수 있다.
(1) 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부와,
상기 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 취득부와,
상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는 표시 제어부
를 구비하는 화상 표시 시스템.
(2) 상기 (1)에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 상기 화상 표시부의 움직임의 영향을 캔슬하기 위한 화상 표시를 포함하는
화상 표시 시스템.
(3) 상기 (1) 또는 (2)에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 상기 유저에게 있어서, 상기 화상이 상기 유저의 움직임에 대응하여 상대적으로 움직이도록 하기 위한 화상 표시를 포함하는
화상 표시 시스템.
(4) 상기 (1) 내지 (3) 중 어느 하나에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 상기 화상이 상기 화상 표시부의 움직임에 대응하여 움직이는 것을 억제하기 위한 화상 표시를 포함하는
화상 표시 시스템.
(5) 상기 (1) 내지 (4) 중 어느 하나에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 상기 유저의 움직임에 의해 상기 유저가 느끼는 감각과, 상기 유저가 상기 화상을 시청함으로써 느끼는 감각과의 불일치를 억제하기 위한 화상 표시를 포함하는
화상 표시 시스템.
(6) 상기 (1) 내지 (5) 중 어느 하나에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 상기 유저에게 있어서, 경치를 보고 있는 것처럼 상기 화상을 시청하는 것을 가능하게 하기 위한 화상 표시를 포함하는
화상 표시 시스템.
(7) 상기 (1) 내지 (6) 중 어느 하나에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 상기 화상의 표시 상태를 제어하는 것을 포함하는
화상 표시 시스템.
(8) 상기 (7)에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 상기 화상의 표시 사이즈, 상기 화상의 표시 위치, 및 상기 화상의 형상 중 적어도 하나를 제어하는 것을 포함하는
화상 표시 시스템.
(9) 상기 (1) 내지 (8) 중 어느 하나에 기재된 화상 표시 시스템으로서,
상기 화상 표시부는, 상기 화상을 투영하는 화상 투영부와, 상기 화상이 투영되는 피투영부를 가지며,
상기 움직임 정보는, 상기 화상 투영부의 움직임에 관한 움직임 정보, 및 상기 피투영부의 움직임에 관한 움직임 정보의 적어도 한쪽을 포함하는
화상 표시 시스템.
(10) 상기 (9)에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 상기 화상 투영부 및 상기 피투영부 사이의 상대적인 움직임의 영향을 억제하기 위한 화상 표시를 포함하는
화상 표시 시스템.
(11) 상기 (9) 또는 (10)에 화상 표시 시스템으로서,
상기 화상 투영부는, 투영하는 화상의 표시 위치를 광학적으로 이동시키는 것이 가능한 화상 이동 기구를 가지며,
상기 억제용 화상 표시는, 상기 화상 이동 기구의 제어를 포함하는
화상 표시 시스템.
(12) 상기 (9) 내지 (11) 중 어느 하나에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 투영되는 화상의 화상 정보를 처리함으로써, 상기 화상 투영부의 투영 영역 내에 있어서 상기 화상을 이동시키는 것을 포함하는
화상 표시 시스템.
(13) 상기 (11)에 기재된 화상 표시 시스템으로서,
상기 억제용 화상 표시는, 투영되는 화상의 화상 정보를 처리함으로써, 상기 화상 투영부의 투영 영역 내에 있어서 상기 화상을 이동시키는 것을 포함하고,
상기 표시 제어부는, 상기 취득된 움직임 정보에 기초하여 상기 투영되는 화상에 대한 상기 화상 표시부의 움직임의 영향을 검출하고, 상기 검출된 영향에 기초하여 상기 화상 이동 기구의 제어 내용과, 상기 화상 정보의 처리 내용을 각각 설정하는
화상 표시 시스템.
(14) 상기 (13)에 기재된 화상 표시 시스템으로서,
상기 표시 제어부는, 상기 화상 이동 기구의 제어가 상기 화상 정보의 처리에 의해서도 우선되도록, 상기 화상 이동 기구의 제어 내용과, 상기 화상 정보의 처리 내용을 각각 설정하는
화상 표시 시스템.
(15) 상기 (1) 내지 (14) 중 어느 하나에 기재된 화상 표시 시스템으로서,
상기 유저를 태우고 이동시키는 것이 가능한 이동체에 탑재되는
화상 표시 시스템.
(16) 상기 (1) 내지 (14) 중 어느 하나에 기재된 화상 표시 시스템으로서,
상기 유저에게 장착되는 장착체에 탑재되는
화상 표시 시스템.
(17) 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 취득부와,
상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는 표시 제어부
를 구비하는 정보 처리 장치.
(18) 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부의 움직임에 관한 움직임 정보를 취득하고,
상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는
것을 컴퓨터 시스템이 실행하는 정보 처리 방법.
(19) 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 스텝과,
상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는 스텝
을 컴퓨터 시스템에 실행시키는 프로그램.
(20) 유저가 탑승 가능한 탑승부를 포함하는 본체부와,
상기 본체부에 마련되고 화상을 표시 가능한 화상 표시부와,
상기 본체부에 마련된 상기 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 취득부와,
상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는 표시 제어부
를 구비하는 이동체.
1: 화상
2: 유저의 눈
3: 경치
5: 차량
7: 투영 영역
10, 40: 화상 표시 시스템
11, 62, 64, 66, 70, 72: 스크린
12, 61, 63a, 63b, 65, 79, 82, 83a, 83b, 85, 89a, 89b, 92a, 92b: 프로젝터
16: 화상 시프트 소자 제어부
18: 화상 시프트 소자
20, 50: 표시 제어부
31: 프로젝터 운동 센서
41: 스크린 운동 센서
67, 69a, 69b, 71a, 71b, 75, 76a, 76b, 77: 단초점 프로젝터
74, 80, 81: 프론트 윈드 실드 글라스
78: 컴바이너
91: 자동 이륜차(모터사이클)
100: 차량 제어 시스템
200: HMD
202R: 우안용 디스플레이
202L: 좌안용 디스플레이
203L, 203R: 센서부

Claims (20)

  1. 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부와,
    상기 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 취득부와,
    상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는 표시 제어부
    를 구비하는 화상 표시 시스템.
  2. 제1항에 있어서,
    상기 억제용 화상 표시는, 상기 화상 표시부의 움직임의 영향을 캔슬하기 위한 화상 표시를 포함하는
    화상 표시 시스템.
  3. 제1항에 있어서,
    상기 억제용 화상 표시는, 상기 유저에게 있어서, 상기 화상이 상기 유저의 움직임에 대응하여 상대적으로 움직이도록 하기 위한 화상 표시를 포함하는
    화상 표시 시스템.
  4. 제1항에 있어서,
    상기 억제용 화상 표시는, 상기 화상이 상기 화상 표시부의 움직임에 대응하여 움직이는 것을 억제하기 위한 화상 표시를 포함하는
    화상 표시 시스템.
  5. 제1항에 있어서,
    상기 억제용 화상 표시는, 상기 유저의 움직임에 의해 상기 유저가 느끼는 감각과, 상기 유저가 상기 화상을 시청함으로써 느끼는 감각과의 불일치를 억제하기 위한 화상 표시를 포함하는
    화상 표시 시스템.
  6. 제1항에 있어서,
    상기 억제용 화상 표시는, 상기 유저에게 있어서, 경치를 보고 있는 것처럼 상기 화상을 시청하는 것을 가능하게 하기 위한 화상 표시를 포함하는
    화상 표시 시스템.
  7. 제1항에 있어서,
    상기 억제용 화상 표시는, 상기 화상의 표시 상태를 제어하는 것을 포함하는
    화상 표시 시스템.
  8. 제7항에 있어서,
    상기 억제용 화상 표시는, 상기 화상의 표시 사이즈, 상기 화상의 표시 위치, 및 상기 화상의 형상 중 적어도 하나를 제어하는 것을 포함하는
    화상 표시 시스템.
  9. 제1항에 있어서,
    상기 화상 표시부는, 상기 화상을 투영하는 화상 투영부와, 상기 화상이 투영되는 피투영부를 가지며,
    상기 움직임 정보는, 상기 화상 투영부의 움직임에 관한 움직임 정보, 및 상기 피투영부의 움직임에 관한 움직임 정보의 적어도 한쪽을 포함하는
    화상 표시 시스템.
  10. 제9항에 있어서,
    상기 억제용 화상 표시는, 상기 화상 투영부 및 상기 피투영부 사이의 상대적인 움직임의 영향을 억제하기 위한 화상 표시를 포함하는
    화상 표시 시스템.
  11. 제9항에 있어서,
    상기 화상 투영부는, 투영하는 화상의 표시 위치를 광학적으로 이동시키는 것이 가능한 화상 이동 기구를 가지며,
    상기 억제용 화상 표시는, 상기 화상 이동 기구의 제어를 포함하는
    화상 표시 시스템.
  12. 제9항에 있어서,
    상기 억제용 화상 표시는, 투영되는 화상의 화상 정보를 처리함으로써, 상기 화상 투영부의 투영 영역 내에 있어서 상기 화상을 이동시키는 것을 포함하는
    화상 표시 시스템.
  13. 제11항에 있어서,
    상기 억제용 화상 표시는, 투영되는 화상의 화상 정보를 처리함으로써, 상기 화상 투영부의 투영 영역 내에 있어서 상기 화상을 이동시키는 것을 포함하고,
    상기 표시 제어부는, 상기 취득된 움직임 정보에 기초하여 상기 투영되는 화상에 대한 상기 화상 표시부의 움직임의 영향을 검출하고, 상기 검출된 영향에 기초하여 상기 화상 이동 기구의 제어 내용과, 상기 화상 정보의 처리 내용을 각각 설정하는
    화상 표시 시스템.
  14. 제13항에 있어서,
    상기 표시 제어부는, 상기 화상 이동 기구의 제어가 상기 화상 정보의 처리에 의해서도 우선되도록, 상기 화상 이동 기구의 제어 내용과, 상기 화상 정보의 처리 내용을 각각 설정하는
    화상 표시 시스템.
  15. 제1항에 있어서,
    상기 유저를 태우고 이동시키는 것이 가능한 이동체에 탑재되는
    화상 표시 시스템.
  16. 제1항에 있어서,
    상기 유저에게 장착되는 장착체에 탑재되는
    화상 표시 시스템.
  17. 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 취득부와,
    상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는 표시 제어부
    를 구비하는 정보 처리 장치.
  18. 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부의 움직임에 관한 움직임 정보를 취득하고,
    상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는
    것을 컴퓨터 시스템이 실행하는 정보 처리 방법.
  19. 화상을 표시 가능하며, 유저의 움직임과 관련된 움직임을 하는 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 스텝과,
    상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는 스텝
    을 컴퓨터 시스템에 실행시키는 프로그램.
  20. 유저가 탑승 가능한 탑승부를 포함하는 본체부와,
    상기 본체부에 마련되어 화상을 표시 가능한 화상 표시부와,
    상기 본체부에 마련된 상기 화상 표시부의 움직임에 관한 움직임 정보를 취득하는 취득부와,
    상기 취득된 움직임 정보에 기초하여, 상기 화상 표시부의 움직임의 영향을 외부 공간에 대해서 억제하기 위한 억제용 화상 표시를, 상기 화상 표시부에 실행시키는 표시 제어부
    를 구비하는 이동체.
KR1020207025195A 2018-03-19 2019-02-01 화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체 KR102550382B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2018-050844 2018-03-19
JP2018050844 2018-03-19
PCT/JP2019/003672 WO2019181233A1 (ja) 2018-03-19 2019-02-01 画像表示システム、情報処理装置、情報処理方法、プログラム、及び移動体

Publications (2)

Publication Number Publication Date
KR20200131820A true KR20200131820A (ko) 2020-11-24
KR102550382B1 KR102550382B1 (ko) 2023-07-04

Family

ID=67986085

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207025195A KR102550382B1 (ko) 2018-03-19 2019-02-01 화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체

Country Status (5)

Country Link
US (1) US11232769B2 (ko)
EP (1) EP3770898A4 (ko)
KR (1) KR102550382B1 (ko)
CN (1) CN111837175B (ko)
WO (1) WO2019181233A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT202000004891A1 (it) * 2020-03-09 2021-09-09 Ferrari Spa Metodo di assistenza alla guida prestazionale di un veicolo stradale con interfaccia in realta' aumentata
WO2021251115A1 (ja) * 2020-06-08 2021-12-16 パナソニックＩｐマネジメント株式会社 表示システム
US20230186651A1 (en) * 2020-06-19 2023-06-15 Sony Group Corporation Control device, projection system, control method, and program
JP7057053B1 (ja) 2021-03-19 2022-04-19 三菱ロジスネクスト株式会社 荷役システム
DE102021107390A1 (de) * 2021-03-24 2022-09-29 Claas E-Systems Gmbh Landwirtschaftliche Arbeitsmaschine
US11726340B1 (en) 2022-03-28 2023-08-15 Honeywell International Inc. Systems and methods for transforming video data in an indirect vision system
WO2024084951A1 (ja) * 2022-10-19 2024-04-25 ソニーグループ株式会社 プロジェクションシステム、制御装置、および制御方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100419A1 (en) * 2002-11-25 2004-05-27 Nissan Motor Co., Ltd. Display device
US20100066832A1 (en) * 2008-09-18 2010-03-18 Kabushiki Kaisha Toshiba Head up display
JP2017171243A (ja) 2016-03-25 2017-09-28 三菱自動車工業株式会社 車両用モニタ表示システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2767774B2 (ja) * 1990-03-30 1998-06-18 ウシオ電機株式会社 投影露光装置
US7284866B2 (en) * 2005-01-05 2007-10-23 Nokia Corporation Stabilized image projecting device
JP5010202B2 (ja) * 2006-07-31 2012-08-29 Ｎｅｃディスプレイソリューションズ株式会社 プロジェクタおよび投射画像調整方法
JP5060792B2 (ja) * 2007-01-29 2012-10-31 三洋電機株式会社 投写光学系、投写用ユニットおよび投写型表示装置
JP5685499B2 (ja) * 2010-07-09 2015-03-18 株式会社東芝 表示装置、画像データ生成装置、画像データ生成プログラム及び表示方法
JP5360004B2 (ja) * 2010-07-09 2013-12-04 三菱電機株式会社 画像処理装置及び画像処理方法
JP5704313B2 (ja) * 2010-11-16 2015-04-22 セイコーエプソン株式会社 映像表示装置及び映像表示方法
JP5648907B2 (ja) * 2010-11-26 2015-01-07 株式会社ニコン 変倍光学系、及び、光学機器
JP6252002B2 (ja) 2013-07-11 2017-12-27 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
WO2015146805A1 (ja) 2014-03-25 2015-10-01 コニカミノルタ株式会社 投光装置、及び、投光方法
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
DE102014112077A1 (de) 2014-08-22 2016-02-25 Connaught Electronics Ltd. Vorrichtung zur Linderung von Reisekrankheit in einem Kraftfahrzeug
JPWO2016121966A1 (ja) * 2015-01-30 2017-10-19 株式会社ニコン 変倍光学系、光学機器及び変倍光学系の製造方法
WO2018110448A1 (ja) * 2016-12-12 2018-06-21 ソニーセミコンダクタソリューションズ株式会社 投影光学系、画像投影装置、および画像投影システム
JP7077611B2 (ja) * 2017-12-27 2022-05-31 セイコーエプソン株式会社 プロジェクター、マルチプロジェクションシステムおよびプロジェクターの制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040100419A1 (en) * 2002-11-25 2004-05-27 Nissan Motor Co., Ltd. Display device
US20100066832A1 (en) * 2008-09-18 2010-03-18 Kabushiki Kaisha Toshiba Head up display
JP2017171243A (ja) 2016-03-25 2017-09-28 三菱自動車工業株式会社 車両用モニタ表示システム

Also Published As

Publication number Publication date
EP3770898A4 (en) 2021-05-26
WO2019181233A1 (ja) 2019-09-26
CN111837175B (zh) 2023-11-14
US11232769B2 (en) 2022-01-25
KR102550382B1 (ko) 2023-07-04
US20200410963A1 (en) 2020-12-31
CN111837175A (zh) 2020-10-27
EP3770898A1 (en) 2021-01-27

Similar Documents

Publication Publication Date Title
KR102550382B1 (ko) 화상 표시 시스템, 정보 처리 장치, 정보 처리 방법, 프로그램, 및 이동체
CN109032124B (zh) 车辆控制系统、车辆控制方法及存储介质
JP7188397B2 (ja) 画像処理装置及び画像処理方法
US11410634B2 (en) Information processing apparatus, information processing method, display system, and mobile object
JP7371629B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2019116784A1 (ja) 情報処理装置、移動体、制御システム、情報処理方法及びプログラム
US11328379B2 (en) Image processing apparatus and image processing method
JP2019046277A (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7209651B2 (ja) 車両の画像提供システム、および車両の画像提供方法
JP7243714B2 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
US11151775B2 (en) Image processing apparatus, display system, computer readable recoring medium, and image processing method
WO2020116194A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
US20230186651A1 (en) Control device, projection system, control method, and program
KR20170024943A (ko) 가상 영상 생성장치, 헤드 마운티드 디스플레이 및 차량
JP7487178B2 (ja) 情報処理方法、プログラム、及び、情報処理装置
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2024062976A1 (ja) 情報処理装置及び情報処理方法
US20230415652A1 (en) Camera module, information processing system, information processing method, and information processing apparatus
WO2021132250A1 (en) In-vehicle display device and program
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
KR20220127251A (ko) 이동 장치용 시트, 시트 제어 장치 및 시트 제어 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant