JPWO2019124158A1 - 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、表示システム、及び移動体 Download PDF

Info

Publication number
JPWO2019124158A1
JPWO2019124158A1 JP2019560994A JP2019560994A JPWO2019124158A1 JP WO2019124158 A1 JPWO2019124158 A1 JP WO2019124158A1 JP 2019560994 A JP2019560994 A JP 2019560994A JP 2019560994 A JP2019560994 A JP 2019560994A JP WO2019124158 A1 JPWO2019124158 A1 JP WO2019124158A1
Authority
JP
Japan
Prior art keywords
information
user
display
displayed
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019560994A
Other languages
English (en)
Inventor
聰 赤川
聰 赤川
朋成 村上
朋成 村上
祥次 渡邊
祥次 渡邊
綾香 佐藤
綾香 佐藤
長田 浩二
浩二 長田
希 市川
希 市川
真人 太田
真人 太田
佳記 名定
佳記 名定
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019124158A1 publication Critical patent/JPWO2019124158A1/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191Testing thereof
    • H04N9/3194Testing thereof including sensor feedback
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0261Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本技術の一形態に係る情報処理装置は、取得部と、表示制御部とを具備する。前記取得部は、ユーザの姿勢に関する姿勢情報を取得する。前記表示制御部は、前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する。

Description

本技術は、画像の表示を制御する情報処理装置、情報処理方法、プログラム、表示システム、及び移動体に関する。
特許文献1には、利用者の姿勢に合わせて映像コンテンツの表示位置を選択する表示システムが記載されている。この表示システムでは、リクライニング機構を備えた家具等に、利用者の姿勢を検出する姿勢検出手段が設けられる。そして姿勢検出手段により検出された利用者の姿勢に基づいて、複数の表示位置から映像コンテンツを表示する表示位置が選択される。これにより、利用者は楽な姿勢で映像コンテンツを視認することが可能となる(特許文献1の明細書段落[0007][0027][0030][0032]図2等)。
特開2009−92950号公報
このように、ユーザの姿勢等に応じて情報の表示を制御する技術が開発されており、ユーザの使用感を向上しつつ、高いエンタテイメント性を発揮することが可能な技術が求められている。
以上のような事情に鑑み、本技術の目的は、ユーザの使用感を向上しつつ、高いエンタテイメント性を発揮することが可能な情報処理装置、情報処理方法、プログラム、表示システム、及び移動体を提供することにある。
上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、表示制御部とを具備する。
前記取得部は、ユーザの姿勢に関する姿勢情報を取得する。
前記表示制御部は、前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する。
この情報処理装置では、ユーザの周囲の前方から上方にかけて覆うように配置された被表示面に第1の情報と第1の情報とは異なる種類の第2の情報とが表示される。これら互いに種類の異なる第1及び第2の情報は、ユーザの姿勢情報に基づいてその表示位置がそれぞれ制御される。これにより、ユーザの使用感を向上しつつ、高いエンタテイメント性を発揮することが可能となる。
前記第1の情報は、前記ユーザが選択した映像コンテンツ、及び外部の映像の少なくとも一方を含んでもよい。
これにより、映像コンテンツや外部の映像等を被表示面に表示することが可能となり、様々な視聴体験を提供することが可能となる。
前記第2の情報は、前記ユーザへの通知情報、メニュー情報、及び外部の環境情報の少なくとも1つを含んでもよい。
これにより、例えば通知情報等の様々な情報を無理なく提示することが可能となる。
前記表示制御部は、前記ユーザの視野の中心を基準として、前記第1の情報の表示位置を設定してもよい。
例えばユーザの視野の中心等に第1の情報を表示することで、快適な視聴体験を提供することが可能となる。この結果、ユーザの使用感を向上することが可能となる。
前記表示制御部は、前記ユーザの視野の中心を基準として、前記第1の情報が表示される主表示領域を設定してもよい。
これにより、ユーザの視野に合わせて第1の情報を適正に表示することが可能となり、ユーザの使用感を十分に向上することが可能となる。
前記表示制御部は、前記主表示領域を基準として、前記第2の情報の表示位置を設定してもよい。
これにより、第1の情報が表示される主表示領域に合わせて第2の情報を表示することが可能となる。この結果、第2の情報の表示を容易に制御することが可能となる。
前記表示制御部は、前記主表示領域の周縁に前記第2の情報を表示可能であってもよい。
これにより、第1の情報を阻害することなく第2の情報を適正に表示することが可能となり、ユーザの視聴体験を阻害することなく様々な情報を提示することが可能となる。
前記表示制御部は、前記主表示領域に重畳して前記第2の情報を表示可能であってもよい。
これにより、ユーザの視聴体験を阻害することなく様々な情報を容易に提示することが可能となる。
前記姿勢情報は、前記ユーザが使用するシートのリクライニング角度、及び前記ユーザを撮影したユーザ画像の少なくとも一方を含んでもよい。
これにより、ユーザの姿勢等を高精度に検出することが可能となり、第1及び第2の情報の表示位置等を精度よく制御することが可能となる。
前記姿勢情報は、前記ユーザ画像に基づいて検出された前記ユーザの視野に関する視野情報を含んでもよい。
これにより、例えば第1及び第2の情報の表示位置を詳細に制御することが可能となり、ユーザの使用感を十分に向上させることが可能となる。
前記表示制御部は、前記第1及び前記第2の情報の各々と異なる種類の第3の情報の表示を制御することが可能であってもよい。
例えば第3の情報を表示することで、高いエンタテイメント性を発揮することが可能となる。
前記表示制御部は、前記被表示面の、前記第1の情報が表示される主表示領域以外の領域へ、前記第3の情報を表示してもよい。
これにより、被表示面を活用した表示が可能となり、エンタテイメント性の高い視聴体験を提供することが可能となる。
前記第3の情報は、前記主表示領域に表示される前記第1の情報により表現される空間を拡張する拡張画像、及び前記第1の情報に関する付加情報の少なくとも一方を含んでもよい。
これにより、優れたエンタテイメント性を発揮することが可能となる。
前記表示制御部は、前記ユーザが操作入力を行うための操作用画像の表示位置を制御することが可能であってもよい。
操作用画像を表示することで、操作入力を容易に行うことが可能となり、ユーザの使用感を向上することが可能となる。
前記表示制御部は、前記姿勢情報に基づいて、前記ユーザの周囲に前記操作用画像が表示される操作領域を設定してもよい。
これにより、操作用画像を適正な位置に表示することが可能となり、ユーザの使用感を十分に向上することが可能となる。
前記情報処理装置は、さらに、前記姿勢情報に基づいて、音声の出力方向を制御する音声制御部を具備してもよい。
これにより、エンタテイメント性の高い視聴体験を提供することが可能となる。
本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、ユーザの姿勢に関する姿勢情報を取得することを含む。
前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置が制御される。
本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
ユーザの姿勢に関する姿勢情報を取得するステップ。
前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御するステップ。
本技術の一形態に係る表示システムは、表示装置と、被表示面と、取得部と、表示制御部とを具備する。
前記被表示面は、ユーザの周囲を少なくとも前方から上方に向かって覆うように配置される。
前記取得部は、前記ユーザの姿勢に関する姿勢情報を取得する。
前記表示制御部は、前記取得された姿勢情報に基づいて、前記表示装置により前記被表示面に表示される第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する。
本技術の一形態に係る移動体は、ユーザを移動させることが可能な移動体であって、前記表示装置と、前記被表示面と、前記取得部と、前記表示制御部とを具備する。
以上のように、本技術によれば、ユーザの使用感を向上しつつ、高いエンタテイメント性を発揮することが可能となる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の一実施形態に係る車両の内部空間の一例を示す模式図である。 車両の制御を行う車両制御システムの構成例を示すブロック図である。 図2に示す出力制御部の構成例を示すブロック図である。 表示対象面に表示を行うための表示装置の構成例を示す模式図である。 表示対象面への表示制御の基本的な処理例を示すフローチャートである。 表示対象面への表示位置の制御の一例を説明するための模式図である。 主情報、副情報、及び関連情報の表示位置の一例を示す模式図である。 主情報、副情報、及び関連情報の一例を示す模式図である。 副情報の表示パターンの一例を示す模式図である。 地図情報の表示パターンの一例である。 サービスからの通知情報の表示パターンの一例である。 車両からの通知情報の表示パターンの一例である。 メニュー情報の表示パターンの一例である。 設定リストの表示パターンの一例である。 詳細情報の表示パターンの一例である。 コンテンツコントローラの表示パターンの一例である。 副情報の表示方法の一例を示す模式図である。 ユーザによる操作入力の一例を示す模式図である。 操作領域の表示位置の一例を示す模式図である。 操作領域の表示位置の一例を示す模式図である。 操作用画像の表示パターンの一例を示す模式図である。
以下、本技術に係る実施形態を、図面を参照しながら説明する。
[車両の構成]
図1は、本技術の一実施形態に係る車両の内部空間の一例を示す模式図である。車両10は、図示しないエンジンやモータ等の駆動部を含む駆動系システム108(図2参照)を備え、ユーザ1を搭乗させて移動することが可能である。また車両10は、目的地までの自動走行が可能な自動運転機能を備えている。なお車両10は、本実施形態に係る移動体の一例である。
図1では、車両10の進行方向が矢印2を用いて模式的に図示されている。矢印2が示す方向(図中の右方向)が車両10の前方となり、矢印2が示す方向とは反対の方向(図中の左方向)が車両10の後方となる。また車両10の内部には、車両10の前後方向に長い内部空間11が設けられる。内部空間11は、車両10の前方側及び後方側に湾曲した形状を有する。なお図1では、内部空間11の側面の図示が省略されている。
車両10の内部空間11には、搭乗シート12、及び表示対象面13が設けられる。搭乗シート12は、車両10の前方に向けて、内部空間11の底面に設置される。従って車両10に搭乗したユーザ1は、車両10の前方を向いて搭乗シート12に着席することになる。また搭乗シート12は図示しないリクライニング機構を有する。本実施形態では、搭乗シート12は、ユーザ1が使用するシートに相当する。
リクライニング機構は、搭乗シート12の背もたれの角度等を含むリクライニング角度を調整することが可能である。調整されたリクライニング角度は、例えば角度検出センサ等により検出される。なおリクライニング機構により調整可能なリクライニング角度の数や種類等は限定されない。例えば搭乗シート12のヘッドレスト、座面、フットレスト(図示省略)等の角度が適宜調整可能であってもよい。リクライニング機構を用いることで、例えばユーザ1は楽な姿勢で車両10に搭乗することが可能である。
表示対象面13は、ユーザ1の周囲を少なくとも前方から上方に向かって覆うように配置される。図1に示す例では、車両10の内部空間11の壁面に沿って、搭乗シート12(ユーザ1)の前方から上方にかけて表示対象面13が配置される。以下では表示対象面13の下端側(内部空間11の底面側)から、表示対象面13の形状に沿って上端側に向かう方向を表示対象面13の縦方向と記載する。また縦方向と垂直な表示対象面13上の方向を表示対象面13の横方向と記載する。本実施形態では、表示対象面13は、被表示面に相当する。
本開示において、「ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面」とは、例えば着座姿勢のユーザ1の少なくとも前方から頭上に向かって配置された面(表示対象面13)や、少なくとも車両10のフロントウィンドウからセンターピラー(Bピラー)にかけて配置された面(表示対象面13)のことである。従って、表示対象面13は、少なくともユーザ1の前方となる領域(フロントウィンドウ等)からユーザ1の上方となる領域(内部空間11の上面側等)を覆うことになる。例えば、搭乗シート12の背もたれのリクライニング角度を調整してユーザ1の姿勢(腰の角度等)が変化した場合であっても、ユーザ1は表示対象面13を容易に視認することが可能である。すなわち、表示対象面13は、ユーザ1の姿勢の変化に係らず、ユーザ1の視野に適正に収まるように配置されるとも言える。表示対象面13の形状やサイズ等は限定されない。
表示対象面13には、映像コンテンツやユーザ1への通知等を含む様々な情報が表示される。従ってユーザ1は、車両10に搭乗しながら表示対象面13に表示される様々な情報を視認することが可能である。映像コンテンツ等を表示するための構成については、図3等を用いて後に詳しく説明する。
また車両10の内部空間11には、図示しない操作入力部、及び音響システムが設けられる。
操作入力部は、ユーザ1が操作入力を行うための操作用画像を表示する。また操作入力部は、操作用画像を用いたユーザ1の操作入力を検出する。操作入力部としては、例えばセンシング用カメラを備えたプロジェクタ等が用いられる。すなわちプロジェクタにより操作用画像が投影され、センシング用カメラにより操作用画像に対するユーザ1の操作が検出される。操作入力部は、例えば内部空間11の側面や、搭乗シート12の近傍に適宜設置される。操作入力部の構成や設置位置等は限定されない。
図1には、操作用画像が表示される操作領域14が、点線で模式的に図示されている。図1に示す例では、搭乗シート12のアームレスト(肘掛)の周辺に操作領域14が設けられる。ユーザ1は、手元に表示された操作用画像等に従って所定の操作入力を行うことが可能である。なお操作用画像が表示される領域(操作領域14)は、適宜変更することが可能である。この点については後述する。
音響システムは、複数のスピーカで構成される。複数のスピーカは、例えば内部空間11で3次元的に音声等を再生可能なように適宜配置される。これにより、音の聞こえてくる方向や距離等を表現することが可能となる。また本実施形態では、表示対象面13による音波の反射等を利用した音響システムが構成される。これにより、例えばユーザ1の正面に向けて音声等を出力するといった演出が可能となり、臨場感のある音環境を実現することが可能である。
この他、車両10の内部空間11には、ユーザ1を撮影するカメラやユーザ1の生体情報を検出する生体センサ等が適宜設けられる。車両10の内部空間11に設けられる機器等は限定されない。例えば車両10の内部空間11には、後述する入力部101が備える入力装置やデータ取得部102が備えるセンサ類等が適宜配置されてよい。
[車両制御システムの構成]
図2は、車両10の制御を行う車両制御システム100の構成例を示すブロック図である。車両制御システム100は、車両10に設けられ、車両10の各種の制御を行うシステムである。なお、以下、車両10を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、及び、自動運転制御部112を備える。入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、及び、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、又は、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、車両制御システム100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム100の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム100の各部に供給する。
データ取得部102は、車両制御システム100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム100の各部に供給する。
例えば、データ取得部102は、車両10の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、車両10の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置(車外カメラ)を備える。また、例えば、データ取得部102は、天候又は気象等を検出するための環境センサ、及び、車両10の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
さらに、例えば、データ取得部102は、車両10の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、航法衛星であるGNSS(Global Navigation Satellite System)衛星からの衛星信号(以下、GNSS信号と称する)を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置(車内カメラ)、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム100の各部から供給されるデータを送信したり、受信したデータを車両制御システム100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、又は、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(及び、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(High-Definition Multimedia Interface)、又は、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局又はアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバ又は制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、車両10の近傍に存在する端末(例えば、歩行者若しくは店舗の端末、又は、MTC(Machine Type Communication)端末)との通信を行う。さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、車両10と家との間(Vehicle to Home)の通信、及び、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。
また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器104は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両10に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部105は、車両10の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)及び聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力制御部105は、本実施形態に係る情報処理装置に相当し、例えばCPU、RAM、及びROM等のコンピュータに必要なハードウェアを有する。CPUがROMに予め記録されている本技術に係るプログラムをRAMにロードして実行することにより、本技術に係る情報処理方法が実行される。
出力制御部105の具体的な構成は限定されず、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。出力制御部105については、図3等を参照して後に詳しく説明する。
出力部106は、車両10の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ等の音響システム、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。なお、出力部106が備える表示装置は、図1に示す表示対象面13に各種の情報を表示するための表示機構として機能する。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、車両10の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部111は、車両制御システム100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両10の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、車両10の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両10の衝突警告、又は、車両10のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、及び、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143を備える。
車外情報検出部141は、車両制御システム100の各部からのデータ又は信号に基づいて、車両10の外部の情報の検出処理を行う。例えば、車外情報検出部141は、車両10の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部141は、車両10の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車内情報検出部142は、車両制御システム100の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
車両状態検出部143は、車両制御システム100の各部からのデータ又は信号に基づいて、車両10の状態の検出処理を行う。検出対象となる車両10の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシート(搭乗シート12)の位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、及び、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、及び、状況分析部133の状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10の位置及び姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、及び、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、車両10及び周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、及び、状況予測部154を備える。
マップ解析部151は、自己位置推定部132及び車外情報検出部141等の車両制御システム100の各部からのデータ又は信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両10の周囲の信号の位置及び状態、車両10の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、及び、マップ解析部151等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10に関する状況の認識処理を行う。例えば、状況認識部153は、車両10の状況、車両10の周囲の状況、及び、車両10の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、車両10の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる車両10の状況には、例えば、車両10の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、異常の有無及び内容等が含まれる。認識対象となる車両10の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132及び状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152及び状況認識部153等の車両制御システム100の各部からのデータ又は信号に基づいて、車両10に関する状況の予測処理を行う。例えば、状況予測部154は、車両10の状況、車両10の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる車両10の状況には、例えば、車両10の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両10の周囲の状況には、例えば、車両10の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152及び状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、及び、動作計画部163等に供給する。
ルート計画部161は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための車両10の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部162は、計画した車両10の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151及び状況予測部154等の車両制御システム100の各部からのデータ又は信号に基づいて、行動計画部162により計画された行動を実現するための車両10の動作を計画する。例えば、動作計画部163は、加速、減速、及び、走行軌道等の計画を行う。動作計画部163は、計画した車両10の動作を示すデータを、動作制御部135の加減速制御部172及び方向制御部173等に供給する。
動作制御部135は、車両10の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、及び、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、及び、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両10の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両10の動作を計画する。緊急事態回避部171は、計画した車両10の動作を示すデータを加減速制御部172及び方向制御部173等に供給する。
加減速制御部172は、動作計画部163又は緊急事態回避部171により計画された車両10の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
方向制御部173は、動作計画部163又は緊急事態回避部171により計画された車両10の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163又は緊急事態回避部171により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
[出力制御部の構成]
図3は、図2に示す出力制御部105の構成例を示すブロック図である。出力制御部105は、姿勢取得部20と、表示情報制御部21と、操作入力制御部22と、音響制御部23とを有する。例えば、出力制御部105のCPUが所定のプログラムを実行することで、各機能ブロックが構成される。
姿勢取得部20は、ユーザ1の姿勢に関する姿勢情報を取得する。上記したように、搭乗シート12に着席したユーザ1は、リクライニング機構等を用いて、自身の姿勢を調整することが可能である(図1参照)。この時の座面に対するユーザ1の上半身の角度や、ユーザ1の頭部の向き等に関する情報が姿勢情報として取得される。本実施形態では、姿勢取得部20は、取得部に相当する。
本実施形態では、ユーザ1の姿勢情報として、ユーザ1が使用する搭乗シート12のリクライニング角度が読み込まれる。リクライニング角度は、例えば搭乗シート12(リクライニング機構)に設けられた角度センサ30により検出される。リクライニング角度を用いることで、例えばユーザ1の上半身の角度等を容易に算出することが可能である。
またユーザ1の姿勢情報として、ユーザ1を撮影したユーザ画像が読み込まれる。ユーザ画像は、例えば内部空間11に配置された車内カメラ31により撮影される。例えばユーザ画像に基づいて、人物の検出処理等を行うことで、ユーザ1の姿勢を詳細に検出することが可能である。
またユーザ画像に基づいて検出されたユーザ1の視野に関する視野情報が姿勢情報として用いられてもよい。例えば、ユーザ1の頭部3の位置や向き等から、ユーザ1が視認可能な範囲(ユーザ1の視野)が向けられている方向等を検出可能である。このようなユーザ1の視野の方向等を含む視野情報が、ユーザ1の姿勢情報として読み込まれてもよい。姿勢情報の種類等は限定されない。例えば、リクライニング機構により移動される、搭乗シート12の前後方向の位置や、上下方向の高さ等が取得されてもよい。この他、ユーザ1の姿勢を表すことが可能な任意の情報が姿勢情報として用いられてよい。
表示情報制御部21は、ユーザ1の姿勢情報に基づいて、表示対象面13への各種の情報の表示を制御する。表示情報制御部21は、表示内容決定部24と、レイアウト制御部25とを有する。
表示内容決定部24は、表示対象面13に表示される表示内容を決定する。本実施形態では、表示対象面13に対して、主情報及び主情報とは異なる種類の副情報が表示される。主情報とは、例えばユーザ1の主な視聴対象となる情報(メインコンテンツ)である。副情報とは、例えばユーザ1により適宜参照される情報(サブコンテンツ)である。
主情報には、ユーザ1が選択した映像コンテンツが含まれる。例えば、ミュージックライブ、スポーツ、映画、ニュース等の様々な映像コンテンツが主情報として表示される(図8B及び図8C参照)。これらの映像コンテンツは、例えば記憶部111や通信部103から適宜読み込むことが可能である。
また主情報には外部の映像が含まれる。例えば、車外カメラ32等により撮影された車両10の前方の映像(図8A参照)、ビデオ通話を用いた相手の映像、テレビ会議での会議室の映像等の外部の映像が主情報として表示される。
この他、主情報として用いられる情報は限定されない。例えば、車両10(出力制御部105)の起動及び終了のタイミングや、ユーザ1により映像コンテンツが選択されていない場合等にデフォルトで表示される映像が主情報として表示されてもよい。また例えば、機械学習等を用いて、ユーザ1の嗜好等に合わせて自動的に選択された映像コンテンツ等が主情報として表示されてもよい。
副情報には、ユーザ1への通知情報が含まれる。例えばユーザ1に対してメール等の受信や電話の着信等を通知するためのアイコン等が副情報として表示される。また車両10の異常や、経路の変更等を知らせる通知情報が適宜表示されてよい。
また副情報には、メニュー情報が含まれる。メニュー情報は、例えばユーザ1による操作入力が行われる場合に表示される情報であり、選択肢等を含む選択画像やパラメータ等を設定するための設定画像等を含む。また副情報には、外部の環境情報が含まれる。例えば内部空間11の外の状況に関する情報(気温、天気等)や、車両10の速度や現在位置の情報等が外部の環境情報として表示可能である。
副情報として用いられる情報は、これらの情報には限定されない。例えば、ユーザ1の生体情報(脈拍、血圧等)を示す情報が副情報として表示されてもよい。また、主情報として表示された映像コンテンツの詳細情報や、近隣の商店・飲食店等についての詳細情報等が副情報として表示されてもよい。また、機械学習等を用いて、ユーザ1の嗜好等に合わせて自動的に選択された任意の情報等が副情報として表示されてもよい。
このように、主情報及び副情報は、互いに種類の異なった情報である。本実施形態では、主情報は、第1の情報に相当し、副情報は、第2の情報に相当する。
例えば表示内容決定部24は、主情報として表示対象面13に表示する情報と、副情報として表示対象面13に表示する情報とをそれぞれ決定する。すなわち、表示内容決定部24は、表示対象面13に表示される主情報及び副情報をそれぞれ選択するとも言える。
主情報及び副情報の選択は、例えば表示対象面13への表示に関する所定の指示情報に基づいて実行される。所定の指示情報には、操作入力を介したユーザ1による指示、通信部103等を介して受信された外部からの指示、所定のプログラム等に基づく車両10からの指示等が含まれる。この他、指示情報を生成する方法等は限定されない。
また表示対象面13には、主情報及び副情報の各々と異なる種類の関連情報が表示される。関連情報としては、典型的には主情報の内容に関連した情報が用いられる。例えば表示内容決定部24は、表示対象面13に表示すると決定した主情報と関連する関連情報を選択することが可能である。本実施形態では、関連情報は、第3の情報に相当する。表示内容決定部24による決定結果は、レイアウト制御部25に出力される。
レイアウト制御部25は、ユーザ1の姿勢情報に基づいて、表示対象面13への、主情報及び主情報とは異なる種類の副情報の各々の表示位置を制御する。すなわち、ユーザ1の姿勢に応じて、表示対象面13における主情報の表示位置と副情報の表示位置とがそれぞれ設定されるとも言える。
またレイアウト制御部25は、表示対象面13における主情報及び副情報の表示サイズを制御することが可能である。例えば、主情報及び副情報をそれぞれ拡大・縮小することで、各情報の表示サイズを調整するといった処理が実行される。以下では、表示対象面13において、主情報が表示される領域を主表示領域と記載し、副情報が表示される領域を副表示領域と記載する。またレイアウト制御部25は、関連情報の表示位置及び表示サイズを制御することが可能である。関連情報は、例えば主情報が表示される主表示領域に応じて表示される。
このように、レイアウト制御部25により、ユーザ1の姿勢情報に基づいて、表示対象面13に表示される主情報、副情報、及び関連情報の各々のレイアウト(表示位置及び表示サイズ等)が設定される。このレイアウトに基づいて各情報を表示するための画像情報が生成される。生成された画像情報は、表示対象面13に表示を行うための表示装置33に出力される。
図4は、表示対象面13に表示を行うための表示装置33の構成例を示す模式図である。図4Aでは、表示装置33としてプロジェクタ36が用いられる。プロジェクタ36が用いられる場合、表示対象面13はスクリーン15として構成される。すなわち、車両10の内部空間11には、ユーザ1の周囲を少なくとも前方から上方に向かって覆うように配置されたスクリーン15が設けられる。
プロジェクタ36は、例えば車両10の内部空間11に、スクリーン15(表示対象面13)に対して画像を投影可能なように適宜配置される。図4Aに示す例では、搭乗シート12の後側の上方に配置されたプロジェクタ36によりスクリーン15に向けて画像が投影される。このように、プロジェクタ36を用いることで、例えば所望の表示対象面13を容易に構成することが可能である。
なおプロジェクタ36の配置や数等は限定されない。例えば、短焦点のプロジェクタ36等を用いてユーザ1の足元から画像を投影するといった構成が採用されてもよい。また例えば複数のプロジェクタ36を使って、スクリーン15の領域ごとに画像を投影するといった構成が採用されてもよい。これにより、明るい画像表示等を容易に実現することが可能である。
図4Bでは、表示装置33として複数の平面ディスプレイ37が用いられる。この場合、各平面ディスプレイ37の表示面が、表示対象面13として機能することになる。複数の平面ディスプレイ37は、例えばユーザ1の周囲を少なくとも前方から上方に向かって覆うようにそれぞれ配置される。図4Bに示す例では、内部空間11の内壁に沿って、互いに隣接して配置された3つの平面ディスプレイ37が図示されている。
このように、複数の平面ディスプレイ37を配置することで、ユーザ1の前方から上方までを覆う表示対象面13を容易に実現することが可能である。また例えば、他の用途に用いられる平面ディスプレイ37等を転用することが可能となり、装置の製造コスト等を抑制することが可能となる。なお表示対象面13を構成する平面ディスプレイ37の数や配置等は、例えば車両10の内部空間11の形状やサイズ等に応じて適宜設定されてよい。
図4Cでは、表示装置33として曲面ディスプレイ38が用いられる。の場合、曲面ディスプレイ38の表示面が、表示対象面13として機能することになる。従って、車両10の内部空間11には、ユーザ1の周囲を少なくとも前方から上方に向かって覆うように配置された曲面ディスプレイ38が配置される。
曲面ディスプレイ38としては、例えば液晶や有機EL(Electro-Luminescence)等を用いた任意のディスプレイ装置が用いられてよい。曲面ディスプレイ38を用いることで、解像度の高い高品質な画像を表示することが可能となり、没入感の高い視聴体験を提供することが可能となる。
この他、表示対象面13及び表示装置33の具体的な構成等は限定されない。例えば内部空間11の前方にフロントウィンドウ等が設けられるとする。この場合フロントウィンドウに液晶シャッター等の遮光機能を付加することで、投影用のスクリーン15(表示対象面13)とフロントウィンドウとの両方の機能を持たせることが可能である。例えばこのような構成が採用されてもよい。本実施形態では、表示装置33及び出力制御部105により、表示システムが実現される。
図3に戻り、操作入力制御部22は、ユーザ1が操作入力を行うための操作用画像の表示位置を制御する。具体的には、ユーザ1の姿勢情報に基づいて、操作用画像の表示位置が算出される。従って、操作用画像が表示される位置は、ユーザ1の姿勢に合わせて変化することになる。操作用画像の表示位置の情報は、車両10の内部空間11の所定の位置に配置された操作入力部34に出力される。そして操作入力部34に備えられたプロジェクタにより、操作入力制御部22により算出された表示位置に操作用画像が投影される。本実施形態では、表示情報制御部21及び操作入力部34により、表示制御部が実現される。
音響制御部23は、ユーザ1の姿勢情報に基づいて、音声の出力方向を制御する。すなわちユーザ1の姿勢に合わせて、音声が聞こえてくる方向が適宜変更される。例えば内部空間11に配置された複数のスピーカ(音響システム35)の角度等が調整される。また例えば、各スピーカに出力される音声信号について、音量制御、波形制御、及び帯域制御(イコライジング)等の音響制御が実行される。この他、音声の出力方向を制御する方法等は限定されない。本実施形態では、音響制御部23は、音声制御部に相当する。
図5は、表示対象面への表示制御の基本的な処理例を示すフローチャートである。図5に示す処理は、例えば、ユーザ1が車両10に搭乗し、車両10が起動されたタイミングで開始されるループ処理である。またこの処理は、例えば、運転を終了するための操作が行われたときに終了する。
表示内容決定部24により、表示対象面13に表示される表示内容が決定される(ステップ101)。例えば表示対象面13への表示に関する所定の指示情報に基づいて、表示対象面13に表示される主情報、副情報、及び関連情報をそれぞれ決定する処理が実行される。
図5に示すループ処理が実行されている間、ユーザ1による指示、外部からの指示、及び車両10による指示等に基づいて様々な指示情報が生成される。例えば表示内容決定部24により、ステップ101が実行されるタイミングで読み込まれている指示情報に基づいて、主情報、副情報、及び関連情報がそれぞれ選択される。
また、指示情報の内容が直前のループ処理で用いられた内容と同じ場合、すなわち指示情報が変更されていない場合等には、直前のループ処理と同様の表示内容(主情報、副情報、及び関連情報)が選択される。
なお、指示情報には、主情報を表示しない旨の指示、副情報を表示しない旨の指示、及び関連情報を表示しない旨の指示等が含まれる場合があり得る。従って、例えば主情報及び副情報のみを表示し関連情報を表示しない、あるいは主情報及び関連情報のみを表示し副情報を表示しないといった表示内容が決定されることもあり得る。
このように、表示内容決定部24は、ユーザ1等からの指示に合わせて表示対象面13に表示される表示内容を適宜制御することが可能である。
姿勢取得部20により、ユーザ1の姿勢情報が取得される(ステップ102)。例えば搭乗シート12の角度センサ30により検出されたリクライニング角度が読み込まれる。また車内カメラ31により撮影されたユーザ画像が読み込まれる。
レイアウト制御部25により、ユーザ1の姿勢情報に基づいて、表示対象面13への表示位置が制御される(ステップ103)。
図6は、表示対象面13への表示位置の制御の一例を説明するための模式図である。図6には、搭乗シート12と、搭乗シート12を使用するユーザ1の頭部3と、表示対象面13とが模式的に図示されている。図6の右側の図では、ユーザ1は背もたれを起こし車両10の前方を向いて着席している。図6の中央の図では、ユーザ1は背もたれを傾けて着席している。図6の左側の図では、ユーザ1は背もたれをフラットに倒して仰向けの状態となっている。
本実施形態では、ユーザ1の視野の中心を基準として、主情報の表示位置が設定される。本開示では、ユーザ1の視野の中心は、ユーザ1の視野の実質的な中心を含む。図6では、ユーザ1の視野4が点線で模式的に図示されている。またユーザ1の視野4の中心に向けられたユーザ1の視線方向(中心視線方向5)が矢印で模式的に図示されている。
図6に示すように、ユーザ1が搭乗シート12のリクライニング角度を変化させると、ユーザ1の視野4(中心視線方向5)が変化し、ユーザ1が視認可能な表示対象面13の範囲が変化する。従って、ユーザ1の視野4の中心を基準とすることで、ユーザ1の姿勢が変化した場合であっても、主情報が視野4内に適正に収まるように、主情報の表示位置を適宜設定することが可能である。なお、ユーザ1の視野4が表示対象面13のどの範囲に向けられているかといった情報は、ユーザ1の姿勢情報に基づいて算出可能である。
本実施形態では、レイアウト制御部25により、ユーザ1の視野4の中心を基準として、主情報が表示される主表示領域が設定される。例えばユーザ1の視野4の中心と、主情報が表示される主表示領域の中心とが略一致するように、主情報のレイアウト(表示位置・表示サイズ等)が適宜設定される。これにより、ユーザ1の正面にメインコンテンツ(主情報)を表示することが可能となり、ユーザ1は容易にメインコンテンツを視認することが可能となる。なお、図6では、表示対象面13における主表示領域40が点線により模式的に図示されている。
主表示領域40等を設定する方法は限定されない。例えば、リクライニング角度及びユーザ画像から、ユーザ1の頭部3の向き(中心視線方向5)等が算出される。そして中心視線方向5が、表示対象面13と交差する位置が算出される。例えば表示対象面13の交差位置が、主表示領域40の中心に設定される。これにより、実際のユーザ1の姿勢に合わせて、高精度に主情報を表示させることが可能である。
またユーザ1の姿勢や視線の方向等を算出することなく、主表示領域40を設定することも可能である。例えば、搭乗シート12のリクライニング角度と、その角度に応じた主情報の表示位置等が予め記録されたテーブル等が用いられてもよい。このようなテーブルを適宜参照することで、現在のリクライニング角度にあった主情報の表示位置等を容易に設定することが可能である。
なお、ユーザ1の姿勢の変化が小さい場合や、一時的な変化である場合等には、主表示領域40の設定を維持するといった処理が実行されてもよい。例えば、リクライニング角度の変化が小さい場合、あるいはユーザ1が一時的に首を曲げる等の動作を行った場合には、主情報の表示位置を変化させない。このような処理が実行されてもよい。これにより、表示位置が頻繁に変化するといった状況を回避することが可能となり、安定した視聴体験を提供することが可能である。
主表示領域40が設定されると、主表示領域40を基準として、副情報の表示位置が設定される。また主情報と関連する関連情報は、表示対象面13の主情報が表示される主表示領域40以外の領域へ表示される。従って、副情報の表示位置及び関連情報の表示位置は、ユーザ1の姿勢に応じて変化することになる。副情報及び関連情報の表示位置等については、図7及び8等を用いて、後に詳しく説明する。
このように、本実施形態では、ユーザ1の姿勢情報に基づいて、表示対象面13に表示される主情報、副情報、及び関連情報の各々の表示位置等が適宜制御される。別の観点では、出力制御部105は、ユーザ1の姿勢に合わせて、表示対象面に表示される表示内容の全体のレイアウトを適宜制御することが可能であるとも言える。
図7は、主情報、副情報、及び関連情報の表示位置の一例を示す模式図である。図7Aでは、車両10の前方の映像(移動風景)が主情報41として表示される。図7Bでは、ミュージックビデオが主情報41として表示される。図7Cでは、花火の映像が主情報41として表示される。
図8は、主情報41、副情報42、及び関連情報43の一例を示す模式図である。図8A〜図8Cの左側には、図7A〜図7Cで用いられる主情報41、副情報42、及び関連情報43の表示例が模式的に図示されている。また図8A〜図8Cの中央には主情報41及び関連情報43の模式図が示されており、図8A〜図8Cの右側には主情報41の模式図が示されている。なお、図8に示す各図の外枠は、表示対象面13の外枠に対応している。
図7Aでは、ユーザ1は、車両10の前方に向かって搭乗シート12に座っている。従ってユーザ1の視野4は車両10の前方に向けられる。このユーザ1の視野4の中心を基準として、車両10の外部の映像である移動風景(主情報41)がユーザ1の正面に表示されるように主表示領域40が設定される。
主表示領域40の外側には、関連情報が表示される。図8Aの右側に示すように、表示対象面13では移動風景の上側には余剰領域44が生じる。この余剰領域44に対して、図8Aの中央に示すように、主情報41(移動風景)に関連する関連情報(空の画像等)が表示される。このように、主表示領域40に表示される主情報41により表現される空間を拡張する拡張画像45を関連情報43として用いることが可能である。
拡張画像45を生成する方法等は限定されない。例えば図8Aの移動風景の映像の上端に自然に接続することが可能な空の画像等が生成される。これにより、主表示領域40の外側まで拡張画像45を自然に広げることが可能である。また、移動風景における空の色等が解析され、移動風景の空の色になじむような色合いの空の画像が拡張画像45として生成される。これにより、表示対象面13の全体にわたって、移動風景が表示されているような視覚効果を発揮することが可能となり、開放的な空間を演出することが可能となる。
レイアウト制御部25は、主表示領域40の周縁に副情報42を表示可能である。ここで主表示領域40の周縁とは、例えば主表示領域40の中心から外れた位置であり、主表示領域40の内側、領域の境界、及び外側等を含む。またレイアウト制御部25は、主表示領域40に重畳して副情報42を表示可能である。これにより、ユーザ1が容易に視認可能な位置に副情報42を表示することが可能となり、ユーザビリティを向上することが可能である。
図7Aに示す例では、主表示領域40の中心の下側の位置に、副情報42を表示する副表示領域46が設定される。すなわち、副表示領域46は、ユーザ1の視野4の中心の下側に設定される。副表示領域46をユーザ1の視野4の中心の下側に設定することで、ユーザ1は例えば目線を少しずらすことで、容易に副情報42を参照することが可能である。なお、実際の表示では、副表示領域46を表す枠等は表示されない。
また例えば、副表示領域46は、主表示領域40の外側で、かつ平均的なユーザ1の視野の範囲内に収まる領域に適宜設定することが可能である。すなわち、主表示領域40に表示される主情報41の視聴を阻害することなく、かつ、ユーザ1が副情報42を容易に参照可能なように、副表示領域46が設定されてもよい。この他、主表示領域40の中心の上側、左側、及び右側といった、主表示領域40の中心から外れた位置に副情報42の表示位置を設定することが可能である。副情報42の表示位置を設定する方法等は限定されない。例えば人間工学等に基づいて、ユーザ1が容易に視認可能であり、かつ主情報41の視聴に影響を及ぼさない表示位置等に副表示領域46が設定されてもよい。また主情報41の種類等に応じて、副情報42の表示位置等が適宜設定されてもよい。例えば、主情報41として、ユーザ1が集中して視聴するような映像コンテンツ(映画、TV番組、ミュージックビデオ等)が表示される場合には、副情報42は主表示領域40の外側に表示される。また主情報41として、車両10の内部空間11を演出するための映像コンテンツ(花火、山の風景、BGV(Background Video)等)表示される場合には、副情報42は主表示領域40に重畳して表示される。このような処理が実行されてもよい。
図7Bに示す例では、ユーザ1により選択されたミュージックビデオが主情報41として表示される。ミュージックビデオが表示される主表示領域40はユーザ1の前方に設定される。従ってユーザ1の上方側の表示対象面13に余剰領域44ができる。この場合、図8Bの右側及び中央に示すように、ミュージックビデオに関連した関連情報43として、ステージを照らす照明等の画像(拡張画像45)が用いられる。これによりステージの上方の空間が拡張されたような視覚効果を実現することが可能である。
また例えば、ユーザ1が搭乗シート12の背もたれを倒し、ユーザ1の視野4が上側にシフトすると、視野4のシフトに合わせて主表示領域40が上側にシフトする。この結果、表示対象面13の下側に余剰領域44ができることもあり得る。このような場合、例えばステージの手前でライブを盛り上げる観客等の画像が新たに関連情報43として表示される。
またミュージックビデオの視聴中にユーザ1に対してビデオ通話がかかってきたとする。この場合、図8Bの左側に示すように、ビデオ通話を知らせるアイコン等が副情報42として表示される。このように、様々な通知情報が副情報42として表示可能である。
ユーザ1は、操作用画像60等を介して所定の入力操作が実行することで、ビデオ通話を開始あるいは拒否することが可能である。例えばビデオ通話が開始された場合には、通話する相手の映像が主情報41として選択され、表示対象面13に表示される。このような処理が実行されてもよい。
図7Cに示す例では、花火の映像が主情報41として表示される。また搭乗シート12がリクライニングされており、ユーザ1の視野4は斜め上方に向けられている。従って花火の映像が表示される主表示領域40は表示対象面13の上側に設定され、表示対象面13の下側には関連情報43が表示される。
図8Cの右側及び中央に示すように、花火の映像の関連情報43として例えば山の風景等を含む拡張画像45が表示される。これにより、花火の映像の下側の空間を拡張することが可能である。
花火の映像では、花火を打ち上げる音や、花火が炸裂する音等が再生される。このような場合、例えば音響制御部23により、ユーザ1の姿勢情報に基づいて、ユーザ1の上半身の傾きや頭部の位置等が検出される。そして、検出されたユーザ1の姿勢に合わせて、音声の出力方向が適宜制御される。
例えば花火を打ち上げる音はユーザ1の足元から聞こえるように出力し、花火が炸裂する音はユーザ1の正面から聞こえるように出力するといった制御が実行される。これにより、臨場感のある音響空間が実現され、優れたエンタテイメント性を発揮することが可能となる。
また花火の映像を視聴している最中に、ユーザ1により操作入力が行われるとする。この場合、図8Cの左側に示すように、各種の選択肢等を表すアイコン等を含むメニュー情報が副情報42として表示される。なお、図8Cの左側の表示例は、ユーザ1が背もたれを倒している場合の表示例であり、ユーザ1の視野は花火の映像が表示される範囲に向けられる。従って副情報42は、ユーザ1の視野の中心の下側に表示される。
なお、ユーザ1による操作入力が所定の期間内に検出されなかった場合には、副情報42を消して、主情報41及び関連情報43のみを表示するといった処理が実行されてもよい。これにより、ユーザ1は、拡張された花火の映像だけを視聴することが可能となり、余分な表示を気にすることなく視聴体験を継続することが可能となる。
図7及び図8で説明した主情報、副情報、及び関連情報の他にも様々な表示を行うことが可能である。例えば野球やサッカー等のスポーツ中継のライブ映像等がメインコンテンツ(主情報41)として表示されてもよい。この場合、関連情報43として、例えば試合に出場している選手の氏名やポジション等の付加情報を示す画像等を用いることが可能である。このように、関連情報43は、主情報41に関する付加情報を含んでもよい。これにより、例えばユーザ1が要求している情報等を同時に表示するといったことが可能となり、エンタテイメント性の高い視聴体験を提供することが可能となる。
図9〜図16は、副情報42の表示パターンの一例を示す模式図である。なお図9〜図16の外枠は副表示領域46を表す。実際の表示では、副表示領域46を表す枠等は表示されない。
図9は、車体情報50、時間情報51、及びユーザ1の生体情報52の表示パターンの一例である。図9では車体情報として、車両10の速度を表示する円形のインジケータ、バッテリー残量、後続可能距離等が表示される。この他、車体情報として、モータやエンジンの回転数、車両10の位置や方位等が表示されてもよい。
また図9の中央には、現在時刻が表示される。この他、目的地への到着予想時刻や、移動に要する時間等が表示されてもよい。図9の左側には、ユーザ1の生体情報52が表示される。例えば、ユーザ1の血圧、心拍数、心拍のタイミング等が生体センサにより適宜取得され、グラフィカルに表示される。この他、ユーザ1の体温や血中酸素量等様々な生体情報52が表示されてよい。
例えば、図9に示す副情報42は、車両10(表示対象面13)の初期起動時に表示される。すなわち、図9に示すような表示が車両10の起動時にデフォルトで表示される。このような処理が実行されてもよい。
図10は、地図情報53の表示パターンの一例である。図10の左側及び中央には、図9で説明した車体情報50及び時間情報51が表示される。また図10の右側には、車両10の周辺の地図や車両10の現在位置等を表すナビゲーション画像が表示される。地図情報 の具体的な構成は限定されない。
例えば、図10に示す副情報42は、車両10が走行を開始したタイミングで表示される。すなわち、図9に示す生体情報52が、車両10が走行を開始すると図10に示す地図情報53に切り替わる、このような処理が実行されてもよい。
図11は、サービスからの通知情報54の表示パターンの一例である。例えばビデオ通話サービスにより、外部から通話要求が受信されると、図11に示すような通知情報を表すアイコンが表示される。また通話要求を受けるために必要な操作(例えば所定の位置をタップする操作等)を表すメッセージ等が一緒に表示されてもよい。
図12は、車両10からの通知情報54の表示パターンの一例である。例えば車両10が目的地に到着した場合に、到着を知らせる旨のメッセージ等が表示される。このように、表示対象面13では、ユーザ1への通知情報54がサブコンテンツ(副情報42)として適宜表示される。これにより、ユーザ1は、必要な通知を適宜参照することが可能となる。
図13は、メニュー情報55の表示パターンの一例である。図13に示す例では、選択肢を表すアイコンが複数表示される。中央のアイコンは、選択対象とされている選択肢を表している。例えばユーザ1が所定の位置でスワイプ操作等を行うことで、選択対象となる選択肢を変更することが可能である。
アイコンの内側には、例えば選択肢の内容を表すサムネイル等が表示される。これにより、直感的にメニューを選択することが可能となり、操作性を向上することが可能となる。また表示対象面13には、選択を決定するために必要な操作を表すメッセージ等が表示される。これにより、ユーザ1は表示対象面13を視認しながら、メッセージに従って手元の操作を行うことが可能となる。
図14は、設定リストの表示パターンの一例である。設定リストでは、表示対象面13での表示に関する設定項目や、音響に関する設定項目、車両10の動作に関する設定項目等の各種の設定項目を確認することが可能である。図14では、設定項目のオン/オフの状態や、設定されている数値等が確認可能である。
図15は、詳細情報の表示パターンの一例である。例えば副情報42として、ユーザ1が選択したコンテンツや、車両10周辺の店舗等に関する詳細情報が表示可能である。図15に示す例では、アイコン(サムネイル)とテキストとにより詳細情報が表示される。これに限定されず、例えば写真や動画等が詳細情報として表示されてもよい。
図16は、コンテンツコントローラの表示パターンの一例である。例えばユーザ1により選択された映像コンテンツ等が再生される場合に、コンテンツコントローラ等を用いて、映像コンテンツの停止/再生や、巻戻し/早送り等の制御が実行される。このような情報がサブコンテンツ(副情報42)として表示されてもよい。
なお、副情報42の表示パターンは、図9〜図16に示す表示パターンに限定されない。例えば副情報42の種類に応じた任意の表示パターンが表示対象面13に表示可能であってもよい。また副情報42が表示される範囲(副表示領域46)のサイズ等も限定されず、表示される副情報42の数や、表示パターン61の形状に応じて、副表示領域46を適宜設定することが可能である。
図17は、副情報42の表示方法の一例を示す模式図である。図17では、副情報42が表示される際に、アニメーションが用いられる。例えば副情報42の表示位置(副表示領域46)がユーザ1の視野4の中心の下側等に設定されているとする。例えば副情報42は、ユーザ1の視野4の外側(画面の下側)から、設定された表示位置に向けて移動するように表示される。
また副情報42は、表示位置に近づくにつれて、色が濃くなる(透明度が下がる)ように表示される。すなわち、副情報42が表示位置に向けて視野4の外側からフェードインするアニメーションが表示される。このようなアニメーションを用いることで、ユーザが視聴している映像コンテンツ等を邪魔しないように、ユーザ1の視認可能な範囲(視界最適エリア)に向けて副情報42を表示させることが可能となる。
また徐々に色を濃くする視覚効果等を用いることで、主情報41等になじむように副情報42を自然に表示することが可能である。また副情報42が移動しながら表示されるため、ユーザ1は容易に副情報42に気付くことが可能となる。
副情報42を表示する方法は限定されない。例えば副情報42を左右方向に移動するようなアニメーションが用いられてもよい。あるいは、副情報42が設定された表示位置から移動することなくフェードイン/フェードアウトするといった処理が実行されてもよい。この他、副情報42を表示する任意の視覚処理が用いられてよい。
図18は、ユーザ1による操作入力の一例を示す模式図である。図18の左側には、搭乗シート12に座るユーザ1が模式的に図示されている。また図18の右側には、ユーザ1が操作入力を行うための操作用画像60が表示される操作領域14が模式的に図示されている。
本実施形態では、操作入力制御部22により、ユーザ1の姿勢情報に基づいて、ユーザ1の周囲に操作用画像60が表示される操作領域14が設定される。ここで、ユーザ1の周囲とは、例えばユーザ1の手が届く範囲等であり、手を使った操作入力等が可能な範囲である。
例えば、姿勢取得部20により読み込まれた、搭乗シート12のリクライニング角度やユーザ画像に基づいて、ユーザ1の手が届く範囲等が算出される。算出された範囲内の、画像が投影可能な領域等に、操作領域14が設定される。
また例えば、搭乗シート12のリクライニング角度と、その角度に応じて設定される操作領域14が予め記録されたテーブル等が用いられてもよい。この場合、現在のリクライニング角度に応じた操作領域14が、テーブルから適宜読み込まれる。このような処理が実行されてもよい。
図18に示す例では、搭乗シート12のアームレスト(肘掛)に操作領域14が設定される。設定された操作領域14の情報は図示しない操作入力部34に出力され、操作入力部34のプロジェクタにより操作領域14に対して操作用画像60が投影される。この結果、ユーザ1は手元に表示された操作用画像60を用いて所定の操作入力を実行することが可能となる。
操作用画像60は、例えばユーザ1の指や手が置かれた位置が操作入力の起点となるように表示される。これにより、上下左右の選択、タッピング等の決定操作、スワイプ操作、及び回転操作等を容易に行うことが可能である。
図18では、操作用画像60として左右の選択アイコンが表示される。例えばユーザ1が左のアイコンに振れる動作を行ったとする。この場合、操作入力部34のセンシングカメラによりユーザ1の動作が検出され、左のアイコンが選択されたと判定される。同様に右のアイコンに振れる動作が行われると、右のアイコンが選択されたと判定される。このように、ユーザ1は操作用画像60に従って手元の動作を行うことで任意の操作入力を行うことが可能である。なお、操作用画像60については、図21を参照して後に詳しく説明する。
またユーザ1が搭乗シート12の背もたれをフラットにした場合、アームレストにおいた手元を見ることが難しくなることが考えられる。このような場合には、ユーザ1が視認可能でありユーザ1の手が届く他の領域(例えば車両10の内部空間11の側面等)に、操作領域14が設定され、設定された操作領域14に操作用画像60が表示される。これにより、ユーザ1の姿勢が変化した場合であっても、ユーザ1は容易に操作入力を実行することが可能となる。
図19及び図20は、操作領域14の表示位置の一例を示す模式図である。図19では、4人乗りの車両10を例に挙げて、操作領域14の表示位置について説明する。車両10には、4つの搭乗シート12a〜12dと、4つの操作入力部34a〜34d(プロジェクタ及びセンシングカメラ)とがそれぞれ設けられる。
操作入力部34a及び操作入力部34bは車両10の右側及び左側のフロントピラー(Aピラー)に設けられる。また操作入力部34c及び操作入力部34dは車両10の右側及び左側のセンターピラー(Bピラー)に設けられる。操作入力部34の設置位置等は限定されない。
1人のユーザ1が車両10に搭乗する場合(左上の図)、当該ユーザ1の周囲に操作領域14が設定される。例えばユーザ1が着席した前列右側の搭乗シート12aに最も近い、右側のフロントピラーに設置された操作入力部34aにより、ユーザ1の周囲に操作用画像60が表示される。
2人のユーザ1が車両10に搭乗する場合(左下の図)、各ユーザ1の周囲にそれぞれ操作領域14が設定される。このとき、前列右側のユーザ1の周辺には、操作入力部34aにより操作用画像60が表示され、前列左側のユーザ1の周辺には、操作入力部34bにより操作用画像60が表示される。なお操作入力部34a(34b)により前列左側(前列右側)のユーザ1の周辺に操作用画像60が表示されてもよい。
3人のユーザ1が車両10に搭乗する場合(右上の図)、後側の搭乗シート12にユーザ1が搭乗する。例えば図19に示すように後側の搭乗シート12c及び12dが隣接されたベンチタイプのシートである場合には、搭乗シート12c及び12dの中間にユーザ1が着席することも考えられる。このような場合、センターピラーに設置された操作入力部34c及び34dのどちらかを用いて、後列中央のユーザ1の周辺に操作用画像60が適宜表示される。
4人のユーザ1が車両10に搭乗する場合(右下の図)、例えば後列右側のユーザ1の周辺には、操作入力部34cにより操作用画像60が表示され、後列左側のユーザ1の周辺には、操作入力部34dにより操作用画像60が表示される。このように、車両10に搭乗する人数や、着席する位置等が変化した場合であっても、搭乗したユーザ1の各々に対して、適正に操作用画像60等を表示することが可能である。
図20には、図19に示す車両10の内部空間11を側面から見た場合の模式図が示されている。なお図20では、図19に示す操作入力部34の図示が省略されている。図20に示すように、操作用画像60は、例えばドアパネル等の内部空間11の側面に表示することが可能である。また後側の搭乗シート12(リアシート)に着席したユーザ1に対しては、前側の搭乗シート12(フロントシート)の背面部等に操作用画像60を表示することも可能である。
操作用画像60の表示位置は限定されない。例えば車両10の側面に設けられたウィンドウが遮光機能等を備えている場合には、ウィンドウに操作用画像60を表示するといったことも可能である。この他、各ユーザ1の姿勢に合わせて、ユーザ1の手が届く任意の位置に操作用画像60が表示されてよい。
図21は、操作用画像60の表示パターンの一例を示す模式図である。図21には、操作用画像60の表示パターン61a〜61fが図示されている。例えばこれらの表示パターン61a〜61fが、操作入力部34のプロジェクタにより、ユーザ1の姿勢に応じてユーザ1の周辺に適宜投影される。なお長方形の外枠は表示されない。
表示パターン61aでは、左右の選択アイコンが表示される。表示パターン61aは、例えば図13に示す選択肢を選択する際に表示される。表示パターン61bでは、上下左右の4つの選択アイコンが表示される。また4つの選択アイコンの中央には、選択を決定するための決定アイコンがテキスト画像(ENTER)により表示される。このように操作用画像60としてテキスト画像が表示されてもよい。
表示パターン61cでは、数字のテキスト画像により表示された選択アイコンが表示される。これにより、選択肢を直接選択するといったことが可能となる。数字の数等は限定されず、例えば0〜9までの数字を表す選択アイコン等が表示されてもよい。これにより数値入力が可能となる。
表示パターン61dでは、パラメータの値等を調整するための調整アイコンが表示される。例えばマイナス(−)及びプラス(+)で表示された調整アイコンを用いることで、映像コンテンツの明るさや音量等のパラメータを容易に調整することが可能である。
表示パターン61eでは、円形のジョグダイヤルが表示される。ユーザ1は、例えばジョグダイヤルの周方向に沿って指先を回転させることで、パラメータの値等を容易に調整することが可能である。表示パターン61fでは、円形のジョグダイヤルの内側に、表示パターン61bに示す選択アイコン及び決定アイコンが表示される。例えばこのような操作用画像が表示されてもよい。
なお、操作用画像60の表示パターンは、図21に示す表示パターン61a〜61fに限定されない。例えば操作入力の種類に応じた任意の表示パターンが操作用画像60として用いられてよい。
以上、本実施形態に係る出力制御部105は、ユーザ1の周囲の前方から上方にかけて覆うように配置された表示対象面13に主情報41と主情報41とは異なる種類の副情報42とが表示される。これら互いに種類の異なる主情報41及び副情報42は、ユーザ1の姿勢情報に基づいてその表示位置がそれぞれ制御される。これにより、ユーザ1の使用感を向上しつつ、高いエンタテイメント性を発揮することが可能となる。
例えばディスプレイ等の表示装置を用いてテレビ番組や映画等を視聴する場合が考えられる。ユーザは、例えばディスプレイ等が設置された位置に注目することになる。この結果、ユーザに無理な姿勢をとらせてしまうといった可能性があり、ディスプレイ等の視聴がユーザの負担になる場合があり得る。
本実施形態では、ユーザ1の前方から上方にかけて覆うように配置された表示対象面13に対して主情報41(メインコンテンツ)と副情報42(サブコンテンツ)とが表示される。主情報41及び副情報42の表示位置は、ユーザ1の姿勢に合わせて適宜調整される。
これにより、ユーザ1が搭乗シート12をリクライニングして、ユーザ1の姿勢が変化した場合であっても、ユーザ1は無理な姿勢をとることなく、必要な情報を見続けることが可能となる。この結果、ユーザ1は楽な姿勢で視聴を継続することが可能となり、ユーザ1の使用感(ユーザビリティ)を十分に向上することが可能である。
また出力制御部105は、主情報41をユーザ1の正面に表示し、副情報42をユーザ1の視野4の中心から外れた位置に表示することが可能である。これにより、メインコンテンツの再生表示を阻害することなく、通知情報54(Notification)等のサブコンテンツを容易に確認することが可能である。この結果、様々な情報をストレスなく扱うことが可能となり、非常に高いユーザビリティを発揮することが可能となる。
表示対象面13には、主情報41に関連する関連情報43が表示される。これにより、表示対象面13の全体にわたってメインコンテンツを拡張して表示するといったことが可能となる。この結果、例えばユーザ1が視線をメインコンテンツから離した場合であっても、エンタテイメント空間に包まれているような感覚となり、映像に対する没入感が阻害されることを回避することが可能である。このように、エンタテイメント性の高い視聴体験を提供することが可能である。
<その他の実施形態>
本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
上記の実施形態では、ユーザの視野の中心から外れた位置に副情報が表示された。これに限定されず、ユーザの視野の中心に副情報が表示されてもよい。例えば重要な通知等が受信された場合には、ユーザの視野の中心に通知情報を表示する。このような処理が実行されてもよい。この他、副情報の表示位置は限定されず、例えば副情報の内容等に応じて表示位置が制御されてもよい。
上記では車両に搭載された出力制御部により、表示対象面への表示制御等を含む、本技術に係る情報処理方法が実行された。しかしながら車両に搭載された出力制御部とネットワーク等を介して通信可能な他のコンピュータとにより、本技術に係る情報処理方法、及びプログラムが実行されてもよい。また車両に搭載された出力制御部と、他のコンピュータとが連動して、本技術に係るコンテンツ提供システムが構築されてもよい。
すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えばユーザの姿勢に関する姿勢情報の取得、及び表示対象面への主情報及び副情報の表示位置の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
すなわち本技術に係る情報処理方法、及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
上記では、移動体の一例として車両を例に説明を行なったが、移動体の種類等に係らず本技術は適用可能である。本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、パーソナルモビリティ、飛行機、船舶、建設機械、農業機械(トラクター)などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
また本開示に係る技術は、移動体に搭載する場合に限定されない。例えば、アミューズメント施設や教育施設で用いられる表示システム等に、本技術が適用されてもよい。また家庭用のホームエンタテイメントシステムとして、表示システムを構築することも可能である。この他、任意の表示システムに対して本技術は適用可能である。
以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
なお、本技術は以下のような構成も採ることができる。
(1)ユーザの姿勢に関する姿勢情報を取得する取得部と、
前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する表示制御部と
を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
前記第1の情報は、前記ユーザが選択した映像コンテンツ、及び外部の映像の少なくとも一方を含む
情報処理装置。
(3)(1)又は(2)に記載の情報処理装置であって、
前記第2の情報は、前記ユーザへの通知情報、メニュー情報、及び外部の環境情報の少なくとも1つを含む
情報処理装置。
(4)(1)から(3)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記ユーザの視野の中心を基準として、前記第1の情報の表示位置を設定する
情報処理装置。
(5)(4)に記載の情報処理装置であって、
前記表示制御部は、前記ユーザの視野の中心を基準として、前記第1の情報が表示される主表示領域を設定する
情報処理装置。
(6)(5)に記載の情報処理装置であって、
前記表示制御部は、前記主表示領域を基準として、前記第2の情報の表示位置を設定する
情報処理装置。
(7)(5)又は(6)に記載の情報処理装置であって、
前記表示制御部は、前記主表示領域の周縁に前記第2の情報を表示可能である
情報処理装置。
(8)(5)から(7)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記主表示領域に重畳して前記第2の情報を表示可能である
情報処理装置。
(9)(1)から(8)のうちいずれか1つに記載の情報処理装置であって、
前記姿勢情報は、前記ユーザが使用するシートのリクライニング角度、及び前記ユーザを撮影したユーザ画像の少なくとも一方を含む
情報処理装置。
(10)(9)に記載の情報処理装置であって、
前記姿勢情報は、前記ユーザ画像に基づいて検出された前記ユーザの視野に関する視野情報を含む
情報処理装置。
(11)(1)から(10)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記第1及び前記第2の情報の各々と異なる種類の第3の情報の表示を制御することが可能である
情報処理装置。
(12)(11)に記載の情報処理装置であって、
前記表示制御部は、前記被表示面の、前記第1の情報が表示される主表示領域以外の領域へ、前記第3の情報を表示する
情報処理装置。
(13)(12)に記載の情報処理装置であって、
前記第3の情報は、前記主表示領域に表示される前記第1の情報により表現される空間を拡張する拡張画像、及び前記第1の情報に関する付加情報の少なくとも一方を含む
情報処理装置。
(14)(1)から(13)のうちいずれか1つに記載の情報処理装置であって、
前記表示制御部は、前記ユーザが操作入力を行うための操作用画像の表示位置を制御することが可能である
情報処理装置。
(15)(14)に記載の情報処理装置であって、
前記表示制御部は、前記姿勢情報に基づいて、前記ユーザの周囲に前記操作用画像が表示される操作領域を設定する
情報処理装置。
(16)(1)から(15)のうちいずれか1つに記載の情報処理装置であって、さらに、
前記姿勢情報に基づいて、音声の出力方向を制御する音声制御部を具備する
情報処理装置。
(17)ユーザの姿勢に関する姿勢情報を取得し、
前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する
ことをコンピュータシステムが実行する情報処理方法。
(18)ユーザの姿勢に関する姿勢情報を取得するステップと、
前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御するステップと
をコンピュータシステムに実行させるプログラム。
(19)表示装置と、
ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面と、
前記ユーザの姿勢に関する姿勢情報を取得する取得部と、
前記取得された姿勢情報に基づいて、前記表示装置により前記被表示面に表示される第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する表示制御部と
を具備する表示システム。
(20)ユーザを移動させることが可能な移動体であって、
表示装置と、
ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面と、
前記ユーザの姿勢に関する姿勢情報を取得する取得部と、
前記取得された姿勢情報に基づいて、前記表示装置により前記被表示面に表示される第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する表示制御部と
を具備する移動体。
1…ユーザ
4…視野
5…中心視線方向
10…車両
12…搭乗シート
13…表示対象面
20…姿勢取得部
21…表示情報制御部
22…操作入力制御部
23…音響制御部
33…表示装置
40…主表示領域
41…主情報
42…副情報
43…関連情報
45…拡張画像
50…車体情報
54…通知情報
55…メニュー情報
60…操作用画像
100…車両制御システム
105…出力制御部

Claims (20)

  1. ユーザの姿勢に関する姿勢情報を取得する取得部と、
    前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する表示制御部と
    を具備する情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記第1の情報は、前記ユーザが選択した映像コンテンツ、及び外部の映像の少なくとも一方を含む
    情報処理装置。
  3. 請求項1に記載の情報処理装置であって、
    前記第2の情報は、前記ユーザへの通知情報、メニュー情報、及び外部の環境情報の少なくとも1つを含む
    情報処理装置。
  4. 請求項1に記載の情報処理装置であって、
    前記表示制御部は、前記ユーザの視野の中心を基準として、前記第1の情報の表示位置を設定する
    情報処理装置。
  5. 請求項4に記載の情報処理装置であって、
    前記表示制御部は、前記ユーザの視野の中心を基準として、前記第1の情報が表示される主表示領域を設定する
    情報処理装置。
  6. 請求項5に記載の情報処理装置であって、
    前記表示制御部は、前記主表示領域を基準として、前記第2の情報の表示位置を設定する
    情報処理装置。
  7. 請求項5に記載の情報処理装置であって、
    前記表示制御部は、前記主表示領域の周縁に前記第2の情報を表示可能である
    情報処理装置。
  8. 請求項5に記載の情報処理装置であって、
    前記表示制御部は、前記主表示領域に重畳して前記第2の情報を表示可能である
    情報処理装置。
  9. 請求項1に記載の情報処理装置であって、
    前記姿勢情報は、前記ユーザが使用するシートのリクライニング角度、及び前記ユーザを撮影したユーザ画像の少なくとも一方を含む
    情報処理装置。
  10. 請求項9に記載の情報処理装置であって、
    前記姿勢情報は、前記ユーザ画像に基づいて検出された前記ユーザの視野に関する視野情報を含む
    情報処理装置。
  11. 請求項1に記載の情報処理装置であって、
    前記表示制御部は、前記第1及び前記第2の情報の各々と異なる種類の第3の情報の表示を制御することが可能である
    情報処理装置。
  12. 請求項11に記載の情報処理装置であって、
    前記表示制御部は、前記被表示面の、前記第1の情報が表示される主表示領域以外の領域へ、前記第3の情報を表示する
    情報処理装置。
  13. 請求項12に記載の情報処理装置であって、
    前記第3の情報は、前記主表示領域に表示される前記第1の情報により表現される空間を拡張する拡張画像、及び前記第1の情報に関する付加情報の少なくとも一方を含む
    情報処理装置。
  14. 請求項1に記載の情報処理装置であって、
    前記表示制御部は、前記ユーザが操作入力を行うための操作用画像の表示位置を制御することが可能である
    情報処理装置。
  15. 請求項14に記載の情報処理装置であって、
    前記表示制御部は、前記姿勢情報に基づいて、前記ユーザの周囲に前記操作用画像が表示される操作領域を設定する
    情報処理装置。
  16. 請求項1に記載の情報処理装置であって、さらに、
    前記姿勢情報に基づいて、音声の出力方向を制御する音声制御部を具備する
    情報処理装置。
  17. ユーザの姿勢に関する姿勢情報を取得し、
    前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する
    ことをコンピュータシステムが実行する情報処理方法。
  18. ユーザの姿勢に関する姿勢情報を取得するステップと、
    前記取得された姿勢情報に基づいて、前記ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面への、第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御するステップと
    をコンピュータシステムに実行させるプログラム。
  19. 表示装置と、
    ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面と、
    前記ユーザの姿勢に関する姿勢情報を取得する取得部と、
    前記取得された姿勢情報に基づいて、前記表示装置により前記被表示面に表示される第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する表示制御部と
    を具備する表示システム。
  20. ユーザを移動させることが可能な移動体であって、
    表示装置と、
    ユーザの周囲を少なくとも前方から上方に向かって覆うように配置された被表示面と、
    前記ユーザの姿勢に関する姿勢情報を取得する取得部と、
    前記取得された姿勢情報に基づいて、前記表示装置により前記被表示面に表示される第1の情報及び前記第1の情報とは異なる種類の第2の情報の各々の表示位置を制御する表示制御部と
    を具備する移動体。
JP2019560994A 2017-12-19 2018-12-11 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体 Pending JPWO2019124158A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017243118 2017-12-19
JP2017243118 2017-12-19
PCT/JP2018/045441 WO2019124158A1 (ja) 2017-12-19 2018-12-11 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体

Publications (1)

Publication Number Publication Date
JPWO2019124158A1 true JPWO2019124158A1 (ja) 2021-01-21

Family

ID=66993327

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019560994A Pending JPWO2019124158A1 (ja) 2017-12-19 2018-12-11 情報処理装置、情報処理方法、プログラム、表示システム、及び移動体

Country Status (5)

Country Link
US (1) US11410634B2 (ja)
JP (1) JPWO2019124158A1 (ja)
CN (1) CN111480194B (ja)
DE (1) DE112018006464T5 (ja)
WO (1) WO2019124158A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111630472A (zh) * 2018-01-26 2020-09-04 索尼公司 信息处理装置、信息处理方法和程序
US11220275B2 (en) * 2018-08-10 2022-01-11 Lg Electronics Inc. Cabin system
USD988334S1 (en) * 2018-11-30 2023-06-06 Sony Corporation Vehicle window with animated graphical user interface
JP7226233B2 (ja) * 2019-10-08 2023-02-21 トヨタ自動車株式会社 車両、情報処理システム、プログラム及び制御方法
DE102019128880A1 (de) * 2019-10-25 2021-04-29 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung für einen Sitz, Sitz und Fahrzeug mit einer solchen Vorrichtung, und Verfahren zur Wiedergabe von Medieninhalten
CN115136184A (zh) * 2020-02-28 2022-09-30 索尼集团公司 图像处理装置、显示系统、图像处理方法和记录介质
CN113615168B (zh) * 2020-02-28 2024-07-09 松下电器(美国)知识产权公司 智能窗户装置、影像显示方法以及记录介质
CN115868155A (zh) * 2020-06-19 2023-03-28 索尼集团公司 控制设备、投影系统、控制方法和程序
US11682136B2 (en) * 2021-01-07 2023-06-20 Htc Corporation Display method, display system and non-transitory computer readable storage medium

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11126153A (ja) * 1997-10-23 1999-05-11 Okinawa Nippon Denki Software Kk ウィンドウシステムの音声再生装置
JP2007164561A (ja) * 2005-12-15 2007-06-28 Sharp Corp オンスクリーンメニューの表示方法
JP2009092950A (ja) * 2007-10-09 2009-04-30 Panasonic Electric Works Co Ltd 表示システム
JP2011090038A (ja) * 2009-10-20 2011-05-06 Sanyo Electric Co Ltd 投写型映像表示装置
US20120075464A1 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
US20160035310A1 (en) * 2014-07-29 2016-02-04 Boe Technology Group Co., Ltd. Display device and its working method
KR20160087654A (ko) * 2015-01-14 2016-07-22 주식회사 도담시스템스 몰입감 디스플레이 시스템 및 그 동작 방법
JP2017156366A (ja) * 2016-02-29 2017-09-07 キヤノン株式会社 画像投射装置
WO2017159063A1 (ja) * 2016-03-14 2017-09-21 ソニー株式会社 表示装置並びに情報処理端末装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8358224B2 (en) * 2009-04-02 2013-01-22 GM Global Technology Operations LLC Point of interest location marking on full windshield head-up display
WO2011015843A2 (en) * 2009-08-07 2011-02-10 Light Blue Optics Ltd Head up displays
KR101334107B1 (ko) * 2010-04-22 2013-12-16 주식회사 굿소프트웨어랩 차량용 멀티미디어 제어를 위한 사용자 인터페이스 장치 및 방법
US20120224060A1 (en) * 2011-02-10 2012-09-06 Integrated Night Vision Systems Inc. Reducing Driver Distraction Using a Heads-Up Display
US8994558B2 (en) * 2012-02-01 2015-03-31 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
US9219901B2 (en) * 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US20140002582A1 (en) * 2012-06-29 2014-01-02 Monkeymedia, Inc. Portable proprioceptive peripatetic polylinear video player
CN104122985A (zh) * 2013-04-29 2014-10-29 鸿富锦精密工业(深圳)有限公司 屏幕影像画面调整系统及方法
JP6209906B2 (ja) * 2013-09-05 2017-10-11 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、画像表示システム
US9690104B2 (en) * 2014-12-08 2017-06-27 Hyundai Motor Company Augmented reality HUD display method and device for vehicle
US9965029B2 (en) * 2015-03-30 2018-05-08 Sony Corporation Information processing apparatus, information processing method, and program
JP6512016B2 (ja) * 2015-07-27 2019-05-15 日本精機株式会社 車両用表示装置
CN108351736B (zh) * 2015-11-02 2022-01-28 索尼公司 可穿戴显示器、图像显示装置和图像显示系统
CN106445104A (zh) * 2016-08-25 2017-02-22 蔚来汽车有限公司 车用hud显示系统及方法
EP3604040A4 (en) * 2017-03-28 2021-01-06 Nippon Seiki Co., Ltd. VEHICLE DISPLAY DEVICE

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11126153A (ja) * 1997-10-23 1999-05-11 Okinawa Nippon Denki Software Kk ウィンドウシステムの音声再生装置
JP2007164561A (ja) * 2005-12-15 2007-06-28 Sharp Corp オンスクリーンメニューの表示方法
JP2009092950A (ja) * 2007-10-09 2009-04-30 Panasonic Electric Works Co Ltd 表示システム
JP2011090038A (ja) * 2009-10-20 2011-05-06 Sanyo Electric Co Ltd 投写型映像表示装置
US20120075464A1 (en) * 2010-09-23 2012-03-29 Stryker Corporation Video monitoring system
US20160035310A1 (en) * 2014-07-29 2016-02-04 Boe Technology Group Co., Ltd. Display device and its working method
KR20160087654A (ko) * 2015-01-14 2016-07-22 주식회사 도담시스템스 몰입감 디스플레이 시스템 및 그 동작 방법
JP2017156366A (ja) * 2016-02-29 2017-09-07 キヤノン株式会社 画像投射装置
WO2017159063A1 (ja) * 2016-03-14 2017-09-21 ソニー株式会社 表示装置並びに情報処理端末装置

Also Published As

Publication number Publication date
US20200312282A1 (en) 2020-10-01
WO2019124158A1 (ja) 2019-06-27
US11410634B2 (en) 2022-08-09
CN111480194B (zh) 2023-08-04
CN111480194A (zh) 2020-07-31
DE112018006464T5 (de) 2020-08-27

Similar Documents

Publication Publication Date Title
US11410634B2 (en) Information processing apparatus, information processing method, display system, and mobile object
KR102599937B1 (ko) 정보 처리 장치 및 정보 처리 방법
US9902403B2 (en) Sensory stimulation for an autonomous vehicle
CN109383404B (zh) 显示系统、显示方法及存储程序的介质
KR20210011416A (ko) 차량 탑승자 및 원격 사용자를 위한 공유 환경
JP7068986B2 (ja) エージェントシステム、エージェント制御方法、およびプログラム
CN111837175B (zh) 图像显示系统、信息处理装置、信息处理方法、程序和移动体
WO2021079975A1 (ja) 表示システム、表示装置、表示方法、及び、移動装置
US20180182261A1 (en) Real Time Car Driving Simulator
JP2020080542A (ja) 車両の画像提供システム、サーバーシステムおよび車両の画像提供方法
JPWO2018087877A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
JPWO2020026825A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
WO2023060528A1 (zh) 一种显示方法、显示设备、方向盘和车辆
KR20170041418A (ko) 차량용 디스플레이 장치 및 그 제어방법
KR101850857B1 (ko) 디스플레이 장치 및 이를 포함하는 차량
KR101807788B1 (ko) 차량용 디스플레이 장치 및 그 제어방법
WO2022085487A1 (ja) カメラモジュール、情報処理システム、情報処理方法、及び、情報処理装置
US20230186651A1 (en) Control device, projection system, control method, and program
WO2021131789A1 (ja) 車両
JP2020130502A (ja) 情報処理装置および情報処理方法
JPWO2019087577A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20240087339A1 (en) Information processing device, information processing system, and information processing method
US20240105052A1 (en) Information management device, information management method and storage medium
JP2024046018A (ja) 情報管理装置、情報管理方法、およびプログラム
CN113085884A (zh) 移动体控制装置、移动体控制方法及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211108

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220816

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221017

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230131