JP7067471B2 - 表示制御装置及び表示制御方法、表示装置、並びに移動体装置 - Google Patents

表示制御装置及び表示制御方法、表示装置、並びに移動体装置 Download PDF

Info

Publication number
JP7067471B2
JP7067471B2 JP2018520736A JP2018520736A JP7067471B2 JP 7067471 B2 JP7067471 B2 JP 7067471B2 JP 2018520736 A JP2018520736 A JP 2018520736A JP 2018520736 A JP2018520736 A JP 2018520736A JP 7067471 B2 JP7067471 B2 JP 7067471B2
Authority
JP
Japan
Prior art keywords
display
window
mode
moving body
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018520736A
Other languages
English (en)
Other versions
JPWO2017208719A1 (ja
Inventor
一馬 吉井
佳記 名定
浩二 長田
武彦 田平
奨 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2017208719A1 publication Critical patent/JPWO2017208719A1/ja
Application granted granted Critical
Publication of JP7067471B2 publication Critical patent/JP7067471B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/66Transforming electric information into light information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0439Pixel structures
    • G09G2300/0456Pixel structures with a reflective area and a transmissive area combined in one pixel, such as in transflectance pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Navigation (AREA)

Description

本明細書で開示する技術は、閉空間における映像の表示を制御する表示制御装置及び表示制御方法表示装置、並びに移動体装置に係り、特に、車両などの移動体の室内における映像の表示を制御する表示制御装置及び表示制御方法、表示装置、並びに移動体装置に関する。
車両の自動運転に関する研究が急速に進められている(例えば、特許文献1を参照のこと)。今後の先進安全運転システム(ADAS)のさらなる普及や、運転者が介在不要となる専用走行レーンやレーン区間を導入するなど社会インフラの整備、さらには、運転者を車両制御から切り離すことを許容するなど法規制の緩和などにより、近い将来に完全自動運転する車両が公道に出現することが予想される。
車両制御から完全に切り離された車両の搭乗者にとって、車室は自宅のリビング・ルームと同じような衣食住の空間である。搭乗者は、車中であることをほとんど意識せずに、読書したり、スマートフォンなどの情報端末を操作したり、車室内に設置されたディスプレイで映画などのコンテンツを鑑賞したり、他の搭乗者と会話や会議をしたりすることが想定される。
車室内で映像を視聴すること自体は既に行なわれている。車室内での映像の視聴にはオンボーデ・ディスプレイやヘッド・アップ・ディスプレイを用いるのが一般的である。例えば、車両の位置において車両の外に見えるであろう風景の画像情報を蓄積装置より取得して窓ガラスに表示させる車載用画像表示装置について提案がなされている(例えば、特許文献2を参照のこと)。また、車両の周囲の状況(周囲の景色や、周囲の人、他車両、障害物などの態様)の検出結果や車両の運転状態に基づいて、車両の周囲の画像を表す画像データを生成して、車両の少なくとも前方の窓部全体に設けられた表示手段に表示する車載用画像表示装置について提案がなされている(例えば、特許文献3を参照のこと)。
特開2015-24746号公報 特開2004-20223号公報 特開2011-181110号公報
本明細書で開示する技術の目的は、車両などの移動体の室内で映像を表示する表示制御装置及び表示制御方法、表示装置、並びに移動体装置を提供することにある。
本明細書で開示する技術は、上記課題を参酌してなされたものであり、その第1の側面は、
移動体の状況を検出する検出部と、
前記検出部の検出結果に基づいて、表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードを有する表示部の表示モードを制御する制御部と、
を具備する表示制御装置である。
本明細書で開示する技術の第2の側面によれば、前記表示部は、前記透過モードと、前記外部の風景の少なくとも一部にコンテンツ映像を重畳し又は前記表示画面全体でコンテンツ映像を表示する非透過モードを有している。そして、第1の側面に係る表示制御装置の前記制御部は、前記検出部の検出結果に応じて、前記表示部を前記透過モード又は前記非透過モードのいずれかに設定するように構成されている。
本明細書で開示する技術の第3の側面によれば、第1の側面に係る表示制御装置において、前記表示部は、前記移動体の内壁面からなる前記表示画面に映像を表示するように構成されている。
本明細書で開示する技術の第4の側面によれば、第1の側面に係る表示制御装置において、前記移動体は窓を備えている。また、前記表示部は、前記窓を含んだ前記移動体の内壁面からなる前記表示画面に映像を表示するように構成されている。
本明細書で開示する技術の第5の側面によれば、第4の側面に係る表示制御装置において、前記窓は、開閉可能である。また、前記表示部は、前記透過モードでは前記窓を開け又は前記窓を含んだ前記表示画面の少なくとも一部で前記移動体の外部の風景を表示し、前記非透過モードでは前記窓を閉じて前記窓を含んだ前記表示画面に表示される前記外部の風景の少なくとも一部にコンテンツ映像を重畳し又は前記表示画面全体でコンテンツ映像を表示するように構成されている。
本明細書で開示する技術の第6の側面によれば、第4の側面に係る表示制御装置において、前記窓は、光を透過する透過状態と光を遮る非透過状態を切り替え可能である。また、前記表示部は、前記透過モードでは前記窓を前記透過状態にして前記移動体の外部の風景が見えるようにし、前記非透過モードでは前記窓の少なくとも一部を前記非透過状態にして前記外部の風景の少なくとも一部にコンテンツ映像を重畳し又は前記窓を含んだ前記表示画面全体にコンテンツ映像を表示するように構成されている。
本明細書で開示する技術の第7の側面によれば、第4の側面に係る表示制御装置において、前記表示部は、前記窓を表示画面に含み、前記透過モードでは前記移動体に搭載されたカメラで撮像した前記移動体の外部の風景の映像を前記窓の枠内に表示し、前記非透過モードでは前記窓の枠内の少なくとも一部にコンテンツ映像を重畳し又は前記窓の枠内全体にコンテンツ映像を表示するように構成されている。
本明細書で開示する技術の第8の側面によれば、第1の側面に係る表示制御装置の前記検出部は、前記移動体の現在位置に関する情報を取得し、前記制御部は、前記移動体の現在位置に基づいて、前記表示部を透過モードから非透過モードに切り替え、又は非透過モードから透過モードに切り替えるように構成されている。
本明細書で開示する技術の第9の側面によれば、第1の側面に係る表示制御装置の前記検出部は、前記移動体の内外の状況若しくは周囲環境に関する情報を取得し、前記制御部は、前記移動体外の状況に基づいて、前記表示部を透過モードから非透過モードに切り替え、又は非透過モードから透過モードに切り替えるように構成されている。
本明細書で開示する技術の第10の側面によれば、第9の側面に係る表示制御装置の前記制御部は、渋滞時であることを前記検出部が検出したことに応じて、前記表示部を非透過モードに切り替えるように構成されている。
本明細書で開示する技術の第11の側面によれば、第7の側面に係る表示制御装置において、前記窓は、開閉可能である。そして、前記移動体に搭載されたカメラで撮像した映像を前記窓の枠内に表示する前記透過モード下では、前記制御部は前記窓の開閉を禁止するように構成されている。
本明細書で開示する技術の第12の側面によれば、第7の側面に係る表示制御装置において、前記窓は、開閉可能である。そして、前記移動体に搭載されたカメラで撮像した映像を前記窓の枠内に表示する前記透過モード下では、前記表示部は、前記窓の開閉位置に連動して前記窓の枠内の表示を変更するように構成されている。
また、本明細書で開示する技術の第13の側面は、
移動体の状況を検出する検出ステップと、
表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードを有する表示部の表示モードを制御する制御ステップと、
を有する表示制御方法である。
また、本明細書で開示する技術の第14の側面は、
移動体の状況を検出する検出部と、
前記移動体に搭載され、表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードを有する表示部と、
前記検出部の検出結果に基づいて、前記表示部の表示モードを制御する制御部と、
を具備する表示装置である。
また、本明細書で開示する技術の第15の側面は、
移動体と、
表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードを有する表示部と、
前記移動体の状況を検出する検出部と、
前記検出部の検出結果に基づいて、前記表示部の表示モードを制御する制御部と、
を具備する移動体装置である。
本明細書で開示する技術によれば、車両などの移動体の室内で映像を表示する表示制御装置及び表示制御方法、表示装置、並びに移動体装置を提供することができる。
なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
図1は、車室の内壁面を全天球ディスプレイとして利用する仕組みを模式的に示した図である。 図2は、表示制御システム200の機能的構成を模式的に示した図である。 図3は、透過モード下のウィンドウの枠内に車載カメラの撮像映像をビデオシースルー表示した様子を示した図である。 図4は、図3との対比として、ウィンドウを全開したときにウィンドウ越しに見える車外の風景を示した図である。 図5は、半開き状態のウィンドウに車載カメラの撮像映像をビデオシースルー表示した様子を示した図である。 図6は、半開き状態のウィンドウに車載カメラの撮像映像をビデオシースルー表示した様子を示した図である。 図7は、パワーウィンドウの開閉位置に連動してビデオシースルー映像の表示を制御するための機能的構成を示した図である。
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
自動運転は、レーダーやLIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、GNSS(Global Navigation Satellite System、例えばGPS(Global Positioning System)など)、車載カメラなどのセンシング・デバイスを用いて車両の周囲環境を認識しながら、指定した目的地まで自律的に走行する運転モードと定義することもできる。但し、以下の説明では、自動運転の厳密な定義にはこだわらないものとする。また、自動運転は、高速道路や、一般道に設定された自動運転車両の専用走行レーンやレーン区間に限定して実施されるものであってもよい。また、車両の自動運転の実現には、社会インフラの整備に加えて、自動車運転に関連する法規制の緩和も必要であるが、以下では、これらの問題が解消したものとして説明する。
車両が自動運転を行なう期間中、運転操作から解放されたドライバーやその他の搭乗者にとって、乗り心地が良く、車室がリラックスできる空間であることが望ましい。勿論、手動運転中の車両やタクシーのような賃走車であっても、搭乗者にとって乗り心地が良く、車室がリラックスできる空間が好ましいことは同様である。
本明細書では、自動運転する車両の利用方法の1つとして、車室の内壁面を全天球ディスプレイにすることを提案する。勿論、自動運転時ではなく、手動運転時や賃走車においても車室の内壁面をディスプレイに用いることができるが、ドライバーの運転操作のために少なくともフロントガラスをディスプレイに利用することはできなくなる。
図1には、車室の内壁面を全天球ディスプレイとして利用する仕組みを模式的に示している。但し、図面の簡素化のため、車室100の内壁面を直方体として描いている。
車室100には、複数台のプロジェクター110-1、110-2、…、110-Nが設置されており、各プロジェクターから画像を投影して、車室100の内壁面に全天球映像を表示することができる。但し、本明細書で言う全天球映像は、必ずしも360度の映像を表示する必要はなく、一部の視野が欠けていてもよい。また、全天球映像は、情報の少ない床面を含まない半天球映像であってもよい(以下、同様)。
複数台のプロジェクター110-1、110-2、…、110-Nを用いる理由として、1台のプロジェクターだけでは車室100の内壁面全体に映像を表示できないことや、車室100に居る乗客の影ができてしまうことなどを挙げることができる。装備されたすべてのプロジェクター110-1、110-2、…、110-Nを用いなくても、影を生じることなく、車室100の内壁面に全天球映像を表示することができる場合には、不要なプロジェクターをオフにしてもよい。複数台のプロジェクターで1つの映像を表示する場合、隣接するプロジェクターの投影画像間の接合部分は、整合するようにスティッチング処理を施すものとする。
なお、車室100の内壁面に全天球映像を表示するには、図1に示したような投影型のディスプレイを用いる方法に限定されない。例えば、車室100の内壁面に液晶ディスプレイ(Liquid Crystal Display:LCD)のような平面ディスプレイや有機EL(electroluminescence)ディスプレイ(OLED)のようなフレキシブル・ディスプレイを貼設して、全天周映像を表示するようにしてもよい。また、投影型、平面型、フレキシブル型のいずれのタイプのディスプレイを使用する場合においても、図1に示したような車室100のすべての内壁面を画面にする構成に限定されず、例えばフロントガラスを除く3面、フロントガラスのみ、天井のみを画面にする場合を含むものとする。
図1に示す例では、4ドアの普通乗用車の車室を想定しており、車室100の内壁面は、フロントガラス101、リアウィンドウ102、座席毎(運転席、助手席、左右の後部座席)のサイドウィンドウ103~106が含まれている。図示を省略するが、車両がサンルーフを装備している場合もある。
これらのウィンドウガラス(少なくとも一部のウィンドウガラス)は、光を透過する透過状態と光を透過しない(若しくは、光を遮る)非透過状態を例えば電気的に切り替えることができ、非透過の状態では、プロジェクターの投影画像を表示することができるものとする。あるいは、各サイドウィンドウ103~106(若しくは、一部のサイドウィンドウ)は、常時非透過の状態であるが、ウィンドウを開けることによって透過状態となるようにしてもよい。あるいは、各サイドウィンドウ103~106(若しくは、一部のサイドウィンドウ)は、常時非透過の状態であるが、ウィンドウの枠内に車載カメラで撮像したライブの周囲映像を表示させる(例えば、「ビデオシースルー」にする)ことによって、そのウィンドウを見かけ上の透過状態にするようにしてもよい。なお、サンルーフについても上記のいずれかの方法を用いて同様に透過状態と非透過状態を有していてもよい。
車室100に備えられたすべてのウィンドウ101~106を非透過状態にして、車室100の内壁面全体に全天球映像を途切れなく表示すると、そこに居る搭乗者はその映像に深く没入することができる。すなわち、車室100のような閉空間に全天球映像を表示することによって、没入感のある仮想空間を構築することができる。例えば車両が自動運転中であれば、フロントガラスを含む車室100の内壁面全体を使って全天球映像などのコンテンツの映像を表示してもよい。
車室100の内壁面に表示する映像はさまざまである。例えば映画のような商用コンテンツでもよいし、車両に設置された車載カメラで撮像した映像や、自車両以外の車両や飛行体(ドローンなど)に設置された移動カメラで撮像した映像、任意の場所に固定された定点カメラで撮像した映像でもよい。また、撮像した映像は、ライブ映像でもアーカイブ映像でもよい。あるいは、車室100の内壁面に表示する映像は、実写映像に限定されず、CG(Computer Graphics)技術により再現された映像であってもよい。
例えば、搭乗者にとって自宅のリビング・ルームやお気に入りの場所(よく利用するカフェテラスや、よく行く公園、頻繁に利用する図書館など)を撮像した映像を車室100の内壁面に表示することによって、搭乗者がとてもリラックスできる、快適な仮想空間を構築できる場合もある。車室100に仮想空間を構築することで、例えば車両が渋滞に巻き込まれている状況でも、搭乗者に不快感を与えなくて済む。例えば車両が自動運転中であれば、フロントガラスを含む車室100の内壁面全体を使って全天球映像を表示してもよく、ドライバーを含むすべての搭乗者を仮想空間に没入させることができる。
車室100でどのような全天球映像を表示するかは、搭乗者が手入力や音声指示などを介して指定するようにしてもよいし、車両(システム)側で自動選択するようにしてもよい。例えば、当該車両における映像の表示履歴や、搭乗者の視聴履歴若しくは行動履歴に基づいて、数多の映像コンテンツの中から自動選択するようにしてもよい。あるいは、V2X(Vehicleto X:車車間通信及び路車間通信)通信などを介して外部から車両に対して映像コンテンツを指定するようにしてもよい。
また、車室100の内壁面に表示する映像コンテンツを車両で取得する方法はさまざまである。例えば、車両に搭載される記録装置に映像コンテンツをあらかじめ格納しておいてもよいし、映像コンテンツを記録した可搬型メディア(ブルーレイ・ディスクなど)を車室100に持ち込んで再生するようにしてもよい。あるいは、映像サーバーなどの外部機器からストリーミング配信される映像を例えばV2X通信などを介して受信するようにしてもよい。
搭乗者は、車室100に仮想空間を構築することができる反面、映像の視聴を一時中断して、車両の周囲の風景、言い換えれば実空間を確認したい若しくは確認しなければならない状況が想定される。
例えば、旅行やドライブの目的地が近くなったとき、目的地ではないが注目地点(見ておきたい場所や立ち寄りたい場所)に通りかかったとき、注目人物(待ち合わせしている人や親しい人(家族や友人、上司、同僚)など)や注目物体(建物や珍しい自動車、ペットなど)が見えてきたとき、天候が変化したとき、事故や災害に遭遇したときなどに、搭乗者は実空間を確認したくなり、又は実空間をする必要がある。勿論、搭乗者自身が全天球映像の視聴をブレイクしたいときや外界が気になったときもある。
図1に示したような、車室100の内壁面を利用した全天球ディスプレイの構成によれば、車室100に備えられたウィンドウ101~106のうち少なくとも一部は、非透過状態とともに透過状態を備えている。したがって、ウィンドウ101~106のうち少なくとも一部を、非透過状態から透過状態に切り替えることによって、全天周映像を表示中であっても、透過状態のウィンドウ越しに(若しくは、透過状態にウィンドウに表示された)車外の風景を観察することができるようになっている。
ここで言う、ウィンドウの「透過状態」とは、ウィンドウガラスを、電気的に光を遮る非透過状態から光を透過する透過状態にすることや、光を透過しないがウィンドウを開けることによって車外が見えるようにした状態、さらには、光を透過しないままのウィンドウの枠内に車載カメラで撮像したライブの周囲映像を表示させることなど、いずれでもよい(前述)。
しかしながら、搭乗者は、車室100のような閉空間に表示された全天球映像に没入するあまり、実空間を確認したい若しくは確認しなければならないタイミングを逃してしまうおそれがある。
手動運転時や賃走車であれば、ドライバーは常に外界を注視しているので、他の搭乗者に適切なタイミングを教えることができる。搭乗者は、ドライバーに促されて少なくとも一部のウィンドウを透過状態に切り替える(例えば、ウィンドウを開ける)ことによって、車外の風景を確認することができる。
これに対し、自動運転中の車両においては、ドライバーは存在せず、すべての搭乗者が仮想空間に深く没入することもあり、実空間を確認したい若しくは確認しなければならないタイミングを逃してしまうおそれを払拭することはできない。
そこで、本実施形態では、すべてのウィンドウ101~106を非透過状態にして、車室100の内壁面全体にわたって全天周映像を表示している(すなわち、車室100に仮想空間を構築している)期間中に、車両の状況を常時モニタリングし、搭乗者が車両の周囲の風景(すなわち、実空間の状況)を確認したい若しくは確認しなければならない事象が起きたことを自動検出すると、少なくとも一部のウィンドウを開けるなど透過状態にして、搭乗者が車両の風景を確認できるようにしている。
要するに、車両は、車室内で仮想空間を構築している期間中、車両の状況を常時モニタリングして、所定の事象が発生したことを検出すると、ウィンドウを自動的に透過状態に切り替えるように構成されている。但し、搭乗者が没入中の仮想空間が途切れることを好まない場合もあるので、ウィンドウを透過状態に切り替える際には、GUI(Graphical User Interface)などを介して搭乗者に切り替えの許可を得るようにしてもよい。
また、車両は、ウィンドウを透過状態に切り替えている期間中に、所定の事象が消滅したことを検出すると、透過状態のウィンドウを非透過状態に自動的に戻して、車室100の内壁面全体を使って全天球映像を表示する仮想空間を再構築するようにしてもよい。例えば、注目地点や注目人物、注目物体を通過したときは、搭乗者は車外を見る必要がなくなるからである。勿論、ウィンドウを透過状態から非透過状態に切り替える際にも、GUIなどを介して搭乗者の許可を得るようにしてもよい。何故ならば、搭乗者は実空間すなわち車外の様子を確認又は観察し続けたい場合があるからである。
ウィンドウの透過状態と非透過状態の自動切り替えを行なうためにモニタリングすべき検出対象は、車両の現在位置、車外の状況、車内の状況、周囲環境など、さまざまである。各検出対象の内容と検出方法・検出デバイスについて、以下にまとめておく。
(1)車両の現在位置
車両の現在位置が、旅行やドライブの目的地が近くなったとき、目的地ではないが注目地点(見ておきたい場所や立ち寄りたい場所)に通りかかったときに、搭乗者は実空間を確認したくなり、又は実空間をする必要がある。
車両の現在位置は、例えば、GNSS(Global Navigation Satellite System)衛星からのGNSS信号(例えば、GPS衛星からのGPS信号)を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する測位部を用いて検出することができる。あるいは、測位部は、PlaceEngine(登録商標)などを利用して無線アクセスポイントからの電測情報に基づいて現在位置を特定してもよく、又は測位機能を有する携帯電話機、PHS(Personal Handy-phone System)若しくはスマートフォンといった搭乗者が所持する携帯端末から位置情報をWi-Fi通信やUSB(Universal Serial Bus)ケーブルを通じて取得するようにしてもよい。
目的地については、搭乗者が例えばインストルメント・パネルに装備された入力部を介して直接目的地を指定するようにしてもよい。搭乗者が音声により目的地を指示するようにしてもよい。あるいは、搭乗者の過去の行動履歴や、搭乗者同士の車内の会話の内容などを解析して、目的地を自動判別するようにしてもよい。過去の行動履歴は、ドライブレコーダーなどの形態で記録されたものであってもよいし、スマートフォンなどの搭乗者が所持する情報端末に記録されたものであってもよいし、V2X通信などを介して個人情報サーバーに問い合わせて取得するようにしてもよい。
また、注目地点については、地図情報を利用して、車両の経路上にある注目地点を抽出するようにしてもよい。地図情報は、車両に搭載される記録装置にあらかじめ格納しておいてもよいし、V2X通信などを介して外部から逐次取得するようにしてもよい。あるいは、車載カメラの撮像映像を物体認識した結果に基づいて、注目地点を検出するようにしてもよい。また、車載カメラの撮像映像から認識された建物などの物体を、V2X通信などを介して外部のデータベースに照合して、注目地点か否かを判別するようにしてもよい。
注目地点が、普遍的であるとは限らない。何を以って注目地点とするか(すなわち、注目地点の定義)は、例えば搭乗者の趣味嗜好や過去の行動履歴に基づいて決定するようにしてもよい。搭乗者の趣味嗜好や過去の行動履歴は、スマートフォンなどの搭乗者が所持する情報端末に記録されたものであってもよいし、V2X通信などを介して個人情報サーバーに問い合わせて取得するようにしてもよい。
また、季節や時間帯、天候などによって注目地点の定義が変わる場合もある。例えば、日中は見て見たくなるが、夜間や悪天候下では見る必要がない場所や、開花時期を外れた桜の名所などである。このような場合、時計や現在の天候又は気象を検出するための環境センサーも、注目地点を検出するための検出デバイスに加えるべきである。
そして、測位部で取得された車両の現在位置と、目的地や注目地点の位置情報を照合して、現在位置が目的地や注目地点から所定範囲内に入ると、ウィンドウを透過状態に切り替えて、搭乗者が車外の風景を見えるようにする。但し、すべてのウィンドウを透過状態にする必要はなく、目的地や注目地点が良く見えるウィンドウだけ透過状態にして、仮想空間の没入感を可能な限り保つようにしてもよい。
なお、車両が目的地に到着したとき(若しくは、到着してから所定時間が経過したとき)、注目地点を通過してしまったときには、透過状態に切り替えたウィンドウを非透過状態に戻して、車室100の仮想空間を再構築するようにしてもよい。
(2)車外の状況
ウィンドウを透過状態に切り替えるトリガーとなるような車外の状況として、注目人物(待ち合わせしている人や親しい人(家族や友人、上司、同僚)など)や注目物体(建物や珍しい自動車、ペットなど)が出現したこと、などを挙げることができる。
例えば、車載カメラの撮像映像を顔認識や物体認識して、注目人物や注目物体を検出することができる。また、簡易な画像認識処理でも検出できるように、注目人物や注目物体の表面に2次元バーコードやマーカーなどの視認情報を設置して、これらの視認情報に基づいて注目人物や注目物体を検出するようにしてもよい。あるいは、注目人物や注目物体に特定の無線信号を発信する発振機を装備し、車両側では受信機で無線信号を受信することによって、注目人物や注目物体を検出するようにしてもよい。
注目人物や注目物体の定義は任意である。搭乗者があらかじめ自分の注目人物や注目物体を車両側に指定するようにしてもよい。あるいは、搭乗者の趣味嗜好や過去の行動履歴に基づいて、注目人物や注目物体を決定するようにしてもよい。搭乗者の趣味嗜好や過去の行動履歴は、スマートフォンなどの搭乗者が所持する情報端末に記録されたものであってもよいし、V2X通信などを介して個人情報サーバーに問い合わせて取得するようにしてもよい。また、車両で注目人物や注目物体を判別するのではなく、車載カメラの撮像映像(若しくは、撮像映像から認識された顔や物体の情報)を個人情報サーバーで照合して、注目人物又は注目人物や注目物体であるか否かの判別結果を車両側に返信するようにしてもよい。
そして、上記のいずれかの検出方法又は検出デバイスにより、注目人物又は注目物体が検出されると、ウィンドウを透過状態に切り替えて、搭乗者が車外の風景を見えるようにする。但し、すべてのウィンドウを透過状態にする必要はなく、注目人物又は注目物体が良く見えるウィンドウだけ透過状態にして、仮想空間の没入感を可能な限り保つようにしてもよい。あるいは、一部の搭乗者だけの注目人物(例えば、待合わせしている人)が検出された場合には、その搭乗者が最も近いサイドウィンドウのみ透過状態に切り替えるようにしてもよい。
また、車両が注目人物又は注目物体から遠ざかってしまったときには、透過状態に切り替えたウィンドウを非透過状態に戻して、車室100の仮想空間を再構築するようにしてもよい。
(3)車内の状況
ウィンドウを透過状態に切り替えるトリガーとなるような車内の状況として、搭乗者の気分が悪くなったこと(酔いなど)、搭乗者が外を見たくなったこと、一部の搭乗者が喫煙して車室の換気が必要になったこと、などを挙げることができる。
例えば、車内を撮像する車載カメラ(ドラモニカメラ)や、サーモカメラ、ドライバー若しくは各搭乗者の生体情報(発汗、体温、心拍など)を検出する生体センサーを利用して、搭乗者の様子や健康状態、喫煙していることをモニタリングすることができる。また、ドラモニカメラの撮像画像を解析して搭乗者が外を見たいことを示すジェスチャーを理解したり、車内の音声を集音するマイクを通じて搭乗者からの音声入力を行なったりするようにしてもよい。また、煙センサーを用いて、搭乗者が喫煙を開始したことを検出することができる。
そして、上記で例示した事象が車内で発生したことが検出されると、ウィンドウを透過状態に切り替えて、搭乗者が車外の風景を見え、若しくは車内を喚起できるようにする。但し、すべてのウィンドウを透過状態にする必要はなく、特定の搭乗者(例えば、気分が悪くなった者、車外を見たくなった者、喫煙している者)に最も近いウィンドウだけ透過状態にして、仮想空間の没入感を可能な限り保つようにしてもよい。
その後、ウィンドウを透過状態に切り替えるトリガーとなった事象がもはや車内で検出されなくなったときには(搭乗者の気分が回復したとき、車外の風景を見飽きたとき、喫煙を終えたときなど)、透過状態に切り替えたウィンドウを非透過状態に戻して、車室100の仮想空間を再構築するようにしてもよい。
また、逆に透過状態のウィンドウを非透過状態に切り替えるトリガーとなるような車内の状況も想定される。例えば、搭乗者が車内で食事やパーティー、秘密の会話を始めたり、とある人物と車内で密会したりして、車外から覗き見されたくないときなどである。これらの事象は、ドラモニカメラの撮像画像やマイクで集音された車内の音声を解析したりすることで検出することができる。そして、これらの事象が検出された時点で、透過状態のウィンドウがある場合には、非透過状態に切り替える。あるいは、車外から覗き見されたくないものを隠すことができるのであれば、一部のウィンドウを透過状態にしておいてもよい。
(4)周囲環境
ウィンドウを透過状態に切り替えるトリガーとなるような周囲環境として、天候が変化したとき、車両が事故や災害などの異常事態に遭遇したとき、などを挙げることができる。このような事象が発生すると、搭乗者は、全天球映像の視聴を中断して、ウィンドウ越しに自車両周辺の状況を確認したくなる(若しくは、確認する必要がある)場合がある。
あるいは、周囲環境によっては、逆にウィンドウを閉じて非透過状態にしたい場合もある。例えば、降雨や降雪、暴風、落雷、猛暑又は極寒のときには、ウィンドウを開けたままではいられない。また、自車両が渋滞に巻き込まれると、うんざりして退屈な車外の風景を見たくなくなり、仮想空間に没入したくなる。また、事故や災害に遭遇したときに、緊急車両のサイレンや野次馬の喧騒に耐えられなかったり、車両周辺に煙や異臭が蔓延したりすると、ウィンドウを開けたままではいられない。ウィンドウを開けた透過状態であれば、完全に閉じた非透過状態に切り替えるべきである。
天候に関しては、現在の天候又は気象を検出するための環境センサーや、車載カメラで撮像する車両周辺の画像、V2X通信などを介して受信した天気情報に基づいて、ウィンドウを非透過状態にすべき事象を検出することができる。渋滞情報に関しては、道路交通センターのような情報機関から発信される情報をラジオ放送やV2X通信などを介して受信することができる。また、事故や災害に関しては、ラジオ放送やワンセグ放送で配信される緊急情報に基づいて検出することができる。
そして、上記で例示した事象が車両の周囲で発生したことが検出されると、検出された状況毎に応じて、ウィンドウを透過状態に切り替えたり、逆に透過状態にウィンドウを非透過状態に切り替えたりする。
既に述べたように、ウィンドウの「透過状態」は、ウィンドウガラスを、電気的に光を遮る非透過状態から光を透過する透過状態にすることや、光を透過しないがウィンドウを開けることによって車外が見えるようにした状態、さらには、光を透過しないままのウィンドウの枠内に車載カメラで撮像したライブの周囲映像を表示させることなど、さまざまな方法により実現することができる。車両が装備する少なくとも1つのウィンドウが透過状態になると、搭乗者は車外の風景を観察することができる。
図1に示したように、車室100の内壁面全体を(全天球映像を表示するための)表示画面に持つ表示部とみなした場合、全天球映像を表示中であっても少なくとも1つのウィンドウが透過状態になると、搭乗者はそのウィンドウ越しに車外の風景を観察することができる。少なくとも1つのウィンドウが透過状態になり車外の風景を見えることができるときの表示部の表示モードを、以下では「透過モード」と呼ぶことにする。一方、すべてのウィンドウを非透過状態にして車室100の内壁面全体に映像を表示させると、搭乗者は車外の風景をまったく観察できなくなる。車外の風景が見えるウィンドウの少なくとも一部にコンテンツの映像を表示し、又は、すべてのウィンドウを含む車室100の内壁面全体でコンテンツの映像を表示している状態、若しくはすべてのウィンドウが非透過状態になった表示部の表示モードを、以下では「非透過モード」と呼ぶことにする。
図2には、図1に示したような、車室100の内壁面全体を表示画面とする表示部の表示モードの切り替えを制御するための表示制御システム200の機能的構成を模式的に示している。図示の表示制御システム200は、車両状況検出部210と、制御部220を備え、表示部230の表示モードを制御する。
車両状況検出部210は、車両の状況を検出するための、車両の現在位置を即位する測位部211、車内(搭乗者が所持する)情報端末とWi-FiやUSBケーブルなどを通じて通信する通信部212、V2X通信を介して外部機器と通信するV2X通信部213、現在時刻を計時する時計並びに天候又は気象を検出する時計・環境センサー214、自車両の周辺を撮像する車載カメラ215、車内を撮像するドラモニカメラ216、搭乗者の生体情報(発汗、体温、心拍など)を検出する生体センサー217、ラジオ放送やワンセグ放送を受信する放送受信部218などの複数の検出デバイスを装備している。但し、ここで挙げた検出デバイスは例示であり、すべて必須ではなく、一部の検出デバイスを含まない(若しくは、車両の上級の検出には使用しない)場合もある。また、ここで例示した以外の検出デバイスを車両状況検出部210が含んでいてもよい。
制御部220は、車両状況検出部210の各検出デバイスの検出結果に基づいて表示部230の表示モードを切り替えるべき事象が発生したか否かを判定する事象判定部221と、モード制御部222を含んでいる。
事象判定部221は、車両状況検出部210の各検出デバイスの検出結果に基づいて、現在位置、車外の状況、車内の状況、周囲環境のうちいずれかにおいて、表示部230の表示モードを非透過モードから透過モードへ、若しくは、逆に透過モードから非透過モードへ、切り替えるべき事象が発生したか否かを判定する。具体的にどのような現在位置、車外の状況、車内の状況、周囲環境が事象に相当するかは既に説明した通りなので、ここでは説明を省略する。
モード制御部222は、事象判定部221で判定された事象に対応する表示モードと、表示部230の現在の表示モードが異なる場合には、表示部230のモード切り替え処理を制御する。
表示部230の一例は、図1に示した通りである。すなわち、表示部230は、車両の車室100の内壁面全体を表示画面として使用する。表示画面は例えばスクリーンであり、複数のプロジェクターを用いて全天球映像を表示することができる。また、内壁面は、フロントガラスやリアウィンドウ、サイドウィンドウ、サンルーフなど複数のウィンドウ101~106を含んでいる。
少なくとも一部のウィンドウは、光の透過/非透過の電気的切り替え、ウィンドウガラスの開閉操作、ウィンドウ枠内へのビデオシースルー映像の表示などいずれかの方法により、透過状態と非透過状態を切り替えることができる。上記で定義したように、少なくとも1つのウィンドウが透過状態で車外の風景を見ることができれば、表示部230は透過モードである。また、車外の風景が見えるウィンドウの少なくとも一部にコンテンツの映像を表示し、又は、すべてのウィンドウを含む車室100の内壁面全体でコンテンツの映像を表示している状態、若しくはすべてのウィンドウが非透過状態であれば、表示部230は非透過モードである。例えば、表示部230を透過モードから非透過モードに移行させる際に連動して、開いているウィンドウを閉じて、コンテンツの映像を表示する領域を確保するようにしてもよい。
モード制御部222は、事象判定部221で判定された事象に対応する表示モードに、表示部230を制御する。例えば、車両の現在位置が目的地や注目地点に到着し又は接近してきたときに表示部230が透過モードであれば、モード制御部222は、非透過モードに切り替える。また、車両が注目人物や注目物体に近づき、又は注目人物や注目物体が出現したときに表示部230が非透過モードであれば、モード制御部222は、透過モードに切り替える。逆に、車両が注目人物や注目物体から遠ざかってしまったときには、表示部230を透過モードから非透過モードに切り替えるようにしてもよい。また、表示部230の表示モードが車内の状況(搭乗者の意向や健康状態、精神状態など)に適合していないときには、モード制御部222は、透過モードから非透過モードに、あるいは非透過モードから透過モードに切り替える。また、表示部230の表示モードが車両の周囲環境適合していないときには、モード制御部222は、表示部230の表示モードの切り替えを行なう。例えば、車両が事故や災害などの異常事態に遭遇したときには、表示部230を透過モードに設定して、搭乗者が車両周辺の状況を確認できるようにする。また、車両が渋滞に巻き込まれたときには、表示部230を非透過モードに設定して、搭乗者が不快な風景を見なくて済むようにする。
表示部230を非透過モードに切り替えるときには、モード制御部222は、表示部230に対し、現在透過状態にあるウィンドウをすべて非透過状態に切り替えるように指示する。
また、表示部を透過モードに切り替えるときには、モード制御部222は、すべてのウィンドウを透過状態にするのか又は一部のウィンドウのみを透過状態にするのか(すなわち、透過状態にすべきウィンドウの場所)を決定して、表示部230に対してウィンドウの透過状態への切り替えを指示する。
表示部を透過モードにする方法は、上述したようにさまざまである。1つの方法として、車載カメラで撮像したライブ映像をウィンドウの枠内にビデオシースルーする方法がある。ところが、ビデオシースルー表示中のウィンドウを開くと、ビデオシースルー表示された映像と、開いたウィンドウ越しに見える車外の風景が整合しなくなるという問題がある。
図3には、実空間上で検出された注目人物301を車載カメラ(図示しない)で撮像し、透過モード下のウィンドウ310の枠内に、参照番号302で示すように、注目人物を撮像した画像をビデオシースルー表示している様子を示している。図3に示したビデオシースルー画像302は、ウィンドウ310を全開したときに見える車外の風景(図4を参照のこと)と完全に一致するものとする。但し、図3では、ビデオシースルー表示された注目人物の映像302は、実空間の注目人物301と完全に一致するが、ビデオシースルー表示であることを識別するために斜線で塗り潰すとともに背景をグレーで描いている(以下同様)。
図5には、開く途中のウィンドウ310に注目人物の映像302がビデオシースルー表示されている様子を示している。ウィンドウ310の開閉位置に拘わらず、ウィンドウ310に同じビデオシースルー映像を表示し続けると、図5から分かるように、ビデオシースルー映像が車外の風景と整合しなくなり、搭乗者に見苦しい映像を見せてしまうことになる。また、ウィンドウ310を半開きにした状態に保つと、搭乗者はこのような見苦しい映像を長時間にわたり見続けることになり、錯覚に陥ったり、眩暈を生じたりして健康被害を起こしかねない。
車載カメラのビデオシースルー表示により透過状態にしたウィンドウの開閉操作を制限若しくは禁止することによって、図5に示したような、ビデオシースルー映像と現実の車外の風景との不整合問題が発生しないようにすることもできる。しかしながら、注目人物が待合わせをした人であれば、搭乗者はウィンドウを開けてその注目人物に声をかける必要がある。また、注目人物が親しい人や会社の上司又は同僚の場合には、搭乗者はその注目人物に挨拶しなければならない若しくは挨拶したい場合がある。よって、透過状態にしたウィンドウの開閉操作を制限若しくは禁止することが適切でない場合もある。
そこで、図6に示すように、ウィンドウ310の開閉位置に連動してビデオシースルー映像302の表示を変更することによって、ビデオシースルー映像と現実の車外の風景とが整合するようにしてもよい。例えば、車載カメラの撮影映像を一時的に書き込むビデオ・フレーム(図示しない)から表示用の映像を読み出す領域の上端位置を、ウィンドウ310の開閉位置に従って下方にシフトさせていくようにすれば、ビデオシースルー映像を現実の車外の風景とさせることができる。
ウィンドウ310がパワーウィンドウ装置の場合であれば、パワーウィンドウ装置の駆動量に応じて、ビデオ・フレームの読み出し位置を制御する(例えば、表示用の映像を読み出す領域の上端位置をウィンドウ310の開閉位置に従って下方にシフトさせていく)ようにすればよい。図7には、パワーウィンドウの開閉位置に連動してビデオシースルー映像の表示を制御するための機能的構成を示している。車載カメラ701の撮像信号は、画像処理部702によって現像などの処理が施され、ビデオ・フレーム703に書き込まれる。一方、透過モード下の制御部220は、パワーウィンドウ装置704から、透過状態すなわちビデオシースルー表示しているウィンドウの現在の駆動量に関する情報を取得すると、そのウィンドウに表示すべき画角に換算して、表示部230に通知する。そして、表示部230は、制御部220からの通知に従って、ビデオ・フレーム703の適切な領域(ウィンドウ310の開閉位置に従って読み出す領域の上端位置を下方にシフトさせた領域)が映像信号を読み出して、そのウィンドウに表示する(例えば、プロジェクター110から半開き状態のウィンドウに映像を投影する)。
ここまで説明してきたように、本実施形態によれば、例えば自動運転中の車両の車室100の内壁面を利用して全天周映像を表示することによって、搭乗者にとって没入感のある仮想空間を構築することができるとともに、搭乗者が車外の様子を確認しなければならなくなる状況を自動検出して、少なくとも一部のウィンドウを使って車外の風景を搭乗者に見せるようにすることができる。
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
本明細書で開示する技術は、自動車(ガソリン車及びディーゼル車を含む)、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナル・モビリティーなどさまざまな車両に適用することができる。さらには本明細書で開示する技術は、道路を走行する車両以外の形態の移動体(ロボット、飛行機や船舶など)にも適用することができる。
要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
(1)移動体の状況を検出する検出部と、
前記検出部の検出結果に基づいて、表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードを有する表示部の表示モードを制御する制御部と、
を具備する表示制御装置。
(2)前記表示部は、前記透過モードと、前記外部の風景の少なくとも一部にコンテンツ映像を重畳し又は前記表示画面全体でコンテンツ映像を表示する非透過モードを有し、
前記制御部は、前記検出部の検出結果に応じて、前記表示部を前記透過モード又は前記非透過モードのいずれかに設定する、
上記(1)に記載の表示制御装置。
(3)前記表示部は、前記移動体の内壁面からなる前記表示画面に映像を表示する、
上記(1)に記載の表示制御装置。
(4)前記移動体は窓を備え、
前記表示部は、前記窓を含んだ前記移動体の内壁面からなる前記表示画面に映像を表示する、
上記(1)に記載の表示制御装置。
(5)前記窓は、開閉可能であり、
前記表示部は、前記透過モードでは前記窓を開け又は前記窓を含んだ前記表示画面の少なくとも一部で前記移動体の外部の風景を表示し、前記非透過モードでは前記窓を閉じて前記窓を含んだ前記表示画面に表示される前記外部の風景の少なくとも一部にコンテンツ映像を重畳し又は前記表示画面全体でコンテンツ映像を表示する、
上記(4)に記載の表示制御装置。
(6)前記窓は、光を透過する透過状態と光を遮る非透過状態を切り替え可能であり、
前記表示部は、前記透過モードでは前記窓を前記透過状態にして前記移動体の外部の風景が見えるようにし、前記非透過モードでは前記窓の少なくとも一部を前記非透過状態にして前記外部の風景の少なくとも一部にコンテンツ映像を重畳し又は前記窓を含んだ前記表示画面全体にコンテンツ映像を表示する、
上記(4)に記載の表示制御装置。
(7)前記表示部は、前記窓を表示画面に含み、前記透過モードでは前記移動体に搭載されたカメラで撮像した前記移動体の外部の風景の映像を前記窓の枠内に表示し、前記非透過モードでは前記窓の枠内の少なくとも一部にコンテンツ映像を重畳し又は前記窓の枠内全体にコンテンツ映像を表示する、
上記(4)に記載の表示制御装置。
(8)前記検出部は、前記移動体の現在位置に関する情報を取得し、
前記制御部は、前記移動体の現在位置に基づいて、前記表示部を透過モードから非透過モードに切り替え、又は非透過モードから透過モードに切り替える、
上記(2)に記載の表示制御装置。
(9)前記検出部は、前記移動体の内外の状況若しくは周囲環境に関する情報を取得し、
前記制御部は、前記移動体外の状況に基づいて、前記表示部を透過モードから非透過モードに切り替え、又は非透過モードから透過モードに切り替える、
上記(2)に記載の表示制御装置。
(10)前記制御部は、渋滞時であることを前記検出部が検出したことに応じて、前記表示部を非透過モードに切り替える、
上記(9)に記載の表示制御装置。
(11)前記窓は、開閉可能であり、
前記移動体に搭載されたカメラで撮像した映像を前記窓の枠内に表示する前記透過モード下では、前記制御部は前記窓の開閉を禁止する、
上記(7)に記載の表示制御装置。
(12)前記窓は、開閉可能であり、
前記移動体に搭載されたカメラで撮像した映像を前記窓の枠内に表示する前記透過モード下では、前記表示部は、前記窓の開閉位置に連動して前記窓の枠内の表示を変更する、
上記(7)に記載の表示制御装置。
(13)移動体の状況を検出する検出ステップと、
表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードを有する表示部の表示モードを制御する制御ステップと、
を有する表示制御方法。
(14)移動体の状況を検出する検出部と、
前記移動体に搭載され、表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードを有する表示部と、
前記検出部の検出結果に基づいて、前記表示部の表示モードを制御する制御部と、
を具備する表示装置。
(15)移動体と、
表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードを有する表示部と、
前記移動体の状況を検出する検出部と、
前記検出部の検出結果に基づいて、前記表示部の表示モードを制御する制御部と、
を具備する移動体装置。
100…車室、101…フロントガラス、102…リアウィンドウ
103~106…サイドウィンドウ、110…プロジェクター
200…表示制御システム、210…車両状況検出部
211…測位部、212…通信部、213…V2X通信部
214…時計・環境センサー、215…車載カメラ
216…ドラモニカメラ、217…生体センサー
218…放送受信部
701…車載カメラ、702…画像処理部
703…ビデオ・フレーム、704…パワーウィンドウ装置

Claims (12)

  1. 移動体の状況を検出する検出部と、
    前記検出部の検出結果に応じて、前記移動体の内壁面に設けられた表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードと前記外部の風景の少なくとも一部に前記外部の風景とは異なるコンテンツ映像を重畳し又は前記表示画面全体で前記コンテンツ映像を表示する非透過モードを有する表示部の表示モードを制御する制御部と、
    を具備し、
    前記制御部は、渋滞時であることを前記検出部が検出したことに応じて、前記表示部を非透過モードに切り替える、
    表示制御装置。
  2. 前記移動体は窓を備え、
    前記表示部は、前記窓を含んだ前記移動体の内壁面からなる前記表示画面に映像を表示する、
    請求項1に記載の表示制御装置。
  3. 前記窓は、開閉可能であり、
    前記表示部は、前記透過モードでは前記窓を開け又は前記窓を含んだ前記表示画面の少なくとも一部で前記移動体の外部の風景を表示し、前記非透過モードでは前記窓を閉じて前記窓を含んだ前記表示画面に表示される前記外部の風景の少なくとも一部にコンテンツ映像を重畳し又は前記表示画面全体でコンテンツ映像を表示する、
    請求項2に記載の表示制御装置。
  4. 前記窓は、光を透過する透過状態と光を遮る非透過状態を切り替え可能であり、
    前記表示部は、前記透過モードでは前記窓を前記透過状態にして前記移動体の外部の風景が見えるようにし、前記非透過モードでは前記窓の少なくとも一部を前記非透過状態にして前記外部の風景の少なくとも一部にコンテンツ映像を重畳し又は前記窓を含んだ前記表示画面全体にコンテンツ映像を表示する、
    請求項2に記載の表示制御装置。
  5. 前記表示部は、前記窓を表示画面に含み、前記透過モードでは前記移動体に搭載されたカメラで撮像した前記移動体の外部の風景の映像を前記窓の枠内に表示し、前記非透過モードでは前記窓の枠内の少なくとも一部に前記コンテンツ映像を重畳し又は前記窓の枠内全体に前記コンテンツ映像を表示する、
    請求項2に記載の表示制御装置。
  6. 前記検出部は、前記移動体の現在位置に関する情報を取得し、
    前記制御部は、前記移動体の現在位置に基づいて、前記表示部を透過モードから非透過モードに切り替え、又は非透過モードから透過モードに切り替える、
    請求項1に記載の表示制御装置。
  7. 前記検出部は、前記移動体の内外の状況若しくは周囲環境に関する情報を取得し、
    前記制御部は、前記移動体外の状況に基づいて、前記表示部を透過モードから非透過モードに切り替え、又は非透過モードから透過モードに切り替える、
    請求項1に記載の表示制御装置。
  8. 移動体の状況を検出する検出部と、
    前記検出部の検出結果に応じて、前記移動体の内壁面に設けられた表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードと前記外部の風景の少なくとも一部に前記外部の風景とは異なるコンテンツ映像を重畳し又は前記表示画面全体で前記コンテンツ映像を表示する非透過モードを有する表示部の表示モードを制御する制御部と、
    を具備し、
    前記移動体は開閉可能な窓を備え、
    前記表示部は前記窓を表示画面に含み、
    前記移動体に搭載されたカメラで撮像した映像を前記窓の枠内に表示する前記透過モード下では、前記制御部は前記窓の開閉を禁止する、
    表示制御装置。
  9. 移動体の状況を検出する検出部と、
    前記検出部の検出結果に応じて、前記移動体の内壁面に設けられた表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードと前記外部の風景の少なくとも一部に前記外部の風景とは異なるコンテンツ映像を重畳し又は前記表示画面全体で前記コンテンツ映像を表示する非透過モードを有する表示部の表示モードを制御する制御部と、
    を具備し、
    前記移動体は開閉可能な窓を備え、
    前記表示部は前記窓を表示画面に含み、
    前記移動体に搭載されたカメラで撮像した映像を前記窓の枠内に表示する前記透過モード下では、前記表示部は、前記窓の開閉位置に連動して、半開きの前記窓越しに見える現実の外の風景と整合するように前記窓の枠内の表示を変更する、
    表示制御装置。
  10. 移動体の状況を検出する検出ステップと、
    前記検出ステップにおける検出結果に応じて、前記移動体の内壁面に設けられた表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードと前記外部の風景の少なくとも一部に前記外部の風景とは異なるコンテンツ映像を重畳し又は前記表示画面全体で前記コンテンツ映像を表示する非透過モードを有する表示部の表示モードを制御する制御ステップと、
    を有し、
    前記制御ステップでは、前記検出ステップにおいて渋滞時であることを検出したことに応じて、前記表示部を非透過モードに切り替える、
    表示制御方法。
  11. 移動体の状況を検出する検出部と、
    前記移動体に搭載され、前記移動体の内壁面に設けられた表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードと前記外部の風景の少なくとも一部に前記外部の風景とは異なるコンテンツ映像を重畳し又は前記表示画面全体で前記コンテンツ映像を表示する非透過モードを有する表示部と、
    前記検出部の検出結果に基づいて、前記表示部の表示モードを制御する制御部と、
    を具備し、
    前記制御部は、渋滞時であることを前記検出部が検出したことに応じて、前記表示部を非透過モードに切り替える、
    表示装置。
  12. 移動体と、
    前記移動体の内壁面に設けられた表示画面の少なくとも一部で前記移動体の外部の風景を表示する透過モードと前記外部の風景の少なくとも一部に前記外部の風景とは異なるコンテンツ映像を重畳し又は前記表示画面全体で前記コンテンツ映像を表示する非透過モードを有する表示部と、
    前記移動体の状況を検出する検出部と、
    前記検出部の検出結果に基づいて、前記表示部の表示モードを制御する制御部と、
    を具備し、
    前記制御部は、渋滞時であることを前記検出部が検出したことに応じて、前記表示部を非透過モードに切り替える、
    移動体装置。
JP2018520736A 2016-06-02 2017-04-28 表示制御装置及び表示制御方法、表示装置、並びに移動体装置 Active JP7067471B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016110877 2016-06-02
JP2016110877 2016-06-02
PCT/JP2017/017095 WO2017208719A1 (ja) 2016-06-02 2017-04-28 表示制御装置及び表示制御方法、表示装置、並びに移動体装置

Publications (2)

Publication Number Publication Date
JPWO2017208719A1 JPWO2017208719A1 (ja) 2019-04-04
JP7067471B2 true JP7067471B2 (ja) 2022-05-16

Family

ID=60479329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018520736A Active JP7067471B2 (ja) 2016-06-02 2017-04-28 表示制御装置及び表示制御方法、表示装置、並びに移動体装置

Country Status (5)

Country Link
US (2) US10757375B2 (ja)
EP (1) EP3468172A1 (ja)
JP (1) JP7067471B2 (ja)
CN (1) CN109155834B (ja)
WO (1) WO2017208719A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10471611B2 (en) * 2016-01-15 2019-11-12 Irobot Corporation Autonomous monitoring robot systems
WO2018097384A1 (ko) * 2016-11-24 2018-05-31 한화테크윈 주식회사 밀집도 알림 장치 및 방법
JP2019075039A (ja) * 2017-10-19 2019-05-16 トヨタ自動車株式会社 移動体の利用システム、サーバ、移動体、及び移動体の利用方法
JP6969276B2 (ja) 2017-10-19 2021-11-24 トヨタ自動車株式会社 移動体の利用システム、サーバ、及び移動体の利用方法
JP2019104315A (ja) * 2017-12-11 2019-06-27 トヨタ紡織株式会社 乗物のモニター装置
JP6705470B2 (ja) 2018-06-06 2020-06-03 株式会社Jvcケンウッド 記録再生装置、記録再生方法、およびプログラム
US20220080826A1 (en) * 2019-03-14 2022-03-17 Sony Group Corporation Information processing apparatus, information processing method, and mobile body apparatus
JP7255431B2 (ja) * 2019-09-09 2023-04-11 株式会社デンソー 表示装置
JP7226233B2 (ja) * 2019-10-08 2023-02-21 トヨタ自動車株式会社 車両、情報処理システム、プログラム及び制御方法
KR102286569B1 (ko) * 2019-11-21 2021-08-09 주식회사 이에스피 스마트카의 시스루 디스플레이 제어 시스템 및 방법
JP2021124597A (ja) * 2020-02-05 2021-08-30 株式会社東海理化電機製作所 表示装置及び表示システム
JP2022096045A (ja) 2020-12-17 2022-06-29 トヨタ自動車株式会社 車両用表示装置
JP7473489B2 (ja) 2021-01-15 2024-04-23 トヨタ紡織株式会社 出力制御装置、出力制御システム、および制御方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184225A (ja) 2003-12-17 2005-07-07 Denso Corp 車両用表示装置
JP2007052719A (ja) 2005-08-19 2007-03-01 Adc Technology Kk 車載用画像表示装置
JP2007326526A (ja) 2006-06-09 2007-12-20 Quality Kk 乗物用ウインドウガラスの調光制御装置
JP2008189202A (ja) 2007-02-06 2008-08-21 Honda Motor Co Ltd 車両用窓装置
JP2010532287A (ja) 2007-01-31 2010-10-07 チェ、ユン−ジュン 自動車用ディスプレー装置及びこれを用いたディスプレー方法
JP2016053622A (ja) 2014-09-03 2016-04-14 株式会社デンソー 表示装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0558287A (ja) * 1991-09-02 1993-03-09 Hitachi Ltd 乗り物用情報表示装置
JP2004020223A (ja) 2002-06-12 2004-01-22 Nippon Telegr & Teleph Corp <Ntt> 車載用画像表示装置および車載用画像表示方法
JP3930025B2 (ja) * 2005-01-27 2007-06-13 松下電器産業株式会社 表示制御装置
JP4325705B2 (ja) * 2007-06-15 2009-09-02 株式会社デンソー 表示システム及びプログラム
US20110035776A1 (en) * 2008-06-03 2011-02-10 Mitsubish Electric Corporation On-train information service system, on-train information presenting method, and passenger train-use information displaying device
JP2010006092A (ja) * 2008-06-24 2010-01-14 Honda Motor Co Ltd 運転支援装置
US20120212613A1 (en) * 2011-02-22 2012-08-23 Sekai Electronics, Inc. Vehicle virtual window system, components and method
EP2581268B2 (en) * 2011-10-13 2019-09-11 Harman Becker Automotive Systems GmbH Method of controlling an optical output device for displaying a vehicle surround view and vehicle surround view system
US8733938B2 (en) * 2012-03-07 2014-05-27 GM Global Technology Operations LLC Virtual convertible tops, sunroofs, and back windows, and systems and methods for providing same
US20140309872A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Customization of vehicle user interfaces based on user intelligence
TWM438418U (en) * 2012-06-07 2012-10-01 Acard Technology Corp Adaptive auxiliary driving monitoring recorder
EP2746833A1 (en) * 2012-12-18 2014-06-25 Volvo Car Corporation Vehicle adaptation to automatic driver independent control mode
JP6205947B2 (ja) 2013-07-26 2017-10-04 日産自動車株式会社 自動運転制御装置
US10475242B2 (en) * 2014-01-10 2019-11-12 Aisin Seiki Kabushiki Kaisha Image display control device and image display system including image superimposition unit that superimposes a mirror image and a vehicle-body image
CN106414174B (zh) * 2014-05-29 2019-03-29 株式会社小糸制作所 车辆外部监视装置和拍摄装置
EP3154858B1 (en) * 2014-06-13 2019-06-19 B/E Aerospace, Inc. Apparatus for providing attitude reference for vehicle passengers
KR102127356B1 (ko) * 2014-07-31 2020-06-26 삼성전자주식회사 투명 디스플레이 장치 및 그 제어 방법
MY189943A (en) * 2015-04-07 2022-03-22 Nissan Motor Parking assistance system and parking assistance device
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
US10518702B2 (en) * 2017-01-13 2019-12-31 Denso International America, Inc. System and method for image adjustment and stitching for tractor-trailer panoramic displays
JP2018117320A (ja) * 2017-01-20 2018-07-26 株式会社東芝 電子ミラーの映像合成装置及び映像合成方法
JP6846624B2 (ja) * 2017-02-23 2021-03-24 パナソニックIpマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
JP6649914B2 (ja) * 2017-04-20 2020-02-19 株式会社Subaru 画像表示装置
US10509413B2 (en) * 2017-09-07 2019-12-17 GM Global Technology Operations LLC Ground reference determination for autonomous vehicle operations
JP2019054360A (ja) * 2017-09-14 2019-04-04 セイコーエプソン株式会社 電子機器、モーションセンサー、位置変化検出プログラムおよび位置変化検出方法
JP7000383B2 (ja) * 2019-07-04 2022-01-19 株式会社デンソー 画像処理装置および画像処理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005184225A (ja) 2003-12-17 2005-07-07 Denso Corp 車両用表示装置
JP2007052719A (ja) 2005-08-19 2007-03-01 Adc Technology Kk 車載用画像表示装置
JP2007326526A (ja) 2006-06-09 2007-12-20 Quality Kk 乗物用ウインドウガラスの調光制御装置
JP2010532287A (ja) 2007-01-31 2010-10-07 チェ、ユン−ジュン 自動車用ディスプレー装置及びこれを用いたディスプレー方法
JP2008189202A (ja) 2007-02-06 2008-08-21 Honda Motor Co Ltd 車両用窓装置
JP2016053622A (ja) 2014-09-03 2016-04-14 株式会社デンソー 表示装置

Also Published As

Publication number Publication date
WO2017208719A1 (ja) 2017-12-07
US20200358986A1 (en) 2020-11-12
US10757375B2 (en) 2020-08-25
CN109155834A (zh) 2019-01-04
EP3468172A4 (en) 2019-04-10
US11451749B2 (en) 2022-09-20
EP3468172A1 (en) 2019-04-10
US20190124301A1 (en) 2019-04-25
CN109155834B (zh) 2022-01-25
JPWO2017208719A1 (ja) 2019-04-04

Similar Documents

Publication Publication Date Title
JP7067471B2 (ja) 表示制御装置及び表示制御方法、表示装置、並びに移動体装置
JP7124932B2 (ja) 制振制御装置
US10070034B2 (en) Image capturing device, image capturing method, and information distribution system
US20200351478A1 (en) Display control device and display control method, display device, and mobile device
US8914236B2 (en) Mobile object, system, and storage medium
JP2016029566A (ja) 車両を介する遠隔通信方法
US20160307056A1 (en) Arrangement for creating an image of a scene
US11164010B2 (en) System for activating a security mode in a vehicle
WO2021079975A1 (ja) 表示システム、表示装置、表示方法、及び、移動装置
CN111480194A (zh) 信息处理装置、信息处理方法、程序、显示系统和移动物体
CN108028873A (zh) 交通工具摄像机系统
CN111064936A (zh) 一种路况信息显示方法及ar设备
JP2022184919A (ja) 表示制御装置、表示制御方法
CN110301133B (zh) 信息处理装置、信息处理方法和计算机可读记录介质
US20180293796A1 (en) Method and device for guiding a user to a virtual object
JP6667059B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP6917426B2 (ja) 画像表示装置、画像表示方法、および、画像表示システム
WO2022124164A1 (ja) 注目対象共有装置、注目対象共有方法
US10115307B1 (en) Parking space availability system
JP6337743B2 (ja) 車両の情報表示システム
JP2022167701A (ja) 情報処理装置、情報処理プログラム、情報処理方法及びモビリティサイネージシステム
CN113544757A (zh) 信息处理装置、信息处理方法,以及移动体装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190213

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220117

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220117

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220126

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R151 Written notification of patent or utility model registration

Ref document number: 7067471

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151