JP5842110B2 - 表示制御装置、表示制御プログラム、および記録媒体 - Google Patents

表示制御装置、表示制御プログラム、および記録媒体 Download PDF

Info

Publication number
JP5842110B2
JP5842110B2 JP2014205649A JP2014205649A JP5842110B2 JP 5842110 B2 JP5842110 B2 JP 5842110B2 JP 2014205649 A JP2014205649 A JP 2014205649A JP 2014205649 A JP2014205649 A JP 2014205649A JP 5842110 B2 JP5842110 B2 JP 5842110B2
Authority
JP
Japan
Prior art keywords
display
display control
line
foreground
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014205649A
Other languages
English (en)
Other versions
JP2015096946A (ja
Inventor
江村　恒一
恒一 江村
荒井　結子
結子 荒井
望月　誠
誠 望月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2014205649A priority Critical patent/JP5842110B2/ja
Publication of JP2015096946A publication Critical patent/JP2015096946A/ja
Application granted granted Critical
Publication of JP5842110B2 publication Critical patent/JP5842110B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Description

本開示は、車両の運転者に注意を喚起するための情報の表示を制御する技術に関する。
現在、車両の運転者に注意喚起する先進運転支援システム（ＡＤＡＳ：Advanced Driver Assistance Systems）が普及しつつある。ＡＤＡＳのアプリケーションには、車線逸脱警報（ＬＤＷ：Lane Departure Warning）、前方車両衝突警報（ＦＣＷ：Forward Collision Warning）、歩行者衝突警報（ＰＣＷ：Pedestrian Collision Warning）などがある。このＡＤＡＳでは、白線などの走行環境、先行車両および後方から接近する車両、進行方向上の歩行者などを、車載カメラまたは車載レーダ等のセンサで検知し、その検知内容に基づく情報を表示する。情報の表示先としては、例えば、メータディスプレイ、ＨＵＤ（Head‐Up Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）などがある。
一般的に、不注意の盲目（inattentional blindness）という現象が知られているように、対象が同時に存在した場合、運転者は、現在注意を払っている対象以外の対象を認識することが困難である。そこで、センサによって検知された前方の車両、歩行者等の対象の情報を、運転者の前景に重畳表示するＡＤＡＳが開発されている。これにより、運転者が積極的に探さない、または注意していない対象についての情報を運転者に提示することが可能となり、より効果的な運転支援が実現できる。
従来の情報提示装置として、例えば、カメラ画像における対象の面積、重心などの特徴量に基づき、人間の視覚情報処理の初期段階における単純な視覚的特徴をカメラ画像と同じ空間座標系にマッピングした２次元特徴マップを生成し、２次元特徴マップから、注意の焦点を示す顕著性マップを生成するものがある。注意の焦点とは車両の運転者が注意を向けやすい領域であり、例えば、先行車両が写る領域などである。そして、従来の情報提示装置は、運転者が注意していない対象が現れた場合、顕著性マップを生成し直し、注意の焦点を対象が現れた領域に変更する。そして従来の情報提示装置は、変更された注意の焦点に基づいて運転者に情報を提示する（例えば、特許文献１参照）。
特開２０１１−８７７２号公報
Hye Sun Park, Min Woo Park, Kwang Hee Won, Kyong-Ho Kim, and Soon Ki Jung, "In-Vehicle AR-HUD System to Provide Driving-Safety Information", ETRI Journal, Volume 35, Number 6, December 2013.
しかしながら、特許文献１の技術は、注意の焦点の変更により、運転者の視線移動を誘発し、運転者の負担を増加させてしまう、という課題がある。また、特許文献１の技術は、注意の焦点の変更により、運転者が変更された注意の焦点に注意を向けるため、その他の注意への負担がかかり、新たな見落としが発生する、という課題がある。
本開示の一態様は、運転者の視線移動を必要とせずに、複数の注意すべき対象を認知させることができる表示制御のためのコンピュータ実装方法（A computer-implemented method）を提供する。
本開示の一態様に係るコンピュータ実装方法は、ユーザの前景に存在する移動物を認識する認識部と、認識部の認識結果に基づいて生成された所定画像を表示媒体に表示する表示源とを含む映像システムのためのコンピュータ実装方法であって、認識部からの入力データに基づいて、ユーザの前景に移動物が２以上存在するか否かを判定し、移動物が２以上存在すると判定された場合、所定位置又は所定軸を起点として２以上の移動物の各々に向けた仮想線を表す所定画像を生成して、表示媒体に表示するように表示源を制御する。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
本開示によれば、視線移動を必要とせずに、複数の注意すべき対象を認知させることができる。
本開示の実施の形態１〜４に係る投影装置の構成例を示すブロック図 本開示の実施の形態１に係る情報提示装置の動作例を示すフローチャート 本開示の実施の形態１に係る情報提示装置が情報提示を行う前景の一例を示す図 本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図 本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図 本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図 本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図 本開示の実施の形態１に係る情報提示装置が行う情報提示の４つの例を示す図 本開示の実施の形態２に係る情報提示装置の動作例を示すフローチャート 本開示の実施の形態２に係る情報提示装置が情報提示を行う前景の一例を示す図 本開示の実施の形態２に係る情報提示装置が行う情報提示の４つの例を示す図 本開示の実施の形態３に係る情報提示装置の動作例を示すフローチャート 本開示の実施の形態３に係る情報提示装置の情報取得タイミングの例を示すタイミングチャート 本開示の実施の形態３に係る情報提示装置が行う情報提示の３つの例を示す図 本開示の実施の形態４に係る情報提示装置の動作例を示すフローチャート 本開示の実施の形態４に係る情報提示装置が情報提示を行う前景の一例を示す図 本開示の実施の形態１〜４に係る情報提示装置のハードウェア構成例を示すブロック図
以下、本開示の実施の形態について、図面を参照して説明する。
（実施の形態１）
本開示の実施の形態１について説明する。
図１は、本実施の形態に係る映像システム１０の構成例を示すブロック図である。図１において、映像システム１０は、表示制御装置１００と、表示源４００と、認識部２００とを有する。
認識部２００は、ユーザの前景（以下、単に「前景」という）を表した前景画像を取得して、前景画像に含まれる移動物を認識する。前景を表した前景画像は車両の前方に設置されたカメラにより取得されるため、ユーザの前景は、すなわち、車両前進方向の前景である。具体的には、認識部２００は、カメラ（不図示）によって撮影された、前景を表した前景画像を取得する。なお、ユーザが運転者の場合、カメラは車両前方に設置され、運転者の前景を撮影する。また、ユーザが歩行者である場合、カメラはウェアラブル端末に設置され、歩行者の前景を撮影する。
認識部２００は、カメラによって撮影された前景画像を取得した後、前景画像に予め定められた物体が含まれているか否かを判定し、移動物を認識する。認識部２００は、画像に含まれる特徴量を抽出し、抽出された特徴量に基づき物体認識を行う。なお、物体認識に関する技術は公知のため、詳細な説明は省略する。
表示制御装置１００は、認識部２００からの入力データに基づいて、表示源４００が投影する画像データを制御する。なお、画像データは表示源４００によって生成されるものとして説明するが、表示制御装置１００または図示しない他の構成要素によって生成されてもよい。
表示源４００は、画像データをディスプレイ（図示せず）へ投影する。表示源４００は、プロジェクタ機能を有し、ディスプレイ（表示媒体ともいう）へ直接投影する。なお、表示源４００は、プロジェクタ機能に代えて、例えば、ディスプレイへの表示機能、または、ホログラムによる出力機能を用いてもよい。ホログラムによる出力機能を用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いて、導光板を内部全反射して導光される平行光束群の一部を射出することで乗員に虚像を視認させる方式でもよい。なお、導光板を用いた方式においては、プロジェクタのように画像データを直接的に投影するものではないが、説明の便宜上、プロジェクタ方式と同様に投影または投射という定義で説明する場合もある。
また、ディスプレイが後述の光学系透過型（光学シースルー型）などの場合には、表示源（以下、表示部ともいう）４００は、ディスプレイに画像データを表示する。以下、ディスプレイが虚像投影型など、または、光学透過型などの場合を含めて、説明の簡易化のために、画像データはディスプレイに表示されるものとして説明する場合もある。
ディスプレイとしては、例えば、ＨＵＤ（Head‐Up Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）が適用される。ＨＵＤは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスやリアガラスであってもよい。
また、ディスプレイは、虚像投影型、網膜投影型、光学透過型（光学シースルー型）、ビデオ透過型（ビデオシースルー型）、非透過型のいずれであっても良い。表示する表示画像は、虚像であっても良いし、実像であっても良い。光学透過型ディスプレイは、車載HUDとしての研究開発が進められている（非特許文献１）。光学透過型ディスプレイは、たとえば車両のウインドシールドの内側面に張り付けられてもよいし、また、車両のウインドシールドを成型する過程において、ウインドシールドの中に組み込まれてもよい。
以下の説明においてはディスプレイは虚像投影型のHUDとして説明するが、その限りではなく、上述した種々のディスプレイであってもよい。HUDの代わりに光学透過型ディスプレイを適用する場合には、ディスプレイに表示される表示情報は虚像ではなく実像としてユーザに視認される。
なお、映像システム１０は、上述したディスプレイを含む構成であってもよい。
映像システム１０において生成される画像データは、当該装置のユーザに提示するための表示情報を含む。表示情報は、画像データの一部としてディスプレイに表示される。表示された表示情報は、虚像としてユーザに視認される。ディスプレイに投影された表示情報が虚像としてユーザに視認される原理は、公知技術であるため、説明を省略する。
なお、表示情報は、画像データの一部としてディスプレイに投影されるのではなく、前景に重畳されるようにディスプレイに投影されてもよい。この場合、表示制御装置１００は表示情報だけを制御し、表示源４００は表示情報だけをディスプレイに投影するようにしてもよい。以下では、表示情報の一例としての仮想線が前景に重畳されるようにディスプレイに投影される例について説明する。
なお、以下では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、これに限定されるものではない。例えば、ディスプレイとしてＨＭＤが適用された場合、ユーザは車両の乗員でもよいし、歩行者でもよい。すなわち、映像システム１０は車載機器であってもよいし、利用するときに車両に持ち込まれる機器であってもよいし、ユーザが歩行時に装着する機器であってもよい。
次に、本実施の形態の表示制御装置１００の構成について説明する。図１において、表示制御装置１００は、判定部１０１、制御部１０２を有する。判定部１０１は、認識部２００からの入力データに基づいて、前景に移動物が２以上存在するか否かを判定する。移動物が２以上存在すると判定された場合において、制御部１０２は、表示媒体に投影されたときに、所定位置を起点として２以上の移動物の各々へ向かう仮想線を表わす所定画像を生成し、生成された所定画像を表示媒体に投影するよう、表示源４００を制御する。以下、具体的に説明する。なお、表示制御装置１００は、認識部２００との接続部、および、表示源４００との接続部を有してもよい。
判定部１０１は、認識部２００から移動物に関する情報を取得する。移動物に関する情報は、少なくとも移動物の存否を含む。また、移動物に関する情報は、前景画像における位置情報を含んでもよい。判定部１０１は、移動物に関する情報に基づいて、前景に存在する移動物の数を認識する。そして、判定部１０１は、前景に存在する移動物が１つであるか、２つ以上であるかを判定し、判定結果を制御部１０２へ出力する。
制御部１０２は、判定部１０１において前景に存在する移動物が２以上であると判定された場合に、所定画像を生成して、生成された所定画像をディスプレイに投影するよう、表示源４００を制御する。表示源４００において生成された所定画像は、ディスプレイに投影されたときにユーザに虚像として視認される。所定画像は、ディスプレイ上において、所定位置を起点として２以上の移動物の各々へ向かう仮想線である。すなわち、仮想線は、ユーザが前景を見たときに、ディスプレイ上において所定位置から２以上の移動物の各々へ向かうように視認される画像である。
次に、本実施の形態の表示制御装置１００の動作例について説明する。図２は、本実施の形態の表示制御装置１００の動作例を示すフローチャートである。
以下では、動作例を説明するにあたり、図３に示す前景の一例を用いる。
図３は、仮想線を表わす所定画像がディスプレイに投影されていない状態の前景の一例を示す。図３の前景３００には、車両の前方の光景として、道路、建物、道路脇に歩行者などが存在している。位置３０１は、車両の進行方向左側を歩行中の歩行者（移動物の一例）の位置を示しており、位置３０２は、車両の進行方向右側を歩行中の歩行者（移動物の一例）の位置を示している（図３における円形参照）。なお、図３の符号３１１〜３１３については、後述する。
ステップＳ２０１において、認識部２００は、前景を表した前景画像を取得して、前景画像に含まれる移動物を認識する。なお、前景には１以上の移動物が存在しているものとする。
次に、ステップ１０１〜Ｓ１０３の処理を表示制御装置１００が行う。ステップＳ１０１において、判定部１０１は、前景画像に基づき、前景に移動物が２以上存在するか否かを判定する。判定部１０１が、前景において移動物が２以上存在すると判定した場合（ステップＳ１０１：ＹＥＳ）、フローはステップＳ１０２へ進む。
ステップＳ１０２において、表示制御装置１００における制御部１０２は、表示媒体（ディスプレイ）に投影されたときに、所定位置又は所定軸を起点として複数の移動物の各々に向けた仮想線となる所定画像を生成して、生成された所定画像をディスプレイに投影するよう、表示源４００を制御する。
また、ステップＳ１０１において、判定部１０１が、前景に移動物が２以上存在しないと判定した場合、すなわち前景に移動物が１つ存在すると判定した場合（ステップＳ１０１：ＮＯ）、フローはステップＳ１０３に進む。
ステップＳ１０３において、ディスプレイに投影されたときに、所定位置又は所定軸を起点として移動物に向けた仮想線となる所定画像を生成して、生成された所定画像をディスプレイに投影するよう、制御部１０２は表示源４００を制御する。なお、ディスプレイに投影されたときに、移動物の位置を表す所定画像を生成し、生成された所定画像をディスプレイに投影するよう、制御部１０２は表示源４００を制御してもよい。移動物の位置を表す所定画像は、例えば、移動物の下方の円形形状で表示される。なお、所定画像の形状は円形に限定されず、また、表示位置も移動物の下方に限定されない。
ステップＳ３０１において、表示源４００は、制御部１０２からの指示に基づき、所定画像を生成する。そして、表示源４００は、生成された所定画像をディスプレイに投影する。これにより、前景に存在する移動物の位置に対応した虚像が表示される。
図４は、表示源４００が生成する所定画像が、ディスプレイに投影されたときの様子を示す。以下、図４を用いて、表示源４００において生成される所定画像について説明する。
判定部１０１において、移動物が１つ存在すると判定されたとき、所定画像がディスプレイに投影されることにより、前景は図４Ａのようになる。図４Ａにおいて、画像４０１は点４０５から移動物へ向かう仮想線である。仮想線は前景に重畳され、ユーザによって虚像として視認される。
また、判定部１０１において、移動物が２つ存在すると判定されたとき、所定画像がディスプレイに投影されることにより、図４Ｂに示されるような前景になる。図４Ｂにおいて、画像４０１および画像４０２は、点４０５から各移動物へ向かう仮想線である。仮想線は前景に重畳され、ユーザによって虚像として視認される。
図４Ｂの状態から移動物が１つ増えた場合、判定部１０１は移動物が３つ存在すると判定し、図４Ｃに示されるような前景になる。図４Ｃにおいて、画像４０３は、所定位置である点４０５から増えた移動物へ向かう仮想線である。仮想線は前景に重畳され、ユーザによって虚像として視認される。
図４Ｃの状態から移動物が１つ減り、残る２つの移動物の位置が重なった場合、図４Ｄに示されるような前景になる。図４Ｄにおいては、図４Ｃにおける画像４０１および画像４０２は前景に重畳されず、画像４０３のみが仮想線として前景に重畳される。
図４Ａ〜図４Ｄにおいて、画像４０１〜４０３および点４０５が表示源４００において生成される所定画像、すなわち仮想線である。ユーザは所定位置である点４０５の周辺を注目するだけで、点４０５から移動物へ向かう仮想線の分岐数と仮想線の方向を認識し、前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。なお、点４０５はディスプレイに投影されなくてもよい。
なお、図４Ａ〜図４Ｄまで示した仮想線は一例であり、図５Ａ〜図５Ｄに示すように楔型の形状とし、移動物の位置や状態によって変化する太さを有していてもよい。これにより例えば、自車両から移動物までの距離が短いほど、または、移動物の自車両に対する相対的な移動速度が速いほど、所定位置における仮想線を太くすることにより、ユーザが移動物までの距離や移動物との衝突リスクを直観的に理解できるようになる。また、所定位置から移動物に向かうほど仮想線が細くなるため、点４０５の周辺を注目しているユーザにとって、無駄となる表示を減らし、ユーザが必要以上に仮想線に注目しないようにすることも可能となる。
さらに、図６Ａ〜図６Ｄに示すように、各移動物へ向かう仮想線の起点は、所定位置でなく、所定軸であってもよい。これにより例えば、ユーザは前景において所定軸周辺のみを注目することにより、前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。また、図７Ａ〜図７Ｄに示すように、所定軸は画像としてディスプレイに投影されてもよい。これにより、ユーザが注目すべき範囲を明確にすることが可能となる。ユーザは投影された所定軸の周辺のみを注目するだけで、前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。
また、各移動物へ向かう仮想線の起点である所定位置は、例えば、車室内に設置された車内カメラが検出したユーザの顔向きと視線から算出された、表示媒体上におけるユーザの視点であってもよい。これにより、ユーザの視点がどこであっても、ユーザは前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。
また、各移動物へ向かう仮想線の起点である所定位置は、先行車両の端点や輪郭上の点であってもよい。例えば、先行車両の左後輪を、自車両の進行方向に向かって左側に存在する移動物へ向かう仮想線の起点である所定位置とし、先行車両の右後輪を、自車両の進行方向に向かって右側に存在する移動物へ向かう仮想線の起点である所定位置としてもよい。これにより、ユーザは先行車両に注目しながら、前景において左右に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。
なお、各移動物の種別や状態によって仮想線の起点である所定位置が異なるようにしてもよい。例えば、対象の種別が歩行者であるか自転車であるかによって、それぞれの仮想線の起点である所定位置が異なるようにしてもよい。こうすることで、歩行者ごと、自転車ごとに移動物がグルーピングされて表示されるため、ユーザはより注目すべき種別の移動物から優先的にその数や位置を理解することが可能となる。また、例えば、自車両に接近しつつある移動物であるか、離れつつある移動物であるかによって、それぞれの仮想線の起点である所定位置が異なるようにしてもよい。また、例えば、移動物をその移動速度によって複数のグループに分け、それぞれのグループごとに仮想線の起点である所定位置が異なるようにしてもよい。こうすることでユーザは、より衝突の可能性が高い自車両に接近しつつある移動物や、速度の速い移動物を優先的に、その数や位置を理解することが可能となる。
また、図５Ａ〜図５Ｄに示すように、所定位置である点（仮想線の起点）から移動物に向かうほど仮想線の色を薄くしたり、透明度を増してもよい。また、これらの処理を組み合わせても良い。これにより、点４０５の周辺を注目しているユーザにとって無駄となる表示を減らし、ユーザが必要以上に仮想線に注目しないようにすることが可能となる。
また、仮想線は、図６Ａ〜図６Ｄに示すように、前景におけるユーザの視点に近い垂直線、例えば前景中央を通る垂直線に対し、移動物の位置から下ろす垂線としてもよい。ユーザが前景と仮想線を同時に見る場合、ユーザの焦点が前景に合っていると、仮想線が水平方向に二重に見える可能性があるが、仮想線が水平方向であるため、ユーザは仮想線が二重に見えていることに気付きにくくなる。さらに、前景中央を通る垂直線に対し、下ろした各垂線を結ぶ垂直線を可視化してもよい。ユーザは、前景中央を通る垂直線に対し、下ろした各垂線を結ぶ垂直線だけに注目すれば、前景に存在する移動物の数、移動物の位置を直観的に理解することが可能となる。
なお、図３に示すように、車両の正面方向には、基本視線位置（消失点）３１１、下方視線位置３１２、および上方視線位置３１３が規定されているとする（図中の三角形参照）。基本視線位置（消失点）３１１は、通常ユーザが前景において注目している位置である。下方視線位置３１２は、基本視線位置３１１と車両を結ぶ線上において車両に近い位置である。一方、上方視線位置３１３は、基本視線位置３１１と車両を結ぶ線上において車両から遠い位置である。下方視線位置３１２と上方視線位置３１３は、前景において車両前方の先行車両に重ならず、かつ、なるべく基本視線位置（消失点）３１１に近い位置が望ましい。なお、基本視線位置３１１、下方視線位置３１２、および上方視線位置３１３は、ディスプレイに投影されない。
図８Ａは、図３の各位置を用いずに、各移動物を直接仮想線でつないだ例である。例えば、車両前方の右側と左側それぞれで最も自車両に近い２つの移動物を仮想線で直接つなぐことにより、ユーザは最も注意を必要とする移動物の存在の認識が容易になる。最も自車両に近い移動物が入れ替わった場合、仮想線は都度つなぎ直される。
また、図８Ｂ〜図８Ｄは、図３に示す各位置を用いて各移動物を仮想線でつないだ例である。具体的には、図８Ｂは、第１の移動物の位置３０１と第２の移動物の位置３０２とを、基本視線位置３１１を介して仮想線でつないだ例である。図８Ｃは、第１の移動物の位置３０１と第２の移動物の位置３０２とを、下方視線位置３１２を介して仮想線でつないだ例である。図８Ｄは、第１の移動物の位置３０１と第２の移動物の位置３０２とを、上方視線位置３１３を介して曲線状の仮想線でつないだ例である。例えば、車両の前方に先行車両が存在する場合、図８Ｂのように基本視線位置３１１を介して仮想線をつないだ場合、仮想線が先行車両に重なって表示され、ユーザが先行車両と仮想線を視認しにくくなる可能性がある。下方視線位置３１２、もしくは上方視線位置３１３を介して各移動物を仮想線でつなぐことにより、ユーザが先行車両と仮想線を視認しにくくなることを回避できる。
図８Ａ〜図８Ｄに示す仮想線は、図４〜図７に示す仮想線と同様に、制御部１０２により決定される。なお、本実施の形態において、仮想線の形状は図４〜図８に示すように直線状または楔形状、曲線状としたが、これらに限定されない。
また、本実施の形態において、ディスプレイの大きさなどの制約により、仮想線の全部を提示できない場合、提示可能な範囲において仮想線の一部を提示するようにしてもよい。
また、本実施の形態において、仮想線は、前景に重畳表示するとしたが、これに限定されない。例えば、仮想線は、前景を撮影した画像データに重畳表示されてもよい。
また、本実施の形態において、車両の前方の状況に応じて図８Ａ〜図８Ｄに示す仮想線を切り替えてもよい。例えば、先行車両が存在しない場合は図８Ａに示される仮想線４０１を表示し、先行車両との車間距離が充分である場合は図８Ｃに示される仮想線４０３を表示し、先行車両との車間距離が充分ではない場合は図８Ｄに示される仮想線４０４を表示するように切り替えてもよい。
以上のように、本実施の形態の表示制御装置１００は、前景に複数の移動物が存在する場合、その複数の移動物の位置をつなぐ仮想線を、前景に重畳してユーザに提示することを特徴とする。これにより、表示制御装置１００は、ユーザに対して、視線移動を必要とせずに、複数の注意すべき対象である移動物を認知させることができる。
上記態様では、前景に移動物が２以上存在すると判断された場合、ディスプレイに投影されたときの所定位置又は所定軸を起点として２以上の移動物の各々に向けた仮想線を表した所定画像を生成し、仮想線を表した所定画像をディスプレイに表示する。これにより、例えば、２以上の移動物を矩形線で囲む画像を表示する場合と比較して、ユーザは所定位置又は所定軸という一点に注意を払い、その一点から２以上の移動物が存在する各方向を認識できる。すなわち、２以上の移動物を矩形線で囲む画像を表示する場合、ユーザは、２以上の移動物を矩形線で囲む画像の各々に視線を向けて、２以上の移動物の各々を認識する必要がある。例えば、車両を運転している際に、左右の歩道にそれぞれ歩行者がいる場合、２以上の移動物を矩形線で囲む画像が強調されるために、左右の歩行者を矩形線で囲む画像の各々に目が惹かれる。そのため、左右の歩行者を矩形線で囲む画像の箇所の各々にて、ユーザの視線が停止する時間が長くなり、前方への注意がかえって疎かとなって、危険が増加する場合がある。
これに対し、本態様では、ユーザは所定位置又は所定軸という一点に注意を払い、その一点から２以上の移動物が存在する各方向を認識できるので、所定位置又は所定軸のいずれか一点に注意を払えば、２以上の移動物が存在する各方向について情報を一度に得ることが出来る。そのため、本態様によれば、ユーザは２以上の移動物が存在する各方向について情報を一度に得ることが出来るので、移動物の数に多少に関わらず、正確な情報を瞬時に把握できるので、その分、例えば、車両を運転する場合、ユーザは前方への注意も十分に払いながら、周辺の移動物に関する情報を得て、安全な運転ができる。
上記説明では、判定部１０１が取得する移動物の位置情報は、認識部２００が取得する前景画像に基づいて認識されたが、この限りではない。例えば、移動物の位置情報は、位置情報を生成する位置情報生成装置（図示せず）から出力される。位置情報は、例えば、視覚センサの出力信号から抽出される顕著性マップが示す位置情報、画像認識された自転車、歩行者等の位置を示す位置情報、車車間通信を介して受信する周辺の他の移動物の位置と自車両位置とから算出される相対位置を示す位置情報、路側センサから路車間通信を介して受信する周辺の他の移動物の位置と自車両位置とから算出される相対位置を示す位置情報、などが挙げられる。
（実施の形態２）
本開示の実施の形態２について説明する。
本実施の形態に係る映像システムの構成例を示すブロック図は、実施の形態１同様、図１である。図１において、映像システム１０は、表示制御装置１００と、表示源４００と、認識部２００とを有する。表示制御装置１００は、判定部１０１、制御部１０２を有する。また、認識部２００と表示源４００の動作は実施の形態１と同様である。
本実施の形態の表示制御装置１００の動作例について説明する。図９は、本実施の形態の表示制御装置１００の動作例を示すフローチャートである。
以下では、動作例を説明するにあたり、図１０に示す前景の一例を用いる。また、本実施の形態における「対象」は、実施の形態１における「移動物」と同じ意味であり、本表示制御装置１００のユーザは車両の運転者であるものとして説明する。
図１０は、提示領域の提示が行われる前の運転者の前景の一例を示す図である。図１０において、図３と同じ部分には同一符号を付し、その説明は省略する。図１０において、枠６０１は、車両の進行方向左側を走行中の自転車（第１の対象の一例）の位置および大きさを示しており、枠６０２は、車両の進行方向右側を走行中の自転車（第２の対象の一例）の位置および大きさを示している（図中の長方形参照）。
ステップＳ５０１において、判定部１０１は、対象に関する情報として対象の位置情報および大きさ情報を認識部２００から取得する。大きさ情報とは、前景における対象の見かけの大きさを示す情報である。ここでは例として、前景３００において、第１の対象の位置情報および大きさ情報として、枠６０１が取得される。
ステップＳ５０２において、判定部１０１は、提示中の提示領域があるか否かを判定する。提示領域とは、後述する単独提示領域と連結提示領域を併せた総称である。前景３００において、提示中の提示領域がないと判定された場合（ステップＳ５０２：ＮＯ）、フローはステップＳ５０３へ進む。
ステップＳ５０３において、判定部１０１は、取得した位置情報および大きさ情報に基づいて、単独提示領域を決定する。単独提示領域とは、１つの対象の位置を示す提示のための領域である。すなわち、単独提示領域とは、所定画像が表示媒体に投影されたときに、移動物に対応した位置に存在するようにユーザに虚像として視認される所定形状の仮想図形である。ここでは例として、第１の対象の位置および大きさに対応する単独提示領域が決定される。ここで、単独提示領域の表示位置は、第１の対象の位置に対応して例えば第１の対象の下方に決定され、また、単独提示領域の形状は、楕円に決定される（例えば、図１１Ａに示す提示領域７０１ａ）。なお、単独提示領域の大きさは、第１の対象の大きさを反映するように決定されてもよいし、形状は、楕円以外の形状であってもよい。また、単独提示領域の表示位置は、対象の下方に限定されない。
ステップＳ５０５において、制御部１０２は、判定部１０１が決定した提示領域に代表情報を付与する。代表情報とは、対象の種別、対象の状態を示すための情報である。そして、制御部１０２は、提示領域を表示源４００へ出力する。その後、表示源４００は、所定のディスプレイに対して提示領域を投影する。これにより、運転者の前景に存在する対象に対応して、虚像としての提示領域が表示される。ここでは例として、第１の対象に対応する単独提示領域に対して、自転車の代表情報として予め定められた青色が付与される。これにより、前景３００において、第１の対象に対応する単独提示領域（例えば、図１１Ａに示す提示領域７０１ａ）が青色で表示される。
その後、フローは、ステップＳ５０１へ戻る。以下、具体例の説明を続ける。
ステップＳ５０１において、判定部１０１は、対象の位置情報および大きさ情報を取得する。ここでは例として、前景３００において、第２の対象の位置情報および大きさ情報として、枠６０２が取得される。
ステップＳ５０２において、判定部１０１は、提示中の提示領域があるか否かを判定する。ここでは例として、前景３００において、提示中の提示領域として、第１の対象に対応する単独提示領域があるため（ステップＳ５０２：ＹＥＳ）、フローは、ステップＳ５０４へ進む。
ステップＳ５０４において、判定部１０１は、取得した位置情報および大きさ情報に基づいて、連結提示領域を決定する。連結提示領域とは、複数の対象の位置をつなぐための提示領域であり、すでに提示領域が提示されている場合には、新たに位置情報および大きさ情報が取得された対象の単独提示領域と、複数の対象の位置をつなぐ仮想線が相当する。すなわち、ここでは第２の対象の単独提示領域が決定され（例えば、図１１Ａに示す提示領域７０２ａ）、かつ、第１の対象の位置と第２の対象の位置をつなぐ仮想線（例えば、図１１Ａに示す提示領域７０３ａ、７０４ａ）が決定される。
ステップＳ５０５において、制御部１０２は、判定部１０１が決定した提示領域に代表情報を付与する。その後、提示領域は表示源４００へ出力され、所定のディスプレイに虚像として投影される。
ここで、単独提示領域および仮想線の表示例を図１１Ａに示す。図１１Ａに示すように、第１の対象および第２の対象の下方には、それぞれ、楕円の単独提示領域７０１ａ、７０２ａが表示される。また、単独提示領域７０１ａの周囲の一部から突き出るように仮想線７０３ａが表示され、かつ、単独提示領域７０２ａの周囲の一部から突き出るように仮想線７０４ａが表示される。仮想線７０３ａおよび仮想線７０４ａは、第１の対象の位置と第２の対象の位置とをつないでいる。また、ここでは例として、単独提示領域および仮想線に対して、自転車の代表情報として予め定められた青色が付与される。例えば、図１１Ａにおいて、単独提示領域７０１ａ、７０２ａ、仮想線７０３ａ、７０４ａが青色で表示される。
なお、仮想線の提示は、図１１Ａに示す例に限定されない。以下、仮想線のその他の提示例について、図１０および図１１を用いて説明する。図１０に示す、基本視線位置（消失点）３１１、下方視線位置３１２、および上方視線位置３１３については、実施の形態１にて説明済みであるので、ここでの説明は省略する。
図１１Ｂは、本実施の形態におけるその他の提示例１を示す。図１１Ｂにおいて、第１の対象に対応する単独提示領域７０１ｂから突き出した仮想線７０３ｂと、第２の対象に対応する単独提示領域７０２ｂから突き出した仮想線７０４ｂとは、図１０に示す基本視線位置３１１を介してつながれている。
図１１Ｃは、本実施の形態におけるその他の提示例２を示す。図１１Ｃにおいて、第１の対象に対応する単独提示領域７０１ｃから突き出した仮想線７０３ｃと、第２の対象に対応する単独提示領域７０２ｃから突き出した仮想線７０４ｃとは、図１０に示す下方視線位置３１２を介してつながれている。
図１１Ｄは、本実施の形態におけるその他の提示例３を示す。図１１Ｄにおいて、第１の対象に対応する単独提示領域７０１ｄから突き出した仮想線７０３ｄと、第２の対象に対応する単独提示領域７０２ｄから突き出した仮想線７０４ｄとは、図１０に示す上方視線位置３１３を介してつながれている。この図１１Ｄでは、上方視線位置３１３が先行車両と重ならない位置にあるので、仮想線７０３ｄ、７０４ｄが先行車両に重畳表示されない。
図１１Ｂ〜図１１Ｄに示す単独提示領域および仮想線は、図１１Ａに示す単独提示領域および仮想線と同様に、図９のステップＳ５０３およびＳ５０４において、判定部１０１により決定される。すなわち、判定部１０１は、取得された第１の対象の位置情報、第２の対象の位置情報、および、予め定められた基本視線位置３１１、下方視線位置３１２、または上方視線位置３１３に基づいて、上述した単独提示領域を決定するとともに、上述した仮想線のいずれかを決定する。
なお、本実施の形態において、仮想線の形状は図１１Ａ〜図１１Ｄに示す形状に限定されない。例えば、仮想線は、視界の前方に先行車両が存在する場合に、その先行車両に重ならないように、対象の位置同士をつなぐことができる形状でもよいし、先行車と重なる部分のみ非表示にしてもよい。これにより、仮想線が先行車両に重畳表示されて運転者が先行車両を視認しにくくなることを回避できる。
また、本実施の形態において、車両の前方の状況に応じて図１１Ａ〜図１１Ｄに示す仮想線を切り替えてもよい。例えば、先行車両がない場合は図１１Ａの仮想線７０３ａ、７０４ａを表示し、先行車両との車間距離が充分である場合は図１１Ｃの仮想線７０３ｃ、７０４ｃを表示し、先行車両との車間距離が充分ではない場合は図１１Ｄの仮想線７０３ｄ、７０４ｄを表示するように切り替えてもよい。
また、本実施の形態において、図１１Ａ〜図１１Ｄそれぞれに示す仮想線、すなわち第１の対象に対応する提示領域と第２の対象に対応する提示領域（例えば、提示領域７０３ａと７０４ａ、提示領域７０３ｂと７０４ｂ、提示領域７０３ｃと７０４ｃ、提示領域７０３ｄと７０４ｄ）は、必ずしも接続している必要はない。例えば、第１の対象に対応する提示領域および第２の対象に対応する提示領域において所定位置へ向けて伸びた先端が、前景３００における所定位置で近接していてもよい。ここでいう先端間の距離は、予め定められているとする。また、ここでいう所定位置は、視線位置３１１〜３１３に限られない。ただし、安全面を考慮すると、運転中における通常の視線位置（例えば、基本視線位置３１１）の近傍であることが好ましい。
また、本実施の形態において、対象の大きさ（大きさ情報）に応じて単独提示領域の大きさを決定したが、対象と自車両との距離（距離情報）、または、対象の速度、自車両の速度、および、対象と自車両との相対速度（速度情報）のうち少なくとも１つに応じて、単独提示領域の大きさを決定してもよい。
また、本実施の形態において、ディスプレイの大きさなどの制約により、仮想線の全部を提示できない場合、提示可能な範囲において仮想線の一部を提示するようにしてもよい。
また、本実施の形態において、単独提示領域および仮想線は、運転者が視認可能な前景に重畳表示するとしたが、これに限定されない。例えば、単独提示領域および仮想線は、運転者が視認可能な前景を撮影した画像データに重畳表示されてもよい。
また、本実施の形態において、単独提示領域および仮想線に与えられる代表情報が色である場合を説明したが、その場合において、提示領域は、運転者がその提示領域の背景を視認できるように半透明としてもよい。また、代表情報は形状であってもよい。例えば、対象の種別によって矩形や星形など単独提示領域の形状が設定される。
以上のように、本実施の形態の表示制御装置１００は、実施の形態１の特徴を備えるとともに、対象の大きさに応じて単独提示領域の大きさを決定することを特徴とする。これにより、表示制御装置１００は、実施の形態１の効果を得られるとともに、運転者に対して、対象と自車両との距離感、対象が自車両に接近しているのかまたは自車両から離れていくのかなどを認知させることができる。
（実施の形態３）
本開示の実施の形態３について説明する。
人間の視覚特性として、注意の瞬き（attentional blink）と呼ばれる現象が知られている。注意の瞬きは、瞬きをすると一時的に外的世界が見えなくなるのと同じように、注意が一時的に利用できなくなる現象である。運転者は、前景において、第１の対象に注意した後、注意停留時間（attentional dwell time）の間は、第２の対象に注意できなくなる。なお、注意停留時間は、例えば、０．６〜０．７秒であるが、個人差によりこれ以外の値となる場合もある。注意停留時間を０．６秒とすると、第１の対象に対応する情報と第２の対象に対応する情報とが例えば０．６秒以内に提示された場合、運転者は、いずれかの対象を見落してしまうおそれがある。ＡＤＡＳにおいては、注意すべき対象の情報（例えば、位置情報や大きさ情報）を取得した場合、その対象に対応する情報（例えば、提示領域）をできるだけ早く提示することが必要となる。そのため、複数の対象について提示領域を提示するタイミングは、それぞれの対象の位置情報や大きさ情報を取得したタイミング（以下、情報取得タイミングという）とほぼ同時であると考えてよい。本実施の形態では、注意停留時間に満たない時間で複数の対象の位置情報および大きさ情報が取得された場合に仮想線を決定することにより、注意の瞬きによる見落としを発生させることなく、複数の対象を運転者に認知させる。
本実施の形態に係る映像システムの構成例を示すブロック図は、実施の形態１と同様図１である。図１において、映像システム１０は、表示制御装置１００と、表示源４００と、認識部２００とを有し、表示制御装置１００は、判定部１０１、制御部１０２を有する。また、認識部２００と表示源４００の動作は実施の形態１と同様である。
本実施の形態の表示制御装置１００の動作例について説明する。図１２は、本実施の形態の表示制御装置１００の動作例を示すフローチャートである。また、本実施の形態における「対象」は、実施の形態１における「移動物」と同じ意味であり、本表示制御装置１００のユーザは車両の運転者であるものとして説明する。
以下では、動作例を説明するにあたり、図１３に示すタイミングチャートおよび図１０に示す前景の一例を用いるとする。
図１３は、時刻ｔ１から時刻ｔ４までの時間帯における判定部１０１による対象の情報取得タイミングを示すタイミングチャートである。図１３において、横軸は時間軸を示し、縦軸は情報が取得されているか否かを示している。縦軸において矩形波の値が高いときは、位置情報および大きさ情報が取得されており、それらの情報に対応する対象が前景に存在することを示している。一方で、縦軸において矩形波の値が低いときは、位置情報および大きさ情報が取得されておらず、それらの情報に対応する対象が前景に存在しないことを示している。図１３において、ｄ７０１は、第１の対象の位置情報および大きさ情報の情報取得タイミングを示しており、ｄ７０２は、第２の対象の位置情報および大きさ情報の情報取得タイミングを示している。同様に、ｄ７０３は、第３の対象の位置情報および大きさ情報の情報取得タイミングを示しており、ｄ７０４は、第４の対象の位置情報および大きさ情報の情報取得タイミングを示している。
図１４Ａ、図１４Ｂ、図１４Ｃは、車両の進行に伴い変化する前景を時系列に示している。図１４Ａは、時刻ｔ１のときの前景１０００ａにおける提示領域の提示例を示している。提示領域１００１ａは、第１の対象に対応する単独提示領域である。第１の対象は、例えば、車両の進行方向の左側を歩行中の歩行者である。
図１４Ｂは、時刻ｔ３のときの前景１０００ｂにおける提示領域の提示例を示している。この例では、上述した提示領域１００１ａに加え、以下の提示領域が提示されている。提示領域１００２ａは、第２の対象に対応する単独提示領域であり、提示領域１００２ｂは、提示領域１００２ａから突き出した仮想線である。第２の対象は、例えば、車両の進行方向の左側を歩行中の歩行者である。提示領域１００３ａは、第３の対象に対応する単独提示領域であり、提示領域１００３ｂは、提示領域１００３ａから突き出した仮想線である。第３の対象は、例えば、車両の進行方向の右側を歩行中の歩行者である。線分１０１０は、基本視線位置（図３、図１０の３１１参照）と自車両とを結ぶ直線である。点１０１１は、線分１０１０上にあり、第１の対象の位置、第２の対象の位置、および第３の対象の位置からの距離の総和が最短となる位置にある。なお、線分１０１０および点１０１１は、仮想線を表示する際の基準となる仮想のオブジェクトであり、ディスプレイには表示されない。
図１４Ｃは、時刻ｔ４のときの前景１０００ｃにおける提示領域の提示例を示している。この例では、上述した提示領域１００１ａの提示がなくなり、新たに提示領域１００４ａが提示されている。つまり、この例は、第１の対象が前景から消えて、新たに第４の対象が前景に入ってきた場合である。提示領域１００４ａは、第４の対象に対応する単独提示領域である。第４の対象は、例えば、車両の進行方向の左側を歩行中の歩行者である。なお、図１４Ｃにおいて、点１０１１は、線分１０１０上にあり、第２の対象の位置、第３の対象の位置、および第４の対象の位置からの距離の総和が最短となる位置にある。
以下、図１２のフローチャートについて説明する。
ステップＳ８０１において、判定部１０１は、対象の位置情報および大きさ情報を認識部２００から取得する。例えば、時刻ｔ１のとき、判定部１０１は、第１の対象の位置情報および大きさ情報を取得する。また、例えば、時刻ｔ２のとき、判定部１０１は、第２の対象の位置情報および大きさ情報を取得する。また、例えば、時刻ｔ３のとき、判定部１０１は、第３の対象の位置情報および大きさ情報を取得する。また、例えば、時刻ｔ４のとき、判定部１０１は、第４の対象の位置情報および大きさ情報を取得する。なお、上記位置情報および大きさ情報は、例えば、対象を囲む枠（例えば、図１０の６０１、６０２参照）である。
ステップＳ８０２において、判定部１０１は、対象の位置情報および大きさ情報を取得したときの時刻（情報取得時刻）を保持する。例えば、判定部１０１は、第１の対象の位置情報および大きさ情報を取得した場合、それら情報を取得したときの時刻ｔ１を記憶する。また、例えば、判定部１０１は、第２の対象の位置情報および大きさ情報を取得した場合、それら情報を取得したときの時刻ｔ２を記憶する。また、例えば、判定部１０１は、第３の対象の位置情報および大きさ情報を取得した場合、それら情報を取得したときの時刻ｔ３を記憶する。また、例えば、判定部１０１は、第４の対象の位置情報および大きさ情報を取得した場合、それら情報を取得したときの時刻ｔ４を記憶する。
ステップＳ８０３において、判定部１０１は、提示中の提示領域があるか否かを判定する。判定の結果、提示中の提示領域がない場合（ステップＳ８０３：ＮＯ）、フローはステップＳ８０５へ進む。例えば、第１の対象の位置情報および大きさ情報が取得された場合、提示中の提示領域がないとして、フローはステップＳ８０５へ進む。一方、判定の結果、提示中の提示領域がある場合（ステップＳ８０３：ＹＥＳ）、フローはステップＳ８０４へ進む。例えば、第２の対象、第３の対象、および第４の対象のそれぞれの位置情報および大きさ情報が取得された場合、提示中の提示領域があるとして、フローはステップＳ８０４へ進む。
ステップＳ８０４において、判定部１０１は、情報取得時刻の差が所定時間より小さいか否かを判定する。所定時間は、上述した注意停留時間であり、例えば０．６秒とするが、これに限定されない。例えば、判定部１０１は、時刻ｔ２のとき、時刻ｔ２と時刻ｔ１との差（図１３のΔｔ１２）が所定時間より小さいか否かを判定する。また、例えば、判定部１０１は、時刻ｔ３のとき、時刻ｔ３と時刻ｔ２との差（図１３のΔｔ２３）が所定時間より小さいか否かを判定する。また、例えば、判定部１０１は、時刻ｔ４のとき、時刻ｔ４と時刻ｔ３との差（図１３のΔｔ３４）が所定時間より小さいか否かを判定する。
ステップＳ８０４の判定の結果、情報取得時刻の差が所定時間以上である場合（ステップＳ８０４：ＮＯ）、フローはステップＳ８０５へ進む。例えば、判定部１０１は、時刻ｔ２のとき、時刻ｔ２と時刻ｔ１との差が所定時間以上であると判定する。また、例えば、判定部１０１は、時刻ｔ４のとき、時刻ｔ４と時刻ｔ３との差が所定時間以上であると判定する。
一方、ステップＳ８０４の判定の結果、情報取得時刻の差が所定時間より小さい場合（ステップＳ８０４：ＹＥＳ）、フローはステップＳ８０６へ進む。例えば、判定部１０１は、時刻ｔ３のとき、時刻ｔ３と時刻ｔ２との差が所定時間より小さいと判定する。
ステップＳ８０５において、判定部１０１は、取得した位置情報および大きさ情報に基づいて、単独提示領域を決定する。例えば、提示中の提示がないと判定した場合（ステップＳ８０３：ＮＯ）、判定部１０１は、第１の対象の位置情報および大きさ情報に基づいて、第１の対象に対応する単独提示領域を決定する。この単独提示領域は、例えば、図１４Ａの提示領域１００１ａである。また、例えば、時刻ｔ２と時刻ｔ１との差が所定時間以上であると判定した場合（ステップＳ８０４：ＮＯ）、判定部１０１は、第２の対象の位置情報および大きさ情報に基づいて、第２の対象に対応する単独提示領域を決定する。この単独提示領域は、例えば、図１４Ｂの提示領域１００２ａである。また、例えば、時刻ｔ４と時刻ｔ３との差が所定時間以上であると判定した場合（ステップＳ８０４：ＮＯ）、判定部１０１は、第４の対象の位置情報および大きさ情報に基づいて、第４の対象に対応する単独提示領域を決定する。この単独提示領域は、例えば、図１４Ｃの提示領域１００４ａである。
ステップＳ８０６において、判定部１０１は、取得した位置情報および大きさ情報に基づいて、第３の対象の位置と第２の対象の位置とをつなぐための連結提示領域を決定する。例えば、時刻ｔ３と時刻ｔ２との差が所定時間より小さいと判定した場合（ステップＳ８０４：ＹＥＳ）、判定部１０１は、第３の対象に対応する単独提示領域も決定するとともに、第３の対象の位置と第２の対象の位置とをつなぐ仮想線を決定する。この動作の具体例を以下に説明する。
まず、判定部１０１は、第３の対象の位置情報および大きさ情報に基づいて、第３の対象に対応する単独提示領域を決定する。この単独提示領域は、例えば、図１４Ｂの提示領域１００３ａである。
次に、判定部１０１は、線分１０１０上において、前景に存在している全ての対象の位置からの距離の総和が最短になる点１０１１を特定する。例えば、図１４Ｂに示す前景１０００ｂの場合、線分１０１０において、第１の対象、第２の対象、第３の対象のそれぞれの位置からの距離の総和が最短となる点１０１１を特定する。また、例えば、判定部１０１は、図１４Ｃに示す前景１０００ｃの場合、線分１０１０において、第２の対象、第３の対象、第４の対象のそれぞれの位置からの距離の総和が最短となる点１０１１を特定する。
次に、判定部１０１は、第２の対象に対応する単独提示領域から点１０１１へ向けて突き出すように、仮想線を決定する。この仮想線は、例えば、図１４Ｂ、図１４Ｃに示す提示領域１００２ｂである。
同様に、判定部１０１は、第３の対象に対応する単独提示領域から点１０１１へ向けて突き出すように、仮想線を決定する。この仮想線は、例えば、図１４Ｂ、図１４Ｃに示す提示領域１００３ｂである。
このようにして、提示領域１００２ａと提示領域１００３ａは、点１０１１を介して連結される。すなわち、提示領域１００２ａと提示領域１００３ａは、第３の対象の位置と第２の対象の位置とをつなぐ仮想線として決定される。
ステップＳ８０７において、制御部１０２は、判定部１０１が決定した提示領域に代表情報を付与する。その後、提示領域は表示源４００へ出力され、所定のディスプレイに虚像として投影される。ここでは例として、単独提示領域および仮想線に対して、歩行者の代表情報として予め定められた赤色が付与される。例えば、図１４Ａ〜図１４Ｃにおいて、単独提示領域１００１ａ、１００２ａ、１００３ａ、１００４ａ、仮想線１００２ｂ、１００３ｂが赤色で表示される。
なお、本実施の形態において、仮想線の形状は図１４Ａ〜図１４Ｃに示す形状に限定されない。例えば、仮想線は、前景の前方に先行車両が存在する場合に、その先行車両に重ならないように、対象の位置同士をつなぐことができる形状でもよいし、先行車と重なる部分のみ非表示にしてもよいし、線分上の点（例えば、点１０１１）を先行車両と重ならない位置にして、対象の位置と線分上の点とをつなぐことができる形状でもよい。これにより、仮想線が先行車両に重畳表示されて運転者が先行車両を視認しにくくなることを回避できる。
また、本実施の形態において、判定部１０１が所定時間より小さいかどうか判定する時間を、２つの対象の情報取得時刻の差分としたが、これに限定されない。例えば、１つ目の対象の情報取得時刻と、２つ目の対象が自車両に最も近い対象であり、２つ目の対象に移動速度と位置から、自車両から所定距離以内に接近すると予測される時刻との差分の時間としてもよい。
また、本実施の形態において、判定部１０１が所定時間より小さいかどうか判定する時間を、前景に出現した２つの対象の情報取得時刻の差分としたが、これに限定されない。例えば、歩道に沿って移動していたが、車道を横断し始める歩行者のように移動方向に変化がある対象や、歩く速度で徐行しながら移動していたが、速い速度で移動し始める自転車のように移動速度に変化がある対象のみに限定してもよいし、それらの対象をその他の対象より優先してもよい。
また、本実施の形態において、対象の大きさに応じて単独提示領域の大きさを変えたが、対象と自車両との距離、または、対象の速度、自車両の速度、および対象と自車両との相対速度のうち少なくとも１つに応じて、単独提示領域の大きさを変えてもよい。
また、本実施の形態において、ディスプレイの大きさなどの制約により、仮想線の全部を提示できない場合、提示可能な範囲において仮想線の一部を提示するようにしてもよい。
また、本実施の形態において、単独提示領域および仮想線は、運転者が視認可能な前景に重畳表示するとしたが、これに限定されない。例えば、単独提示領域および仮想線は、運転者が視認可能な前景を撮影した画像データに重畳表示されてもよい。
また、本実施の形態において、単独提示領域および仮想線に与えられる代表情報が色である場合を説明したが、その場合において、提示領域は、その提示領域の背景を運転者が視認できるように半透明としてもよい。また、代表情報は形状であってもよい。例えば、対象の種別によって矩形や星形など単独提示領域の形状が設定される。
以上のように、本実施の形態の表示制御装置１００は、実施の形態２の特徴を備えるとともに、注意停留時間に満たない時間で複数の対象の位置情報および大きさ情報が取得された場合、その対象同士を連結する仮想線を決定することを特徴とする。これにより、表示制御装置１００は、実施の形態２の効果を得られるとともに、運転者に対して、注意の瞬きによる見落としを発生させることなく、複数の対象を認知させることができる。
（実施の形態４）
本開示の実施の形態４について説明する。実施の形態２および３における「対象」は移動物のみを指していたが、本実施の形態における「対象」は移動物だけでなく、道路環境に固定された物体も含むものとする。また、本表示制御装置１００のユーザは車両の運転者であるものとして説明する。
人間の視覚特性として、特徴探索（feature search）と統合探索（conjunction search）と呼ばれる現象が知られている。特徴探索は、色や方位など単一の特徴がある対象を視覚により探索することであり、特徴の空間的な並列処理が可能である。これに対し、統合探索は、色と方位の両方など複数の特徴がある対象を視覚により探索することであり、視覚的注意を向けることによって対象を判断しなければならず逐次処理となる。このような現象から明らかなように、歩行者や先行車両など移動する対象（以下、移動対象という）の数が増加したり、交通信号や道路標識など道路環境に固定された対象（以下、固定対象という）の数が増加したりして、前景の認識しやすさが低下する場合、注意停留時間を挟んで複数の対象へ注意を逐次向けるのに十分な時間を確保する必要がある。本実施の形態の表示制御装置１００は、前景の認識しやすさに応じて対象の提示領域を決定し、前景の認識しやすさが低下している場合には、音声等により運転者に対し自車両の減速を促し、運転者が注意にかけられる時間を確保することにより、より確実に複数の対象を運転者に認知させる。
本実施の形態に係る映像システムの構成例を示すブロック図は、実施の形態１と同様図１である。図１において、映像システム１０は、表示制御装置１００と、表示源４００と、認識部２００とを有し、表示制御装置１００は、実施の形態１と同様、判定部１０１、制御部１０２を有する。また、認識部２００と表示源４００の動作は実施の形態１と同様である。
本実施の形態の表示制御装置１００の動作例について説明する。図１５は、本実施の形態の表示制御装置１００の動作例を示すフローチャートである。
以下では、動作例を説明するにあたり、図１６に示す前景の一例を用いるとする。
図１６の前景１２００には、車両の前方の光景として、道路、建物、道路脇を走行中の歩行者などが存在している。図１６において、枠１２０１は、車両の進行方向左側を歩行中の歩行者（第１の対象の一例）の位置および大きさを示しており、枠１２０２は、車両の進行方向右側を歩行中の歩行者（第２の対象の一例）の位置および大きさを示している（図中の長方形参照）。ここでいう歩行者は、移動対象の一例である。
また、図１６において、枠１２１１は、横断歩道の位置および大きさを示しており、枠１２１２は、交通信号の位置および大きさを示しており、枠１２１３は、交通標識の位置および大きさを示している（図中において点線で描かれた楕円、台形参照）。ここでいう横断歩道、交通信号、交通標識は、固定対象の一例である。
なお、図１６において、説明の便宜上、上述した各枠と一緒に、第１の対象に対応する単独提示領域１２０１ａ、第２の対象に対応する単独提示領域１２０２ａ、第１の対象の位置と第２の対象の位置とをつなぐ仮想線１２０１ｂ、１２０２ｂを図示しているが、これらは、後述する図１５のステップＳ１１０７を経た場合に表示される。
以下、図１５のフローチャートについて説明する。
ステップＳ１１０１において、判定部１０１は、固定対象および移動対象のそれぞれについて位置情報および大きさ情報を認識部２００から取得する。例えば、前景１２００の場合、移動対象の位置情報および大きさ情報として枠１２０１、１２０２、固定対象の位置情報および大きさ情報として枠１２１１、１２１２、１２１３が取得される。
ステップＳ１１０２において、判定部１０１は、取得した対象数の総和、対象の大きさ（面積）の総和をそれぞれ算出する。例えば、前景１２００の場合、取得した枠は枠１２０１、１２０２、１２１１、１２１２、１２１３の５つであるので、対象数の総和は５となる。また、例えば、前景１２００の場合、取得した枠１２０１、１２０２、１２１１、１２１２、１２１３の５つの面積の合計が、対象の大きさの総和となる。
ステップＳ１１０３において、判定部１０１は、対象数の総和が所定数より小さいか否かを判定する。判定の結果、対象数の総和が所定数以上である場合（ステップＳ１１０３：ＮＯ）、フローはステップＳ１１０５へ進む。対象数の総和が所定数以上である場合、運転者が前景において対象を認識しにくい状態である。一方、判定の結果、対象数の総和が所定数より小さい場合（ステップＳ１１０３：ＹＥＳ）、フローはステップＳ１１０４へ進む。対象数の総和が所定数より小さい場合、運転者が前景において対象を認識しやすい状態である。
ステップＳ１１０４において、判定部１０１は、対象の大きさの総和が所定サイズより小さいか否かを判定する。判定の結果、対象の大きさの総和が所定サイズ以上である場合（ステップＳ１１０４：ＮＯ）、フローはステップＳ１１０５へ進む。対象の大きさの総和が所定サイズ以上である場合、運転者が前景において対象を認識しにくい状態である。一方、判定の結果、対象の大きさの総和が所定サイズより小さい場合（ステップＳ１１０４：ＹＥＳ）、フローはステップＳ１１０６へ進む。対象の大きさの総和が所定サイズより小さい場合、運転者が前景において対象を認識しやすい状態である。
ステップＳ１１０５においては運転者が前景において対象を認識しにくい状態であるため、判定部１０１は、提示領域の決定を行わず、音声による減速誘導を決定する。これにより、図示しないスピーカから、運転者に車両を減速するように誘導する旨の音声などが出力される。
ステップＳ１１０６において、判定部１０１は、仮想線と図１２のステップＳ８０５で述べたような単独提示領域を含む連結提示領域を決定する。このステップＳ１１０６の詳細については、図９のステップＳ５０４、図１２のステップＳ８０６で説明済みであるのでここでの説明は省略する。これにより、例えば、図１６の前景１２００において、第１の対象に対応する単独提示領域１２０１ａ、第２の対象に対応する単独提示領域１２０２ａ、第１の対象の位置と第２の対象の位置とをつなぐ仮想線１２０１ｂ、１２０２ｂがそれぞれ表示される。なお、図１６の提示例は、実施の形態３で説明した図１４Ｂ、図１４Ｃと同じ提示例としたが、これに限定されず、実施の形態２で説明した図１１Ａ〜図１１Ｄのいずれかの提示例であってもよい。
ステップＳ１１０７は、図９のステップＳ５０５、図１２のステップＳ８０７と同じであるのでここでの説明は省略する。
なお、本実施の形態において、前景の認識しやすさを、対象の数と大きさによって定めたが、これに限定されない。例えば、対象の色や形状、移動方向などによってもよい。
また、本実施の形態において、固定対象の数と移動対象の数の総和を用いたが、固定対象または移動対象のいずれか一方の数でもよいし、対象の大きさに応じて重みづけをしてもよい。また、固定対象として、横断歩道、交通信号、交通標識を用いたが、いずれか１種類または任意の種類の組み合わせとしてもよい。また、固定対象は、上記以外に、カーブミラー、電柱、看板などを含んでもよい。
また、本実施の形態において、固定対象の大きさの総和と移動対象の大きさの総和の合計を用いたが、これに限定されない。例えば、固定対象または移動対象のいずれか一方の大きさの総和でもよいし、対象の種類や接近速度に応じて重みづけをしてもよい。
また、本実施の形態において、提示領域の決定を行わず、音声による減速誘導を行うとしたが、提示領域の表示を行った上で、音声による減速誘導をしてもよい。また、前景を認識しにくい状況であることを示す色などを提示領域に付与してもよい。また、音声以外による支援や減速誘導以外の支援を行ってもよい。
以上のように、本実施の形態の表示制御装置１００は、実施の形態２、３の特徴を備えるとともに、運転者が前景を認識しやすい場合には仮想線（単独提示領域を含む）の提示を行い、運転者が前景を認識しにくい場合には、音声により減速誘導を行うことを特徴とする。これにより、表示制御装置１００は、実施の形態２、３の作用効果を得られるとともに、運転者の注意を向ける時間を確保することができ、運転者に対して、視線移動の必要なく、複数の注意すべき対象を確実に認知させることができる。
以上、本開示の実施の形態１〜４について図面を参照して詳述してきたが、上述した装置の各部の機能は、コンピュータプログラムにより実現され得る。
図１７は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１３００は、キーボードやマウス、タッチパッドなどの入力装置１３０１、ディスプレイやスピーカなどの出力装置１３０２、ＣＰＵ（Central Processing Unit）１３０３、ＲＯＭ（Read Only Memory）１３０４、ＲＡＭ（Random Access Memory）１３０５、ハードディスク装置やＳＳＤ（Solid State Drive）などの記憶装置１３０６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）やＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１３０７、ネットワークを介して通信を行う送受信装置１３０８を備え、各部はバス１３０９により接続される。
そして、読取装置１３０７は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１３０６に記憶させる。あるいは、送受信装置１３０８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１３０６に記憶させる。
そして、ＣＰＵ１３０３が、記憶装置１３０６に記憶されたプログラムをＲＡＭ１３０５にコピーし、そのプログラムに含まれる命令をＲＡＭ１３０５から順次読み出して実行することにより、上記各装置の機能が実現される。また、プログラムを実行する際、ＲＡＭ１３０５や記憶装置１３０６には、各実施の形態で述べた各種処理で得られた情報が記憶され、適宜利用される。
上述した装置で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでコンピュータが読み取り可能な可搬性記録媒体（例えば、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ、メモリカードなど）に記録されて提供されてもよい。または、プログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由のダウンロードにより端末に提供されてもよい。または、プログラムは、端末の記憶部（例えば、ＲＯＭなど）に予め組み込まれて提供されてもよい。
本開示は、以上説明した本開示の実施の形態１〜４に限定されず、その趣旨を逸脱しない範囲において、変形することができる。
例えば、上記各実施の形態では、提示領域を視認するユーザが車両の運転者である例について説明したが、ユーザは、歩行者であってもよい。例えば、ユーザは、ＨＭＤを搭載した映像システム１０を身に付けて歩行（または走行）することで、上記各実施の形態で説明した効果を得ることができる。
本開示は、車両の運転者に注意を喚起するための情報を提示する情報提示装置、情報提示方法、情報提示プログラム、および投影装置等の技術に有用である。
１０ 映像システム
１００ 表示制御装置
１０１ 判定部
１０２ 制御部
２００ 認識部
４００ 表示源

Claims (18)

  1. 車両の前景に存在する対象物を認識する認識装置から認識結果を受け付ける入力部と、
    前記認識結果に基づき、前記対象物が２以上存在する場合、表示媒体に表示されたとき仮想線を表す所定画像を生成するように表示源を制御する制御部と、を備え、
    前記仮想線は、前記表示媒体上の所定位置を起点として前記２以上の対象物の各々に向けられて伸び、先端と前記対象物との間が透明である線分である、表示制御装置。
  2. 前記所定位置は、前記前景において消失点と前記車両とを結ぶ線上における所定の位置である、請求項１に記載の表示制御装置。
  3. 前記仮想線は、前記２以上の対象物の各々の存在方向を示す線分である、請求項１に記載の表示制御装置。
  4. 前記仮想線は、所定の範囲をこえて注目させない、請求項１に記載の表示制御装置。
  5. 前記仮想線は、前記起点から前記先端の延長線上に前記２以上の対象物の各々が存在する直線状の線分である、請求項１に記載の表示制御装置。
  6. 前記所定位置は、前記表示媒体に仮想の点として表示される、請求項１に記載の表示制御装置。
  7. 前記所定位置は、車内カメラによって検出された前記車両の運転者の顔向き及び視線に基づいて決定される、請求項１に記載の表示制御装置。
  8. 前記対象物は第１種別と第２種別とに分類され、前記認識装置は前記対象物が前記第１種別と前記第２種別とのうち何れであるかを認識し、
    前記制御部は、
    前記入力部が、前記前景に前記第１種別の対象物と、前記第２種別の対象物とが存在することを示す認識結果を受け付けた場合、第１仮想線および第２仮想線を表す所定画像を前記表示源に生成させ、
    前記第１仮想線は、第１所定位置を起点として前記第１種別の対象物に向けられた線分であり、前記第２仮想線は、前記第１所定位置とは異なる第２所定位置を起点として前記第２種別の対象物に向けられた線分である、請求項１に記載の表示制御装置。
  9. 前記仮想線は、前記起点から前記対象物に向かうほど細くなる、請求項１に記載の表示制御装置。
  10. 前記仮想線は、前記起点から前記対象物に向かうほど透明度が増す、請求項１に記載の表示制御装置。
  11. 前記仮想線の太さは、前記車両の速度、および前記車両と前記対象物との相対速度のうち少なくとも１つに基づいて前記制御部によって決定される、請求項１に記載の表示制御装置。
  12. 車両の前景に存在する対象物を認識する認識装置から認識結果を受け付ける入力部と、
    前記認識結果に基づき、前記対象物が２以上存在する場合、表示媒体に表示されたとき仮想線を表す所定画像を生成するように表示源を制御する制御部と、を備え、
    前記仮想線は、前記表示媒体上の所定軸を起点として前記２以上の対象物の各々に向けられて伸び、先端と前記対象物との間が透明である線分である、表示制御装置。
  13. 車両の前景に存在する対象物を認識する認識装置から認識結果を受け付ける入力部と、
    表示源と、
    前記認識結果に基づき、前記対象物が２以上存在する場合、表示媒体に表示されたとき仮想線を表す所定画像を生成するように前記表示源を制御する制御部と、を備え、
    前記仮想線は、前記表示媒体上の所定位置を起点として前記２以上の対象物の各々に向けられて伸び、先端と前記対象物との間が透明である線分である、表示制御装置。
  14. 車両の前景に存在する対象物を認識する認識装置から認識結果を受け付ける入力部と、
    表示源と、
    前記認識結果に基づき、前記対象物が２以上存在する場合、表示媒体に表示されたとき仮想線を表す所定画像を生成するように前記表示源を制御する制御部と、を備え、
    前記仮想線は、前記表示媒体上の所定軸を起点として前記２以上の対象物の各々に向けられて伸び、先端と前記対象物との間が透明である線分である、表示制御装置。
  15. 車両の前景に存在する対象物を認識する認識装置と、認識結果に基づいた所定画像を生成する表示源とを含む表示システムにおける表示制御装置において実行される表示制御プログラムであって、前記表示制御装置のコンピュータに対して、
    前記認識装置から前記認識結果を受け付ける処理と、
    前記認識結果に基づき、前記対象物が２以上存在する場合、表示媒体に表示されたとき仮想線を表す前記所定画像を生成するように前記表示源を制御する処理と、を実行させ、
    前記仮想線は、前記表示媒体上の所定位置を起点として前記２以上の対象物の各々に向けられて伸び、先端と前記対象物との間が透明である線分である、表示制御プログラム。
  16. 車両の前景に存在する対象物を認識する認識装置と、認識結果に基づいた所定画像を生成する表示源とを含む表示システムにおける表示制御装置において実行される表示制御プログラムであって、前記表示制御装置のコンピュータに対して、
    前記認識装置から前記認識結果を受け付ける処理と、
    前記認識結果に基づき、前記対象物が２以上存在する場合、表示媒体に表示されたとき仮想線を表す前記所定画像を生成するように前記表示源を制御する処理と、を実行させ、
    前記仮想線は、前記表示媒体上の所定軸を起点として前記２以上の対象物の各々に向けられて伸び、先端と前記対象物との間が透明である線分である、表示制御プログラム。
  17. 車両の前景に存在する対象物を認識する認識装置と、認識結果に基づいた所定画像を生成する表示源とを含む表示システムにおける表示制御装置において実行される表示制御プログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体であって、前記表示制御装置のコンピュータに対して、
    前記認識装置から前記認識結果を受け付ける処理と、
    前記認識結果に基づき、前記対象物が２以上存在する場合、表示媒体に表示されたとき仮想線を表す前記所定画像を生成するように前記表示源を制御する処理と、を実行させ、
    前記仮想線は、前記表示媒体上の所定位置を起点として前記２以上の対象物の各々に向けられて伸び、先端と前記対象物との間が透明である線分である、表示制御プログラムを記録した記録媒体。
  18. 車両の前景に存在する対象物を認識する認識装置と、認識結果に基づいた所定画像を生成する表示源とを含む表示システムにおける表示制御装置において実行される表示制御プログラムを記録したコンピュータ読み取り可能で非一時的な記録媒体であってであって、前記表示制御装置のコンピュータに対して、
    前記認識装置から前記認識結果を受け付ける処理と、
    前記認識結果に基づき、前記対象物が２以上存在する場合、表示媒体に表示されたとき仮想線を表す前記所定画像を生成するように前記表示源を制御する処理と、を実行させ、
    前記仮想線は、前記表示媒体上の所定軸を起点として前記２以上の対象物の各々に向けられて伸び、先端と前記対象物との間が透明である線分である、表示制御プログラムを記録した記録媒体。
JP2014205649A 2013-10-10 2014-10-06 表示制御装置、表示制御プログラム、および記録媒体 Active JP5842110B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014205649A JP5842110B2 (ja) 2013-10-10 2014-10-06 表示制御装置、表示制御プログラム、および記録媒体

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013213141 2013-10-10
JP2013213141 2013-10-10
JP2014205649A JP5842110B2 (ja) 2013-10-10 2014-10-06 表示制御装置、表示制御プログラム、および記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015125905A Division JP6452065B2 (ja) 2013-10-10 2015-06-23 表示制御装置および表示制御プログラム

Publications (2)

Publication Number Publication Date
JP2015096946A JP2015096946A (ja) 2015-05-21
JP5842110B2 true JP5842110B2 (ja) 2016-01-13

Family

ID=51786797

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2014205649A Active JP5842110B2 (ja) 2013-10-10 2014-10-06 表示制御装置、表示制御プログラム、および記録媒体
JP2015125905A Active JP6452065B2 (ja) 2013-10-10 2015-06-23 表示制御装置および表示制御プログラム
JP2015175559A Active JP5866553B2 (ja) 2013-10-10 2015-09-07 表示制御装置、投影装置、および表示制御プログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2015125905A Active JP6452065B2 (ja) 2013-10-10 2015-06-23 表示制御装置および表示制御プログラム
JP2015175559A Active JP5866553B2 (ja) 2013-10-10 2015-09-07 表示制御装置、投影装置、および表示制御プログラム

Country Status (3)

Country Link
US (1) US10279741B2 (ja)
EP (1) EP2860971B1 (ja)
JP (3) JP5842110B2 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112015002362T5 (de) * 2014-05-21 2017-01-26 Yazaki Corporation Sicherheitsprüfungs-hilfsvorrichtung
JP6327034B2 (ja) * 2014-07-22 2018-05-23 株式会社デンソー 車両用表示制御装置
JP5866564B1 (ja) 2014-08-27 2016-02-17 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
CN105607253B (zh) 2014-11-17 2020-05-12 精工爱普生株式会社 头部佩戴型显示装置以及控制方法、显示系统
JP6582403B2 (ja) 2014-12-10 2019-10-02 セイコーエプソン株式会社 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム
KR101639722B1 (ko) * 2015-05-26 2016-07-15 주식회사 피엘케이 테크놀로지 소실점 보정 장치 및 방법
WO2016194104A1 (ja) * 2015-06-01 2016-12-08 パイオニア株式会社 安全運転支援装置、制御方法、プログラム及び記憶媒体
WO2017056776A1 (ja) * 2015-09-29 2017-04-06 富士フイルム株式会社 距離画像取得装置付きプロジェクタ装置及びプロジェクション方法
JP6613795B2 (ja) * 2015-10-16 2019-12-04 株式会社デンソー 表示制御装置および車両制御装置
JP6493196B2 (ja) 2015-12-17 2019-04-03 株式会社デンソー 制御装置、制御方法
JP6232649B2 (ja) * 2016-02-18 2017-11-22 国立大学法人名古屋大学 仮想空間表示システム
JP6617610B2 (ja) * 2016-03-02 2019-12-11 トヨタ自動車株式会社 車両用表示装置
JP6551263B2 (ja) * 2016-03-02 2019-07-31 株式会社デンソー ヘッドアップディスプレイ装置
JP6726889B2 (ja) * 2016-06-20 2020-07-22 パナソニックＩｐマネジメント株式会社 映像表示システム
US9996752B2 (en) * 2016-08-30 2018-06-12 Canon Kabushiki Kaisha Method, system and apparatus for processing an image
JP6846624B2 (ja) * 2017-02-23 2021-03-24 パナソニックＩｐマネジメント株式会社 画像表示システム、画像表示方法及びプログラム
DE102017203173B4 (de) * 2017-02-27 2019-03-07 Audi Ag Kraftfahrzeug mit einer Anzeigeanordnung und Verfahren zum Betreiben einer Anzeigeanordnung eines Kraftfahrzeugs
JP6497819B2 (ja) 2017-03-10 2019-04-10 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6497818B2 (ja) 2017-03-10 2019-04-10 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6465318B2 (ja) 2017-03-10 2019-02-06 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6465317B2 (ja) 2017-03-10 2019-02-06 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6593803B2 (ja) 2017-03-10 2019-10-23 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6429413B2 (ja) * 2017-03-10 2018-11-28 株式会社Ｓｕｂａｒｕ 画像表示装置
JP6515125B2 (ja) 2017-03-10 2019-05-15 株式会社Ｓｕｂａｒｕ 画像表示装置
WO2018216552A1 (ja) * 2017-05-22 2018-11-29 日本精機株式会社 ヘッドアップディスプレイ装置
US10679428B1 (en) * 2017-05-26 2020-06-09 Snap Inc. Neural network-based image stream modification
JP7266257B2 (ja) * 2017-06-30 2023-04-28 パナソニックＩｐマネジメント株式会社 表示システム、及び表示システムの制御方法
JP2019049505A (ja) * 2017-09-12 2019-03-28 矢崎総業株式会社 車両用表示装置および表示制御方法
KR102421855B1 (ko) * 2017-09-28 2022-07-18 삼성전자주식회사 주행 차로를 식별하는 방법 및 장치
JP7021502B2 (ja) * 2017-10-27 2022-02-17 コベルコ建機株式会社 建設機械の視覚拡張システム
CN111971197B (zh) * 2018-03-30 2023-11-14 日本精机株式会社 显示控制装置、平视显示设备
US10755007B2 (en) * 2018-05-17 2020-08-25 Toyota Jidosha Kabushiki Kaisha Mixed reality simulation system for testing vehicle control system designs
FR3082485B1 (fr) * 2018-06-18 2020-08-28 Valeo Comfort & Driving Assistance Dispositif d'affichage pour l'aide a la conduite d'un conducteur d'un vehicule
CN116034420A (zh) 2020-09-01 2023-04-28 三菱电机株式会社 引导装置、程序和引导方法
CN114245031B (zh) * 2021-12-20 2024-02-23 北京字跳网络技术有限公司 图像展示方法、装置、电子设备及存储介质

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6553130B1 (en) 1993-08-11 2003-04-22 Jerome H. Lemelson Motor vehicle warning and control system and method
JP4696339B2 (ja) 2000-07-11 2011-06-08 マツダ株式会社 車両の制御装置
EP1662459A4 (en) * 2003-09-02 2007-03-21 Fujitsu Ltd IMAGE PROCESSOR WITH VEHICLE INSTALLATION
JP4206928B2 (ja) * 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
JP4650079B2 (ja) * 2004-11-30 2011-03-16 日産自動車株式会社 物体検出装置、および方法
US7884705B2 (en) * 2005-12-12 2011-02-08 Panasonic Corporation Safety-drive assistance device
WO2007105792A1 (ja) * 2006-03-15 2007-09-20 Omron Corporation 監視装置および監視方法、制御装置および制御方法、並びにプログラム
JP4707067B2 (ja) * 2006-06-30 2011-06-22 本田技研工業株式会社 障害物判別装置
US8085140B2 (en) * 2006-09-04 2011-12-27 Panasonic Corporation Travel information providing device
JP2008062762A (ja) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP4795253B2 (ja) 2007-01-18 2011-10-19 パナソニック株式会社 運転支援装置、運転支援方法、及び運転支援プログラム
JP2009009446A (ja) 2007-06-29 2009-01-15 Denso Corp 車両用情報表示装置
JP2009217682A (ja) * 2008-03-12 2009-09-24 Yazaki Corp 車両用表示装置
EP2256667B1 (en) 2009-05-28 2012-06-27 Honda Research Institute Europe GmbH Driver assistance system or robot with dynamic attention module
JP5483535B2 (ja) * 2009-08-04 2014-05-07 アイシン精機株式会社 車両周辺認知支援装置
JP4782901B2 (ja) * 2009-12-28 2011-09-28 パナソニック株式会社 移動体検出装置および移動体検出方法
JP5577398B2 (ja) * 2010-03-01 2014-08-20 本田技研工業株式会社 車両の周辺監視装置
JP5459154B2 (ja) * 2010-09-15 2014-04-02 トヨタ自動車株式会社 車両用周囲画像表示装置及び方法
JP5812598B2 (ja) * 2010-12-06 2015-11-17 富士通テン株式会社 物体検出装置
JP5582008B2 (ja) * 2010-12-08 2014-09-03 トヨタ自動車株式会社 車両用情報伝達装置
JP5329582B2 (ja) * 2011-02-09 2013-10-30 本田技研工業株式会社 車両用周辺監視装置
CN103597514B (zh) * 2011-06-10 2016-04-06 松下电器产业株式会社 物体检测框显示装置和物体检测框显示方法
DE102012210145A1 (de) * 2011-06-17 2012-12-20 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Fahrers bei einer Spurführung eines Fahrzeugs auf einer Fahrbahn
EP2578464B1 (en) 2011-10-06 2014-03-19 Honda Research Institute Europe GmbH Video-based warning system for a vehicle
JP5893054B2 (ja) 2012-01-17 2016-03-23 パイオニア株式会社 画像処理装置、画像処理サーバ、画像処理方法、画像処理プログラム、及び記録媒体
US8659408B2 (en) * 2012-05-22 2014-02-25 Delphi Technologies, Inc. Object detection system and method using a camera and a multiple zone temperature sensor
US9135798B2 (en) * 2012-09-01 2015-09-15 Honda Motor Co., Ltd. Vehicle periphery monitoring device
JP5492962B2 (ja) * 2012-09-28 2014-05-14 富士重工業株式会社 視線誘導システム

Also Published As

Publication number Publication date
US20150103174A1 (en) 2015-04-16
JP5866553B2 (ja) 2016-02-17
US10279741B2 (en) 2019-05-07
EP2860971A1 (en) 2015-04-15
JP6452065B2 (ja) 2019-01-16
JP2015096946A (ja) 2015-05-21
JP2015221664A (ja) 2015-12-10
JP2016006684A (ja) 2016-01-14
EP2860971B1 (en) 2021-01-06

Similar Documents

Publication Publication Date Title
JP5866553B2 (ja) 表示制御装置、投影装置、および表示制御プログラム
JP6669299B2 (ja) 画像処理装置
JP6861375B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JP6304628B2 (ja) 表示装置および表示方法
JP6562239B2 (ja) 表示制御装置、表示制御方法、表示制御プログラムおよび投影装置
JP6176478B2 (ja) 車両情報投影システム
JP2020064047A (ja) コンテンツを視覚化する装置及び方法
US20210104212A1 (en) Display control device, and nontransitory tangible computer-readable medium therefor
JP2010143520A (ja) 車載用表示システム及び表示方法
JP2019012237A (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
CN111886155A (zh) 用于控制机动车的增强现实显示器设备的显示的方法、设备和具有指令的计算机可读存储介质
EP3043337A1 (en) Display control apparatus, projection apparatus, display control method, display control program, and non-transitory computer readable storage medium
JP2016107947A (ja) 情報提供装置、情報提供方法及び情報提供用制御プログラム
JP2018185654A (ja) ヘッドアップディスプレイ装置
WO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP5866498B2 (ja) 表示制御装置、投影装置、表示制御プログラム、および記録媒体
EP3012822B1 (en) Display control device, display control method, display control program, and projection device
JP2023017641A (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
JP7255596B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置
JP7429875B2 (ja) 表示制御装置、表示装置、表示制御方法、及びプログラム
JP2019148935A (ja) 表示制御装置及びヘッドアップディスプレイ装置
JP7338632B2 (ja) 表示装置
WO2021200913A1 (ja) 表示制御装置、画像表示装置、及び方法
JP2015228255A (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP2021160409A (ja) 表示制御装置、画像表示装置、及び方法

Legal Events

Date Code Title Description
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20150216

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150420

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150526

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150624

R151 Written notification of patent or utility model registration

Ref document number: 5842110

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151