JPWO2018216053A1 - 表示制御装置及び表示制御方法 - Google Patents

Abstract

画像の表示に消費される電力を抑制可能な技術を提供することを目的とする。表示制御装置は、車両の運転席から視認される画像であって、車両外の景色に重ねられる画像を表示可能な表示部を制御する。表示制御装置は、車両の現在位置と、地図情報が示す地図上に予め設定された案内点と、車両の方向指示器に対する操作の有無とを取得する取得部と、取得部で取得された現在位置、案内点、及び、操作の有無に基づいて、車両が進むべき方向を示す画像であるマーカーの表示を制御する制御部とを備える。

Description

本発明は、表示部を制御可能な表示制御装置及び表示制御方法に関する。

近年、車両のフロントガラスなどに、画像を投影表示することが可能なヘッドアップディスプレイ（以下「ＨＵＤ」と記す）及びコンバイナについて様々な技術が提案されている。例えば特許文献１には、車両の速度を示すテキスト、次の案内交差点までの距離を示すテキスト、次の案内交差点における進行方向を示す矢印シンボルなどを表示するＨＵＤなどが提案されている。

また、例えば特許文献２には、虚像表示と大きな表示範囲とを用いることによって、矢印などの画像を、フロントガラス越しに見える現実世界にあたかも実在するように表示するAugmented Reality ＨＵＤ（以下「ＡＲ−ＨＵＤ」と記す）が提案されている。なお、以下では、ＨＵＤは、ＡＲ−ＨＵＤと、ＡＲ−ＨＵＤ以外のＨＵＤとを含むものとして説明する。

国際公開第２００５／１２４４３１号 特開平１０−１７６９２８号公報

従来のＨＵＤは、車両が進むべき方向を示す矢印シンボルなどの画像を常に表示する。このようなＨＵＤでは、車両が進むべき方向を示す画像を常に投影するので、消費電力が比較的大きくなるという問題があった。

そこで、本発明は、上記のような問題点を鑑みてなされたものであり、画像表示による消費電力を抑制可能な技術を提供することを目的とする。

本発明に係る表示制御装置は、表示部を制御する表示制御装置であって、表示部は、車両の運転席から視認される画像であって、車両外の景色に重ねられる画像を表示可能であり、表示制御装置は、車両の現在位置と、地図情報が示す地図上に予め設定された案内点と、車両の方向指示器に対する操作の有無とを取得する取得部と、取得部で取得された現在位置、案内点、及び、操作の有無に基づいて、車両が進むべき方向を示す画像であるマーカーの表示を制御する制御部とを備える。

本発明によれば、現在位置、案内点及び指示器操作の有無に基づいてマーカーの表示を制御するので、マーカーの表示に消費される電力を抑制することができる。

本発明の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。

実施の形態１に係る表示制御装置の構成を示すブロック図である。 実施の形態１に係る表示制御装置の制御による表示例を示す図である。 実施の形態２に係る制御ユニットの構成を示すブロック図である。 実施の形態２に係る制御ユニットの配置関係を示す図である。 実施の形態２に係る制御ユニットの動作を説明するための図である。 実施の形態２に係る制御ユニットの動作を説明するための図である。 実施の形態２に係る制御ユニットの動作を説明するための図である。 実施の形態２に係る制御ユニットの動作を示すフローチャートである。 実施の形態３に係る制御ユニットの動作を示すフローチャートである。 実施の形態３に係る制御ユニットの動作を示すフローチャートである。 実施の形態３に係る制御ユニットの動作を説明するための図である。 実施の形態３に係る制御ユニットの動作を説明するための図である。 実施の形態３に係る制御ユニットの動作を説明するための図である。 実施の形態３に係る制御ユニットの動作を説明するための図である。 変形例１に係る制御ユニットの制御による表示例を示す図である。 変形例２に係る制御ユニットの動作を示すフローチャートである。 その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係る表示制御装置のハードウェア構成を示すブロック図である。 その他の変形例に係るサーバの構成を示すブロック図である。 その他の変形例に係る通信端末の構成を示すブロック図である。

＜実施の形態１＞
以下、本発明の実施の形態１に係る表示制御装置が、車両に搭載されているものとして説明する。そして、当該表示制御装置が搭載され、着目の対象となる車両を「自車両」と記して説明する。

図１は、本実施の形態１に係る表示制御装置１の構成を示すブロック図である。図１の表示制御装置１は、表示部２１を制御する装置である。表示部２１は、自車両の運転席から視認される画像であって、自車両外の景色に重ねられる画像を表示可能となっている。表示部２１は、例えばＡＲ−ＨＵＤであるが、これに限ったものではない。このような表示部２１によれば、自車両の運転者にとって、あたかも現実世界の３次元空間に実在するように見える仮想的な画像を表示することが可能となっている。

図１の表示制御装置１は、取得部１１と制御部１２とを備える。

取得部１１は、自車両の現在位置を取得する。取得部１１は、例えば、車両の現在位置を検出可能なＧＰＳ（Global Positioning System）受信機などのＧＮＳＳ（Global Navigation Satellite System）受信機のインターフェースを含んでもよいし、ＧＮＳＳ受信機そのものを含んでもよい。

取得部１１は、地図情報が示す地図上に予め設定された案内点をさらに取得する。案内点は、例えば、予め設定された経路に沿って案内すべき地点である。当該地点は、例えば、自車両の運転者に側道などへの車線変更を案内すべき分岐点である案内分岐点、または、自車両の運転者に右折もしくは左折することを案内すべき交差点である案内交差点などである。

取得部１１は、自車両の方向指示器に対する操作（以下「指示器操作」と記す）の有無をさらに取得する。方向指示器は、ウィンカーとも呼ばれる機器であり、車両が進む予定の方向を、指示器操作に応じて車両の周囲の者に知らせる機器である。取得部１１は、例えば、方向指示器のインターフェースなどを含む。

制御部１２は、表示部２１の表示を制御する。図２は、制御部１２によって制御された表示部２１の表示例を示す図である。図２の例では、自車両の室内から自車両のフロントガラス４１を介して、道路４２，４３，４４，４５が見えている状態が示されている。このうち道路４２は、自車両が走行している道路であり、道路４３，４４，４５のそれぞれは、道路４２上の互いに異なる交差点から右側に分岐された道路である。なお、図２には、表示部２１によって画像を表示可能な表示範囲４６も示されている。図２の例では、表示範囲４６は、自車両のフロントガラス４１の一部に対応している。

ここで、制御部１２は、現在位置、案内点及び指示器操作の有無に基づいて、表示部２１の画像であり、自車両が進むべき方向を示す画像であるマーカー４６ａ（図２）の表示を制御する。つまり、制御部１２は、取得部１１で取得された内容に基づいて、表示部２１にマーカー４６ａを表示させる制御をしたり、表示させない制御をしたりする。なお、図２の例では、マーカー４６ａは、自車両が道路４４の方向に進むべきであることを示すために、道路４４の入口の近くに表示されている。

＜実施の形態１のまとめ＞
以上のような本実施の形態１に係る表示制御装置１によれば、現在位置、案内点及び指示器操作の有無に基づいてマーカー４６ａの表示を制御する。このような構成によれば、方向指示器への操作をトリガーとして、マーカー４６ａを表示したり表示しなかったりすることができる。つまり、マーカー４６ａを常に表示するように構成されていないので、マーカー４６ａの表示に消費される電力を抑制することができる。また、このような表示を行うことによって、運転者が自車両周囲の状況を確認する際に、運転者の視界がマーカー４６ａによって妨げられることを抑制することができる。このことは、ＨＵＤの表示範囲について規制が制定されている国において特に有効である。

＜実施の形態２＞
本発明の実施の形態２に係る制御ユニットは、実施の形態１で説明した表示制御装置１の機能と、ナビゲーション装置の機能とを有している。図３は、本実施の形態２に係る制御ユニット２の構成を示すブロック図である。以下、本実施の形態２で説明する構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。

図３の制御ユニット２は、ステアリング２５、方向指示器スイッチ２６、フロントカメラ２７、運転者監視カメラ２８、センサ２９、操作部３０、記憶部３１、センターディスプレイ３２、スピーカ３３、メーターディスプレイ３４及びＨＵＤ３５と、有線または無線によって通信可能に接続されている。なお、ＨＵＤ３５は、実施の形態１で説明した表示部２１に相当する。

ステアリング２５は、自車両のステアリングである。方向指示器スイッチ２６は、自車両の方向指示器への操作を受け付ける。フロントカメラ２７は、自車両前方の画像である前方画像を撮像する。運転者監視カメラ２８は、例えばステレオカメラであり、自車両の運転者の画像である運転者画像を撮像する。

センサ２９は、例えば、自車両の速度を検出する速度センサ、自車両のワイパーに対する操作を検出するワイパースイッチ、自車両のヘッドランプにおける点灯を検出する灯火スイッチ、自車両周辺の温度を検出する温度センサなどの、自車両の各種センサを含む。

操作部３０は、自車両の搭乗者から制御ユニット２に対する各種操作を受け付ける。操作部３０は、例えば、ユーザの手動操作に応じた信号を出力するボタン及びタッチパネル、並びに、ユーザの音声操作に応じた信号を出力する音声入力装置などの少なくともいずれか１つを含む。

記憶部３１は、地図情報を記憶している。地図情報は、例えば、地図を表示するための情報、地図から目的地を検索するための検索情報、地図から所望の経路を探索するためのリンク情報などを含む。なお、図３では、記憶部３１は、制御ユニット２外部に設けられているが、制御ユニット２内部に設けられてもよい。また、制御ユニット２が、外部と通信可能に構成されている場合には、制御ユニット２は、外部から地図情報を取得してもよい。

センターディスプレイ３２は、制御ユニット２の制御によって、制御ユニット２のナビゲーション機能に伴う内容、例えば探索結果及び案内などを表示する。音声出力部であるスピーカ３３は、制御ユニット２の制御によって、例えば探索結果及び案内などの音声を出力する。メーターディスプレイ３４は、制御ユニット２の制御によって、センサ２９で検出された車速などの検出結果を表示する。ＨＵＤ３５は、制御ユニット２の制御によって、実施の形態１で説明したマーカー４６ａ（図２）などを表示する。なお以下の説明では、ＨＵＤ３５が示す画像を「ＨＵＤ画像」と記すこともある。

図４は、自車両の室内における制御ユニットなどの配設関係を示す図である。図４に示すように、フロントカメラ２７及び運転者監視カメラ２８は、例えばフロントガラス４１上部側に配設されている。センターディスプレイ３２は、例えば自車両室内の前側かつ中央に配設されている。メーターディスプレイ３４は、例えば自車両室内の前側かつ運転座席側に配設されている。ＨＵＤ３５の表示範囲４６は、例えばフロントガラス４１の運転座席側に設定されている。

次に、図３の制御ユニット２の構成要素について説明する。図３の制御ユニット２は、ナビゲーション処理部１５と、アイポイント検出部１６と、メーター処理部１７と、ＨＵＤ制御部１８とを備える。

ナビゲーション処理部１５は、自車位置取得部１５ａと、経路探索部１５ｂと、案内点情報取得部１５ｃと、出力制御部１５ｄと、指示器操作取得部１５ｅと、画像取得部１５ｆと、マーカー制御部１５ｇとを備え、ナビゲーション機能を有する。ＨＵＤ制御部１８は、マーカー描画部１８ａと、メーター情報描画部１８ｂと、表示補正部１８ｃと、ワーピング部１８ｄとを備え、ＨＵＤ３５を制御する機能を有する。

なお、自車位置取得部１５ａ、経路探索部１５ｂ、案内点情報取得部１５ｃ、指示器操作取得部１５ｅ、及び、画像取得部１５ｆは、実施の形態１で説明した取得部１１の概念に含まれる。一方、出力制御部１５ｄ、マーカー制御部１５ｇ及びＨＵＤ制御部１８は、実施の形態１で説明した制御部１２の概念に含まれる。

次に、図３の制御ユニット２の各構成要素について詳細に説明する。

自車位置取得部１５ａは、実施の形態１の取得部１１と同様に、自車両の現在位置を取得する。そして、自車位置取得部１５ａは、取得した現在位置を経路探索部１５ｂ及びマーカー制御部１５ｇのそれぞれに出力する。なお、自車位置取得部１５ａは、ステアリング２５の操作及びセンサ２９の検出結果に基づいて、自車両の現在位置を適宜補正してもよい。

経路探索部１５ｂは、記憶部３１に記憶された地図情報と、出発地と、操作部３０で受け付けた目的地とに基づいて、出発地から目的地までの経路を探索する。なお、出発地は、自車位置取得部１５ａで取得された現在位置であってもよい。経路探索部１５ｂは、現在位置と、探索した経路（以下「探索経路」と記す）とを案内点情報取得部１５ｃに出力する。

案内点情報取得部１５ｃは、現在位置及び探索経路に基づいて、実施の形態１で説明した案内点を求め、当該案内点を示す案内点情報を生成する。案内点情報取得部１５ｃは、案内点情報をマーカー制御部１５ｇに出力し、現在位置、探索経路及び案内点情報を出力制御部１５ｄに出力する。

出力制御部１５ｄは、現在位置、探索経路及び案内点情報に基づいて、経路探索、及び、自車両の運転者に対する案内をセンターディスプレイ３２に表示させる制御をする。また、出力制御部１５ｄは、現在位置及び案内点情報に基づいて、自車両の運転者に対する案内、及び、指示器操作を促す音声をスピーカ３３に出力させる。指示器操作を促す音声は、例えば、「案内点前で案内音声が出力された場合には、適切に方向指示器スイッチを操作して下さい。」という案内開始時の音声などを含む。

指示器操作取得部１５ｅは、方向指示器スイッチ２６が操作を受け付けたか否かを、指示器操作の有無として取得する。

画像取得部１５ｆは、フロントカメラ２７で撮像された前方画像を取得する。そして、画像取得部１５ｆは、前方画像を解析することによって、前方画像に含まれる道路の中心線を示す道路線を抽出する。この道路線は道路リンクと対応している。

マーカー制御部１５ｇは、自車位置取得部１５ａで取得された現在位置と、記憶部３１に記憶された地図情報の道路線と、画像取得部１５ｆで抽出された道路線とに基づいて、地図情報の道路線と画像取得部１５ｆで抽出された道路線とを対応付けるマッピングを行う。このマッピングについては、後で詳細に説明する。

また、マーカー制御部１５ｇは、ＨＵＤ制御部１８を介してＨＵＤ３５を制御することが可能となっている。具体的には、マーカー制御部１５ｇは、実施の形態１で説明した制御部１２と同様にマーカーの表示制御を行う。つまり、マーカー制御部１５ｇは、自車位置取得部１５ａで取得された現在位置と、案内点情報取得部１５ｃで求めた案内点と、指示器操作取得部１５ｅで取得した指示器操作の有無とに基づいて、ＨＵＤ３５におけるマーカーの表示を制御する。

本実施の形態２では、マーカー制御部１５ｇは、現在位置と案内点との間の距離が予め定められた閾値以下であり、かつ、指示器操作有りであった場合には、マーカーをＨＵＤ３５に表示させる制御をする。一方、マーカー制御部１５ｇは、現在位置と案内点との間の距離が予め定められた閾値よりも大きい場合、または、指示器操作無しであった場合には、マーカーをＨＵＤ３５に表示させない制御をする。

アイポイント検出部１６は、運転者監視カメラ２８で撮像された運転者画像を取得する。そして、アイポイント検出部１６は、当該運転者画像を解析することによって、運転者の目の位置を検出する。

メーター処理部１７は、ナビゲーション処理部１５で用いられている地図情報と、センサ２９の検出結果とを取得する。そして、メーター処理部１７は、地図情報とセンサ２９の検出結果とに基づいて、メーターディスプレイ３４で表示すべき情報を生成し、当該情報をメーターディスプレイ３４に出力する。これにより、メーターディスプレイ３４において、地図の一部を表示したり、センサ２９の検出結果を表示したりすることが可能となっている。

また、メーター処理部１７は、地図情報とセンサ２９の検出結果とに基づいて、ＨＵＤ３５で表示すべき情報を生成し、ＨＵＤ制御部１８を介して、当該情報をＨＵＤ３５に出力する。これにより、ＨＵＤ３５において、地図の一部を表示したり、センサ２９の検出結果を表示したりすることが可能となっている。

マーカー描画部１８ａは、マーカー制御部１５ｇからの制御情報に基づいて、マーカーをＨＵＤ画像として表示するための描画データを生成する。メーター情報描画部１８ｂは、メーター処理部１７で生成された情報に基づいて、地図及びメーターをＨＵＤ画像として表示するための描画データを生成する。

表示補正部１８ｃは、アイポイント検出部１６で検出された運転者の目の位置に基づき、マーカー描画部１８ａ及びメーター情報描画部１８ｂで生成された描画データに対してＨＵＤ画像の表示位置を補正する。

ワーピング部１８ｄは、表示補正部１８ｃで補正された描画データに、自車両のフロントガラスの曲面を考慮した画像変換処理であるワーピング処理を実施し、それによって得られた描画データの画像をＨＵＤ３５に表示させる制御をする。これにより、制御ユニット２は、フロントガラスの曲面に起因する歪みが補正されたＨＵＤ画像を表示することが可能となっている。

＜マッピング＞
図５〜図７は、本実施の形態２に係る制御ユニット２が備えるマーカー制御部１５ｇのマッピングを説明するための模式図である。図５〜図７のそれぞれには、フロントカメラ２７で撮像された前方画像に含まれる道路４８と、自車両の現在位置４９と、地図情報のうち現在位置４９周辺の道路を示す道路線５０と、案内交差点の位置５１とが図示されている。

まず、図５に示すように、画像取得部１５ｆは、フロントカメラ２７で撮像された前方画像を解析することによって、当該前方画像に含まれる道路４８のエッジ及び領域５２を抽出する。

次に図６に示すように、画像取得部１５ｆは、抽出した領域５２の中心線を道路線５３として抽出する。

また、マーカー制御部１５ｇは、地図情報と自車両の現在位置とに基づいて現在位置４９周辺の地図を検索する。図６の例では、当該検索の結果として、道路線５０及び案内交差点の位置５１が取得される。そして、マーカー制御部１５ｇは、道路線５０及び案内交差点の位置５１の座標を、運転者の視点から見た鳥瞰座標（２次元座標）に変換し、変換後の道路線５０と、画像取得部１５ｆで抽出された道路線５３とを対応付ける。これによりマッピングが行われる。

その後、図７に示すように、マーカー制御部１５ｇは、マッピングの結果と、変換後の案内交差点の位置５１とに基づいて、前方画像における案内交差点の位置５４を求める。

以上のマッピングを行なえば、例えば、複数の交差点が前方画像に含まれる場合に、当該複数の交差点のうちのどの交差点が案内交差点であるかを判定することができる。また、前方画像の位置とＨＵＤ画像の位置とが予め対応付けられた構成において、以上のマッピングを行なえば、図２のように、自車両が案内交差点を経由して進むべき道路の入口に対応させてマーカー４６ａを表示することができる。

なお、マッピングを行わずに、地図情報と自車両の現在位置とに基づいてＨＵＤ画像を表示しても、ＨＵＤ画像の表示位置を現実世界の景色に対してある程度合わせることは可能である。しかしながら、マッピングを行えば、現実世界の景色に対してＨＵＤ画像の表示位置を合わせる精度を高めることができる。

また、地図情報と前方画像とを用いるだけでも、ある程度のマッピングを行うことは可能である。しかしながら、上述のように自車両の現在位置をマッピングに用いる構成によれば、マッピングの処理効率を高めることができる。また、自車両の現在位置に加えて自車両の進行方向をマッピングにさらに用いる構成によれば、マッピングの処理効率をさらに高めることができる。

＜動作＞
図８は、本実施の形態２に係る制御ユニット２のマーカー表示制御を示すフローチャートである。

まずステップＳ１にて、自車位置取得部１５ａは自車両の現在位置を取得し、案内点情報取得部１５ｃは案内点情報を取得する。

ステップＳ２にて、出力制御部１５ｄは、自車両の現在位置と案内点情報とに基づいて、現在位置と、現在位置に最も近い案内点との間の距離が予め定められた閾値以下であるか否かを判定する。この判定で用いる閾値は予め定められているが、固定値ではなく、例えば自車両が走行している道路の種類に基づいて可変である。例えば、自車両が一般道路を走行している場合には、上記閾値は１００ｍである。現在位置と案内点との間の距離が予め定められた閾値以下であると判定された場合には処理がステップＳ３に進み、現在位置と案内点との間の距離が予め定められた閾値よりも大きいと判定された場合には図８の処理が終了する。

ステップＳ３にて、出力制御部１５ｄは、案内交差点などの案内点が近づいている旨の音声をスピーカ３３に出力させる。

ステップＳ４にて、マーカー制御部１５ｇは、指示器操作取得部１５ｅで適宜取得される指示器操作の有無に基づいて、指示器操作有りか否かを判定する。指示器操作有りと判定された場合には処理がステップＳ５に進み、指示器操作無しと判定された場合にはステップＳ４の処理が再度行われる。

ステップＳ５にて、自車位置取得部１５ａは自車両の現在位置を取得する。

ステップＳ６にて、マーカー制御部１５ｇは、自車両の現在位置と案内点情報とに基づいて、現在位置と、現在位置に最も近い案内点との間の距離が予め定められた閾値以下であるか否かを判定する。この判定で用いる閾値は予め定められているが、固定値ではなく、例えば自車両が走行している道路の種類に基づいて可変である。例えば、自車両が一般道路を走行している場合には、上記閾値は２０ｍである。現在位置と案内点との間の距離が予め定められた閾値以下であると判定された場合には処理がステップＳ７に進み、現在位置と案内点との間の距離が予め定められた閾値よりも大きいと判定された場合には処理がステップＳ５に戻る。

ステップＳ７にて、マーカー制御部１５ｇは、マーカーをＨＵＤ３５に表示させる制御をする。

ステップＳ８にて、自車位置取得部１５ａは自車両の現在位置を取得する。

ステップＳ９にて、マーカー制御部１５ｇは、指示器操作取得部１５ｅで適宜取得される指示器操作の有無に基づいて、指示器操作有りか否かを判定する。また、マーカー制御部１５ｇは、自車両の現在位置と案内点情報とに基づいて、現在位置に最も近い案内点を自車両が通過したか否かを判定する。指示器操作無しと判定された場合、または、自車両が案内点を通過したと判定された場合には処理がステップＳ１０に進み、指示器操作有りと判定され、かつ、自車両が案内点を通過していないと判定された場合には処理がステップＳ８に戻る。

ステップＳ１０にて、マーカー制御部１５ｇは、マーカーをＨＵＤ３５に表示させない制御をする。その後、図８の処理が終了する。

＜実施の形態２のまとめ＞
以上のような本実施の形態２に係る制御ユニット２によれば、指示器操作無しであった場合に、マーカーをＨＵＤ３５に表示させない制御をする。このような構成によれば、マーカーを常に表示しないので、消費電力の抑制、及び、運転者の視界の確保が可能になる。

＜実施の形態３＞
本発明の実施の形態３に係る制御ユニットのブロック構成は、実施の形態２に係る制御ユニットのブロック構成（図３）と同様である。以下、本実施の形態３で説明する構成要素のうち、上述の構成要素と同じまたは類似する構成要素については同じ参照符号を付し、異なる構成要素について主に説明する。なお、以下の説明では道路線を道路と記すこともある。

マーカー制御部１５ｇは、自車両が案内点を経由して進むべき第１道路に対して予め定められた関係にある第２道路があるかを判定する。以下では、第１道路は探索経路に対応する道路であるものとし、第１道路を「進出道路」と記して説明する。また以下では、第２道路は進出道路と間違えやすい関係にある道路であるものとし、第２道路を「誤り道路」と記して説明する。

本実施の形態３では、マーカー制御部１５ｇは、地図情報に基づいて、進出道路からの距離が予め定められた閾値以下である道路があるか否かを判定し、当該道路があると判定した場合に誤り道路があると判定する。この判定で用いる閾値は予め定められているが、固定値ではなく、例えば自車両が走行している道路の種類に基づいて可変である。例えば、自車両が一般道路を走行している場合、上記閾値は３０ｍである。

また本実施の形態３では、マーカー制御部１５ｇは、上述したマッピング、つまり地図情報と前方画像との対応付けによって、進出道路以外の道路が前方画像に含まれるか否かを判定し、当該道路が前方画像に含まれると判定した場合に誤り道路があると判定する。

そして、マーカー制御部１５ｇは、誤り道路があると判定した場合にはマーカーをＨＵＤ３５に表示させる制御をし、誤り道路がないと判定した場合にはマーカーをＨＵＤ３５に表示させない制御をする。

またマーカー制御部１５ｇは、地図情報と自車位置取得部１５ａで取得された現在位置とに基づいて、現在位置と案内点との間の距離が予め定められた閾値以下であるか否かについての第１判定を行い、かつ、マッピングによって当該案内点が前方画像に含まれるか否かについての第２判定を行う。以下の説明では、第１判定で上記距離が閾値以下であると判定された案内点を「第１判定の案内点」と記すこともある。

マーカー制御部１５ｇは、第１判定及び第２判定の結果にも基づいてマーカーの表示を制御する。本実施の形態３では、マーカー制御部１５ｇは、第２判定において、第１判定の案内点が前方画像に含まれないと判定した場合にはマーカーをＨＵＤ３５に表示させる制御をし、第１判定の案内点が前方画像に含まれると判定した場合にはマーカーをＨＵＤ３５に表示させない制御をする。

＜動作＞
図９は、本実施の形態３に係る制御ユニット２のマーカー表示制御を示すフローチャートである。なお、図９の本実施の形態３に係る動作は、図８の実施の形態２に係る動作にステップＳ２１，Ｓ２２，Ｓ２３，Ｓ２４を追加したものと同様である。

本実施の形態３では、まず、実施の形態２と同様にステップＳ１からステップＳ６の処理が行われ、ステップＳ６の処理の後、ステップＳ２１及びステップＳ２３の処理が並列的に行われる。なお本実施の形態３では、ステップＳ６の判定は上述した第１判定として行われる。

以下、ステップＳ２１側の処理について説明する。ステップＳ２１にて、制御ユニット２は誤り道路の検出処理を行う。図１０は、図９のステップＳ２１で行われる誤り道路の検出処理を示すフローチャートである。

ステップＳ３１にて、マーカー制御部１５ｇは、現在位置周辺の道路リンクを地図情報から取得する。

ステップＳ３２にて、マーカー制御部１５ｇは、取得した道路リンクに基づいて、進出道路からの距離が予め定められた閾値以下である道路があるか否かを判定する。道路があると判定された場合には処理がステップＳ３５に進み、道路がないと判定された場合には処理がステップＳ３３に進む。

ステップＳ３３にて、画像取得部１５ｆは、フロントカメラ２７で撮像された前方画像を取得する。

ステップＳ３４にて、マーカー制御部１５ｇは、マッピングを行うことによって、進出道路以外の道路が前方画像に含まれるか否かを判定する。進出道路以外の道路が前方画像に含まれると判定された場合には処理がステップＳ３５に進み、進出道路以外の道路が前方画像に含まれないと判定された場合には処理がステップＳ３６に進む。

ステップＳ３５にて、マーカー制御部１５ｇは誤り道路有りと判定し、その後、図１０の処理が終了する。

ステップＳ３６にて、マーカー制御部１５ｇは誤り道路無しと判定し、その後、図１０の処理が終了する。

図１１は、以上のような誤り道路の検出処理の結果の一例を示す図である。図１１には、自車両の現在位置５６と、地図情報の道路線５７と、道路線５７に対応する現実世界の道路５８ａ，５８ｂ，５８ｃとが図示されている。なお、道路５８ａは自車両が走行している道路であり、道路５８ｂは進出道路であり、道路５８ｃは誤り道路である。

地図情報の道路線５７だけを用いて誤り道路の検出処理を行う場合、比較的簡単な処理で誤り道路を検出することができる。しかしながら、データ量を抑制する観点から、例えば図１１に示すように、地図情報の道路線５７の形状には、現実世界の道路５８ａ，５８ｂ，５８ｃの形状を簡略化した形状が用いられることが多い。この簡略化の結果、地図情報の道路線５７だけを用いた誤り道路の検出処理では、現実世界に存在する誤り道路５８ｃを検出することができない場合がある。

これに対して本実施の形態３に係る誤り道路の検出処理では、マッピングによって進出道路以外の道路が前方画像に含まれるか否かを判定する。これにより、処理は多少複雑になるが、誤り道路の検出精度を高めることができる。なお、以上の検出は、道路そのものの検出だけでなく、広義の意味での道路に含まれる車線の検出にも有効である。

説明を図９に戻す。ステップＳ２１の次のステップＳ２２にて、マーカー制御部１５ｇは、ステップＳ２１での誤り道路の検出処理の結果に基づいて誤り道路有りであったか否かを判定する。誤り道路有りであったと判定された場合には処理がステップＳ７に進み、実施の形態２と同様にステップＳ７以降の処理が行われる。誤り道路無しであったと判定された場合には図９の処理が終了する。

次に、ステップＳ２３側の処理について説明する。ステップＳ２３にて、画像取得部１５ｆは、フロントカメラ２７で撮像された前方画像を取得する。

ステップＳ２４にて、マーカー制御部１５ｇは、ステップＳ６で距離が閾値以下と判定された案内点、つまり第１判定の案内点が前方画像に含まれるか否かについての判定をマッピングによって行う。つまりステップＳ２４にて、マーカー制御部１５ｇは第２判定を行う。第１判定の案内点が前方画像に含まれると判定された場合には図９の処理が終了する。第１判定の案内点が前方画像に含まれないと判定された場合には処理がステップＳ７に進み、実施の形態２と同様にステップＳ７以降の処理が行われる。

図１２〜図１４は、ステップＳ２４に係る処理を説明するための図である。図１２には、自車両の現在位置６０、地図情報の道路６１ａ，６１ｂ，案内交差点６２が図示されている。図１３には、自車両の現在位置６０、前方画像から抽出された道路６４ａ，６４ｂが図示されている。図１４には、自車両の現在位置６０、前方画像から抽出された道路６４ａが図示されている。

通常であれば、図１３のように、前方画像から道路６４ａ，６４ｂひいては案内交差点が抽出され、前方画像から抽出される内容と、図１２に示す地図情報の内容とはほぼ一致する。しかしながら、自車両が濃霧の中を走行している場合や、自車両が夜間に街灯光が少ない場所を走行している場合などには、自車両前方の見通しが悪くなり、図１３のように前方画像から道路６４ｂひいては案内交差点が抽出されない。

そこで本実施の形態３では、このように案内交差点などの案内点が前方画像に含まれない場合に、処理がステップＳ２４からステップＳ７に進んで、マーカー制御部１５ｇは、マーカーをＨＵＤ３５に表示させる制御をする。この際のマーカーの位置は、マッピングによって設定されず、地図情報と自車両の現在位置とに基づいて設定される。

以上のような構成によれば、運転者は、自車両前方の見通しが悪くて案内点を視認できない場合でも、マーカーの表示を手掛かりにして案内点の位置を把握することができる。なお、マーカー制御部１５ｇは、ワイパースイッチがオンであるか、灯火スイッチがオンであるかなどを考慮して、自車両前方の見通しが悪いか否かの判定を行ってもよい。

＜実施の形態３のまとめ＞
本実施の形態３に係る制御ユニット２によれば、誤り道路がないと判定した場合にはマーカーをＨＵＤ３５に表示させない制御をする。このような構成によれば、運転者が進出方向を間違えないような場合にマーカーを表示しないので、消費電力の抑制、及び、運転者の視界の確保を適切に行うことが可能になる。

また本実施の形態３によれば、第１判定の案内点が前方画像に含まれないと第２判定にて判定した場合にはマーカーをＨＵＤ３５に表示させる制御をし、当該案内点が前方画像に含まれると第２判定にて判定した場合にはマーカーをＨＵＤ３５に表示させない制御をする。このような構成によれば、自車両前方の見通しが悪くて案内点を視認できない場合などにマーカーを表示するので、運転者は当該マーカーの表示を手掛かりにして案内点の位置を把握することができる。

＜変形例１＞
図１５は、本変形例１に係る制御ユニット２によって制御されたＨＵＤ３５の表示例を示す図である。図１５の例において道路４３は進出道路であり、破線矢印は探索経路を示している。

図１５に示すように、マーカー制御部１５ｇは、上述したマッピング、つまり地図情報と前方画像との対応付けによって、進出道路である道路４３がＨＵＤ３５の表示範囲４６の外側にあると判定した場合に、マーカー４６ａの形状を変更してもよい。図１５の例では、マーカー４６ａの形状は、直線状から曲線状に変更されているが、マーカー４６ａの形状の変更はこれに限ったものではない。

また図１５の例では、マーカー４６ａの形状を変更したが、これに限ったものではなく、例えばマーカー４６ａの形状及び色の両方を変更してもよいし、マーカー４６ａの形状を変更せずにマーカー４６ａの色を変更してもよい。

以上のような本変形例１によれば、運転者は、マーカー４６ａがＨＵＤ３５の表示範囲４６外の道路を示していることを認識することができる。

＜変形例２＞
一般的なナビゲーション装置では、予告案内（Preparation）、案内点接近案内（Approach）、最終案内（Action）という３段階の音声案内が行われる。案内点接近案内から最終案内までの予め定められた時点で、図３の出力制御部１５ｄは、指示器操作を促す振動をステアリング２５に発生させてもよい。なお、上記時点は予め定められているが、固定値ではなく、例えば、現在位置と案内点との間の距離、自車両が走行している道路の種類、自車両の速度の少なくともいずれか１つに基づいて可変である。

図１６は、本変形例２に係る制御ユニット２のステアリング振動制御を示すフローチャートである。

ステップＳ４１にて、出力制御部１５ｄは、現時点が上述の予め定められた時点であるか否かを判定する。現時点が予め定められた時点であると判定された場合には処理がステップＳ４２に進み、現時点が予め定められた時点でないと判定された場合には図１６の処理が終了する。

ステップＳ４２にて、出力制御部１５ｄは、指示器操作取得部１５ｅで適宜取得される指示器操作の有無に基づいて、指示器操作有りか否かを判定する。指示器操作有りと判定された場合には図１６の処理が終了し、指示器操作無しと判定された場合には処理がステップＳ４３に進む。

ステップＳ４３にて、出力制御部１５ｄは、指示器操作を促す振動をステアリング２５に発生させる。その後、図１６の処理が終了する。

以上のような本変形例２によれば、運転者は、スピーカ３３からの音声案内を聞き逃した場合であっても、ステアリング２５の振動によって指示器操作を行うべきであることに気付くことができる。

＜その他の変形例＞
上述した表示制御装置１における図１の取得部１１及び制御部１２を、以下「取得部１１等」と記す。取得部１１等は、図１７に示す処理回路８１により実現される。すなわち、処理回路８１は、自車両の現在位置と、地図情報が示す地図上に予め設定された案内点と、自車両の方向指示器に対する操作の有無とを取得する取得部１１と、取得部１１で取得された現在位置、案内点、及び、操作の有無に基づいて、自車両が進むべき方向を示す画像であるマーカーの表示を制御する制御部１２と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。

処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。取得部１１等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。

処理回路８１がプロセッサである場合、取得部１１等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリ８３に格納される。図１８に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、表示制御装置１は、処理回路８１により実行されるときに、自車両の現在位置と、地図情報が示す地図上に予め設定された案内点と、自車両の方向指示器に対する操作の有無とを取得するステップと、取得部１１で取得された現在位置、案内点、及び、操作の有無に基づいて、自車両が進むべき方向を示す画像であるマーカーの表示を制御するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、取得部１１等の手順や方法をコンピュータに実行させるものであるともいえる。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。

以上、取得部１１等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部１１等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部１１については専用のハードウェアとしての処理回路８１及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。

以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。

また、以上で説明した表示制御装置１は、ＰＮＤ（Portable Navigation Device）などのナビゲーション装置と、携帯電話、スマートフォン及びタブレットなどの携帯端末を含む通信端末と、ナビゲーション装置及び通信端末の少なくともいずれか１つにインストールされるアプリケーションの機能と、サーバとを適宜に組み合わせてシステムとして構築される表示制御システムにも適用することができる。この場合、以上で説明した表示制御装置１の各機能あるいは各構成要素は、前記システムを構築する各機器に分散して配置されてもよいし、いずれかの機器に集中して配置されてもよい。例えば、サーバがナビゲーション機能を備え、ナビゲーション装置が表示機能及び位置検出機能だけを備える構成であってもよい。

図１９は、本変形例に係るサーバ９１の構成を示すブロック図である。図１９のサーバ９１は、通信部９１ａと制御部９１ｂとを備えており、自車両９２のナビゲーション装置９３と無線通信を行うことが可能となっている。

取得部である通信部９１ａは、ナビゲーション装置９３と無線通信を行うことにより、自車両の現在位置と、地図情報が示す地図上に予め設定された案内点と、自車両の方向指示器に対する操作の有無とを受信する。

制御部９１ｂは、サーバ９１の図示しないプロセッサなどが、サーバ９１の図示しないメモリに記憶されたプログラムを実行することにより、図１の制御部１２と同様の機能を有している。つまり、制御部９１ｂは、通信部９１ａで受信された現在位置、案内点、及び、操作の有無に基づいて、自車両が進むべき方向を示す画像であるマーカーの表示を制御するための制御信号を生成する。そして、通信部９１ａは、制御部９１ｂで生成された制御信号をナビゲーション装置９３に送信する。

このように構成されたサーバ９１によれば、例えば、ナビゲーション装置９３が、表示機能と、サーバ９１との通信機能としか有さなくても、実施の形態１で説明した表示制御装置１と同様の効果を得ることができる。

図２０は、本変形例に係る通信端末９６の構成を示すブロック図である。図２０の通信端末９６は、通信部９１ａと同様の通信部９６ａと、制御部９１ｂと同様の制御部９６ｂとを備えており、自車両９７のナビゲーション装置９８と無線通信を行うことが可能となっている。なお、通信端末９６には、例えば自車両９７の運転者が携帯する携帯電話、スマートフォン、及びタブレットなどの携帯端末が適用される。このように構成された通信端末９６によれば、例えば、ナビゲーション装置９８が、表示機能と、通信端末９６との通信機能としか有さなくても、実施の形態１で説明した表示制御装置１と同様の効果を得ることができる。

なお、本発明は、その発明の範囲内において、各実施の形態及び各変形例を自由に組み合わせたり、各実施の形態及び各変形例を適宜、変形、省略したりすることが可能である。

本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、本発明の範囲から外れることなく想定され得るものと解される。

１ 表示制御装置、１１ 取得部、１２ 制御部、２１ 表示部、２５ ステアリング、３３ スピーカ、４６ 表示範囲、４６ａ マーカー。

本発明に係る表示制御装置は、表示部を制御する表示制御装置であって、表示部は、車両の運転席から視認される画像であって、車両外の景色に重ねられる画像を表示可能であり、表示制御装置は、車両の現在位置と、地図情報が示す地図上に予め設定された案内点と、車両の方向指示器に対する操作の有無とを取得する取得部と、取得部で取得された現在位置、案内点、及び、操作の有無に基づいて、車両が進むべき方向を示す画像であるマーカーの表示を制御する制御部とを備える。制御部は、取得部で取得された操作の有無が操作無しであった場合に、マーカーを表示部に表示させない制御をする。

Claims (12)

1. 表示部を制御する表示制御装置であって、
   前記表示部は、
   車両の運転席から視認される画像であって、前記車両外の景色に重ねられる画像を表示可能であり、
   前記表示制御装置は、
   前記車両の現在位置と、地図情報が示す地図上に予め設定された案内点と、前記車両の方向指示器に対する操作の有無とを取得する取得部と、
   前記取得部で取得された前記現在位置、前記案内点、及び、前記操作の有無に基づいて、前記車両が進むべき方向を示す前記画像であるマーカーの表示を制御する制御部と
   を備える、表示制御装置。
2. 請求項１に記載の表示制御装置であって、
   前記制御部は、
   前記取得部で取得された前記操作の有無が操作無しであった場合に、前記マーカーを前記表示部に表示させない制御をする、表示制御装置。
3. 請求項１に記載の表示制御装置であって、
   前記制御部は、
   前記車両が前記案内点を経由して進むべき第１道路に対して予め定められた関係にある第２道路があるかを判定し、当該判定の結果にも基づいて前記マーカーの表示を制御する、表示制御装置。
4. 請求項３に記載の表示制御装置であって、
   前記制御部は、
   前記地図情報に基づいて、前記第１道路からの距離が予め定められた閾値以下である道路があるか否かを判定し、当該道路があると判定した場合に前記第２道路があると判定する、表示制御装置。
5. 請求項３に記載の表示制御装置であって、
   前記取得部は、前記車両前方の画像である前方画像をさらに取得し、
   前記制御部は、
   前記地図情報と前記前方画像との対応付けによって前記第１道路以外の道路が前記前方画像に含まれるか否かを判定し、当該道路が前記前方画像に含まれると判定した場合に前記第２道路があると判定する、表示制御装置。
6. 請求項３に記載の表示制御装置であって、
   前記制御部は、
   前記第２道路がないと判定した場合に、前記マーカーを前記表示部に表示させない制御をする、表示制御装置。
7. 請求項１に記載の表示制御装置であって、
   前記取得部は、前記車両前方の画像である前方画像をさらに取得し、
   前記制御部は、
   前記地図情報と前記取得部で取得された前記現在位置とに基づいて、前記現在位置と前記案内点との間の距離が予め定められた閾値以下であるか否かについての第１判定を行い、かつ、前記地図情報と前記前方画像との対応付けによって当該案内点が前記前方画像に含まれるか否かについての第２判定を行い、前記第１判定及び前記第２判定の結果にも基づいて前記マーカーの表示を制御する、表示制御装置。
8. 請求項７に記載の表示制御装置であって、
   前記制御部は、
   前記第２判定において、前記第１判定の前記案内点が前記前方画像に含まれないと判定した場合には前記マーカーを前記表示部に表示させる制御をし、前記第１判定の前記案内点が前記前方画像に含まれると判定した場合には前記マーカーを前記表示部に表示させない制御をする、表示制御装置。
9. 請求項１に記載の表示制御装置であって、
   前記表示部の表示範囲は、前記車両のフロントガラスの一部に対応する範囲であり、
   前記取得部は、前記車両前方の画像である前方画像をさらに取得し、
   前記制御部は、
   前記地図情報と前記前方画像との対応付けによって、前記車両が前記案内点を経由して進むべき道路が前記表示範囲外にあると判定した場合に、前記マーカーの形状及び色の少なくともいずれか１つを変更する、表示制御装置。
10. 請求項１に記載の表示制御装置であって、
    前記制御部は、
    前記操作を促す振動を前記車両のステアリングに発生させる、表示制御装置。
11. 請求項１に記載の表示制御装置であって、
    前記表示制御装置は音声出力部も制御し、
    前記制御部は、
    前記操作を促す音声を前記音声出力部に出力させる、表示制御装置。
12. 表示部を制御する表示制御方法であって、
    前記表示部は、
    車両の運転席から視認される画像であって、前記車両外の景色に重ねられる画像を表示可能であり、
    前記表示制御方法は、
    前記車両の現在位置と、地図情報が示す地図上に予め設定された案内点と、前記車両の方向指示器に対する操作の有無とを取得し、
    取得された前記現在位置、前記案内点、及び、前記操作の有無に基づいて、前記車両が進むべき方向を示す前記画像であるマーカーの表示を制御する、表示制御方法。

Images