JP5650416B2 - 表示装置、制御方法、プログラム、及び記憶媒体 - Google Patents

Description

本発明は、表示装置による使用者への情報提示の制御技術に関する。

従来から、ナビゲーション装置において、車両外部の様子を示す実写画像を画面上に表示する技術が知られている。例えば、特許文献１には、車両外部の状況に応じて、地図情報を用いた地図画像または車両外部の様子を示す実写画像のいずれを優先して表示するかを自動的に切り替えることが可能なナビゲーション装置が開示されている。

国際公開ＷＯ２００６／３０９０１９

一般に、実写画像を表示し経路案内を行う場合、実写画像が運転者の実際に視覚する景色と一致するため、地図情報を用いた地図画像と比較して運転者の理解が容易になるという利点がある。しかし、特許文献１の技術によれば、実写画像の一部のみが見えにくい場合であっても、地図情報を用いた地図画像に表示が切り替わってしまう。

本発明が、上記のような課題を解決するためになされたものであり、実写画像を最大限利用し、利用者の利便性を向上させることが可能な表示装置を提供することを目的とする。

請求項１に記載の発明は、カメラと電磁的に接続した表示装置であって、地図情報を記憶する記憶部と、前記カメラで取得した実写画像を表示する表示手段と、前記実写画像内に表示され、道路を隠す構造物と、前記道路または前記構造物に該当しない他の構造物と、を特定する特定手段と、前記地図情報に基づき、前記道路に対応する描画画像を生成する描画画像生成手段と、前記描画画像を前記実写画像に重畳して表示する重畳表示を行う表示制御手段と、を備え、前記表示制御手段は、前記他の構造物に対応する描画画像を表示しないことを特徴とする。

請求項４に記載の発明は、カメラと電磁的に接続し、地図情報を記憶する記憶部と、表示部と、制御部とを備えた表示装置が実行する制御方法であって、前記制御部が、前記カメラで取得した実写画像を前記表示部に表示する表示工程と、前記制御部が、前記実写画像内に表示され、道路を隠す構造物と、前記道路または構造物に該当しない他の構造物と、を特定する特定工程と、前記制御部が、前記地図情報に基づき、前記道路に対応する描画画像を生成する描画画像生成工程と、前記制御部が、前記描画画像を前記実写画像に重畳して前記表示部に表示する重畳表示を行う表示制御工程と、を備え、前記表示制御工程では、前記制御部は、前記他の構造物に対応する描画画像を表示しないことを特徴とする。

請求項５に記載の発明は、カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置に搭載され実行されるプログラムであって、前記カメラで取得した実写画像を表示する表示手段と、前記実写画像内に表示され、道路を隠す構造物と、前記道路または構造物に該当しない他の構造物と、を特定する特定手段と、前記地図情報に基づき、前記道路に対応する描画画像を生成する描画画像生成手段と、前記描画画像を前記実写画像に重畳して表示する重畳表示を行う表示制御手段として前記表示装置を機能させ、前記表示制御手段は、前記他の構造物に対応する描画画像を表示しないことを特徴とする。

本実施例に係るナビゲーション装置の概略構成の一例である。 本実施例に係るナビゲーション装置の機能ブロックの一例である。 実写案内画像及びＣＧ案内画像の表示例である。 実写案内画像にＣＧ案内画像の一部を重畳表示させた場合の表示例である。 本実施例の処理手順を示すフローチャートの一例である。

本発明の１つの観点では、カメラと電磁的に接続した表示装置であって、地図情報を記憶する記憶部と、前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定手段と、前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定手段が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御手段と、を備える。

上記の表示装置は、カメラと電磁的に接続する。表示装置は、記憶部と、重畳表示判定手段と、表示制御手段と、を備える。記憶部は、地図情報を記憶する。重畳表示判定手段は、カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する。例えば、重畳表示判定手段は、カメラから取得された実写画像の輝度、コントラスト等に基づき、重畳表示をすべきか否か判定する。表示制御手段は、重畳表示判定手段が重畳表示をすべきと判断した場合、重畳表示を行い、重畳表示判定手段が重畳表示をする必要がないと判断した場合、実写画像に基づく表示を行う。即ち、表示制御手段は、原則、カメラから取得された実写画像に基づき表示を行う。そして、表示制御手段は、見えづらい等の重畳表示をすべき場合には、重畳表示により地図情報に基づく描画画像を重畳させて視認性を担保する。このようにすることで、表示装置は、実写画像を最大限活用することができると共に、重畳表示により視認性を担保することができる。従って、表示装置は、使用者の利便性を向上させることができる。

上記の表示装置の一態様では、前記重畳表示判定手段は、前記実写画像を複数のエリアに区分けし、当該エリアごとに前記重畳表示をすべきか否かの判定を行い、前記表示制御手段は、前記重畳表示判定手段が前記重畳表示をすべきと判定した前記エリアを対象に、前記重畳表示を行う。この態様では、重畳表示判定手段は、重畳表示をすべきか否かの判断を所定のエリアごとに行う。そして、表示制御手段は、重畳表示をすべきと判定されたエリアの全体又は一部について重畳表示を行う。このようにすることで、表示装置は、重畳表示をすべき箇所を詳細に特定して重畳表示をすることができると共に、実写画像に基づく表示を最大限活用することができる。

上記の表示装置の他の一態様では、前記重畳表示判定手段は、現在時刻が属する時間帯に基づき前記重畳表示をすべきか否か判定し、前記表示制御手段は、前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記時間帯に基づき前記重畳表示を行う。この態様では、重畳表示判定手段は、現在時刻に基づき、実写画像に基づく表示が見えにくいか否か判定する。そして、表示制御手段は、現在時刻に基づき、重畳表示を行う。即ち、表示制御手段は、現在時刻に基づき重畳表示を行う箇所を特定する。一般に、現在時刻が属する時間帯によって、実写画像に基づく表示の視認性の良し悪し及び視認性の悪い箇所が異なる。従って、表示装置は、現在時刻に基づき、実写画像に基づく表示の視認性の良し悪しを推定し、重畳表示を行うことができる。

上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記実写画像の輝度に基づき、前記重畳表示をすべきか否か判定する。一般に、カメラが逆光にある場合など、輝度が極度に高い場合には、眩しい状態と等しくなり、視認性が低い。同様に、夜間に街灯がない道路を走行中の場合など、輝度が極度に低い場合には、実写画像全体が暗くなり、視認性が低い。従って、この態様では、表示装置は、実写画像の輝度に基づき重畳表示をすべきか否か判定することで、実写画像を最大限活用しつつ、視認性を確保することができる。

上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記実写画像のコントラストに基づき、前記重畳表示をすべきか否か判定する。一般に、コントラストが極度に低い場合には、ぼやけた画像となり、視認性が低い。従って、この態様では、表示装置は、実写画像のコントラストに基づき重畳表示をすべきか否か判定することで、実写画像を最大限活用しつつ、視認性を確保することができる。

上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記実写画像と、前記地図情報に基づき生成した描画画像との比較に基づき、前記重畳表示をすべきか否か判定する。この態様によっても、表示装置は、重畳表示をすべきか否か判定し、視認性を確保することができる。

上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記移動体のヘッドライトの設定と連動する表示画面の明るさの設定に基づき、前記重畳表示をすべきか否か判定する。一般に、運転者の視界の悪化に応じて、運転者はヘッドライトを点灯させる。従って、この態様により、表示装置は、実写画像に基づく表示の視認性の悪化を推定することができ、必要な場合に重畳表示を行うことができる。

上記の表示装置の他の一態様では、前記重畳表示判定手段は、前記重畳表示に関する設定に基づき、前記重畳表示をすべきか否か判定する。この態様では、重畳表示判定手段は、重畳表示に関する設定に基づき、重畳表示を行うことで、より使用者の意図に即して重畳表示を行うことができる。

本発明の他の観点では、カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置が実行する制御方法であって、前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定工程と、前記重畳表示判定工程が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定工程が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御工程と、を備える。表示装置は、この方法を使用することで、実写画像を最大限活用することができると共に、重畳表示により視認性を担保することができる。

本発明のさらに別の観点では、カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置に搭載され実行されるプログラムであって、前記カメラから取得された実写画像に基づき、当該実写画像を構成する一部に、前記地図情報に基づき生成した当該一部に対応する描画画像を重畳する重畳表示をすべきか否か判定する重畳表示判定手段と、前記重畳表示判定手段が前記重畳表示をすべきと判断した場合、前記重畳表示を行い、前記重畳表示判定手段が前記重畳表示をする必要がないと判断した場合、前記実写画像に基づく表示を行う表示制御手段、として前記表示装置を機能させる。表示装置は、このプログラムを搭載して実行することで、実写画像を最大限活用することができると共に、重畳表示により視認性を担保することができる。好適には、上記プログラムは、記憶媒体に記憶される。

以下、図面を参照して本発明の好適な実施例について説明する。まず、本発明の各実施例に共通するナビゲーション装置の概略構成について説明する。

なお、以後の説明では、ナビゲーション装置１が搭載された車両を、「搭載車両」と呼ぶ。また、「使用者」とは、搭載車両の運転者の他、搭載車両の乗員も含むものとする。

［概略構成］
図１は、本発明に係る表示装置を適用したナビゲーション装置１の概略構成を示す。図１に示すように、ナビゲーション装置１は、自立測位装置１０、ＧＰＳ受信機１８、システムコントローラ２０、ディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、通信装置３８、表示ユニット４０、音声出力ユニット５０、入力装置６０及びカメラ６１を備える。

自立測位装置１０は、加速度センサ１１、角速度センサ１２及び距離センサ１３を備える。加速度センサ１１は、例えば圧電素子からなり、搭載車両の加速度を検出し、加速度データを出力する。角速度センサ１２は、例えば振動ジャイロからなり、搭載車両の方向変換時における搭載車両の角速度を検出し、角速度データ及び相対方位データを出力する。距離センサ１３は、搭載車両の車輪の回転に伴って発生されているパルス信号からなる車速パルスを計測する。

ＧＰＳ受信機１８は、複数のＧＰＳ衛星から、測位用データを含む下り回線データを搬送する電波１９を受信する。測位用データは、緯度及び経度情報等から車両の絶対的な位置（以後、「現在地」とも呼ぶ。）を検出するために用いられる。

システムコントローラ２０は、インタフェース２１、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２３及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２４を含んでおり、ナビゲーション装置１全体の制御を行う。

インタフェース２１は、加速度センサ１１、角速度センサ１２及び距離センサ１３並びにＧＰＳ受信機１８とのインタフェース動作を行う。そして、これらから、車速パルス、加速度データ、相対方位データ、角速度データ、ＧＰＳ測位データ、絶対方位データ等をシステムコントローラ２０に入力する。ＣＰＵ２２は、システムコントローラ２０全体を制御する。ＲＯＭ２３は、システムコントローラ２０を制御する制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ２４は、入力装置６０を介して使用者により予め設定された経路データ等の各種データを読み出し可能に格納したり、ＣＰＵ２２に対してワーキングエリアを提供したりする。なお、これらのシステムコントローラ２０の各要素が実行する具体的な処理については、後述する。

システムコントローラ２０、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブなどのディスクドライブ３１、データ記憶ユニット３６、通信用インタフェース３７、表示ユニット４０、音声出力ユニット５０、入力装置６０及びカメラ６１は、バスライン３０を介して相互に接続されている。

ディスクドライブ３１は、システムコントローラ２０の制御の下、ＣＤ又はＤＶＤといったディスク３３から、音楽データ、映像データなどのコンテンツデータを読み出し、出力する。なお、ディスクドライブ３１は、ＣＤ−ＲＯＭドライブ又はＤＶＤ−ＲＯＭドライブのうち、いずれか一方としてもよいし、ＣＤ及びＤＶＤコンパチブルのドライブとしてもよい。

データ記憶ユニット３６は、例えば、ＨＤＤなどにより構成され、地図データなどのナビゲーション処理に用いられる各種データを記憶するユニットである。

通信装置３８は、例えば、ＦＭチューナやビーコンレシーバ、携帯電話や専用の通信カードなどにより構成され、ＶＩＣＳセンタ、又は各車両の走行履歴を蓄積管理して渋滞情報を提供するサーバなどから配信される渋滞情報その他交通情報を電波３９より取得する。そしてインタフェース３７は、通信装置３８のインタフェース動作を行い、交通情報をシステムコントローラ２０等に入力する。

表示ユニット４０は、システムコントローラ２０の制御の下、各種表示データをディスプレイなどの表示装置に表示する。具体的には、システムコントローラ２０は、データ記憶ユニット３６から地図データを読み出す。表示ユニット４０は、システムコントローラ２０によってデータ記憶ユニット３６から読み出された地図データなどを表示画面上に表示する。表示ユニット４０は、バスライン３０を介してＣＰＵ２２から送られる制御データに基づいて表示ユニット４０全体の制御を行うグラフィックコントローラ４１と、ＶＲＡＭ（Ｖｉｄｅｏ ＲＡＭ）等のメモリからなり即時表示可能な画像情報を一時的に記憶するバッファメモリ４２と、グラフィックコントローラ４１から出力される画像データに基づいて、液晶、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）等のディスプレイ４４を表示制御する表示制御部４３と、ディスプレイ４４とを備える。ディスプレイ４４は、画像表示部として機能し、例えば対角５〜１０インチ程度の液晶表示装置等からなり、車内のフロントパネル付近に装着される。

音声出力ユニット５０は、システムコントローラ２０の制御の下、ＣＤ−ＲＯＭドライブ３１又はＤＶＤ−ＲＯＭ３２、若しくはＲＡＭ２４等からバスライン３０を介して送られる音声デジタルデータのＤ／Ａ（Ｄｉｇｉｔａｌ ｔｏ Ａｎａｌｏｇ）変換を行うＤ／Ａコンバータ５１と、Ｄ／Ａコンバータ５１から出力される音声アナログ信号を増幅する増幅器（ＡＭＰ）５２と、増幅された音声アナログ信号を音声に変換して車内に出力するスピーカ５３とを備えて構成されている。

入力装置６０は、各種コマンドやデータを入力するための、キー、スイッチ、ボタン、リモコン、音声入力装置等から構成されている。入力装置６０は、車内に搭載された当該車載用電子システムの本体のフロントパネルやディスプレイ４４の周囲に配置される。また、ディスプレイ４４がタッチパネル方式の場合、ディスプレイ４４の表示画面上に設けられたタッチパネルも入力装置６０として機能する。

カメラ６１は、一定の画角を有し、画角内の被写体を撮影する光学機械である。本実施例では、カメラ６１は、搭載車両の前方に向けられ、搭載車両が走行する道路を撮像可能な位置に載置される。そして、カメラ６１は、所定の間隔ごとに画像（以後、「画像Ｆｉ」と呼ぶ。）を生成し、システムコントローラ２０へ供給する。

なお、図１のシステムコントローラ２０は、本発明における重畳表示判定手段、及び表示制御手段に相当する。

また、以後では、「実写案内画像Ｆｇ」とは、画像Ｆｉに基づき生成された地図案内画像を指す。具体的には、実写案内画像Ｆｇは、画像Ｆｉと同一であってもよく、画像Ｆｉに所定の画像処理が付された画像であってもよい。後者の場合、実写案内画像Ｆｇは、例えば画像Ｆｉに経路案内用の進行方向を示す矢印等が付加された画像が該当する。また、「ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃ）案内画像Ｆｃ」とは、画像Ｆｉを用いずデータ記憶ユニット３６に記憶された地図情報及び各種センサに基づき検出された情報に基づきシステムコントローラ２０が生成した地図案内画像を指す。なお、ＣＧ案内画像Ｆｃは、本発明における描画画像の一例に相当する。ただし、本発明における描画画像はこれに限定されず、人工的に作成された画像であればよい。描画画像の他の例としては、手書きで描かれた画像などが挙げられる。

［制御方法］
次に、システムコントローラ２０が実行する処理について説明する。概略的には、システムコントローラ２０は、原則的に、実写案内画像Ｆｇにより表示を行う。そして、システムコントローラ２０は、実写案内画像Ｆｇが使用者にとって見えにくいと判断した場合には、実写案内画像Ｆｇに、ＣＧ案内画像Ｆｃの一部を重畳させた表示（以後、「重畳表示」と呼ぶ。）を行う。これにより、システムコントローラ２０は、実写案内画像Ｆｇを最大限活用し、ユーザの視認性を向上させる。

これについて、図２を参照して具体的に説明する。図２は、システムコントローラ２０の機能ブロックを示す図の一例である。図２に示すように、システムコントローラ２０は、重畳表示判定部２０１と、表示制御部２０２と、を備える。

重畳表示判定部２０１は、カメラ６１から供給される画像Ｆｉに基づき、実写案内画像Ｆｇが使用者に見えにくいか否か、即ち視認性が低いか否か判定する。具体的には、重畳表示判定部２０１は、画像Ｆｉの明るさ（輝度）、画像Ｆｉのコントラスト、及び画像ＦｉとＣＧ案内画像Ｆｃとの比較の３つの判定基準を任意に組み合わせて、重畳表示をすべきか否か判定する。さらに、重畳表示判定部２０１は、重畳表示をすべきか否かを判断するために直接的又は間接的に関連する使用者のナビゲーション装置１又は搭載車両への設定（以後、単に「重畳表示関連設定」と呼ぶ。）を確認し、重畳表示をすべきか否かさらに判定する。重畳表示判定部２０１が実行する処理の具体的内容については、後述する。

表示制御部２０２は、重畳表示判定部２０１の判断に基づき、表示ユニット４０に表示させる表示を制御する。具体的には、表示制御部２０２は、重畳表示判定部２０１が重畳表示すべきと判断した場合、重畳表示により表示を行う。一方、表示制御部２０２は、重畳表示判定部２０１が重畳表示する必要がないと判断した場合、実写案内画像Ｆｇに基づき表示する。表示制御部２０２が実行する処理については、表示画面例のセクションでさらに詳しく説明する。

（重畳表示判定方法）
次に、重畳表示判定部２０１が実行する処理について詳細説明する。以下では、画像Ｆｉに基づく視認性の判定方式（以後、「画像判定方式」と呼ぶ。）について説明した後、重畳表示関連設定に基づく視認性の判定方式について説明する。重畳表示判定部２０１は、以下の各判断条件を、論理積又は論理和の条件として、即ち、アンド条件又はオア条件として、任意に組み合わせて重畳表示すべきか否か判断してもよい。

１．画像判定方式
以下では、画像判断方式の具体例を説明する。

１−１．輝度に基づく判定
重畳表示判定部２０１は、画像Ｆｉの輝度に基づき重畳表示すべきか否か判定する。これにより、重畳表示判定部２０１は、画像Ｆｉが視認性の低い輝度を有する場合に重畳表示すべきと判断する。

これについて具体的に説明する。例えば、重畳表示判定部２０１は、画像Ｆｉ中の各画素のＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）値のＲ値とＧ値とＢ値との平均値を当該画素の輝度として算出する。即ち、重畳表示判定部２０１は、画像Ｆｉの画素ごとに、赤の度合いを示すＲ値と緑の度合いを示すＧ値と青の度合いを示すＢ値との平均を算出する。

そして、重畳表示判定部２０１は、例えば、算出した各画素の輝度に基づき、さらにそれらの平均、中央値、などの画像Ｆｉの輝度を示す代表値を算出する。そして、重畳表示判定部２０１は、当該代表値が所定の上限値（以後、「上限輝度ＬｌｉｍＨ」と呼ぶ。）より大きい場合、又は、代表値が所定の下限値（以後、「下限輝度ＬｌｉｍＬ」と呼ぶ。）より小さい場合、実写案内画像Ｆｇの視認性が低いと判断する。上限輝度ＬｌｉｍＨ及び下限輝度ＬｌｉｍＬは、それぞれ、使用者の視認性を損なう虞がない輝度の上限及び下限に相当し、例えば実験等に基づき予め定められ、システムコントローラ２０のメモリに予め記憶される。一方、重畳表示判定部２０１は、上述の代表値が下限輝度ＬｌｉｍＬ以上上限輝度ＬｌｉｍＨ以下の場合、重畳表示を行う必要がないと判断する。

他の例では、重畳表示判定部２０１は、各画素の輝度と上限輝度ＬｌｉｍＨ及び下限輝度ＬｌｉｍＬとを比較する。そして、重畳表示判定部２０１は、上限輝度ＬｌｉｍＨより輝度が大きい画素及び下限輝度ＬｌｉｍＬより輝度が小さい画素の総計が、比較を行った画像Ｆｉの画素数に占める割合を算出する。そして、重畳表示判定部２０１は、当該割合が所定率以上あった場合には、重畳表示すべきと判断する。上述の所定率は、例えば実験等に基づき視認性が低下する虞がある割合の下限に定められ、システムコントローラ２０のメモリに記憶される。一方、重畳表示判定部２０１は、上述の割合が所定率未満の場合、重畳表示を行う必要がないと判断する。

１−２．コントラストに基づく判定
重畳表示判定部２０１は、画像Ｆｉのコントラストに基づき重畳表示すべきか否か判定する。これにより、重畳表示判定部２０１は、画像Ｆｉが視認性の低いコントラストを有する場合に重畳表示すべきと判断する。

これについて第１の例から第３の例を用いて具体的に説明する。重畳表示判定部２０１は、第１の例乃至第３の例を任意に組み合わせてコントラストが低いか否か判定してもよい。

第１の例では、重畳表示判定部２０１は、画像Ｆｉの各画素のＲＧＢ値をそれぞれ取得し、これらのＲＧＢ値の最大値（以後、「最大値Ｍａ」と呼ぶ。）及び最小値（以後、「最小値Ｍｉ」と呼ぶ。）をそれぞれ特定する。ここで、「ＲＧＢ値」とは、例えば、Ｒ値、Ｇ値、Ｂ値の各々の値を指すものであってもよく、これらのうち少なくともいずれか１つを指すものであってもよい。以下の説明でも同様とする。いずれの場合であっても、最大値Ｍａと最小値Ｍｉの組は、色ごとに決定される。

そして、重畳表示判定部２０１は、最大値Ｍａと最小値Ｍｉとの差分が所定の閾値（以後、「閾値Ｓｔｈ１」と呼ぶ。）以下の場合、重畳表示すべきと判定する。即ち、以下の式（１）が成立する場合、重畳表示判定部２０１は、視認性を担保可能な下限値よりコントラストが低く、重畳表示すべきと判断する。

｜Ｍａ−Ｍｉ｜＜Ｓｔｈ１ 式（１）
一方、重畳表示判定部２０１は、式（１）が成立しない場合、コントラストが一定以上に保たれており、重畳表示する必要がないと判断する。

なお、重畳表示判定部２０１は、Ｒ値、Ｇ値、Ｂ値のうち、複数の値で最大値Ｍａ及び最小値Ｍｉの組を算出した場合には、いずれの組も式（１）が成立した場合に重畳表示すべきと判定してもよく、いずれか１の組で式（１）が成立した場合に重畳表示すべきと判定してもよい。

第２の例では、重畳表示判定部２０１は、画像Ｆｉの各画素のＲＧＢ値と、当該画素に隣接する画素のＲＧＢ値と、の差分（以後、「差分Ｈ」と呼ぶ。）を計算し、差分Ｈの平均値に基づき重畳表示すべきか否か判定する。具体的には、重畳表示判定部２０１は、算出した差分Ｈの数を「Ｃ」、算出した差分Ｈの合算値を「Ｔ」、差分Ｈの平均値の閾値を「Ｓｔｈ２」とし、以下の式（２）が成立する場合、視認性を担保可能な下限値よりコントラストが低く、重畳表示すべきと判断する。

Ｔ／Ｃ＜Ｓｔｈ２ 式（２）
一方、重畳表示判定部２０１は、式（２）が成立しない場合、コントラストが一定以上に保たれており、重畳表示する必要がないと判定する。

第３の例では、重畳表示判定部２０１は、各差分Ｈと所定の閾値（以後、「閾値Ｓｔｈ３」と呼ぶ。）とを比較し、閾値Ｓｔｈ３よりも小さい差分Ｈの数（以後、「コントラスト低差分数Ｎｌ」と呼ぶ。）を計算する。そして、重畳表示判定部２０１は、コントラスト低差分数Ｎｌが所定の閾値（以後、「閾値Ｓｔｈ４」と呼ぶ。）より大きい場合、重畳表示すべきと判断する。一方、重畳表示判定部２０１は、閾値Ｓｔｈ３より大きい差分Ｈの数が閾値Ｓｔｈ４以下の場合、重畳表示する必要はないと判断する。

１−３．ＣＧ案内画像Ｆｃに基づく判定
重畳表示判定部２０１は、ＣＧ案内画像Ｆｃのうち道路を表示する部分（以後、「道路表示エリア」と呼ぶ。）を特定し、画像Ｆｉ中の道路表示エリアに相当する画素のＲＧＢ値に基づき重畳表示すべきか否か判定する。

これについて具体的に説明する。まず、重畳表示判定部２０１は、ＣＧ案内画像Ｆｃの道路表示エリアを特定する。この場合、重畳表示判定部２０１が使用するＣＧ案内画像Ｆｃは、画像Ｆｉと同一の大きさとなるように調整され、運転者の視点に基づき生成された画像である。

そして、重畳表示判定部２０１は、画像Ｆｉで道路表示エリアに対応する画素を特定し、当該画素のＲＧＢ値が所定の値域（以後、「値域Ｗ」と呼ぶ。）に属するか否か判定する。値域Ｗは、視認性が確保されている場合に道路が取り得るＲＧＢ値の値域であり、例えば、Ｒ値、Ｇ値、Ｂ値ごとに設定される。そして、重畳表示判定部２０１は、値域Ｗと比較した画像Ｆｉの画素数のうち、値域Ｗに属しないと判断した画素数の割合が所定率以上ある場合、重畳表示すべきと判断する。そして、この場合、表示制御部２０２は、実写案内画像Ｆｇに、ＣＧ案内画像Ｆｃの道路表示エリアを重畳させて表示する。一方、重畳表示判定部２０１は、上述の割合が所定率未満の場合、重畳表示する必要がないと判断する。そして、この場合、表示制御部２０２は、実写案内画像Ｆｇを表示ユニット４０に出力する。

２．重畳表示関連設定に基づく判定
以下では、重畳表示関連設定に基づき重畳表示すべきか否かを判定する具体例を説明する。

２−１．イルミネーション設定に基づく判定
重畳表示判定部２０１は、搭載車両のヘッドライトの設定と連動して設定される表示ユニット４０の表示画面の明るさの設定（以後、「イルミネーション設定」と呼ぶ。）がオンの場合、重畳表示すべきと判断する。ここで、「イルミネーション設定がオン」であるとは、例えば、搭載車両のヘッドライトがオンとなり、これに連動して表示画面のバックライトがオンとなった場合を指す。

一般に、イルミネーション設定がオンの場合、運転者の視野が狭まっていることが推定される。従って、この場合、実写案内画像Ｆｇの視認性も低くなっていることが推定される。以上を勘案し、重畳表示判定部２０１は、イルミネーション設定がオンの場合、実写案内画像Ｆｇのみの表示では視認性を担保できないと判断し、重畳表示を行うべきと判断する。

２−２．時刻に基づく判定
重畳表示判定部２０１は、現在時刻に基づき、実写案内画像Ｆｇの視認性を推定し、重畳表示をすべきか否か判定する。具体的には、重畳表示判定部２０１は、実写案内画像Ｆｇの視認性に基づき１日の時間帯を複数に分類し、現在時刻がどの時間帯に属するか判定する。そして、重畳表示判定部２０１は、現在時刻が実写案内画像Ｆｇの視認性が低い時間帯に属すると判断した場合、重畳表示をすべきと判断する。一方、重畳表示判定部２０１は、現在時刻が実写案内画像Ｆｇのみによる表示でも視認性が十分保たれる時間帯に属すると判断した場合、重畳表示をする必要がないと判断する。

なお、この場合、表示制御部２０２は、時間帯ごとに重畳表示の態様を変えてもよい。例えば、時間帯が「明け方」、「昼間」、「夕方」、「夜間」と分類されていた場合、表示制御部２０２は、現在時刻が属する時間帯ごとに重畳表示を行う対象を変える。具体的には表示制御部２０２は、「明け方」及び「夕方」の時間帯では信号機が視認しにくい可能性があると判断し、現在時刻が同時間帯に属する場合、信号機を実写案内画像Ｆｇに重畳させる。一方、表示制御部２０２は、「夜間」の時間帯では信号機に加え道路も視認しにくい可能性があると判断し、現在時刻が同時間帯に属する場合、信号機及び道路を実写案内画像Ｆｇに重畳させる。そして、現在時刻が「昼間」の時間帯に属する場合、表示制御部２０２は、重畳表示を行う必要がないと判断し、実写案内画像Ｆｇを表示ユニット４０に出力させる。

２−３．ユーザ設定に基づく判定
重畳表示判定部２０１は、重畳表示に関するユーザ設定がなされていた場合、当該ユーザ設定に基づき重畳表示を行う。ここで、「重畳表示に関するユーザ設定」とは、例えば、走行履歴がないまたは走行履歴が所定回数以内の道路を走行する場合には、横断歩道及び踏み切り部分を重畳表示させる旨の設定、登録地点である印を常に重畳表示する旨の設定等が該当する。これにより、重畳表示判定部２０１は、ユーザの意図に即した表示を実行することができる。

［表示画面例］
次に、図３を参照して本実施例で表示ユニット４０が出力する表示画面について説明する。なお、ここでは、一例として、上述した、「１−３．ＣＧ案内画像Ｆｃに基づく判定」に基づき重畳表示を行うか否かを判定し、重畳表示を行う場合について説明する。

図３（ａ）は、ＣＧ案内画像Ｆｃに基づく表示画面７１Ａのイメージ図を示す。表示画面７１Ａは、道路表示エリア７２Ａと、上空表示エリア７３Ａと、道路表示エリア以外の土地を示す土地表示エリア７４Ａとを備える。また、図３（ｂ）は、実写案内画像Ｆｇに基づく表示画面７１Ｂのイメージ図を示す。表示画面７１Ｂは、道路表示エリア７２Ｂと、上空表示エリア７３Ｂと、土地表示エリア７４Ｂと、建築物表示エリア７５Ｂと、を備える。図３（ｂ）に示すように、表示画面７１Ｂでは、建築物表示エリア７５Ｂにより、道路の一部が隠れている。

ここで、重畳表示判定部２０１は、まず表示画面７１Ａに示されるＣＧ案内画像Ｆｃから道路表示エリア７２Ａを特定する。そして、重畳表示判定部２０１は、表示画面７１Ａに示される実写案内画像Ｆｇ中から道路表示エリア７２Ａに相当するエリアである道路表示エリア７２Ｂを特定し、道路表示エリア７２Ｂ中の画素に基づき、重畳表示を行うか否か判定する。ここでは、重畳表示判定部２０１は、重畳表示を行うべきと判断したものとする。

図４は、表示ユニット４０により実際に出力された表示画面７１Ｃを示す。図４に示すように、表示制御部２０２は、表示画面７１Ｂに、道路表示エリア７２Ａを重畳表示させて表示画面７１Ｃを生成している。この結果、表示画面７１Ｃは、表示画面７１Ｂでは隠れて見えなかった道路の一部を道路表示エリア７２Ａにより明確に表示している。

このように、システムコントローラ２０は、使用者が見えにくいと判断した場合に重畳表示を行うことで、実写案内画像Ｆｇを最大限利用しつつ、視認性を確保することができる。

［処理フロー］
次に、システムコントローラ２０が実行する処理手順について図５を用いて説明する。図５は、システムコントローラ２０が実行する処理手順を示すフローチャートの一例である。システムコントローラ２０は、図５に示すフローチャートの処理を、所定の周期に従い繰り返し実行する。

まず、システムコントローラ２０は、コントラストに基づく判定を行う（ステップＳ１０１）。具体的には、システムコントローラ２０は、最大値Ｍａ、最小値Ｍｉ及び閾値Ｓｔｈ１に基づき、式（１）が成立するか否か判定する。そして、式（１）が成立する場合（ステップＳ１０１；Ｙｅｓ）、システムコントローラ２０は、時刻に基づく判定を行う（ステップＳ１０２）。一方、式（１）が成立しない場合（ステップＳ１０１；Ｎｏ）、システムコントローラ２０は、実写案内画像Ｆｇにより表示を行う（ステップＳ１０３）。即ち、この場合、システムコントローラ２０は、実写案内画像Ｆｇに視認性を損なわない程度にコントラストが高いと判断し、重畳表示を行わない。

次に、システムコントローラ２０は、現在時刻が昼間の時間帯に該当するか否か判定する（ステップＳ１０２）。そして、現在時刻が昼間の時間帯に該当すると判定した場合（ステップＳ１０２；Ｙｅｓ）、システムコントローラ２０は、実写案内画像Ｆｇにより表示を行う（ステップＳ１０３）。即ち、この場合、システムコントローラ２０は、現在が昼間の時間帯に該当し、実写案内画像Ｆｇのみに基づく表示であっても視認性が担保されると判断する。

一方、現在時刻が昼間の時間帯でないと判断した場合（ステップＳ１０２；Ｎｏ）、システムコントローラ２０は、次に、現在時刻が夜間の時間帯に該当するか否か判定する（ステップＳ１０４）。そして、システムコントローラ２０は、現在時刻が夜間の時間帯に該当すると判断した場合（ステップＳ１０４；Ｙｅｓ）、実写案内画像Ｆｇのみでは視認性を十分に保てないと判断し、信号を重畳表示させる（ステップＳ１０５）。ここで、「信号」とは、信号機全体であってもよく、信号機のうち信号表示部分のみを指すものであってもよい。さらに、システムコントローラ２０は、道路を重畳表示させる（ステップＳ１０６）。これにより、夜間の時間帯に走行する場合であっても、信号及び道路が重畳表示されることにより、運転者は、視認性を損なうことなく、ナビゲーション装置１の表示を参照して走行を継続することができる。

一方、システムコントローラ２０は、現在時刻が夜間の時間帯に該当しないと判断した場合（ステップＳ１０４；Ｎｏ）、現在時刻が夕方又は明け方の時間帯であると認定する（ステップＳ１０７）。そして、システムコントローラ２０は、信号を重畳表示させる（ステップＳ１０８）。即ち、この場合、システムコントローラ２０は、信号の視認性が低下するおそれがあると判断し、重畳表示により視認性の低下を抑制する。

次に、システムコントローラ２０は、ユーザ設定があるか否か判定する（ステップＳ１０９）。具体的には、システムコントローラ２０は、踏み切り表示をオンにすべき旨のユーザ設定があるか否か判定する。そして、踏み切り表示をオンにすべき旨のユーザ設定がある場合（ステップＳ１０９；Ｙｅｓ）、システムコントローラ２０は、さらに踏み切りを重畳表示させる。これにより、システムコントローラ２０は、より使用者の意図に適った表示を行うことができる。一方、踏み切り表示をオンにすべき旨のユーザ設定がない場合（ステップＳ１０９；Ｎｏ）、システムコントローラ２０は、フローチャートの処理を終了する。

［変形例］
以下、本実施例の各変形例について説明する。なお、これらの各変形例は、任意に組み合わせて上述の実施例に適用することが可能である。

（変形例１）
上述の（重畳表示判定方法）の説明では、重畳表示判定部２０１は、原則的に、画像Ｆｉの全体に基づき、重畳表示すべきか否か判定していた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、重畳表示判定部２０１は、画像Ｆｉを複数のエリアに区分けし、当該エリアごとに重畳表示が必要か否かを判定してもよい。

例えば、重畳表示判定部２０１は、画像Ｆｉに表示された対象の種別に基づき画像Ｆｉのエリアを区分けし、各エリアで重畳表示すべきか否か判定する。具体的には、重畳表示判定部２０１は、図３（ｂ）に示す画像Ｆｉを取得した場合、道路表示エリア７２Ｂと、上空表示エリア７３Ｂと、土地表示エリア７４Ｂと、建物表示エリア７５Ｂと、の４つのエリアをそれぞれ領域分割等の周知の画像処理に基づき、又は対応する運転者の視点に即したＣＧ案内画像Ｆｃに基づき特定する。そして、重畳表示判定部２０１は、４つのエリアのそれぞれについて、上述した輝度に基づく判定、コントラストに基づく判定、又は／及びＣＧ案内画像Ｆｃに基づく判定を行い、各エリアに重畳表示が必要であるか否かを判定する。そして、表示制御部２０２は、重畳表示すべきと判断されたエリアの全部又は一部について、ＣＧ案内画像Ｆｃに基づき重畳表示を行う。具体的には、表示制御部２０２は、重畳表示すべきと判断されたエリアの全範囲を重畳表示させてもよく、当該エリア中の特定の範囲のみを重畳表示させてもよい。後者の場合、例えば、重畳表示判定部２０１は、道路表示エリア７２Ｂを重畳表示するとき、道路の車線のみを重畳表示させてもよい。なお、重畳表示判定部２０１は、上空表示エリア７３Ｂなど特定のエリアについて、重畳表示すべきか否かを判断する対象から除外してもよい。これについては、後述する（変形例３）で別途説明する。

他の例では、重畳表示判定部２０１は、画像Ｆｉに予め複数の固定のエリアを定めておき、当該エリアごとに重畳表示すべきか否か判定する。例えば、重畳表示判定部２０１は、画像Ｆｉを、主に走行中の道路が表示される中央エリアと、中央エリアの左側に位置する左側エリアと、中央エリアの右側に位置する右側エリアと、主に上空が表示される上空エリアと、に予め区分けしておく。そして、重畳表示判定部２０１は、エリアごとに重畳表示が必要であるか否か判定する。そして、表示制御部２０２は、重畳表示すべきと判断されたエリア中の全範囲又は道路等に限定した一部の範囲について、ＣＧ案内画像Ｆｃに基づき重畳表示を行う。

（変形例２）
上述の「１−３．ＣＧ案内画像Ｆｃに基づく判定」の説明では、重畳表示判定部２０１は、道路表示エリアを対象に重畳表示すべきか否か判定していた。しかし、本発明が適用可能な方法は、これに限定されない。これに代えて、またはこれに加えて、重畳表示判定部２０１は、建物などの道路表示エリア以外も含めた任意のエリア（以後、単に「任意エリア」と呼ぶ。）を対象に重畳表示すべきか否か判断してもよい。

この場合、例えば、重畳表示判定部２０１は、任意エリアをＣＧ案内画像Ｆｃから特定する。そして、重畳表示判定部２０１は、特定した任意エリアが視認性を確保した状態で取り得るＲＧＢ値の値域と、特定した任意エリアに対応する画像Ｆｉ中の各画素のＲＧＢ値と、を比較する。上述の値域は、例えば予め実験等に基づき定められ、ＲＯＭ２３等のメモリに記憶される。そして、比較した画素のうち、ＲＧＢ値が上述の値域から外れた画素の割合が所定率以上の場合、重畳表示判定部２０１は、重畳表示をすべきと判断する。そして、この場合、表示制御部２０２は、任意エリアの重畳表示を行う。

これによっても、好適に、システムコントローラ２０は、道路表示エリア以外を対象に、重畳表示を行うことができる。

なお、重畳表示判定部２０１は、道路表示エリアを対象に重畳表示すべきか否か判定する場合であっても、ＣＧ案内画像Ｆｃに表示される全ての道路ではなくそのうちの一部の道路を道路表示エリアと定めて重畳表示すべきか否か判定してもよい。ここで、「一部の道路」とは、例えば経路案内により走行が予定されている道路などが該当する。

（変形例３）
「１−１．輝度に基づく判定」及び、「１−２．コントラストに基づく判定」の説明では、重畳表示判定部２０１は、画像Ｆｉ中で画像処理の対象となるエリアを限定していなかった。これに代えて、重畳表示判定部２０１は、画像処理を行う画素を限定してもよい。

例えば、重畳表示判定部２０１は、図３（ａ）に示す表示画面７１Ａを取得した場合、上空表示エリア７３Ａを特定し、当該エリア以外のエリアに限定して、輝度に基づく判定又は／及びコントラストに基づく判定を行う。即ち、重畳表示判定部２０１は、重畳表示をすべきか否かの判定に、上空表示エリア７３Ａを用いない。これによっても、好適に、本発明を実施することができる。

なお、「１−３．ＣＧ案内画像Ｆｃに基づく判定」でも同様に、重畳表示判定部２０１は、道路表示エリアからさらに処理対象とする部分を限定してもよい。例えば、重畳表示判定部２０１は、例えば経路案内により走行が予定されている道路の表示部分に範囲を限定して処理を実行してもよい。

本発明は、車載用ナビゲーション装置、ＰＮＤ（Ｐｅｒｓｏｎａｌ Ｎａｖｉｇａｔｉｏｎ Ｄｅｖｉｃｅ）、その他表示機能を有する端末に好適に適用することができる。

１ ナビゲーション装置
１０ 自立測位装置
１２ ＧＰＳ受信機
２０ システムコントローラ
２２ ＣＰＵ
３６ データ記憶ユニット
３８ 通信装置
４０ 表示ユニット
４４ ディスプレイ
６０ 入力装置

Claims (5)

1. カメラと電磁的に接続した表示装置であって、
   地図情報を記憶する記憶部と、
   前記カメラで取得した実写画像を表示する表示手段と、
   前記実写画像内に表示され、道路を隠す構造物と、前記道路または前記構造物に該当しない他の構造物と、を特定する特定手段と、
   前記地図情報に基づき、前記道路に対応する描画画像を生成する描画画像生成手段と、
   前記描画画像を前記実写画像に重畳して表示する重畳表示を行う表示制御手段と、
   を備え、
   前記表示制御手段は、前記他の構造物に対応する描画画像を表示しない
   ことを特徴とする表示装置。
2. 前記表示装置は更に、前記実写画像に表示される構造物ごとに前記実写画像を複数のエリアに区分けし、当該エリア毎に前記重畳表示をすべきか否かの判定を行う重畳表示判定手段を備え、
   前記表示制御手段は、前記他の構造物に対応するエリアを前記重畳表示すべきか否かを判定する対象から除外する
   ことを特徴とする請求項１に記載の表示装置。
3. 前記表示制御手段は、前記道路を隠す構造物に対応するエリアに、前記道路に対応する描画画像を重畳して表示することを特徴とする請求項１または２に記載の表示装置。
4. カメラと電磁的に接続し、地図情報を記憶する記憶部と、表示部と、制御部とを備えた表示装置が実行する制御方法であって、
   前記制御部が、前記カメラで取得した実写画像を前記表示部に表示する表示工程と、
   前記制御部が、前記実写画像内に表示され、道路を隠す構造物と、前記道路または構造物に該当しない他の構造物と、を特定する特定工程と、
   前記制御部が、前記地図情報に基づき、前記道路に対応する描画画像を生成する描画画像生成工程と、
   前記制御部が、前記描画画像を前記実写画像に重畳して前記表示部に表示する重畳表示を行う表示制御工程と、
   を備え、
   前記表示制御工程では、前記制御部は、前記他の構造物に対応する描画画像を表示しない
   ことを特徴とする制御方法。
5. カメラと電磁的に接続し、地図情報を記憶する記憶部を備えた表示装置に搭載され実行されるプログラムであって、
   前記カメラで取得した実写画像を表示する表示手段と、
   前記実写画像内に表示され、道路を隠す構造物と、前記道路または前記構造物に該当しない他の構造物と、を特定する特定手段と、
   前記地図情報に基づき、前記道路に対応する描画画像を生成する描画画像生成手段と、
   前記描画画像を前記実写画像に重畳して表示する重畳表示を行う表示制御手段
   として前記表示装置を機能させ、
   前記表示制御手段は、前記他の構造物に対応する描画画像を表示しないことを特徴とするプログラム。

Images