JP6246077B2 - 表示制御システムおよび表示制御方法 - Google Patents

Description

本発明は、ヘッドアップディスプレイ（ＨＵＤ）等の透過型表示装置の表示制御技術に関する。

特許文献１に、ヘッドアップディスプレイを利用した車両用画像表示装置が開示されている。この装置はフロントガラス上（またはその付近）に画像（コンピュータグラフィクス）を表示する。具体的には、フロントガラス越しに見える実風景中に存在する施設の情報を示す画像（施設関連画像）が表示される。それにより、施設の情報が実風景中の施設と重なって運転者に視認される。

特に、実風景中における施設関連画像の背景領域の色を判別し、判別した色に応じて、施設関連画像の視認性を向上させるように、施設関連画像の表示形態を制御する。具体的には、自車両に実風景を撮像するカメラを搭載し、そのカメラによって取得した撮像画像を解析して、施設関連画像を表示しようとする部分の実風景がどのような色かを判定する。また、３Ｄ地図データを参照して、施設関連画像を表示しようとする部分の実風景が山なのか、空なのかなどを判定し、山であれば緑、空であれば青と判定する。また、表示時刻を考慮して、例えば、昼間であれば空を青と判定し、夕方であれば赤と判定し、夜であれば黒と判定する。また、運転者の操作によって背景領域の色を判定しても良いこと、および、天候や季節を背景色の判定材料としても良いことが、開示されている。そして、背景領域について判別した色に応じて、施設関連画像の表示位置、表示色および大きさを決定する。

特開２００５−２０７７７９号公報

しかし、実風景に重ねる画像の表示形態（表示位置、表示色および大きさ）を、自車両に搭載されたカメラが撮像する各瞬間の画像に基づいて変化させると、風景の変化が大きい環境では画像の表示形態が頻繁に変化することになる。その場合、却って視認性を低下させかねない。

本発明は、ヘッドアップディスプレイ等の透過型表示装置によって表示するオブジェクトの視認性を継続的に確保可能な技術を提供することを目的とする。

本発明に係る表示制御システムは、透過型表示装置によって実際の景色に重畳された表示オブジェクトを視認するユーザの移動予定経路の情報を取得する移動情報取得部と、無線通信装置を介して受信した各撮像画像が、移動予定経路を通る際にユーザが見る前方景色の予想景色画像として利用可能か否かを判別し、少なくとも１つの予想景色画像に基づいて、前方景色の色情報の変化を推定した前方景色推定モデルを生成する推定部と、前方景色推定モデルの下で前方景色推定モデルのモデリング期間内で、継続的に表示オブジェクトの視認性が確保されるというオブジェクト表示条件を満たすように、表示オブジェクトの表示設定を決定し、決定した表示設定で表示オブジェクトが表示されるように透過型表示装置を制御する表示制御部とを含む。移動情報取得部は、ユーザの移動状況情報を取得する。推定部は、無線通信装置を介して受信した各撮像画像が予想景色画像として利用可能か否かを判別する画像選別部と、ユーザが予想景色画像の撮像地点に到達する到達推定時刻を、移動状況情報と予想景色画像に付随する撮像地点情報とに基づいて、推定する到達時刻推定部と、予想景色画像の色情報を予想景色画像のデータに基づいて算出する色情報計算部と、予想景色画像ごとに得られた色情報および到達推定時刻に基づいて前方景色推定モデルを生成するモデリング部とを含む。

本発明に係る表示制御システムによれば、前方景色推定モデルを生成し、モデリング期間内で継続的に表示オブジェクトの視認性が確保されるように表示オブジェクトの表示設定を決定する。このため、表示オブジェクトの色等が頻繁に変化するのを抑制して、安定した表示が得られる。その結果、表示オブジェクトの視認性が向上する。

実施の形態１について、表示制御システムを具現化したカーナビゲーション装置を説明する図である。 実施の形態１について、フロントガラス越しに見える景色を例示する図である。 図２の景色に表示オブジェクトが重畳表示された様子を説明する図である。 実施の形態１について、車々間通信および路車間通信を使った撮像画像の収集を説明する図である。 実施の形態１について、カーナビゲーション装置のブロック図である。 実施の形態１について、表示制御のフローチャートである。 実施の形態１について、表示制御のフローチャートである。 実施の形態１について、前方景色推定モデルの生成に利用する受信画像の情報を説明する図である。 実施の形態１について、前方景色推定モデルの生成を説明する図である。 実施の形態１について、表示オブジェクトの色相の決定を説明する図である。 実施の形態２について、表示オブジェクトの色相の決定を説明する図である。 実施の形態３について、表示オブジェクトの色相の決定を説明する図である。 実施の形態４について、前方景色推定モデルの生成および表示オブジェクトの色相の決定を説明する図である。 実施の形態５について、前方景色推定モデルの生成および表示オブジェクトの表示位置の決定を説明する図である。 変形例について、カーナビゲーション装置を情報端末と組み合わせた構成を説明する図である。 変形例について、カーナビゲーション装置を情報端末と組み合わせた構成を説明する図である。 変形例について、カーナビゲーション装置を情報端末およびサーバと組み合わせた構成を説明する図である。 変形例について、カーナビゲーション装置を情報端末およびサーバと組み合わせた構成を説明する図である。

＜実施の形態１＞
図１に実施の形態１に係る表示制御システムを説明する図を示す。図１では表示制御システムがカーナビゲーション装置１０によって具現化されている。なお、表示制御システムの各種機能は、半導体メモリ内のプログラムをマイクロプロセッサが実行することによって、換言すればソフトウェアによって実現される。但し、表示制御システムの各種機能の一部または全部をハードウェアで構成してもよい。

カーナビゲーション装置１０は、ヘッドアップディスプレイ（ＨＵＤ）１２を制御する。ヘッドアップディスプレイ１２は、プロジェクタと同様に、表示画像の投影光１４を出力する。投影光１４は、車内においてフロントガラス１６に向けて出力され、フロントガラス１６で反射して、ヘッドアップディスプレイ１２のユーザ１８（図１では運転者）の側に進む。投影光１４がユーザ１８の目に入ることによって、ユーザ１８はフロントガラス１６上に映った表示画像を視認する。あるいは、ユーザ１８はフロントガラス１６の向こう側、すなわち車外に形成される表示画像の虚像を視認する。ところで、ユーザ１８はフロントガラス１６越しに、自身の視野２０に入る景色を見ている。このため、ユーザ１８は、ヘッドアップディスプレイ１２によって提供される画像を、実際の景色を背景にして見ることになる。

図２に運転席からフロントガラス１６越しに見える景色を例示し、図３にその景色に、ヘッドアップディスプレイ１２によって表示オブジェクト２２が重畳された様子を示す。図３では表示オブジェクト２２によって車速が表示されるが、表示オブジェクト２２は警告、経路案内等の用途に利用してもよい。また、同時に表示する表示オブジェクト２２の個数は２個以上であってもよい。なお、表示オブジェクトは、ＨＭＩ（Human Machine Interface）オブジェクトと呼ばれる場合もある。

表示オブジェクト２２の視認性を確保するためには、表示オブジェクト２２の色相が、背景となる実際の景色の色相と異なることが好ましい。しかし、景色が変化することで景色の色相が変化し、その色相変化に合わせて表示オブジェクト２２の色相を頻繁に変化させると、却って視認性を低下させる場合がある。また、表示オブジェクト２２の色相を、景色の色相の変化に対してリアルタイムにかつ正確に追従させるのは困難と考えられる。

カーナビゲーション装置１０は、自車の移動予定経路（換言すればユーザの移動予定経路）における前方景色の色相変化を推定し、その推定結果に基づいて表示オブジェクト２２の色相を決定する。前方景色の色相変化の推定にあたり、カーナビゲーション装置１０は、移動予定経路で撮像された景色の画像を、車々間通信および路車間通信を使って収集する。

具体的には図４に示すように、自車３０の前を走る先行車３２は、前方カメラ（図示略）を搭載しており、その前方カメラで撮像した画像のデータを無線通信によって先行車３２の外部に発信する。先行車３２から発信された撮像画像データは、自車３０および先行車３２とは反対方向に走る対向車３４の無線通信機能によって中継され、自車３０に受信される。先行車３２から発信された撮像画像データは、路側設備３６，３８の無線通信機能によって中継されてもよい。なお、自車３０は先行車３２から直接、撮像画像データを受信してもよい。

また、路側設備３６，３８がカメラを搭載している場合、その撮像画像データは路車間通信と車々間通信の少なくとも一方によって、自車３０に伝送される。

先行車３２および路側設備３６，３８から発信された撮像画像データは、インターネット、携帯電話網等の通信網を使って、自車３０に受信されてもよい。なお、撮像機能および通信機能を有する先行車３２および路側設備３６，３８を、撮像画像発信源と呼ぶことができる。

図１に戻り、カーナビゲーション装置１０は、自動車車両の前方を撮像する前方カメラ２６と接続されており、前方カメラ２６が撮像した前方景色の画像データを取得する。前方カメラ２６が撮像した画像はユーザ１８が見ている前方景色の画像として利用することができ、この撮像画像も前方景色の色相変化の推定に利用される。

図５にカーナビゲーション装置１０のブロック図を示す。カーナビゲーション装置１０は、表示オブジェクト生成部５０と、表示オブジェクト最適化部５２と、外部通信部５４と、経路計算部５６と、位置検出部５８と、時計部６０と、車両情報管理部６２とを含んでいる。

表示オブジェクト生成部５０は、表示オブジェクト２２を構成するのに必要な情報を取得する。図３のように表示オブジェクト２２が車速情報である場合、表示オブジェクト生成部５０は、車度センサの検出情報に基づいて、表示オブジェクト２２のうちの速度値部分（図３では「４０」の部分）の描画データを生成する。

また、表示オブジェクト生成部５０は、表示オブジェクト２２のうちの単位部分（図３では「ｋｍ／ｈ」の部分）の描画データを、表示オブジェクト用のデータ記憶部から取得する。そして、表示オブジェクト生成部５０は、速度値部分および単位部分の描画データを組み合わせて表示オブジェクト２２の描画データを生成する。

また、表示オブジェクト生成部５０は、表示オブジェクト２２が車速情報である場合の色情報および表示位置情報を、表示オブジェクト用データ記憶部から取得し、上記の描画データと関連付ける。表示オブジェクト用データ記憶部に保存されている色情報および位置情報は、例えば初期設定内容であるが、ユーザが設定した内容であってもよい。

色情報は表示オブジェクト２２の表示色の設定に関する情報である。一般に色は色相と明度と彩度という３つの属性によって特定可能であることに鑑み、ここでは色情報が色相と明度と彩度の３つの情報で構成されるものとする。表示位置情報は表示オブジェクト２２の表示位置に関する情報である。表示位置情報によって、視野２０における表示オブジェクト２２の表示位置が制御される。

表示オブジェクト最適化部５２は、表示オブジェクト生成部５０によって生成された表示データ（描画データと色情報と表示位置情報のセット）に対して最適化を行い、その最適化した表示データをヘッドアップディスプレイ１２に転送することによって、ヘッドアップディスプレイ１２に表示動作を行わせる。以下では、表示オブジェクト２２の色相を最適化する例、より具体的には表示オブジェクト２２の色相をできるだけ長期に渡って一定に保持する例を挙げる。表示オブジェクト最適化部５２については後に詳述する。

外部通信部５４は、カーナビゲーション装置１０の外部と無線通信を行う無線通信装置によって構成される。外部通信部５４は複数種類の通信方式に準拠していてもよい。外部通信部５４によって、車々間通信、路車間通信、等が実現される。

経路計算部５６は、ユーザ１８が設定した目的地等に合わせて、案内経路を計算する。案内経路の計算には既知の技術が利用される。案内経路の計算において、自車３０の位置情報は位置検出部５８から取得される。また、地図情報は、ここでは外部通信部５４を介して車外の地図情報データベースから取得されるものとする。但し、地図情報データベースを自車３０に搭載していてもよい。

位置検出部５８は、自車３０の現在位置を検出する。位置検出部５８はＧＰＳ（Global Positioning System）受信機器等によって構成される。ＧＰＳによれば、検出された位置情報は緯度および経度の情報を含む。なお、ＧＰＳに代えてまたは加えて、加速度センサ、ジャイロ、車速信号等の情報から位置情報を求める手法を採用してもよい。

時計部６０は、時刻を刻む機能を有し、現在日時のデータを出力する。車両情報管理部６２は、車両の諸元の情報を管理する。車両の諸元は、車高、運転席のヘッドレストの設置状態（地上からの高さ、フロントガラスとの距離、等）、ヘッドアップディスプレイ１２の設置状態、等である。車両の諸元は、ユーザが入力したものであってもよい。車両情報管理部６２は、車両諸元情報を一括して保有しており、表示オブジェクト最適化部５２に供給する。車両諸元情報を車両の各所から適時、収集するようにしてもよい。

さて、表示オブジェクト最適化部５２は、図５に示すように、移動情報取得部７０と、推定部７２と、表示制御部７４とを含んでいる。また、推定部７２は、画像選別部８０と、到達時刻推定部８２と、色情報計算部８４と、モデリング部８６とを含んでいる。以下、図６および図７のフローチャート（結合子Ｃによって繋がっている）も参照しつつ、表示オブジェクト最適化部５２を詳述する。

移動情報取得部７０は、ヘッドアップディスプレイ１２のユーザ１８の移動情報として、移動予定経路および移動状況の情報を取得する（工程Ｓ１０）。移動情報取得部７０は、移動予定経路の情報を経路計算部５６から取得する。移動状況は現在位置、移動方位および移動速度によって特定される。移動情報取得部７０は、現在位置の情報を位置検出部５８から取得し、現在位置の変化を分析することによって移動方位および移動速度の情報を取得する。なお、移動速度の情報は自車３０に搭載された車速センサから取得してもよい。また、移動方位はカーナビゲーション装置１０または自車３０に搭載された方位センサから取得してもよい。移動情報取得部７０が取得した情報は、推定部７２に供給される。

推定部７２は、撮像画像発信源から発信され外部通信部５４によって受信された撮像画像に基づいて、推定部７２は、移動予定経路を通る際にユーザ１８が見る前方景色の色相の変化を推定する。

具体的には、まず画像選別部８０が、受信画像の中から、移動予定経路を通る際の前方景色の色相変化の推定に利用可能な画像（予想景色画像と呼ぶことにする）を選別する（工程Ｓ１１〜Ｓ１３）。図６のフローチャートによれば、選別条件として、撮像地点方位条件と、撮像姿勢条件と、撮像時刻条件とが採用されている。撮像地点方位条件は、受信画像がユーザ１８の移動予定経路で移動予定方位を撮像したものであることを要求する。撮像姿勢条件は、受信画像がユーザ１８の視野２０に対応することを要求する。撮像時刻条件は、受信画像が受信時刻を起点にして規定時間（例えば２時間）内に撮像されたものであることを要求する。選別条件は、撮像画像発信源が撮像画像データに関連付けた各種の情報を利用することによって判別できる。

具体的に、受信画像には撮像地点情報および撮像方位情報が付随している。撮像地点および撮像方位は、撮像画像発信源に設けられた位置検出機能および方位検出機能によって検出される。受信画像の撮像地点情報および撮像方位情報をユーザ１８の移動予定経路情報と比較することによって、その受信画像が撮像地点方位条件を満足するか否かを判別できる。

また、受信画像には撮像姿勢情報が付随している。撮像姿勢はカメラの設置状態に関する諸元（地上からの高さ、水平面に対する角度、等）によって特定できる。一方、ユーザ１８の視野２０は、車両情報管理部６２から取得される車両諸元情報によって特定される。例えば、撮像画像発信源でのカメラの高さが、自車３０でのヘッドレストの高さと比較され、その高さ差が閾値よりも大きければ、撮像姿勢条件を満足しないと判別される。また、フロントガラス１６において投影光１４が照射される範囲はヘッドアップディスプレイ１２の設置状態に応じて特定され、また、その照射範囲とヘッドレストの位置関係に応じて視野２０の角度（水平面に対する角度）が特定される。かかる点に鑑み視野２０と撮像画像発信源のカメラとについて水平面に対する角度を比較し、それら２つの角度差が閾値よりも大きければ、撮像姿勢条件を満足しないと判別される。例えば自車３０が乗用車であり、撮像画像を発信する先行車３２がトラックやバスである場合、受信した撮像画像は予想景色画像としての利用価値が低いと考えられる。撮像姿勢条件によれば、そのような受信画像を予想景色画像として抽出しないようにすることができる。

なお、自車３０が、ユーザ１８の目の位置を検出するアイポイントカメラを搭載している場合、アイポイントカメラの検出結果を利用すればユーザ１８の視野２０をより正確に特定できる。

撮像時刻条件は、受信画像に付随している撮像時刻をその受信画像の受信時刻（時計部６０から取得できる）と比較することによって、判別できる。例えば日中の前方景色について色相変化を推定する場合、昨晩に撮像された画像は利用価値が低いと考えられる。撮像時刻条件によれば、そのような受信画像を予想景色画像として抽出しないようにすることができる。

上記３つの選別条件を満足する受信画像が、予想景色画像として選別される。なお、受信画像を選別する工程Ｓ１１〜Ｓ１３は、図６とは異なる順序で実行されてもよい。

到達時刻推定部８２は、予想景色画像として選別された各受信画像の撮像地点にユーザが到達する時刻を推定する（工程Ｓ１４）。すなわち、到達時刻推定部８２は、予想景色画像に付随する撮像地点情報と、移動情報取得部７０によって取得された移動状況情報とよって、到達推定時刻を計算する。

また、色情報計算部８４が各予想景色画像の色相情報を、それの画像データに基づいて計算する（工程Ｓ１５）。ここでは色相情報は予想景色画像の全体を代表する色相の値である。色相の値は既知の画像分析技術によって計算されるものとする。なお、工程Ｓ１４，Ｓ１５は図６とは異なる順序で実行されてもよいし、並行して実行されてもよい。

上記工程Ｓ１１〜Ｓ１５は、各受信画像に対して実行される。

ここでは、図８に示すように、５枚の予想景色画像Ｉ１〜Ｉ５が得られたとする。図８に示すように、予想景色画像Ｉ１のデータに対して、撮像地点Ｌ１と撮像時刻ｔ１と到達推定時刻Ｔ１と色相Ｈ１の各情報が互いに関連付けられている。予想景色画像Ｉ２〜Ｉ５についても同様である。なお、到達推定時刻についてＴ１＜Ｔ２＜Ｔ３＜Ｔ４＜Ｔ５とする。

色情報計算部８４はさらに、前方景色の色相変化の推定（工程Ｓ１７参照）を開始する時点において前方カメラ２６に撮像を行わせ、その撮像画像についても色相情報を計算する（工程Ｓ１６）。前方カメラ２６が撮像した画像はユーザ１８が見ている前方景色の画像として利用することができ、工程Ｓ１６で撮像した画像を現在景色画像と呼ぶことにする。現在景色画像は図６のフローチャートの開始から次の工程Ｓ１７の開始前までに撮像された画像であれば良く、その間で撮像されていれば工程Ｓ１７の開始時点での撮像画像と見なすことができる。現在景色画像のデータには、撮像時刻Ｔ０（現在時刻として利用する）と色相Ｈ０の各情報が互いに関連付けられている。

モデリング部８６は、移動予定経路を通る際にユーザ１８が見る前方景色の色情報の変化（ここでは色相の変化）を推定した前方景色推定モデルを生成する。その際、モデリング部８６は、予想景色画像Ｉ１〜Ｉ５の色相Ｈ１〜Ｈ５および到達推定時刻Ｔ１〜Ｔ５と、現在景色画像の色相Ｈ０および撮像時刻Ｔ０とを利用する。

図９に、前方景色推定モデルの求め方の概念図を示す。図９によれば、横軸に時刻を採り縦軸に色相（色相値）を採った座標系に、予想景色画像Ｉ１について到達推定時刻Ｔ１と色相Ｈ１の組み合わせをプロットし、予想景色画像Ｉ２〜Ｉ５および現在景色画像についても同様にプロットする。そして、プロットしたサンプル点に対してスプライン法等の補完技術を適用することによって、サンプル点が時刻経過に従って繋がる特性線を求める。得られた特性線は色相の時間変化を表し、当該特性線が前方景色推定モデルＨＭを構成する。

図９は説明のための図解であり、モデリング部８６は実際には数値演算によって前方景色推定モデルＨＭを求めることができる。前方景色推定モデルＨＭによる推定期間であるモデリング期間Ｔｐは例えば数時間に設定される。モデリング期間Ｔｐの長さは予め設定されており、その設定値は不変値であってもよいし、ユーザ１８が変更可能な可変値であってもよい。

表示制御部７４は、前方景色推定モデルＨＭの下でモデリング期間Ｔｐ内で継続的に表示オブジェクト２２の視認性が確保されるという条件（オブジェクト表示条件と呼ぶ）を満たすように、表示オブジェクト２２の表示設定（ここでは色相）を決定する。具体的には、図１０に示すように、前方景色推定モデルＨＭが示す色情報変化範囲（ここでは色相変化範囲Ｈｎｇ１）の全体をモデリング期間Ｔｐの全体に渡って避けることができる色相Ｈｅを、表示オブジェクト２２の色相として選ぶ。

ここで、図１０に示す色相Ｈａ〜Ｈｅは表示オブジェクト２２の色相の候補であり、例えば画面デザインの観点から予め設定されている。図１０では、表示オブジェクト生成部５０によって色相Ｈｃが設定されたが、表示制御部７４によって（すなわち表示オブジェクト最適化部５２によって）色相Ｈｅに変更されることになる。

図１０によれば、色相Ｈａも色相変化範囲Ｈｎｇ１の全体をモデリング期間Ｔｐの全体に渡って避けることができる。しかしながら、色相Ｈａに比べて色相Ｈｅの方が優先順位が高く設定されており、その結果、上記のように色相Ｈｅが選択される。なお、色相Ｈａ〜Ｈｅの優先順位は例えば画面デザインの観点から予め設定されている。

図１０に関連して図７のフローチャートを参照すると、表示制御部７４は、前方景色推定モデルＨＭにおいて最大色相Ｈｍａｘおよび最小色相Ｈｍｉｎを求め、その範囲（色相変化範囲Ｈｎｇ１）内に、表示オブジェクト生成部５０によって設定された色相が存在するか否かを判別する（工程Ｓ１８）。表示オブジェクト生成部５０によって設定された色相が色相変化範囲Ｈｎｇ１内に存在する場合、表示制御部７４は表示オブジェクト２２の色相を、色相変化範囲Ｈｎｇ１外に存在しかつ優先順位が最も高い色相に変更する（工程Ｓ１９）。他方、表示オブジェクト生成部５０によって設定された色相が色相変化範囲Ｈｎｇ１内に存在しない場合、表示オブジェクト２２の色相は変更されない。

表示制御部７４は、工程Ｓ１８，Ｓ１９の実行により得られた表示設定を含む表示データをヘッドアップディスプレイ１２に転送することによって、ヘッドアップディスプレイ１２に表示動作を行わせる。

このように、前方景色推定モデルＨＭを生成することによって、モデリング期間Ｔｐ内で継続的に表示オブジェクト２２の視認性が確保されるように表示オブジェクト２２の色相を決定することができる。このため、表示オブジェクト２２の色相が頻繁に変化するのを抑制して、安定した表示が得られる。その結果、表示オブジェクト２２の視認性が向上する。

ここで、前方景色推定モデルＨＭは現在景色画像を利用しなくても生成可能である。しかし、上記のように現在景色画像を利用することによって、図９に示される現在時刻Ｔ０から到達推定時刻Ｔ１までの時間帯についての推定精度が向上する。また、前方景色推定モデルＨＭは予想景色画像が１枚であっても生成可能である。しかし、より多くの予想景色画像を利用することによって、前方景色推定モデルＨＭの精度が向上する。

また、上記では受信画像を選別条件によって、予想景色画像として利用するか否かの２種類に分類する。これに対し、選別条件によって受信画像の利用価値をランク付けしてもよい。例えば、受信画像の撮像地点が移動予定経路に近いほどその受信画像に高いランクを付け、ランクが高い受信画像から優先的に予想景色画像として選別するのである。これによれば、予想景色画像の枚数を確保することができる。

また、撮像時刻条件に関して、受信画像の撮像時刻を、その受信画像について推定された到達推定時刻と比較してもよい。これによれば、撮像時刻が日中であっても到達推定時刻が夜間である場合、その受信画像を予想景色画像として抽出しないようにすることができる。

また、上記では色相についての前方景色推定モデルを説明したが、明度および彩度についても同様にして前方景色推定モデルを生成できる。そして、その前方景色推定モデルを利用して、表示オブジェクト２２の明度および彩度を最適化できる。また、色相と明度と彩度のうちの２つ以上についてそれぞれ前方景色推定モデルを生成し、それらの前方景色推定モデルに基づいて表示オブジェクト２２の色情報を最適化してもよい。なお、色相と明度と彩度に対して異なる前方景色推定モデルを採用してもよいし、異なる最適化アルゴリズムを採用してもよい。

また、前方景色推定モデルの生成に地図情報と日射角情報と気象情報とのうちの少なくとも１つも利用してもよい。地図情報を利用すれば、例えば移動予定経路が都市部と山間部のいずれに在るのかを判別することができる。それにより移動予定経路の色相の傾向が分かるので、その傾向を反映させて前方景色推定モデルを生成することができる。

また、日射角情報および気象情報を利用すれば、到達推定時刻の日射角および天候に基づいて予想景色画像の明度および彩度を補正することができる。例えば撮像時刻が午前であっても到達推定時刻が夕方である場合、日射角情報に基づいてその予想景色画像の明度および彩度を低くする。あるいは、その受信画像を予想景色画像として抽出しないようにすることもできる。晴天下で撮像されたがその撮像地点に到達する頃には曇りになると予報される場合についても同様である。

日射角情報は、日射角のデータそのものを外部通信部５４を介して受信することによって、取得できる。また、推定部７２が撮像地点および撮像日時の情報から日射角を計算してもよい。気象情報は外部通信部５４を介して取得できる。

ここで、前方景色推定モデルが色相または彩度に関する場合、予想景色画像および現在景色画像はカラー画像である。これに対し、前方景色推定モデルが明度に関する場合、予想景色画像および現在景色画像はカラー画像であってもよいし、モノクロ画像であってもよい。また、上記では予想景色画像および現在景色画像は静止画像であるものとしたが、動画像を利用することも可能である。

また、上記では現在地から目的地までの経路を移動予定経路に設定した。これに対し、目的地が設定されてなくても、移動予定経路を設定することは可能である。例えば、一本道（または一本道と見なせる道路）を走行している場合、その道路に沿って移動予定経路に設定すればよい。また、走行履歴データに基づいて移動予定経路を設定してもよい。

＜実施の形態２＞
図１０では、前方景色推定モデルＨＭが示す色相変化範囲Ｈｎｇ１の全体をモデリング期間Ｔｐの全体に渡って避けるように、表示オブジェクト２２の色相を決定した。これに対し、図１１に示すように、表示オブジェクト２２の色相をＨｄに決定しても、表示オブジェクト２２の視認性が低下するのは時間Ｔｎｇの間だけである。なお、図１１では表示オブジェクト２２の背景の色相が、色相Ｈｄの上下に示した一点鎖線の間に在る場合、表示オブジェクト２２の視認性低下が生じるものとしている。

図１１に鑑み、実施の形態２では表示制御部７４が、色相変化範囲Ｈｎｇ１の中で、表示オブジェクト２２の視認性低下が許容される許容部分Ｈｏｋを判別し、そして色相変化範囲Ｈｎｇ１のうちで残りの不許容部分Ｈｎｇ２を避けるように表示オブジェクト２２の色相を決定する。許容部分Ｈｏｋは、表示オブジェクト２２の視認性低下をもたらす時間Ｔｎｇが、モデリング期間Ｔｐに対して許容比率以下となるという条件を満足することによって、判別される。許容比率の値は予め設定され、その設定値は不変値であってもよいし、ユーザ１８が変更可能な可変値であってもよい。なお、図１１の例では色相Ｈｄの方が色相Ｈｅに比べて優先順位が高いものとしている。

なお、その他の内容に関しては実施の形態１を適用でき、それによって実施の形態１と同様の効果が得られる。

＜実施の形態３＞
実施の形態１，２では、１つの前方景色推定モデルＨＭに対して、１つの色相が表示オブジェクト２２に設定される。すなわち、１つのモデリング期間Ｔｐの間に渡って、表示オブジェクト２２の色相が固定される。

これに対し、実施の形態３では図１２に示すように、モデリング期間Ｔｐを分割し、各分割期間Ｔｐ１，Ｔｐ２，Ｔｐ３で表示オブジェクト２２の色相を決定する。すなわち、表示制御部７４は、各分割期間Ｔｐ１，Ｔｐ２，Ｔｐ３においてオブジェクト表示条件（継続的に表示オブジェクト２２の視認性が確保されるという条件）を満たすように表示オブジェクト２２の色相を決定する。このため、表示オブジェクト２２の視認性は確保される。なお、モデリング期間Ｔｐの分割は表示制御部７４が行うものとする。

モデリング期間Ｔｐを分割するための規則は様々に規定できるが、各分割期間はできるだけ長い方が好ましい。表示オブジェクト２２の色相の切り替え回数を減らせるからである。かかる点に鑑みると、分割期間Ｔｐ１，Ｔｐ２においてオブジェクト表示条件が満たされなくなるタイミング（時刻ｔｑ１，ｔｑ２を参照）で、分割期間Ｔｐ１，Ｔｐ２を終了させればよい。しかし、時刻ｔｑ１，ｔｑ２では表示オブジェクト２２の視認性は既に低下しているので、表示オブジェクト２２が一旦消えてしまうように感じられるかもしれない。

そこで、時刻ｔｑ１，ｔｑ２に比べて、時間長さΔｔｑだけ早いタイミングで分割期間Ｔｐ１，Ｔｐ２を終了させることが、より好ましいと考えられる。これを一般化するならば、分割期間の数をＮとし、ｎを１以上Ｎ未満の整数とするとき、表示制御部７４は、ｎ番目の分割期間Ｔｐｎにおいてオブジェクト表示条件が満たされなくなるタイミングｔｑｎに比べて、時間長さΔｔｑだけ早いタイミングで、ｎ番目の分割期間を終了させる。なお、時間長さΔｔｑは予め設定されており、その設定値は不変値であってもよいし、ユーザ１８が変更可能な可変値であってもよい。

図１２では表示オブジェクト２２の色相を決定するために実施の形態１を利用しているが、実施の形態２を採用してもよい。その他の内容に関しては実施の形態１を適用でき、それによって実施の形態１と同様の効果が得られる。

＜実施の形態４＞
実施の形態１〜３ではユーザ１８の視野２０の全体に対して１つの前方景色推定モデルＨＭを生成した。これに対し、実施の形態４では図１３に示すように、ユーザ１８の視野２０内で表示オブジェクト２２の配置範囲２２ａを対象にして前方景色推定モデルＨＭを生成し、その前方景色推定モデルＨＭを用いて表示オブジェクト２２の配置範囲２２ａの色相を決定する。具体的には、予想景色画像および現在景色画像において表示オブジェクト２２の配置範囲２２ａに対応する範囲の画像データを選択的に利用すれば、色情報計算部８４は予想景色画像および現在景色画像のその範囲の色相を計算できる。

実施の形態４によれば、予想景色画像および現在景色画像の色相を計算する際のデータ量が減るので、演算負荷を軽減できる。また、複数の表示オブジェクト２２を同時に表示する場合において、各表示オブジェクト２２の色相を個別に最適化できる。

その他の内容に関しては実施の形態１〜３を適用でき、それによって実施の形態１〜３と同様の効果が得られる。

＜実施の形態５＞
実施の形態１〜４では表示オブジェクト２２の表示位置は固定されているものとした。これに対し、実施の形態５では、前方景色推定モデルＨＭを利用することによって、表示オブジェクト２２の表示位置を最適化する。すなわち、表示オブジェクト２２の表示設定には色情報の設定と表示位置の設定とが在り、色情報の最適化は実施の形態１〜４で説明した通りであり、実施の形態５では表示位置の最適化を説明する。

実施の形態５では図１４に示すように、ユーザ１８の視野２０に複数の領域２０ａ〜２０ｉを予め規定しておく。なお、領域の数および形状は図１４の例に限定されないし、全ての領域について形状および寸法が同じでなくてもよい。

推定部７２は、領域２０ａ〜２０ｉのそれぞれについて前方景色推定モデルＨＭを生成する。そして、表示制御部７４は、領域２０ａ〜２０ｉのうちでオブジェクト表示条件（継続的に表示オブジェクト２２の視認性が確保されるという条件）を満たす領域内に表示オブジェクト２２の表示位置を決定する。ここでは、表示オブジェクト２２の色情報は、表示オブジェクト生成部５０によって設定された内容から変更しないものとする。すなわち、表示制御部７４は、表示オブジェクト２２の色情報が固定した状況下で表示オブジェクト２２の視認性を最も長く確保できる領域を、選択する。図１４では左下の領域２０ｇが選択されている。

このように、表示オブジェクト２２の表示位置を最適化することによっても、モデリング期間Ｔｐ内で継続的に表示オブジェクト２２の視認性を確保できる。このため、表示オブジェクト２２の視認性が頻繁に変化するのを抑制して、安定した表示が得られる。その結果、表示オブジェクト２２の視認性が向上する。

その他の内容に関しては実施の形態１〜４を適用でき、それによって実施の形態１〜４と同様の効果が得られる。

＜変形例＞
カーナビゲーション装置１０は、図１５に示すように情報端末９０と組み合わせてもよい。情報端末９０として、携帯電話、スマートフォン、タブレット端末等のＰＤＡ（Personal Digital Assistant）が利用される。カーナビゲーション装置１０と情報端末９０とは有線で接続されてもよいし、無線で接続されてもよい。図１５の構成によれば、カーナビゲーション装置１０は車々間通信および路車間通信を行い、情報端末９０はインターネット通信を行う。外部通信の全てを情報端末９０に行わせてもよい。

また、図１６に示すように、表示オブジェクト最適化部５２を搭載した情報端末９０Ｂを利用してもよい。なお、図１６に示すカーナビゲーション装置１０Ｂは、実施の形態１〜５で説明したカーナビゲーション装置１０から表示オブジェクト最適化部５２を省略した構成を有する。

また、図１７に示すように、カーナビゲーション装置１０Ｂが直接または情報端末９０を経由して通信可能なサーバ９２Ｂに、表示オブジェクト最適化部５２を搭載してもよい。

さらに、図１８に示すように、表示オブジェクト最適化部５２の各種機能がカーナビゲーション装置１０Ｃと情報端末９０Ｃとサーバ９２Ｃに分散させることも可能である。

図１５〜図１８によれば、複数の装置が連携することによって、ヘッドアップディスプレイ１２の表示制御システムが実現される。なお、情報端末またはサーバがナビゲーション機能を有しそのナビゲーション機能を利用する場合、カーナビゲーション装置１０，１０Ｂ，１０Ｃの代わりに、ナビゲーション機能を有さない各種の車載機器を利用可能である。

ヘッドアップディスプレイ１２は透過型表示装置の一例であり、透過型表示装置はヘッドマウント型および眼鏡型であってもよい。また、液晶パネル、エレクトロルミネッセンスパネル等の表示パネルも、表示パネル越しに向こう側の景色が透けて見えるので、透過型表示装置に含まれる。

上記では自動車を例示したが、自動車以外の移動体（自転車、オートバイ、鉄道車両、航空機、船舶等）にも本発明に係る表示制御システムを利用可能である。また、移動体は人であってもよい。

なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

１０ カーナビゲーション装置（表示制御システム）、１２ ヘッドアップディスプレイ（透過型表示装置）、１８ ユーザ、２０ 視野、２０ａ〜２０ｉ 複数の領域、２２ 表示オブジェクト、２２ａ 配置範囲、５０ 表示オブジェクト生成部、５２ 表示オブジェクト最適化部、５４ 外部通信部、５６ 経路計算部、５８ 位置検出部、６０ 時計部、６２ 車両情報管理部、７０ 移動情報取得部、７２ 推定部、７４ 表示制御部、８０ 画像選別部、８２ 到達時刻推定部、８４ 色情報計算部、８６ モデリング部、ＨＭ 前方景色推定モデル、Ｈａ〜Ｈｅ 色相候補（色情報候補）、Ｈｎｇ１ 色相変化範囲（色情報変化範囲）、Ｈｎｇ２ 不許容部分、Ｈｏｋ 許容部分、Ｉ１〜Ｉ５ 予想景色画像、Ｌ１〜Ｌ５ 撮像地点、Ｔ１〜Ｔ５ 到達推定時刻、Ｔｐ モデリング期間、Ｔｐ１，Ｔｐ２，Ｔｐ３ 分割期間、ｔｑ１，ｔｑ２ タイミング、Δｔｑ 時間長さ、Ｓ１１〜Ｓ１８ 工程。

Claims (14)

1. 透過型表示装置によって実際の景色に重畳された表示オブジェクトを視認するユーザの移動予定経路の情報を取得する移動情報取得部と、
   無線通信装置を介して受信した各撮像画像が、前記移動予定経路を通る際に前記ユーザが見る前方景色の予想景色画像として利用可能か否かを判別し、少なくとも１つの予想景色画像に基づいて、前記前方景色の色情報の変化を推定した前方景色推定モデルを生成する推定部と、
   前記前方景色推定モデルの下で前記前方景色推定モデルのモデリング期間内で、継続的に前記表示オブジェクトの視認性が確保されるというオブジェクト表示条件を満たすように、前記表示オブジェクトの表示設定を決定し、決定した表示設定で前記表示オブジェクトが表示されるように前記透過型表示装置を制御する表示制御部と
   を備え、
   前記移動情報取得部は、前記ユーザの移動状況情報を取得し、
   前記推定部は、
   前記無線通信装置を介して受信した各撮像画像が前記予想景色画像として利用可能か否かを判別する画像選別部と、
   前記ユーザが前記予想景色画像の撮像地点に到達する到達推定時刻を、前記移動状況情報と前記予想景色画像に付随する撮像地点情報とに基づいて、推定する到達時刻推定部と、
   前記予想景色画像の前記色情報を前記予想景色画像のデータに基づいて算出する色情報計算部と、
   前記予想景色画像ごとに得られた前記色情報および前記到達推定時刻に基づいて前記前方景色推定モデルを生成するモデリング部と
   を含む、
   表示制御システム。
2. 前記推定部は、前記前方景色推定モデルの生成開始時点において前記ユーザが見ている前方景色を撮像した現在景色画像も利用して前記前方景色推定モデルを生成する、請求項１に記載の表示制御システム。
3. 前記表示制御部は、前記前方景色推定モデルが示す色情報変化範囲の全体を避けるように、前記表示オブジェクトの色情報を決定する、請求項１または請求項２に記載の表示制御システム。
4. 前記表示制御部は、前記前方景色推定モデルが示す色情報変化範囲の中で、前記表示オブジェクトの視認性低下をもたらす時間が前記モデリング期間に対して許容比率以下となる許容部分を判別し、前記色情報変化範囲のうちで残りの不許容部分を避けるように前記表示オブジェクトの色情報を決定する、請求項１または請求項２に記載の表示制御システム。
5. 前記表示制御部は、前記モデリング期間を複数の分割期間に分割し、各分割期間において前記オブジェクト表示条件を満たすように前記表示オブジェクトの色情報を決定する、請求項１または請求項２に記載の表示制御システム。
6. 透過型表示装置によって実際の景色に重畳された表示オブジェクトを視認するユーザの移動予定経路の情報を取得する移動情報取得部と、
   無線通信装置を介して受信した各撮像画像が、前記移動予定経路を通る際に前記ユーザが見る前方景色の予想景色画像として利用可能か否かを判別し、少なくとも１つの予想景色画像に基づいて、前記前方景色の色情報の変化を推定した前方景色推定モデルを生成する推定部と、
   前記前方景色推定モデルの下で前記前方景色推定モデルのモデリング期間内で、継続的に前記表示オブジェクトの視認性が確保されるというオブジェクト表示条件を満たすように、前記表示オブジェクトの表示設定を決定し、決定した表示設定で前記表示オブジェクトが表示されるように前記透過型表示装置を制御する表示制御部と
   を備え、
   前記表示制御部は、前記モデリング期間を複数の分割期間に分割し、各分割期間において前記オブジェクト表示条件を満たすように前記表示オブジェクトの色情報を決定する、
   表示制御システム。
7. 前記分割期間の数をＮとし、ｎを１以上Ｎ未満の整数とするとき、前記表示制御部は、ｎ番目の分割期間において前記オブジェクト表示条件が満たされなくなるタイミングに比べて、予め設定された時間長さだけ早いタイミングで、前記ｎ番目の分割期間を終了させる、請求項５または請求項６に記載の表示制御システム。
8. 前記推定部は、前記ユーザの視野内で前記表示オブジェクトの配置範囲を対象にして前記前方景色推定モデルを生成し、
   前記表示制御部は、前記前方景色推定モデルを用いて前記表示オブジェクトの前記配置範囲の色情報を決定する、
   請求項１から請求項７のうちのいずれか一項に記載の表示制御システム。
9. 前記表示制御部は、予め設定された複数の色情報候補の中から、前記表示オブジェクトの色情報を決定する、請求項１から請求項８のうちのいずれか一項に記載の表示制御システム。
10. 前記推定部は、前記ユーザの視野内の複数の領域のそれぞれについて前記前方景色推定モデルを生成し、
    前記表示制御部は、前記複数の領域のうちで前記オブジェクト表示条件を満たす領域内に前記表示オブジェクトの表示位置を決定する、
    請求項１から請求項９のうちのいずれか一項に記載の表示制御システム。
11. 前記推定部は地図情報と日射角情報と気象情報とのうちの少なくとも１つも利用して前記前方景色推定モデルを生成する、請求項１から請求項１０のうちのいずれか一項に記載の表示制御システム。
12. 前記色情報は色相と明度と彩度とのうちの少なくとも一つの情報を含む、請求項１から請求項１１のうちのいずれか一項に記載の表示制御システム。
13. 透過型表示装置によって実際の景色に重畳された表示オブジェクトを視認するユーザの移動予定経路の情報を取得することと、
    無線通信装置を介して受信した各撮像画像が、前記移動予定経路を通る際に前記ユーザが見る前方景色の予想景色画像として利用可能か否かを判別することと、
    少なくとも１つの予想景色画像に基づいて、前記前方景色の色情報の変化を推定した前方景色推定モデルを生成することと、
    前記前方景色推定モデルの下で前記前方景色推定モデルのモデリング期間内で、継続的に前記表示オブジェクトの視認性が確保されるというオブジェクト表示条件を満たすように、前記表示オブジェクトの表示設定を決定することと、
    決定した表示設定で前記表示オブジェクトが表示されるように前記透過型表示装置を制御することと
    を備え、
    前記移動予定経路の情報の取得では、前記ユーザの移動状況情報を取得し、
    前記前方景色推定モデルの生成は、
    前記ユーザが前記予想景色画像の撮像地点に到達する到達推定時刻を、前記移動状況情報と前記予想景色画像に付随する撮像地点情報とに基づいて、推定することと、
    前記予想景色画像の前記色情報を前記予想景色画像のデータに基づいて算出することと、
    前記予想景色画像ごとに得られた前記色情報および前記到達推定時刻に基づいて前記前方景色推定モデルを生成することと
    を含む、
    表示制御方法。
14. 透過型表示装置によって実際の景色に重畳された表示オブジェクトを視認するユーザの移動予定経路の情報を取得することと、
    無線通信装置を介して受信した各撮像画像が、前記移動予定経路を通る際に前記ユーザが見る前方景色の予想景色画像として利用可能か否かを判別することと、
    少なくとも１つの予想景色画像に基づいて、前記前方景色の色情報の変化を推定した前方景色推定モデルを生成することと、
    前記前方景色推定モデルの下で前記前方景色推定モデルのモデリング期間内で、継続的に前記表示オブジェクトの視認性が確保されるというオブジェクト表示条件を満たすように、前記表示オブジェクトの表示設定を決定することと、
    決定した表示設定で前記表示オブジェクトが表示されるように前記透過型表示装置を制御することと
    を備え、
    前記透過型表示装置の制御では、前記モデリング期間を複数の分割期間に分割し、各分割期間において前記オブジェクト表示条件を満たすように前記表示オブジェクトの色情報を決定する、
    表示制御方法。

Images