JP6365879B2 - 表示制御装置、表示制御方法、表示制御プログラム、および投影装置 - Google Patents

Description

本発明は、車両等の乗員に対して提供される情報の表示を制御する表示制御装置、表示制御方法、表示制御プログラム、および投影装置に関する。

近年、車両のウインドシールドに画像を投影することで、その画像を運転者に視認させるヘッドアップディスプレイ（Head‐Up Display：ＨＵＤ）装置の開発が盛んである。この装置では、現実世界の対象物（例えば、他の車両、歩行者、建物など）に重畳するように画像を投影することで、対象物の視認性を向上させることができる。

このようなヘッドアップディスプレイ装置では、運転者の視界において、いわゆる二重像の問題が生じる。人間の左右の眼は約６〜６．５ｃｍ離れているため、運転者がある対象物を注視した場合、左右の眼の網膜に映る像には、ずれ、すなわち両眼視差が生じる。そのため、人間が注視している対象物は単一の像として視認されるが、注視している対象物よりも遠くに、もしくは近くに存在する対象物は、二つの像、すなわち二重像として視認される。二重像の問題を解決する方法としては、例えば、特許文献１に開示された方法がある（以下、従来技術という）。

従来技術では、二重像の影響を抑制することを目的として、カメラ等で検出された対象物の位置に重畳させて、二重像として視認されても違和感を与えない画像を生成して表示する。具体的には、ドットパターンまたはＩマークの形状の画像を生成し、その画像を対象物と対応付けて表示することにより、二重像が生じた場合でも、運転者が対象物の存在およびその位置を把握できるとしている。

特許第４９７０３７９号公報

しかしながら、上述した従来技術は、対象物の存在の有無および対象物の位置の把握を支援するものであり、対象物の種類および状態の把握を支援することはできない。よって、従来技術では、対象物の認識性を向上させるための画像表示としては不十分であった。

本発明の目的は、対象物の種類および状態を乗員に把握させることができる表示制御装置、表示制御方法、表示制御プログラム、および投影装置を提供することである。

本発明の一態様に係る表示制御装置は、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、を含む表示システムにおける表示制御装置であって、前記認識部で認識された前記所定の対象物の輪郭を示す輪郭情報を取得する取得部と、前記輪郭情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する制御部と、を備える構成を採る。

本発明の一態様に係る表示制御装置は、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、前記所定の対象物の輪郭に応じて形状が予め定められた複数のテンプレート画像を表す画像情報を記憶する記憶部と、を含む表示システムにおける表示制御装置であって、前記認識部で認識された前記所定の対象物の輪郭を示す輪郭情報を取得し、前記輪郭情報に基づいて前記記憶部から画像情報を取得する取得部と、前記画像情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する制御部と、を備える構成を採る。

本発明の一態様に係る表示制御方法は、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、を含む表示システムにおける表示制御方法であって、前記所定の対象物が前記乗員の前方に認識された場合において、前記所定の対象物の輪郭を示す輪郭情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御するようにした。

本発明の一態様に係る表示制御プログラムは、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、を含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、前記コンピュータに対して、前記所定の対象物が前記乗員の前方に認識された場合において、前記所定の対象物の輪郭を示す輪郭情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する処理を実行させるようにした。

本発明の一態様に係る投影装置は、移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、を含む表示システムにおける投影装置であって、所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、前記認識部で認識された前記所定の対象物の輪郭を示す輪郭情報を取得する取得部と、前記輪郭情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する制御部と、を備える構成を採る。

本発明によれば、対象物の種類および状態を乗員に把握させることができる。

本発明の実施の形態１に係る表示システムの構成例を示すブロック図 本発明の実施の形態１に係る前景の一例を示す図 画像を表示媒体に表示したときの一例を示す図 図３Ａに示す画像が二重像として見えるときの一例を示す図 本発明の実施の形態１に係る画像の決定処理の一例を説明する図 本発明の実施の形態１に係る画像を表示媒体に表示したときの一例を示す図 図５Ａに示す画像が二重像として見えるときの一例を示す図 本発明の実施の形態１に係る表示システムの動作例を示すフローチャート 本発明の実施の形態２に係る表示システムの構成例を示すブロック図 本発明の実施の形態１、２の変形例に係る画像が二重像として見えるときの一例を示す図 本発明の実施の形態１、２に係る表示システム、表示制御装置のハードウェア構成例を示すブロック図

以下、本発明の実施の形態について図面を参照しながら説明する。

（実施の形態１）
本発明の実施の形態１について説明する。

まず、本実施の形態に係る表示システム１００の構成例について図１を用いて説明する。図１は、本実施の形態に係る表示システム１００の構成例を示すブロック図である。

表示システム１００は、例えば、車両等の移動体において用いられ、車両の運転を支援するシステムである。表示システム１００は、車載機器であってもよいし、車両に持ち込まれる機器であってもよい。また、表示システム１００が車両に適用されたものとして説明するが、移動体は、車両に限定されず、船舶、航空機等であってもよい。また、本実施の形態では、ユーザが車両の乗員、特に車両の運転者である例について説明するが、その限りではない。さらには、表示システム１００は、ユーザが身体に装着可能なウェラブルコンピュータ（例えば、後述するＨＭＤ）において用いられてもよい。

この表示システム１００には、図１に示すように、カメラ１１０、カメラ１２０、表示媒体１３０が接続される。

カメラ１１０は、車両の内部または外部に搭載され、運転者の前方の視界（以下、前景という）を撮影する。カメラ１１０により撮影された画像（以下、前景画像という）は、後述する認識部１０１へ出力される。なお、本実施の形態では、前景をセンシングする手段としてカメラ１１０を用いるとするが、これに限定されるものではなく、例えばレーダ等を用いてもよい。

カメラ１２０は、インナーカメラまたはドライバモニタリングカメラと呼ばれるカメラであり、車両の内部に搭載され、運転者の顔を撮影する。カメラ１２０により撮影された画像（以下、顔画像という）は、後述する決定部１０２へ出力される。

表示媒体１３０は、車両において用いられ、後述する表示部１０４で生成された画像（詳細は後述する）が表示される媒体である。本実施の形態では、表示媒体１３０は、光を透過する透過型の表示媒体である。

表示媒体１３０としては、例えば、ヘッドアップディスプレイ（Head Up Display：ＨＵＤ）、ＬＣＤ（Liquid Crystal Display）、ＨＭＤ（Head‐Mounted DisplayまたはHelmet‐Mounted Display）、眼鏡型ディスプレイ（Smart Glasses）、その他の専用のディスプレイなどが適用される。また、ＨＵＤは、例えば、車両のウインドシールドであってもよいし、別途設けられるガラス面、プラスチック面（例えば、コンバイナ）などであってもよい。また、ウインドシールドは、例えば、フロントガラスであってもよいし、車両のサイドガラスまたはリアガラスであってもよい。

さらに、ＨＵＤは、ウインドシールドの表面または内側に備えられた透過型ディスプレイであってもよい。ここで、透過型ディスプレイとは、例えば、透過型の有機ＥＬディスプレイ、または、特定の波長の光を照射した際に発光するガラスを用いた透明なディスプレイである。運転者は、背景を視認すると同時に、透過型ディスプレイ上の表示を視認することができる。このように表示媒体１３０は、光を透過する表示媒体である。いずれの場合も、画像は表示媒体１３０に表示される。

なお、図１の例では、表示システム１００は、表示媒体１３０を含まない構成としたが、表示媒体１３０を含む構成としてもよい。

図１において、表示システム１００は、認識部１０１、決定部１０２、表示制御装置１０３、および表示部１０４を有する。また、表示制御装置１０３は、取得部１０５、制御部１０６を有する。以下、各部について説明する。

認識部１０１は、カメラ１１０から取得した前景画像に含まれる特徴量を抽出し、抽出した特徴量に基づいて対象物の認識を行う。また、認識部１０１は、対象物を認識した場合、その対象物の位置を算出する。対象物とは、例えば、道路上の白線、標識、路面標示、縁石、ガードレール、信号機、電柱、車両、人物、建物などである。なお、対象物の認識処理および対象物の位置の算出処理は公知のため、詳細な説明は省略する。

また、認識部１０１は、所定の対象物を認識した場合、その対象物の輪郭を検出する。例えば、認識部１０１は、前景画像に対して、特定の微分フィルタによるエッジ抽出を行うことで、対象物の輪郭を検出する。なお、対象物のエッジの検出処理は公知のため、詳細な説明は省略する。

そして、認識部１０１は、対象物の位置を示す情報（以下、対象物位置情報という）を決定部１０２へ出力し、対象物の輪郭を示す情報（以下、輪郭情報という）を表示制御装置１０３の取得部１０５へ出力する。輪郭情報には、輪郭の形状を示す情報のほか、輪郭の位置を示す情報も含まれる。

ここで、運転者の前景の一例を図２に示す。図２に示すように、車両の前方に、車両が走行している道路を横断しようとする歩行者２００が存在する場合、運転者は、表示媒体１３０を介して歩行者２００を視認できる。この場合、認識部１０１は、歩行者２００を認識するとともに、歩行者２００の位置を算出する。また、認識部１０１は、歩行者２００の左側の輪郭および右側の輪郭を検出する。そして、認識部１０１は、歩行者２００の位置を示す対象物位置情報を決定部１０２へ出力し、歩行者２００の輪郭を示す輪郭情報を表示制御装置１０３へ出力する。

決定部１０２は、カメラ１２０から取得した顔画像に基づいて運転者の目の領域（以下、目領域という）を検出する。目領域とは、例えば、両眼を含む所定の領域である。なお、顔画像に対して画像処理を行うことで目領域を検出する処理は公知のため、詳細な説明は省略する。また、本実施の形態では、決定部１０２が顔画像に基づいて目領域を検出するとしたが、目領域は、例えば、予め定められた領域でもよいし、または、運転者の視線を検知する視線検知部（図示略）が検知した視線に基づいて検出した領域でもよい。

そして、決定部１０２は、検出した目領域のうちの所定の点（例えば、左右いずれかの目、または、左目と右目との間の中心）の位置、認識部１０１から取得した対象物位置情報が示す対象物の位置、表示媒体１３０の位置の関係から、表示部１０４で生成された画像が表示される表示媒体１３０上の位置（以下、画像表示位置という）を決定する。この画像表示位置は、換言すれば、目領域の所定点から表示媒体１３０を介して対象物が観察されたときにおける、対象物の表示媒体１３０上の位置である。なお、画像表示位置の決定処理は公知のため、詳細な説明は省略する。

そして、決定部１０２は、画像表示位置を示す情報（以下、画像表示位置情報という）を表示制御装置１０３の制御部１０６へ出力する。

取得部１０５は、認識部１０１から輪郭情報を取得し、その輪郭情報を制御部１０６へ出力する。なお、取得部１０５は、輪郭情報以外にも、認識部１０１で認識された対象物の情報（例えば、上記対象物位置情報、カメラ１１０から対象物までの距離を示す距離情報など）を認識部１０１から取得し、制御部１０６へ出力してもよい。

制御部１０６は、取得部１０５から取得した輪郭情報に基づいて所定画像を生成するように、かつ、その所定画像を、決定部１０２から取得した画像表示位置情報に基づいて表示媒体１３０に表示するように、表示部１０４を制御する。例えば、制御部１０６は、輪郭情報および画像表示位置情報に基づいて、所定画像の生成と表示についての制御の内容を示す制御情報を生成し、その制御情報を表示部１０４へ出力することで、表示部１０４を制御する。なお、制御部１０６による制御の詳細は、後述する。

表示部１０４は、制御部１０６から取得した制御情報に基づいて、所定画像を生成し、その所定画像を表示媒体１３０に表示する。例えば表示媒体１３０がＨＵＤである場合、表示部１０４は、プロジェクタ機能を用いて、所定画像を表示媒体１３０に投射（投影）する。これにより、所定画像は、運転者に虚像として視認される。なお、表示媒体に投射された画像が虚像として運転者に視認される原理は公知のため、詳細な説明は省略する。

本実施の形態では、所定画像を表示媒体１３０に投射して乗員に虚像として認識させることと、所定画像を表示媒体１３０に表示することとは同義であるとして、以下説明する。すなわち、以下の説明において、ＨＵＤへ所定画像が投射されて、乗員に虚像として視認される事象を、表示と表現する。

なお、表示部１０４は、プロジェクタ機能を用いる代わりに、例えば、ホログラムの原理を用いてＨＵＤに画像を表示させてもよい。ホログラムを用いる場合、導光板の内部全反射条件を満たす平行光束群を内部全反射して導光する導光板を用いる方式でもよい。導光板を用いた方式においては、プロジェクタのように画像を直接的に投射するものではないが、説明の便宜上、プロジェクタ方式と同様に投射または表示という定義で説明する。

また、本実施の形態では、表示部１０４が所定画像を生成するとしたが、所定画像は、表示制御装置１０３または図示しない他の構成要素によって生成されてもよい。

また、表示部１０４を表示制御装置１０３に含めることで投影装置として構成してもよい。

次に、制御部１０６による制御処理の具体例について以下に説明する。ここでは、まず、本実施の形態との比較例として、歩行者の輪郭を表す画像を表示媒体上の歩行者の輪郭の位置に表示する場合の制御処理について図３を用いて説明し、その後、本実施の形態の制御処理について図４、図５を用いて説明する。

まず、比較例における制御処理について説明する。図３Ａは、表示部１０４が制御部１０６の制御情報に基づいて画像を生成し、その画像を表示媒体１３０に表示したときの一例を示している。この場合、制御部１０６は、歩行者２００の輪郭を示す輪郭情報に基づいて画像３００および画像３０１を生成し、それらの画像を表示媒体１３０上の歩行者２００の位置に表示するように表示部１０４を制御する。画像３００は、歩行者２００の左側の輪郭を表す画像であり、画像３０１は、歩行者２００の右側の輪郭を表す画像である。

図３Ｂは、図３Ａに示す画像３００、３０１の見え方の一例を示している。運転者は、表示媒体１３０を介して歩行者２００を見た場合、図３Ｂに示すように、歩行者２００の左側および右側のそれぞれに、画像３００、３０１が見えることになる。すなわち、運転者にとっては、画像３００、３０１が二重像として見える。しかし、画像３００、３０１は歩行者２００の輪郭からずれて見えるため、運転者は、対象物が歩行者であるか（対象物の種類）、および、その対象物が車道を横断しようとしているか（対象物の状態）を把握することは難しい。

そこで、本実施の形態では、制御部１０６が以下の制御処理を行うことで、運転者が対象物の種類および状態を容易に把握できるようにする。次に、本実施の形態の制御処理について説明する。

図４を用いて、制御部１０６が表示部１０４に生成、表示を指示する画像の決定方法について説明する。図４において、表示媒体１３０の面上における座標系は、左右（水平）方向をＸ軸、上下（鉛直）方向をＹ軸とする。また、Ｘ軸において、原点位置に対して右側方向を正の方向、原点位置に対して左側方向を負の方向とする。

まず、制御部１０６は、図４に示すように、取得部１０５から取得した歩行者２００の輪郭情報に基づいて、一組の画像である画像３００、３０１を決定する。ここで、画像３００を構成する各点のＸ座標列をＰＬｘとし、画像３０１を構成する各点のＸ座標列をＰＲｘとする。ＰＬｘおよびＰＲｘは、輪郭の位置を示す情報として輪郭情報に含まれている。また、運転者が歩行者２００を注視しているときの両眼視差をＤとする。

次に、制御部１０６は、図４に示すように、画像３００をＸ軸の正の方向に所定距離ずらした画像４００を示す所定画像を表示部１０４に生成、表示させる画像に決定する。ここでいう所定距離は、例えば、画像３００のＸ座標列ＰＬｘに両眼視差Ｄの１／２分を加えた値である。よって、画像４００のＸ座標列をＷＲｘとした場合、そのＷＲｘは、以下の式で算出される。
ＷＲｘ＝ＰＬｘ＋Ｄ／２

次に、制御部１０６は、図４に示すように、画像３０１をＸ軸の負の方向に所定距離ずらし、ずらした画像４０１を示す所定画像を表示部１０４に生成、表示させる画像に決定する。ここでいう所定距離は、例えば、画像３０１のＸ座標列ＰＲｘに両眼視差Ｄの１／２分を減らした値である。よって、画像４０１のＸ座標列をＷＬｘとした場合、そのＷＬｘは、以下の式で算出される。
ＷＬｘ＝ＰＲｘ−Ｄ／２

このようにして、制御部１０６は、画像４００、４０１を一組として示す所定画像を表示部１０４に生成、表示させる画像に決定する。

上記両眼視差Ｄは、運転者が対象物を注視しているときの左右の視線が表示媒体１３０と交わる点の間隔であり、運転者の目から対象物までの距離（以下、注視距離という）が長くなるほど長くなる。注視距離は交通環境においてある程度限定されるため、例えば、両眼視差Ｄは、想定される注視距離に基づいて予め定められた値でもよい。または、例えば、注視距離と両眼視差Ｄとを対応付けたテーブルを用意しておき、注視距離が得られた際に、そのテーブルから対応する両眼視差Ｄを決定するようにしてもよい。あるいは、例えば、決定部１０２により検出された目領域の所定位置と、注視距離とに基づいて、両眼視差Ｄを算出するようにしてもよい。

このように、所定距離をＤ／２に設定することにより、画像４００、画像４０１が二重像となった場合、後に説明する図５Ｂのように、二重像となった画像４００の左側の像、および、二重像となった画像４０１の右側の像が、歩行者２００の左右の輪郭に沿って見えるようになる。

また、上記説明では、両眼視差Ｄを用いたが、これに限定されず、所定の変数を用いてもよい。

そして、制御部１０６は、上述のようにして決定した画像４００、４０１を生成し、それらの画像を決定部１０２から取得した画像表示位置情報が示す画像表示位置に表示するように表示部１０４を制御する。これにより、表示部１０４は、画像４００、４０１を生成し、それらの画像を表示媒体１３０上における画像表示位置に表示する。このときの例を図５Ａに示す。

図５Ａに示すように、表示媒体１３０において、歩行者２００の右側には画像４００が表示され、かつ、歩行者２００の左側には画像４０１が表示される。なお、画像４００、４０１は、歩行者２００の輪郭に厳密に沿った形状を有する画像でなくともよい。例えば、画像４００、４０１は、歩行者２００の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像（すなわち、左右の輪郭間の距離が、歩行者２００の左右の輪郭間の距離が長いところは短く、その距離が短いところは長くなるよう設定された画像）であってもよい。なお、「左右の輪郭を有する画像」とは、換言すると、「左右の形状を有する画像」である。

図５Ｂは、図５Ａに示す画像４００、４０１の見え方の一例を示している。運転者は、表示媒体１３０を介して歩行者２００を見た場合、図５Ｂに示すように、歩行者２００の左側および右側のそれぞれに、画像４００、４０１が見えることになる。すなわち、運転者にとっては、画像４００、４０１が二重像として見える。このとき、画像４００、４０１は歩行者２００の輪郭に沿って見える。すなわち、歩行者２００の輪郭が強調されて見えるため、運転者は、対象物が歩行者であるか（対象物の種類）、および、その対象物が車道を横断しようとしているか（対象物の状態）を把握することができる。

以上、本実施の形態に係る表示システム１００の構成例について説明した。

次に、本実施の形態に係る表示システム１００の動作例について図６を用いて説明する。図６は、本実施の形態に係る表示システム１００の動作例を示すフローチャートである。

まず、認識部１０１は、カメラ１１０から取得した前景画像に含まれる特徴量を抽出し、抽出した特徴量に基づいて対象物の認識を行う（ステップＳ１０１）。また、認識部１０１は、対象物を認識した場合、対象物の位置を算出し、対象物の輪郭を検出する。

次に、決定部１０２は、運転者の目領域のうちの所定の点の位置、認識部１０１で算出された対象物の位置、表示媒体１３０の位置の関係に基づいて、画像表示位置を決定する（ステップＳ１０２）。画像表示位置とは、上述したとおり、運転者の目領域における所定の点から表示媒体１３０を介して対象物が観察されたときにおける、対象物の表示媒体１３０上における位置である。

制御部１０６は、取得部１０５から取得した輪郭情報に基づいて所定画像を生成し、その所定画像を、決定部１０２で決定された表示媒体１３０上の画像表示位置に表示するように表示部１０４を制御する（ステップＳ１０３）。所定画像とは、上述したとおり、表示媒体１３０に表示されたときに対象物の各水平方向成分の長短関係が反転された形状を有する反転画像を示す画像である。

表示部１０４は、所定画像を生成し、その所定画像を表示媒体１３０に表示する（ステップＳ１０４）。これにより、運転者は、所定画像を視認可能となる。

以上、本実施の形態に係る表示システム１００の動作例について説明した。

このように、本実施の形態では、運転者が表示媒体を介して対象物を注視したときに、表示媒体に表示される画像が対象物の輪郭を強調するように見える。したがって、本実施の形態では、運転者は、対象物の存在有無および対象物の位置だけでなく、対象物の種類および対象物の状態をより正確に把握することができる。

（実施の形態２）
本発明の実施の形態２について説明する。

本実施の形態に係る表示システム１００の構成例について図７を用いて説明する。図７は、本実施の形態に係る表示システム１００の構成例を示すブロック図である。図７に示す各部には、上記実施の形態１で説明した図１の各部と同一の符号を付している。以下では、図７に示す各部のうち、実施の形態１と異なる動作を行う構成要素についてのみ説明する。

図７において、記憶部１４０は、予め用意された複数の画像情報を記憶している。この複数の画像情報は、対象物の形状、動き等に応じて定められた画像（以下、テンプレート画像という）を表す情報である。ここでは例として、上記実施の形態１で説明した画像４００、４０１を一組としたテンプレート画像として定められており、それらの画像情報が記憶部１４０に記憶されているとする。このテンプレート画像は、様々な形状、大きさのものが予め複数用意されている。

取得部１０５は、認識部１０１から輪郭情報を取得すると、その輪郭情報に基づいて記憶部１４０から画像情報を取得し、その画像情報および輪郭情報を制御部１０６へ出力する。例えば、取得部１０５は、図２に示した歩行者２００の輪郭を示す輪郭情報を取得した場合、その輪郭情報が示す左の輪郭の形状、大きさに近い右の輪郭を有し、かつ、輪郭情報が示す右の輪郭の形状、大きさに近い左の輪郭を有する一組の画像として画像４００、４０１の画像情報を取得する。

制御部１０６は、取得部１０５から取得した画像情報および輪郭情報に基づいて、表示部１０４に生成させる画像を決定する。例えば、制御部１０６は、図２に示した歩行者２００の輪郭を示す輪郭情報、および、図４に示した画像４００、４０１を表す画像情報を取得した場合、上記実施の形態１で説明したとおり、輪郭情報に含まれるＸ座標列と両眼視差Ｄに基づいて、画像４００、４０１を決定する。

すなわち、本実施の形態では、制御部１０６は、予め用意された画像４００、４０１を表す画像情報を用いるので、上記実施の形態１で説明したように、輪郭情報に基づいて画像４００、４０１を決定する処理を行う必要が無い。

このように、本実施の形態では、上記実施の形態１と同様の効果に加え、予め用意された画像を用いることで、表示制御装置１００における画像処理の速度を向上させることができる。

以上本発明の実施の形態１、２について説明したが、本発明は上記実施の形態１、２に限定されず、種々の変形が可能である。以下、変形例について説明する。

（変形例１）
上記実施の形態１、２では、表示部１０４で生成される画像を曲線状の画像４００、４０１としたが、画像の形状はこれに限定されない。

例えば、画像４００と画像４０１との間の領域を塗り潰した画像としてもよい。このような塗り潰し画像が二重像として見えるときの一例を図８に示す。図８に示すように、画像８００、８０１は、歩行者２００の部分を背景から繰り抜いたシルエットに見えるため、対象物の形状や状態をより正確に把握できる。

（変形例２）
上記実施の形態１、２において、対象物の見かけの大きさは、運転者と対象物との間の距離に応じて変わる。そこで、表示部１０４で生成される画像の大きさを、運転者の目領域のうちの所定の点から対象物までの距離（以下、第１の距離という）に応じて決定するようにしてもよい。

この場合、第１の距離は、カメラ１１０から対象物までの距離（以下、第２の距離という）と、運転者の目領域のうちの所定の点からカメラ１１０までの距離（以下、第３の距離という）とを合わせた値となる。

また、第２の距離は、対象物が認識された場合に、認識部１０１により算出される値である。認識部１０１は、第２の距離を示す情報を輪郭情報とともに取得部１０５へ出力する。

第３の距離は、予め定められているものとする。

制御部１０６は、取得部１０５から取得した第２の距離を示す情報と、予め定められた第３の距離を示す情報とを合計して第１の距離を算出し、その第１の距離に基づいて、表示部１０４に生成させる画像の大きさを決定する。そして、制御部１０６は、決定した大きさで画像を生成し、表示するように表示部１０４を制御する。

このように、本変形例によれば、運転者と対象物との間の距離に応じて適切な大きさの画像が表示媒体１３０に表示されるので、運転者の視認性が向上する。

（変形例３）
上記実施の形態１、２において、制御部１０６による制御処理は、運転者が対象物を視認した場合に実行されるようにしてもよい。

例えば、制御部１０６は、上述した視線検知部（図示略）により検知された視線を示す視線情報を視線検知部から取得するとともに、認識部１０１で認識された対象物の位置を示す対象物位置情報を認識部１０１から取得部１０５を介して取得する。そして、制御部１０６は、視線情報および対象物位置情報に基づいて、運転者が対象物を視認したか否かを判定する。以下、運転者に視認される対象物の例を上述した歩行者２００として説明する。

上記判定の結果、運転者が歩行者２００を視認したと判定した場合、上述したとおり、制御部１０６は、運転者が視認した歩行者２００のみの輪郭を示す輪郭情報に基づいて、表示部１０４に生成させる画像４００、４０１を決定する処理を行う。そして、制御部１０６は、決定した画像４００、４０１を生成、表示するように表示部１０４を制御する。

これにより、運転者が視認した歩行者２００に対してのみ画像４００、４０１が表示されるので、必要なタイミングで運転者に画像４００、４０１を視認させることができる。また、このとき、運転者が表示媒体１３０を介して歩行者２００を注視すると、二重像として見える画像４００、４０１が歩行者２００の輪郭に沿って見えるので（図５Ｂ参照）、運転者の視線を歩行者２００に誘導することができる。

その後、上述した画像４００、４０１の表示から一定時間が経過した場合、制御部１０６は、画像４００、４０１の生成、表示を停止するように表示部１０４を制御してもよい。

これにより、画像４００、４０１の表示により運転者の意識を歩行者２００へ引きつけた後において、必要以上に長い間、運転者が画像４００、４０１を視認することを防ぐことができるので、安全性の向上が見込める。

このように、本変形例によれば、運転者が対象物を視認しているか否かに応じて画像の表示、非表示が行われるので、適切なタイミングで運転者に画像を視認させたり、画像の視認を止めさせたりすることができる。

（変形例４）
上記実施の形態１、２において、制御部１０６による制御処理は、車両周辺の明るさが所定値以下である場合に実行されるようにしてもよい。

例えば、表示システム１００の内部または外部に、車両周辺の明るさを検知するセンサを設ける。制御部１０６は、検知された明るさの値を示す情報をセンサから取得し、その明るさの値が所定値以下であるか否かを判定する。この判定の結果、明るさの値が所定値以下である場合、制御部１０６は、上述した表示部１０４に対する制御を行う。

このように、本変形例によれば、運転者が車両周辺の対象物を視認しにくい場合（例えば、夜間等）に画像が表示媒体１３０に表示されるので、適切なタイミングで運転者に画像を視認させることができる。

以上、本発明の実施の形態の変形例について説明した。なお、上述した変形例は、任意に組み合わせてもよい。

上述した表示システム１００、表示制御装置１０２の各部の機能は、コンピュータプログラムにより実現され得る。

図９は、各部の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１０００は、入力ボタン、タッチパッドなどの入力装置１００１、ディスプレイ、スピーカなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＲＯＭ（Read Only Memory）１００４、ＲＡＭ（Random Access Memory）１００５を備える。また、コンピュータ１０００は、ハードディスク装置、ＳＳＤ（Solid State Drive）などの記憶装置１００６、ＤＶＤ−ＲＯＭ（Digital Versatile Disk Read Only Memory）、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００７、ネットワークを介して通信を行う送受信装置１００８を備える。上記各部は、バス１００９により接続される。

そして、読取装置１００７は、上記各部の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００６に記憶させる。あるいは、送受信装置１００８が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各部の機能を実現するためのプログラムを記憶装置１００６に記憶させる。

そして、ＣＰＵ１００３が、記憶装置１００６に記憶されたプログラムをＲＡＭ１００５にコピーし、そのプログラムに含まれる命令をＲＡＭ１００５から順次読み出して実行することにより、上記各部の機能が実現される。また、プログラムを実行する際、ＲＡＭ１００５または記憶装置１００６には、各実施の形態１で述べた各種処理で得られた情報が記憶され、適宜利用される。

本発明は、ユーザ（例えば、車両等の乗員、または、表示デバイスを装着したユーザ等）に対して提供される情報の表示を制御する表示制御装置、表示制御方法、表示制御プログラム、および投影装置に有用である。

１００ 表示システム
１０１ 認識部
１０２ 決定部
１０３ 表示制御装置
１０４ 表示部
１０５ 取得部
１０６ 制御部
１１０ カメラ
１２０ カメラ
１３０ 表示媒体
１４０ 記憶部
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ ＲＯＭ
１００５ ＲＡＭ
１００６ 記憶装置
１００７ 読取装置
１００８ 送受信装置
１００９ バス

Claims (10)

1. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、
   所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、
   を含む表示システムにおける表示制御装置であって、
   前記認識部で認識された前記所定の対象物の輪郭を示す輪郭情報を取得する取得部と、
   前記輪郭情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する制御部と、を備える、
   表示制御装置。
2. 前記画像は、前記所定の対象物の右側の輪郭を左側の輪郭として含み、前記所定の対象物の左側の輪郭を右側の輪郭として含む画像である、
   請求項１に記載の表示制御装置。
3. 前記乗員の目領域は、
   前記乗員の顔画像または前記乗員の視線に基づいて検出された領域、または、予め定められた領域である、
   請求項１または２に記載の表示制御装置。
4. 前記制御部は、
   前記乗員の目領域のうちの所定の点から前記所定の対象物までの距離に基づいて、前記所定画像の大きさを決定し、
   決定した大きさの前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する、
   請求項１から３のいずれか１項に記載の表示制御装置。
5. 前記制御部は、
   前記乗員の視線と、前記所定の対象物の位置とに基づいて、前記乗員が前記所定の対象物を視認したか否かを判定し、
   前記乗員が前記所定の対象物を視認したと判定した場合、前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する、
   請求項１から４のいずれか１項に記載の表示制御装置。
6. 前記制御部は、
   前記移動体の周辺の明るさを検知するセンサにより検知された明るさの値が所定値以下である場合に、前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する、
   請求項１から５のいずれか１項に記載の表示制御装置。
7. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、
   所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、
   前記所定の対象物の輪郭に応じて形状が予め定められた複数のテンプレート画像を表す画像情報を記憶する記憶部と、
   を含む表示システムにおける表示制御装置であって、
   前記認識部で認識された前記所定の対象物の輪郭を示す輪郭情報を取得し、前記輪郭情報に基づいて前記記憶部から画像情報を取得する取得部と、
   前記画像情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する制御部と、を備える、
   表示制御装置。
8. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、
   所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、
   を含む表示システムにおける表示制御方法であって、
   前記所定の対象物が前記乗員の前方に認識された場合において、
   前記所定の対象物の輪郭を示す輪郭情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する、
   表示制御方法。
9. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、
   前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、
   所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、
   を含む表示システムにおけるコンピュータに実行させる表示制御プログラムであって、
   前記コンピュータに対して、
   前記所定の対象物が前記乗員の前方に認識された場合において、
   前記所定の対象物の輪郭を示す輪郭情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する処理を実行させる、
   表示制御プログラム。
10. 移動体の乗員の前景の画像である前景画像を取得し、前記前景画像から前記乗員の前方に存在する所定の対象物を認識する認識部と、
    前記乗員の目領域のうちの所定の点から、光を透過する表示媒体を介して前記所定の対象物が観察されたときにおける、前記所定の対象物の前記表示媒体上における位置を決定する決定部と、
    を含む表示システムにおける投影装置であって、
    所定画像を生成し、前記所定画像を、前記決定部で決定された前記表示媒体上における位置に表示する表示部と、
    前記認識部で認識された前記所定の対象物の輪郭を示す輪郭情報を取得する取得部と、
    前記輪郭情報に基づいて前記表示媒体に表示されたときに前記所定の対象物の左右の輪郭間の距離の長短関係を反転した左右の輪郭を有する画像を示す前記所定画像を生成し、前記所定画像を前記表示媒体上における位置に表示するように前記表示部を制御する制御部と、を備える、
    投影装置。

Images