JPWO2017002209A1 - 表示制御装置及び表示制御方法及び表示制御プログラム - Google Patents

Abstract

物体画像抽出部（１１０）は、車両前方の撮影画像から、複数の物体画像のうち抽出条件に合致する抽出物体画像を抽出する。表示割当て領域指定部（１３０）は、撮影画像内で、いずれの抽出物体画像とも重ならない、いずれかの抽出物体画像と接する領域を、案内情報の表示割当て領域として指定し、表示割当て領域と接する隣接抽出物体画像と、隣接抽出物体画像の表示割当て領域との接線とを特定する。物体空間座標算出部（１４０）は、隣接抽出物体画像の物体の三次元空間座標を物体空間座標として算出する。接線空間座標算出部（１６０）は、接線が三次元空間に存在すると仮定した場合の接線の三次元空間座標を、接線空間座標として、物体空間座標に基づき算出する。表示領域決定部（１７０）は、接線空間座標と、運転者の目の位置とウインドシールドの位置の三次元空間座標とに基づき、ウインドシールドでの案内情報の表示領域を決定する。

Description

本発明は、車両のウインドシールドに案内情報を表示するＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）技術に関する。

ＨＵＤでは、ウインドシールドに案内情報を表示するため、前方視野の一部が案内情報により遮蔽される。
他の車両、歩行者、道路標示、道路標識、信号機等は車両を運転する上で見落としてはならない物体であるが、案内情報の表示により、運転者がこれらの物体が視認できない場合は、運転に支障が生じる。
特許文献１〜５では、運転に支障がでない案内情報の表示領域を計算により決定し、決定した表示領域に案内情報を表示する技術が開示されている。

しかしながら、運転者ごとに身長が異なり、目の位置が異なるため、運転者ごとに案内情報の適切な表示領域は異なる。
また、同じ運転者でも運転時の姿勢または着座位置が異なれば目の位置は異なるため、運転時の姿勢ごと、また、着座位置ごとに案内情報の適切な表示領域は異なる。
この点に関し、特許文献６では、運転者の目の位置に対応させて案内情報をウインドシールド上に表示する技術が開示されている。

特開２００６−１６２４４２号公報 特開２０１４−３７１７２号公報 特開２０１４−１８１９２７号公報 特開２０１０−２３４９５９号公報 特開２０１３−２０３３７４号公報 特開２００８−２８００２６号公報

運転者から見て車両前方の物体に重ならないようにウインドシールドに案内情報を表示させる方法として、特許文献１の方法と特許文献６の方法を組み合わせる方法が考えられる。
具体的には、特許文献６の方法に従い、運転者から見える車両前方の全ての物体、すなわち、撮影画像に表される全ての物体の三次元空間座標をＨＵＤの投影面（ウインドシールド）に射影し、投影面を一枚の画像とみなして、車両前方の物体と重ならない案内情報の表示位置を特許文献１の方式で求める方法が考えられる。
しかし、この方法では、撮影画像に表される全ての物体に対する射影計算が必要であり、計算量が多いという課題がある。

本発明は、上記のような課題を解決することを主な目的の一つとしており、少ない計算量で案内情報の適切な表示領域を決定することを主な目的とする。

本発明に係る表示制御装置は、
ウインドシールドに案内情報が表示される車両に搭載され、
前記車両の前方を撮影した撮影画像から、前記車両の前方に存在する複数の物体を表す複数の物体画像のうち抽出条件に合致する物体画像を抽出物体画像として抽出する物体画像抽出部と、
前記撮影画像内で、いずれの抽出物体画像とも重ならない領域であって、いずれかの抽出物体画像と接する領域を、前記案内情報の表示に割当てる表示割当て領域として指定し、前記表示割当て領域と接する抽出物体画像である隣接抽出物体画像を特定し、前記隣接抽出物体画像の前記表示割当て領域との接線を特定する表示割当て領域指定部と、
前記隣接抽出物体画像に表される物体の三次元空間座標を物体空間座標として算出する物体空間座標算出部と、
前記接線が三次元空間に存在すると仮定した場合の前記接線の三次元空間座標を、接線空間座標として、前記物体空間座標に基づき算出する接線空間座標算出部と、
前記接線空間座標と、前記車両の運転者の目の位置の三次元空間座標と、前記ウインドシールドの位置の三次元空間座標とに基づき、前記ウインドシールドでの前記案内情報の表示領域を決定する表示領域決定部とを有する。

本発明では、隣接抽出物体画像に対してのみ計算が発生するため、撮影画像の全ての物体画像に対して計算を行う場合に比べて少ない計算量で案内情報の適切な表示領域を決定することができる。

実施の形態１に係る表示制御装置の機能構成例を示す図。 実施の形態１に係る撮影画像での抽出物体画像の例を示す図。 実施の形態１に係る案内情報の例を示す図。 実施の形態１に係る表示割当て領域の例を示す図。 実施の形態１に係る表示制御装置の動作例を示すフローチャート図。 実施の形態３に係る表示制御装置の機能構成例を示す図。 実施の形態３に係る表示制御装置の動作例を示すフローチャート図。 実施の形態４に係る表示制御装置の機能構成例を示す図。 実施の形態４に係る表示制御装置の動作例を示すフローチャート図。 実施の形態４に係る表示制御装置の動作例を示すフローチャート図。 実施の形態１に係る表示割当て領域の例を示す図。 実施の形態１に係る表示割当て領域の例を示す図。 実施の形態１に係る表示領域の決定方法の概要を示す図。 実施の形態１〜４に係る表示制御装置のハードウェア構成例を示す図。

実施の形態１．
＊＊＊構成の説明＊＊＊
図１は、本実施の形態１に係る表示制御装置１００の機能構成例を示す。
表示制御装置１００は、ＨＵＤに対応した車両、すなわち、ウインドシールドに案内情報が表示される車両に搭載される。
図１に基づき表示制御装置１００の機能構成を説明する。
図１に示すように、表示制御装置１００は、撮影装置２１０、距離計測装置２２０、眼球位置検出装置２３０及びＨＵＤ３１０に接続されている。
また、表示制御装置１００は、物体画像抽出部１１０、案内情報取得部１２０、表示割当て領域指定部１３０、物体空間座標算出部１４０、眼球位置検出部１５０、接線空間座標算出部１６０及び表示領域決定部１７０を含む。

撮影装置２１０は、運転者の頭部付近に設置され、車両の前方の景色を撮影する。
撮影装置２１０には、物体画像抽出部１１０で物体画像が抽出可能な撮影画像を撮影可能であれば、可視光カメラ、赤外線カメラなど任意の撮影装置を用いることができる。

物体画像抽出部１１０は、撮影装置２１０により撮影された撮影画像から、車両の前方に存在する複数の物体を表す複数の物体画像のうち抽出条件に合致する物体画像を抽出物体画像として抽出する。
物体画像抽出部１１０は、抽出条件に従って、運転者が見落とすべきでない物体、運転にとって有用な情報を提供する物体の画像を抽出する。
より具体的には、物体画像抽出部１１０は、他の車両、歩行者、道路標示、道路標識、信号機等の画像を抽出物体画像として抽出する。
例えば、物体画像抽出部１１０は、図２の撮影画像２１１から、歩行者画像１１１０、道路標識画像１１２０、車両画像１１３０、車両画像１１４０、道路標示画像１１５０を抽出物体画像として抽出する。
歩行者画像１１１０には、歩行者１１１が表されている。
道路標識画像１１２０には、道路標識１１２が表されている。
車両画像１１３０には、車両１１３が表されている。
車両画像１１４０には、車両１１４が表されている。
道路標示画像１１５０には、道路標示１１５が表されている。
図２の１１１０〜１１５０で示すように、物体画像は物体を四角形の輪郭線で包囲した領域である。
なお、撮影画像から特定の物体の物体画像を検出する技術として、公知の手法がいくつか存在する。
物体画像抽出部１１０は、任意の公知の手法を用いて抽出条件に合致する物体画像を抽出することができる。

案内情報取得部１２０は、ウインドシールドに表示する案内情報を取得する。
例えば、地図情報等の経路案内に関する案内情報がウインドシールドに表示される場合は、案内情報取得部１２０は、ナビゲーション機器から案内情報を取得する。
また、車両に関する案内情報がウインドシールドに表示される場合は、案内情報取得部１２０は、ＥＣＵ（Ｅｎｇｉｎｅ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）から案内情報を取得する。
本実施の形態では、案内情報取得部１２０は、図３の案内情報１２１で示すように、四角形の案内情報を取得する。

表示割当て領域指定部１３０は、撮影画像内で、いずれの抽出物体画像とも重ならない領域であって、いずれかの抽出物体画像と接する領域を、案内情報の表示に割当てる表示割当て領域として指定する。
更に、表示割当て領域指定部１３０は、表示割当て領域と接する抽出物体画像である隣接抽出物体画像を特定し、隣接抽出物体画像の表示割当て領域との接線を特定する。
表示割当て領域指定部１３０は、例えば、案内情報を撮影画像上で走査して表示割当て領域を探索することができる。
表示割当て領域指定部１３０は、任意の手法を用いて、表示割当て領域を探索することが可能である。

図４は、表示割当て領域指定部１３０が指定した表示割当て領域の例を示す。
図４において、破線で囲んだ表示割当て領域１３１は、撮影画像２１１上で、案内情報１２１を表示可能な領域である。
図４の表示割当て領域１３１は、いずれの物体画像とも重なっておらず、また、道路標識画像１１２０と車両画像１１３０とに接する。
表示割当て領域指定部１３０は、道路標識画像１１２０と車両画像１１３０を隣接抽出物体画像として特定する。
また、表示割当て領域指定部１３０は、道路標識画像１１２０の表示割当て領域１３１との接線１３２と、車両画像１１３０の表示割当て領域１３１との接線１３３を特定する。

図４の表示割当て領域１３１は、道路標識画像１１２０と車両画像１１３０と接しており、接線１３２と接線１３３が特定される。
撮影画像２１１における抽出物体画像の位置によっては、図１１又は図１２のような表示割当て領域が指定される。
図１１の表示割当て領域１３４は、道路標識画像１１２０と車両画像１１３０と信号機画像１１６０と接しており、接線１３２と接線１３３と接線１３５が特定される。
信号機画像１１６０は、信号機１１６を撮影した画像である。
また、図１２の表示割当て領域１３６は、道路標識画像１１２０と車両画像１１３０と信号機画像１１６０と道路標識画像１１７０と接しており、接線１３２と接線１３３と接線１３５と接線１３７が特定される。
道路標識画像１１７０は、道路標識１１７を撮影した画像である。
なお、図示を省略しているが、１つの抽出物体画像とのみ接する表示割当て領域が指定される場合もある。
例えば、図２の撮影画像２１１に歩行者画像１１１０と道路標識画像１１２０が含まれていない場合には、車両画像１１３０のみと接している表示割当て領域が指定される。
この場合には、接線１３３のみが特定される。

距離計測装置２２０は、車両前方の物体と距離計測装置２２０の距離を計測する。
距離計測装置２２０は、一つの物体に対して、その物体上の多くの点との距離を計測することが望ましい。
距離計測装置２２０は、ステレオカメラ、レーザースキャナー等である。
距離計測装置２２０は、物体までの距離と物体のおおまかな形状を特定できるものであれば、任意の装置を用いることができる。

物体空間座標算出部１４０は、表示割当て領域指定部１３０で特定された隣接抽出物体画像に表される物体の三次元空間座標を物体空間座標として算出する。
図４の例では、物体空間座標算出部１４０は、道路標識画像１１２０に表される道路標識１１２の三次元空間座標と、車両画像１１３０に表される車両１１３の三次元空間座標を算出する。
物体空間座標算出部１４０は、距離計測装置２２０が計測した隣接抽出物体画像に表される物体（道路標識１１２、車両１１３）までの距離を用いて、三次元空間座標を算出し、三次元空間座標が撮影画像のどのピクセルに相当するかを決定するキャリブレーションを行う。

眼球位置検出装置２３０は、運転者の眼球と眼球位置検出装置２３０との間の距離を検出する。
眼球位置検出装置２３０は、例えば、運転者の前方に設置した運転者の頭部を撮影するカメラである。
なお、運転者の眼球までの距離を測定できれば、眼球位置検出装置２３０として、任意の装置を用いることができる。

眼球位置検出部１５０は、眼球位置検出装置２３０が検出した運転者の眼球と眼球位置検出装置２３０との間の距離から、運転者の眼球位置の三次元空間座標を算出する。

接線空間座標算出部１６０は、表示割当て領域と隣接抽出物体画像との接線が三次元空間に存在すると仮定した場合の接線の三次元空間座標を、接線空間座標として、物体空間座標算出部１４０が算出した物体空間座標に基づき算出する。
図４の例では、眼球位置検出部１５０は、接線１３２が三次元空間に存在すると仮定した場合の接線１３２の三次元空間座標を道路標識画像１１２０の物体空間座標に基づき算出する。
また、眼球位置検出部１５０は、接線１３３が三次元空間に存在すると仮定した場合の接線１３３の三次元空間座標を車両画像１１３０の物体空間座標に基づき算出する。
接線空間座標算出部１６０は、接線の三次元空間における方程式を決定して、接線の三次元空間座標を算出する。
以下、三次元空間における方程式で表現する隣接抽出物体画像の表示割当て領域との接線を、実空間接線という。
実空間接線は、接線空間座標に沿った仮想線である。
実空間接線は、水平もしくは垂直な直線であり、車両の進行方向と垂直な面上にある。
実空間接線が撮影画像に垂直な線（図４の接線１３２に対応する実空間接線）の場合、実空間接線が通過する水平方向の座標は、隣接抽出物体画像に表される物体の物体空間座標のうち、最も水平方向で表示割当て領域に近い点の座標である。
実空間接線が撮影画像に水平な線（図４の接線１３３に対応する実空間接線）の場合、実空間接線が通過する垂直方向の座標は、隣接抽出物体画に表される物体の物体空間座標のうち、最も垂直方向で表示割当て領域に近い点の座標である。

表示領域決定部１７０は、接線空間座標と、車両の運転者の目の位置の三次元空間座標と、ウインドシールドの位置の三次元空間座標とに基づき、ウインドシールドでの案内情報の表示領域を決定する。
より具体的には、表示領域決定部１７０は、車両の運転者の目の位置に向けて、接線空間座標に沿った仮想線である実空間接線をウインドシールドに射影させて得られる射影線のウインドシールド内の位置を、接線空間座標と、車両の運転者の目の位置の三次元空間座標と、ウインドシールドの位置の三次元空間座標とに基づき算出する。
そして、表示領域決定部１７０は、撮影画像で隣接抽出物体画像が１つである場合、すなわち撮影画像の接線が１つである場合は、射影線とウインドシールドの縁によって囲まれる領域をウインドシールド上の案内情報の表示領域として決定する。
また、撮影画像で隣接抽出物体画像が複数ある場合、すなわち撮影画像の接線が複数である場合は、表示領域決定部１７０は、各接線に対応する実空間接線ごとに射影線のウインドシールド内の位置を算出する。
そして、表示領域決定部１７０は、複数の射影線とウインドシールドの縁によって囲まれる領域をウインドシールド上の案内情報の表示領域として決定する。
決定された表示領域の内であれば、案内情報をどこに表示してもよい。
表示領域決定部１７０は、表示領域内で案内情報の表示位置を決定する。
表示領域決定部１７０は、例えば、案内情報との輝度又は色相の差が大きい位置を表示位置として決定する。
このようにして表示位置を決定することにより、案内表示が背景に紛れて見えなくなることがなくなる。
また、この方法は、表示割当て領域指定部１３０で探索する表示割当て領域に対して適用してもよい。

ここで、表示領域決定部１７０による表示領域の決定方法の概要を図１３に示す。
図１３は、三次元の座標空間を表しており、Ｘ軸は水平方向（車両の車幅方向）、Ｙ軸は垂直方向（車両の車高方向）、Ｚ軸は奥行き方向（車両の進行方向）に対応する。
図１３の座標の原点（基準点）は、車両内の特定の位置であり、例えば、距離計測装置２２０が配置されている位置である。
実空間接線１３２０は、図２の道路標識画像１１２０の表示割当て領域１３１との接線１３２に対応する三次元空間での仮想線である。
面１１２１は、道路標識画像１１２０に表される道路標識１１２の物体空間座標を表す。
面１１２１のＸ軸上の位置及びＺ軸上の位置は、距離計測装置２２０により測定された距離計測装置２２０と道路標識１１２との間の距離に相当する。
接線１３２は道路標識画像１１２０の右端の接線であるため、二次元画像である撮影画像１２１を三次元空間に展開すると、実空間接線１３２０は、面１１２１の右端に配置される。
なお、実空間接線１３２０の軌道上の三次元空間座標が接線空間座標である。
ウインドシールド仮想面４００は、ウインドシールドの形状及び位置に対応する仮想面である。
眼球位置仮想点５６０は、眼球位置検出部１５０により検出された運転者の眼球位置に対応する仮想点である。
射影線４０１は、眼球位置仮想点５６０に向けて、実空間接線１３２０を、ウインドシールド仮想面４００に射影させた結果である射影線である。

表示領域決定部１７０は、眼球位置仮想点５６０に向けて、実空間接線１３２０を、ウインドシールド仮想面４００に射影させて、射影線４０１のウインドシールド仮想面４００の位置を演算により取得する。
つまり、表示領域決定部１７０は、実空間接線１３２０内の点と眼球位置仮想点５６０とを結ぶ線のウインドシールド仮想面４００との交点をプロットして射影線４０１を得る演算を行い、射影線４０１のウインドシールド仮想面４００の位置を算出する。

＊＊＊動作の説明＊＊＊
次に、図５を参照して、本実施の形態に係る表示制御装置１００、撮影装置２１０、距離計測装置２２０、眼球位置検出装置２３０及びＨＵＤ３１０の動作例を説明する。
なお、図５に示す動作手順のうち表示制御装置１００により行われる動作は、表示制御方法及び表示制御プログラムの例に相当する。

Ｓ１の案内情報取得処理では、案内情報取得部１２０が、案内情報を取得し、取得した案内情報を表示割当て領域指定部１３０に出力する。
また、Ｓ２の撮影画像取得処理では、撮影装置２１０が、車両前方を撮影して、撮影画像を得る。
また、Ｓ３の距離取得処理では、距離計測装置２２０が、車両前方に存在する物体と距離計測装置２２０との距離を計測する。
また、Ｓ４の眼球位置取得処理では、眼球位置検出装置２３０が、運転者の眼球と眼球位置検出装置２３０との間の距離を取得する。
なお、Ｓ１〜Ｓ４は並行して行われてもよいし、順次行われてもよい。

Ｓ５の物体画像抽出処理では、物体画像抽出部１１０が、撮影装置２１０により撮影された撮影画像から、抽出条件に合致する物体画像を抽出物体画像として抽出する。

Ｓ６の眼球位置検出処理では、眼球位置検出部１５０が、Ｓ４の眼球位置取得処理で取得された運転者の眼球と眼球位置検出装置２３０との間の距離から、運転者の眼球位置の三次元空間座標を算出する。

次に、Ｓ７の表示割当て領域指定処理では、表示割当て領域指定部１３０が、撮影画像内で表示割当て領域を指定し、隣接抽出物体画像と接線とを特定する。

Ｓ８の物体空間座標算出処理では、物体空間座標算出部１４０が、隣接抽出物体画像に表される物体の三次元空間座標を物体空間座標として算出する。
なお、Ｓ７の表示割当て領域指定処理で複数の隣接抽出物体画像が特定された場合は、物体空間座標算出部１４０は、隣接抽出物体画像ごとに物体空間座標を算出する。

Ｓ９の接線空間座標算出処理では、接線空間座標算出部１６０が、物体空間座標に基づき、接線空間座標を算出する。
なお、Ｓ７の表示割当て領域指定処理で複数の隣接抽出物体画像が特定された場合は、接線空間座標算出部１６０は、隣接抽出物体画像ごとに接線空間座標を算出する。

次に、Ｓ１０の表示領域決定処理では、表示領域決定部１７０が、接線空間座標と、車両の運転者の目の位置の三次元空間座標と、ウインドシールドの位置の三次元空間座標とに基づき、ウインドシールドでの案内情報の表示領域を決定する。
また、表示領域決定部１７０は、表示領域内で、案内情報の表示位置も決定する。

Ｓ１１の表示処理では、ＨＵＤ３１０が、表示領域決定部１７０により決定された表示位置に案内情報を表示する。

そして、終了指示、すなわち、ＨＵＤ３１０の電源オフの指示があるまで、Ｓ１〜Ｓ１１の処理が繰り返される。

＊＊＊実施の形態の効果＊＊＊
以上のように、本実施の形態では、表示制御装置１００は、ＨＵＤ３１０の投影面（ウインドシールド）上で案内情報を表示可能な領域（表示割当て領域）を囲む物体画像（隣接抽出物体画像）を、撮影装置２１０で撮影された撮影画像において指定する。
このため、表示制御装置１００は、表示割当て領域を囲む隣接抽出物体画像のみを射影するだけで、案内情報の表示位置を決定できる。
従って、特許文献１の方法と特許文献６の方法とを組み合わせる方法よりも少ない射影処理の計算量で案内情報を表示することができる。

実施の形態２．
実施の形態１では、案内情報と抽出物体画像と表示割当て領域の形状を長方形としている。
実施の形態２では、案内情報と抽出物体画像と表示割当て領域の形状を多角形やポリゴン（同一形状の多角形の組み合わせ）で表現する。
つまり、本実施の形態では、案内情報取得部１２０は、ｐ角形（ｐは３又は５以上）の案内情報を取得する。
また、物体画像抽出部１１０は、抽出条件に合致する物体画像をｎ角形（ｎは３又は５以上）の輪郭線で包囲して抽出物体画像として抽出する。
また、表示割当て領域指定部１３０は、撮影画像内で、ｍ角形（ｍは３又は５以上）の領域を、表示割当て領域として指定する。

なお、本実施の形態では、１つの隣接抽出物体画像に対する実空間接線の数は、隣接抽出物体画像の形状や案内情報の形状によって決まる。
実空間接線は、表示割当て領域と隣接抽出物体画像が接している線分の頂点のピクセルに最も近い隣接抽出物体画像内のピクセルに相当する三次元空間座標を通る直線である。

本実施の形態によれば、より細かく案内情報の形状及び抽出物体画像の形状を表現でき、表示割当て領域の候補を増やすことができる。
ただし、抽出物体画像を多角形で表現する場合、距離計測装置２２０で物体上の多くの点について距離を検出する必要がある。

実施の形態３．
実施の形態１では、案内情報の形状は固定されている。
実施の形態３では、案内情報の形状に適合する表示割当て領域が見つからない場合に案内情報の形状を変形する。

図６は、本実施の形態に係る表示制御装置１００の機能構成例を示す。
図６において、図１との違いは、案内情報変形部１８０が追加されている点である。
案内情報変形部１８０は、案内情報の形状に適合する表示割当て領域が存在しない場合に、案内情報の形状を変形させる。
案内情報変形部１８０以外の要素は、図１と同じである。

図７は、本実施の形態に係る動作例を示す。
図７において、Ｓ１〜Ｓ４は、図５に示したものと同じであるため、説明を省略する。
Ｓ１２の変形方法／変形量指定処理では、案内情報変形部１８０による案内情報の変形方法及び変形量が指定される。
例えば、案内情報変形部１８０が、既定の記憶領域から、案内情報の変形方法及び変形量が定義されたデータを読み出すことにより、案内情報変形部１８０による案内情報の変形方法及び変形量が指定される。
なお、変形方法は、案内情報の形状の縮小又は圧縮である。
縮小は、案内情報の要素間の比率を維持したまま案内情報のサイズを縮めることであり、案内情報が四角形であれば、四角形の縦横の比率は維持したまま案内情報のサイズを縮めることである。
圧縮は、案内情報の要素間の比率を変化させて案内情報のサイズを縮めることであり、案内情報が四角形であれば、四角形の縦横の比率を変化させて案内情報のサイズを縮めることである。
また、変形量は、案内情報の形状の縮小が行われる場合は、１回の縮小処理での縮小量であり、案内情報の形状の圧縮が行われる場合は、１回の圧縮処理での圧縮量である。

Ｓ５〜Ｓ７は、図５に示したものと同じであるため、説明を省略する。
Ｓ７の表示割当て領域指定処理において表示割当て領域指定部１３０が案内情報の形状に適合する形状の表示割当て領域を取得できなかった場合、すなわち、デフォルトの案内情報のサイズを包含できる表示割当て領域を取得できなかった場合には、Ｓ１３の案内情報変形処理が行われる。
Ｓ１３の案内情報変形処理では、案内情報変形部１８０が、Ｓ１２で指定された変形方法及び変形量に従って、案内情報の形状を変形させる。
表示割当て領域指定部１３０は、再度、Ｓ７の表示割当て領域指定処理を行い、変形後の案内情報の形状に適合する表示割当て領域を探索する。
案内情報の形状に適合する表示割当て領域が見つかるまで、Ｓ７及びＳ１３そのが繰り返される。

本実施の形態では、案内情報の形状に適合する表示割当て領域が見つからない場合には、案内情報の形状を変形させるため、表示割当て領域の候補を増やすことができる。

実施の形態４．
実施の形態１では、図５に示す動作手順が１秒間に２０回〜３０回程度繰り返されることを想定している。
つまり、実施の形態１では、１秒間に２０〜３０回の頻度で、撮影装置２１０により新たな撮影画像が得られ、物体画像抽出部１１０が、新たに得られた撮影画像から抽出物体画像を抽出する。
そして、物体空間座標算出部１４０が、１秒間に２０〜３０回の頻度で、新たに抽出された抽出物体画像に基づいて、新たな表示割当て領域を指定している。
しかしながら、一般的に、車両の前方にある物体の組合せはミリ秒単位では変化しない。
つまり、ＨＵＤの表示更新直後は、表示割当て領域に隣接する物体は直前と同じ物体である可能性が高い。
このため、本実施の形態では、各サイクルにおいて、新たに得られた撮影画像から抽出された抽出物体画像に隣接抽出物体画像として特定された物体画像が含まれているかを追跡する。
そして、新たに得られた撮影画像から抽出された抽出物体画像に隣接抽出物体画像として特定された物体画像が含まれている場合は、Ｓ７の表示割当て領域指定処理が省略される。

図８は、本実施の形態に係る表示制御装置１００の機能構成例を示す。
図８において、図１との違いは、物体画像追跡部１９０が追加されている点である。
物体画像追跡部１９０は、表示割当て領域指定部１３０により表示割当て領域が指定され、隣接抽出物体画像が特定された後に、新たに得られた撮影画像から物体画像抽出部１１０により抽出物体画像が抽出される度に、物体画像抽出部１１０により抽出された抽出物体画像に隣接抽出物体画像として特定された物体画像が含まれるか否かを判定する。
そして、本実施の形態では、表示割当て領域指定部１３０は、物体画像追跡部１９０により、物体画像抽出部１１０により抽出された抽出物体画像に隣接抽出物体画像として特定された物体画像が含まれると判定された場合に、表示割当て領域の指定を省略する。
すなわち、以前のサイクルで指定された表示割当て領域、隣接抽出物体画像及び接線が、再利用される。
物体画像抽出部１１０及び物体画像追跡部１９０以外の要素は、図１と同じである。

次に、図９及び図１０は、本実施の形態に係る動作例を示す。
図９において、Ｓ１〜Ｓ４は、図５に示したものと同じであるため、説明を省略する。
Ｓ１４の物体画像追跡処理では、物体画像追跡部１９０が、物体空間座標算出部１４０で指定された表示割当て領域の隣接抽出画像を追跡する。
すなわち、物体画像追跡部１９０は、新たに得られた撮影画像から物体画像抽出部１１０により抽出された抽出物体画像に隣接抽出物体画像として特定された物体画像が含まれるか否かを判定する。
物体空間座標算出部１４０は、カウント値ｋが規定回数未満であり、また、物体画像追跡部１９０により追跡中の物体画像が検出されたか否かを判定する。

カウント値ｋが規定回数以上である場合又は物体画像追跡部１９０が追跡中の物体画像で検出できなかった場合は、物体空間座標算出部１４０は、カウント値ｋを「０」にリセットし、Ｓ７の表示割当て領域指定処理を行う。
Ｓ７の表示割当て領域指定処理は、図５に示したものと同じであるため、説明を省略する。
また、Ｓ８以降の処理は、図５に示したものと同じであるため、説明を省略する。

一方、カウント値ｋが規定回数未満であり、また、物体画像追跡部１９０により追跡中の物体画像が検出された場合は、物体空間座標算出部１４０は、カウント値ｋをインクリメントし、また、Ｓ７の表示割当て領域指定処理を省略する。
この結果、Ｓ８以降の処理は、前回のループと同じ表示割当て領域、隣接抽出物体画像及び接線に対して行われる。
なお、Ｓ８以降の処理は、図５に示したものと同じであるため、説明を省略する。

規定回数は、図９のフローが一周する時間が短い場合は大きな値を、長い場合は小さな値を入れることが望ましい。
例えば、規定回数として、５〜１０が想定される。

本実施の形態では、隣接抽出画像を追跡することにより、表示割当て領域を探索する頻度を減らすことができ、表示制御装置の計算量を抑制することができる。

＊＊＊ハードウェア構成例の説明＊＊＊
最後に、表示制御装置１００のハードウェア構成例を図１４を参照して説明する。
表示制御装置１００はコンピュータである。
表示制御装置１００は、プロセッサ９０１、補助記憶装置９０２、メモリ９０３、デバイスインタフェース９０４、入力インタフェース９０５、ＨＵＤインタフェース９０６といったハードウェアを備える。
プロセッサ９０１は、信号線９１０を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
デバイスインタフェース９０４は、信号線９１３を介してデバイス９０８に接続されている。
入力インタフェース９０５は、信号線９１１を介して入力装置９０７に接続されている。
ＨＵＤインタフェース９０６は、信号線９１２を介してＨＵＤ３０１に接続されている。

プロセッサ９０１は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。
プロセッサ９０１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
補助記憶装置９０２は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。
メモリ９０３は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。
デバイスインタフェース９０４はデバイス９０８と接続されている。
デバイス９０８は、図１等に示す撮影装置２１０、距離計測装置２２０及び眼球位置検出装置２３０である。
入力インタフェース９０５は入力装置９０７と接続されている。
ＨＵＤインタフェース９０６は、図１等に示すＨＵＤ３０１と接続されている。
入力装置９０７は、例えばタッチパネルである。

補助記憶装置９０２には、図１に示す物体画像抽出部１１０、案内情報取得部１２０、表示割当て領域指定部１３０、物体空間座標算出部１４０、眼球位置検出部１５０、接線空間座標算出部１６０、表示領域決定部１７０、図６に示す案内情報変形部１８０、図８に示す物体画像追跡部１９０（以下、これらをまとめて「部」と表記する）の機能を実現するプログラムが記憶されている。
このプログラムは、メモリ９０３にロードされ、プロセッサ９０１に読み込まれ、プロセッサ９０１によって実行される。
更に、補助記憶装置９０２には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。
そして、ＯＳの少なくとも一部がメモリ９０３にロードされ、プロセッサ９０１はＯＳを実行しながら、「部」の機能を実現するプログラムを実行する。
図１４では、１つのプロセッサ９０１が図示されているが、表示制御装置１００が複数のプロセッサ９０１を備えていてもよい。
そして、複数のプロセッサ９０１が「部」の機能を実現するプログラムを連携して実行してもよい。
また、「部」の処理の結果を示す情報やデータや信号値や変数値が、メモリ９０３、補助記憶装置９０２、又は、プロセッサ９０１内のレジスタ又はキャッシュメモリに記憶される。

「部」を「サーキットリー」で提供してもよい。
また、「部」を「回路」又は「工程」又は「手順」又は「処理」に読み替えてもよい。
「回路」及び「サーキットリー」は、プロセッサ９０１だけでなく、ロジックＩＣ又はＧＡ（Ｇａｔｅ Ａｒｒａｙ）又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）又はＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）といった他の種類の処理回路をも包含する概念である。

１００ 表示制御装置、１１０ 物体画像抽出部、１２０ 案内情報取得部、１３０ 表示割当て領域指定部、１４０ 物体空間座標算出部、１５０ 眼球位置検出部、１６０ 接線空間座標算出部、１７０ 表示領域決定部、１８０ 案内情報変形部、１９０ 物体画像追跡部、２１０ 撮影装置、２２０ 距離計測装置、２３０ 眼球位置検出装置、３１０ ＨＵＤ。

Claims (8)

1. ウインドシールドに案内情報が表示される車両に搭載され、
   前記車両の前方を撮影した撮影画像から、前記車両の前方に存在する複数の物体を表す複数の物体画像のうち抽出条件に合致する物体画像を抽出物体画像として抽出する物体画像抽出部と、
   前記撮影画像内で、いずれの抽出物体画像とも重ならない領域であって、いずれかの抽出物体画像と接する領域を、前記案内情報の表示に割当てる表示割当て領域として指定し、前記表示割当て領域と接する抽出物体画像である隣接抽出物体画像を特定し、前記隣接抽出物体画像の前記表示割当て領域との接線を特定する表示割当て領域指定部と、
   前記隣接抽出物体画像に表される物体の三次元空間座標を物体空間座標として算出する物体空間座標算出部と、
   前記接線が三次元空間に存在すると仮定した場合の前記接線の三次元空間座標を、接線空間座標として、前記物体空間座標に基づき算出する接線空間座標算出部と、
   前記接線空間座標と、前記車両の運転者の目の位置の三次元空間座標と、前記ウインドシールドの位置の三次元空間座標とに基づき、前記ウインドシールドでの前記案内情報の表示領域を決定する表示領域決定部とを有する表示制御装置。
2. 前記表示領域決定部は、
   前記車両の運転者の目の位置に向けて、前記接線空間座標に沿った仮想線を前記ウインドシールドに射影させて得られる射影線の前記ウインドシールド内の位置を、前記接線空間座標と、前記車両の運転者の目の位置の三次元空間座標と、前記ウインドシールドの位置の三次元空間座標とに基づき算出し、
   前記射影線の前記ウインドシールド内の位置に基づき、前記ウインドシールドでの前記案内情報の表示領域を決定する請求項１に記載の表示制御装置。
3. 前記表示割当て領域指定部は、
   前記撮影画像内で、いずれの抽出物体画像とも重ならない領域であって、複数の抽出物体画像と接する領域を、前記表示割当て領域として指定し、前記表示割当て領域と接する複数の隣接抽出物体画像を特定し、隣接抽出物体画像ごとに、前記表示割当て領域との接線を特定し、
   前記物体空間座標算出部は、
   隣接抽出物体画像ごとに、物体空間座標を算出し、
   前記接線空間座標算出部は、
   隣接抽出物体画像ごとに、接線空間座標を算出し、
   前記表示領域決定部は、
   複数の接線空間座標と、前記車両の運転者の目の位置の三次元空間座標と、前記ウインドシールドの位置の三次元空間座標とに基づき、前記ウインドシールドでの前記案内情報の表示領域を決定する請求項１に記載の表示制御装置。
4. 前記物体画像抽出部は、
   前記抽出条件に合致する物体画像をｎ角形（ｎは３又は５以上）の輪郭線で包囲して前記抽出物体画像として抽出し、
   前記表示割当て領域探索部は、
   前記撮影画像内で、ｍ角形（ｍは３又は５以上）の領域を、前記表示割当て領域として指定する請求項１に記載の表示制御装置。
5. 前記表示制御装置は、更に、
   前記案内情報の形状に適合する表示割当て領域が存在しない場合に、前記案内情報の形状を変形させる案内情報変形部を有する請求項１に記載の表示制御装置。
6. 前記物体画像抽出部は、
   新たに撮影画像が得られる度に、新たに得られた撮影画像から抽出物体画像を抽出する動作を繰り返し、
   前記表示制御装置は、更に、
   前記表示割当て領域指定部により前記表示割当て領域が指定され、前記隣接抽出物体画像が特定された後に、新たに得られた撮影画像から前記物体画像抽出部により抽出物体画像が抽出される度に、前記物体画像抽出部により抽出された抽出物体画像に前記隣接抽出物体画像として特定された物体画像が含まれるか否かを判定する物体画像追跡部を有し、
   前記表示割当て領域指定部は、
   前記物体画像追跡部により、前記物体画像抽出部により抽出された抽出物体画像に前記隣接抽出物体画像として特定された物体画像が含まれると判定された場合に、前記表示割当て領域の指定を省略する請求項１に記載の表示制御装置。
7. ウインドシールドに案内情報を表示する車両に搭載されるコンピュータが、
   前記車両の前方を撮影した撮影画像から、前記車両の前方に存在する複数の物体を表す複数の物体画像のうち抽出条件に合致する物体画像を抽出物体画像として抽出し、
   前記撮影画像内で、いずれの抽出物体画像とも重ならない領域であって、いずれかの抽出物体画像と接する領域を、前記案内情報の表示に割当てる表示割当て領域として指定し、前記表示割当て領域と接する抽出物体画像である隣接抽出物体画像を特定し、前記隣接抽出物体画像の前記表示割当て領域との接線を特定し、
   前記隣接抽出物体画像に表される物体の三次元空間座標を物体空間座標として算出し、
   前記接線が三次元空間に存在すると仮定した場合の前記接線の三次元空間座標を、接線空間座標として、前記物体空間座標に基づき算出し、
   前記接線空間座標と、前記車両の運転者の目の位置の三次元空間座標と、前記ウインドシールドの位置の三次元空間座標とに基づき、前記ウインドシールドでの前記案内情報の表示領域を決定する表示制御方法。
8. ウインドシールドに案内情報を表示する車両に搭載されるコンピュータに、
   前記車両の前方を撮影した撮影画像から、前記車両の前方に存在する複数の物体を表す複数の物体画像のうち抽出条件に合致する物体画像を抽出物体画像として抽出する物体画像抽出処理と、
   前記撮影画像内で、いずれの抽出物体画像とも重ならない領域であって、いずれかの抽出物体画像と接する領域を、前記案内情報の表示に割当てる表示割当て領域として指定し、前記表示割当て領域と接する抽出物体画像である隣接抽出物体画像を特定し、前記隣接抽出物体画像の前記表示割当て領域との接線を特定する表示割当て領域指定処理と、
   前記隣接抽出物体画像に表される物体の三次元空間座標を物体空間座標として算出する物体空間座標算出処理と、
   前記接線が三次元空間に存在すると仮定した場合の前記接線の三次元空間座標を、接線空間座標として、前記物体空間座標に基づき算出する接線空間座標算出処理と、
   前記接線空間座標と、前記車両の運転者の目の位置の三次元空間座標と、前記ウインドシールドの位置の三次元空間座標とに基づき、前記ウインドシールドでの前記案内情報の表示領域を決定する表示領域決定処理とを実行させる表示制御プログラム。

Images