WO2017168953A1 - 車両用装置、車両用プログラム、フィルタ設計プログラム - Google Patents

Abstract

車両用装置としてのＥＣＵ２は、予め定められている基準座標系で生成する画像生成部１０ａと、運転者の視点位置を特定する視点位置特定部１０ｂと、画像（Ｇ１）を運転者の視野に表示する際の表示位置を特定する重畳位置特定部１０ｃと、画像（Ｇ１）を運転者の視点位置を基準とした座標系に変換した画像である変換画像（Ｇ２）を生成する画像変換部１０ｄと、投影装置７を用いて変換画像に納まる表示画像（Ｇ１１）を運転者の視野に重なるように表示させる報知部１０ｅと、を備える。

Description

車両用装置、車両用プログラム、フィルタ設計プログラム 関連出願の相互参照

　本出願は、２０１６年４月１日に出願された日本出願番号２０１６－０７４３８３号、および２０１６年１１月８日に出願された日本出願番号２０１６－２１８０８４号に基づくもので、ここにその記載内容を援用する。

　本開示は、車両用装置、車両用プログラム、フィルタ設計プログラムに関する。

　ウィンドシールド等の投影面に画像を透過表示させることにより、運転者が見ている風景に画像を重畳表示する投影装置がある。そして、近年では、この投影装置を用いることにより、例えば複雑な交差点での進路方向を実際に走行する道路に合わせて矢印表示したり、道路標識に枠付けすることにより運転者に注意を促したりすることで、運転を支援する車両用装置も出てきている。

　さて、運転者の顔の位置は、必ずしも固定された位置にある訳ではない。そのため、運転者の顔の位置によっては、重畳表示した画像が実際の風景からずれて表示されたりすることがあり、実風景に画像を重畳表示する投影装置のメリットを生かせないことがある。また、ずれた位置に画像を表示することで、運転者に誤解を与えることもある。そのため、例えば特許文献１では、画像の表示方法を工夫することにより、運転者の視点位置によって画像がずれてしまうことを軽減することが提案されている。

特開２００５－６９８００号公報

　しかしながら、発明者の詳細な検討の結果、投影面の大きさは限られていること、また、運転者の顔の位置が上下、前後および左右等にずれた場合には運転者の目の位置もずれることから、運転者の目の位置と投影面との位置関係がずれること等の理由により、根本的な表示位置の位置ずれを解決できないないという課題が見出された。

　本開示は、投影装置から投影する画像を正確に運転者が見ている実際の風景に重なるように表示することができる車両用装置、車両用プログラム、フィルタ設計プログラムを提供することにある。

　本開示の一態様による車両用装置は、運転者に報知する画像を、予め定められた基準座標系で生成する画像生成部と、運転者の目の位置を検出する視点検出部で検出した運転者の目の位置に基づいて、車室内における運転者の目の位置を示す視点位置を特定する視点位置特定部と、生成した画像を運転者の視野に表示する際の表示位置を特定する重畳位置特定部と、生成した画像を運転者の視点位置を基準とした座標系に変換した画像である変換画像を生成する画像変換部と、投影装置を用いて変換画像を運転者の視野に重なるように表示させることにより、運転者に情報を報知する報知部と、を備える構成とする。

　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図１は、第１実施形態のＥＣＵの電気的構成を模式的に示す図であり、 図２は、カメラの視点位置と運転者の視点位置との関係の一例を模式的に示す図であり、 図３は、運転者の顔の位置と視野との関係の一例を模式的に示す図であり、 図４は、ＥＣＵによる車両用プログラムの処理の流れを示す図であり、 図５は、画像を重畳表示した態様の一例を模式的に示す図その１であり、 図６は、画像を重畳表示した態様の一例を模式的に示す図その２であり、 図７は、その他の実施形態のＥＣＵによる座標変換フィルタ生成処理の流れを示す図であり、 図８は、その他の実施形態のＥＣＵによる車両用プログラムの流れを示す図その１であり、 図９は、その他の実施形態のＥＣＵによる車両用プログラムの流れを示す図その２である。

　以下、実施形態について図１から図６を参照しながら説明する。
　図１に示すように、車両用システム１は、車両用装置としてのＥＣＵ２（Electronic Control Unit）、撮像部としてのカメラ３、ミリ波レーダ４、センサ類５、視点検出部６、投影装置７、スピーカ８、マイク９等により構成されている。

　ＥＣＵ２は、車両２０（図２参照）に設けられている。なお、ＥＣＵ２は、車両２０に固定的に設けられていてもよいし、車両２０から着脱可能に設けられていてもよい。ＥＣＵ２は、制御部１０、記憶部１１、操作スイッチ１２等を備えている。制御部１０は、図示しないＣＰＵ、ＲＯＭおよびＲＡＭ等を備えたマイクロコンピュータで構成されている。制御部１０は、例えば記憶部１１に記憶されている制御プログラムを実行することにより、ＥＣＵ２を制御する。

　記憶部１１は、データを読み書き可能な記録媒体で構成されており、上記した制御プログラムや後述する車両用プログラム、画像処理のためのプログラムおよび各種のデータを記憶している。すなわち、記憶部１１は、車両用プログラムを記憶する記録媒体として機能する。また、記憶部１１は、後述するフィルタ設計プログラム記憶する記録媒体として機能する。ただし、記録媒体は、記憶部１１に限らず、ＥＣＵ２から着脱可能なものを採用することもできる。

　また、記憶部１１には、カメラ３の取り付け位置、投影面（Ｃ。図２参照）の３次元形状、運転者のきき目などのデータも記憶されている。操作スイッチ１２は、ＥＣＵ２に対するユーザの各種の操作を入力する。

　制御部１０は、画像生成部１０ａ、視点位置特定部１０ｂ、重畳位置特定部１０ｃ、画像変換部１０ｄ、報知部１０ｅおよび予測部１０ｆ等を備えている。本実施形態では、これらの各部（１０ａ～１０ｅ）は、制御部１０にてプログラムを実行することによって、ソフトウェアで実現されている。ただし、各部（１０ａ～１０ｅ）は、ハードウェアにより提供することができるし、ハードウェアとソフトウェアとの組み合わせによって提供することもできる。

　画像生成部１０ａは、運転者に報知する画像（Ｇ１。図２参照）を、車両２０の進行方向を撮像するカメラ３の視点位置を基準とした座標系で生成する。つまり、本実施形態では、基準座標系は、カメラ３の取り付け位置を基準とした座標系として設定されている。この画像生成部１０ａは、画像を、カメラ３の取り付け位置に基づいて、カメラ３の視野に表示させた場合の画像として生成する。

　ここで、図２に示す画像（Ｇ１）は、実際には投影面（Ｃ）に投影されているものであるが、図２では、ある程度離れた位置に画像が存在しているように運転者には見えていることを模式的に示すために、画像（Ｇ１）を車両２０から離間した位置に示している。

　また、図２では、説明の簡略化のために画像（Ｇ１）を単純な２次元画像とした例を示しているが、当然、運転者から見て３次元的に見える複雑な形状の画像であってもよい。その場合、いわゆる３Ｄ映像のように奥行きを持った３次元の立体画像が運転者に視野に違和感なく表示されることになる。

　視点位置特定部１０ｂは、視点検出部６で検出した運転者の目の位置に基づいて、車室内における運転者の目の位置を示す視点位置を特定する。換言すると、視点位置特定部１０ｂは、運転者の目の位置と投影面（Ｃ）との位置関係を特定する。

　重畳位置特定部１０ｃは、カメラ３の視点位置と運転者の視点位置とに基づいて、投影面（Ｃ）に画像を表示する際の表示位置、つまりは、運転者の視点位置を基準とした画像を表示する際の表示位置を特定する。

　画像変換部１０ｄは、運転者の視点位置に基づいて画像を運転者の視点位置を基準とした座標系に変換することにより、変換画像（Ｇ２。図２参照）つまりは実際に投影面（Ｃ）に投影するための画像を生成する。

　報知部１０ｅは、投影装置７を用いて変換画像（Ｇ２）を運転者の視野に重なるように表示させることによって運転者に報知する。このとき、報知部１０３は、後述するように運転者の視点位置の変化に追従させてリアルタイムに画像を表示する。なお、文字情報等を合わせて表示してもよい。

　予測部（１０ｆ）は、運転者の視点位置の変化を時系列で示す移動履歴に基づいて運転者の視点位置を予測する。
　カメラ３は、ＣＣＤカメラやＣＭＯＳカメラで構成されており、車両２０の進行方向の風景を撮像する。ミリ波レーダ４は、電波を放射し、物体で反射した反射波に基づいて、物体までの距離を検出する。センサ類５は、例えば赤外線センサや近接センサ等により構成されており、周辺の物体を検出する。

　視点検出部６は、運転者の目の位置を検出する。なお、視点検出部６は、様々な手法が周知あるいは周知となっているため、それらの手法を利用すればよい。その場合、画像処理のみによって目の位置を検出する等、運転者に特別な装備を求めること無く検出できるものが望ましい。

　投影装置７は、運転者の視野内に設けられている透明なウィンドシールド３１（図２参照）やコンバイナに虚像を投影するものであり、ヘッドアップディスプレイ（Head-Up Display）とも称される装置である。なお、本実施形態では、ウィンドシールド３１の一部が投影面（Ｃ）とされている。

　スピーカ８は、ＥＣＵ２に対する操作の応答音や、運転者に対するメッセージ等を音声にて報知する。スピーカ８にて報知する構成としてもよい。マイク９は、ＥＣＵ２に対する操作を例えば音声にて入力する。

　また、ＥＣＵ２は、位置検出部１３に接続されている。この位置検出部１３は、ＧＰＳユニットやナビゲーション装置等によって構成されており、自車両の現在位置を検出する。また、ナビゲーション機能を実現するために、地図データ１３ａを備えている。なお、地図データ１３ａは、記憶部１１に記憶していてもよい。

　次に、上記した構成の作用について説明する。
　前述のように、投影装置７を用いることにより、各種の情報を実際の風景に重畳表示させることにより、ユーザが気付いていない可能性の有る危険性を報知できる等のメリットがある一方、実際の風景と重畳させた画像との間に位置ずれが生じると、メリットが生かせない、あるいは、誤った情報を与えてしまうおそれがある。

　ここで、カメラ３の視点位置と運転者の視点位置との違い、ならびに、重畳位置を求める必要性について説明する。図２に示すように、カメラ３は、車両２０の車室内の天井付近に車両２０の前方を撮像可能な位置に取り付けられているものとする。このカメラ３の視点位置つまりはカメラ３の視野（Ａ１）の中心位置は、カメラ３の取り付け位置から求めることができる。

　また、運転者（Ｍ）の視野（Ａ２）は、車室内に設けられている視点検出部６によって運転者（Ｍ）の目の位置を検出することにより特定される。
　さて、カメラ３で実際の風景を撮像し、その風景に重畳する画像（Ｇ１）を画像生成部１０ａにて生成する場合、画像生成部１０ａは、画像（Ｇ１）を、カメラ３の視野（Ａ１）において風景と重なるように生成する。このとき、カメラ３の視野（Ａ１）における画像（Ｇ１）の上端の位置を、便宜的に上端位置（Ｌｃ０）と称する。

　例えば、カメラ３の視点位置を基準として生成された画像（Ｇ１）が、カメラ３の中心線（Ｌｃ１）よりも距離（Ｌ１）だけ下方に位置していたとする。つまり、画像（Ｇ１）は、カメラ３の視野（Ａ１）の座標系においては、中心よりも下方に位置していたものとする。

　一方、この画像（Ｇ１）は、運転者（Ｍ）の視野（Ａ２）からすると、その中心線（Ｌｃ２）よりも距離（Ｌ２）だけ上方に位置していることになる。つまり、画像（Ｇ１）は、運転者（Ｍ）の座標系では、中心よりも上方に位置していることになる。

　そのため、カメラ３の視点位置を基準とした座標系のまま画像（Ｇ２）を表示すると、投影面（Ｃ）が運転者（Ｍ）と実際の風景との間に設けられていることから、画像（Ｇ２）は、運転者（Ｍ）からすると中心線（Ｌｃ２）よりも下方に表示されることになる。その結果、画像（Ｇ２）が、運転者（Ｍ）が見ている風景と重畳しなくなる。

　これは、図３に示すように運転者（Ｍ）の顔の位置が左右にずれた場合も同様である。このため、運転者（Ｍ）の顔の位置が中央位置のときの視野（Ａ２０。上記したＡ２に対応する。）と、顔の位置が右にずれた場合の視野（Ａ２１）と、顔の位置が左にずれた場合の視野（Ａ２２）とでは、投影面（Ｃ）を介して見える風景が異なるため、画像（Ｇ１）が適切に風景に重ならないおそれがある。以下、中央位置を便宜的に通常位置とも称する。また、例えば相対的に背の高い運転者と相対的に背の低い運転者とではそもそもの顔の位置が異なっているし、同じ運転者であっても、運転中に適宜運転姿勢が変化すること、また、シートをリクライニングさせること等により、顔の位置が異なることがある。

　そこで、ＥＣＵ２は、以下のようにして、投影装置７から投影する画像を正確に運転者が見ている実際の風景に重畳表示することができるようにしている。より具体的には、ＥＣＵ２は、車両２０の移動による風景の変化や運転者の視点位置の変化に追従して、運転者に視野に重なるように、画像をリアルタイムで生成、変換および表示する。

　ＥＣＵ２は、図３に示す各処理を実行する。これらの処理は、制御部１０において車両用プログラムを実行することによって行われる。なお各処理は、上記した各部（１０ａ～１０ｅ）によって行われるものの、説明の簡略化のために、以下ではＥＣＵ２を主体として説明する。

　ＥＣＵ２は、まず、カメラ３の視野（Ａ１）内の３次元情報を取得する（Ｓ１０）。つまり、ＥＣＵ２は、カメラ３で車両２０の前方の風景を撮像し、画像に含まれる物体等の検出あるいは抽出を行う。そして、ＥＣＵ２は、カメラ３の視点位置を基準とした座標系にて、運転者に報知する画像画像（Ｇ１）を生成する（Ｓ１１）。

　続いて、ＥＣＵ２は、運転者の視点位置を特定し（Ｓ１２）、生成した画像（Ｇ１）を、運転者の視点位置を基準とした座標系に変換した変換画像（Ｇ２。図２参照）を生成する（Ｓ１３）。つまり、ＥＣＵ２は、生成した画像（Ｇ１）を変換画像（Ｇ２）に変換する変換処理を行っている。このとき、ＥＣＵ２は、表示画面全体に対して変換処理を行うのではなく、運転者に報知する画像に対して変換処理を行う。これにより、処理の負荷が低減される。

　ここで、運転者の視点位置を基準とした座標系に変換する際の座標変換手法としては、例えばいわゆるビュー変換の手法を用いることが考えられる。このビュー変換は、三次元画像を扱うグラフィックス分野で一般的に利用されている手法であることから、ここではその概略を説明する。

　ビュー変換は、ある視点位置から見た状態で生成されている図形を、三次元空間中の別の視点位置から見た状態で表現するための図法である。具体的には、ビュー変換では、平行変換行列を用い、図形を生成した基準座標系における画像の位置を、その図形を見る人の視点位置を基準とした座標系に合わせるように平行移動させる座標変換と、回転変換行列を用い、平行移動させた画像を視点位置に向けて回転させる座標変換との組み合せによる画像の変換が行われている。

　ＥＣＵ２は、上記のステップＳ１３において、このビュー変換の図法を用いて、カメラ３を基準とする基準座標系において生成された画像（Ｇ１）を、その画像を実際に見ることになる運転者の視点位置を基準とした座標系に変換した変換画像（Ｇ２）に変換している。このとき、立体的な画像であれば、奥行きをもって立体的に見える状態で変換が行われる。

　さて、変換画像（Ｇ２）を投影する場合には、投影面（Ｃ）の形状を考慮する必要がある。これは、例えば変換画像（Ｇ１）が正方形であった場合、そのまま投影面（Ｃ）に投影すると、投影面（Ｃ）の表面形状によっては画像が歪んで台形や更には複雑な曲線で形成された図形に見えてしまうことがあるためである。また、運転者の視点位置によっても、つまりは、運転者の顔の位置と投影面（Ｃ）との位置関係によっても、画像が歪んでしまうおそれがある。

　そこで、ＥＣＵ２は、投影面（Ｃ）の３次元形状つまりは表面形状を取得し（Ｓ１４）、変換画像（Ｇ１）をその表面形状と運転者の視点位置と応じて補正する（Ｓ１５）。これにより、補正された変換画像（Ｇ２）つまりは運転者から見て歪みのない画像が生成される。

　そして、ＥＣＵ２は、投影面（Ｃ）の表示範囲を示す枠画像（Ｇ１０。図５参照。境界画像に相当する）を生成し（Ｓ１６）、枠画像（Ｇ１０）と、補正した変換画像（Ｇ２）、より厳密には、変換画像（Ｇ２）内に納まる表示画像（Ｇ１１）とを、投影装置７に送信する（Ｓ１７）。送信された枠画像（Ｇ１０）と表示画像（Ｇ１１）とは、投影装置７によって、図５に示すように投影面（Ｃ）に投影される。

　これにより、運転者の視野には、歪みがなく、また、運転者の視野に正確に重なった表示画像（Ｇ１１）が表示されることになる。
　ところで、投影面（Ｃ）の大きさが限られている場合、運転者に報知したい情報つまりは表示画像（Ｇ１１）の全体を表示できないことがある。例えば図５の場合、進路変更を促す表示画像（Ｇ１１）を表示しているものの、表示画像（Ｇ１１）のうち、枠画像（Ｇ１０）よりも左外側に位置する破線にて示す部分は、表示されないことになる。

　そのため、ＥＣＵ２は、表示を終了するか否かを判定する（Ｓ１８）。なお、表示を終了する場合とは、運転者への報知を終了することを意味している。例えば、交通案内図に対して表示画像を表示した際にその交通案内図を通過した場合や、報知した情報を運転者が認識したことが確認できた場合等には、それ以上画像を表示する意味は無いため、運転者の視野の邪魔にならないように画像の表示を終了する。

　そして、ＥＣＵ２は、表示を終了すると判定した場合には（Ｓ１８：ＹＥＳ）、処理を終了する。一方、ＥＣＵ２は、表示を終了しないと判定した場合には（Ｓ１８：ＮＯ）、ステップＳ１２に移行して、運転者の視点位置の特定以降の処理を繰り返す。このとき、ステップＳ１２に移行するのは、運転者の視点位置が変化した場合に、その変化に追従した表示画像（Ｇ１１）を表示させるためである。これにより、運転者の視点位置の変化に応じた表示画像（Ｇ１１）が報知される。

　具体的には、表示画像（Ｇ１１）の左側が切れている場合、運転者は、表示画像（Ｇ１１）の左側がどうなっているかを知るために、図６に示すように、顔を右に寄せることになる。つまり、表示画像（Ｇ１１）の左側がどうなっているかを知りたい場合には、運転者は、その逆方向つまりは右側に顔を寄せることになる。

　これは、枠画像（Ｇ１０）が窓枠であると想定すると理解し易い。建物に窓があり、窓から見えない左側を見たい場合、人は、顔を右側にずらすことになる。つまり、運転者の顔の位置がずれた場合、表示すべき画像は、運転者の顔の移動方向とは逆方向である。

　そのため、どちらに顔を移動させれば表示されていない部分を見ることができるのかを直感的に運転者に報知するために、ＥＣＵ２は、枠画像（Ｇ１０）を表示する。なお、これは、左右方向だけで無く、上下方向に顔の位置が移動した場合も同様である。

　なお、枠画像（Ｇ１１）は、図５に例示する長方形の枠に限定されず、四隅を示すＬ字状や十字状の図形であってもよいし、実線ではなく破線や二重線等であってもよい。すなわち、投影面（Ｃ）の境界つまりは表示範囲の限界を報知できるものであれば、どのような画像であってもよい。

　このように、ＥＣＵ２は、投影装置７から投影する画像を正確に運転者が見ている実際の風景に重畳表示させている。
　以上説明した実施形態によれば、次のような効果を得ることができる。

　ＥＣＵ２は、画像を車両２０の進行方向を撮像するカメラ３視点位置を基準とした座標系で生成する画像生成部１０ａと、運転者の視点位置を特定する視点位置特定部１０ｂと、画像（Ｇ１）を運転者の視野に表示する際の表示位置を特定する重畳位置特定部１０ｃと、画像（Ｇ１）を運転者の視点位置を基準とした座標系に変換した画像である変換画像（Ｇ２）を生成する画像変換部１０ｄと、投影装置７を用いて変換画像に納まる表示画像（Ｇ１１）を運転者の視野に重なるように表示させる報知部１０ｅと、を備える。

　これにより、カメラ３の視野において風景に重なるように生成された表示画像（Ｇ１）は、運転者の視野において風景に重なる変換画像（Ｇ２）に変換される。そして、変換画像に納まる表示画像（Ｇ１１）が、運転者の視野に重なるように表示される。したがって、投影装置７から投影する画像を正確に運転者が見ている実際の風景に重畳表示することができる。

　つまり、車両２０の移動によって風景が変化したり、運転者が身じろぎする等により視点位置が変化したりした場合であっても、その変化に追従して画像がリアルタイムに生成、変換および表示される。これにより、表示位置の位置ずれが生じることが抑制されるとともに、表示位置がずれた画像が表示され続けることもなくなり、正確に運転者が見ている実際の風景に重なった状態で画像を表示することができる。したがって、運転者が違和感を感じることを抑制することができる。

　また、視点が決まった位置になくても実際の見ている画像に重畳可能な画像を生成することにより、実際の風景への重畳表示のメリットを安定的に提供することができる。
　このとき、カメラ３の視点位置から運転者の視点位置への変換の際には、最終的に表示される表示面全面を対象とするのではなく、重畳する対象図形のみを対象として変換処理を行うので、処理の負荷を低減することができる。

　ＥＣＵ２は、変換画像（Ｇ２）を、投影面（Ｃ）の形状に応じて補正し、補正した変換画像（Ｇ２）を運転者の視野に重なるように表示させる。これにより、投影面（Ｃ）が例えばウィンドシールド３１に沿った曲面形状に形成されていたとしても、運転者から見た場合に歪みのない画像を風景に重畳させて表示することができる。

　ＥＣＵ２は、変換画像（Ｇ２）を、運転者の視点位置に応じて補正し、補正した変換画像（Ｇ２）を運転者の視野に重なるように表示させる。これにより、運転者の顔の位置が変わったとしても、運転者から見た場合に歪みのない画像を風景に重畳表示させることができる。

　ＥＣＵ２は、運転者の視点位置の移動に応じて画像（Ｇ１）を変換する。上記した図５および図６に示したように、顔の位置がずれた場合には、見え方も異なることになる。そのため、画像（Ｇ１）を再生成することにより、顔の位置に応じた表示画像（Ｇ１１）を表示することができる。この場合、生成された画像（Ｇ１）を記憶しておき、視点位置の移動に応じて再変換するようにしてもよい。

　この場合、例えば交通案内図に対して表示画像を表示した際にその交通案内図を通過した場合や、報知した情報を運転者が認識したことが確認できた場合等には、画像の表示を終了することで、運転者の視野を妨げるおそれを低減することができる。

　ＥＣＵ２は、投影面（Ｃ）の表示範囲を示す枠画像（Ｇ１０。境界画像）を生成する。これにより、運転者に対して、例えば表示画像（Ｇ１１）の左側が切れている場合には顔を右にずらせばよいことを直感的に把握させることができる。

　ＥＣＵ２に、画像（Ｇ１）をカメラ３の視点位置を基準とした座標系で生成する処理と、運転者の視点位置を特定する処理と、画像（Ｇ１）を運転者の視野に表示する際の表示位置を特定する処理と、画像（Ｇ１）を運転者の視点位置を基準とした座標系に変換した画像である変換画像（Ｇ２）を生成する処理と、変換画像（Ｇ２）に納まる表示画像（Ｇ１１）を運転者の視野に重なるように表示させる処理と、を実行させる車両用プログラムによっても、投影装置７から投影する画像を正確に運転者が見ている実際の風景に重畳表示することができる等、ＥＣＵ２と同様の効果を得ることができる。

　　　（その他の実施形態）
　本開示は、上記した実施形態にて例示したものに限定されることなく、その要旨をを逸脱しない範囲で任意に変形あるいは拡張することができる。

　実施形態では、視野内の物体に重畳する画像を生成してその画像を変換する例を示したが、物体全体に重畳される画像つまりは内部を塗りつぶした画像ではなく、その物体の輪郭を示す画像を表示するようにしてもよい。この場合、図４のステップＳ１０において物体の輪郭を示す輪郭画像を生成し、ステップＳ１３においてその輪郭画像を変換し、ステップＳ１５において変換画像を補正するようにしてもよい。例えば、交通標識に重ねて画像を表示する際、標識そのものは画像が重ならないようにした方が見やすいため、交通標識の輪郭だけを示すことで、運転者への報知と、運転者の視認性の向上とを両立させることができる。

　また、単純に内部が塗りつぶされた画像を表示する場合には、ステップＳ１０においてまずはその画像の外形を示す外形画像を生成し、ステップＳ１３においてその外形画像を変換し、ステップＳ１５において変換画像を補正し、ステップＳ１７において変換画像の内部を塗りつぶして表示させるようにしてもよい。これにより、画像の内部については変換処理を行うことが不要となり、表示する際には単純に内部を塗りつぶせばよいため、処理負荷の低減を期待できる。

　実施形態では運転者の視点位置を基準として画像（Ｇ１）を生成する例を示したが、更に詳細に、図２あるいは図３において例えば運転者の右目を基準とする等、画像（Ｇ１）を運転者のきき目を起点として生成してもよい。これにより、実際に見ている画像との重畳の一致率が高まり、違和感の無い画像を表示することができる。この場合、投影面の表示範囲内に収まる画像の切れ目と、その切れ目に対して図４のステップ１２にて特定する顔の位置とに基づいて、きき目を取得することもできる。

　実施形態では運転者の視点位置に基づいて画像を表示する例を示したが、運転者の視点位置の時系列での変化を移動履歴として記憶部１１等に記憶し、その移動履歴に基づいて運転者の顔の位置を予測し、その予測に基づいて表示する画像を補正してもよい。つまり、予測部１０ｆにて予測した視点位置に対応するように、画像変換部１０ｄにて画像の変換および投影面（Ｃ）の形状に応じた補正を行えばよい。

　このように視点位置の変化を予測し、その予測に基づいて先回りして画像を変換あるいは補正することにより、顔の位置が変化したことを検出した後に画像の変換や補正を行う場合に比べて、処理の遅れが軽減され、画像の表示遅れを改善することができる。

　この場合、運転者の視点位置の移動履歴だけで無く、表示画像（Ｇ１１）のうち表示されていない部分が投影面（Ｃ）の上下左右のどちらであるか等に基づいて、運転者の顔の位置の移動を予測してもよい。これは、画像が表示範囲から外れて途切れている場合、ユーザは、その途切れた部分を見ようとして顔の位置を移動させると考えられるためである。

　実施形態では変換画像（Ｇ１）を投影面（Ｃ）の表面形状と運転者の視点位置とに応じて補正する例を示したが、投影面（Ｃ）の表面形状や運転者の視点位置との位置関係によっては、いずれか一方に応じて補正する構成であってもよい。

　実施形態ではＥＣＵ２と投影装置７とを別体に設けた例を示したが、一体に設けてもよい。すなわち、投影装置７にＥＣＵ２の機能を実装してもよい。あるいは、既にカメラ３との接続が可能となっているドライブレコーダ装置やナビゲーション装置、あるいは運転者が所有するタブレット端末やスマートフォン等にＥＣＵ２の機能を実装してもよい。

　実施形態では運転者の視点位置の移動に応じて変換画像を再生成する例を示したが、変換画像を記憶しておき、視点位置の移動に応じて変換画像を再補正するようにしてもよい。

　実施形態では画像のみを表示する例を示したが、文字等も、画像（Ｇ１）から表示画像（Ｇ１０）への変換態様と同様に形状を変換することにより、歪みが無い状態で表示することができる。

　実施形態では画像としたが、表示画像（Ｇ１０）は、静止画および動画のいずれであってもよい。
　上記した実施形態の構成により、運転者の目の位置から見た風景と投影面（Ｃ）に投影される画像とを重ねることができるものの、人間の目の構造や脳の図形認識の方法等、まだまだ解明しきれてない要因が存在していることから、そのような要因によって、投影面（Ｃ）に表示した画像が風景とずれていると感じたり、歪んでいると感じたりすることが考えられる。

　この場合、ＥＣＵ２の試験時等、運転者が実際に使うよりも前の段階で、例えば直線が正しく直線として認識できるような補正量等が設定された座標変換フィルタを予め設計しておくことで対処することができる。

　具体的には、図７に示すフィルタ設計プログラムを実行することで、座標変換フィルタを設計する。この、図７では、実施形態の図４の処理とほぼ同一の処理を行う箇所があるため、それらについての詳細な説明は省略する。

　ＥＣＵ２は、ステップＳ１０において３次元情報を取得すると（Ｓ２０）、基準画像を生成する（Ｓ２１）。この基準画像は、例えば直角で構成された格子図形などの比較的単純な図形である。続いて、ＥＣＵ２は、運転席に座った試験者の視点位置を特定し（Ｓ２）、基準画像を、特定した視点位置を基準とした座標系に変換した変換画像を生成する（Ｓ２３）。

　変換画像を生成すると、ＥＣＵ２は、投影面（Ｃ）の形状を取得し（Ｓ２１）、変換画像を投影面（Ｃ）の形状と視点位置とに応じて補正し（Ｃ２５）、枠画像を生成し（Ｓ２６）、補正した変換画像と枠画像とを投影装置に送信して（Ｓ２７）、投影面（Ｃ）に画像を表示させる。

　そして、ＥＣＵ２は、表示している画像の歪みを補正する（Ｓ２８）。より厳密には、このステップＳ２８では、試験者が正しく見えるように補正する操作に従って、表示中の画像の歪みを補正する。

　続いて、ＥＣＵ２は、画像の歪みを補正した際の補正量を取得し（Ｓ２９）、その補正量を、今回の視点位置に対する補正量として関連付けて、座標変換フィルタを作成または更新する（Ｓ３０）。なお、この図７に示す処理が初めて実行された場合には、ステップＳ３０では座標変換フィルタが新規に作成され、２回目以降に実行された場合には、ステップＳ３０では座標変換フィルタが更新される。つまり、視点位置に応じた補正量を特定可能な座標変換フィルタが設計される。

　そして、この図７の処理を、視点位置を変化させながら繰り返し行うことにより、運転者の視点位置とその視点位置における補正量とが互いに関連付けられた座標変換フィルタが更新される。

　これにより、上記した解明しきれてない要因に対処することができ、運転者がより見易いと感じる画像を表示させることができる。なお、この場合、座標変換フィルタは、予め設計しておいてもよいし、運転者によって利用が開始された後に生成されるものであってもよい。

　この座標変換フィルタは、以下のようにして、実運転時に利用される。
　ＥＣＵ２は、図８に示す車両用プログラムを実行する。なお、この図８では、実施形態の図４と同一の処理については同一のステップ番号を付しているので、その詳細な説明は省略する。

　ＥＣＵ２は、実施形態と同様にステップＳ１からの処理を実行し、変換画像の補正（Ｓ１５）と枠画像の生成（Ｓ１６）とが終わると、上記した座標変換フィルタを参照し、最終的に画像を補正する（Ｓ４０）。このステップＳ４０では、運転者の視点位置に基づいて、対応付けられている補正量による補正が行われる。なお、このステップＳ４０の処理は、座標変換部１０ｄにより行われる。

　続いて、ＥＣＵ２は、補正した画像と枠画像とを送信して（Ｓ１７）表示した後、運転者の視線が表示した画像を向いているかを判定し（Ｓ４１）、視線が表示した画像を向いている場合には（Ｓ４１：ＹＥＳ）、視線の揺れを検出する（Ｓ４２）。このとき、視線の揺れは、運転者の視線の中心と画像の表示位置とのずれ量として検出される。なお視線は、視点位置特定部で視点位置を特定する際、視線の向きを合わせて検出すること等により特定することができる。

　そして、ＥＣＵ２は、検出した揺れが規定値以上である場合には（Ｓ４３：ＹＥＳ）、画像の表示位置が、運転者の意識とずれているとして、検出した揺れを座標変換フィルタに反映させる（Ｓ４４）。これにより、この運転者に対する補正量つまりは座標変換フィルタの学習が行われる。なお、視線が画像を向いている場合や（Ｓ４１：ＮＯ）、揺れが規定値未満である場合には（Ｓ４３：ＮＯ）、そのまま処理が終了する。

　これにより、画像を表示させた際に、視線の揺れが検出された場合には、表示位置が運転者の感覚に合っていないと判断することができる。そして、その揺れを座標変換フィルタに反映させることで、上記した解明しきれてない一般的な要因だけで無く、運転者ごとに個別の要因についても対処することができる。

　なお、運転者が異なることも当然予想されるものの、運転者が基本的には変わらないことも当然予想される。また、そもそも事前に座標変換フィルタを設計した際に利用した車両と、実際にＥＣＵ２が設けられる車両とが異なることもある。そのため、座標変換フィルタは、異なる運転者に対応するために車両が利用されるたびにその都度新たに作成する構成としてもよいし、同じ運転者に対応するために過去の運転時の状態を保存しておく構成としてもよい。勿論、運転者からの操作があった場合に新規に作成する構成としてもよい。

　実施形態では、カメラ３で撮像した画像に基づいて特定される３次元空間を基準とした画像を生成する例を示したが、地図データ１３ａに現在位置における風景等を特定可能な高精度のデータを記憶しておき、その地図データ１３ａから特定される絶対空間を基準となる３次元空間を基準としてもよい。つまり、地図データ１３ａに基づいて、基準座標系を設定してもよい。この場合には、図９に示すように、ステップＳ５０において地図データ１３ａに基づいて３次元情報を取得し、実施形態と同様にステップＳ１２以降の処理を行うことにより実現することができる。このような構成によっても、実施形態と同様に、投影装置７から投影する画像を正確に運転者が見ている実際の風景に重畳表示することができる。

　本開示は、実施形態に準拠して記述されたが、当該実施形態や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (12)

1. 　投影面（Ｃ）に画像を表示する投影装置（７）を用いて運転者に情報を報知する車両用装置（２）であって、
   　運転者に報知する画像を、予め定められた基準座標系で生成する画像生成部（１０ａ）と、
   　運転者の目の位置を検出する視点検出部（６）で検出した運転者の目の位置に基づいて、車室内における運転者の目の位置を示す視点位置を特定する視点位置特定部（１０ｂ）と、
   　運転者の視点位置に基づいて、前記画像生成部（１０ａ）で生成した画像を運転者の視野に表示する際の表示位置を特定する重畳位置特定部（１０ｃ）と、
   　運転者の視点位置に基づいて、前記画像生成部（１０ａ）で生成した画像を、運転者の視点位置を基準とした座標系に変換した画像である変換画像を生成する画像変換部（１０ｄ）と、
   　前記投影装置（７）を用いて前記変換画像を運転者の視野に重なるように表示させることにより、運転者に情報を報知する報知部（１０ｅ）と、
   　を備える車両用装置。
2. 　前記画像変換部（１０ｄ）は、前記変換画像を、前記投影面（Ｃ）の形状に応じて補正し、
   　前記報知部（１０ｅ）は、補正した前記変換画像を運転者の視野に重なるように表示させる請求項１記載の車両用装置。
3. 　前記画像変換部（１０ｄ）は、前記変換画像を運転者の視点位置に応じて補正し、
   　前記報知部（１０ｅ）は、補正した前記変換画像を運転者の視野に重なるように表示させる請求項１または２記載の車両用装置。
4. 　前記画像変換部（１０ｄ）は、運転者の視点位置の移動に応じて、前記画像生成部（１０ａ）で生成した画像を再変換する請求項１から３のいずれか一項記載の車両用装置。
5. 　前記画像生成部（１０ａ）は、前記投影面（Ｃ）に表示する画像であって当該投影面（Ｃ）の表示範囲を示す境界画像を生成し、
   　前記報知部（１０ｅ）は、前記変換画像とともに前記境界画像を運転者の視野に重なるように表示させる請求項１から４のいずれか一項記載の車両用装置。
6. 　前記画像変換部（１０ｄ）は、前記画像生成部（１０ａ）で生成した画像を、運転者のきき目を起点として変換する請求項１から５のいずれか一項記載の車両用装置。
7. 　運転者の視点位置の変化を時系列で示す移動履歴に基づいて運転者の視点位置を予測する予測部（１０ｆ）を備え、
   　前記画像変換部（１０ｄ）は、予測した顔の位置に対応する視点位置に対応するように、前記画像生成部（１０ａ）で生成した画像を変換する請求項１から６のいずれか一項記載の車両用装置。
8. 　前記画像生成部（１０ａ）は、前記基準座標系として、撮像部の取り付け位置に基づいて特定される３次元空間を基準とする座標系を用いて運転者に報知する画像を生成する請求項１から７のいずれか一項記載の車両用装置。
9. 　前記画像生成部（１０ａ）は、前記基準座標系として、地図データに基づいて特定される３次元空間を基準とする座標系を用いて、運転者に報知する画像を生成する請求項１から７のいずれか一項記載の車両用装置。
10. 　前記画像変換部（１０ｄ）は、実際の人間が運転席から画像を見た際の見え方に基づいて設計された座標変換フィルタを用いて、前記画像生成部（１０ａ）で生成した画像を変換する、または、前記変換画像を補正する請求項１から９のいずれか一項記載の車両用装置。
11. 　投影面（Ｃ）に画像を表示する投影装置（７）を用いて運転者に情報を報知する車両用装置（１）の制御部（１０）に、
    　運転者に報知する画像を、予め定められた基準座標系で生成する処理と、
    　運転者の目の位置を検出する視点検出部（６）で検出した運転者の目の位置に基づいて、車室内における運転者の目の位置を示す視点位置を特定する処理と、
    　運転者の視点位置に基づいて、画像生成部（１０ａ）で生成した画像を運転者の視野に表示する際の表示位置を特定する処理と、
    　運転者の視点位置に基づいて、前記画像生成部（１０ａ）で生成した画像を、運転者の視点位置を基準とした座標系に変換した画像である変換画像を生成する処理と、
    　前記投影装置（７）を用いて前記変換画像を運転者の視野に重なるように表示させることにより、運転者に情報を報知する処理と、
    　を実行させる車両用プログラム。
12. 　投影面（Ｃ）に画像を表示する投影装置（７）を用いて運転者に情報を報知する車両用装置（１）の制御部（１０）に、
    　報知する基準画像を予め定められた基準座標系で生成する処理と、
    　運転席に位置する人の目の位置を検出する視点検出部（６）で検出した目の位置に基づいて、運転席に位置する人の目の位置を示す視点位置を特定する処理と、
    　特定した視点位置に基づいて、画像生成部（１０ａ）で生成した画像を視野に表示する際の表示位置を特定する処理と、
    　特定した視点位置に基づいて、前記画像生成部（１０ａ）で生成した画像を、運転席に位置する人の視点位置を基準とした座標系に変換した画像である変換画像を生成する処理と、
    　前記投影装置（７）を用いて前記変換画像を運転者の視野に重なるように表示させる処理と、
    　運転席に位置する人の操作に応じて、表示中の画像の歪みを補正する処理と、
    　画像の歪みを補正した際の補正量を取得する処理と、
    　取得した補正量と視点位置とを互いに関連付けることにより、当該視点位置における補正量を特定可能な座標変換フィルタを設計する処理と、
    　を実行させるフィルタ設計プログラム。

Images