JP6897442B2 - 車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラム - Google Patents

Description

本発明は、車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラムに関する。

自動車等の車両の運転の安全のため、運転者からの死角や見えにくい場所の確認を正確に行えるように、車両に周囲を撮像するためのカメラを搭載し、撮像された画像を運転者に見やすいように処理して表示させる技術が用いられている。当初、車両の後方をモニタリングするカメラが、続いて、車両の前方をモニタリングするカメラ、側面方向をモニタリングするカメラが車両に搭載され、それらのカメラにより得られる映像により、運転者を補助するための表示が行われてきた。

そして、近年、４か所（前方、後方、および、両側面）に設置された超広角（例えば、180度）・高解像度（例えば、100万画素以上）のカメラから得た画像情報に対して画像処理を施すことにより、車両上方から見下ろしたような俯瞰映像を生成して擬似表示させる技術が広く用いられている。このような技術は、例えば、車庫入れや縦列駐車等を行う場合に運転者から死角となる箇所や見えにくい個所の確認を正確に行えるようにするためのものである。

俯瞰映像を生成して疑似表示させる装置では、４か所のカメラにより撮像された映像に対して、視点変換処理および合成処理を施すことにより、車両上空から見たような映像が生成される。俯瞰映像を生成する装置において、４か所のカメラにより撮像された映像を、車両上空から見たような映像に変換するためには、車両上空の仮想カメラの位置が決まっているとともに、実カメラの位置が確定していることを前提として、画像を変換するために用いられるパラメータが決定される。しかし、実際には、４か所のカメラを全く誤差なく取り付けることは非常に困難であり、カメラ個々のパラメータも、厳密に設計値通りであるとは限らない。したがって、この視点変換処理と合成処理を正しく実行させるためには、カメラの設置向きや画角の調整だけではなく、俯瞰映像を生成する装置における画像変換時の歪み等を修正するためのキャリブレーション（校正）が必要となる。

従来、車両の積載状態が変化する状況下でもキャリブレーションを実施できるとともに、例えば白線に対する車両の平行性を利用することなく、全てのカメラパラメータを精緻に推定してキャリブレーションを実施することができる技術がある（例えば、特許文献１）。

特開2016-070814号公報

一般的には、指定の場所にマーカーやキャリブレーションチャートなどを設置し撮像した結果を評価することにより、俯瞰映像の生成のためのカメラパラメータに対するキャリブレーションが行われる。具体的には、例えば、予め決められた位置に精密に設置された所定のパターンを４か所のカメラで撮影し、実際に撮影された映像が、設計値どおりのカメラで撮影した場合と同一となるように、カメラパラメータが校正される。

俯瞰映像への変換において一番重要となるのは、合成画像において各カメラの画像の境界部分に歪みが発生しないことであり、これは、例えば、図１１に示されるように、車両８１から１ｍ離れた場所に存在する白線９１および９２が、合成された俯瞰映像における各カメラの映像境界９３〜９６付近において、ずれや歪みがなく正しく連続することと、白線９１および９２が、車両８１から平行に１ｍ離れているとユーザから認識できることである。

したがって、例えば、ディーラー等における検査においては、マーカーやキャリブレーションチャートなどを用いた所定のキャリブレーションの後、車両周囲の所定の位置に白線を引く（またはガムテープを張る）などした状態において、各カメラで撮像した白線（またはガムテープによるライン：以下、同様の部分は省略する）を含む俯瞰映像を生成、表示させ、表示された映像上で、白線の歪みやズレがない正常な画像として表示されていることが確認される。例えば、車両の両側面に、車両と平行に白線が引かれている状態で俯瞰映像が表示された場合、図１１に示されるように、表示された俯瞰映像の白線９１または９２がゆがんでいたり、合成部分の映像境界９３〜９６においてずれていた場合、キャリブレーションが正しく行われていないため、再度、カメラパラメータを調整する必要がある。

このように、ディーラー等における検査において、キャリブレーションの後の確認作業のたびに白線等を車両と平行となるように所定位置に引くのは、非常に作業工数がかかる。また、カメラに撮像可能な位置に白線があらかじめ存在する場所で、キャリブレーション後の俯瞰映像の確認を行うことは、白線と車両の位置関係が一定となるように車両を停車させる必要があり、非常に困難である。

上述した特許文献１においては、キャリブレーション時に、各カメラに所定数以上の直線的構造物が撮影されている必要があり、例えば、走行中においては道路の白線が撮影されることが想定されている。すなわち、ディーラーにおける点検時においては、上述した特許文献１に記載の技術を適用しようとしても、従来通り、車両周囲の所定の位置に白線を引いたり、ガムテープを張るなどして直線的構造物を構成するか、または、カメラに撮像可能な位置に白線等の直線構造物があらかじめ存在する場所に点検車両を移動させる必要がある。

また、ディーラーにおける点検時においては、周囲の明るさや地面または床の色によって、キャリブレーションに用いる直線構造物としての白線等を認識しにくくなる可能性があり、その場合、異なる色のテープをあらかじめ用意しておくなどの手間がかかってしまう恐れがある。

さらに、ディーラー等における検査においては、マーカーやキャリブレーションチャートなどを用いたキャリブレーションの後の俯瞰映像の確認作業は、目視で行われているため、その確認結果が安定しない。さらに、俯瞰映像を確認するための直線構造物も、実際には、毎回手作業で白線を引いたり、ガムテープを張ることなどにより用意されているため、キャリブレーション後の俯瞰映像における直線構造物の認識のしやすさ自体にばらつきが生じてしまう。

そこで、本発明は、上記課題を解決すること、すなわち、俯瞰映像を生成する場合に用いられるカメラパラメータのキャリブレーション結果の確認を容易に正確に行うことができる、車両用装置、キャリブレーション結果判定システム、および、キャリブレーション結果判定方法、ならびに、プログラムを提供することを目的とする。

上記課題を解決するために、本発明の車両用装置の一側面は、車両の周囲を撮像するカメラにより撮像された映像を取得する映像取得部と、車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による光束パターンの発光を制御する発光制御部と、映像取得部により取得された映像を用いて、発光制御部により発光が制御された光束パターンを含む俯瞰映像を生成する画像処理部と、画像処理部により生成される俯瞰映像に含まれる光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成部と、重畳画像生成部により生成された重畳画像が重畳された俯瞰映像において、ラインと光束パターンとの重複部分を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定処理部とを含むことを特徴とする。

また、本発明に記載のキャリブレーション結果判定システムの一側面は、上述した本発明の車両用装置と、車両の周囲を撮像するカメラと、車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置とを備えることを特徴とする。

また、本発明に記載のキャリブレーション結果判定方法の一側面は、車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による光束パターンの発光を制御する発光制御ステップと、車両の周囲を撮像するカメラにより撮像された映像を用いて、発光制御ステップの処理により発光が制御された光束パターンを含む俯瞰映像を生成する画像生成ステップと、画像生成ステップの処理により生成された俯瞰映像に含まれる光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成ステップと、重畳画像生成ステップの処理により生成された重畳画像が重畳された俯瞰映像において、ラインと光束パターンとの重複部分を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定ステップとを含むことを特徴とする。

また、本発明に記載のプログラムの一側面は、車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による光束パターンの発光を制御する発光制御ステップと、車両の周囲を撮像するカメラにより撮像された映像を用いて、発光制御ステップの処理により発光が制御された光束パターンを含む俯瞰映像を生成する画像生成ステップと、画像生成ステップの処理により生成された俯瞰映像に含まれる光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成ステップと、重畳画像生成ステップの処理により生成された重畳画像が重畳された俯瞰映像において、ラインと光束パターンとの重複部分を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定ステップとを含むことを特徴とする処理をコンピュータに実行させる。

本発明によれば、俯瞰映像を生成する場合に用いられるカメラパラメータのキャリブレーション結果の確認を容易に正確に行うことができる。

キャリブレーション結果の判定システムの機能構成を示す図である。 光束パターン４２について説明するための図である。 光束パターン４２について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 光束パターンの画像６１、重畳画像６２、および、重複部分６３の表示について説明するための図である。 俯瞰映像の合成境界付近の映像について説明するための図である。 キャリブレーション結果の確認処理について説明するためのフローチャートである。 俯瞰映像について説明するための図である。

以下、本発明の一実施の形態の情報送受信システムについて、図１〜図１０を参照しながら説明する。

図１は、本発明の一実施例である車載装置を含む、キャリブレーション結果の判定システムの機能構成を示す機能ブロック図である。

キャリブレーション結果の判定システムは、カメラ１１−１〜１１−４、表示装置１２、センサ１３、発光装置１４−１〜１４−４、制御装置１５、および、車載装置１６を含んで構成され、車両１に搭載されている。車載装置１６は、車両用装置に対応する。キャリブレーション結果の判定システムは、従来車両１に設けられている、運転者を補助するための車両１周辺の映像や合成処理によって得られる俯瞰映像などを生成して表示させるために用いられている各構成要素の多くを共通して利用することが可能である。

カメラ１１−１〜１１−４のそれぞれは、例えば、車両１の後方をモニタリングするカメラ、車両１の前方をモニタリングするカメラ、ならびに、車両１の両側面方向をモニタリングするカメラである。カメラ１１−１〜１１−４のそれぞれは、車両１の全周囲の映像を撮像可能なように、事前に取り決められる既知の設計情報に基づいて、車両１の所定の位置に取り付けられ、車両１周辺の映像を撮像する。カメラ１１−１〜１１−４のそれぞれは、超広角（例えば、180度）・高解像度（例えば、100万画素以上）であると好適である。カメラ１１−１〜１１−４により得られる映像は、後述する車載装置１６により画像処理が施され、表示装置１２において、運転者を補助するための表示が行われる。具体的には、カメラ１１−１〜１１−４により得られる映像は、車載装置１６により画像処理が施され、車両１の前方、後方、側面のそれぞれの映像が、表示装置１２に表示されることによって、運転者の死角となる部分を確認するための補助を行うことができる。さらに、カメラ１１−１〜１１−４のそれぞれにより撮像された映像に対して、車載装置１６により視点変換処理や合成処理などの画像処理が施されることにより、俯瞰映像が生成されて、表示装置１２に擬似表示させることができる。これ以降、カメラ１１−１〜１１−４を特に区別する必要のない場合、カメラ１１−１〜１１−４をカメラ１１と総称する。

表示装置１２は、例えば、液晶ディスプレイなどで構成されており、後述する車載装置１６により生成された、運転者の死角となる部分を確認するための補助となる車両１の前方、後方、側面のそれぞれの映像や俯瞰映像などを、必要に応じて、メッセージとともに表示する。また、表示装置１２は、後述する車載装置１６の処理により得られる、キャリブレーションが正しく行われたか否かの判定結果の供給を受け、表示する。

センサ１３は車両１周辺の明るさを検出するセンサ１３を含んで構成され、検出結果を、車載装置１６に供給する。センサ１３は、車両１の図示しないその他の動作に必要な情報を検出するものを含んでいるか、または兼用されてもよい。センサ１３は、例えば、車両１周辺の明るさを検出するセンサ１３として、オートライト用のセンサを兼用してもよい。

発光装置１４−１〜１４−４は、車両１外部の、少なくとも車両１両側面の地面（床面）に車両１側面と平行にライン状の光束パターンを照射することができるような位置に設置される。具体的な例として、発光装置１４−１〜１４−４の一部は、例えば、図２に示されるように、車両１の両側のドアミラー４１下部に組み込まれて設置されるものとすることができる。発光装置１４−１〜１４−４は、車載装置１６の制御に基づいて、車両１側面と平行となる地面上にライン状の光束パターン４２を照射する。発光装置１４−１〜１４−４は、少なくとも車両１の両側面に備えられていればよい。しかしながら、発光装置１４−１〜１４−４は、車両１の前方または後方のいずれか、または、両方にも設けられ、車両１の前方または後方のいずれか、または両方の地面上にも、車両１と平行となるライン状の光束パターン４２を照射することが好適である。発光装置１４−１〜１４−４が発光する光束パターン４２の色は、地面の補色または補色に近い色であり、色や輝度（色温度等）は、車載装置１６の後述する発光制御部２５により制御される。これ以降、発光装置１４−１〜１４−４のそれぞれを特に区別する必要がない場合、発光装置１４−１〜１４−４を発光装置１４と総称する。

図３を用いて、光束パターン４２の照射例について説明する。キャリブレーションが正しく行われたか否かの判定において最も重要なのは俯瞰映像の合成の境界付近の映像である。したがって、発光装置１４により発光される光束パターン４２は、少なくとも、境界部分（例えば、図３中の矩形α−１〜α−４のそれぞれに対応する位置）の全てにおいて、境界線をまたがって存在する直線を含むように光束パターン４２が照射されていれば、その形状はどのようなものであってもよい。光束パターン４２は、例えば、複数の直線や矩形等の図形により構成されていてもよい。すなわち、光束パターン４２は、例えば、図３に示されるように、車両１周辺に車両１と一定の幅を有する矩形ａであっても、車両１側面と平行に、車両長以上の長さを有する直線ｂ−１およびｂ−２であっても、境界部分の全てにおいて境界線をまたがって存在する直線ｃ−１〜ｃ−４であってもよい。

図１に戻り、制御装置１５は、車両１の各部（図示しない各部も含んでいてもよい）の動作を制御するものである。発光装置１４が、例えば、図２を用いて説明した両側のドアミラー４１下部に設置されている場合など、キャリブレーションが正しく行われているか否かの判定の処理に車両１の各部の動作が必要となる場合、制御装置１５は、車載装置１６からの制御に基づいて、ドアミラー４１の開閉動作の制御などの必要な処理を実行する。

車載装置１６は、映像取得部２１、操作入力部２２、制御部２３、画像処理部２４、発光制御部２５、重畳画像生成部２６、画像判定処理部２７、および、表示制御部２８を含んで構成されている。車載装置１６は、これ以外にも、例えば、既知の各種表示システム、カーナビゲーションシステム、または、カーオーディオシステム等を含んで構成されていてもよい。

映像取得部２１は、カメラ１１により撮像された映像を取得し、画像処理部２４に供給する。

操作入力部２２は、例えば、タッチパネル、ボタン、キー、または、リモートコントローラからの信号を受信する受信部などで構成されており、ユーザの操作入力を取得して、制御部２３に供給する。

制御部２３は、操作入力部２２から供給されたユーザの操作入力に基づいて車載装置１６の動作を制御するものである。制御部２３は、例えば、後述する画像処理部２４による画像処理、発光制御部２５による発光装置１４の発光制御、重畳画像生成部２６による重畳画像の生成およびその重畳画像の画像処理部２４による合成、ならびに、画像判定処理部２７によるキャリブレーションが正しく行われているか否かの判定処理などを制御する。キャリブレーション結果の確認処理の詳細については図１０のフローチャートを参照して後述する。

また、制御部２３は、操作入力部２２から供給されたユーザの操作入力に基づいて、俯瞰映像生成時のカメラパラメータを校正する既知のキャリブレーションに必要な処理を制御する。具体的には、予め決められた位置に精密に設置された所定のマーカーやキャリブレーションチャートが撮影され、実際に撮影された映像が、設計値どおりのカメラ１１で撮影した場合と同一となるように、操作入力部２２から供給されたユーザの操作入力に基づいて、制御部２３によって、画像処理部２４による俯瞰映像の生成時に用いられるカメラパラメータが校正される。

画像処理部２４は、カメラ１１のそれぞれにおいて撮像され、映像取得部２１から供給された、超広角・高解像度で撮像された映像を、制御部２３の制御に基づいて、既知の歪み関数を用いて映像の歪みを除去する処理などを施すことにより、例えば、運転者の死角となる部分を確認するための補助となる車両１の前方、後方、側面のそれぞれの画像を生成する。また、画像処理部２４は、映像取得部２１から供給された、超広角・高解像度で撮像された、車両１の前方・後方・両側面の全ての映像を用いて、既知のカメラ取り付けに関する設計値などに基づいて、仮想の俯瞰視点から見た映像に視点変換処理し、それらを合成処理することなどにより、車両１上空から地面を見下ろしたような映像である俯瞰映像を生成する。このような視点変換処理および合成処理は、既知のカメラの幾何変換式を使って、それぞれのカメラ１１によって撮影された映像の特定の画素の輝度値を、仮想される俯瞰視点からの映像の対応する特定の画素に割り当てるなどの既知の技術によって実現される。

そして、画像処理部２４は、俯瞰映像の生成のための各パラメータのキャリブレーションが行われる場合、制御部２３の制御に基づいて、キャリブレーションに必要な既知の処理を実行する。

また、画像処理部２４は、キャリブレーション結果の確認処理が行われる場合、制御部２３の制御に基づいて、映像取得部２１から供給された画像に対して、視点変換処理や合成処理などを施して俯瞰映像を生成する。そして、画像処理部２４は、生成した俯瞰映像を、発光制御部２５および重畳画像生成部２６に供給するとともに、後述する重畳画像生成部２６により生成される重畳画像を、俯瞰映像に重畳して、画像判定処理部２７および表示制御部２８に供給する。

発光制御部２５は、制御部２３の制御に基づいて、発光装置１４が発光する光束パターン４２の色や輝度を制御する。発光制御部２５は、キャリブレーション結果の確認処理が行われる場合、制御部２３から発光を指令する制御信号の供給を受け、画像処理部２４から、合成された俯瞰映像を取得して、車両１周辺の地面（床面）の色を検出し、その色に対して補色、または、補色にできるだけ近い色で発光装置１４を発光させる。これにより、地面（床面）に照射される光束パターン４２は、俯瞰映像上で認識しやすいものとなるため、後述するキャリブレーションの結果の確認処理における光束パターン４２の認識が安定したものとなる。また、発光制御部２５は、センサ１３から供給された車両１周辺の明るさの情報に基づいて、または、画像処理部２４から供給された俯瞰映像の輝度情報に基づいて、発光の強さを制御する。この場合、合成された俯瞰映像の映像境界付近の輝度情報に基づいて、光束パターン４２の発光強度を制御すると好適である。これにより、発光強度が弱すぎたり強すぎることにより、合成された俯瞰映像上で光束パターン４２が認識しにくくなることを防止することが可能である。

また、発光制御部２５は、発光装置１４が、例えば、図２を用いて説明した両側のドアミラー４１下部に設置されている等、キャリブレーションが正しく行われているか否かの判定の処理に車両１の各部の動作が必要となる場合、制御装置１５を制御し、車両１の各部（例えば、ドアミラー４１）を動作させ、光束パターン４２を、図３を用いて説明したような所定の位置へ照射させる。

また、発光制御部２５は、発光装置１４による光束パターン４２の照射中においても、画像処理部２４から、合成された俯瞰映像を取得して、車両１周辺の地面（床面）に照射された光束パターン４２が地面（床面）に対して認識しやすいものであるか否かを判断し、その判断結果に基づいて、光束パターン４２の色および輝度を制御する。

重畳画像生成部２６は、発光装置１４により発光される、図３を用いて説明したような光束パターン４２に対して、俯瞰映像生成のためのカメラパラメータが正しくキャリブレーションされている場合に所定幅だけ重なるとともに所定幅だけずれる直線または矩形により構成される重畳画像６２を生成する。重畳画像６２を構成する直線または矩形の色および透過度は、例えば、図４に示されるように、俯瞰映像に含まれる光束パターンの画像６１に対して重畳画像６２が重畳された状態において重なった重複部分６３が識別しやすくなるように設定される。具体的な例としては、光束パターン４２の色が赤である場合、重畳画像６２の色をある程度透過度を有する青とすることにより、重複部分６３が紫色に表示されるため、識別が容易となる。

なお、重畳画像６２の透過度が低すぎたり、透過性を有しない場合、図５に示されるように、重複部分６３として認識するべき光束パターンの画像６１と重畳画像６２とが重なる個所も、重畳画像６２のみしか認識することができなくなる。これに対して、重畳画像６２の透過度が高すぎる場合、図６に示されるように、重複部分６３として認識するべき光束パターンの画像６１と重畳画像６２とが重なる個所も、光束パターンの画像６１のみしか認識することができなくなる。このようなことを避けるため、重畳画像生成部２６は、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３は、図４を用いて説明したように、光束パターンの画像６１と重畳画像６２との色の混色として明確に認識可能なように、重畳画像６２の透過度を制御する。

上述したように、光束パターン４２の色は、地面（または床面）の色や周囲の明るさによって変更されるため、重畳画像生成部２６は、発光制御部２５に光束パターン４２の発光制御の詳細を問い合わせ、その結果に基づいて、重畳画像６２の色および透過度を決定する。

図１に戻り、画像判定処理部２７は、重畳画像生成部２６により生成された重畳画像６２が重畳された映像を、画像処理部２４から取得し、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３を画像認識することによりキャリブレーションが正しく行われたか否かを判定する。

具体的には、例えば、キャリブレーションが正しく行われていた場合、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３は、図４を用いて説明したように、光束パターンの画像６１の色と重畳画像６２との色の混色を有し、設計値によりあらかじめ定められる所定幅の領域として明確に認識される。それに対して、キャリブレーションが正しく行われておらず、画像に歪みが生じている場合には、図７に示されるように、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３の幅は一定ではなくなる。また、キャリブレーションが正しく行われておらず、画像にずれが生じている場合には、図８に示されるように、光束パターンの画像６１と重畳画像６２とが重なる重複部分６３が存在しなくなるか、または、存在しても、重複部分６３の幅の理論値(設計値によりあらかじめ定められる所定のドット数)よりも細くなったり、あるいは、理論値よりも太くなってしまう。

図９を参照して、図３の矩形αで示した画像合成の境界に対応する部分の重複部分６３について説明する。図９においては、画像合成の境界において、光束パターンの画像６１が正しく連続して表示されていない。そして、境界部分に対して表示画面上方の重複部分６３の幅が理論値よりも狭いことにより、対応する部分の映像にずれが生じていることが認識される。また、境界部分に対して表示画面下方側の重複部分６３の幅が一定ではないことにより、対応する部分の映像に歪みが生じていることが認識される。画像判定処理部２７は、それらの判定結果を表示制御部２８に供給する。画像判定処理部２７による判定結果は、俯瞰映像にずれやゆがみが発生していることにより重複部分６３の幅が理論値と異なっている部分の強調表示でもよいし、テキストによるエラーメッセージや、理論値との乖離を示す数値データなどのいずれを含んでいてもよい。また、俯瞰映像のキャリブレーション結果の確認において、ずれやゆがみが一定以上である場合、具体的には、例えば、重複部分６３の幅が理論値よりも所定画素以上異なる箇所がある場合などには、警報を発生したり、俯瞰映像の使用を中止させるものとしてもよい。

表示制御部２８は、画像処理部２４から供給される映像や画像を必要に応じて複数合成したり、必要なメッセージなどを加えて、表示画面を生成し、表示装置１２に供給し、その表示を制御する。また、表示制御部２８は、キャリブレーション結果の確認処理が行われる場合、制御部２３の制御に基づいて、画像判定処理部２７から供給された、キャリブレーションが正しく行われているか否か、また、キャリブレーションが正しく行われていない場合は、どの部分にずれやゆがみが生じているかを示す判定結果を、重畳画像６２が重畳された状態の俯瞰映像とともに、表示装置１２に供給して表示させる。

すなわち、車載装置１６は、カメラ１１により撮像された映像を取得する映像取得部２１と、車両１に対して所定の位置の地面または床面に対して、光束パターン４２を照射する発光装置１４による光束パターン４２の発光を制御する発光制御部２５と、映像取得部２１により取得された映像を用いて、発光制御部２５により発光が制御された光束パターン４２を含む俯瞰映像を生成する画像処理部２４と、画像処理部２４により生成される俯瞰映像に含まれる光束パターンの画像６１に対応する位置に対して、重畳画像６２を生成する重畳画像生成部２６と、重畳画像生成部２６により生成された重畳画像６２が重畳された俯瞰映像において、重畳画像６２と光束パターンの画像６１との重複部分６３を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定処理部２７とを含む構成を有することにより、例えば、ディーラーなどの検査時に、マーカーやキャリブレーションチャートなどを用いた所定のキャリブレーションの後、車両１周囲の所定の位置に白線を引く（またはガムテープを張る）などの煩雑な作業を行うことなく、所定位置に照射される光束パターン４２と、光束パターンの画像６１を含む俯瞰映像に対する処理によって、キャリブレーション結果の確認を容易に正確に行うことができる。

また、上述した構成は、運転者を補助するための車両１周辺の映像や合成処理によって得られる俯瞰映像などを生成するために用いられている各構成要素など、従来車両１に設けられている機構の多くを共通して利用することが可能であるため、低コストで実現することが可能である。

次に、図１０のフローチャートを参照して、キャリブレーション結果の確認処理について説明する。

ステップＳ１において、制御部２３は、操作入力部２２より、キャリブレーション結果の確認処理が指令されたか否かを判断する。ステップＳ１において、キャリブレーション結果の確認処理が指令されていないと判断された場合、キャリブレーション結果の確認処理が指令されたと判断されるまで、ステップＳ１の処理が繰り返される。

ステップＳ１において、キャリブレーション結果の確認処理が指令されたと判断された場合、ステップＳ２において、制御部２３は、画像処理部２４、発光制御部２５、重畳画像生成部２６、画像判定処理部２７、および、表示制御部２８に、キャリブレーション結果の確認処理の開始を指令する。画像処理部２４は、映像取得部２１により取得された映像に対して、仮想の俯瞰視点から見た映像への視点変換処理を施し、それらに対して合成処理を施すことなどにより、俯瞰映像を生成し、発光制御部２５および重畳画像生成部２６に供給する。発光制御部２５は、センサ１３から供給された周辺の明るさの情報、または、画像処理部２４から供給された俯瞰映像のいずれか、または、両方に基づいて、光束パターン４２の色および輝度を演算する。

ステップＳ３において、発光制御部２５は、ステップＳ２の処理における演算結果に基づいて、図２および図３を用いて説明したような光束パターン４２を地面（床面）に照射する。そして、画像処理部２４は、光束パターンの画像６１を含む俯瞰映像を生成する。この時、発光制御部２５は、発光装置１４が、例えば、図２を用いて説明した両側のドアミラー４１下部に設置されている等、キャリブレーションが正しく行われているか否かの判定の処理に車両１の各部の動作が必要となる場合、制御装置１５を制御して、車両１の各部を動作させ、光束パターン４２を所定の位置へ照射させる。

ステップＳ４において、発光制御部２５は、画像処理部２４から供給された、光束パターンの画像６１を含む俯瞰映像に基づいて、撮像された画像において、光束パターンの画像６１は十分に認識可能であるか否かを判断する。ステップＳ４において、撮像された画像の光束パターンの画像６１は十分に認識可能ではないと判断された場合、処理はステップＳ２に戻り、それ以降の処理が繰り返される。

ステップＳ４において、撮像された画像の光束パターンの画像６１は十分に認識可能であると判断された場合、ステップＳ５において、重畳画像生成部２６は、画像処理部２４から供給された俯瞰映像に基づいて、撮像された光束パターンの画像６１から、例えば、図４〜図６を用いて説明したように、重畳画像６２の色および透過度を演算する。

ステップＳ６において、重畳画像生成部２６は、ステップＳ５の処理における演算結果に基づいて、重畳画像６２を生成し、画像処理部２４に供給する。画像処理部２４は、生成した俯瞰映像に重畳画像６２を重畳し、画像判定処理部２７および表示制御部２８に供給する。

ステップＳ７において、画像判定処理部２７は、図７および図８を用いて説明したようにして、光束パターンの画像６１と、重畳画像６２とが重なる重複部分６３を画像認識する。

ステップＳ８において、画像判定処理部２７は、画像認識された重複部分６３の幅や形状に基づいて、キャリブレーション結果は正しいか否かを判断する。

ステップＳ８において、キャリブレーション結果は正しいと判断された場合、ステップＳ９において、画像判定処理部２７は、正しくキャリブレーションされていることを通知するための情報を表示制御部２８に供給する。表示制御部２８は、正しくキャリブレーションされていることを通知するためのメッセージや画像などを生成して、俯瞰映像とともに表示装置１２に供給して表示させ、処理が終了される。

ステップＳ８において、キャリブレーション結果は正しくないと判断された場合、ステップＳ１０において、画像判定処理部２７は、キャリブレーションに誤差が発生している部分を通知する情報を表示制御部２８に供給する。表示制御部２８は、正しくキャリブレーションされていないことを通知するための警告メッセージや、歪みやずれが発生している箇所を示す画像などを生成して、俯瞰映像とともに表示装置１２に供給して表示させ、処理が終了される。

すなわち、車載装置１６が実行するキャリブレーション結果判定方法は、光束パターン４２の発光を制御する発光制御ステップと、カメラ１１により撮像された映像を用いて、発光制御ステップの処理により発光が制御された光束パターン４２を含む俯瞰映像を生成する画像生成ステップと、画像生成ステップの処理により生成された俯瞰映像に含まれる光束パターンの画像６１に対応する位置に対して、重畳画像６２を生成する重畳画像生成ステップと、重畳画像生成ステップの処理により生成された重畳画像６２が重畳された俯瞰映像において、重畳画像６２と光束パターンの画像６１との重複部分６３を検出することにより、俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定ステップの処理を含んでいるので、例えば、ディーラーなどの検査時に、マーカーやキャリブレーションチャートなどを用いた所定のキャリブレーションの後、車両１周囲の所定の位置に白線を引く（またはガムテープを張る）などの煩雑な作業を行うことなくキャリブレーション結果を確認することができる。

また、キャリブレーション結果の確認に用いられる光束パターン４２の色および強さは、地面や床面の色および周辺の明るさに基づいて設定されるので、これにより、キャリブレーションに用いる直線構造物としての白線等を構成するための資材を、周囲の明るさや地面または床の色によって使い分けるなどの手間がなくなる。さらに、キャリブレーション結果は正しいか否かの判定は、目視ではなく、画像処理によって実行され、判定に用いる重畳画像６２の色および透過度は、光束パターンの画像６１の色および強さに対して、重複部分６３が明確に判定可能なように設定されるので、従来の俯瞰画像の目視と比較して、信頼度の高い判定結果を得ることが可能となる。

また、その車両１の利用者が、俯瞰映像に違和感を持った場合、簡単な処理で、俯瞰映像の生成のためのカメラパラメータのキャリブレーションの状態を確認することが可能であるので、正しくキャリブレーションされていない状態の俯瞰映像を利用し続けることを避けたり、キャリブレーションのためにディーラーに持ち込む必要があるか否かを容易に判断することが可能となる。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１…車両、 １１−１〜１１−４…カメラ、 １２…表示装置、 １３…センサ、 １４−１〜１４−４…発光装置、 １５…制御装置、 １６…車載装置、 ２１…映像取得部、 ２２…操作入力部、 ２３…制御部、 ２４…画像処理部、 ２５…発光制御部、 ２６…重畳画像生成部、 ２７…画像判定処理部、 ２８…表示制御部、 ４１…ドアミラー、 ４２…光束パターン、 ６１…光束パターンの画像、 ６２…重畳画像、 ６３…重複部分

Claims (8)

1. 車両の周囲を撮像するカメラにより撮像された映像を取得する映像取得部と、
   前記車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による前記光束パターンの発光を制御する発光制御部と、
   前記映像取得部により取得された前記映像を用いて、前記発光制御部により発光が制御された前記光束パターンを含む俯瞰映像を生成する画像処理部と、
   前記画像処理部により生成される前記俯瞰映像に含まれる前記光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成部と、
   前記重畳画像生成部により生成された前記重畳画像が重畳された前記俯瞰映像において、前記重畳画像と前記光束パターンとの重複部分を検出することにより、前記俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定処理部と
   を有することを特徴とする車両用装置。
2. 請求項１に記載の車両用装置において、
   前記発光制御部は、前記画像処理部により生成された前記俯瞰映像に基づいて、前記光束パターンの発光の色が、前記地面または前記床面の色と補色または補色に近い色となるように制御する
   ことを特徴とする車両用装置。
3. 請求項１または２に記載の車両用装置において、
   前記発光制御部は、前記画像処理部により生成された前記俯瞰映像に基づいて、前記光束パターンの発光の強さを制御する
   ことを特徴とする車両用装置。
4. 請求項１または２に記載の車両用装置において、
   前記発光制御部は、前記車両周辺の明るさの情報を取得し、前記明るさの情報に基づいて、前記光束パターンの発光の強さを制御する
   ことを特徴とする車両用装置。
5. 請求項１から４のいずれかに記載の車両用装置において、
   前記重畳画像生成部は、前記画像処理部により生成された前記俯瞰映像に含まれる前記光束パターンの色に基づいて、前記重畳画像を構成する前記重畳画像の色および透過度を決定する
   ことを特徴とする車両用装置。
6. 請求項１から５のいずれかに記載の車両用装置と、
   車両の周囲を撮像するカメラと、
   前記車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置とを備える
   ことを特徴とするキャリブレーション結果判定システム。
7. 車両における俯瞰映像のカメラパラメータのキャリブレーション結果を判定するキャリブレーション結果判定方法であって、
   車両の周囲を撮像するカメラにより撮像された映像を取得する映像取得ステップと、
   前記車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による前記光束パターンの発光を制御する発光制御ステップと、
   前記映像取得ステップにより取得された前記映像を用いて、前記発光制御ステップにより発光が制御された前記光束パターンを含む俯瞰映像を生成する画像処理ステップと、
   前記画像処理ステップにより生成される前記俯瞰映像に含まれる前記光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成ステップと、
   前記重畳画像生成ステップにより生成された前記重畳画像が重畳された前記俯瞰映像において、前記重畳画像と前記光束パターンとの重複部分を検出することにより、前記俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定処理ステップと
   を含むことを特徴とするキャリブレーション結果判定方法。
8. 車両に搭載されるコンピュータに、
   車両の周囲を撮像するカメラにより撮像された映像を取得する映像取得ステップと、
   前記車両に対して所定の位置の地面または床面に照射される光束パターンを発光する発光装置による前記光束パターンの発光を制御する発光制御ステップと、
   前記映像取得ステップにより取得された前記映像を用いて、前記発光制御ステップにより発光が制御された前記光束パターンを含む俯瞰映像を生成する画像処理ステップと、
   前記画像処理ステップにより生成される前記俯瞰映像に含まれる前記光束パターンに対応する位置に対して、重畳画像を生成する重畳画像生成ステップと、
   前記重畳画像生成ステップにより生成された前記重畳画像が重畳された前記俯瞰映像において、前記重畳画像と前記光束パターンとの重複部分を検出することにより、前記俯瞰映像を生成するためのカメラパラメータが正確にキャリブレーションされているか否かを判定する画像判定処理ステップと
   を含む処理を実行させるためのプログラム。
   
   

Images