JP5473742B2 - キャリブレーション方法 - Google Patents

Description

本発明は、車両に搭載するカメラのキャリブレーション方法に関する。

車両に複数のカメラを設置し、複数のカメラが撮像した画像を合成して、車両の上方から車両を見下ろした状態の画像をドライバーに提供する全周囲モニターシステムに関する技術が知られている。

全周囲画像を生成するに際しては、複数のカメラのキャリブレーション（カメラ座標、俯角、回転角、カメラパン角度等を求めること）を行い、キャリブレーションの実行結果によって求められるカメラのパラメータに基づいて、各カメラの撮像範囲のずれを補正している。

キャリブレーションの方法としては、複数のカメラを搭載した車両の周囲に、キャリブレーション用のマーカとして、Ｔ字型の冶具を配置してキャリブレーションを実行することが知られている（例えば、特許文献１参照）。

特開２００９−２９４１０９号公報（図１及び２）

キャリブレーションを精度良く実行するためには、３つの基準点を等距離に設けることが重要である。また、キャリブレーションを実行する場所は、複数のカメラを車両に搭載するための整備工場、ディーラー及び車載用品の販売店の整備エリア等であるが、定常的にキャリブレーションを実行するわけではなく、様々な整備、調整及び修理等を合わせて行う必要がある。したがって、キャリブレーションのためだけに大きなＴ字型の冶具を予め用意して、その配置又は収納スペースを確保するのは整備工場、ディーラー及び車載用品の販売店等にとって大きな負担となっていた。

また、カメラと合成画像生成用のＥＣＵとキャリブレーション用マーカをパッケージで販売するにあたっては、Ｔ字型の冶具では、個人向けの販売に対してコストが高くなってしまったり、サイズが大きくなってしまったりして、気軽に購入するという消費者の購買意欲の低下が懸念されていた。

さらに、Ｔ字型の冶具であると、細い３つの腕の先に基準点が提供されることとなるが、線の位置を見つけ出す画像処理技術を利用する場合でも、目視により行う場合であっても、容易ではなかった。

そこで、本発明は、簡単な構成で正確に等距離に配置された３つの基準点を提供することが可能なキャリブレーション用マーカを用いるキャリブレーション方法を提供することを目的とする。

また、本発明は、全周囲画像をユーザに提供するためのオプション品と一緒に梱包可能で、組み立て及び分解が可能なキャリブレーション用マーカを用いるキャリブレーション方法を提供することを目的とする。

本発明に係るキャリブレーション方法は、三角形のマークを用いて、車両に搭載されたカメラのパラメータの調整を行うことを特徴とする。

また、本発明に係るキャリブレーション方法では、両端部に接続構造を有する第１部材と、第１部材と長手方向の長さが同じであって且つ両端部に接続構造を有する第２部材と、第１部材と長手方向の長さが同じであって且つ両端部に接続構造を有する第３部材を有し、第１部材、第２部材及び第３部材のそれぞれの接続構造を接続させることによって形成される三角形のマークを用いることが好ましい。

本発明に係るキャリブレーション方法によれば、簡単に組み立て可能で且つ軽量なキャリブレーション用マーカを用いるキャリブレーション方法を実行することが可能となった。

また、本発明に係るキャリブレーション方法では、３つの部品に分離可能であるため、小さく梱包して配送可能であると共に、同じ長さの３部品を嵌合させることによって、簡単に三角形を形成することができるので、簡単な構成で正確に等距離に配置された３つの基準点を提供するキャリブレーション用マーカを用いることができ、精度良くキャリブレーションを実行することが可能となった。

さらに、本発明に係るキャリブレーション方法では、三角形の各頂点に基準点が提供されているので、画像中から三角形を識別することができれば、その各頂点に基準点が存在することとなるので、前述したＴ字型の冶具と比較して、基準点の位置を見つけ易いという利点がある。これによって、高精度なキャリブレーションを実行することが可能となる。

キャリブレーション用マーカ１００を示した図である。 キャリブレーション用マーカ１００を構成する部材を説明するための図である。 Ｔ字型のキャリブレーション用マーカの一例を示す図である。 車両１に複数のカメラを配置した場合の配線構造の一例を示す図である。 全周囲モニターシステム１００の概略構成図である。 キャリブレーションを実行する場合の説明図である。 カメラのパラメータについて説明するための図である。

以下図面を参照して、本発明に係るキャリブレーション方法について説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。

図１はキャリブレーション用マーカ１００を示した図であり、図２はキャリブレーションマーカ１００を構成する部材を説明するための図である。

キャリブレーション用マーカ１００は、第１部材１１０、第２部材１２０及び第３部材１３０から構成されている。第１部材１１０、第２部材１２０及び第３部材１３０は、幅Ｗの細長い薄板（細幅のストリップ状の部材）であって、同一形状をしている。第１部材１１０の長手方向の両端部には、接続構造として、切り込み１１１及び１１２が形成され、第２部材１２０の長手方向の両端部には、接続構造として、切り込み１２１及び１２２が形成され、第３部材１３０の長手方向の両端部には、接続構造として、切り込み１３１及び１３２が形成されている。第１部材１１０、第２部材１２０及び第３部材１３０の一方の端の切り込みから他方の端の切り込みまでの長さＬはである。一例では、Ｌ＝８００ｍｍ、Ｗ＝５０ｍｍとすることができる。

切り込み１１１、１２１及び１３１は同形状である。また、切り込み１１２、１２２及び１３２も同形状である。切り込み１１１、１２１及び１３１の方が、切り込み１１２、１２２及び１３２より、切込み先端の開口部が広く構成されている。切り込み先端の開口部が大きいと、嵌合し易いので作業性が良いが、分離し易く。逆に、切り込み先端の開口部が小さいと、嵌合し難いので作業性が良くはないがが、分離し難いという利点がある。そこで、キャリブレーション用マーカ１００では、切り込み１１１、１２１及び１３１の方が、切り込み１１２、１２２及び１３２より、切込み先端の開口部を広く構成して、作業性を良くすると供に、嵌合した場合の部材間の接触面積を広くして分離し難い構成としている。なお、作業効率を多少落としたり、多少分離し易くしてもかまわないのであれば、切り込み１１１、１２１及び１３１と、切り込み１１２、１２２及び１３２とを対称的な形状とすることも可能である。

また、切り込み１１１、１２１及び１３１と、切り込み１１２、１２２及び１３２とでは、切り込みが広がってシート自体を破らないように、切り込みの根元部分１１３、１１４、１２３、１２４、１３３及び１３４を円形に切り抜いてある。第１部材１１０〜第３部材１３０を相互に嵌合わせた場合に、両方の部材の切り込みの根元部分の円形箇所が、合わさるように構成されている。

第１部材１１０、第２部材１２０及び第３部材１３０は、全て厚手の紙によって形成されている。しかしながら、プラスチックシート、薄手のプラスチック板、段ボール材料等の他の材料を用いて形成しても良い。また、第１部材１１０、第２部材１２０及び第３部材１３０は、折りたためるような材料、例えば、可撓性を有する材料であることが好ましい。

第１部材１１０、第２部材１２０及び第３部材１３０は、全て表面は黒、裏面は白に着色されている。これにより、黒系の地面でキャリブレーションを実行する場合には、裏面を上側にして配置することで、地面との区別をつけ易くなる。キャリブレーションを実行する場所の路面又は地面に拘らず、キャリブレーション用マーカ１００が区別しやすいように異なった色に着色して、路面や地面に応じて選択できるようにしたものである。しかしながら、他の色を選択しても良い。

図１（ａ）に示すように、第１部材１１０の切り込み１１２が第２部材１２０の切り込み１２１に嵌り合って箇所Ａのところで第１部材１１０及び第２部材１２０が接続されている。第２部材１２０の切り込み１２２が第３部材１３０の切り込み１３１に嵌り合って箇所Ｂのところで第２部材１２０及び第３部材１３０が接続されている。第３部材１３０の切り込み１３２が第１部材１１０の切り込み１１１に嵌り合って箇所Ｃのところで第３部材１３０及び第１部材１１０が接続されている。

図１（ｂ）は、図１（ａ）の点線で囲ったＢの部分の拡大図である。図１（ｂ）に示すように、第２部材の切り込み１２２の根元部分１２４と、第３部材１３０の切り込み１３１の根元部分１３３が合わさるように、第２部材１２０の切り込み１２２と第３部材１３０の切り込み１３１が嵌合わされて、両方の部材が接続されている。このように嵌合わされることによって、部材間の保持力が増し、キャリブレーションを屋外で実行する場合であっても、地面の振動や風等で、各部材が分離し難いキャリブレーション用マーカ１００を構成することが可能となった。

第１部材１１０、第２部材１２０及び第３部材１３０は全て同じ大きさ及び形状を有しているので、図１に示すように組み立てることによって、全ての辺の長さが等しい、略正三角形を簡単に形成することができる。キャリブレーション用マーカ１００の各頂点に配置されている、基準点Ｐ１〜Ｐ３がキャリブレーションに利用される。なお、前述したように、基準点間の距離は、全て長さＬに規定されている。カメラのキャリブレーションについては後述する。

図３は、Ｔ字型のキャリブレーション用マーカの一例を示す図である。

図３に示すＴ字型のキャリブレーション用マーカ２００は、第１部材２０１及び第２部材２０２から簡易に組み立て可能に構成した。しかしながら、第１部材２０１を第２部材２０２の中央部に組み合わせる場合、正確に第１部材２０１と第２部材２０２を直角にすることが難しく、第１部材２０１´のように曲がって組み合わさることが予想される。

しかしながら、前述したように、キャリブレーションを実行する際には、等間隔に配置された３つの基準点が必要であることから、第１部材２０１´のように曲がって第２部材２０２に組み合わさると、正確なキャリブレーションを実行することが困難となる。

これに対して、図１に示す様に、本発明に係るキャリブレーション用マーカ１００では、同じ長さの第１部材１１０、第２部材１２０及び第３部材１３０を組み合わせることによって、略正三角形を簡易且つ確実に組み合わせることが可能である。したがって、基準点Ｐ１〜Ｐ３を等間隔（Ｌ）に容易に配置することができる。

図４は、車両１に複数のカメラを配置した場合の配線構造の一例を示す図である。

図４の例では、第１カメラ１０が車両１の左側のサイドミラーハウジング２に取り付けられ、第２カメラ１１が車両１の右側のサイドミラーハウジング４に取り付けられ、後方を撮像するための第３カメラ１２が車両１の後方に配置され、車両１の前方を撮像するための第４カメラ１３が車両１の前方に配置されている。助手席用シート５の下部には、全周囲画像を形成及びキャリブレーションを実行するためのＥＣＵ８０が配置されており、車両１のフロントパネルには、ナビゲーション装置（ＡＶＮ）９０に含まれるディスプレイ９１が配置されている。

車両１の左側のサイドミラーハウジング２に取り付けられた第１カメラ１０からの信号ケーブル、車両１の右側のサイドミラーハウジング４に取り付けられた第２カメラ１１からの信号ケーブル、第３カメラ１２からの信号ケーブルは、及び第４カメラ１３からの信号ケーブルは、ＥＣＵ８０と接続されている。

図５は、全周囲モニターシステムの概略構成図である。

全周囲モニターシステムは、左側のサイドミラーハウジング２に取り付けられている第１カメラ１０、右側のサイドミラーハウジング本体４に取り付けられた第２カメラ１１、第３カメラ１２、及び第４カメラ１３と、それらが撮像した画像を合成して全周囲画像データを生成するＥＣＵ（電子制御ユニット）８０、生成した全周囲画像データを受信しディスプレイ９１に表示する車載表示装置９０、及びカメラ切換スイッチ９２等から構成されている。

ＥＣＵ８０は、第１カメラ１０〜第４カメラ１３からの画像データを一時的に記憶するバッファメモリ８１、バッファメモリ８１に記録された画像データに基づいて全周囲画像データを生成する画像合成部８２、キャリブレーション用のマーカを抽出するマーカ抽出部８３、パラメータ算出部８４、及びパラメータ記憶部８５等を含んで合成されている。

また、全周囲モニターシステムでは、カメラ切換スイッチ９２の操作によって、合成された車両１の周囲を俯瞰的に、また立体的に映し出す全周囲画像及び各カメラのそれぞれにより撮像された画像の内、所望の画像を選択してディスプレイ９１上に表示させることができる。また、ナビゲーションモードからカメラ映像出力モードに切換えることも可能である。カメラ切換スイッチ９２は、専用のスイッチとして車両１のフロントパネル上に配置するようにしても良いし、車載表示装置９０に付属している他のスイッチやボタンを兼用するようにしても良い。

図６は、キャリブレーションを実行する場合の説明図である。

ＥＣＵ８０は、各基準点間の距離が既知である複数のキャリブレーション用マーカ１００〜１０３を、キャリブレーション対象となる第１カメラ１０〜第４カメラ１３を用いて撮影させる。図１に示した様に、キャリブレーション用マーカ１００は基準点Ｐ１〜Ｐ３を有しており、各基準点間は、距離Ｌに設定されている。キャリブレーション用マーカ１０１〜１０３も、キャリブレーション用マーカ１００と同じ形状であって、それぞれ基準点Ｐ４〜Ｐ６、基準点Ｐ７〜Ｐ９、及び基準点Ｐ１０〜Ｐ１２を有している。ＥＣＵ８０は、第１カメラ１０〜第４カメラ１３に撮影された画像データ中の基準点の位置に基づいて、第１カメラ１０〜第４カメラ１３の設定位置および角度を算出する。

図６に示す様に、キャリブレーション用マーカ１００は、第１カメラ１０の撮影範囲と第４カメラ１３との撮影範囲とが重なる領域に配置されている。同様に、キャリブレーション用マーカ１０１は第２カメラ１１の撮影範囲と第４カメラ１３との撮影範囲とが重なる領域に配置され、キャリブレーション用マーカ１０２は第１カメラ１０の撮影範囲と第３カメラ１２との撮影範囲とが重なる領域に配置され、キャリブレーション用マーカ１０３は第２カメラ１１の撮影範囲と第３カメラ１２との撮影範囲とが重なる領域に配置される。なお、車両１及びキャリブレーション用マーカ１００〜１０３は、全て平坦な箇所に配置されているものとする。

図７は、第１カメラ１０のパラメータについて説明するための図である。

図７に示す様に、カメラのパラメータは、カメラ座標軸系におけるカメラの俯角ψ、カメラの回転角φ、カメラパン角度θと、車両全体座標軸系におけるカメラの３次元座標（ｘ、ｙ、ｚ）を有する。ここで、カメラ座標軸系は、各カメラを基準とした座標軸系とし、車両全体軸座標系は、車両１を基準とした座標軸系とする。

マーカ抽出部は、バッファフレーム８１に記憶された各カメラが撮影した画像データに含まれるキャリブレーション用マーカ１００〜１０３の基準点の位置（以下、「画像座標」と言う）を特定する。マーカ抽出は、周知の処理技術を用いて、まずは、三角形のキャリブレーション用マーカ１００〜１０３を特定し、その各頂点に存在する基準点を特定することにより行う。なお、ディスプレイ９１に各カメラの撮像した画像を表示させ、タッチパネル等のポインティングデバイスを用いて、ユーザがタッチペン等を利用して、基準点を特定するようにしても良い。なお、そのような場合であっても、三角形のキャリブレーション用マーカ１００〜１０３を利用することによって、ユーザが容易に基準点を特定することができる。

次に、パラメータ算出部８４は、各カメラのパラメータ（ψ、θ、φ、ｘ、ｙ、ｚ）を算出する。パラメータ算出部８４は、キャリブレーション用マーカ１００の基準点Ｐ１〜Ｐ３が第１カメラの撮像画像と第３カメラの撮像画像上で重なり合い、キャリブレーション用マーカ１０１の基準点Ｐ４〜Ｐ６が第２カメラ１１の撮影画像と第４カメラ１３の撮影画像上で重なり合い、キャリブレーション用マーカ１０２の基準点Ｐ７〜Ｐ９が第１カメラ１０の撮影画像と第３カメラ１２との撮影画像上で重なり合い、且つキャリブレーション用マーカ１０３の基準点Ｐ１０〜Ｐ１２が第２カメラ１１の撮影画像と第３カメラ１２との撮影画像上で重なり合うように、周知の計算方法を利用して、４つの撮像画像を組み合わせられる様に各カメラのパラメータを決定する。

パラメータ記憶部８５は、パラメータ算出部８５が算出した各カメラのパラメータを記憶する。ユーザは、パラメータ記憶部８５に記憶された各カメラのパラメータに応じて、第１カメラ１０〜第４カメラ１３の位置を調整し、キャリブレーションを完了する。なお、第１カメラ１０〜第４カメラ１３の取り付け位置が決まっている場合には、カメラの俯角ψ、カメラの回転角φ及びカメラパン角度θのみを調整することとなる。

キャリブレーションに応じてパラメータを満足するように第１カメラ１０〜第４カメラ１３の位置を調整することによって、画像合成部８２は、第１カメラ１０〜第４カメラ１３から取得した画像データに基づいて、車両１の周囲を立体的に見廻せるような全周囲画像を生成することが可能となる。

１ 車両
１０ 第１カメラ
１１ 第２カメラ
１２ 第３カメラ
１３ 第４カメラ
８０ ＥＣＵ
９０ 車載表示装置
１００ キャリブレーション用マーカ
１１０ 第１部材
１２０ 第２部材
１３０ 第３部材

Claims (4)

1. 三角形のマークを用いて、車両に搭載されたカメラのパラメータの調整を行うキャリブレーション方法であって、
   前記三角形のマークは、表面と裏面で異なる色に着色されており、キャリブレーションの際に、設置場所と区別しやすい色を選択可能なことを特徴とするキャリブレーション方法。
2. 前記三角形のマークは、
   両端部に接続構造を有する第１部材と、
   前記第１部材と長手方向の長さが同じであって、両端部に接続構造を有する第２部材と、
   前記第１部材と長手方向の長さが同じであって、両端部に接続構造を有する第３部材と、を有し、
   前記第１部材、前記第２部材及び前記第３部材のそれぞれの接続構造を接続させることによって形成される、請求項１に記載のキャリブレーション方法。
3. 前記接続構造は、嵌合用の切り込みである、請求項２に記載のキャリブレーション方法。
4. 前記第１部材、前記第２部材及び前記第３部材は、折りたたみ可能に構成されている、請求項２又は３に記載のキャリブレーション方法。

Images