WO2013038681A1 - カメラ較正装置、カメラ、及びカメラ較正方法 - Google Patents

Abstract

　較正指標を用いたカメラの較正を簡易な操作で実施可能なカメラ較正装置、カメラ、及びカメラ較正方法を提供する。　本発明に係るカメラ較正装置（１００）は、較正指標（８）を撮像する撮像部（１）と、重畳表示する較正用マーカ（１４）の表示位置を指示する指示部（５）と、較正用マーカが指定された位置に重畳表示されるように画像処理する画像信号処理手段（３）と、較正用マーカ（１４）が、較正指標（８）が有する２点に重なるように表示された場合の較正用マーカ（１４）の表示位置に基づいて、カメラの取り付け角度を算出する演算部（４）と、を備える。

Description

カメラ較正装置、カメラ、及びカメラ較正方法 関連出願の相互参照

　本出願は、２０１１年９月１３日に出願された日本国特許出願２０１１－２００００５号、および２０１２年２月２４日に出願された日本国特許出願２０１２－０３９４１７号の優先権を主張するものであり、これらの先の出願の開示全体を、ここに参照のために取り込む。

　本発明は、カメラの移動体（車体）への取り付け角度を、較正指標を撮像することにより算出して較正を行うカメラ較正装置、カメラ、及びカメラ較正方法に関する。

　近年、自動車をはじめとする各種車両にはドライバーの視界確保の補助を行うことによって運転支援をすべく、車載カメラが取り付けられることがある。車載カメラの撮像画像は例えばナビゲーション装置などのディスプレイに表示されることによりドライバーに認知され、表示画面上には必要に応じて走行予測経路などを示すグラフィックデータが重畳表示される。例えば、車両後方の視界確保のためにバックカメラが搭載される場合、車両の後退時のステアリングの操舵角に基づいて走行予測経路を示すグラフィックデータがリアルタイムで重畳表示されることがある。

　このような車載カメラは作業員によって車体に取り付けられるが、一般的に、その取付精度には少なからず誤差が含まれる。車載カメラの撮像画像に重畳表示されるグラフィックデータの表示位置は、車載カメラの取り付け精度に影響を受けやすく、取付誤差が大きい場合にはグラフィックデータの表示位置が本来の位置からずれてしまい、ドライバーに誤った情報を提供してしまうおそれがある。そこで、この種の車載カメラでは、車外に用意した較正指標を車載カメラで撮像して、撮像画像における較正指標の表示位置を評価することによって、車載カメラの車体への取り付け角度を算出し、較正が行われる。

　従来、車載カメラの較正で較正指標には一般的に立体物が用いられていたが、較正を実施する作業員や現場における簡易性や作業性に鑑み、特許文献１では較正指標として立体物に代えて平面に配置した２次元指標を用いた較正方法の一例が開示されている。特許文献１では、２次元指標を車載カメラで撮像した際に、オペレータが表示位置を操作可能なウィンドウを撮像画像に重畳表示させ、該ウィンドウ内に較正指標が入るようにウィンドウの表示位置を調整することにより、較正に必要なパラメータ（取り付けられた車載カメラのロール、パン、チルト角）の算出を行っている。特許文献１におけるウィンドウの表示位置の操作はユーザインターフェースを介して行われる。

特開２００１－２４５３２６号公報

　上記特許文献１では、ウィンドウ２３の表示位置の調整は、上下左右方向に加えて左右の回転も伴うため、ウィンドウ２３の表示位置を指示するためのユーザインターフェースの構成が複雑であり、オペレータの操作負担も大きい。また、一度の調整作業でウィンドウ２３内に較正指標２２を精度よく収めることは困難であり、数回に亘って調整を繰り返す必要があり、オペレータに調整技量を求めたり、作業負担が大きいという問題点がある。

　本発明は上記問題点に鑑みなされたものであり、較正指標を用いたカメラの較正を簡易な操作で実施可能なカメラ較正装置、カメラ、及びカメラ較正方法を提供することを目的とする。

　本発明に係るカメラ較正装置は上記課題を解決するために、カメラの移動体への取り付け角度を、較正指標を撮像することにより算出して較正を行うカメラ較正装置であって、平面上の互いに離れた２点を有する較正指標を含む撮像画像を取得する撮像部と、前記取得した撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像重畳部と、前記撮像画像における前記較正用マーカの重畳表示位置を指示する指示部と、前記較正用マーカが前記較正指標の２点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記カメラの取り付け角度を算出する演算部と、を備えることを特徴とする。

　本発明に係るカメラ較正装置によれば、微調整の繰り返しなどの煩雑な操作を伴うことなく、容易に較正用マーカの表示位置を較正指標が示す２点に重なるように調整し、カメラの取り付け角度を算出してカメラの較正を行うことができる。

　またバックカメラなどのカメラでは撮像範囲を広く確保するために画角が広い広角レンズが使用される。このような広角レンズは歪みが大きく、特に撮像画像の周辺領域では被写体像が大きく変形してしまう場合がある。このような場合、上記特許文献１では撮像画像に含まれる較正指標２２の像もまた大きく変形してしまい、ウィンドウ２３内に収めることができない場合も想定される。

　また、本発明では較正作業時に較正用マーカをリアルタイムで画面上に表示のための演算量の削減も見込むことができる。つまり、本発明では較正作業時には較正用マーカを上下左右に画像上で平行移動するだけで、位置調整終了後にまとめて較正データの演算を行う。

　好ましくは、前記較正用マーカの移動方向は、上下左右方向とするのがよい。

　好ましくは、前記較正用マーカは、前記較正指標の互いに離れた２点に対応するように前記撮像画像上に２つ表示され、その各々の表示位置は前記指示部によって独立に制御可能であるとよい。

　また、前記較正用マーカは互いに交差する線分からなり、その交点が該較正用マーカの表示位置を示すとよい。このように較正用マーカを構成すると較正用マーカのサイズを大きく確保できるので、オペレータにとってディスプレイなどの表示画面上で較正マーカを容易に視認させ、操作性を向上させることができる。

　また、前記較正用マーカを所定の面積の領域を囲む形状とし、前記演算部は前記較正用マーカが前記較正指標の２点を含むように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記カメラの取り付け角度を算出するようにしてもよい。

　また、前記較正指標は、前記互いに離れた２点間を結ぶ線分として形成されているとよい。

　また、前記画像重畳部は、移動中の較正用マーカを強調表示させてもよい。

　また、前記カメラからの撮像画像は、前記演算部により前記パラメータが算出された後、当該パラメータに対応する量をオフセットさせて出力される。

　また、前記カメラからの撮像画像は、前記演算部により前記パラメータが算出された後、当該パラメータに対応する量をオフセットさせて出力されるか、あるいは、前記画像重畳部は、前記カメラからの撮像画像に対して所定の画像を重畳して表示する際、その重畳位置を前記演算部により算出された前記パラメータに対応する量だけオフセットする。

　なお、カメラ較正装置は、前記較正指標を含む撮像画像に較正用マーカが重畳表示された画像を表示するディスプレイを更に備える構成としてもよい。また、カメラ較正装置は、撮像部を備えずに、平面上の互いに離れた２点を有する較正指標を含む撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像重畳部と、前記撮像画像における前記較正用マーカの重畳表示位置を指示する指示部と、前記較正用マーカが前記較正指標の２点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記カメラの取り付け角度を算出する演算部と、を備える構成としてもよい。

　本発明に係るカメラ較正方法は上記課題を解決するために、カメラの移動体への取り付け角度を、較正指標を撮像することにより算出して較正を行うカメラ較正方法であって、平面上の互いに離れた２点を有する較正指標を含む撮像画像を取得するステップと、前記取得した撮像画像に較正用マーカを重畳表示するステップと、前記撮像画像における前記較正用マーカの重畳表示位置を指示するステップと、前記較正指標の２点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記カメラの取り付け角度を算出するステップと、を備えたことを特徴とする。

　本発明に係るカメラ較正方法は、上述の較正装置（上記各種態様を含む）によって好適に実現することができる。

　また本発明に係るカメラは、カメラの移動体への取り付け角度を、較正指標を撮像することにより算出して較正が可能なカメラであって、平面上の互いに離れた２点を有する較正指標を含む撮像画像を取得する撮像部と、前記取得した撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像重畳部と、前記撮像画像における前記較正用マーカの重畳表示位置の指示を受け付ける指示受付部と、前記較正用マーカが前記較正指標の２点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記取り付け角度を算出する演算部と、を備えることを特徴とする。

　本発明に係るカメラは、上述の較正装置（上記各種態様を含む）を備えることによって好適に実現することができる。

本実施例に係るカメラ較正装置の全体構成を示すブロック図である。 ユーザインターフェースである指示部の操作部の一例である。 較正時に撮像部によって撮像される較正指標の形状のバリエーションである。 ＣＰＵにおける制御内容を段階的に示すフローチャートである。 本発明に係る較正用マーカの移動処理を示すフローチャートである。 本実施例に係るカメラ較正装置における較正用マーカの移動例である。 車両に設置される撮像部と較正指標の位置関係を示したものである。 ワールド座標系の回転移動例を示したものである。 較正用マーカの例を示す図である。 カメラを取り付けた移動体を示す図である。

　図１は本実施例に係るカメラ較正装置１００の全体構成を示すブロック図である。移動体（車体）に取り付けられたカメラ（車載カメラ）である撮像部１は、ＣＭＯＳセンサやＣＣＤなどの撮像素子を備えてなり、不図示のレンズを通じて入射した被写体光を電気信号に変換する。図１０は、撮像部１を取り付けた移動体を示す図である。本実施形態では、図１０に示すように、撮像部１は移動体２００の後部バンパー２１付近に取り付けられ、移動体２００の後方の映像を撮影する。図中の領域Ａは、撮像部１によって映像が撮影される領域である。

　ディスプレイ７は、ユーザにより駐車モードが指示された場合には、カメラ較正装置１００によって生成された映像を表示する。駐車モードとは、移動体２００を運転するユーザから見えづらい移動体２００後方の領域Ａ内の映像をディスプレイ７に表示させることによって、駐車を円滑に行えるように手助けするためのモードである。また、移動体２００後方の領域Ａ内の映像に、更に移動体２００が通過する予測軌跡を重畳して表示し、より円滑に駐車を行えるようにすることもできる。

　また、ユーザによりカメラ較正モードが指示された場合にも、カメラ較正装置１００によって生成された映像を表示する。カメラ較正モードとは、移動体２００後方の領域Ａ内に指標となる物体又は図形を配置し、撮像部１により得られる指標の映像を利用して、ユーザが撮像部１の取り付け位置を較正するためのモードである。このカメラ較正モードは、移動体２００の生産ラインで移動体２００に撮像部１を取り付ける際、あるいは移動体２００に振動が加わるなどの理由により撮像部１の位置がずれた際に用いられる。具体的な較正方法については後述する。

　なお、ディスプレイ７は、ユーザによりナビゲーションモードが指示された場合には、ナビゲーションシステムにより得られた目的地までのルート案内図を表示し、テレビモードが指示された場合には、テレビ受信機により得られたテレビ映像を表示することも可能である。

　映像処理部２は、撮像部１から出力された電気信号を処理することにより、例えばプログレッシブ又はインターレース形式のデジタル画像を表示するための映像信号を生成する。

　画像重畳部３は、撮像部１で取得した撮像画像上の所定位置に、後述する較正作業実施時に用いられる較正用マーカや、移動体が後退時に通過する予測軌跡がグラフィックデータとして重畳表示されるように、映像処理部２から入力された映像信号を処理する。

　撮像画像に重畳表示される較正用マーカの表示は、ＣＰＵ（演算部）４からの指示に基づいて制御される。特に較正用マーカの表示位置は、オペレータが操作可能なユーザインターフェースである指示部５を介して、ＣＰＵ４によって制御されるように構成されている。この指示部５は撮像画像上における較正用マーカの表示位置を移動させるための指示を入力可能な操作部５ａを備えている。

　尚、本発明のカメラ較正装置におけるカメラの構成については特に限定は無く、例えば、撮像部１、映像処理部２、画像重畳部３、ＣＰＵ４、映像出力部６を含む構成であってもよい。

　図２はユーザインターフェースである指示部５の操作部５ａの一例である。操作部５ａには較正開始時にＯＮ操作されるスタートボタン９、較正用マーカを上下左右方向に移動するための移動ボタン１０、較正用マーカの移動完了時にＯＮ操作される位置確定ボタン１１、較正実施時にＯＮされる実行ボタン１２が配置されている。尚、操作部５ａの形態としては図２の例に限定されることなく、例えばマウス、キーボード、ジョイスティック、タッチパネルなどの各種形態をとってもよい。また、これらのボタンは機械スイッチであってもよいし、ディスプレイ７に重ねて配されるタッチパネル上に表示されるオブジェクトであってもよい。

　再び図１に戻って、画像重畳部３にて較正用マーカが重畳された撮像画像は、映像出力部６によって表示用に適したフォーマット（例えばＮＴＳＣなど）の画像信号に変換される。そして、変換後の画像信号が表示手段であるディスプレイ７に入力されることによって、画面上に表示される。

　較正指標８は、移動体２００を予め定められた停止位置に正確に停止した場合における移動体２００の後端から所定の距離（例えば、１ｍ）に配置される物体又は図形であり、例えば、長方形状の板、または路面上に描かれた白線である。つまり、カメラの取り付け角度が正確であれば、移動体２００と較正指標８との位置関係が特定されているため、撮像部１により撮像された較正指標８はディスプレイ７の画面上の必ず特定位置に映ることとなる。もし、較正指標８が特定位置からずれた位置に映る場合には、指示部５により、較正用マーカを較正指標８まで移動させることにより、撮像部１の取り付け角度のずれを特定する較正パラメータを取得することができる。

　ここで図３は較正時に撮像部１によって撮像される較正指標８の形状のバリエーションを示したものである。本実施例で用いられる較正指標８は、平面上に所定間隔で互いに離れた２点Ａ、Ｂを示すように形成されている。

　図３（ａ）の例では、較正指標８は平面上の２点Ａ、Ｂ間を結ぶ線分として形成されており、較正指標８が示す２点Ａ、Ｂが線分の両端に位置するため、ディスプレイ７上に表示された際にオペレータにとって容易に認識することができる。尚、図３（ａ）では２点Ａ、Ｂを示すために較正指標８の両端に黒丸表示を設けているが、このような黒丸表示は不要であってもよいし、線幅を広く設けてオペレータへの視認性を高めるようにしてもよい。また、図３（ｂ）に示すように、較正指標８は両端に２点Ａ、Ｂが含まれるように枠状に設けてもよい。

　このように本実施例で用いられる較正指標８のバリエーションが様々考えられるが、以下の説明では、図３（ａ）に示す形状（両端の黒丸表示は省略した形状）の較正指標８を用いた場合を例に説明することとする。

　続いて、図４を参照してＣＰＵ４における制御内容について具体的に説明する。図４はＣＰＵ４における制御内容を段階的に示すフローチャートである。

　まずＣＰＵ４は、較正を行うために指示部５に較正用マーカの位置変更の要求があったか否かを判定する（ステップＳ１０１）。この要求の有無に関する判定は、指示部５の操作部５ａに設けられたスタートボタン９がオペレータによってＯＮ操作されたことを検知することによって判定される。

　スタートボタン９のＯＮ操作が検知された場合、ＣＰＵ４はオペレータによって上下左右方向に対応する移動ボタン１０のいずれかがＯＮ操作されているかを検知し（ステップＳ１０１）、ＯＮ操作されている移動ボタンの種類に応じて、較正用マーカの表示位置を移動させる（ステップＳ１０２）。この較正用マーカの移動操作は、オペレータがディスプレイ７の画面上に表示される較正用マーカの位置を確認しながらリアルタイムに行われる。尚、ステップＳ１０１にて要求がなかった場合（ステップＳ１０１：ＮＯ）、ＣＰＵ４は処理をステップＳ１０２を省略して、後述するステップＳ１０３に進める。

　図５はステップＳ１０２の較正用マーカの移動処理を示すフローチャートである。図６は本実施例に係るカメラ較正装置１００における較正用マーカの移動例である。図５および図６を参照して較正用マーカを用いた較正処理について説明する。なお、画像重畳部３は、移動対象の較正用マーカ１４ａ、１４ｂを明示してユーザの操作性を高めるために、移動中（選択状態）の較正用マーカを強調表示させるのが好適である。強調表示の方法は、移動中でない（非選択状態の）他の較正用マーカと区別可能な方法であればよく、例えば点滅表示させる、色または太さを変更して表示させる、などである。図５，６に示す例では、較正用マーカを強調表示させている。

　図６（ａ）は初期状態を示しており、表示画面２０上には撮像部１によって取得された撮像画像（カメラ較正装置１００が搭載された移動体の後部バンパー２１と移動体の後方路面上に設けられた較正指標８とが写り込んでいる）と、該撮像画像上に重畳表示された２つの較正用マーカ１４ａ、１４ｂが表示されている。

　較正用マーカ１４ａ、１４ｂはディスプレイ７上に表示された較正指標８に対応するように２つ表示されており、その各々の表示位置は指示部５に設けられた移動ボタン１０を操作することによって独立に制御可能に構成されている。これにより、撮像画像上における２つの較正用マーカ１４ａ、１４ｂの表示位置を独立に制御することができるので、オペレータは各較正用マーカ１４ａ、１４ｂを較正指標８が示す２点Ａ、Ｂに容易に重ねるよう操作できる。

　移動ボタン１０の１回押下に対し例えば０．５度のオフセットを対応づけた場合には、左右方向に対応する移動ボタン１０を１回押下（ＯＮ操作）すると、カメラの撮像方向をパン（左右）方向に０．５度だけ向きを変えるときに生じる撮影画像の移動分量に等しい画素数分だけ、較正用マーカ１４ａ、１４ｂを移動させることになる。上下（チルト）方向においても同様である。

　まずオペレータは２つの較正用マーカ１４ａ、１４ｂのうち、表示画面上で左側に表示されている較正用マーカ１４ａを選択する（ステップＳ２０１）。ステップＳ２０１により較正用マーカ１４ａが選択されると、画像重畳部３は、移動対象である較正用マーカ１４ａを、移動対象でない較正用マーカ１４ｂと区別できるように強調表示する（ステップＳ２０２）。図６（ｂ）（ｃ）は、較正用マーカ１４ａが点滅表示（強調表示）された状態を示している。

　オペレータは、左方向に対応する移動ボタン１０をＯＮ操作し、図６（ｂ）に示すように較正用マーカ１４ａを左側に移動し、較正指標８の左端Ａと左右方向の座標を合わせる（ステップＳ２０３）。続いて、オペレータは上方向に対応する移動ボタン１０をＯＮ操作し、図６（ｃ）に示すように較正用マーカ１４ａを上側に移動し、較正指標８の左端Ａと上下方向の座標を合わせる（ステップＳ２０４）。較正指標８の左端Ａと較正用マーカ１４ａの座標が合ったところで、オペレータは較正用マーカ１４ａの位置合わせ終了の指示を行う（ステップＳ２０５）。位置合わせ終了の指示は、例えば移動ボタン１０を長押し又は二度押し（ダブルクリック）等することにより行ってもよいし、あるいは、操作部５ａに終了指示用ボタンを設け、終了指示用ボタンをＯＮ操作することにより行ってもよい。ＣＰＵ４は、指示部５から位置合わせ終了の指示を受け取ると、画像重畳部３により強調表示を終了させる（ステップＳ２０６）。

　次にオペレータは２つの較正用マーカのうち、表示画面上で右側に表示されている較正用マーカ１４ｂを選択する（ステップＳ２０７）。あるいはＣＰＵ４は、指示部５から較正用マーカ１４ａの位置合わせ終了の指示を受け取ると、較正用マーカ１４ｂが自動で選択されるようにしてもよい。ステップＳ２０７により較正用マーカ１４ｂが選択されると、画像重畳部３は、移動対象である較正用マーカ１４ｂを、移動対象でない較正用マーカ１４ａと区別できるように強調表示する（ステップＳ２０８）。図６（ｄ）（ｅ）は、較正用マーカ１４ｂが点滅表示（強調表示）された状態を示している。

　オペレータは、上述の較正用マーカ１４ａの場合に倣って、左方向に対応する移動ボタン１０をＯＮ操作し、図６（ｄ）に示すように較正用マーカ１４ｂを左側に移動し、較正指標の右端Ｂと左右方向の座標を合わせる（ステップＳ２０９）。続いて、オペレータは上方向に対応する移動ボタン１０をＯＮ操作し、図６（ｅ）に示すように較正用マーカ１４ｂを上側に移動し、較正指標の右端Ｂと上下方向の座標を合わせる（ステップＳ２１０）。較正指標８の右端Ｂと較正用マーカ１４ｂの座標が合ったところで、オペレータは較正用マーカ１４ｂの位置合わせ終了の指示を行う（ステップＳ２１１）。位置合わせ終了の指示は、例えば移動ボタン１０を長押し又は二度押し（ダブルクリック）等することにより行ってもよいし、あるいは、操作部５ａに終了指示用ボタンを設け、終了指示用ボタンをＯＮ操作することにより行ってもよい。ＣＰＵ４は、指示部５から位置合わせ終了の指示を受け取ると、画像重畳部３により強調表示を終了させる（ステップＳ２１２）。

　このように本実施例のカメラ較正装置１００では、較正用マーカ１４ａ、１４ｂを撮像画像上で上下左右方向に移動させるだけで較正指標８が示す２点Ａ、Ｂに重なるように調整できる。すなわち、背景技術のように較正用マーカを回転動作させるなど複雑な調整を行う必要がないので、較正マーカの位置を繰り返しながら調整する手間が不要となり、オペレータの操作負担を効果的に軽減することができる。また、指示部５の操作部５ａに配置される移動ボタン１０も、回転動作がない分だけ簡略化することができ、コスト的にも優れている。

　再び図４に戻って、ＣＰＵ４は較正用マーカ１４ａ、１４ｂの表示位置の変更が完了したか否かを判定する（ステップＳ１０３）。この判定は、操作部５ａに設けられた位置確定ボタン１１がオペレータによってＯＮ操作されたか否かによって判定される。そして、オペレータによって実行ボタン１２がＯＮ操作されると、確定した較正用マーカ１４ａ、１４ｂの表示位置に基づいて較正パラメータ（カメラのロール・パン・チルト角）が算出され、較正が実施される（ステップＳ１０４）。尚、ステップＳ１０３にて較正用マーカ１４ａ、１４ｂの位置決定がなされない場合（ステップＳ１０３：ＮＯ）、ＣＰＵ４は処理をステップＳ１０１に戻し、上述の処理を繰り返す。

　続いて上記ステップＳ１０４で行われる較正パラメータの算出方法について説明する。図７は車両に設置される撮像部１（カメラ）と較正指標８の位置関係を示したものである。撮像部１は車両の後部に設置されており、撮像部１の設置位置は絶対座標であるワールド座標系（Ｘｗ、Ｙｗ、Ｚｗ）における点（ｔｘ、ｔｙ、ｔｚ）で表されている。尚、このワールド座標系（Ｘｗ、Ｙｗ、Ｚｗ）の原点は、図７の例では車両後部バンパーの端部中央０に設定された場合を示しているが、系全体の位置を一義的に規定可能である限りにおいて空間の任意の点に設定してもよいことは言うまでもない。

　撮像部１の位置を基準とした系の相対的な位置関係はカメラ座標系（Ｘｃ、Ｙｃ、Ｚｃ）で表わすことができる。このカメラ座標系（Ｘｃ、Ｙｃ、Ｚｃ）は、撮像部１のワールド座標（ｔｘ、ｔｙ、ｔｚ）を原点とした相対座標系（ワールド座標系に対する平行移動と回転移動）として表される。ここで、図８はワールド座標系（Ｘｗ、Ｙｗ、Ｚｗ）の回転移動例を示したものであり、図８（ａ）～（ｃ）はそれぞれ、Ｚｗを軸とする回転（パン）、Ｙｗを軸とする回転（ロール）、Ｘｗを軸とする回転（チルト）を示している。パンの回転角度をα、ロールの回転角度をβ、チルトの回転角度をγとすると、カメラ座標系（Ｘｃ、Ｙｃ、Ｚｃ）とワールド座標系（Ｘｗ, Ｙｗ, Ｚｗ）との関係は次式（１）で表される。

　ここで、撮像部１のレンズへの被写体光の入射角θ_ｉと、撮像部１が備える撮像素子上における像高ｙとの関係は、例えばピンホール系のレンズを用いている場合、次式（２）で表される。尚、式（２）において、ｆはレンズの焦点距離を表している。

　また、レンズの入射角θ_ｉは次式（３）で算出される。

一方、像高ｙに基づいて画像座標系（ｘｉ，ｙｉ）は、次式（４）（５）（６）で表される。ここで、Ｘmax、Ｙmaxは左右方向及び上下方向の画像サイズ、pix_x、pix_yは左右方向及び上下方向のセンサピクセルサイズである。較正点のワールド座標系での座標は既知であるので、図６に示す一連の指示部５の操作によって２つの較正点Ａ、Ｂの画像上の座標が決まれば、式（１）～（６）より、パン・ロール・チルトのそれぞれの設置角度を算出することができる。

　ＣＰＵ４により較正パラメータが算出された後は、撮像部１は撮像画像を当該較正パラメータに対応する量だけオフセットして出力するか、あるいは、画像重畳部３は重畳画像を撮像部１からの撮像画像に対して当該較正パラメータに対応する量だけオフセットして表示する。これにより、結果的に画像重畳部３は、映像処理部２により生成されたデジタル画像上に予測軌跡などの画像を重畳して重畳画像を生成する際に、較正パラメータが算出される以前の重畳位置からオフセットして重畳されることとなるため、例えば駐車時により高精度な車両通過予測軌跡を表示することができる。

　以上説明したように、本実施例に係るカメラ較正装置によれば、微調整の繰り返しなどの煩雑な操作を伴うことなく、容易に較正用マーカ１４ａ、１４ｂの表示位置を較正指標８が示す２点Ａ、Ｂに重なるように調整し、撮像部１（カメラ）の取り付け角度（パン・ロール・チルト）を算出して較正を行うことができる。特に、較正用マーカ１４ａ、１４ｂの表示位置調整において回転動作が伴うことなく、単に上下左右方向に移動させるだけで調整できるので、オペレータの操作負担が少なく、容易に較正を行うことができる。

　ただし、較正用マーカ１４ａ、１４ｂを厳密に較正指標８の両端Ａ、Ｂに一致させるには時間を要し、また、較正用マーカ１４ａ、１４ｂと較正指標８の両端Ａ、Ｂとが完全に一致しなくても較正パラメータの取得に影響はない。そのため、較正用マーカ１４ａ、１４ｂを所定領域を囲む形状とし、ＣＰＵ４は較正用マーカ１４ａ、１４ｂの所定領域が較正指標８の両端Ａ、Ｂを含む位置関係とされたときに較正用マーカ１４ａ、１４ｂの位置座標を取得するのが好適である。図９は、較正用マーカの例を示す図である。図９（ａ）～（ｄ）に示す較正用マーカは、いずれも所定領域を囲む形状となっている。

本発明は、カメラの移動体への取り付け角度を、較正指標を撮像することにより算出して較正を行うカメラ較正装置、カメラ、及びカメラ較正方法に利用可能である。

１　　　撮像部
２　　　映像処理部
３　　　画像重畳部
４　　　ＣＰＵ（演算部）
５　　　指示部
５ａ　　操作部
６　　　映像出力部
７　　　ディスプレイ
８　　　較正指標
９　　　スタートボタン
１０　　移動ボタン
１１　　位置確定ボタン
１２　　実行ボタン
１４　　較正用マーカ
２０　　表示画面
２１　　後部バンパー
１００　カメラ較正装置
２００　移動体

Claims (13)

1. 　カメラの移動体への取り付け角度を、較正指標を撮像することにより算出して較正を行うカメラ較正装置であって、
   　平面上の互いに離れた２点を有する較正指標を含む撮像画像を取得する撮像部と、
   　前記取得した撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像重畳部と、
   　前記撮像画像における前記較正用マーカの重畳表示位置を指示する指示部と、
   　前記較正用マーカが前記較正指標の２点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記カメラの取り付け角度のずれを較正するパラメータを算出する演算部と、
   を備えることを特徴とするカメラ較正装置。
2. 　前記較正用マーカの移動方向は、上下左右方向であることを特徴とする、請求項１に記載のカメラ較正装置。
3. 　前記較正用マーカは、前記較正指標の互いに離れた２点に対応するように前記撮像画像上に２つ表示され、その各々の表示位置は前記指示部によって独立に制御可能であることを特徴とする請求項１に記載のカメラ較正装置。
4. 　前記較正用マーカは互いに交差する線分からなり、その交点が該較正用マーカの表示位置を示すことを特徴とする請求項１に記載のカメラ較正装置。
5. 　前記較正用マーカは、所定の面積の領域を囲む形状であり、
   　前記演算部は、前記較正用マーカが前記較正指標の２点を含むように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記カメラの取り付け角度を算出することを特徴とする請求項１に記載のカメラ較正装置。
6. 　前記較正指標は、前記互いに離れた２点間を結ぶ線分として形成されていることを特徴とする請求項１に記載のカメラ較正装置。
7. 　前記画像重畳部は、移動中の較正用マーカを強調表示させることを特徴とする請求項１に記載のカメラ較正装置。
8. 　前記カメラからの撮像画像は、前記演算部により前記パラメータが算出された後、当該パラメータに対応する量をオフセットさせて出力されることを特徴とする請求項１に記載のカメラ較正装置。
9. 　前記画像重畳部は、前記カメラからの撮像画像に対して所定の画像を重畳して表示する際、その重畳位置を前記演算部により算出された前記パラメータに対応する量だけオフセットすることを特徴とする請求項１に記載のカメラ較正装置。
10. 　前記較正指標を含む撮像画像に較正用マーカが重畳表示された画像を表示するディスプレイを更に備えることを特徴とする請求項１に記載のカメラ較正装置。
11. 　カメラの移動体への取り付け角度を、較正指標を撮像することにより算出して較正を行うカメラ較正装置であって、
    　平面上の互いに離れた２点を有する較正指標を含む撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像重畳部と、
    　前記撮像画像における前記較正用マーカの重畳表示位置を指示する指示部と、
    　前記較正用マーカが前記較正指標の２点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記カメラの取り付け角度を算出する演算部と、
    を備えることを特徴とするカメラ較正装置。
12. 　カメラの移動体への取り付け角度を、較正指標を撮像することにより算出して較正を行うカメラ較正方法であって、
    　平面上の互いに離れた２点を有する較正指標を含む撮像画像を取得するステップと、
    　前記取得した撮像画像に較正用マーカを重畳表示するステップと、
    　前記撮像画像における前記較正用マーカの重畳表示位置を指示するステップと、
    　前記較正指標の２点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記カメラの取り付け角度を算出するステップと、
    を備えることを特徴とするカメラ較正方法。
13. 　カメラの移動体への取り付け角度を、較正指標を撮像することにより算出して較正が可能なカメラであって、
    　平面上の互いに離れた２点を有する較正指標を含む撮像画像を取得する撮像部と、
    前記取得した撮像画像に較正用マーカが重畳表示されるように、画像信号を処理する画像重畳部と、
    　前記撮像画像における前記較正用マーカの重畳表示位置の指示を受け付ける指示受付部と、
    　前記較正用マーカが前記較正指標の２点に重なるように重畳表示された際の前記較正用マーカの表示位置に基づいて、前記取り付け角度を算出する演算部と、
    を備えることを特徴とするカメラ。

Images