JP6688989B2

JP6688989B2 - カメラ校正装置およびカメラ校正方法

Info

Publication number: JP6688989B2
Application number: JP2016016382A
Authority: JP
Inventors: 将由道口
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2016-01-29
Filing date: 2016-01-29
Publication date: 2020-04-28
Anticipated expiration: 2036-01-29
Also published as: CN108496354A; CN108496354B; JP2017135680A; WO2017130823A1

Description

本発明は、カメラの校正を行うカメラ校正装置およびカメラ校正方法に関する。

車両に取り付けられたカメラで車両の周囲を撮像し、撮像された画像を用いて運転支援を行う技術が知られている。このような技術では、カメラの取り付け位置の誤差とカメラ自体の製造誤差などにより、撮像された画像に設計値とのずれが生じる。そのため、工場などにおいてカメラの取り付け位置の誤差などを予め校正しておく必要がある。校正の際、校正用マーカをカメラで撮像し、撮像された校正用マーカの画像から特徴点を抽出し、抽出された特徴点の座標に基づいて、カメラを校正するためのカメラパラメータを調整する（例えば、特許文献１参照）。撮像された画像における校正用マーカの画像の占有割合が大きく、特徴点が均等かつ高密度に分布しているほど、校正精度を向上することができる。

特開２０１１−１５５６８７号公報

しかし、設置スペースの制約から、小型の校正用マーカを用いることが望まれている。校正用マーカが小さくなるほど、抽出できる特徴点の数が少なくなるとともに、特徴点は撮像された画像の一部に密集する。この場合、カメラの取り付け位置の誤差による特徴点の動きは、レンズ歪みの影響を受けにくく、平行移動に近くなるため、校正精度が低下する。

本発明はこうした状況に鑑みてなされたものであり、その目的は、カメラの校正精度を向上できる技術を提供することにある。

上記課題を解決するために、本発明のある態様のカメラ校正装置は、カメラで撮像された校正用マーカの画像から複数の第１特徴点を抽出する特徴点抽出部と、前記複数の第１特徴点の、それぞれの第１特徴点によって規定される複数の第１図形の面積を算出する面積算出部と、（１）前記それぞれの第１特徴点の座標と、（２）前記複数の第１図形の、それぞれの第１図形の面積の第１総和と、前記カメラを校正するためのカメラパラメータをもとに、前記画像上における複数の第２特徴点を計算し、前記複数の第２特徴点の、それぞれの第２特徴点によって規定される複数の第２図形の面積を算出し、算出された前記複数の第２図形の、それぞれの第２図形の面積の第２総和と、の差と、に基づいて、前記カメラパラメータを調整する調整部と、を備える。

本発明の別の態様は、カメラ校正方法である。この方法は、カメラで撮像された校正用マーカの画像から複数の第１特徴点を抽出することと、前記複数の第１特徴点の、それぞれの第１特徴点によって規定される複数の第１図形の面積を算出することと、（１）前記それぞれの第１特徴点の座標と、（２）前記複数の第１図形の、それぞれの第１図形の面積の第１総和と、前記カメラを校正するためのカメラパラメータをもとに、前記画像上における複数の第２特徴点を計算し、前記複数の第２特徴点の、それぞれの第２特徴点によって規定される複数の第２図形の面積を算出し、算出された前記複数の第２図形の、それぞれの第２図形の面積の第２総和と、の差と、に基づいて、前記カメラパラメータを調整することと、を備える。

本発明によれば、カメラの校正精度を向上できる。

図１（ａ）は、一実施形態に係る校正の際の車両と校正用マーカとの位置関係を示す図であり、図１（ｂ）は、図１（ａ）の校正用マーカの一例を示す平面図である。図１のカメラ校正装置の概略的な構成を示すブロック図である。図３（ａ）は、カメラの取り付け位置の誤差がない理想的な場合の校正用マーカの画像を示す図であり、図３（ｂ）は、カメラの取り付け位置のヨー角の誤差がある場合の校正用マーカの画像を示す図である。図４（ａ）は、図３（ａ）と図３（ｂ）の特徴点を重ねて示す図であり、図４（ｂ）は、図３（ａ）と図３（ｂ）の特徴点と図形を重ねて示す図である。図１のカメラ校正装置の処理を示すフローチャートである。

図１（ａ）は、一実施形態に係る校正の際の車両Ｃ１と校正用マーカＭ１，Ｍ２との位置関係を示す図であり、図１（ｂ）は、図１（ａ）の校正用マーカＭ１，Ｍ２の一例を示す平面図である。図１（ａ）では、車両Ｃ１の生産工場などにおいてカメラ１０の校正が行われる時の車両Ｃ１の周囲を上方から俯瞰している。車両Ｃ１は、カメラ１０と、カメラ校正装置２０と、を備える。カメラ１０は、車両Ｃ１の後部のバックドアなどに取り付けられ、車両Ｃ１の後方を撮像する。カメラ１０は、車両の中心軸付近に取り付けられてもよいし、車両の中心軸からオフセットして取り付けられてもよい。カメラ校正装置２０は、カメラ１０を校正するためのカメラパラメータを調整する。

校正用マーカＭ１，Ｍ２は、カメラ１０の撮像範囲内における車両Ｃ１の後方の予め定められた位置に、床面に対してほぼ垂直に配置されている。校正用マーカＭ１，Ｍ２は、車両の中心軸の両側にほぼ対称に配置されている。

図１（ｂ）に示すように、各校正用マーカＭ１，Ｍ２は、１６個の正方形がマトリックス状に配列された市松模様を有している。カメラ１０は、この市松模様を撮像する。

図２は、図１のカメラ校正装置２０の概略的な構成を示すブロック図である。カメラ校正装置２０は、画像記憶部２２と、特徴点抽出部２４と、面積算出部２６と、調整部２８と、を備える。

画像記憶部２２は、カメラ１０で撮像された校正用マーカＭ１，Ｍ２の画像を記憶する。

特徴点抽出部２４は、画像記憶部２２に記憶された校正用マーカＭ１，Ｍ２の画像から複数の特徴点を抽出する。特徴点を抽出する方法は特に限定されないが、特徴点抽出部２４は、パターンマッチング技術を用いて特徴点を抽出してもよい。パターンマッチング技術を用いる場合、特徴点抽出部２４は、各特徴点用のテンプレートを画像上で走査させて、そのテンプレートと一致度の高い画像上のパターンから特徴点を抽出する。

面積算出部２６は、特徴点抽出部２４で抽出された特徴点によって規定される図形の面積を算出する。各図形は、３つ以上の特徴点を頂点とする多角形である。

調整部２８は、特徴点抽出部２４で抽出された特徴点の座標と、面積算出部２６で算出された図形の面積とに基づいて、カメラパラメータを調整する。
面積算出部２６と調整部２８の詳細な機能は後述する。

カメラ校正装置２０の構成は、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ハードウエアとソフトウエアの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

カメラパラメータの調整について、図３（ａ），（ｂ）と図４（ａ），（ｂ）を参照して説明する。
図３（ａ）は、カメラ１０の取り付け位置の誤差がない理想的な場合の校正用マーカＭ１，Ｍ２の画像Ｉ１を示す図であり、図３（ｂ）は、カメラ１０の取り付け位置のヨー角の誤差がある場合の校正用マーカＭ１，Ｍ２の画像Ｉ２を示す図である。画像Ｉ１，Ｉ２は、カメラ１０で撮像されている。以下では、図３（ｂ）の場合においてカメラパラメータを調整する一例について説明する。

図４（ａ）は、図３（ａ）と図３（ｂ）の特徴点Ｐ１Ｃ〜Ｐ１０Ｃ，Ｐ１〜Ｐ１０を重ねて示す図であり、図４（ｂ）は、図３（ａ）と図３（ｂ）の特徴点Ｐ１Ｃ〜Ｐ１０Ｃ，Ｐ１〜Ｐ１０と図形Ｆ１Ｃ〜Ｆ８Ｃ，Ｆ１〜Ｆ８を重ねて示す図である。説明を明確化するため、図４（ａ），（ｂ）においては、校正用マーカＭ１，Ｍ２を除去している。

図３（ａ），（ｂ）に示すように、画像Ｉ１には、１０個の特徴点Ｐ１Ｃ〜Ｐ１０Ｃが存在する。画像Ｉ２には、１０個の特徴点Ｐ１〜Ｐ１０が存在する。特徴点Ｐ１，Ｐ１Ｃは、校正用マーカＭ１の中央に位置する。特徴点Ｐ２，Ｐ２Ｃは、校正用マーカＭ１の左上の４つの正方形の中央に位置し、特徴点Ｐ３，Ｐ３Ｃは、校正用マーカＭ１の右上の４つの正方形の中央に位置する。特徴点Ｐ４，Ｐ４Ｃは、校正用マーカＭ１の左下の４つの正方形の中央に位置し、特徴点Ｐ５，Ｐ５Ｃは、校正用マーカＭ１の右下の４つの正方形の中央に位置する。特徴点Ｐ６〜Ｐ１０，Ｐ６Ｃ〜Ｐ１０Ｃと校正用マーカＭ２との関係も同様であるため説明を省略する。

図形Ｆ１は、特徴点Ｐ１〜Ｐ３を頂点とする三角形である。図形Ｆ２は、特徴点Ｐ１，Ｐ４，Ｐ５を頂点とする三角形である。図形Ｆ３は、特徴点Ｐ１，Ｐ２，Ｐ４を頂点とする三角形である。図形Ｆ４は、特徴点Ｐ１，Ｐ３，Ｐ５を頂点とする三角形である。
図形Ｆ５は、特徴点Ｐ６〜Ｐ８を頂点とする三角形である。図形Ｆ６は、特徴点Ｐ６，Ｐ９，Ｐ１０を頂点とする三角形である。図形Ｆ７は、特徴点Ｐ６，Ｐ７，Ｐ９を頂点とする三角形である。図形Ｆ８は、特徴点Ｐ６，Ｐ８，Ｐ１０を頂点とする三角形である。
図形Ｆ１Ｃ〜Ｆ８Ｃと特徴点Ｐ１Ｃ〜Ｐ１０Ｃとの関係も同様であるため説明を省略する。

このように、図２の面積算出部２６は、校正用マーカＭ１の画像において、概ね第１方向（上下方向）ｙに並ぶ１組の図形Ｆ１，Ｆ２の面積と、概ね第２方向（左右方向）ｘに並ぶ１組の図形Ｆ３，Ｆ４の面積と、を算出する。また、面積算出部２６は、校正用マーカＭ２の画像において、概ね第１方向ｙに並ぶ１組の図形Ｆ５，Ｆ６の面積と、概ね第２方向ｘに並ぶ１組の図形Ｆ７，Ｆ８の面積と、を算出する。第２方向ｘは第１方向ｙに交差する。

ここで、校正用マーカＭ１，Ｍ２は、前述のように予め定められた位置に設置されるため、車両Ｃ１を基準とした基準座標系（世界座標系）における校正用マーカＭ１，Ｍ２上の各特徴点の座標は、既知である。基準座標系における既知の特徴点の座標とカメラパラメータとを公知の方法により演算することにより、画像上の特徴点の座標が計算できる。ここでは、初期値のカメラパラメータを用いて計算された画像上の特徴点の座標は、図３（ａ）の理想的な場合の特徴点Ｐ１Ｃ〜Ｐ１０Ｃの座標と等しいとする。

カメラパラメータが最適値であれば、計算された特徴点Ｐ１Ｃ〜Ｐ１０Ｃの各座標は、撮像された画像から抽出された対応する特徴点Ｐ１〜Ｐ１０の座標と等しくなる。カメラパラメータが最適値から異なるほど、特徴点Ｐ１Ｃ〜Ｐ１０Ｃと対応する特徴点Ｐ１〜Ｐ１０の座標は差が大きくなる。そこで、図２の調整部２８は、評価値が小さくなるようにカメラパラメータを繰り返し調整し、カメラパラメータを最適値に近づける。評価値は、第１評価値と第２評価値の和である。

第１評価値は、図４（ａ）に示す距離Ｌ１〜Ｌ１０の総和である。距離Ｌ［ｉ］（ｉは１〜１０の整数）は、計算された特徴点Ｐ［ｉ］Ｃの座標と、撮像された画像から抽出された特徴点Ｐ［ｉ］の座標との距離である。なお、図４（ａ）においては、距離Ｌ１とＬ６は図示を省略している。

第２評価値は、面積差Ｓ１〜Ｓ８の総和である。面積差Ｓ［ｊ］（ｊは１〜８の整数）は、計算された特徴点Ｐ１Ｃ〜Ｐ１０Ｃから算出された図形Ｆ［ｊ］Ｃの面積と、画像から抽出された特徴点Ｐ１〜Ｐ１０から算出された図形Ｆ［ｊ］の面積との差である。

評価値が小さくなるようにカメラパラメータを調整する方法としては、最急降下法などの公知の方法を用いることができる。図２の調整部２８は、例えば、評価値がほぼ一定になった場合、または、評価値が所定のしきい値より小さくなった場合、評価値が収束したと判定してカメラパラメータの調整を終了する。

例えば、図４（ａ）の計算された特徴点Ｐ２Ｃと抽出された特徴点Ｐ２との距離Ｌ２と比較して、図４（ｂ）の図形Ｆ３Ｃの面積と図形Ｆ３の面積との面積差Ｓ３は、数値として大きい。よって、特徴点のみを用いる場合と比較して、繰り返し演算における変化を大きく捉えることができ、校正の精度を向上できる。

また、図形Ｆ３Ｃの面積と図形Ｆ３の面積との面積差Ｓ３と比較して、図形Ｆ１Ｃの面積と図形Ｆ１の面積との面積差Ｓ１は小さい。図形Ｆ４Ｃの面積と図形Ｆ４の面積との面積差Ｓ４と比較して、図形Ｆ２Ｃの面積と図形Ｆ２の面積との面積差Ｓ２は小さい。即ち、カメラ１０の取り付け位置のヨー角の誤差により、図形Ｆ１〜Ｆ８の面積はそれぞれ異なる傾向で変化している。そのため、面積差Ｓ１〜Ｓ８の総和が小さくなるようにカメラパラメータを調整することにより、カメラ１０の取り付け位置のヨー角の誤差をより精度良く校正できる。

同様に、カメラ１０の取り付け位置のピッチ角およびロール角の誤差が存在する場合にも、図形Ｆ１〜Ｆ８の面積はそれぞれ異なる傾向で変化するので、より精度良く校正できる。

図５は、図１のカメラ校正装置２０の処理を示すフローチャートである。まず、特徴点抽出部２４は、カメラ１０で撮像された校正用マーカＭ１，Ｍ２の画像から複数の特徴点Ｐ１〜Ｐ１０を抽出する（Ｓ１）。次に、面積算出部２６は、抽出された特徴点Ｐ１〜Ｐ１０によって規定される図形Ｆ１〜Ｆ８の面積を算出する（Ｓ２）。次に、調整部２８は、抽出された特徴点Ｐ１〜Ｐ１０の座標と、算出された図形Ｆ１〜Ｆ８の面積とに基づいて、カメラパラメータを調整する（Ｓ３）。次に、調整部２８は、評価値が収束したか判定し（Ｓ４）、収束していない場合（Ｓ４のＮ）、Ｓ３の処理に戻る。調整部２８は、評価値が収束した場合（Ｓ４のＹ）、処理を終了する。

調整されたカメラパラメータは、車両Ｃ１内の図示しない記憶部に記憶される。そして、車両Ｃ１内の図示しない画像処理装置は、記憶されたカメラパラメータを用いて、カメラ１０により撮像された画像を補正し、カメラ１０の取り付け位置の誤差などによる歪みが補正された画像を生成する。補正された画像は、ドライバーが車両Ｃ１の後方を確認するためなどに用いられる。

このように、本実施形態によれば、特徴点の座標のみを用いる場合と比較して、カメラパラメータの調整に用いられる特徴量が増える。その上、カメラ１０の取り付け位置の誤差に応じて、面積は特徴点とは異なる変化をする。また、カメラ１０の取り付け位置の誤差による面積の変化量は、カメラ１０の取り付け位置の誤差による特徴点の座標の変化量と比べて大きい。よって、特徴点のみを用いる場合と比較して、校正の精度を向上できる。

従って、特徴点のみを用いる場合と比較して、校正の精度を低下させることなく、より小型の校正用マーカを用いることもできる。

また、カメラ１０のピッチ角と、ヨー角と、ロール角の少なくとも何れかのずれにより、第１方向ｙに並ぶ１組の図形Ｆ１，Ｆ２の面積と、第２方向ｘに並ぶ１組の図形Ｆ３，Ｆ４の面積とは、それぞれ異なる傾向で変化する。同様に、１組の図形Ｆ５，Ｆ６の面積と、１組の図形Ｆ７，Ｆ８の面積も、それぞれ異なる傾向で変化する。そのため、カメラ１０の取り付け位置のピッチ角、ヨー角およびロール角の誤差の影響をより精度良く校正できる。

以上、本発明について、実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素あるいは各処理プロセスの組合せにいろいろな変形例が可能なこと、また、そうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば、１つの校正用マーカを用いてもよい。この場合、上述の実施形態よりも校正精度は低下するが、校正用マーカの設置スペースを削減できる。
また、３つ以上の校正用マーカを用いてもよい。この場合、上述の実施形態よりも校正精度は向上するが、校正用マーカの設置スペースは増加する。

また、１つの校正用マーカにおいて少なくとも１つの図形を規定する３つ以上の特徴点を抽出可能であれば、校正用マーカの具体的な模様は特に限定されない。１つの図形の面積に基づいてカメラパラメータを調整する場合、上述の実施形態よりも校正精度は低下するが、カメラパラメータの調整時間をより短くすることができる場合もある。
また、図形は、三角形以外の多角形であってもよく、それぞれ異なる形状であってもよい。

さらに、第１評価値は、図４（ａ）に示す距離Ｌ１〜Ｌ１０に基づく値であればよく、距離Ｌ１〜Ｌ１０の平均であってもよい。第２評価値は、面積差Ｓ１〜Ｓ８に基づく値であればよく、面積差Ｓ１〜Ｓ８の平均であってもよい。

さらに、カメラ１０が取り付けられる位置は、車両Ｃ１の前部または側部などでもよい。また、カメラ校正装置２０により、車両Ｃ１以外の装置に取り付けられたカメラ１０を校正してもよい。

本発明の一態様は、次の通りである。
［項目１］
カメラで撮像された校正用マーカの画像から複数の特徴点を抽出する特徴点抽出部と、
前記特徴点抽出部で抽出された前記特徴点によって規定される図形の面積を算出する面積算出部と、
前記特徴点抽出部で抽出された前記特徴点の座標と、前記面積算出部で算出された前記図形の面積とに基づいて、前記カメラを校正するためのカメラパラメータを調整する調整部と、
を備えることを特徴とするカメラ校正装置。
この態様によると、カメラの取り付け位置の誤差に応じて面積は特徴点とは異なる変化をするとともに、カメラの取り付け位置の誤差による面積の変化量は、カメラの取り付け位置の誤差による特徴点の座標の変化量と比べて大きいので、校正の精度を向上できる。

［項目２］
前記面積算出部は、第１方向に並ぶ１組の図形の面積と、前記第１方向に交差する第２方向に並ぶ１組の図形の面積と、を算出することを特徴とする項目１に記載のカメラ校正装置。
この場合、カメラのピッチ角と、ヨー角と、ロール角の少なくとも何れかのずれにより、第１方向に並ぶ１組の図形の面積と、第２方向に並ぶ１組の図形の面積とは、それぞれ異なる傾向で変化するので、カメラの取り付け位置の誤差の影響をより精度良く校正できる。

［項目３］
カメラで撮像された校正用マーカの画像から複数の特徴点を抽出するステップと、
抽出された前記特徴点によって規定される図形の面積を算出するステップと、
抽出された前記特徴点の座標と、算出された前記図形の面積とに基づいて、前記カメラを校正するためのカメラパラメータを調整するステップと、
を備えることを特徴とするカメラ校正方法。
この態様によると、カメラの取り付け位置の誤差に応じて面積は特徴点とは異なる変化をするとともに、カメラの取り付け位置の誤差による面積の変化量は、カメラの取り付け位置の誤差による特徴点の座標の変化量と比べて大きいので、校正の精度を向上できる。

１０カメラ、２０カメラ校正装置、２４特徴点抽出部、２６面積算出部、２８調整部。

Claims

カメラで撮像された校正用マーカの画像から複数の第１特徴点を抽出する特徴点抽出部と、
前記複数の第１特徴点の、それぞれの第１特徴点によって規定される複数の第１図形の面積を算出する面積算出部と、
（１）前記それぞれの第１特徴点の座標と、
（２）前記複数の第１図形の、それぞれの第１図形の面積の第１総和と、
前記カメラを校正するためのカメラパラメータをもとに、前記画像上における複数の第２特徴点を計算し、前記複数の第２特徴点の、それぞれの第２特徴点によって規定される複数の第２図形の面積を算出し、算出された前記複数の第２図形の、それぞれの第２図形の面積の第２総和と、の差と、
に基づいて、前記カメラパラメータを調整する調整部と、
を備える、
カメラ校正装置。
カメラで撮像された校正用マーカの画像から複数の第１特徴点を抽出することと、
前記複数の第１特徴点の、それぞれの第１特徴点によって規定される複数の第１図形の面積を算出することと、
（１）前記それぞれの第１特徴点の座標と、（２）前記複数の第１図形の、それぞれの第１図形の面積の第１総和と、前記カメラを校正するためのカメラパラメータをもとに、前記画像上における複数の第２特徴点を計算し、前記複数の第２特徴点の、それぞれの第２特徴点によって規定される複数の第２図形の面積を算出し、算出された前記複数の第２図形の、それぞれの第２図形の面積の第２総和と、の差と、に基づいて、前記カメラパラメータを調整することと、
を備える、
カメラ校正方法。