JP6326624B2 - キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えたカメラ及びプログラム - Google Patents

Description

本発明は、カメラによって撮影された画像に基づいて、カメラの設置パラメータを算出するキャリブレーションに関する。

近年、車両に設置されたカメラを用いて車両と、車両の前方や後方に存在する物体との距離を測定し、運転者に警告を与える技術が普及している。このように、車両と物体との距離を正確に測定するには、カメラの車両に対する設置位置と設置角度を正確に算出（キャリブレーション）する必要がある。

カメラの車両に対する設置角度を求めるキャリブレーション技術としては、一般的には、実空間上で平行な直線が画像空間上で交わる点（消失点）を利用した技術が存在する。

消失点を利用したキャリブレーション技術によれば、車両の進行方向に平行な平行線から算出される消失点（深消失点）と、それ以外の平行線から算出される消失点の少なくとも２つの消失点からカメラの設置角度が算出される。

以降では、カメラの設置角度をカメラの設置パラメータと称する。

消失点を利用し、カメラの設置パラメータを算出するキャリブレーション技術としては、あらかじめ図形的な特徴量が記憶されている路面標示が撮影された画像から、実空間上の２組の平行線を抽出し、抽出した２組の平行線から２つの消失点を算出する技術（特許文献１）が存在する。

特開２００８−１１１７４号公報

しかしながら、上記の特許文献１に記載の技術では、平面に対するカメラの設置パラメータを算出するためには、カメラの設置パラメータを求める平面上に平行線を２組準備する必要がある。もしくは、平面上の２組の平行線を抽出する必要がある。

本発明の目的は、上記の課題を解決するためのものであって、平面に対するカメラの設置パラメータを、カメラの設置パラメータを求める平面上の２組の平行線を用いることなく算出することができるキャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えたカメラ及びプログラムを提供することである。

上記の課題を解決するために、本発明のキャリブレーション装置は、平面に対するカメラの設置パラメータを算出するキャリブレーション装置であって、前記平面に対して実質的に垂直な２つの直線状の線を撮影した画像を取得する取得部と、前記取得部が取得した画像から画像処理によって前記２つの直線状の線を抽出する抽出部と、前記抽出部が抽出した前記２つの直線状の線から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記平面に対するカメラの設置パラメータを算出する算
出部を備えた構成となっている。

ここで、平面に対するカメラの設置パラメータとは、カメラ座標系を、カメラの光軸をＺ_ｃ軸、Ｚ_ｃ軸に垂直でカメラからカメラの上方に向かう方向をＹ_ｃ軸、Ｚ_ｃ軸とＹ_ｃ軸に垂直となる方向をＸ_ｃ軸とし、カメラの設置パラメータの、ロール角をＺ_ｃ軸回りの回転角、ピッチ角をＸ_ｃ軸回りの回転角、ヨー角をＹ_ｃ軸回りの回転角とし、ヨー角、ピッチ角、ロール角の順番で回転させた場合のロール角とピッチ角をいう。

本発明によれば、平面に対するカメラの設置パラメータを、カメラの設置パラメータを求める平面上の２組の平行線を用いることなく算出することができる。

本発明の実施の形態１に係るキャリブレーション装置の構成例を示すブロック図 本発明の実施の形態１に係るキャリブレーション装置の動作例を示すフローチャート 本発明の実施の形態１に係るキャリブレーション装置がカメラから画像を取得する状況を示す説明図 本発明の実施の形態１に係るカメラで撮影された画像を示す説明図 本発明の実施の形態１に係る算出部１０３の動作を説明する概念図 本発明の実施の形態１に係る座標系の定義を説明する説明図 本発明の実施の形態１に係る世界座標系とカメラ座標系の関係と直交世界座標系とカメラ座標系の関係を説明する説明図 本発明の実施の形態１に係る世界座標系と直交世界座標系の関係を説明する説明図 本発明の実施の形態１に係る車両の移動後にカメラで撮影された画像を示す説明図 本発明の実施の形態１に係る車両の移動に伴うヨー角推定の動作を説明する概念図 本発明の実施の形態２に係るキャリブレーション装置の構成例を示すブロック図 本発明の実施の形態２に係るキャリブレーション装置の動作例を示すフローチャート 本発明の実施の形態２に係るキャリブレーション装置がカメラから画像を取得する状況を示す説明図 本発明の実施の形態２に係るカメラで撮影された第１の画像を示す説明図 本発明の実施の形態２に係るカメラで撮影された第２の画像を示す説明図 本発明の実施の形態２に係る算出部１１０３の動作を説明する概念図

以下、本発明の実施の形態について図面を用いて説明する。なお、本発明の実施の形態では、カメラが移動体としての車両に設置されている場合について説明するが、カメラは移動体に設置される場合に限られるものではない。

（実施の形態１）
以下、本発明の第１の実施の形態におけるキャリブレーション装置について説明する。

図１は、本発明の実施の形態１に係るキャリブレーション装置の構成を示すブロック図である。

図１において、キャリブレーション装置１００は、車両に設置されたカメラ１１０が撮影した移動平面（例えば、路面）に対して実質的に垂直な２つの直線状の線を含む画像を取得する取得部１０１と、取得部１０１が取得した画像から、画像処理によって移動平面に対して実質的に垂直な２つの直線状の線を抽出する抽出部１０２と、抽出部１０２が抽出した２つの直線状の線から、移動平面に対するカメラの設置パラメータを算出する算出部１０３を備えた構成となっている。

図２は、キャリブレーション装置１００の動作を示すフローチャート、図３はキャリブレーション装置１００の取得部１０１が、カメラ１１０から画像を取得するときの車両配置状況を示した説明図である。

図３において、第１の直線ａと第２の直線ｂは移動平面３００に対して実質的に垂直である。第１の直線ａと第２の直線ｂは、例えば、移動平面３００に実質的に垂直に立てられた２本の円柱状の立体や、移動平面３００に対して実質的に垂直に立てられた平らな板などに描かれた実質的に垂直な２つの直線状の線である。

また、第１の直線ａと第２の直線ｂは、２つともカメラ画像に撮影されるような位置にあればよい。ここで、移動平面とは車両が移動する平らな面を意味し、水平に対し角度を持つ面でもよい。

取得部１０１は、図３に示す位置に配置された車両３０１に設置されたカメラ１１０から、第１の直線ａ及び第２の直線ｂが撮影された画像を取得する（ステップＳ２０１）。

図４は、ステップＳ２０１で取得部１０１が取得した第１の画像を示す説明図である。図４における直線ａ１が図３の第１の直線ａに対応し、直線ｂ１が図３の第２の直線ｂに対応する。

取得部１０１が取得した画像は、抽出部１０２に入力される。抽出部１０２は、例えば画像の各画素の輝度を比較する等の画像処理により、入力された画像から直線ａ１と直線ｂ１を抽出する（ステップＳ２０２）。

ステップＳ２０２で抽出された直線ａ１と直線ｂ１は、算出部１０３に入力される。

算出部１０３は、抽出部１０２で抽出した直線ａ１と直線ｂ１、および、消失点として任意の位置に設定された点から移動平面に対するカメラの設置パラメータを算出する。

算出部１０３は、抽出部１０２で抽出した直線ａ１を延長した直線と、直線ｂ１を延長した直線の交点を消失点ＶＰ１として算出する（ステップＳ２０３）。

算出部１０３は、ステップＳ２０３で算出した消失点ＶＰ１と、消失点ＶＰ１と異なる任意の位置に設定された消失点ＶＰ２とを通る直線を消失線ＶＬとして算出する（ステップＳ２０４）。図５は、消失点ＶＰ１、消失点ＶＰ２、消失線ＶＬの位置関係の一例を図示したものである。消失点ＶＰ２は、図５において画像５００内に存在するが、画像空間上であればどのような位置でもよい。

本実施の形態においては、カメラ座標系として、図６（ａ）に示すように、カメラの光軸をＺ_ｃ軸、Ｚ_ｃ軸に垂直でカメラからカメラの上方に向かう方向をＹ_ｃ軸、Ｚ_ｃ軸とＹ_ｃ軸に垂直となる方向をＸ_ｃ軸と定義する。また、カメラの設置パラメータのうち、ロール角をＺ_ｃ軸回りの回転角、ピッチ角をＸ_ｃ軸回りの回転角、ヨー角をＹ_ｃ軸回りの回転角と定義して説明する。

また、世界座標系として、図６（ｂ）に示すように、移動平面に対して垂直となる軸をＹ_ｗ軸、Ｙ_ｗ軸に垂直でお互いに垂直となる関係にある軸をそれぞれＸ_ｗ軸とＺ_ｗ軸と定義する。

また、本実施の形態におけるカメラの設置パラメータは、上述の通り、設置角度のみであり、設置位置は含めないものと定義している。すなわち、カメラ座標系と世界座標系の原点は一致しており、カメラ座標系における座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）と世界座標系における座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）との関係は、回転行列を３つ積算した（数１）によって表される。

ここで、ψがロール角、φがピッチ角、θがヨー角である。

（数１）は、世界座標系における座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）をヨー角、ピッチ角、ロール角の順番で回転させた座標がカメラ座標系における座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）となることを表している。

カメラ座標系における座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）と世界座標系における座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）との関係は、カメラの設置パラメータである回転角度と、カメラの設置パラメータを適用する順序である回転順序によって定義される。そのため、同じカメラ座標系における座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）と世界座標系における座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）との関係であったとしても、例えば、ヨー角、ピッチ角、ロール角の回転順序で回転させた回転角度と、ヨー角、ロール角、ピッチ角の回転順序で回転させた回転角度が一致するとは限らない。

従って、回転順序を変えることにより、同じカメラ座標系における座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）と世界座標系における座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）との関係を異なるカメラの設置パラメータによって表現することができる。

本発明や、特許文献１、後述するＬｉｎｇ−Ｌｉｎｇ Ｗａｎｇによる文献に示される消失点を利用したキャリブレーション方式では、（数１のように、ヨー角、ピッチ角、ロール角の回転順序で回転させる表現形式で表されるカメラの設置パラメータが算出される。

また、画像空間上での座標系として、図６（ｃ）に示すように、画像６００の左上隅を原点として、右方向をＸ_ｉ軸、下方向をＹ_ｉ軸と定義する。

算出部１０３は、Ｘ_ｉ軸に平行な直線とステップＳ２０４で算出した消失線とのなす角をロール角ψ_１として算出する（ステップＳ２０５）。次に、算出部１０３は、カメラ１１０の焦点距離と任意の位置に設定した消失点の座標、ステップＳ２０５で算出したロール角ψ_１を用いてピッチ角φ_１を算出する（ステップＳ２０６）。そして、算出部１０３は、カメラ１１０の焦点距離とステップＳ２０３で算出した消失点ＶＰ１の座標、ステップＳ２０４で算出した消失線ＶＬ、ステップＳ２０６で算出したピッチ角φ_１を用いてヨー角θ_１を算出する（ステップＳ２０７）。

ここで、ステップＳ２０４からステップＳ２０７までの処理における、世界座標系とカメラ座標系の関係について説明する。

図７（ａ）は、特許文献１や、後述するＬｉｎｇ−Ｌｉｎｇ Ｗａｎｇによる文献に示されているような、移動平面に平行な平行線を用いて算出されたカメラの設置パラメータによって座標が変換される世界座標系とカメラ座標系の関係を示した図である。

特許文献１や、Ｌｉｎｇ−Ｌｉｎｇ Ｗａｎｇによる文献に示されている移動平面に平行な２組の平行線を用いて算出されるカメラの設置パラメータは、２組の平行線のうちの１組の平行線と平行となる軸をＺ軸、２組の平行線に平行となる面（＝移動平面）に垂直となる軸をＹ_ｗ軸、Ｚ_ｗ軸とＹ_ｗ軸に垂直な軸をＸ_ｗ軸とする世界座標系の座標をカメラ座標系の座標に変換するためのカメラの設置パラメータである。

一方、本実施の形態において、カメラの設置パラメータの算出に用いる平行線は移動平面に対して実質的に垂直である。そのため、ステップＳ２０４からステップＳ２０７までの処理で算出されるカメラの設置パラメータは、図７（ｂ）に示す世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータとなる。

即ち、ステップＳ２０４からステップＳ２０７までの処理によって算出されるカメラの設置パラメータは、移動平面に垂直となる軸をＺ_ｗ’軸、Ｚ_ｗ’軸に垂直でお互いに垂直となる軸をそれぞれＸ_ｗ’軸、Ｙ_ｗ’軸とする世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータである。

本実施の形態においては、移動平面に対して実質的に垂直な２つの直線状の線から算出された消失点は１つのみであり、残るもう１つの消失点としては、任意に設定した点が採用される。残るもう１つの消失点を設定することは、その消失点を算出するための、移動平面に対して実質的に直交する平面（＝直交平面）を設定することと等価である。すなわち、もう１つの消失点の設定により、移動平面に対するＸ_ｗ’軸とＹ_ｗ’軸を特定することになる。以下、Ｘ_ｗ’軸、Ｙ_ｗ’軸、Ｚ_ｗ’軸で表される世界座標系を直交世界座標系と呼ぶ。

消失点、消失線からカメラの設置パラメータを算出する方法は、文献（Ｌｉｎｇ−Ｌｉｎｇ Ｗａｎｇ，“Ｃａｍｅｒａ Ｃａｌｉｂｒａｔｉｏｎ ｂｙ Ｖａｎｉｓｈｉｎｇ
Ｌｉｎｅｓ ｆｏｒ ３Ｄ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ“，ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ ＭａｃｈｉｎｅＩｎｔｅｌｌｉｇｅｎｃｅ Ｖｏｌ．１３，Ｎｏ．４ Ａｐｒｉｌ １９９１，ｐｐ３７０−３７６）に詳細に記載されている。

このＬｉｎｇ−Ｌｉｎｇ Ｗａｎｇによる方法では、２つの消失点をつないだ消失線からロール角を算出し、消失点とロール角からピッチ角を算出し、消失点、消失線、ピッチ角からヨー角を算出している。すなわち、消失点が２つ算出されていない状態、例えば１つの消失点のみ算出されている状態では、ロール角、ピッチ角、ヨー角のいずれも算出できない。そのため、カメラの設置パラメータを算出するためには、移動平面上に２組の平行線が存在することが必須となる。

算出部１０３は、図７（ｂ）に示すような直交世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータを、図７（ａ）に示すような世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータに変換する（ステップＳ２０８）。

移動平面に対するカメラの設置パラメータは、図７（ａ）に示すような世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータである。図７（ｂ）に示すような直交世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータから、図７（ａ）に示すような世界座標系における座標をカメラ座標系における座標に変換するためのカメラの設置パラメータを算出するためには、図７（ａ）に示すような世界座標系における座標を図７（ｂ）に示すような直交世界座標系における座標に変換するためのカメラの設置パラメータを用いればよい。

即ち、図７（ａ）に示すような世界座標系における座標を図７（ｂ）に示すような直交世界座標系における座標に変換した後、カメラ座標系における座標に変換することと、図７（ａ）に示すような世界座標系における座標をカメラ座標系における座標に変換することが等価であることを用いる。

ここで、ステップＳ２０４からステップＳ２０７により算出されるカメラの設置パラメータをロール角ψ_１、ピッチ角φ_１、ヨー角θ_１とすると、直交世界座標系における座標（Ｘ_ｗ’，Ｙ_ｗ’，Ｚ_ｗ’）とカメラ座標系における座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）の関係は（数２）によって表される。

直交世界座標系と世界座標系の関係は図８に示すような関係となる。このことから、世界座標系における座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）と直交世界座標系における座標（Ｘ_ｗ’，Ｙ_ｗ’，Ｚ_ｗ’）との関係は（数３）によって表される。

ここで、Δθは、任意に設定した点によって決定する移動平面とＸ_ｗ’軸、Ｙ_ｗ’軸の関係、つまり、Ｘ_ｗ軸とＸ_ｗ’軸のなす角、またはＹ_ｗ軸とＹ_ｗ’軸のなす角である。

（数２）および（数３）より、世界座標系における座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）をカメラ座標系における座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）に変換するためのカメラの設置パラメータを算出する。

（数３）の両辺に左側からヨー角θ_１、ピッチ角φ_１、ロール角ψ_１の順番で回転行列を掛けることで（数４）のようになる。

（数２）の右辺が（数４）の左辺と等しくなることから（数４）は（数５）のようになる。

（数５）により、世界座標系における座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）とカメラ座標系における座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）との関係式が成立したが、ヨー角、ピッチ角、ロール角の回転順序で表現されるカメラの設置パラメータ求めることが出来ない。そこで、（数５）の右辺の６つの回転行列をヨー角、ピッチ角、ロール角の３つの回転行列に統合する処理を行う。

まず、右辺の左から４番目の行列は単位行列となることから除去することが可能となり、（数５）は（数６）のようになる。

次に、ピッチ角の回転行列を統合する。ここで、ピッチ角の回転行列同士は積算することで（数７）に示すように角度の和で表現することが可能である。

今、ピッチ角の回転行列は（数６）の右辺の左から２番目と４番目に存在する。そこで、カメラの設置パラメータの回転順序がヨー角、ピッチ角、ロール角となっている（数６）の右辺の左から１番目から３番目の行列を、カメラの設置パラメータの回転順序がピッチ角、ヨー角、ロール角となるように変換し、ピッチ角の回転行列を隣同士にする処理を行う。

回転順序をピッチ角、ヨー角、ロール角とした場合のカメラ座標系における座標と世界座標系における座標の関係は（数８）により表される。

ここで、ψ_２が変換後のロール角、θ_２が変換後のヨー角、φ_２が変換後のピッチ角である。

（数６）における回転行列の積と（数８）における回転行列の積が等しいことから、（数８）における回転行列の積と定数とを示す以下の関係式（数９）を解くことでロール角ψ_２、ピッチ角φ_２、ヨー角θ_２が算出される。

ここで、Ｃ_１〜Ｃ_９は以下の関係式（数１０）によって算出される定数である。

これにより、ピッチ角の回転行列が並んだため、積算することが可能となり、（数８）は（数１１）のようになる。

算出部１０３は、カメラの設置パラメータの回転順序がピッチ角、ヨー角、ロール角となっている（数１１）の右辺の左から１番目から３番目の行列を、カメラの設置パラメータの回転順序がヨー角、ピッチ角、ロール角となるように変換する。すなわち、当初の回転順序で適用するためのカメラの設置パラメータに変換する。

回転順序をピッチ角、ヨー角、ロール角とした場合の世界座標系における座標とカメラ座標系における座標の関係は（数１２）により表される。

ここで、ψ_３が変換後のロール角、φ_３が変換後のピッチ角、θ_３が変換後のヨー角である。

カメラの設置パラメータの回転順序を変更したあとのヨー角θ_３、ピッチ角φ_３、ロール角ψ_３は以下の関係式（数１３）を解くことで算出できる。

ここで、Ｃ’_１〜Ｃ’_９は以下の関係式（数１４）によって算出される定数である。

なお、（数８）において、右辺の左から１番目から３番目の行列の回転順序をピッチ角、ヨー角、ロール角に変換したが、この回転順序のみに決定されるものではなく、ピッチ角が３番目に来ればよい。

次に、ヨー角の回転行列を統合する。ヨー角もピッチ角と同様に行列の積を角度の和で表現することが可能である。（数１２）において、ヨー角の回転行列は右辺の左から３番目と４番目の行列であることから、そのまま積算することで（数１５）のように表される。

これにより、ヨー角、ピッチ角、ロール角の回転順序で表現される、世界座標系における座標（Ｘ_ｗ，Ｙ_ｗ，Ｚ_ｗ）とカメラ座標系における座標（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）との関係式が成立する。

算出部１０３は、算出されたパラメータのうち、ピッチ角φ_３とロール角ψ_３を移動平面に対するカメラの設置パラメータとして出力する（ステップＳ２０９）。また、車両が移動平面に水平に設置されていると想定すれば、算出部１０３が出力したカメラの設置パラメータを、車両に対するカメラの設置パラメータのうちのピッチ角とロール角として採用できる。算出されたヨー角θ_３＋Δθには、任意に設定した点によって決定するＸ_ｗ軸とＸ_ｗ’軸のなす角、またはＹ_ｗ軸とＹ_ｗ’軸のなす角であるΔθが含まれているため、車両に対するカメラの設置パラメータのうちのヨー角として採用することはできない。

なお、直線ａ、直線ｂを線分状の線または、半直線状の線とした場合、車両移動の前後で撮影した２枚の画像に基づいて、車両の移動方向に対するカメラの設置パラメータであるヨー角を求めてもよい。図９は、図４に示す画像が撮影されてから一定距離車両が直進した後にカメラ１１０が撮影した画像である。図９における直線ａ２が図３の第１の直線ａに対応し、直線ｂ２が図３の第２の直線ｂに対応する。

図１０は、図４に示す画像と図９に示す画像を重畳した画像である。直線ａ１と移動平面との交点である点Ｐ１と直線ａ２と移動平面との交点である点Ｐ２を結ぶ直線と、直線ｂ１と移動平面との交点である点Ｐ３と直線ｂ２と移動平面との交点である点Ｐ４を結ぶ
直線との交点ＶＰ’を算出する。

なお、点Ｐ１〜Ｐ４はそれぞれと移動平面との距離が全て同じであれば、直線と移動平面との交点である必要はない。例えば、直線ａ１、直線ａ２、直線ｂ１、直線ｂ２の下側の端点から移動平面との距離と直線の長さが全て同じであれば、画像処理などによって検出された上側の端点、もしくは下側の端点を点Ｐ１〜Ｐ４としてもよい。

算出した交点ＶＰ’と算出部１０３で算出した移動平面に対するカメラの設置パラメータのピッチ角φ_３、ロール角ψ_３、画像の中心座標Ｃ、カメラの焦点距離ｆから、以下の方程式（数１６）により車両の移動方向に対するカメラの設置パラメータのヨー角θ_４を算出する。

ここで、ＶＣ_ｘは交点ＶＰ’のＸ座標と画像中心ＣとのＸ座標の差、ＶＣ_ｙは、交点ＶＰ’のＹ座標と画像中心ＣとのＹ座標の差である。

また、ここで説明したカメラの設置パラメータの算出方法は一例であり、異なる方法を用いてカメラの設置パラメータを算出してもよい。

また、ここで説明したカメラの設置パラメータの変換方法は一例であり、異なる方法を用いてカメラの設置パラメータを変換してもよい。

また、本実施の形態では、抽出部１０２で移動平面に対して実質的に垂直な直線状の線を抽出しているが、つないだ直線が移動平面に対して実質的に垂直となる２つの点を抽出し、つないだ直線を移動平面に対して実質的に垂直な直線状の線としてもよい。

また、本実施の形態では、移動体に設置したカメラについて説明しているが、カメラは移動体に設置される場合に限られるものではなく、監視カメラなどの壁や天井に固定されているものであってもよい。

また、本発明の実施の形態１におけるキャリブレーション装置は、専用のハードウェアによって実現される他、その機能を実現するためのプログラムをコンピュータ読み取り可能な記憶媒体に記録し、記録されたプログラムをコンピュータに読み込ませて実行するものであってもよい。

また、上記記憶媒体をカメラ１１０に実装し、キャリブレーション機能を備えたカメラとして構成してもよい。

また、直線ａと直線ｂとの距離は、画像に直線ａと直線ｂが撮影されている範囲であればよく、例えば、５０センチメートル、１０メートルであってもよい。

また、移動体が移動する面を平面、抽出部１０２で抽出する２つの線を直線、移動平面と２つの直線の関係が実質的に垂直であるとしているが、これらの厳密な精度は、本発明における必須の要件ではない。カメラの設置パラメータの算出精度は、これら平面、直線、垂直の精度に依存する。したがって、平面、直線、垂直の精度は、アプリケーションなどから要求される設置パラメータの算出精度を満たす範囲であれば、例えば、移動する面が凸凹な面であったり、曲面であったりしてもよいし、抽出部１０２で抽出する２つの線が曲線であったり、破線であってもよいし、移動平面と２つの直線の関係が厳密に垂直で
なくてもよい。

以上のように、本発明の実施の形態１におけるキャリブレーション装置によれば、平面に対するカメラの設置パラメータを、カメラの設置パラメータを求める平面上の２組の平行線を用いることなく、平面に対して実質的に垂直な２つの直線状の線を用いて算出することが可能となる。
（実施の形態２）
以下、本発明の第２の実施の形態におけるキャリブレーション装置について説明する。

図１１は、本発明の実施の形態２に係るキャリブレーション装置の構成を示すブロック図である。

図１１において、キャリブレーション装置１１００は、車両に設置されたカメラ１１０が撮影した移動平面（例えば、路面）に対して実質的に垂直な１つの直線状の線を含む画像を取得する取得部１１０１と、取得部１１０１が取得した画像から、画像処理によって移動平面に対して実質的に垂直な直線状の線を抽出する抽出部１１０２と、抽出部１１０２が抽出した直線状の線から、移動平面に対するカメラの設置パラメータを算出する算出部１１０３を備えた構成となっている。

図１２は、キャリブレーション装置１１００の動作を示すフローチャート、図１３はキャリブレーション装置１１００の取得部１１０１が、カメラ１１０から画像を取得する状況を示した説明図である。

図１３において、直線ａは移動平面１３００に対して実質的に垂直な直線状の線である。直線ａは、例えば、移動平面１３００に実質的に垂直に立てられた円柱状の立体や、移動平面１３００に対して実質的に垂直に立てられた平面に描かれた実質的に垂直な１つの直線状の線である。ここで、移動平面とは車両が移動する平らな面を意味し、水平に対し角度を持つ面でもよい。

取得部１１０１は、図１３に示す第１の画像取得位置に配置された車両１３０１に設置されたカメラ１１０から、直線ａが撮影された画像（第１の画像）を取得する（ステップＳ１２０１）。

図１５は、ステップＳ１２０１で取得部１１０１が取得した第１の画像を示す説明図である。図１４における直線ａ１が図１３の直線ａに対応する。

取得部１１０１が取得した画像は、抽出部１１０２に入力される。抽出部１１０２は、例えば画像の各画素の輝度を比較する等の画像処理により、入力された画像から直線ａ１を抽出する（ステップＳ１２０２）。

次に、取得部１１０１は、図１３に示す車両の移動後の第２の画像取得位置に配置された車両１３０２に設置されたカメラ１１０が直線ａを撮影した画像（第２の画像）を取得する（ステップＳ１２０３）。

図１５は、ステップＳ１２０３で取得部１１０１が取得した第２の画像を示す説明図である。図１５における直線ａ２が図１３の直線ａに対応する。

取得部１１０１が取得した画像は、抽出部１１０２に入力され、抽出部１１０２はステップＳ１２０２と同様の処理を行い、入力された画像から直線ａ２を抽出する（ステップＳ１２０４）。

ステップＳ１２０２で抽出された直線ａ１とステップＳ１２０４で抽出された直線ａ２は、算出部１１０３に入力される。

算出部１１０３は、抽出部１１０２で抽出した直線ａ１と直線ａ２、および、任意の位置に設定した消失点から移動平面に対するカメラの設置パラメータを算出する。

算出部１１０３は、抽出部１１０２で抽出した直線ａ１を延長した直線と、直線ａ２を延長した直線の交点を消失点ＶＰ１として算出する（ステップＳ１２０５）。

算出部１１０３は、ステップＳ１２０５で算出した消失点ＶＰ１と、消失点ＶＰ１と異なる任意の位置に設定された消失点ＶＰ２とを通る直線を消失線ＶＬとして算出する（ステップＳ１２０６）。

図１６は、消失点ＶＰ１、消失点ＶＰ２、消失線ＶＬの位置関係の一例を図示したものである。図１６において、消失点ＶＰ２は画像１６００内に存在するが、画像空間上であればどのような位置でもよい。

算出部１１０３は、消失点ＶＰ１の座標、消失線ＶＬ、およびカメラ１１０の焦点距離を用いて、実施の形態１で説明したように、移動平面に対するカメラの設置パラメータを算出し（ステップＳ１２０７）、算出結果を出力する（ステップＳ１２０８）。

なお、直線ａを線分状の線とした場合、車両の移動を直進移動にすることで、同時に車両の移動方向に対するカメラの設置パラメータであるヨー角を求めてもよい。直線ａ１と移動平面との交点と直線ａ２と移動平面との交点を結ぶ直線と、直線ａ１の上側の端点と直線ａ２の上側の端点を結ぶ直線との交点ＶＰ’を算出する。なお、交点ＶＰ’を算出するために用いる直線は、直線ａ１と移動平面との交点と直線ａ２と移動平面との交点を結ぶ直線と、直線ａ１の上側の端点と直線ａ２の上側の端点を結ぶ直線である必要はない。実空間において移動平面から等しい距離にある点同士を結んだ直線であればよい。

算出した交点ＶＰ’と算出部１１０３で算出した移動平面に対するカメラの設置パラメータのピッチ角、ロール角、画像の中心座標、焦点距離から、車両の移動方向に対するカメラの設置パラメータのヨー角を算出する。

また、本実施の形態では、抽出部１１０２で移動平面に対して実質的に垂直な直線状の線を抽出しているが、つないだ直線が移動平面に対して実質的に垂直となる２つの点を抽出し、つないだ直線を移動平面に対して実質的に垂直な直線状の線としてもよい。

また、本実施の形態では、移動前の第１の画像取得位置と移動後の第２の画像取得位置とで同じ直線ａを取得しているが、移動前の第１の画像取得位置と移動後の第２の画像取得位置とで異なる移動平面に対して実質的に垂直な直線状の線を取得してもよい。

また、第１の画像取得位置と第２の画像取得位置間の距離は、第１の画像および第２の画像それぞれに直線ａが撮影されている範囲であればよく、例えば、５０センチメートル、１０メートルであってもよい。

また、図１１に示すキャリブレーション装置を、カメラの中に組み込み、キャリブレーション機能を備えたカメラとして構成してもよい。

以上のように、本発明の実施の形態２におけるキャリブレーション装置によれば、車両
が移動する前に撮影された方向の画像上の移動平面に対し実質的に垂直な直線状の線と、それに対応する車両が移動した後に撮影された画像上の移動平面に対し実質的に垂直な直線状の線は実空間ではともに移動平面に対して実質的に垂直となることから、これら２つの直線から算出される消失点を用いて移動平面に対するカメラの設置パラメータを算出することが可能となる。

１００、１１００ キャリブレーション装置
１０１、１１０１ 取得部
１０２、１１０２ 抽出部
１０３、１１０３ 算出部
１１０ カメラ
３００、１３００ 移動平面
３０１、１３０１、１３０２ 車両

Claims (10)

1. 平面に対するカメラの設置パラメータを算出するキャリブレーション装置であって、
   前記平面に対して実質的に垂直な２つの直線状の線を撮影した画像を取得する取得部と、
   前記取得部が取得した画像から画像処理によって前記２つの直線状の線を抽出する抽出部と、
   前記抽出部が抽出した前記２つの直線状の線から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記平面と実質的に直交し、前記任意の座標により特定される平面に対するカメラの設置パラメータを算出し、算出された前記カメラの設置パラメータを変換し前記平面に対するカメラの設置パラメータを算出する算出部と、
   を備えるキャリブレーション装置。
2. 平面に対するカメラの設置パラメータを算出するキャリブレーション方法であって、
   前記平面に対して実質的に垂直な２つの直線状の線を撮影した画像を取得するステップと、
   取得した画像から画像処理によって前記２つの直線状の線を抽出するステップと、
   抽出した前記２つの直線状の線から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記平面と実質的に直交し、前記任意の座標により特定される平面に対するカメラの設置パラメータを算出するステップと、
   算出された前記カメラの設置パラメータを変換し前記平面に対するカメラの設置パラメータを算出するステップと、
   を含むキャリブレーション方法。
3. 請求項２に記載のキャリブレーション方法をコンピュータに実行させるためのプログラム。
4. 請求項１に記載のキャリブレーション装置を搭載したカメラ。
5. 移動体に設置されたカメラの移動平面に対する設置パラメータを算出するキャリブレー
   ション装置であって、
   前記移動平面に対して実質的に垂直な１つの直線状の線を撮影した画像を取得する取得部と、
   前記取得部が取得した画像から画像処理によって前記１つの直線状の線を抽出する抽出部と、
   前記取得部が取得した第１のタイミングで撮影された第１の画像から前記抽出部が抽出した１つの直線状の線と、前記取得部が取得した前記第１のタイミングから前記移動体が移動した後の第２のタイミングで撮影された第２の画像から前記抽出部が抽出した１つの直線状の線と、から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記移動平面に対するカメラの設置パラメータを算出する算出部と、
   を備えるキャリブレーション装置。
6. 移動体に設置されたカメラの移動平面に対する設置パラメータを算出するキャリブレーション装置であって、
   前記移動平面に対して実質的に垂直な１つの直線状の線を撮影した画像を取得する取得部と、
   前記取得部が取得した画像から画像処理によって前記１つの直線状の線を抽出する抽出部と、
   前記取得部が取得した第１のタイミングで撮影された第１の画像から前記抽出部が抽出した１つの直線状の線と、前記取得部が取得した前記第１のタイミングから前記移動体が移動した後の第２のタイミングで撮影された第２の画像から前記抽出部が抽出した１つの直線状の線と、から消失点を算出し、前記消失点の座標と、前記消失点の座標と異なる任意の座標とに基づき、前記移動平面と実質的に直交する前記任意の座標により特定される平面に対するカメラの設置パラメータを算出し、算出された前記カメラの設置パラメータを変換し前記移動平面に対するカメラの設置パラメータを算出する算出部と、
   を備えるキャリブレーション装置。
7. 移動体に設置されたカメラの移動平面に対する設置パラメータを算出するキャリブレーション方法であって、
   前記移動平面に対して実質的に垂直な１つの直線状の線を第１のタイミングで撮影した第１の画像を取得するステップと、
   前記第１の画像から画像処理により前記１つの直線状の線に対応する第１の直線を抽出するステップと、
   前記移動平面に対して実質的に垂直な１つの直線状の線を第１のタイミングから前記移動体が移動した後の第２のタイミングで撮影した第２の画像を取得するステップと、
   前記第２の画像から画像処理により前記１つの直線状の線に対応する第２の直線を抽出するステップと、
   前記第１の直線と前記第２の直線から消失点を算出するステップと、
   前記消失点の座標と前記消失点の座標と異なる任意の座標とに基づき、前記移動平面に対するカメラの設置パラメータを算出するステップと、
   を含むキャリブレーション方法。
8. 移動体に設置されたカメラの移動平面に対する設置パラメータを算出するキャリブレーション方法であって、
   前記移動平面に対して実施的に垂直な１つの直線状の線を第１のタイミングで撮影した第１の画像を取得するステップと、
   前記第１の画像から画像処理により前記１つの直線状の線に対応する第１の直線を抽出するステップと、
   前記移動平面に対して実質的に垂直な１つの直線状の線を第１のタイミングから前記移
   動体が移動した後の第２のタイミングで撮影した第２の画像を取得するステップと、
   前記第２の画像から画像処理により前記１つの直線状の線に対応する第２の直線を抽出するステップと、
   前記第１の直線と前記第２の直線から消失点を算出するステップと、
   前記消失点の座標と前記消失点の座標と異なる任意の座標とに基づき、前記移動平面に直交する前記任意の座標により特定される平面に対するカメラの設置パラメータを算出するステップと、
   算出された前記カメラの設置パラメータを変換し前記移動平面に対するカメラの設置パラメータを算出するステップと、
   を含むキャリブレーション方法。
9. 請求項７または請求項８に記載のキャリブレーション方法をコンピュータに実行させるためのプログラム。
10. 請求項５または請求項６に記載のキャリブレーション装置を搭載したカメラ。

Images