JP6890293B2

JP6890293B2 - カメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラム

Info

Publication number: JP6890293B2
Application number: JP2017214061A
Authority: JP
Inventors: 大介木本
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-11-06
Filing date: 2017-11-06
Publication date: 2021-06-18
Anticipated expiration: 2037-11-06
Also published as: JP2019087858A

Description

本開示は、車載カメラにより撮影された画像を用いて、当該カメラの校正を行うカメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラムに関する。

車載カメラで撮影された車両後方の画像を車載モニタに表示することで、運転者から死角になる車両後方直近の状況を車載モニタに表示された画像として視認し、車両後退時の視認性を向上させることが行われている。
このような車載カメラの画像を車載モニタに表示するに際しては、車載カメラの車両への取り付け状態を是正するために、車両の後方に校正用のターゲットを設置し、車載モニタに映った校正用ターゲットの像を見ながら、その校正用ターゲットの像が適正に映るように車載カメラの取り付け状態を調整することが行われる。

また、車載カメラで得られた画像に対して、校正用ターゲットの像に基づいた所定の演算処理を施すことで車載モニタに映る画像を適正に校正することが行われている。
また、車両の全周囲を複数の車載カメラで撮影し、各車載カメラで得られた複数の画像をそれぞれ車両の真上から見下ろしたような画像（俯瞰画像）に変換するとともに、各画像間での位置を調整したマッピングを行うことで、単一の視点変換合成画像を得ることも行われている。このような場合は、隣接する２つの画像間で精度よく位置合わせを行う必要があるため、高精度のカメラ校正が求められる。

特開２００８−１１１７４号公報

本開示は、車両の位置決めが不要で且つ路面の汚れに影響されずにカメラ校正することを可能とするカメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラムを提供する。

本開示の一態様に係るカメラ校正装置は、壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部と、を備える。

本開示の一態様に係るカメラ校正装置は、第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが許容値以下が小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部と、を備える。

本開示におけるカメラ校正装置は、路面の輝度の情報量に特徴的な大きさがない（生産ライン上のコンクリート路面などの）場合にも、生産ラインなどで車両を停車することなく、生産ラインなどを車両が移動する際に自動的にカメラ校正を行うことができる。従って、車両の位置決めをせずに車載カメラの校正を行うことができる。また、路面の特徴点、及び／または追跡点を抽出する場合とは違い、路面の汚れに影響されることがない。

一実施の形態に係るカメラ校正装置の機能構成を示すブロック図である。第１の実施形態において実際のカメラ移動距離の算出方法を説明するための模式図である。カメラ校正パラメータの算出処理の流れの一例を示すフローチャートである。移動予測点のイメージ座標の算出工程を示す模式図である。図３のステップＳ２０２における移動予測点のイメージ座標の算出処理の詳細を示すフローチャートである。図５のステップＳ３０１の座標変換処理の詳細を示すフローチャートである。第２の実施形態において実際のカメラ移動距離の算出方法を説明するための模式図である。

以下、実施の形態について、図面を参照しながら説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

［実施の形態］
［１−１．課題］
以下、本実施の形態の課題について説明する。従来のカメラ校正方法は、校正用ターゲットと車両との相対的な位置関係を厳密に定める必要があり、車両を設置した後にその車両に対して精度よく校正用ターゲットを設置するか、または校正用ターゲットを設置した後にその校正用ターゲットに対して精度よく車両を設置する必要があった。

このため、車両生産ラインでは費用をかけて設備を改造し、車両と校正用ターゲットとの位置合わせ精度を向上させる工夫がされている。さらに、生産現場から一旦出荷された後に販売・サービス会社の整備部門でカメラ校正をやり直す場合（修理等の場合や車載カメラ等を後付けする場合等）は、校正用ターゲットをその都度、精度良く設置する必要があるため作業の手間が一層かかるものとなっている。このような状況から、車両と校正用ターゲットの相対的な設置精度をさほど要求されないカメラ校正方法が望まれており、従来においても幾つかの技術が提案されている。

特許文献１に記載の方法は、車両を移動しながらカメラ校正を行うことが可能であり、作業の容易さの面で優れている。ただし、路面の標識を検出する必要があるため、車両が走行することによる路面の汚れがカメラ校正精度に影響を与える可能性がある。

本実施の形態は、係る事情に鑑みてなされたものであり、カ車両の位置決めが不要で且つ路面の汚れに影響されずにカメラ校正することを可能とするカメラ校正装置、カメラ校正システム、カメラ校正方法及びプログラムを提供する。

以下、一実施の形態について、図面を参照して詳細に説明する。

＜第１の実施形態＞
［１−２．構成］
［１−２−１．カメラ校正装置の構成］
図１は、一実施の形態に係るカメラ校正装置の機能構成を示すブロック図である。この図１に従って一実施の形態に係るカメラ校正装置の構成および動作を説明する。

本実施形態のカメラ校正装置１は、移動体の一例である車両１０に設置されている。このカメラ校正装置１は、車両１０に搭載されたカメラ１０１の校正を行う。具体的にはカメラ校正装置１をカメラ校正用のカメラ校正パラメータを出力する。

図１に示すように、カメラ校正装置１は、メモリ１０２、ＣＰＵ（Central Processing Unit）１０３及びＲＯＭ（Read Only Memory）１２０を備える。ＲＯＭ１２０にはプログラムが記憶されている。
ＣＰＵ１０３は、ＲＯＭ１２０からプログラムを読み出すことにより、特徴点抽出部１０４、追跡点抽出部１０５、Ｆ,Ｒ,Ｔ,Ｐ行列算出部１０６、３次元座標算出部１０７、距離算出部１０８、車両進行ベクトル算出部１０９、移動距離算出部１１０、カメラ校正パラメータ算出部１１１をとして機能する。これらの各部の機能は以下で詳述する。

なお、本実施形態では一例として、これらの各部は、カメラ校正装置内のＣＰＵ１０３がＲＯＭ１２０に格納されたプログラムを実行することで実現されるが、これに限ったものではない。これらの各部は、ＣＰＵ１０３、ＲＯＭ１２０を用いる代わりにハードウェアで構成された専用回路で実現されてもよい。

カメラ１０１は、車両１０に設置され、車両１０の移動中に壁面を撮像した画像を時系列的にメモリ１０２に保存する。

特徴点抽出部１０４は、メモリ１０２に保存されたｋ番目（ｋは自然数）の画像から特徴点を抽出し、その特徴点のイメージ座標をメモリ１０２に保存する。イメージ座標とは、メモリ上に格納された画像の左上を原点とする２次元の座標系のことである。特徴点は、その点を含む範囲における輝度の情報量が特徴的な大きさを持つような点である。例えば、ハリスコーナー点等が上記特徴点として抽出される。特徴点の抽出精度を向上させるために壁面に格子や矩形などを印字してもよい。このように、特徴点抽出部１０４は、壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する。

追跡点抽出部１０５はメモリ１０２に保存されたｋ＋１番目の画像からｋ番目の画像における対象の特徴点と同じ特徴を有する点を追跡点として抽出し、その追跡点のイメージ座標をメモリ１０２に保存する。これにより、図１に示すように、例えば、注目点それぞれについて、特徴点のイメージ座標と、追跡点のイメージ座標がメモリ１０２に保存される。画像はｋ＋１番目に限らず、ｋ＋２番目以降の画像でもよいし、ｋ＋１番目以降の画像かつ複数枚使用してもよい。追跡点の抽出は、例えばthe Kanade-Lucas-Tomasi (KLT)などの処理を用いて行う。

行列算出部１０６はメモリ１０２に保存された特徴点のイメージ座標と追跡点のイメージ座標から、次の式で表される行列Ｆ，Ｒ，Ｔ，Ｐを算出する。以下、行列Ｆ，Ｒ，Ｔ，Ｐの算出方法の一例について説明する。

ｘ_１とｘ_２が対応点の場合、すべての対応点ｘ_１、ｘ_２に関して、以下の関係が成り立つ。

ここで、行列Ｆは基礎行列を呼ばれていて、３ｘ３行列である。ｘ_１、ｘ_２は、画像座標系での対応点の座標を同時座標系で表した３次元ベクトルである。ｋ番目画像の点（ｘ，ｙ）とｋ＋１番目の点（ｘ’，ｙ’）がシーンの同一点であれば，次のエピ極線方程式が成り立つ。

ここで、Ｆ_ｉｊは（ｉ、ｊはインデックス）、行列Ｆの各成分を表し、ｆは焦点距離である。

対応する特徴点と追跡点のイメージ座標の組

を入力とし行列Ｆを求める。
ここでαは自然数をとるインデックス、Ｎは自然数である。

続いて、行列Ｆと焦点距離ｆからカメラの相対的な並進行列Ｔ、回転行列Ｒを算出する。その際に、まず次の基本行列Ｅを計算する。

ここで、焦点距離は、内部パラメータとして保持しているため、ｆ_０＝ｆ＝ｆ’である。対称行列ＥＥ^Ｔの最少固有値に対する単位固有ベクトルを並進行列Ｔとする。ここで上付きのＴは転置を表す。行列‐Ｔ×Ｅを次のように特異値分解する。これにより並進行列Ｔが得られる。

ここでＵはｍ行ｍ列のユニタリ行列、Ｖはｎ行ｎ列のユニタリ行列で、diagは特異値σ_１、σ_２、σ_３が並ぶ対角行列で、上付きのＴは転置を表す。次に、回転行列Ｒを次のように計算する。

３次元座標算出部１０７は、既知の技術であるSFM（Structure from Motion：３次元復元）を用いて、壁面の３次元座標(スケールなし)を算出する。３次元座標算出部１０７は、算出した壁面の３次元座標(スケールなし)をメモリ１０２に保存する。これにより、図１に示すように、注目点毎に、壁面の３次元座標(スケールなし)がメモリ１０２に保存される。ここで３次元空間（スケールなし）は、仮想空間ともいう。このように、３次元座標算出部１０７は、前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する。

距離算出部（法線ベクトル算出部）１０８は、３次元座標算出部１０７が算出した壁面の３次元座標(スケールなし)をメモリ１０２から読み出し、当該面の３次元座標(スケールなし)から３次元空間（スケールなし）上でのカメラと壁面との間の距離ｄを算出する。以下、距離ｄの算出方法について説明する。

ＳＦＭで算出した壁面の３次元座標（スケールなし）は、同一平面上に存在しているため、以下の平面方程式が成り立つ。

よって、壁面（ａｘ+ｂｙ+ｃｚ+ｄ=0）とカメラ座標原点(ｘ₀, ｙ₀, ｚ₀)との距離ｄは、次の式で表される。

ここで、車両１０は壁面に対して略水平に移動するのでカメラ１０１も壁面に対して略水平に移動する。このため、壁面とカメラ座標原点との距離ｄは、壁面とカメラ１０１との距離を表す。このように距離算出部（法線ベクトル算出部）１０８は、前記算出された壁面の３次元座標を用いて、仮想空間における壁面とカメラとの距離を算出する。

車両進行ベクトル算出部１０９は、行列算出部１０６が算出した行列（併進行列）Ｔから進行ベクトルの大きさｚ１を算出する。以下、進行ベクトルの大きさｚ１の算出方法について説明する。まず並進行列Ｔは、次のように表される。

ここでＴｘ、Ｔｙ、Ｔｚはそれぞれ行列Ｔの成分である。進行ベクトルの大きさｚ１は、次の式で表される。

移動距離算出部１１０は、距離算出部（法線ベクトル算出部）１０８が算出した３次元空間（スケールなし）上でのカメラと壁面間の距離ｄと壁面とカメラの実際の距離Ｄ（既知）を用いて実際のカメラ移動距離Ｄ_Ｒを算出する。以下、実際のカメラ移動距離Ｄ_Ｒの算出方法について説明する。

図２は、実際のカメラ移動距離の算出方法を説明するための模式図である。図２において、３次元空間（スケールなし）上での壁面ＶＷ、実際の壁面ＲＷ、移動前のカメラＣ１、３次元空間（スケールなし）上での移動後のカメラＣ２、実際の移動後のカメラＣ３が示されている。更に、ＳＦＭで算出された３次元空間（スケールなし）Ｓ１が破線の領域で示されている。３次元空間（スケールなし）上で移動前後のカメラ間距離は単位ベクトルに正規化しており、そのベクトルの大きさは進行ベクトルの大きさｚ１である。図２に示すように相似形となる。実際のカメラ移動距離Ｄ_Ｒは、次の式で表される。

上記の式に従って、移動距離算出部１１０は、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離ｄと、前記壁面とカメラの間の実際の距離Ｄとを用いて、実際のカメラ移動距離Ｄ_Ｒを算出する。

このように実際のカメラ移動距離Ｄ_Ｒを求めるために、カメラ高さを用いるのではなく、カメラと壁面の距離を用いる。カメラの高さは車両ごとでサスペンションなどの状態でばらつくが、本実施形態の方式であれば、工程として、カメラと壁面の距離を一定に保つ（例：ベルトコンベアなど）ことで従来技術より、実際のカメラ移動距離Ｄ_Ｒの算出精度が向上する。

カメラ校正パラメータ算出部１１１は、校正後のカメラパラメータであるカメラ校正パラメータを算出して、算出したカメラ校正パラメータを出力する。

［１−２．動作］
以下、カメラ校正パラメータ算出部１１１におけるカメラ校正パラメータの算出処理の流れについて、図３〜図６を用いて以下説明する。図３は、カメラ校正パラメータの算出処理の流れの一例を示すフローチャートである。図４は、移動予測点のイメージ座標の算出工程を示す模式図である。図５は、図３のステップＳ２０２における移動予測点のイメージ座標の算出処理の詳細を示すフローチャートである。

（ステップＳ２０１）図３において、まず、カメラ校正パラメータ算出部１１１は、カメラ１０１の取り付け設計値のカメラ角度（パン、チルト、ロール）、カメラ１０１の位置を初期カメラパラメータに設定する。

（ステップＳ２０２）次に、カメラ校正パラメータ算出部１１１は、算出された実際のカメラ移動距離と、カメラ１０１のカメラパラメータを用いて、壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出する。

（ステップＳ２０３）次に、カメラ校正パラメータ算出部１１１は、追跡点と移動予測点の座標ずれ（図４（Ｄ）参照）を算出する。具体的には例えば、カメラ校正パラメータ算出部１１１は、メモリ１０２に保存された追跡点のイメージ座標とステップＳ２０２で算出した移動予測点のイメージ座標のユークリッド距離を座標ずれとして算出する。図４（Ｄ）に示すように、移動予測点のイメージ座標と追跡点のイメージ座標との間の座標ずれが得られる。

（ステップＳ２０４）次に、カメラ校正パラメータ算出部１１１は、座標ズレが許容値以下であるか判定する。ここで許容値は例えば予め設定された最小値であってもよい。座標ズレが許容値以下であると判定された場合、カメラ校正パラメータ算出部１１１は、そのときのカメラパラメータをカメラ校正パラメータとして出力する。

（ステップＳ２０５）一方、ステップＳ２０４で座標ズレが許容値を超えると判定された場合、カメラ校正パラメータ算出部１１１は、カメラパラメータを変更する。ここで、変更対象のカメラパラメータには、カメラ１０１のカメラ角度（パン、チルト、ロール）、カメラ１０１の位置などが含まれる。なお、カメラパラメータには、カメラ内部パラメータ（例えば、焦点距離、画素サイズ、画像中心、レンズ歪補正係数など）が含まれてもよい。

このように、カメラ校正パラメータ算出部１１１は、この座標ズレが許容値以下となるまで、例えば一定の範囲でカメラパラメータを変更し、処理を繰り返す。そして、カメラ校正パラメータ算出部１１１は、この座標ズレが許容値以下となるカメラパラメータ（カメラ角度、位置など）をカメラ校正パラメータとして出力する。カメラパラメータは、カメラ１０１の角度、及び／またはカメラ１０１の位置を含む。

以上の処理により、路面に輝度の情報量が特徴的な大きさがない場合（例えば、生産ライン上のコンクリート路面などの場合）にも、壁面の特徴点を抽出することで車両が移動する際に自動的にカメラ校正を行うことができる。

以下、図３のステップＳ２０２における移動予測点のイメージ座標の算出処理について、図４と図５を用いて説明する。
図４（Ａ）では、移動前の画像ＢＩにおいて特徴点のイメージ座標が示され、移動後の画像において追跡点のイメージ座標が示されている。

（ステップＳ３０１）まず、カメラ校正パラメータ算出部１１１は、メモリ１０２に保存された特徴点のイメージ座標を世界座標に変換する。ここで世界座標とは実空間に設定された座標である。これにより、例えば、図４（Ｂ）に示すように、特徴点の世界座標が得られる。処理の詳細は図６で後述する。

（ステップＳ３０２）次に、カメラ校正パラメータ算出部１１１は、特徴点の世界座標に車両の移動量を加算し、移動予測点の世界座標を算出する。これにより、例えば、図４（Ｃ）に示すように、移動予測点の世界座標が得られる。

（ステップＳ３０３）次に、カメラ校正パラメータ算出部１１１は、移動予測点の世界座標をイメージ座標に変換する。これにより、例えば、図４（Ｄ）に示すように、移動予測点のイメージ座標が得られる。

このように、カメラ校正パラメータ算出部１１１は、前記追跡点の移動前のカメラによって撮像された画像におけるイメージ座標を世界座標へ変換し、変換後の世界座標に前記算出された実際のカメラ移動距離を加算して移動予測点の世界座標を算出し、算出した移動予測点の世界座標をイメージ座標に変換する。

図６は、図５のステップＳ３０１の座標変換処理の詳細を示すフローチャートである。
（ステップＳ４０１）まず、カメラ校正パラメータ算出部１１１は、イメージ座標を歪みありセンサー座標に変換する。

（ステップＳ４０２）次に、カメラ校正パラメータ算出部１１１は、歪みありセンサー座標を歪みなしセンサー座標に変換する。

（ステップＳ４０３）次に、カメラ校正パラメータ算出部１１１は、歪みなしセンサー座標から世界座標に変換する。
［１−４．効果等］
以上のように、本実施の形態において、カメラ校正装置１は、壁面に対して略平行に車両が移動中に当該車両１０に搭載されたカメラ１０１によって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部１０４を備える。更にカメラ校正装置１は、前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部１０７を備える。更にカメラ校正装置１は、前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部１０８を備える。更にカメラ校正装置１は、前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部１０８を備える。更にカメラ校正装置１は、前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部を備える。更にカメラ校正装置１は、前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが許容値以下が小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部を備える。

この構成により、路面の輝度の情報量に特徴的な大きさがない（生産ライン上のコンクリート路面などの）場合にも、生産ラインなどで車両を停車することなく、生産ラインなどを車両が移動する際に自動的にカメラ校正を行うことができる。従って、車両の位置決めをせずに車載カメラの校正を行うことができる。また、路面の特徴点、及び／または追跡点を抽出する場合とは違い、路面の汚れに影響されることがない。

［他の実施の形態］
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施の形態にも適用できる。

本開示は、上述した実施の形態に限定されず、以下に示すように実際のカメラの移動量の算出方法を変更した実施形態も考えられる。そこで、以下、他の実施の形態を例示する。

＜第２の実施形態＞
図７は、第２の実施形態において実際のカメラ移動距離の算出方法を説明するための模式図である。３次元空間（スケールなし）上での第１の壁面ＶＷ１、３次元空間（スケールなし）上での第２の壁面ＶＷ２、実際の第１の壁面ＲＷ１、実際の第２の壁面ＲＷ２が示されている。更に、ＳＦＭで算出された３次元空間（スケールなし）Ｓ２が破線の領域で示されている。また移動前のカメラＣ１１、３次元空間（スケールなし）上での移動後のカメラＣ１２、実際の移動後のカメラＣ１３が示されている。

移動距離算出部１１０は、距離算出部（法線ベクトル算出部）１０８が算出した３次元空間（スケールなし）上でのカメラと両側の壁面間の距離（ｄ１，ｄ２）と実際の両壁面の距離Ｄ（既知）を用いて、実際のカメラ移動距離Ｄ_Ｒを算出する。
３次元空間（スケールなし）上での第１の壁面ＶＷ１とカメラの距離をｄ１とする。３次元空間（スケールなし）上での第２の壁面ＶＷ２とカメラの距離をｄ２とする。３次元空間（スケールなし）上で移動前後のカメラ間距離は単位ベクトルに正規化しており、そのベクトルの大きさをＺ１とする。すると、図７のような相似形になる。実際のカメラ移動距離Ｄ_Ｒは、次の式で表される。

上記の式に従って、移動距離算出部１１０は、前記算出されたカメラ間距離ｚ１と、前記算出された前記仮想空間における前記第１の壁面ＶＷ１とカメラとの距離ｄ１と、前記算出された前記仮想空間における前記第２の壁面ＶＷ２とカメラとの距離ｄ２と、前記第１の壁面ＲＷ１と前記第２の壁面ＲＷ２の間の実際の距離Ｄとを用いて、実際のカメラ移動距離Ｄ_Ｒを算出する。

本実施形態によれば、実際のカメラ移動量を求めるために、カメラ高さを既知とするのではなく、両側の壁面間の距離を既知とする。カメラの高さは車両ごとでサスペンションなどの状態によって、ばらつくが、本実施形態の方法であれば、両側の壁面間の距離を一定した設備を導入すれば、従来技術より、実際のカメラ移動距離の算出精度が向上する。また、片側のみの壁面の場合である第１の実施形態とは違い、カメラと壁面間の距離が既知でなくてよいので、壁面間であれば、任意の位置を直進するだけでよく、作業の容易性が第１の実施形態よりも向上する。

なお、複数の装置を備えるカメラ校正システムが、各実施形態のカメラ校正装置の各処理を、それらの複数の装置で分散して処理してもよい。
また、各実施形態のカメラ校正装置の各処理を実行するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、当該記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、プロセッサが実行することにより、各実施形態のカメラ校正装置に係る上述した種々の処理を行ってもよい。

１カメラ校正装置
１０車両
１０１カメラ
１０２メモリ
１０３ＣＰＵ
１０４特徴点抽出部
１０５追跡点抽出部
１０６行列算出部
１０７３次元座標算出部
１０８距離算出部
１０９進行ベクトル算出部
１１０移動距離算出部
１１１カメラ校正パラメータ算出部
１２０ＲＯＭ

Claims

壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正装置。
前記カメラパラメータは、前記カメラの角度、及び／または前記カメラの位置を含む
請求項１に記載のカメラ校正装置。
前記カメラ校正パラメータ算出部は、前記追跡点の移動前のカメラによって撮像された画像におけるイメージ座標を世界座標へ変換し、変換後の世界座標に前記算出された実際のカメラ移動距離を加算して移動予測点の世界座標を算出し、算出した移動予測点の世界座標をイメージ座標に変換する
請求項１または２に記載のカメラ校正装置。
第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正装置。
前記カメラのパラメータは、前記カメラの角度、及び／または前記カメラの位置を含む
請求項４に記載のカメラ校正装置。
前記カメラ校正パラメータ算出部は、前記追跡点の移動前のカメラによって撮像された画像におけるイメージ座標を世界座標へ変換し、変換後の世界座標に前記算出された実際のカメラ移動距離を加算して移動予測点の世界座標を算出し、算出した移動予測点の世界座標をイメージ座標に変換する
請求項４または５に記載のカメラ校正装置。
壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正システム。
第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部と、
を備えるカメラ校正システム。
壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出ステップと、
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出ステップと、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出ステップと、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出ステップと、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出ステップと、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出ステップと、
を有するカメラ校正方法。
第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出ステップと、
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出ステップと、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出ステップと、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出ステップと、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出ステップと、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出ステップと、
を有するカメラ校正方法。
コンピュータを、
壁面に対して略平行に車両が移動中に当該車両に搭載されたカメラによって撮像された画像から、当該壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された特徴点を用いて３次元復元を行うことにより、仮想空間における壁面の３次元座標を算出する３次元座標算出部と、
前記算出された壁面の３次元座標を用いて、前記仮想空間における前記壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記壁面とカメラとの距離と、前記壁面とカメラの間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラパラメータを変更するカメラ校正パラメータ算出部
として機能させるためのプログラム。
コンピュータを、
第１の壁面と第２の壁面との間を車両が当該第１の壁面及び当該第２の壁面に対して略平行に移動中に当該車両に搭載されたカメラによって撮像された画像から、当該第１の壁面の特徴点及び当該第２の壁面の特徴点を抽出する特徴点抽出部と、
前記抽出された第１の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第１の壁面の３次元座標を算出し、前記抽出された第２の壁面の特徴点を用いて３次元復元を行うことにより、仮想空間における前記第２の壁面の３次元座標を算出する３次元座標算出部と、
前記算出された第１の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出し、前記算出された第２の壁面の３次元座標を用いて、前記仮想空間における前記第１の壁面とカメラとの距離を算出する距離算出部と、
前記仮想空間における、移動前のカメラと前記第１の壁面及び前記第２の壁面に対して略平行に移動した後のカメラとの距離であるカメラ間距離を算出する距離算出部と、
前記算出されたカメラ間距離と、前記算出された前記仮想空間における前記第１の壁面とカメラとの距離と、前記算出された前記仮想空間における前記第２の壁面とカメラとの距離と、前記第１の壁面と前記第２の壁面の間の実際の距離とを用いて、実際のカメラ移動距離を算出する移動距離算出部と、
前記算出された実際のカメラ移動距離と、前記カメラのカメラパラメータを用いて、前記壁面の追跡対象とする特徴点である追跡点の移動予測点のイメージ座標を算出し、当該移動予測点のイメージ座標と、前記移動した後のカメラによって撮像された画像における前記追跡点のイメージ座標との間の座標ずれを算出し、前記算出された座標ずれが小さくなるよう、前記カメラのパラメータを変更するカメラ校正パラメータ算出部
として機能させるためのプログラム。