JP5175230B2 - カメラの自動キャリブレーション装置及び自動キャリブレーション方法 - Google Patents

Description

本発明は、カメラのキャリブレーション装置及びキャリブレーション方法に係り、特に、カメラの回転方向や並進方向のズレを自動的に調整するうえで好適な自動キャリブレーション装置及び自動キャリブレーション方法に関する。

車両には、運転席に着座した運転手を撮影するカメラが搭載されることがあるが（例えば特許文献１参照）、この場合、車両振動や衝撃，経年変化，熱膨張などによる変形に起因してカメラの位置やその光軸方向が初期の状態からズレることがある。

従来、上記した事態に対応するため、車両に取り付けられたカメラの撮影領域内に所定のキャリブレーションパターンを置いたうえで、そのキャリブレーションパターンをカメラを用いて撮影し、その撮影画像中におけるキャリブレーションパターンの撮影データからカメラの位置や方向の誤差を計測してキャリブレーションする技術が知られている（例えば、特許文献２参照）。

特開２０００−１６８５０２号公報 特開２００１−１１６５１５号公報

しかしながら、上記した特許文献２記載の技術では、カメラのキャリブレーションを実施するうえで、常にカメラの撮影領域内に所定のキャリブレーションパターンを含める必要があるため、そのための特別な手間がかかり或いは車両点検時など特別なタイミングでしか実施できないなどの不都合が生ずる。

本発明は、上述の点に鑑みてなされたものであり、通常撮影している領域内の撮影画像を用いて計測したカメラの位置や方向に従ってキャリブレーションを実施することが可能なカメラの自動キャリブレーション装置及び自動キャリブレーション方法を提供することを目的とする。

上記の目的は、撮影対象として所定基準面を基準にして面対称な特徴点の組を複数有する面対称物体を含むカメラの撮影画像から、前記面対称物体の面対称特徴点の少なくとも２組を抽出する面対称特徴点抽出手段と、前記面対称特徴点抽出手段により抽出される前記面対称物体の面対称特徴点の少なくとも２組に基づいて、前記所定基準面を特定する基準面パラメータ、及び、該面対称物体の面対称特徴点の少なくとも２組を含む面対称構成平面を特定する構成面パラメータを導出する面パラメータ導出手段と、前記面パラメータ導出手段により導出される前記基準面パラメータ及び前記構成面パラメータに基づいて、撮影対象と前記カメラとの座標系の対応を示す回転パラメータ及び並進パラメータを更新するカメラパラメータ制御手段と、を備えるカメラの自動キャリブレーション装置により達成される。

また、上記の目的は、コンピュータに、撮影対象として所定基準面を基準にして面対称な特徴点の組を複数有する面対称物体を含むカメラの撮像画像から、前記面対称物体の面対称特徴点の少なくとも２組を抽出させる面対称特徴点抽出ステップと、コンピュータに、前記面対称特徴点抽出ステップにおいて抽出される前記面対称物体の面対称特徴点の少なくとも２組に基づいて、前記所定基準面を特定する基準面パラメータ、及び、該面対称物体の面対称特徴点の少なくとも２組を含む面対称構成平面を特定する構成面パラメータを導出させる面パラメータ導出ステップと、コンピュータに、前記面パラメータ導出ステップにおいて導出される前記基準面パラメータ及び前記構成面パラメータに基づいて、撮影対象と前記カメラとの座標系の対応を示す回転パラメータ及び並進パラメータを更新させるカメラパラメータ制御ステップと、を備えるカメラの自動キャリブレーション方法により達成される。

これらの態様の発明において、カメラの撮影対象には、所定基準面を基準にして面対称な特徴点の組を複数有する面対称物体が含まれる。この場合において、カメラの撮影した撮影画像から面対称物体を構成する面対称特徴点の少なくとも２組が抽出されて、所定基準面を特定する基準面パラメータ及び上記の面対称特徴点を構成する面対称構成平面を特定する構成面パラメータが導出される。かかる面パラメータによれば、カメラに対する所定基準面及び面対称構成平面の位置及び向きが特定される。カメラに対する所定基準面及び面対称構成平面の位置及び向きが特定されれば、撮影対象とカメラとの座標系が一意に特定されるので、カメラの位置や方向が計測される。本発明においては、上記の如く導出した基準面パラメータ及び構成面パラメータに基づいて、撮影対象と前記カメラとの座標系の対応を示す回転パラメータ及び並進パラメータが更新される。従って、本発明によれば、通常撮影している面対称物体が含まれる領域内の撮影画像を用いて計測したカメラの位置や方向に従ってキャリブレーションを実施することができる。

尚、上記したカメラの自動キャリブレーション装置において、前記基準面パラメータ及び前記構成面パラメータを記憶可能な記憶手段を備え、前記カメラパラメータ制御手段は、前記面パラメータ導出手段により導出される前記基準面パラメータ及び前記構成面パラメータと、前記記憶手段に記憶されている過去の前記基準面パラメータ及び前記構成面パラメータと、の関係に基づいて、前記座標系の回転及び並進の過去からの変化量を推定する変化量推定手段と、前記回転パラメータ及び前記並進パラメータを、前記記憶手段に記憶されている過去の前記基準面パラメータ及び前記構成面パラメータに対応する前記座標系での前記回転パラメータ及び前記並進パラメータに、前記変化量推定手段により推定される回転及び並進の前記変化量を加算したものに更新する回転・並進パラメータ更新手段と、を有することとしてもよい。

また、上記したカメラの自動キャリブレーション方法において、前記カメラパラメータ制御ステップは、コンピュータに、前記面パラメータ導出ステップにおいて導出される前記基準面パラメータ及び前記構成面パラメータと、記憶手段に記憶されている過去の前記基準面パラメータ及び前記構成面パラメータと、の関係に基づいて、前記座標系の回転及び並進の過去からの変化量を推定させる変化量推定ステップと、コンピュータに、前記回転パラメータ及び前記並進パラメータを、前記記憶手段に記憶されている過去の前記基準面パラメータ及び前記構成面パラメータに対応する前記座標系での前記回転パラメータ及び前記並進パラメータに、前記変化量推定ステップにおいて推定される回転及び並進の前記変化量を加算したものに更新させる回転・並進パラメータ更新ステップと、を有することとしてもよい。

これらの態様の発明において、基準面パラメータ及び構成面パラメータについて、導出されたものと記憶手段に記憶されている過去のものとの関係に基づいて、撮影対象とカメラとの座標系の回転及び並進の過去からの変化量が推定される。そして、撮影対象とカメラとの座標系の対応を示す回転パラメータ及び並進パラメータは、過去のものにその推定される回転及び並進の変化量を加算したものに更新される。従って、本発明によれば、通常撮影している面対称物体が含まれる領域内の撮影画像を用いて計測したカメラの位置や方向の、過去のものからのズレに従ってキャリブレーションを実施することができる。

尚、上記したカメラの自動キャリブレーション装置において、前記カメラパラメータ制御手段は、また、前記記憶手段に記憶される前記基準面パラメータ及び前記構成面パラメータを、前記面パラメータ導出手段により導出される前記基準面パラメータ及び前記構成面パラメータに更新する面パラメータ更新手段を有することとしてもよい。

また、上記したカメラの自動キャリブレーション方法において、前記カメラパラメータ制御ステップは、また、コンピュータに、前記記憶手段に記憶される前記基準面パラメータ及び前記構成面パラメータを、前記面パラメータ導出ステップにおいて導出される前記基準面パラメータ及び前記構成面パラメータに更新させる面パラメータ更新ステップを有することとしてもよい。

これらの態様の発明において、座標系の対応を示す回転パラメータ及び並進パラメータが更新される場合、記憶手段に記憶される基準面パラメータ及び構成面パラメータが、導出されたものに更新される。このため、以後、カメラの位置及び方向がズレるときにも、撮影対象とカメラとの座標系の対応を示す回転パラメータ及び並進パラメータの更新を適切に行うことができる。

尚、上記したカメラの自動キャリブレーション装置において、前記カメラは、車両に搭載される車載カメラであり、前記面対称特徴点抽出手段は、車両のイグニションスイッチのオフ時に、前記カメラが撮影した撮像画像から、前記面対称物体の面対称特徴点の少なくとも２組を抽出することとしてもよい。

また、上記したカメラの自動キャリブレーション方法において、前記カメラは、車両に搭載される車載カメラであり、前記面対称特徴点抽出ステップは、コンピュータに、車両のイグニションスイッチのオフ時に、前記カメラが撮影した撮像画像から、前記面対称物体の面対称特徴点の少なくとも２組を抽出させることとしてもよい。

これらの態様の発明においては、車両のイグニションスイッチのオフ時に、撮影対象とカメラとの座標系の対応を示す回転パラメータ及び並進パラメータを更新させることができる。このため、イグニションスイッチのオン時に面対称物体が他の撮影対象に隠れてカメラの撮影画像中に映らない場合にも、そのイグニションスイッチのオン時に生じたカメラの位置及び方向のズレに対するキャリブレーションをイグニションスイッチのオフ時に実施することができるので、次の車両走行時におけるカメラの撮影画像処理を適切に行うことができる。

尚、上記したカメラの自動キャリブレーション装置及び自動キャリブレーション方法において、前記カメラは、車両に搭載される車載カメラであり、前記面対称物体は、車両シート、ヘッドレスト、又は窓枠であることとしてもよい。

これらの態様の発明においては、車載カメラの撮影領域内に含まれる面対称な車両シート、ヘッドレスト、又は窓枠を用いて、撮影対象とカメラとの座標系の対応を示す回転パラメータ及び並進パラメータを更新させることができる。従って、通常撮影している領域内の撮影画像を用いて計測したカメラの位置や方向に従ってキャリブレーションを実施することができる。

本発明によれば、通常撮影している面対称物体が含まれる領域内の撮影画像を用いて計測したカメラの位置や方向に従ってキャリブレーションを実施することができる。

本発明の一実施例である車載システムに搭載されるカメラの自動キャリブレーション装置の構成図である。 本実施例においてカメラと面対称物体の面対称特徴点の２組を含む面対称構成平面と面対称基準面との三次元モデルを表した図である。 本実施例において面対称物体の面対称特徴点の２組を含む面対称構成平面が映るカメラ撮影画像の一例を表した図である。 本実施例の自動キャリブレーション装置において実行される制御ルーチンの一例のフローチャートである。 本実施例の自動キャリブレーション装置において面対称基準面についてのパラメータを導出すべく実行されるサブルーチンの一例のフローチャートである。 本実施例の自動キャリブレーション装置において面対称構成平面についてのパラメータを導出すべく実行されるサブルーチンの一例のフローチャートである。

以下、図面を用いて、本発明に係るカメラの自動キャリブレーション装置及び自動キャリブレーション方法の具体的な実施の形態について説明する。

図１は、本発明の一実施例である車載システムに搭載されるカメラの自動キャリブレーション装置１０の構成図を示す。本実施例の車載システムは、車内や車外を撮影する一つのカメラ１２を備え、そのカメラ１２を用いて車両運転者の顔や路面や他車両などの車両周辺状況などを撮影して、その撮影画像１４を処理することにより車両運転者の居眠りや覚醒，開眼度，眼の向きなどの状態或いは他車両までの距離などの車両周辺状況を検出するシステムである。

カメラ１２は、車内の所定位置（例えばダッシュボード上やコンビネーションメータ内，車両バンパなど）に設置器具を用いて取り付けられている。カメラ１２は、特定方向に固定されたカメラ光軸を有するものとしてもよいし、また、パン・チルト・ズームの変更が可能であるものとしてもよい。但し、パン・チルト・ズームの変更が可能である場合は、その移動量がカメラ情報として本実施例のシステム側に得られるものとする。

カメラ１２は、その配設部位から所定角範囲で広がる領域を撮影する。カメラ１２の撮影する撮影領域には、撮影対象として、上記の如く検出すべき車両運転者の顔や車両周辺状況などと共に、ある一つの基準面（面対称基準面）を基準にして面対称な特徴点の組を複数有する面対称物体１６が含まれる。この面対称物体１６は、車両運転者が着座する車両シートの背もたれ部の外枠や、その車両シートに取り付けられるヘッドレストの外枠，リヤガラスやフロントガラスの窓枠，車内の内装の切れ目，車体のボンネットやバンパなどである。面対称物体１６は、三次元空間内で移動や回転を行ってもよいが、その移動や回転がなされる際、上記の面対称基準面は変化しないものとする。尚、面対称物体１６が移動・回転した際は、その移動量や回転量は車両情報として他の装置（例えばシートポジションセンサやリクライニングアングルなど）から本実施例のシステム側に得られるものとする。

尚、面対称物体１６としての車両シートやヘッドレスト，ガラス窓枠，内装の切れ目は、撮影対象としての車両運転者が着座していないときにカメラ１２の撮影画像１４内に含まれるものであればよく、車両運転者が着座しているときにはその車両運転者に隠れてカメラ１２の撮影画像１４内に含まれないものであってもよい。但し、面対称物体１６は、面対称基準面を挟んで対をなす２つの面対称特徴点のすべての組の大部分が特定の平面（面対称構成平面）上にあるものとする。また、面対称物体１６は、その面対称物体１６を構成する面対称基準面を挟んで対をなす２つの面対称特徴点のすべての組のうち少なくとも２組以上がカメラ１２の撮影画像１４内に映るものとし、撮影画像１４からその面対称物体１６を構成する面対称特徴点の組を少なくとも２組抽出可能であるものとする。更に、カメラ１２は、面対称物体１６の撮影が行われた際に撮影画像１４上において、面対称物体１６の対をなす２つの面対称特徴点を結ぶ線が他の組の面対称特徴点を結ぶ線と平行にならないように配置される。

図１に示す如く、カメラ１２には、電子制御ユニット（以下、ＥＣＵと称す）２０が電気的に接続されている。カメラ１２及びＥＣＵ２０には、車両のイグニションスイッチのオフ時にも車載バッテリなどから電源が供給される。

カメラ１２の撮影した撮影画像１４の情報は、ＥＣＵ２０に供給される。ＥＣＵ２０には、データの読み出し・書き込みが可能なメモリ２２が内蔵されている。メモリ２２には、ＥＣＵ２０に入力されるカメラ１２の撮影画像１４を処理して車両運転者の顔や車両周辺状況などを検出するうえで必要な情報（カメラ１２のキャリブレーション情報）が記憶される。メモリ２２は、不揮発性メモリであるのがよい。

このキャリブレーション情報は、カメラ１２自体を中心にしたカメラ座標系（原点Ｏ）とカメラ１２の撮影した撮像画像１４を中心にした画像座標系との対応を示す内部パラメータ（具体的には、レンズ焦点距離、画像の中心座標（ｕ０，ｖ０）、ｕ方向及びｖ方向のスケールファクター、並びにせん断係数）と、カメラ座標系と地球上で中心となる絶対座標系との対応を示す外部パラメータ（具体的には、予め定められた基準に対するカメラ１２の位置やカメラ光軸が向く方向などの回転パラメータ及び並進パラメータ）と、である。内部パラメータは、カメラ１２の位置や光軸方向のズレが生じても不変であるが、外部パラメータは、カメラ１２の位置や光軸方向のズレに起因して変化する。

尚、メモリ２２のキャリブレーション情報（特に、外部パラメータ）は、一旦書き込まれると、再書き込みが行われるまで継続して記憶される。ＥＣＵ２０は、カメラ１２から撮影画像１４の情報が供給された場合、その撮像画像１４を、メモリ２２に記憶されているキャリブレーション情報を用いて処理することで、車両運転者の顔や車両周辺状況などを検出する。

以下、図２乃至図６を参照して、本実施例のカメラ１２のキャリブレーション情報（特に外部パラメータ）を更新する自動キャリブレーション装置１０の動作について説明する。図２は、本実施例においてカメラ１２と面対称物体１６の面対称特徴点の２組を含む面対称構成平面と面対称基準面との三次元モデルを表した図を示す。図３は、本実施例において面対称物体１６の面対称特徴点の２組を含む面対称構成平面が映るカメラ１２の撮影画像の一例を表した図を示す。図４は、本実施例の自動キャリブレーション装置１０においてＥＣＵ２０が実行するメインルーチンの一例のフローチャートを示す。図５は、本実施例の自動キャリブレーション装置１０においてＥＣＵ２０が面対称基準面についてのパラメータを導出すべく実行するサブルーチンの一例のフローチャートを示す。また、図６は、本実施例の自動キャリブレーション装置１０においてＥＣＵ２０が面対称構成平面についてのパラメータを導出すべく実行するサブルーチンの一例のフローチャートを示す。

本実施例において、ＥＣＵ２０のメモリ２２には、車両の工場生産時や車両点検時などにおいて、予め定められた校正器具（形状既知の物体；例えば地面に縞模様パターンで描かれた平面体など）を用いて検出されるキャリブレーション情報（内部パラメータ及び外部パラメータの双方）の初期値が格納される（ステップ１００）。従って、メモリ２２に格納されるカメラ１２のキャリブレーション情報の初期値は、校正器具を用いて検出されたものとなり、その格納後は、この初期値を用いて車両運転者の顔や車両周辺状況などの撮影対象の検出が行われることとなる。

ＥＣＵ２０は、メモリ２２にキャリブレーション情報の初期値が格納される時点或いはその格納後初めてイグニションスイッチがオンからオフへ切り替わった後の所定時点（例えば、イグニションスイッチのオンからオフへの切替後に運転者が降車した時点や、その切替後から所定時間が経過した時点，その運転者の降車後にドアロックがなされた時点など）で、まず、その時点でのカメラ座標系での面対称物体１６についてのパラメータを特定すべく、カメラ１２に面対称物体１６を含む領域の撮影を実施させて、そのカメラ１２から供給される撮影画像１４の情報を入力させる。そして、その撮像画像１４の情報が入力されると、その撮影画像にエッジ処理等を施すことにより、面対称物体１６を構成する、面対称基準面を挟んで対をなす２つの面対称特徴点の少なくとも２組を抽出する（以下、この抽出する２組の点をＡ，Ａ´とＢ，Ｂ´とする）。

尚、この抽出を行う面対称物体１６の部位は、車両シート自体の角や車両シートの表面に表れる凹凸のエッジ部分などであることがその面対称特徴点の抽出のし易さの点で望ましいが、これに限ることなく、２つの面対称特徴点の組を抽出できれば任意の部位であってもよい。また、三次元空間上においてベクトルＡＡ´とベクトルＢＢ´とは平行であり、点Ａと点Ａ´との中点を点Ａ´´としかつ点Ｂと点Ｂ´との中点を点Ｂ´´とした場合、ベクトルＡＡ´はベクトルＡ´´Ｂ´´と垂直であり、ベクトルＢＢ´はベクトルＡ´´Ｂ´´と垂直である。

ＥＣＵ２０は、撮影画像１４から面対称物体１６の面対称特徴点の組を少なくとも２組抽出すると、それら面対称特徴点の複数の組（具体的には、それら各面対称特徴点Ａ，Ａ´，Ｂ，Ｂ´のそれぞれの画像座標系における位置）に基づいて、面対称を構成する対となる２つの面対称特徴点の中点を含む面対称基準面を特定する基準面パラメータ（その面対称基準面の法線ベクトルＮや方程式）を導出する。具体的には、まず、面対称特徴点Ａ，Ａ´，Ｂ，Ｂ´の位置をキャリブレーション情報の内部パラメータを用いて画像座標系のものからカメラ座標系（原点Ｏ）のもの（ベクトルＯＡ，ベクトルＯＡ´，ベクトルＯＢ，ベクトルＯＢ´）へ変換する。そして、そのカメラ座標系での各面対称特徴点Ａ，Ａ´，Ｂ，Ｂ´のベクトルに基づいてベクトルＡＡ´を導出し、また、面対称特徴点Ａ，Ａ´，Ｂ，Ｂ´の何れか一点の絶対座標系での位置を他のシステム等から取得することにより、面対称基準面の法線ベクトルＮを導出し、また、その法線ベクトルＮが点Ａ´´を通ることを考慮して面対称基準面の方程式を導出する。

また、ＥＣＵ２０は、撮影画像１４から面対称物体１６の面対称特徴点の組を少なくとも２組抽出すると、それら面対称特徴点の複数の組に基づいて、各面対称特徴点の複数の組を含む面対称構成平面を特定する構成面パラメータ（その面対称構成平面の法線ベクトルＬや方程式）を導出する。具体的には、上記したカメラ座標系での各面対称特徴点Ａ，Ａ´，Ｂ，Ｂ´のベクトルに基づいてベクトルＡＡ´及びベクトルＡＢを導出して、両ベクトルの外積をとることにより面対称構成平面の法線ベクトルＬを導出し、更に、その法線ベクトルＬが点Ａ´´を通ることを考慮して面対称構成平面の方程式を導出する。

ＥＣＵ２０は、上記の如く面対称物体１６の面対称を構成する面対称基準面及び面対称物体１６を構成する面対称構成平面の各種ベクトル及び方程式を導出すると、初期設定後にカメラ座標系での面対称物体１６についての初期パラメータ（基準面パラメータ及び構成面パラメータ）が特定されたと判断して、その各情報をメモリ２２に格納する。

ＥＣＵ２０は、メモリ２２に面対称物体１６についての初期パラメータが格納された後、車両のイグニションスイッチがオンからオフへ切り替わった後の所定時点（例えば、イグニションスイッチのオンからオフへの切替後に運転者が降車した時点や、その切替後から所定時間が経過した時点，その運転者の降車後にドアロックがなされた時点など）で、そのメモリ２２のキャリブレーション情報（具体的には外部パラメータ）及び面対称物体１６についてのパラメータ（以下、これらを総称してカメラパラメータと称す）を更新する。

具体的には、ＥＣＵ２０は、車両のイグニションスイッチがオンからオフへ切り替わりかつ上記の所定時点になると、まず、メモリ２２から過去（初期設定時や前回イグニションオフ時など）に記憶されたカメラパラメータを読み出す（ステップ１０２）。そして、カメラ１２に面対称物体１６を含む領域の撮影を実施させて、そのカメラ１２から供給される撮影画像１４の情報を入力させる（ステップ１０４）。

ＥＣＵ２０は、撮影画像１４の情報が入力されると、その撮影画像にエッジ処理等を施すことにより、面対称物体１６を構成する、面対称基準面を挟んで対をなす２つの面対称特徴点の少なくとも２組を抽出する（以下、この抽出する２組の点をＡ，Ａ´とＢ，Ｂ´とする。；ステップ１０６）。尚、この抽出を行う面対称物体１６の部位は、車両シート自体の角や車両シートの表面に表れる凹凸のエッジ部分などであることがその面対称特徴点の抽出のし易さの点で望ましいが、これに限ることなく、２つの面対称特徴点の組を抽出できれば任意の部位であってもよい。また、この抽出を行う面対称物体１６の部位は、前回に抽出を行った部位と同一であってもよく、また、異なっていてもよい。

ＥＣＵ２０は、撮影画像１４から面対称物体１６の面対称特徴点の組を少なくとも２組抽出すると、それら面対称特徴点の複数の組に基づいて、面対称を構成する対となる２つの面対称特徴点の中点を含む面対称基準面を特定する基準面パラメータ（その面対称基準面の法線ベクトルＮ´や方程式）を導出する（ステップ１０８）。

具体的には、まず、面対称特徴点Ａ，Ａ´，Ｂ，Ｂ´の位置をキャリブレーション情報の内部パラメータを用いて画像座標系のものからカメラ座標系（原点Ｏ）のもの（ベクトルＯＡ，ベクトルＯＡ´，ベクトルＯＢ，ベクトルＯＢ´）へ変換する（ステップ１２０）。そして、そのカメラ座標系での各面対称特徴点Ａ，Ａ´（又はＢ，Ｂ´）のベクトルに基づいてベクトルＡＡ´（又はベクトルＢＢ´）を導出し（ステップ１２２）、また、面対称特徴点Ａ，Ａ´，Ｂ，Ｂ´の何れか一点の絶対座標系での位置を他のシステム等から取得する（ステップ１２４）ことにより、カメラ座標系での面対称基準面の法線ベクトルＮ´を導出し、また、その法線ベクトルＮ´が点Ａ´´を通ることを考慮して面対称基準面の方程式を導出する（ステップ１２６）。

また、ＥＣＵ２０は、撮影画像１４から面対称物体１６の面対称特徴点の組を少なくとも２組抽出すると、それら面対称特徴点の複数の組に基づいて、各面対称特徴点の複数の組を含む面対称構成平面を特定する構成面パラメータ（その面対称構成平面の法線ベクトルＬや方程式）を導出する（ステップ１１０）。

具体的には、上記したカメラ座標系での各面対称特徴点Ａ，Ａ´（又はＢ，Ｂ´）のベクトルに基づいてベクトルＡＡ´（又はベクトルＢＢ´）及びベクトルＡＢ（又はベクトルＡ´Ｂ´）を導出し（ステップ１４０）、その両ベクトルの外積をとる（ステップ１４２）。そして、面対称構成平面の法線ベクトルＬ´を導出し、更に、その法線ベクトルＬが点Ａ´´を通ることを考慮して面対称構成平面の方程式を導出する（ステップ１４４）。

ＥＣＵ２０は、上記の如く面対称物体１６の面対称を構成する面対称基準面及び面対称物体１６を構成する面対称構成平面の各種ベクトル及び方程式を導出すると、今回のイグニションスイッチのオンからオフへの切替後の所定時点でカメラ座標系での面対称物体１６についてのパラメータ（基準面パラメータ及び構成面パラメータ）が特定されたと判断する。

次に、ＥＣＵ２０は、今回のイグニションスイッチのオンからオフへの切替後に特定されたカメラ座標系での面対称物体１６についてのパラメータと、上記ステップ１０２でメモリ２２から読み出した過去のカメラ座標系での面対称物体１６についてのパラメータと、の関係に基づいて、すなわち、カメラ座標系の時間ズレに基づいて、撮影対象とカメラ１２との座標系の対応を示す回転パラメータ及び並進パラメータの、過去からの変化量を推定する（ステップ１１２）。

具体的には、回転パラメータの過去からの変化量を回転行列Ｒとしかつ並進パラメータの過去からの変化量をベクトルＴとすると、カメラ座標系の現時点のものベクトルＸ´_ＭＯＶＥと過去のものベクトルＸ_ｏｒｇとの間には、次式（１）が成立する。

ベクトルＸ´_ＭＯＶＥ＝Ｒ・ベクトルＸ_ｏｒｇ＋ベクトルＴ ・・・（１）
ここで、２つのカメラ座標系間での同じ面対称物体１６に対する面対称基準面や面対称構成平面の法線ベクトルの変換は回転変換で表すことができるので、次式（２）及び（３）が成立する。従って、ＥＣＵ２０は、カメラ座標系の、今回導出された各面の法線ベクトルＮ´，Ｌ´と、メモリ２２に格納された過去の各面の法線ベクトルＮ，Ｌと、の関係から、撮影対象とカメラ１２との座標系の対応を示す回転パラメータの変化量Ｒを推定することができる。

ベクトルＮ´＝Ｒ・ベクトルＮ ・・・（２）
ベクトルＬ´＝Ｒ・ベクトルＬ ・・・（３）
また、カメラ座標系の原点Ｏから面対称基準面への距離及び面対称構成平面への距離は、カメラ座標系の移動前後で等しい。また、画像座標系で面対称構成平面上の対となる面対称特徴点を結ぶ直線はすべてある点（消失点）で交差する。この消失点は、対となる２つの面対称特徴点からなる組の２つを用いて、画像座標系での各組ごとに点を結んだ直線の方程式と点のカメラ座標系の位置とに基づいて算出される。そして、２つのカメラ座標系間での消失点の移動は、カメラ座標系の回転変換Ｒと並進移動Ｔとにより表される。カメラ座標系の回転パラメータの変化量Ｒは上記（２）及び（３）式から求まる。従って、ＥＣＵ２０は、上記の如く求めた回転パラメータの変化量Ｒと、カメラ座標系の移動前後での消失点の位置関係と、に基づいて、撮影対象とカメラ１２との座標系の対応を示す並進パラメータの変化量Ｔを推定することができる。

今回のイグニションスイッチのオンからオフへの切替後に特定された面対称物体１６についてのパラメータが、メモリ２２に記憶されている過去の面対称物体１６についてのパラメータと一致していれば、その過去からそのイグニション切替時までにカメラ座標系のズレは生じておらず、カメラ１２の位置や光軸方向の変化は生じていないと判断できる。一方、今回のイグニションスイッチのオンからオフへの切替後に特定された面対称物体１６についてのパラメータが、メモリ２２に記憶されている過去の面対称物体１６についてのパラメータと一致していなければ、その過去からそのイグニション切替時までにカメラ座標系のズレが生じ、カメラ１２の位置や光軸方向の変化が生じたと判断できる。

そこで、ＥＣＵ２０は、カメラ座標系の回転パラメータ及び並進パラメータの、過去からの変化量Ｒ，Ｔを推定すると、メモリ２２に記憶されるカメラパラメータを今回の処理により得られたものに更新する（ステップ１１４）。具体的には、カメラ撮影画像に映る面対称物体１６についての面対称基準面及び面対称構成平面のパラメータを今回の処理により得られたものに更新すると共に、カメラ１２の外部パラメータを、メモリ２２に現に記憶されているものに今回の処理により得られた回転パラメータの変化量及び並進パラメータの変化量を加算したものに更新する。そして、その更新したカメラパラメータをメモリ２２に上書き保存する（ステップ１１６）。

このように、本実施例の構成においては、メモリ２２に記憶されるカメラパラメータが、カメラ１２が撮影する撮影画像を処理することにより更新される。このカメラ１２の撮影画像は、面対称物体１６の面対称な特徴点の組が複数映っていればよく、車両シートやヘッドレストなどを撮影対象として通常撮影しているものであればよい。従って、本実施例の自動キャリブレーション装置１０によれば、通常撮影している面対称物体１６がその一部でも含まれる領域内を撮影するカメラ１２の撮影画像を用いて、カメラ１２の位置や方向（具体的には、メモリ２２に格納されている過去のものからズレ）を計測することで、そのカメラ１２の位置や方向（のズレ）に従ってカメラ１２のキャリブレーションを実施することができる。

このため、本実施例によれば、カメラ１２の位置や方向が車両振動や衝撃，経年変化,熱膨張などによる設置器具等の変形に起因してズレるときにも、カメラパラメータの更新を適切に行うことができ、カメラ１２の撮影画像１４の処理を適切に行うことができ、撮影対象としての車両運転者の顔や車両周辺状況などの検出を精度よく行うことが可能となっている。また、カメラパラメータの更新を調整作業者の手作業によることなく容易に実現することができるので、カメラパラメータを更新するうえでの手間や時間を省くことが可能となっている。

また、本実施例において、メモリ２２に記憶されるカメラパラメータは、車両のイグニションスイッチがオンからオフへ切り替わった後の所定時点で更新される。この所定時点は、上記の如く、例えば、イグニションスイッチのオンからオフへの切替後に運転者が降車した時点や、その切替後から所定時間が経過した時点，その運転者の降車後にドアロックがなされた時点などであって、イグニションスイッチのオフ時である。

このため、本実施例によれば、イグニションスイッチのオン時に面対称物体１６が他の撮影対象に隠れてカメラ１２の撮影画像中に映らない場合にも、その面対称物体１６がカメラ１２の撮影画像中に映るイグニションスイッチのオフ時にカメラ１２の位置及び方向のズレに対するキャリブレーションを実施してカメラパラメータを更新することができる。また、直前のイグニションスイッチのオン時に生じたカメラ１２の位置及び方向のズレに対するキャリブレーションを実施してカメラパラメータを更新することができるので、次のイグニションスイッチオンの車両走行時におけるカメラ１２の撮影画像処理を適切に行うことができる。

ところで、上記の実施例においては、メモリ２２が特許請求の範囲に記載した「記憶手段」に相当していると共に、ＥＣＵ２０が、上記図４に示すルーチン中ステップ１０６の処理を実行することにより特許請求の範囲に記載した「面対称特徴点抽出手段」及び「面対称特徴点抽出ステップ」が、ステップ１０８及び１１０の処理を実行することにより特許請求の範囲に記載した「面パラメータ導出手段」及び「面パラメータ導出ステップ」が、ステップ１１２の処理を実行することにより特許請求の範囲に記載したカメラパラメータ制御手段」、「変化量推定手段」、「カメラパラメータ制御ステップ」、及び「変化量推定ステップ」が、ステップ１１４の処理を実行することにより特許請求の範囲に記載した「カメラパラメータ制御手段」、「回転・並進パラメータ更新手段」、「面パラメータ更新手段」、「カメラパラメータ制御ステップ」、「回転・並進パラメータ更新ステップ」、及び「面パラメータ行進手段」が、それぞれ実現されている。

尚、上記の実施例においては、カメラ１２を、その撮影が行われた際に撮影画像１４上において、面対称物体１６の対をなす２つの面対称特徴点を結ぶ線が他の組の面対称特徴点を結ぶ線と平行にならないように配置し、画像座標系で面対称構成平面上の対となる面対称特徴点を結ぶ直線がすべて消失点で交差するものとしたが、本発明はこれに限定されるものではなく、画像座標系で面対称構成平面上の対となる面対称特徴点を結ぶ直線が交差する消失点が存在しないように、すなわち、画像座標系で面対称物体１６の対をなす２つの面対称特徴点を結ぶ線が他の組の面対称特徴点を結ぶ線と平行になるようにカメラ１２を配置するものとしてもよい。かかる変形例においては、消失点から並進パラメータを求めることができないので、消失点に代えて、面対称物体１６の絶対座標系の位置やカメラ１２からの距離を他のシステム等から取得することで、並進パラメータを求める。

また、上記の実施例においては、カメラ１２の位置や方向のズレ発生の前後で面対称物体１６が絶対座標系で移動し或いは回転した場合は、カメラパラメータを求めるうえで、その面対称物体１６の移動量や回転量を考慮することとすればよい。かかる構成によれば、カメラ１２の移動前後で面対称物体１６が絶対座標系で移動し或いは回転しても、カメラ１２の外部パラメータである回転パラメータや並進パラメータを精度よく求めて、カメラパラメータの更新を適切に行うことが可能となる。

また同様に、カメラ１２がパン・チルト・ズームの変更が可能であるものである場合は、カメラ１２の位置や方向のズレ発生の前後でカメラ１２のパン・チルト・ズームの変更が行われた場合は、カメラパラメータを求めるうえで、そのカメラ１２のパン・チルト・ズームの移動量を考慮することとすればよい。かかる構成においても、カメラ１２の移動前後でそのパン・チルト・ズームが変化しても、カメラ１２の外部パラメータである回転パラメータや並進パラメータを精度よく求めて、カメラパラメータの更新を適切に行うことが可能となる。

また、上記の実施例においては、カメラ１２及びＥＣＵ２０に車両のイグニションスイッチのオフ時にも車載バッテリなどから電源供給を行うと共に、カメラ１２のキャリブレーションを車両のイグニションスイッチのオフ時に行うこととしているが、カメラ１２及びＥＣＵ２０にイグニション電源を供給して、カメラ１２のキャリブレーションを車両のイグニションスイッチがオフからオンへ切り替わった際或いは車両走行中に行うこととしてもよい。但し、かかる変形例においては、面対称物体１６が、車両運転者が着座しているときにもカメラ１２の撮影画像１４内に含まれるものであることとする。かかる変形例によれば、車両の走行が開始される直前に常に或いは車両走行中にカメラ１２のキャリブレーションが実施されるので、カメラ１２の位置や方向が徐々に微小にずれていくときにも、車両走行時におけるカメラ１２の撮影画像１４の処理を適切に行うことができ、車両運転者の顔や車両周辺状況などの検出を精度よく行うことが可能となる。

更に、上記の実施例は、車載システムに搭載したカメラ１２の自動キャリブレーション装置１０に適用することとしているが、本発明はこれに限定されるものではなく、工場ラインやゲートや家，路上などに設置されて撮影対象を特定するのに画像処理が施されるシステムに搭載されるカメラの自動キャリブレーション装置に適用することとしてもよい。

１０ 自動キャリブレーション装置
１２ カメラ
１４ 撮影画像
１６ 面対称物体
２０ 電子制御ユニット（ＥＣＵ）
２２ メモリ

Claims (10)

1. 撮影対象として所定基準面を基準にして面対称な特徴点の組を複数有する面対称物体を含むカメラの撮影画像から、前記面対称物体の面対称特徴点の少なくとも２組を抽出する面対称特徴点抽出手段と、
   前記面対称特徴点抽出手段により抽出される前記面対称物体の面対称特徴点の少なくとも２組に基づいて、前記所定基準面を特定する基準面パラメータ、及び、該面対称物体の面対称特徴点の少なくとも２組を含む面対称構成平面を特定する構成面パラメータを導出する面パラメータ導出手段と、
   前記面パラメータ導出手段により導出される前記基準面パラメータ及び前記構成面パラメータに基づいて、撮影対象と前記カメラとの座標系の対応を示す回転パラメータ及び並進パラメータを更新するカメラパラメータ制御手段と、
   を備えることを特徴とするカメラの自動キャリブレーション装置。
2. 前記基準面パラメータ及び前記構成面パラメータを記憶可能な記憶手段を備え、
   前記カメラパラメータ制御手段は、
   前記面パラメータ導出手段により導出される前記基準面パラメータ及び前記構成面パラメータと、前記記憶手段に記憶されている過去の前記基準面パラメータ及び前記構成面パラメータと、の関係に基づいて、前記座標系の回転及び並進の過去からの変化量を推定する変化量推定手段と、
   前記回転パラメータ及び前記並進パラメータを、前記記憶手段に記憶されている過去の前記基準面パラメータ及び前記構成面パラメータに対応する前記座標系での前記回転パラメータ及び前記並進パラメータに、前記変化量推定手段により推定される回転及び並進の前記変化量を加算したものに更新する回転・並進パラメータ更新手段と、
   を有することを特徴とする請求項１記載のカメラの自動キャリブレーション装置。
3. 前記カメラパラメータ制御手段は、また、前記記憶手段に記憶される前記基準面パラメータ及び前記構成面パラメータを、前記面パラメータ導出手段により導出される前記基準面パラメータ及び前記構成面パラメータに更新する面パラメータ更新手段を有することを特徴とする請求項２記載のカメラの自動キャリブレーション装置。
4. 前記カメラは、車両に搭載される車載カメラであり、
   前記面対称特徴点抽出手段は、車両のイグニションスイッチのオフ時に、前記カメラが撮影した撮像画像から、前記面対称物体の面対称特徴点の少なくとも２組を抽出することを特徴とする請求項１乃至３の何れか一項記載のカメラの自動キャリブレーション装置。
5. 前記カメラは、車両に搭載される車載カメラであり、
   前記面対称物体は、車両シート、ヘッドレスト、又は窓枠であることを特徴とする請求項１乃至３の何れか一項記載のカメラの自動キャリブレーション装置。
6. コンピュータに、撮影対象として所定基準面を基準にして面対称な特徴点の組を複数有する面対称物体を含むカメラの撮像画像から、前記面対称物体の面対称特徴点の少なくとも２組を抽出させる面対称特徴点抽出ステップと、
   コンピュータに、前記面対称特徴点抽出ステップにおいて抽出される前記面対称物体の面対称特徴点の少なくとも２組に基づいて、前記所定基準面を特定する基準面パラメータ、及び、該面対称物体の面対称特徴点の少なくとも２組を含む面対称構成平面を特定する構成面パラメータを導出させる面パラメータ導出ステップと、
   コンピュータに、前記面パラメータ導出ステップにおいて導出される前記基準面パラメータ及び前記構成面パラメータに基づいて、撮影対象と前記カメラとの座標系の対応を示す回転パラメータ及び並進パラメータを更新させるカメラパラメータ制御ステップと、
   を備えることを特徴とするカメラの自動キャリブレーション方法。
7. 前記カメラパラメータ制御ステップは、
   コンピュータに、前記面パラメータ導出ステップにおいて導出される前記基準面パラメータ及び前記構成面パラメータと、記憶手段に記憶されている過去の前記基準面パラメータ及び前記構成面パラメータと、の関係に基づいて、前記座標系の回転及び並進の過去からの変化量を推定させる変化量推定ステップと、
   コンピュータに、前記回転パラメータ及び前記並進パラメータを、前記記憶手段に記憶されている過去の前記基準面パラメータ及び前記構成面パラメータに対応する前記座標系での前記回転パラメータ及び前記並進パラメータに、前記変化量推定ステップにおいて推定される回転及び並進の前記変化量を加算したものに更新させる回転・並進パラメータ更新ステップと、
   を有することを特徴とする請求項６記載のカメラの自動キャリブレーション方法。
8. 前記カメラパラメータ制御ステップは、また、コンピュータに、前記記憶手段に記憶される前記基準面パラメータ及び前記構成面パラメータを、前記面パラメータ導出ステップにおいて導出される前記基準面パラメータ及び前記構成面パラメータに更新させる面パラメータ更新ステップを有することを特徴とする請求項７記載のカメラの自動キャリブレーション方法。
9. 前記カメラは、車両に搭載される車載カメラであり、
   前記面対称特徴点抽出ステップは、コンピュータに、車両のイグニションスイッチのオフ時に、前記カメラが撮影した撮像画像から、前記面対称物体の面対称特徴点の少なくとも２組を抽出させることを特徴とする請求項６乃至８の何れか一項記載のカメラの自動キャリブレーション方法。
10. 前記カメラは、車両に搭載される車載カメラであり、
    前記面対称物体は、車両シート、ヘッドレスト、又は窓枠であることを特徴とする請求項６乃至８の何れか一項記載のカメラの自動キャリブレーション方法。

Images