JPWO2017056484A1 - 画像処理装置、ステレオカメラ装置、車両及び画像処理方法 - Google Patents

Abstract

画像処理装置１２は、カメラ１１ａによって撮像された画像を取得する入力部１５と、入力部１５によって取得された複数フレームの画像それぞれから、カメラ１１ａの被写体に含まれる互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、検出されたエッジを評価して使用するフレームを選別し、複数の選別されたフレームから得られるエッジの画素の近似直線に基づいて、カメラ１１ａの較正データを算出するコントローラ１６と、を備える。

Description

関連出願の相互参照

本出願は、２０１５年９月２８日出願の日本国特許出願２０１５−１９０４４９の優先権を主張するものであり、当該出願の開示全体を、ここに参照のために取り込む。

本開示は、画像処理装置、ステレオカメラ装置、車両及び画像較正方法に関する。

自動車等の車両に、複数のカメラを用いて被写体までの距離を測定するステレオカメラ装置がある。

被検出物までの距離を正確に算出するには、ステレオカメラを構成する２台のカメラの相対的な位置がずれていないことが前提である。ところが、ステレオカメラの取付け精度が低かったり、ステレオカメラの取付け後に外部からの振動及び衝撃、並びに経時変化によってその位置が変化したりすることによって、２台のカメラの相対的な位置がずれてしまうことがある。

そこで、ステレオカメラの位置のずれに起因した画像のずれを、基準画像及び参照画像に撮像された白線等の区画線に基づいて較正する方法が知られている（例えば、特許文献１参照）。基準画像及び参照画像にそれぞれ撮像されている路面上の２本の白線それぞれを延長した延長線の交点である消失点に対応する３次元座標空間上での点は、３次元座標空間上においてステレオカメラから無限遠にある。すなわち、２台のカメラが正確な位置で取り付けられている場合、基準画像での消失点と、参照画像での消失点との視差ｄは０である。そのため、特許文献１に記載の距離補正装置は、右の画像（基準画像）及び左の画像（参照画像）のそれぞれ２本の直線を延長した消線の交点（消失点）を算出し、それらの視差ｄを０とするように較正誤差を決定している。

特表２００８−５０９６１９号公報

本開示の画像処理装置は、入力部とコントローラとを備える。前記入力部は、カメラにから複数のフレームを含む映像を取得する。前記コントローラは、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出する。前記コントローラは、前記検出された前記エッジを評価して使用するフレームを選別する。前記コントローラは、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出する。

本開示のステレオカメラ装置は、ステレオカメラと画像処理装置とを備える。前記画像処理装置は、入力部とコントローラとを含む。前記入力部は、前記ステレオカメラから複数のフレームを含む映像を取得する。前記コントローラは、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出する。前記コントローラは、前記検出された前記エッジを評価して使用するフレームを選別する。前記コントローラは、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出する。

本開示の車両は、ステレオカメラと画像処理装置とを備える。前記画像処理装置は入力部とコントローラとを含む。前記入力部は、前記ステレオカメラから複数のフレームを含む映像を取得する。前記コントローラは、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出する。前記コントローラは、前記検出された前記エッジを評価して使用するフレームを選別する。前記コントローラは、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出する。

本開示の画像処理方法は、入力部が、カメラから複数のフレームを含む映像を取得することを含む。前記画像処理方法は、コントローラが、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出することを含む。前記画像処理方法は、前記コントローラが、前記検出された前記エッジを評価して使用するフレームを選別することを含む。前記画像処理方法は、前記コントローラが、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出することを含む。

図１は、道路上を走行するステレオカメラ装置を搭載した車両を簡略化して示す図である。 図２は、複数の実施形態の一つに係るステレオカメラ装置の概略構成を示すブロック図である。 図３は、入力部によって取得された画像の例を示す図である。 図４は、図２に示すエッジ検出部によって変換された２値画像の例を示す図であり、図４（ａ）は、所定の閾値以上の数のエッジが検出される２値画像の例を示す図、図４（ｂ）は、所定の閾値未満の数のエッジが検出される２値画像の例を示す図である。 図５は、図２に示すエッジ検出部によって検出された関心領域内のエッジの集合を示す図であり、図５（ａ）は、２本の区画線を有する坂道を撮像した画像から検出されたエッジの集合を示す図であり、図５（ｂ）は、平行な２本の区画線を有する平坦な道を撮像した画像から検出されたエッジの集合を示す図であり、図５（ｃ）は、２本の区画線を有するカーブしている道を撮像した画像から検出されたエッジの集合を示す図である。 図６は、画像特徴量のヒストグラムの例を示す図である。 図７は、画像処理装置が行う画像較正の手順を示すフローチャートである。 図８は、判定部が行う判定処理の詳細な手順を示すフローチャートである。

上述のような従来技術の方法では、複数フレームの画像のうち、撮像された白線等の区画線が部分的に消えていることにより区画線が正確に検出されない画像があった場合、それらの区画線に基づいて算出した消失点は正確でない場合がある。そのため、正確に画像を較正することができないおそれがある。また、複数フレームの画像のうち、２本の区画線が直線でない画像があった場合には、それらの区画線に基づいて算出した消失点は無限遠にはない。そのため、それらの消失点の視差ｄを０とするようにしても正確に画像を較正することができないおそれがある。

本開示によれば、画像をより正確に較正することができる。

以下、本開示の実施の形態について、図面を参照して説明する。

図１に示す３次元座標空間において、車両１の進行方向（図において上方向）をＺ方向、車両１の車幅方向（図において右方向）をＸ方向とし、Ｘ方向及びＺ方向に直交する方向（紙面に直交する方向）である高さ方向をＹ方向として、説明がされる。ここで、本開示における「車両」は、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば、車両は、滑走路を走行する飛行機を含んでよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両は、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両は、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両は、自転車、車いす、乳母車、手押し車、及び電動立ち乗り２輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモーターを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。

ステレオカメラ装置１０は、第１のカメラ１１ａ及び第２のカメラ１１ｂの２つのカメラを含んで構成されるステレオカメラ１１と、ステレオカメラ１１に電気的に接続された画像処理装置１２とを備える。「ステレオカメラ」とは、互いに視差を有し、互いに協働する複数のカメラである。ステレオカメラは、少なくとも２つ以上のカメラを含む。ステレオカメラでは、複数のカメラを協働させて、複数の方向から対象を撮像することが可能である。ステレオカメラには、複数のカメラを協働させて対象を同時に撮像することができるものが含まれる。撮影の「同時」は、完全な同じ時刻に限られない。例えば、（ｉ）複数のカメラが同時刻に撮像すること、（ｉｉ）複数のカメラが同じ信号に基づいて撮像すること、及び（ｉｉｉ）複数のカメラが各々の内部時計において同時刻に撮像することは、本開示における「同時」に撮影するに含まれる。撮像の時間基準には、撮像の開始時刻、撮像の終了時刻、撮像した画像データの送信時刻、及び画像データを相手機器が受信した時刻が含まれる。ステレオカメラは、１つの筐体に複数のカメラが含まれる機器であってよい。ステレオカメラは互いに独立し、且つ互いに離れて位置する２台以上のカメラを含む機器であってよい。ステレオカメラは、互いに独立した複数のカメラに限られない。本開示では、例えば、離れた２箇所に入射される光を１つの受光素子に導く光学機構を有するカメラをステレオカメラとして採用できる。ステレオカメラ装置１０においては、互いに独立する第１のカメラ１１ａ及び第２のカメラ１１ｂの２台が並んでいる。本開示では、同じ被写体を異なる視点から撮像した複数の画像を「ステレオ画像」と呼ぶことがある。

第１のカメラ１１ａ及び第２のカメラ１１ｂは、個体撮像素子を含む。個体撮像素子は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、及びＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含む。第１のカメラ１１ａ及び第２のカメラ１１ｂは、レンズ機構を含んでよい。

第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、同じ対象物を撮像可能な方向を向いている。第１のカメラ１１ａ及び第２のカメラ１１ｂは、互いの光軸が異なる。第１のカメラ１１ａ及び第２のカメラ１１ｂは、撮像した画像に少なくとも同じ対象物が含まれるように、光軸及び位置が定められる。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、互いに平行になるように向けられる。この平行は、厳密な平行に限られず、組み立てのずれ、取付けのずれ、及びこれらの経時によるずれを許容する。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、平行に限られず、互いに異なる方向でよい。

第１のカメラ１１ａ及び第２のカメラ１１ｂは、車両１に対する位置及び向きの変化が少なくなるように、車両１の車体に対して固定される。第１のカメラ１１ａ及び第２のカメラ１１ｂは、固定されていても、車両１に対して位置及び向きが変化する場合がある。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、車両１の前方（Ｚ方向）を向いている。

ステレオカメラ装置１０は、走行中に路面１３に描かれた、たとえば、車道境界線、車道中央線等の区画線１４ａ〜１４ｄ、先行車両、障害物等の種々の被写体を撮像することができる。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、Ｚ方向から路面１３側に傾いている。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸は、Ｚ方向を向いていてよく、Ｚ方向から空側に傾いていてよい。第１のカメラ１１ａ及び第２のカメラ１１ｂの光軸の向きは、用途に応じて適宜変更される。

第１のカメラ１１ａ及び第２のカメラ１１ｂは、光軸に交わる方向において離れて位置している。複数の実施形態のうちの１つにおいて、第１のカメラ１１ａ及び第２のカメラ１１ｂは、車両１の車幅方向（Ｘ方向）に沿って位置している。第１のカメラ１１ａは、前方を向いたときに第２のカメラ１１ｂの左側に位置し、第２のカメラ１１ａは、前方を向いたときに第１のカメラ１１ａの右側に位置する。第１のカメラ１１ａと第２のカメラ１１ｂとの位置の違いにより、各カメラ１１ａ，１１ｂで撮像した２つの画像において、互いに対応する被写体の位置は、異なる。第１のカメラ１１ａから出力される画像と、第２のカメラ１１ｂから出力される画像とは、異なる視点から撮像したステレオ画像となる。車幅方向（Ｘ方向）に横並びに離間して配置される。第１のカメラ１１ａと第２のカメラ１１ｂとの光学中心を結んだ距離を「基線長」と呼び、その方向を「基線長方向」と呼ぶ。したがって、本実施の形態における基線長方向は、Ｘ方向となる。

複数の実施形態のうちの１つにおいて、第１カメラ６１及び第２カメラ６２光軸は、車両１の前方（Ｚ方向）に向けて、車両１の前側に固定されている。複数の実施形態のうちの１つにおいて、第１カメラ６１及び第２カメラ６２は、車両１のウインドシールドを介して車両１の外部を撮像できる。複数の実施形態において、第１カメラ６１及び第２カメラ６２は、車両１のフロントバンパー、フェンダーグリル、サイドフェンダー、ライトモジュール、及びボンネットのいずれかに固定されていてよい。第１のカメラ１１ａと第２のカメラ１１ｂとの位置はこれに限られず、複数の実施形態のうちの他の１つにおいて、第１のカメラ１１ａ及び第２のカメラ１１ｂは、上下方向（Ｙ方向）又はＸＹ平面内の斜め方向に沿って位置してよい。 その場合、第１のカメラ１１ａ及び第２のカメラ１１ｂから出力される画像は、それぞれ上下方向又は斜め方向に視差を有するステレオ画像となる。

以降の説明においては、第１のカメラ１１ａから出力される画像、及び第２のカメラ１１ｂから出力される画像の画像空間において、３次元座標空間のＸ方向を投影した方向をｘ方向、３次元座標空間のＹ方向を投影した方向をｙ方向とする。

本実施の形態では、第１のカメラ１１ａにより出力された画像を基準画像とし、第２のカメラ１１ｂにより出力された画像を参照画像とする。ステレオカメラ装置１０は、基準画像に対する参照画像の視差を算出する。第１のカメラ１１ａと第２のカメラ１１ｂとしては、同一の仕様のものを用いてよい。第１のカメラ１１ａと第２のカメラ１１ｂとしては、異なる仕様のものを用いてよい。第２のカメラ１１ｂにより基準画像を撮像し、第１のカメラ１１ａにより参照画像を撮像することとしてよい。

第１のカメラ１１ａ及び第２のカメラ１１ｂは、それぞれ撮像した画像をデジタルデータとして、車両１内に設けられた画像処理装置１２に出力する。画像処理装置１２は、第１のカメラ１１ａから出力される基準画像及び第２のカメラ１１ｂから出力される参照画像の各々に対して、種々の処理を行うことができる。画像処理装置１２は、車両１内の他の情報処理装置とＣＡＮ（Controller Area Network）等のネットワークを介して、情報を送受信してよい。

図２は、本実施の形態に係るステレオカメラ装置１０の概略構成を示すブロック図である。前述のように、ステレオカメラ装置１０は、ステレオカメラ１１と画像処理装置１２とを備える。画像処理装置１２は、入力部１５と、コントローラとしての制御部１６と、較正データメモリ１７とを含んで構成されている。

入力部１５は、画像処理装置１２へ画像データを入力する入力インタフェースである。入力部１５は、物理コネクタ、及び無線通信機が採用できる。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、及び電磁波による伝送に対応した電磁コネクタが含まれる。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタを含む。電気コネクタは、EIAJ CP-1211Aに規定されるＳ端子に対応するコネクタ、EIAJ ＲC-5237に規定されるＤ端子に対応するコネクタを含む。電気コネクタは、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、及びＢＮＣを含む同軸ケーブルに対応するコネクタを含む。光コネクタは、IEC 61754に準拠する種々のコネクタを含む。無線通信機は、Bluetooth（登録商標）、及びIEEE802.11を含む各規格に準拠する無線通信機を含む。無線通信機は、少なくとも１つのアンテナを含む。

入力部１５には、第１のカメラ１１ａ及び第２のカメラ１１ｂそれぞれから、図３に示すような基準画像及び参照画像（以降、基準画像及び参照画像のうちの任意の画像を単に「画像」という）の画像データが入力される。入力部１５は入力された画像データを制御部１６に引き渡す。入力部１５への入力は、有線ケーブルを介した信号入力、及び無線接続を介した信号入力を含む。入力部１５は、ステレオカメラ１１の撮像信号の伝送方式に対応してよい。

制御部１６は、画像処理装置１２の種々の演算処理を実行する部分である。制御部１６は、一つまたは複数のプロセッサを含む。制御部１６もしくはプロセッサは、種々の処理のためのプログラム及び演算中の情報を記憶する１または複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサと独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。制御部１６は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

較正データメモリ１７は、較正データ算出部２１によって算出された較正データを記憶するための書き換え可能なメモリを含む。較正データメモリ１７は、例えば、フラッシュメモリ、磁気抵抗メモリ（ＭＲＡＭ（Magnetoresistive Random Access Memory））を用いることができる。較正データメモリ１７は、例えば、強誘電体メモリ（ＦｅＲＡＭ（Ferroelectric Random Access Memory））などの不揮発性メモリ等を用いることができる。

複数の実施形態の１つにおける制御部１６の各構成要素が説明される。複数の実施形態のうちの１つにおいて、制御部１６は、エッジ検出部１８、判定部１９、画像特徴量算出部２０、較正データ算出部２１、画像較正部２２、及び視差算出部２３を含む。各機能ブロックは、ハードウエアモジュールであってよく、ソフトウエアモジュールであってよい。制御部１６は、各機能ブロックが行える動作を実行できる。制御部１６は、各機能ブロックの全ての動作を実行してよい。各機能ブロックが行う動作は、制御部１６が行う動作として言い換えてよい。制御部１６が各機能ブロックのいずれかを使役して行う処理は、制御部１６が自ら実行してよい。

エッジ検出部１８は、入力部１５によって取得された画像から少なくとも１本のエッヂを検出する。例えば、エッヂ検出部１８は、ある画素が近くの画素との画素値の差が所定の値以上であると、当該ある画素、若しくは当該ある画素と当該近くの画素との間をエッヂとして検出する。エッヂ検出部１８は、画像における関心領域（Region of Interest : ROI）内からエッヂを検出する。ここで、関心領域とは、車両１に取り付けられたステレオカメラ装置の複数のカメラが出力した画像において、カメラの被写体に含まれる互いに平行な２本以上の直線が映ることが経験的に見込まれる領域である。関心領域は、予め設定される。カメラの被写体に含まれる互いに平行な２本以上の直線としては、例えば、図３の点線内で示されるような区画線１４ｃまたは１４ｄが挙げられる。ここでの２本以上の直線についての「平行」は、厳密な平行に限られず、所定の範囲内のずれを許容する。

道路上の区画線１４ｃ，１４ｄが撮像されている画像において、画像上の区画線１４ｃ，１４ｄに相当する画素と区画線１４ｃ，１４ｄに近い道路に相当する画素とは画素値の差が所定の値以上となる。区画線１４ｃ，１４ｄの端部に相当する画素は、エッヂ検出部１８によってエッジとして検出される。制御部１６は、画像からエッジを検出することによって、区画線１４ｃ，１４ｄに相当する部分を特定できる。

エッジ検出部１８は、入力部１５によって取得された画像をグレースケール画像に変換する。エッヂ検出部１８は、キャニー法等を用いることによって、グレースケール画像の関心領域内の画像のエッジを強調して、図４に示すような反転２値画像に変換してよい。図４に示される画像は反転２値画像となっているが、２値画像であってよい。エッヂ検出部１８は、検出された各エッジの画像空間内の位置を表す位置座標を特定する。

判定部１９は、エッジ検出部１８で検出したエッジが較正データとして使用可能であるか否かを評価する。この評価によって、ステレオカメラ１１によって撮像された複数のフレームの画像のうち、較正データとして使用するフレームが選別される。判定部１９は、画素数判定部２４、曲線判定部２５、直線判定部２６等の機能ブロックを含んで構成される。

制御部１６は、全体を制御するプロセッサとは別に、判定部１９専用の１または複数のプロセッサを含んでよい。判定部１９専用の１または複数のプロセッサは、ＡＳＩＣを含んでよい。判定部１９は、複数フレームのそれぞれについての判定処理を並列に行ってよい。

判定部１９の各構成要素が説明される。

画素数判定部２４は、エッジ検出部１８によって検出されたエッジの画素数を算出し、算出されたエッジの画素数が所定の閾値以上であるか否かを判定する。画素数判定部２４は、例えば、図４（ａ）に例として示すような２値画像を、エッジの画素数が所定の閾値以上であると判定される。画素数判定部２４は、例えば、図４（ｂ）に例として示すような２値画像を、エッジの画素数が所定の閾値未満であると判定する。ここで、所定の閾値とは、エッジの画素数がこの値以上である場合に、エッジの画素の集合が線であるとみなせる値である。所定の閾値は、例えば、２値画像のエッジが線幅１画素で細線化した場合、関心領域の縦の画素数の、例えば４０％である。所定の閾値は、４０％に限られず、他の値を設定することも可能である。

画素数判定部２４によってエッジの画素数が所定の閾値以上であると判定された画像は、次に説明する曲線判定部２５による処理の対象となる。

曲線判定部２５は、エッジ検出部１８によって検出されたエッジの画素数が所定の閾値以上である場合、検出されたエッジの画像空間内での位置に基づいてエッヂの近似曲線を算出する。具体的には、曲線判定部２５は、ｘ方向、ｙ方向で表される画像空間において近似曲線を表す式（１）に示される二次関数に各エッジの座標をフィッティングさせることによって、式（１）に示される２次の係数ａを算出する。

ｙ＝ａｘ²＋ｂｘ＋ｃ （１）

曲線判定部２５は、算出された２次の係数ａの絶対値が所定の閾値未満であるか否かを判定する。ここで、所定の閾値とは、２次の係数がこの値未満である場合にエッジの集合によって形成される近似線が直線であるとみなせる値であり、予め設定される値である。

図５を用いて曲線判定部２５による演算例が説明される。図５（ａ）は、２本の区画線を有する坂道（勾配Ｒ＝１００ｍ）を撮像した画像から検出されたエッジの集合を示す図である。図５（ｂ）は、平行な２本の区画線を有する平坦な道を撮像した画像から検出されたエッジの集合を示す図である。図５（ｃ）は、２本の区画線を有するカーブしている道（右カーブＲ＝４０ｍ）を撮像した画像から検出されたエッジの集合を示す図である。図５（ａ）〜図５（ｃ）は、左上の点を原点とし、横軸をｘ軸、縦軸をｙ軸として画素単位で座標をとっている。各図の下は、検出された２つのエッジの集合のうち、右側のエッジの集合をフィッティングして算出した２次関数を示している。２本の区画線１４ａ、１４ｂを有する坂道を撮像した画像において係数ａの絶対値の所定の閾値が例えば０．０１０であるとする。この場合、図５（ａ）に例として示すように、平行な２本の区画線を有する坂道を撮像した画像では、エッジの座標をフィッティングして得られた２次関数の２次の係数ａの絶対値は０．１４３である。曲線判定部２５は、係数ａが所定の閾値以上であると判定する。また、図５（ｂ）に例として示すような、平行な２本の区画線を有する平坦な道を撮像した画像では、２次の係数ａの絶対値は０．００５である。曲線判定部２５、２次の係数ａが所定の閾値未満であると判定する。また、図５（ｃ）に例と示すような、平行な２本の区画線を有するカーブしている道を撮像した画像では、２次の係数ａの絶対値は０．８７６である。曲線判定部２５は、係数ａが所定の閾値以上であると判定する。

曲線判定部２５によって２次の係数ａの絶対値が所定の閾値未満であると判定された画像は、次に説明する直線判定部２６による処理の対象となる。

直線判定部２６は、曲線判定部２５によって近似曲線の２次の係数ａの絶対値が所定の閾値未満であると判定された画像について、エッジ検出部１８によって検出されたエッジの画像空間内での位置座標に基づいて近似直線の平均二乗誤差を算出する。具体的には、直線判定部２６は、近似直線を表す式（２）に示される一次関数に、エッジ検出部１８によって検出された各エッジの座標をフィッティングさせることによって、式（２）に示される一次の係数ｄ及び定数ｅを算出する。
ｙ＝ｄｘ＋ｅ （２）

直線判定部２６は、算出された近似直線を表す一次関数についての各エッジの座標の平均二乗誤差を算出する。そして、直線判定部２６は、算出された平均二乗誤差が所定の閾値未満であるか否かを判定する。

直線判定部２６によって平均二乗誤差が所定の閾値未満であると判定された画像は、較正データ算出のために使用可能であると評価される。

画像特徴量算出部２０は、エッジの近似線が直線であると判定された場合に判定部１９によって出力された近似直線を表す情報に基づいて画像特徴量を算出する。画像特徴量とは、画像を特徴付ける量であり、例えば、図３に例を示した画像に撮像されている２本の区画線の交点である消失点の画像空間での位置座標である。画像特徴量は、例えば２本の区画線のなす区画線交差角度θであってもよい。画像特徴量は、所定のｙ座標での２本の区画線の間の距離である区画線距離Ｌ等であってもよい。

較正データ算出部２１は、画像特徴量算出部２０によって算出された複数の画像特徴量の統計値に基づいて、基準画像に対して参照画像を較正するための較正データを算出して、較正データメモリ１７に格納する。この較正データは、後述する画像較正部２２での較正に使用される。

統計値とは、複数の画像特徴量を統計的に処理した値である。統計値は、例えば、画像特徴量の最頻値、中央値、平均値等の任意の統計的な処理によって算出される値である。例えば、較正データ算出部２１は、複数の画像特徴量のヒストグラムを生成して、その最頻値に基づいて較正データを算出する。画像特徴量のヒストグラムは、横軸に画像特徴量そのもの、縦軸に画像特徴量ごとの出現数をとったものでもよい。画像特徴量のヒストグラムは、図６に示すように、画像特徴量の所定の範囲を横軸にとり、その範囲の画像特徴量（図６の例では消失点のｘ座標）の出現数をとったものでもよい。

具体的には、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの基準画像からそれぞれ出力された２本の近似直線の交点である消失点の位置座標のヒストグラムを生成し、その統計値を第１の消失点の位置座標として算出する。ここで統計値の基となるフレーム数は、例えば、１００００フレームとすることができる。較正データ算出部２１が較正データを算出する場合、各消失点のｘ座標及びｙ座標の統計値を第１の消失点の位置座標とする。また、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの参照画像からそれぞれ出力された２本の近似直線の交点である消失点の位置座標の統計値を、第１の消失点の座標と同様の方法により、第２の消失点の位置座標として算出する。

較正データ算出部２１は、上記のように各フレームにおける消失点の統計値を第１の消失点としている。較正データ算出部２１は、例えば、異なるフレームにおいて使用可能と判定された区画線１４ｃ及び１４ｄのエッジに基づく２本の近似直線を算出し、それらの交点を第１の消失点としてよい。較正データ算出部２１は、例えば、異なるフレームにおいて使用可能と判定された区画線１４ｃ及び１４ｄのエッヂに基づく２本の近似直線を算出し、それらの交点を第２の消失点としてよい。較正データ算出部２１は、異なるフレームから第１の消失点及び第２の消失点の少なくとも一方を算出することで、区画線１４ｃ、１４ｄのいずれか一方のエッヂしか使用可能と判定されないフレームを利用することができる。

較正データ算出部２１は、第１の消失点の位置座標と第２の消失点の位置座標とが一致するように基準画像に対して参照画像を較正するための較正データを算出する。

また、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの基準画像からそれぞれ出力された２本の近似直線の区画線交差角度θの統計値を第１の区画線交差角度θ１として算出してもよい。この場合、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの参照画像からそれぞれ出力された２本の近似直線の区画線交差角度θの統計値を第２の区画線交差角度θ２として算出する。そして、較正データ算出部２１は、第１の区画線交差角度θ１と第２の区画線交差角度θ２とが一致するように、基準画像に対して参照画像の画角を較正するための較正データを算出する。

また、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの基準画像からそれぞれ出力された２本の近似直線の区画線距離Ｌの統計値を第１の区画線距離Ｌ１として算出してもよい。この場合、較正データ算出部２１は、画像特徴量算出部２０によって複数フレームの参照画像からそれぞれ出力された２本の近似直線の区画線距離Ｌの統計値を第２の区画線距離Ｌ２として算出する。そして、較正データ算出部２１は、第１の区画線距離Ｌ１と第２の区画線距離Ｌ２とが一致するように、基準画像に対して参照画像の画角を較正するための較正データを算出する。

画像較正部２２は、較正データ算出部２１によって算出されて較正データメモリ１７に蓄積された較正データに基づいて、基準画像に対する参照画像の較正を行う。この較正とは、経時的あるいは外部からの振動や衝撃等による第１のカメラ及び第２のカメラ間のずれを、画像較正部内での画像の変換により電子的に較正するものである。これにより、画像較正部２２は、参照画像及び基準画像において平行等位の状態を作る。

視差算出部２３は、画像較正部２２で較正された基準画像及び参照画像を用いる。視差算出部２３は、参照画像を複数の領域に分割する。視差算出部２３は、分割した複数領域の各々と基準画像とをマッチングさせる。視差算出部２３は、基準画像と参照画像とでマッチングした２つの領域の左右方向における座標の違いに基づいて、当該領域の距離を算出する。

具体的には、視差算出部２３は、撮像した２つの画像をそれぞれ、基準画像及び参照画像とし、参照画像を縦横それぞれブロック（小領域）に区分する。視差算出部２３は、区分された参照画像のブロックを、基準画像に対して基線長方向（ステレオカメラの２台のカメラの光学中心を結ぶ方向）に、順次等ピッチで（例えば、１ピクセルずつ）シフトしてマッチングを行う。マッチングは、参照画像のブロックの画素と、基準画像の対応する画素との輝度または色のパターンを比較することにより行われる。例えば、視差算出部２３は、輝度を比較する場合、双方の対応する各画素間の輝度の差の絶対値の合計が最小となるシフト量を探索して、このときのシフト量を視差として決定する。このようなマッチング処理において、視差算出部２３は、専用のハードウェア回路により実行することができる。視差算出部２３は、このようにして得られた視差ｄと２台のカメラの基線長ｂ及びカメラの焦点距離ｆから、三角測量の原理により、ブロックに撮像された被検出物までの距離Ｚを式（３）で算出することができる。
Ｚ＝ｂ・ｆ／ｄ （３）

視差算出部２３は、距離が等しい領域が固まっている部分を検出することにより、当該位置に存在する物体を識別する。視差算出部２３は、物体を識別した領域の距離から、識別した物体までの距離を識別する。視差算出部２３が識別する物体には、障害物が含まれる。障害物には、人間、車両、道路標識、建築物、及び植物の少なくとも１つが含まれる。複数の実施形態の１つにおいて、視差算出部２３は、識別した物体と距離画像とを関連付ける。視差算出部２３は、距離画像、識別した物体、及び当該物体までの距離の少なくとも１つを含む情報を、出力部２７を介して出力する。複数の実施形態の１つにおいて、視差算出部２３は、リアルタイムで処理を実行する。

視差算出部２３によって得られた距離は、必要に応じ、レーザーレーダー、ミリ波レーダー等他のセンサーから得られる距離情報とともに、衝突回避のためのドライバへの警告に活用される。また、視差算出部２３によって得られた距離は、必要に応じ、オートクルーズコントロールのためのアクセル又はブレーキの制御を含む運転支援に活用される。

視差算出部２３は、基準画像と参照画像との一次元マッチングを高速で行うために、視差算出回路として、ステレオ画像処理専用の並列処理演算回路を備えることができる。

以下に、図７及び図８のフローチャートを用いて、画像処理装置１２の画像処理方法が説明される。

図７に示すように、入力部１５が、第１のカメラ１１ａ及び第２のカメラ１１ｂからそれぞれ画像を取得する（ステップＳ１１）。

ステップＳ１１で入力部１５によって画像が取得されると、較正データを算出するタイミングであるか否か判定される（ステップＳ１２）。

ステップＳ１２で較正データを算出するタイミングであると判定されると、エッジ検出部１８が、取得された画像の関心領域からエッジを検出する（ステップＳ１３）。

ステップＳ１３でエッジが検出されると、判定部１９は、検出されたエッジに基づいて判定処理を行う（ステップＳ１４）。較正データを算出するタイミングは、例えば、利用者によって較正データの算出を指示するための入力がなされたとき、車両１が所定の動作を行ったとき、前回の算出から所定の時間が経過したとき、等のあらかじめ定められたタイミングである。

エッジの検出及び判定の処理は、所定の時間内に入力部１５によって取得された全てのフレームの画像について行ってよいし、入力部１５によって取得された複数フレームの画像のうち一定の間隔のフレームの画像について行ってよい。エッジの検出及び判定の処理は、所定の時間間隔で行ってよいし、前の判定処理が完了してから次の処理を開始してもよい。

図８を参照して判定処理の詳細が説明される。図８に示すように、エッジ検出部１８が画像の関心領域からエッジを検出し、エッジの画素数を検出する（ステップＳ１４１）。

ステップＳ１４１でエッジの画素数が検出されると、判定部１９の画素数判定部２４が、エッジの画素数が所定の閾値以上であるか否かを判定する（ステップＳ１４２）。

ステップＳ１４２で、エッジの画素数が所定の閾値以上であると判定されると、曲線判定部２５が、検出されたエッジの画像空間内での位置に基づいて近似曲線を算出する（ステップＳ１４３）。

ステップＳ１４３で近似曲線が算出されると、曲線判定部２５は、近似曲線を表す二次関数の２次の係数ａの絶対値が所定の閾値未満であるか否かを判定する（ステップＳ１４４）。

ステップＳ１４４で２次の係数ａの絶対値が所定の閾値未満であると判定されると、直線判定部２６が、エッジ検出部１８によって検出されたエッジの画像空間内での位置に基づいて近似直線を算出する。直線判定部２６が、算出された近似直線を表す一次関数についての平均二乗誤差を算出する（ステップＳ１４５）。

ステップＳ１４５で平均二乗誤差が算出されると、直線判定部２６は、算出された平均二乗誤差が所定の閾値未満であるか否かを判定する（ステップＳ１４６）。

ステップＳ１４２でエッジの画素数が所定の閾値未満であると判定された場合、判定部１９は、画像が較正データの算出に使用不可であると評価する（ステップＳ１４７）。ステップＳ１４４で２次の係数ａの絶対値が所定の閾値以上であると判定された場合、判定部１９は、画像が較正データの算出に使用不可であると評価する（ステップＳ１４７）。ステップＳ１４６で平均二乗誤差が所定の閾値以上であると判定された場合、判定部１９は、画像が較正データの算出に使用不可であると評価する（ステップＳ１４７）。

判定部１９は、第１〜第３の要件を満たす場合に、各判定の対象となった画像は較正データの算出に使用可能であると評価する（ステップＳ１４８）。第１の要件は、検出されたエッジの画素数が所定の閾値以上であるということである。第２の要件は、２次の係数ａの絶対値が所定の閾値未満であるということである。第３の要件は、平均二乗誤差が所定の閾値未満であるということである。

図７に戻って、ステップＳ１５で判定部１９によって画像が較正データの算出に使用可能であると評価された場合、画像特徴量算出部２０は、使用可能であると評価された複数の画像からそれぞれ画像特徴量を算出する（ステップＳ１６）。

ステップＳ１６で画像特徴量が算出されると、画像特徴量算出部２０は、画像特徴量の統計値から較正データを算出して、較正データメモリ１７に記憶する（ステップＳ１７）。

ステップＳ１１で入力部１５によって画像が取得され、ステップＳ１２で較正データを算出するタイミングでないと判定された場合、画像較正部２２は較正データメモリ１７に記憶されている較正データに基づいて、基準画像に対して参照画像を較正する（ステップＳ１８）。

ステップＳ１８で、基準画像に対する参照画像の位置が較正されると、視差算出部２３は、画像較正部２２で較正された基準画像及び参照画像を用い、参照画像の各領域における基準画像との視差を算出する（ステップＳ１９）。

ステップＳ１９で視差が算出され、視差の算出を終了しない場合、ステップＳ１１に戻って、入力部１５が、新たな基準画像及び参照画像を取得する。取得された基準画像及び参照画像について、ステップＳ１８での画像の較正、ステップＳ１９での視差の算出が繰り返される。

ステップＳ２０で視差の算出が終了する場合、画像処理装置１２の処理は終了する。視差の算出の終了は、利用者によって終了を指示する入力がされたとき、他の装置から終了の指示が送信されたとき、所定の時間が経過したとき等、あらかじめ定められた所定の要件を満たしたときになされる。なお、図７では、ステップＳ１３〜Ｓ１７により較正データを記憶した後、ステップＳ１８での画像の較正、ステップＳ１９での視差の算出を行うとしたが、この限りではない。例えば、ステップＳ１８での画像の較正及びステップＳ１９での視差の算出は、ステップＳ１３〜Ｓ１７と並行して行われてもよい。その場合は、画像の較正にはその時点で較正データメモリ１７に記憶されている較正データが使用される。

上述の形態によれば、画像処理装置１２は、複数フレームの画像それぞれからエッジを検出し、検出されたエッジに基づいて各フレームの画像それぞれから２本の近似直線を出力する。そのため、画像処理装置１２は、複数フレームの画像にカーブしている区画線１４ｃ、１４ｄのように直線と見なされない区画線がある場合、カーブしている区画線１４ｃ、１４ｄを除いた直線のみを出力することができる。

したがって、入力部１５によって取得した複数フレームの画像に、カーブしていたり、部分的に消えていたりするような区画線１４ｃ、１４ｄが撮像されている画像が含まれている場合、そのような画像は較正データの算出から排除される。そのため判定部１９は、直線性の高い区画線１４ｃ、１４ｄが撮像されている画像に基づいて画像を較正することになる。したがって、画像処理装置１２は、選別した複数フレームの画像から画像特徴量を決定することができ、これにより選別せずに校正をする場合に比べて高い精度で画像を較正することが可能となる。

上述の形態によれば、画像処理装置１２は、エッジの画素数が所定の閾値以上であると判定された場合にエッジに基づいて近似直線を出力する。そのため、画像処理装置１２は、少ない画素数のエッジに基づく低い精度の近似直線に基づいて画像を較正する可能性を低減することができる、したがって、画像処理装置１２は、高い精度で画像を較正することが可能となる。

上述の形態によれば、エッジに基づいて近似曲線を表す二次関数を算出し、２次の係数の絶対値が所定の閾値未満であると判定された場合に、画像処理装置１２は、近似直線を出力する。そのため、画像処理装置１２は、曲線で近似されるような分布のエッジに基づいて画像を較正する可能性を低減することができる。したがって、画像処理装置１２は、高い精度で画像を較正することが可能となる。

上述の形態によれば、エッジの近似直線の最小二乗誤差が所定の閾値未満であると判定された場合に、画像処理装置１２は、エッジの近似直線を出力する。そのため、画像処理装置１２は、検出精度が低くばらついて分布しているエッジにより構成される直線に基づいて画像を較正する可能性を低減することができる。したがって、画像処理装置１２は、高い精度で画像を較正することが可能となる。

上述の形態によれば、入力部１５によって取得される画像は、３次元座標空間において互いに平行な２本以上の区画線が撮像されている画像を含む。画像処理装置１２は、３次元座標空間において互いに平行な２本以上の区画線が撮像されている画像に基づいて画像処理を行ってよい。区画線は、条約、協定、法律、規則などにより定められているものを含む。区画線には、例えば、日本国の道路交通法により定められているものを含む。画像処理装置１２は、条約、協定、法律、規則などにより定められたものを区画線とすることで、画像処理装置１２は、区画線が撮像されている画像を取得しやすくなる。

上述の形態では、画像処理装置１２は、画素数判定部２４によってエッジの画素数が所定の閾値以上であると判定された場合、曲線判定部２５が近似曲線の２次の係数ａの絶対値が所定の閾値未満であるか否かを判定する。２次の係数ａの絶対値が所定の閾値未満であると判定された場合に、直線判定部２６は、平均二乗誤差が所定の閾値未満であるか否かを判定する。判定部１９は、画素数判定部２４、曲線判定部２５、及び直線判定部２６のいずれか１つ又は２つによる判定を省略してよい。この場合、判定部１９は、他の判定において条件を満たしている画像を、較正データとして使用可能であると評価する。これによって、画像処理装置１２による判定に係る処理の負荷を軽減することができる。判定部１９は、画素数判定部２４、曲線判定部２５、及び直線判定部２６による判定の順序を変更してよい。

上述の形態では、較正データ算出部２１は、ステレオカメラ１１によって撮像された複数フレームの基準画像及び参照画像それぞれから算出された複数の画像特徴量の統計値に基づいて、基準画像に対して参照画像を較正するための較正データを算出する。較正データ算出部２１は、単眼のカメラ１１ａによって撮像された複数フレームの画像のうちの選別されたフレームに基づいて較正データを算出してもよい。この場合、較正データ算出部２１は、単眼のカメラ１１ａに係る画像の選別されたフレームから得られるエッジの近似直線に基づいて、あらかじめ定められた基準となる画像特徴量を用いて較正データを算出する。例えば、較正データ算出部２１は、車両１の前方を撮像する単眼のカメラが撮像する画像の消失点の基準座標を予め決定しておき、本開示により当該カメラによる消失点の変化を検出し、消失点の座標が基準座標と一致するように較正の精度を高めることができる。

上述の形態では、画像特徴量算出部２０は、基準画像及び参照画像のフレームごとに消失点を求める。そして、画像特徴量算出部２０は、フレームごとに求められた消失点の統計値（最頻値）から第１の消失点及び第２の消失点を算出しているが、これに限られない。例えば、画像特徴量算出部２０は、各フレームにおいて、基準画像及び参照画像のそれぞれについて、消失点の座標データに代えて、複数のフレームの直線判定部２６で算出した式（２）のパラメータｄ，ｅを蓄積する。そして、画像特徴量算出部２０は、蓄積された複数のパラメータｄ，ｅのそれぞれ統計値ｄ_s，ｅ_sを用いて式（４）で表される２本の区画線１４ｃ、１４ｄを求める。そして、画像特徴量算出部２０は、統計値ｄ_s，ｅ_sを用いて表された２本の区画線１４ｃ、１４ｄの直線の交わる位置を第１の消失点、第２の消失点とすることができる。
ｙ＝ｄ_sｘ＋ｅ_s （４）

上述の形態では、曲線判定部２５は、エッジの近似曲線を表す二次関数を算出し、２次の係数の絶対値が所定の閾値未満であるか否かを判定しているが、この限りではない。例えば、曲線判定部２５は、近似曲線を表す二次よりも高次の関数（例えば、三次関数、四次関数等）を算出し、二次以上の係数が所定の閾値未満であるか否かを判定してもよい。

１ 車両
１０ ステレオカメラ装置
１１ ステレオカメラ
１１ａ 第１のカメラ
１１ｂ 第２のカメラ
１２ 画像処理装置
１３ 路面
１４ａ，１４ｂ ３次元座標空間の区画線
１４ｃ，１４ｄ 画像空間の区画線
１５ 入力部
１６ 制御部
１７ 較正データメモリ
１８ エッジ検出部
１９ 判定部
２０ 画像特徴量算出部
２１ 較正データ算出部
２２ 画像較正部
２３ 視差算出部
２４ 画素数判定部
２５ 曲線判定部
２６ 直線判定部
２７ 出力部

Claims (13)

1. カメラから複数のフレームを含む映像を取得する入力部と、
   前記入力部によって取得された前記複数フレームのそれぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、検出された前記エッジを評価して使用するフレームを選別し、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出するコントローラと、
   を備えた画像処理装置。
2. 前記コントローラは、前記フレームの関心領域から検出したエッヂを、被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッヂとして検出する請求項１に記載の画像処理装置。
3. 前記コントローラは、検出された前記エッジの画素数が所定の閾値以上であるか否かを判定し、前記エッジの画素数が所定の閾値以上であると判定された場合に、前記使用するフレームとして選別する請求項１又は２に記載の画像処理装置。
4. 前記コントローラは、前記エッジの近似曲線を表す二次以上の関数を算出し、前記二次以上の関数の少なくとも２次の係数の絶対値が所定の閾値未満であるか否かを判定し、前記２次の係数の絶対値が所定の閾値未満であると判定された場合に、前記使用するフレームとして選別する請求項１乃至３のいずれか一項に記載の画像処理装置。
5. 前記コントローラは、前記エッジの近似直線の最小二乗誤差を算出し、前記最小二乗誤差が所定の閾値未満であるか否かを判定し、前記最小二乗誤差が所定の閾値未満であると判定された場合に、前記使用するフレームとして選別する請求項１乃至４のいずれか一項に記載の画像処理装置。
6. 前記映像は、３次元座標空間において路面上の互いに平行な２本以上の区画線が撮像されている画像であり、前記エッジは前記区画線の端部に対応する請求項１乃至５のいずれか一項に記載の画像処理装置。
7. 前記コントローラは、少なくとも２本の直線に対応するエッジを検出し、前記複数の選別された前記フレームから得られる少なくとも２本の前記エッジの近似直線に基づいて、画像特徴量を算出し、複数のフレームの画像特徴量に統計的な処理をすることにより、前記カメラの較正データを算出する請求項１乃至６に記載の画像処理装置。
8. 前記画像特徴量は、２本の前記エッジの近似直線から得られる消失点の座標である請求項７に記載の画像処理装置。
9. 前記コントローラは、前記統計的な処理として、前記複数のフレームの画像特徴量のヒストグラムを生成し、前記画像特徴量の最頻値を算出する請求項７又は８に記載の画像処理装置。
10. 前記入力部は、ステレオカメラによって撮像された基準画像及び参照画像を取得し、
    前記コントローラは、前記基準画像及び前記参照画像それぞれから得られる前記エッジの近似直線に基づいて、前記基準画像に対して前記参照画像を較正する較正データを算出する請求項１乃至９のいずれか一項に記載の画像処理装置。
11. ステレオカメラと、
    前記ステレオカメラから複数のフレームを含む映像を取得する入力部、及び前記入力部によって取得された前記複数フレームのそれぞれから、前記ステレオカメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、検出された前記エッジを評価して使用するフレームを選別し、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記ステレオカメラから取得する映像の較正データを算出するコントローラと、を含む画像処理装置と、
    を備えたステレオカメラ装置。
12. ステレオカメラと、
    前記ステレオカメラから複数のフレームを含む映像を取得する入力部、及び前記入力部によって取得された前記複数フレームのそれぞれから、前記ステレオカメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、前記検出された前記エッジを評価して使用するフレームを選別し、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記ステレオカメラから取得する映像の較正データを算出するコントローラと、を有する画像処理装置と、
    を含むステレオカメラ装置を備えた車両。
13. 入力部が、カメラから複数のフレームを含む映像を取得し、
    コントローラが、前記入力部によって取得された前記複数フレームの前記画像それぞれから、前記カメラの被写体において互いに平行な２本以上の直線の少なくとも１本に対応するエッジを検出し、
    前記コントローラが、前記検出された前記エッジを評価して使用するフレームを選別し、
    前記コントローラが、複数の選別された前記フレームから得られる前記エッジの近似直線に基づいて、前記カメラから取得する映像の較正データを算出する、
    画像処理方法。
    

Images