JPH11203476A - エピポーララインの合わせ方法、ステレオ画像装置 - Google Patents

Abstract

(57)【要約】 【課題】 エピポーララインを簡易に合わせる。 【解決手段】 画像加工装置１９ａは、右画像を複数の
加工条件で加工して複数種類の加工画像を作成する。第
２の対応点探索装置１９ｂは、各加工画像それぞれと、
右画像との対応点探索を、２通りの探索条件により探索
し、これら結果を統合して、最終探索結果を得る。評価
パラメータ算出部１９ｃは、前記最終探索結果に基づい
て前記複数の加工条件の評価パラメータを得る。加工条
件選択部１９ｄは、該評価パラメータに基づいて、前記
複数の加工条件の中からエピポーララインが合ったとみ
なせる画像を与える好適加工条件を選択する。そして、
今後の右画像を、前記好適加工条件により加工し、該加
工した画像を右画像とみなす。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、ステレオ画像装
置の左右画像のエピポーララインを合わせる方法と、そ
の実施に好適なステレオ画像装置とに関するものであ
る。

【０００２】

【従来の技術】画像入力装置で３次元シーンを理解する
ためには、距離情報が不可欠である。そこで、様々な距
離測定法が考えられている。その中の１つの手法として
ステレオ画像法がある（例えば文献１：「画像入力技術
ハンドブック」、木内 雄二編、日刊工業新聞社、199
2.3.31 発行、pp391 〜392 、文献２：「先端画像テク
ノロジー」、横矢 直和ほか、オプトロニクス社、平成
５年２月２０日発行、pp71〜72）。ステレオ画像法で
は、一般に、２台の撮像装置により左画像および右画像
を得る。さらに、左右の画像上の対応点探索が行われ
る。そして、得られた対応点に基づいて三角測量の原理
から距離情報が求められる。従って、ステレオ画像法で
は、対応点探索が重要になる。すなわち、対応率を向上
させて、誤対応を減らすことが重要な課題である。

【０００３】対応点探索法として、従来から、種々の方
法がある。例えば、文献２中の、（３）式、（４）式な
どの汎関数を最小にするような視差関数を求めるなどし
て、左右画像の対応点を求める方法等である。

【０００４】対応点探索をいかなる方法で行うにしろ、
前提として、図１１に示したように、左画像Ｌ上の点Ｐ
ｌが存在しているラインと、右画像Ｒ上の、前記点Ｐｌ
に対応する点Ｐｒが存在しているラインとが１つの直線
上に並ぶように、両画像Ｌ，Ｒの位置を合わせる必要が
ある。いわゆる、左画像および右画像のエピポーラライ
ンを合わせる必要がある。そうでないと、誤対応が増加
したり、または、対応点が得られなくなるからである。

【０００５】左右画像のエピポーララインを合わせるた
め、一般には、左右のカメラの幾何学的な位置合わせ
（カメラキャリブレーション）が行われる。

【０００６】

【発明が解決しようとする課題】しかしながら、カメラ
キャリブレーションを行う場合、カメラの移動自由度
は、ｘ、ｙ、ｚという各方向およびα、β、γという各
回転方向にある。このように自由度が多いため、所望の
キャリブレーションを行うのは大変に難しく、また、時
間がかかるという問題があった。

【０００７】なお、上記のｘ方向とは水平方向、ｙ方向
とは垂直方向、ｚ方向とは、カメラの光軸に平行な方向
である。また、αとはｘ軸を回転軸とする回転、βとは
ｙ軸を回転軸とする回転、γとはｚ軸を回転軸とする回
転である。

【０００８】また、対応点探索作業開始前に、左右画像
のエピポーララインが合うようカメラキャリブレーショ
ンを行ったとしても、撮像途中において例えば経時変化
によってカメラの位置ずれが生じる。すると、左右画像
のエピポーララインが合わなくなる場合がある。その場
合は、また、カメラキャリブレーションを行う必要があ
るが、それも、上記した通り大変である。

【０００９】また、カメラキャリブレーションをするの
ではなく、測定に用いるカメラから得た左右画像に電子
的に例えば既知であるアフィン変換のような変換を加え
る方法がある（例えば文献３：情報処理、Ｖｏｌ．３
１，Ｎｏ．５，Ｍａｙ１９９０，ｐｐ．６５０−６５
９）。すなわち、測定に用いるカメラで得た画像を、エ
ピポーララインが合って基準ステレオカメラからの画像
に相当するよう変換する方法がある。しかし、この方法
の場合は、基準ステレオカメラを考慮したり、左右画像
の変換が必要なため、必ずしも簡易な方法ではない。

【００１０】従って、簡単な方法で左右画像のエピポー
ララインを合わせることができる新規な方法が望まれ
る。また、この方法の実施に好適な装置が望まれる。

【００１１】

【課題を解決するための手段】そこで、この出願に係る
発明者は、左右画像のエピポーララインが合っていれ
ば、対応点の検出率が高くなり、合っていなければ対応
点の検出率が下がるという現象に着目した。さらに、左
右画像のエピポーララインが合っていれば左右画像の対
応点に当たる画素同士の差（特徴差）も小さくなるの
で、この特徴差に基づく画像の評価パラメータ、例えば
画像の各対応点の特徴差を二乗しそれらを足した値（特
徴差の二乗の総和）も、小さくなることに着目した。

【００１２】これは、換言すれば、例えば右画像を種々
の条件で加工して複数の加工画像を作成する。そして、
これら複数種類の加工画像のうち、左画像との特徴差に
基づく評価パラメータが最も良かった画像は、左右画像
のエピポーララインが合っている画像と見なして良いと
いえ、この評価パラメータが最も良かった画像の加工条
件で、右画像を加工してこれを右画像とみなすと、エピ
ポーララインを合わせたことと等価になると考えられ
る。

【００１３】従って、この出願のエピポーララインを合
わせる方法の発明によれば、被写体を少なくとも第１お
よび第２の撮像装置で撮像して得られる第１および第２
の画像のエピポーララインを、以下の（ａ）〜（ｆ）の
各処理を含む処理により合わせることを特徴とする。

【００１４】（ａ）第２の画像を複数の加工条件で加工
して複数種類の加工画像を作成する処理。ただし、前記
複数種類の加工画像には、加工なしの画像すなわち第２
の画像を含ませた方がこのましい。第２の画像そのもの
がエピポーララインが最も合った画像である場合もあり
得るからである。

【００１５】（ｂ）前記複数種類の加工画像それぞれ
と、前記第１の画像（基準画像）との対応点探索を、少
なくとも２通りの探索条件によりそれぞれ行う処理。

【００１６】（ｃ）前記複数種類の加工画像ごとに前記
少なくとも２通りの探索条件による探索結果を統合し
て、前記複数種類の加工画像ごとの最終探索結果を得る
処理。

【００１７】（ｄ）前記複数種類の加工画像ごとに、前
記最終探索結果で対応点と決定された画素それぞれにつ
いて基準画像の画素との特徴差をそれぞれ求めかつ該特
徴差に基づいて前記複数の加工条件の評価パラメータを
得る処理。

【００１８】（ｅ）該評価パラメータに基づいて、前記
複数の加工条件の中からエピポーララインが合ったとみ
なせる画像を与える好適加工条件を選択する処理。

【００１９】（ｆ）前記第２の手段で今後撮像される画
像を、前記好適加工条件により加工し、該加工した画像
を前記第２の画像とみなす処理。

【００２０】この発明によれば、第２の画像を複数の加
工条件で加工し、これら複数の加工条件についての第１
画像への対応に関する評価パラメータを求める。次に、
この評価パラメータに基づいて好適加工条件を選択す
る。そして、好適加工条件が選択された後は、第２の撮
像装置が次々撮像する第２の画像をこの好適加工条件で
加工して第２の画像とみなす。そのため、エピポーララ
インを合わせたと同様な効果が得られる。

【００２１】然も、画像の加工、対応点探索、評価パラ
メータ算出などの各処理は、いずれも、従来公知の方法
で簡易に行える。また、対応点探索の処理（ｂ）では少
なくとも２通りの探索条件で対応点探索をし、それらの
探索結果を統合して最終探索結果としているので、精度
良く対応点が求まる（詳細は後述する）。

【００２２】このため、この発明の方法によれば、簡単
な方法で然も精度良く左右画像のエピポーララインを合
わせることができる。

【００２３】なお、第２の画像を加工する加工条件は、
任意に設定できる。加工画像の数も任意に設定できる。
加工画像の例としては、第２の画像を１又は複数の倍率
で拡大した画像、第２の画像を１又は複数の倍率で縮小
した画像、第２の画像を水平方向に１又は複数の画素分
平行移動した画像、第２の画像を垂直方向に１又は複数
の画素分平行移動した画像、第２の画像を斜め方向
（ｘ、ｙ合成方向）に１又は複数の画素分平行移動した
画像、第２の画像を水平軸（ｘ軸）を回転軸として１又
は複数の角度回転させた画像、第２の画像を垂直軸（ｙ
軸）を回転軸として１又は複数の角度回転させた画像、
第２の画像を第２の撮像装置の光軸を回転軸として１又
は複数の角度回転させた画像、さらには、第２の画像中
の隣り合う２以上の画素値を演算処理して新たに作成す
る画像など、種々の画像とできる。

【００２４】また、前記対応点探索を、前記複数種類の
加工画像および基準画像のそれぞれの一部である複数ラ
インについてのみ行っても良い。なぜなら、この発明で
いう対応点探索（ステレオ画像装置の発明では第２の対
応点探索装置）の目的は、後に評価パラメータを求める
ことができる程度の情報を得る点にあるので、対応点探
索を画像の一部分ついて行なっても、信憑性のある評価
パラメータが得られることが多い。そして、画像の一部
分について対応点探索をすれば、画像の全部について対
応点探索をする場合に比べ対応点探索処理を簡易にでき
る。

【００２５】また、前記対応点探索を、前記複数種類の
加工画像および基準画像のそれぞれの一部である複数ラ
インについてのみ行い、かつ、前記評価パラメータは、
該複数のラインのうち、対応点探索結果の良好な１又は
複数のラインの特徴差に基づいて得るようにしても良
い。なぜなら、被写体によっては、対応点の検出率が極
端に悪いラインも生じる。例えば黒い部分が多い被写体
からの画像では特徴部分が少ないので、そういうことが
生じ易い。そこで、対応点探索をした複数ラインから異
常値と思えるラインを除外したうえで、評価パラメータ
を得るのが好ましい。

【００２６】また、このエピポーララインの合わせ方法
の発明を実施するに当たり、基準画像および複数種類の
加工画像から同様の１又は複数の輝度レベルごとの標本
画像を得る処理をさらに実施し、これら標本画像に対し
て、前記対応点探索を行っても良い。なぜなら、この発
明でいう対応点探索（ステレオ画像装置の発明では第２
の対応点探索装置）の目的は、後に評価パラメータを求
めることができる程度の情報を得る点にあるので、対応
点探索を画像のある輝度レベルについて行なっても、信
憑性のある評価パラメータが得られることが多い。そし
て、画像のある輝度レベル部分について対応点探索をす
れば、画像の全部について対応点探索をする場合に比べ
対応点探索処理を簡易にできる。

【００２７】ただし、ここでいう標本画像とは、ある幅
の輝度の範囲に含まれる画素を同一輝度の画素として見
なして標本化される画像の場合も含む。すなわち、例え
ば、輝度レベルがａ１〜ａ５の画素は、輝度レベルａ１
の画素と見なし、輝度レベルがａ６〜ａ１０の画素は、
輝度レベルａ６の画素と見なす等して、標本画像を得る
場合も含む。

【００２８】また、この発明を実施するに当たり、以下
のようにしても良い。先ず、前記基準画像および前記複
数種類の加工画像それぞれから、前記被写体と前記第１
および第２の撮像装置との距離が第１の距離範囲（例え
ば遠いとみなせる範囲）の画像部分および第２の距離範
囲（例えば近いとみなせる範囲）の画像部分をそれぞれ
選択する。次に、評価パラメータとして、前記第１の距
離範囲の画像部分から第１の評価パラメータを求め、前
記第２の距離範囲とみなせる画像部分から第２の評価パ
ラメータを求める。そして、この第１の評価パラメータ
に基づいて、前記第２の画像を回転移動させる（典型的
にはチルト角を変更させる）ための加工に好ましい加工
条件を選択し、この第２の評価パラメータに基づいて、
前記第２の画像を平行移動させる加工に好ましい加工条
件を選択して、これらから前記好適加工条件を決める。
こうした方が良い理由は以下の通りである。

【００２９】第１の撮像装置に対して第２の撮像装置の
チルト角がずれている場合、その影響は、撮像装置から
遠い画像に顕著に現れる。また、第１の撮像装置に対し
て第２の撮像装置が垂直方向や斜め方向にずれている場
合、その影響は、撮像装置から近い画像に顕著に現れ
る。従って、上記のように第１および第２の評価パラメ
ータに基づいて好適加工条件を決めると、広い距離範囲
にわたってエピポーララインを合わせ易い好適加工条件
を決めることができる。

【００３０】なお、遠近画像の選択は、例えば、対応点
探索で求まった各対応点から視差をそれぞれ求め、該求
めた視差に基づいて行えば良い。なぜなら、ステレオ画
像法では、遠い画像についての対応点の視差は小さくな
り、近い画像についての対応点の視差は大きくなるから
である。そこで、視差がΔ１±αとなる画像部分は、遠
い画像部分と見なし、視差がΔ２±βとなる画像部分
は、近い画像部分とみなすことで、遠近画像を選択する
（但し、Δ１＜Δ２である。）。

【００３１】また、この発明の実施に当たり、一度選択
した好適加工条件で次々の第２の画像を加工してステレ
オ画像法を実施する最中にも、対応点探索精度に関する
何らかのパラメータ（上記の評価パラメータであっても
良い。）を監視するのが良い。然も、該パラメータが閾
値より悪化した場合、本発明のエピポーララインの合わ
せ方法を再び実施して前記好適加工条件の見直しをする
のが良い。こうすれば、何らかの原因でエピポーラライ
ンが経時的にずれた場合でも、直ぐに、エピポーラライ
ンを合わせることができる。

【００３２】或いは、本発明のエピポーララインの合わ
せ方法を、決められた画像枚数ごとに実施するようにし
ても良い。こうすれば、本発明によるエピポーラライン
の合わせ方法が、適当な間隔で行われる。エピポーララ
インが経時的にずれた場合でも、ずれた状態は長くは続
かずに修正される。

【００３３】また、上述のエピポーララインの合わせ方
法の発明の実施を容易にするために、以下の様な構成の
ステレオ画像装置を用意するのが好適である。

【００３４】すなわち、被写体を撮像するための少なく
とも第１および第２の撮像装置と、前記第１の撮像装置
で撮像した第１の画像と前記第２の撮像装置で撮像した
第２の画像との対応点を少なくとも探索する対応点探索
装置とを具えるステレオ画像装置であって、以下の構成
成分（Ａ）〜（Ｅ）を含むエピポーラライン合わせ装置
を具えるステレオ画像装置を用意するのが好適である。

【００３５】（Ａ）第２の画像を任意の複数の加工条件
で加工して複数種類の加工画像を作成する画像加工装
置。ただし、加工画像には加工をしない第２の画像を含
む場合があってもよい。

【００３６】（Ｂ）前記複数種類の加工画像それぞれ
と、前記第１の画像（基準画像）との対応点探索を、少
なくとも２通りの探索条件によりそれぞれ行い、かつ、
前記複数種類の加工画像ごとに前記少なくとも２通りの
探索条件による探索結果を統合して、前記複数種類の加
工画像ごとの最終探索結果を得る第２の対応点探索装
置。

【００３７】（Ｃ）前記複数種類の加工画像ごとに、前
記最終探索結果で対応点と決定された画素それぞれにつ
いて基準画像の画素との特徴差をそれぞれ求めかつ該特
徴差に基づいて前記複数の加工条件の評価パラメータを
得る評価パラメータ算出装置。

【００３８】（Ｄ）該評価パラメータに基づいて、前記
複数の加工条件の中からエピポーララインが合ったとみ
なせる画像を与える好適加工条件を選択する加工条件選
択装置。

【００３９】（Ｅ）エピポーララインの合わせ動作時
は、前記画像加工装置の加工条件を前記任意の複数の加
工条件に設定し、エピポーララインの非合わせ動作時
は、前記画像加工装置の加工条件を前記好適加工条件に
設定する、加工条件設定装置。

【００４０】

【発明の実施の形態】以下、図面を参照してこの出願の
エピポーララインの合わせ方法およびステレオ画像装置
の実施の形態について併せて説明する。なお、以下の説
明に用いる各図は、これらの発明を理解できる程度に概
略的に示してある。また、説明に用いる各図において、
同様な構成成分については同一の番号を付して示し、そ
の重複する説明を省略することもある。

【００４１】１．第１の実施の形態 装置構成の説明 図１は、この第１の実施の形態のステレオ画像装置１０
の構成を示したブロック図である。

【００４２】このステレオ画像装置１０は、第１の撮像
装置としての左カメラ１１と、第２の撮像装置としての
右カメラ１３と、左画像記憶装置１１ａと、右画像記憶
装置１３ａと、第１の対応点探索装置１５と、距離画像
記憶装置１７と、この発明に係るエピポーラライン合わ
せ装置１９とを具える。

【００４３】左カメラ１１および右カメラ１３それぞれ
は、例えばＣＣＤカメラにより構成されている。

【００４４】左画像記憶装置１１ａは、左カメラ１１が
撮像した画像を格納する。右画像記憶装置１３ａは、右
カメラ１３が撮像した画像を格納する。いずれの画像記
憶装置１１ａ、１３ａも、画像の各画素のデータを、任
意に読み書きできる任意好適な画像メモリで構成されて
いる。

【００４５】第１の対応点探索装置１５は、この場合、
左画像と、右画像であってエピポーラライン合わせ装置
１９の画像加工装置１９ａで好適加工条件で加工された
右画像（詳細は後述する。）との対応点を探索する。こ
の第１の対応点探索装置１５自体は、従来公知のもので
構成されている。例えば、上記の文献２に開示されてい
る対応点探索手法を実施する装置など、任意好適な装置
で構成されている。

【００４６】距離画像記憶装置１７は、画像の画素ごと
に、画素値および距離情報を記憶する装置である。具体
的には、例えば、第１の対応点探索装置で探索された対
応点の情報から三角測量などの手法で距離情報を求め、
これと画素値とを画素ごとに記憶する。この装置自体
も、従来公知のもので構成できる。

【００４７】次に、この発明に係るエピポーラライン合
わせ装置１９の構成について説明する。

【００４８】このエピポーラライン合わせ装置は、簡単
にいうと、右画像から、左画像に対してエピポーラライ
ンが合った画像を生成する装置である。そのため、この
第１の実施の形態の場合、画像加工装置１９ａ、第２の
対応点探索装置１９ｂ、評価パラメータ算出装置１９
ｃ、加工条件選択装置１９ｄおよび加工条件設定装置１
９ｅを具えている。これら構成成分１９ａ〜１９ｅそれ
ぞれは、ハードウエアまたはコンピュータプログラム
等、任意好適な手段で構成することができる。以下、そ
の機能について主に説明する。

【００４９】画像加工装置１９ａは、右画像を複数の加
工条件で加工して複数種類の加工画像を作成する。そし
て、これら加工した加工画像と、加工しない左画像とを
第２の対応点探索装置１９ｂに出力する。ただし、画像
加工装置１９ａは、加工画像と共に、加工していない右
画像自体も、第２の対応点探索装置に出力するのが好ま
しい。第２の画像自体がエピポーラ条件を満たしている
場合もあり得るからである。

【００５０】ここで、右画像の加工は、任意の条件、例
えば種々の条件による回転、移動および倍率変換により
行う。具体的には、第２の画像を、ｘ軸およびまたはｙ
軸に平行移動させた画像と、第２の画像を縮小および又
は拡大したする画像（これはｚ軸に移動させたと等価）
と、α、β、γという回転をさせた画像とできる。さら
には、図２に示したように、第２の画像上の元々の画素
（図中黒丸）のうちの隣接する画素の画素データから、
画素間の１／２点や、１／３点の画素値や、４画素の中
心の画素値を、演算により推定する等して、加工画像を
作成するようにしても良い。この演算とは、平均値計算
や、所定の係数を用いた好適な計算など、任意の演算と
することができる。このような加工は、従来公知の画像
加工手法で行うことができる。

【００５１】また、加工画像の数は、任意の数と出来
る。これに限られないが、例えば２０〜３０水準の加工
画像を作成する。

【００５２】第２の対応点探索装置１９ｂは、この実施
の形態の場合、上記のように画像加工装置１９ａが作成
した複数の加工画像と、左画像との間での対応点探索を
行う。ただし、この発明の第２の対応点探索装置１９ｂ
は、少なくとも２通りの探索条件で対応点探索をする。

【００５３】図３（Ａ）および（Ｂ）は、この２通りの
探索条件の一例を説明する図である。この例では、左画
像ＬＧの中の１つのライン上の画素値Ｙ１〜Ｙｎと、あ
る加工画像ＫＧの１つのライン上の画素値Ｙ１〜Ｙｎと
を示してある。

【００５４】この場合、左画像ＬＧの一端であるＹ１側
から順にＹ１〜Ｙｎに対応する画素を、加工画像ＫＧの
Ｙ１側から順に探す（第１の探索条件）。また、左画像
ＬＧの他端であるＹｎ側から順にＹｎ〜Ｙ１に対応する
画素を、加工画像ＫＧのＹｎ側から順に探す（第２の探
索条件）。勿論、少なくとも２通りの探索条件は、図３
を用いて説明した条件に限られず、他の任意好適な条件
とすることができる。

【００５５】また、対応点探索は、例えば、次のように
行われる。加工画像ＫＧの各画素値を、Ｙ１からＹｎに
順にみていく。そして、その時、加工画像ＫＧの画素Ｙ
１〜Ｙｎ中に、左画像ＬＧの着目画素の画素値に対して
所定の許容値以内の画素値が出現したら、この画素を、
前記着目画素の対応点であるとする。このような、対応
点探索を、上記の第１および第２の条件で行う。然も、
複数種類の加工画像それぞれと、左画像との間でそれぞ
れ行う。

【００５６】さらに、第２の対応点探索装置１９ｂは、
第１および第２の対応点探索条件それぞれで探索した結
果を統合した結果を最終的な対応点探索結果とする。こ
の最終的な対応点探索結果の決め方も、任意とできる。
例えば、第１および第２の条件で同じ画素同士が対応点
となった場合、これら画素を最終的な対応点探索結果と
する方法が挙げられる。すなわち、第１および第２の探
索条件いずれで対応点探索をしても、例えば左画像の画
素Ｙ２と加工画像の画素Ｙ６とは対応点であった場合、
この画素同士は最終的な対応点結果となるという意味で
ある。

【００５７】第１および第２の探索条件で探索し、か
つ、これらの結果を統合した結果を最終結果とすると、
対応点の探索精度が向上する。これは、正しい対応点の
場合は、探索条件が変わっても対応点として検出され易
く、一方、誤った対応点の場合は、探索条件が変わる
と、対応点とされにくいことによる。

【００５８】評価パラメータ算出装置１９ｃは、複数種
類の加工画像ごとに、最終探索結果で対応点と決定され
た画素それぞれについて基準画像の画素との特徴差をそ
れぞれ求める。さらに、この特徴差に基づいて前記複数
の加工条件の評価パラメータを得る。

【００５９】すなわち、左画像とある加工画像とで、ｎ
個の対応点が合った場合、ｎ個の画素の組の画素値の差
を特徴差として求める。同様にして、各加工画像ごとに
各対応点の特徴差を求める。

【００６０】次に、加工画像ごと、すなわち第２の画像
を加工した加工条件ごとの評価パラメータを求める。こ
の評価パラメータは、第２の画像を加工した複数の加工
条件中から、エピポーララインを合わせるに好適な加工
条件を選択できるパラメータとなるものであれば、特に
限定されない。この実施の形態の場合は、上記の各加工
画像ごとの特徴差の二乗の和を、対応点検出率で規格化
した値を評価パラメータとしている。

【００６１】すなわち、左画像とある加工画像とで、ｎ
個の対応点があった場合、各対応点の特徴差δを二乗
し、かつそれらの総和Σδ² を求める。そして、これを
対応点検出率で正規化する。ただし、対応点検出率と
は、対応点検出の対象とした画像の画素数をＭとし、こ
の画像から検出された対応点の数をｎとした場合、ｎ／
Ｍ＝Ｓで与えられる値である。結局、この場合の評価パ
ラメータは、Σδ² ／Ｓである。

【００６２】左画像と加工画像との対応点は、上述した
ように所定の許容値をもって決められているので、検出
された対応点の中には誤まった対応点も含まれている場
合がある。しかし、正しい対応点程、上記の特徴差は小
さくなり、誤った対応点程、特徴差は大きくなる。従っ
て、上記の総和Σδ² は、加工画像が正しい対応点を多
く含むか否かの目安になる。また、この総和Σδ² を対
応点検出率で正規化しているので、複数種類の加工画像
ごとの対応点数のばらつきに影響されることもなくな
る。これらのことから、この実施の形態の評価パラメー
タは、加工条件を評価するパラメータとして好ましい。

【００６３】加工条件選択装置１９ｄは、評価パラメー
タ算出装置１９ｃが出力する各加工画像ごとの評価パラ
メータに基づいて、前記複数の加工条件の中からエピポ
ーララインが合ったとみなせる画像を与える好適加工条
件を選択する。具体的には、各加工画像ごとの上記の評
価パラメータの中から、最小値を選択する。そして、こ
の最小の評価パラメータが得られた画像加工条件が、前
記画像加工装置１９ａに設定されている複数の加工条件
のいずれであったかを調べる。

【００６４】加工条件設定装置１９ｅは、エピポーララ
イン合わせ装置１９がエピポーララインを合わせる動作
をする場合は、画像加工装置１９ａに、上述した複数の
画像加工条件を設定する。また、加工条件選択装置１９
ｄが好適加工条件を示す信号を本装置１９ｅに入力して
きた場合は、該信号により指定される加工条件を、好適
加工条件として、画像加工装置１９ａに設定する。

【００６５】エピポーラライン合わせ装置１９にエピポ
ーララインを合わせる動作をさせるには、例えば、加工
条件設定装置１９ｅに制御信号入力端子２１から、制御
信号を入力する。この制御信号は、ステレオ画像装置１
０を使用する者が手動で入力しても良いし、又は、ステ
レオ画像装置自体が必要に応じ発生しても良い（後者の
例は後の実施の形態で説明する。）。

【００６６】上述のように好適加工条件が設定された画
像加工装置１９ａは、その後は、右カメラから入力され
てくる右画像をこの好適加工条件で加工し、この画像を
右画像として、第１の対応点探索装置１５に出力するこ
とになる。この好適加工条件で加工された画像は、左画
像に対し、エピポーララインが合っていると見なせる画
像である。そのため、カメラキャリブレーションをした
のと同様な効果が、右画像に対する処理のみで得られ
る。

【００６７】従って、この出願のエピポーララインの合
わせ方法およびステレオ画像装置の各発明によれば、従
来より簡単にエピポーララインを合わせることができ
る。また、被写体の撮像中でも、エピポーララインを合
わせることができる。

【００６８】なお、画像加工装置１９ａに設定する複数
の画像加工条件は、一定である必要ななく、入力画像に
応じて変更しても良い。

【００６９】また、静止画像についてエピポーラライン
を合わせる場合は、複数画面に対して本発明の処理、例
えば対応点探索および評価パラメータ算出を行って、そ
の平均値から好適加工条件を決めても良い。こうする
と、偶発的にノイズが画面に乗った場合でも、このノイ
ズの影響を軽減できるからである。

【００７０】また、第２の画像を加工する加工条件は、
上記の幾何学的な画像変換に限られない。たとえば、第
２の画像の出力値を種々のレベルに変換するような加工
条件、さらには、第２の画像のオフセット値を種々に変
えて第２の画像を変換するような加工条件とする場合が
あっても良い。

【００７１】このような 出力レベルに関するパラメー
タを考慮した加工条件で加工画像を作成する場合、例え
ば以下のような効果が得られる。

【００７２】対応点探索手法として、汎関数を最小にす
るような視差関数を求めるなどして対応点を求める方法
を用いた場合、左右画像の出力レベルの差などに関わら
ず、今の画像状態で、汎関数を最小にするような視差関
数を求めてしまう。すると、出力レベルなどが原因で対
応点検出精度が低下する場合もある。これに対して、第
２の画像の出力値やオフセット値を変更して複数種類の
加工画像を作成し、本発明の方法を適用すると、左右画
像間の出力レベルの整合がとれると考えられる。そのた
め、左右画像の出力レベルの差などに起因する対応点検
出精度低下を改善できると考えられる。

【００７３】２．第２の実施の形態 第２の対応点探索装置１９ｂで対応点探索を行う場合、
左画像および加工画像それぞれの全画素同士で対応点探
索行っても勿論良い。しかし、この第２の対応点探索装
置１９ｂの目的は、各加工画像の左画像に対するエピポ
ーラ条件が判定出来る程度に対応点を探索することにあ
るので、左画像および加工画像の一部分、具体的には数
ライン分の画素同士で対応点探索をしても、良いといえ
る。この第２の実施の形態はその例である。

【００７４】図４は、この第２の実施の形態のステレオ
画像装置３０の構成を示したブロック図である。ただ
し、第２の実施の形態の思想を第１の実施の形態の装置
に適用した例である。

【００７５】この第２の実施の形態のステレオ画像装置
３０の、第１の実施の形態との相違点は、画像加工装置
１９ａと第２の対応点探索装置１９ｂとの間に、画像選
択装置１９ｆを具えた点である。

【００７６】この画像選択装置１９ｆは、複数種類の加
工画像および基準画像としての左画像それぞれから、画
像の一部分である複数ライン分の画像を選択して第２の
対応点探索装置１９ｂに送る。該装置１９ｆは、例え
ば、加工画像および基準画像それぞれの、所定の複数の
ライン分のみを後段に出力する論理回路で構成できる。

【００７７】第２の対応点探索装置１９ｂは、この選択
された複数のラインの画像についてのみ、対応点探索を
行う。そして、これで得られる各加工画像の最終探索結
果に基づいて、各画像加工条件の評価パラメータを算出
する。評価パラメータを算出する時の対応点検出率は、
上記複数のライン内の画素数をｍとし、対応点が得られ
た画素数をｎとすると、ｎ／ｍとなる。それ以外は、第
１の実施の形態と同様に各装置１９ａ〜１９ｅは構成さ
れている。

【００７８】この第２の実施の形態では、左画像および
加工画像それぞれの複数ライン分の画素を用いて対応点
探索および評価パラメータを算出するので、全画素を用
いる場合に比べて処理時間の短縮化、装置の簡略化が図
れる。

【００７９】３．第３の実施の形態 被写体によっては対応点の検出率が極端に悪いラインが
存在することもある。例えば黒い被写体等のように特徴
量が小さい被写体である。そのようなラインが第２の実
施の形態で述べた複数のライン中に存在していた場合、
そのまま評価パラメータを算出すると、正当な評価パラ
メータにならない場合が生じる。

【００８０】一方、左画像に対してエピポーララインが
あっている加工画像程、上記の複数のライン中には、対
応点検出率の高いラインが含まれる。

【００８１】そこで、左画像および加工画像それぞれの
一部分である複数ラインの中から、対応点検出率が良い
上位１又は複数本のみを用いて評価パラメータを算出し
ても良いといえる。この第３の実施の形態はその例であ
る。

【００８２】図５は、この第３の実施の形態のステレオ
画像装置４０の構成を示したブロック図である。ただ
し、この第３の実施の形態の思想を第２の実施の形態に
適用した例である。

【００８３】この第３の実施の形態のステレオ画像装置
４０の、第２の実施の形態との相違点は、第２の探索点
検出装置１９ｂと、評価パラメータ算出装置１９ｃとの
間に、上位ライン選択装置１９ｇを具えた点である。

【００８４】この上位ライン選択装置１９ｇは、画像選
択装置１９ｆが選択した複数ラインの中から、対応点探
索結果の良好な１又は複数のラインを選択するものであ
る。具体的には、第２の対応点探索装置１９ｂから得ら
れる前記複数のラインごとの最終的な対応点探索結果を
比較して、上位１又は複数のラインの結果を評価パラメ
ータ算出装置１９ｃに送る装置である。

【００８５】評価パラメータ算出装置１９ｃは、上位ラ
イン選択装置１９ｇから出力される上位のライン分の最
終対応点結果に基づいて評価パラメータを算出する。そ
れ以外は、第２の実施の形態と同様に各装置１９ａ〜１
９ｆは構成されている。

【００８６】この第３の実施の形態では、左画像および
加工画像それぞれの複数ライン分の画素を用いて対応点
探索をし、そして、探索結果の悪いラインを除いた残り
のラインの探索結果から評価パラメータ算出をするの
で、全画素を用いる場合に比べて処理時間の短縮化、装
置の簡略化が図れることに加え、異常値を含むラインの
影響を避けることができる。

【００８７】４．第４の実施の形態 左カメラ１１および右カメラ１３からそれぞれ得られる
画像は、一般には、多数階調の画像である。例えば、図
６（Ａ）に示した被写体５１をカメラで撮像した場合の
１ライン分の画像は図６（Ｂ）に示したように多数階調
の画像である。なお、図６（Ｂ）および（Ｃ）それぞれ
において、横軸は画素位置、縦軸は輝度レベルである。

【００８８】しかし、第２の対応点探索装置１９ｂの目
的は、各加工画像の左画像に対するエピポーラ条件が判
定出来る程度に対応点を探索することにあるので、左画
像および加工画像の全階調（全画素）について対応点探
索をせずに、１又は複数輝度の画像部分同士で対応点探
索をしても、良いといえる。例えば図６（Ｂ）の階調画
像を数段〜数１０段の輝度レベルで表される図６（Ｃ）
のような階調画像とし、この階調画像の１又は複数の輝
度レベルに所属する画像部分のみを用いて対応点探索を
行っても良いといえる。図６（Ｃ）では５５〜５９が各
階層の画像に当たる。以下、これらを第１〜第３階層の
画像と称する。

【００８９】そこで、この第４の実施の形態では、以下
の様な構成をとる。図７は、この第４の実施の形態のス
テレオ画像装置６０の構成を示したブロック図である。

【００９０】この第４の実施の形態のステレオ画像装置
６０の第１の実施の形態との相違点は、画像加工装置１
９ａと第２の対応点探索装置１９ｂとの間に、標本画像
生成装置１９ｈを具えた点である。

【００９１】この標本画像生成装置１９ｈは、基準画像
としての左画像と、画像加工部１９ａで加工された各加
工画像それぞれから同様の１又は複数の輝度レベルごと
の標本画像を得る装置である。

【００９２】この実施の形態の場合、この標本画像生成
装置１９ｈは、階調画像作成装置１９ｈａと、階調画像
選択装置１９ｈｂとで構成してある。

【００９３】この階調画像作成装置１９ｈａは、左画像
および画像加工装置１９ａで加工された加工画像それぞ
れを１０数階調〜数１０階調の画像に変換する。これ
は、左画像及び各加工画像それぞれの各画素を、１０数
〜数１０の輝度範囲で順次選別し、かつ、各輝度範囲の
代表値に画素値を置き換えることで、実現できる。

【００９４】階調画像選装置１９ｈｂは、階調画像作成
部１９ｈａが作成した階調画像の中から１又は複数の階
層画像のみを選択する。これは、階調画像の中から、所
定の輝度の画素のみを出力することで行える。例えば、
図６（Ｃ）の例でいえば、例えば第１階層の画像５５お
よび第２階層の画像５７を選択するというようなことで
ある。

【００９５】このように選択された１又は複数の階層の
画像は、第２の対応点探索装置１９ｂに出力される。第
２の対応点探索装置１９ｂの対応点探索対象が、上記の
階層の画像であることを除いて、第１の実施の形態と同
様に各装置１９ａ〜１９ｅは構成されている。

【００９６】この第４の実施の形態では、左画像および
加工画像それぞれの１又は複数のレベルの画像部分を用
いて対応点探索をするので、全画素を用いる場合に比べ
て処理時間の短縮化、装置の簡略化が図れる。

【００９７】５．第５の実施の形態 左右のカメラの視線が平行でかつ垂直方向（ｙ方向）へ
のズレもない場合は、カメラと被写体との距離がいかな
る場合でもエピポーララインが異なることはない。とこ
ろが、左右のカメラの視線が垂直方向にずれ、かつ、上
下に傾いた場合（すなわちチルト角が０でない場合）、
カメラからどの程度の距離に被写体を置くかによって、
エピポーララインは異なってくる。これについて、図８
を参照して具体的に説明する。

【００９８】図８（Ａ）および（Ｂ）は、カメラのチル
ト角を説明する図である。図中のｚ軸がカメラの視線で
ある。チルト角が０度では、図８（Ａ）に示したよう
に、ｘｙ平面はｚ軸に対し垂直になる。そのため、ｘｙ
平面のｙ軸に対する角度（チルト角）は０度である。一
方、チルト角が０度でない場合は、図８（Ｂ）に示した
ように、ｘｙ平面はｚ軸に対し角度θを持つ。そのた
め、ｘｙ平面のｙ軸に対する角度（チルト角）はθとな
る。

【００９９】また、図８（Ｃ）は、左カメラＣＬと右カ
メラＣＲとが垂直方向（ｙ方向）にΔｈずれ、かつ、右
カメラＣＲがチルト角θを持っている場合を示してあ
る。

【０１００】この図８（Ｃ）からも判るように、ステレ
オ画像法では、カメラから遠い位置に被写体を置いた場
合は、エピポーララインをずらす大きな原因は左右カメ
ラのチルト角の違いになる。また、カメラの近くに被写
体を置いた場合は、エピポーララインをずらす大きな影
響は、左右カメラの垂直方向のズレになる。これらは、
換言すれば、左右カメラのチルト角を合わせたい場合
は、カメラから遠い位置にある被写体の画像に本発明を
適用した方が効果的であるといえ、また、左右カメラの
垂直方向のズレを無くしたい場合は、カメラから近い位
置にある被写体の画像に本発明を適用した方が効果的で
あるといえる。この第５の実施の形態はその例である。

【０１０１】そこで、この第５の実施の形態では以下の
様な構成をとる。図９はこの第５の実施の形態のステレ
オ画像装置７０の構成を示したブロック図である。ここ
では、第１の実施の形態の装置に、第５の実施の形態の
思想を適用した例である。

【０１０２】この第５の実施の形態の装置７０の、第１
の実施の形態との相違点は、画像加工装置１９ａと第２
の対応点探索装置１９ｂとの間に、遠近画像選択装置１
９ｉを設けた点と、評価パラメータ１９ｃおよび加工条
件選択装置１９ｄを一部変更した点である。

【０１０３】遠近画像選択装置１９ｉは、左画像および
前記複数種類の加工画像それぞれから、少なくとも被写
体と第１および第２の撮像装置との距離が遠いとみなせ
る画像部分および近いとみなせる画像部分をそれぞれ選
択する。もちろん、他の距離範囲、例えば中間の距離範
囲の画像部分を選択する場合があってもよい。

【０１０４】遠近画像の選択は、例えば、対応点探索で
求まった各対応点から視差をそれぞれ求め、該求めた視
差に基づいて行えば良い。なぜなら、ステレオ画像法で
は、遠い画像についての対応点の視差は小さくなり、近
い画像についての対応点の視差は大きくなるからであ
る。そこで、視差がある値Δ１±αとなる画像部分は、
遠い画像部分と見なし、視差がある値Δ２±βとなる画
像部分は、近い画像部分とみなすことで、遠近画像を選
択できる。ただし、但し、Δ１＜Δ２である。

【０１０５】また、この第５の実施の形態の場合の評価
パラメータ算出手段１９ｃは、評価パラメータとして、
前記遠いとみなせる画像部分から第１の評価パラメータ
を求め、前記近いとみなせる画像部分から第２の評価パ
ラメータを求める。

【０１０６】また、加工条件選択装置１９ｄは、この第
１の評価パラメータに基づいて、前記第２の画像のチル
ト角を変更（修正）する加工に好ましい加工条件を選択
し、この第２の評価パラメータに基づいて、前記第２の
画像を平行移動させる加工に好ましい加工条件を選択す
る。結局、第２の画像を回転させる条件および平行移動
させる条件を、それぞれ別の画像部分から決定して、こ
れらから最終的な好適加工条件が決められる。それ以外
の構成は、第１の実施の形態と同様で良い。

【０１０７】この第５の実施の形態では、左右カメラの
平行方向のずれとチルト角のずれとを、それらの修正に
好適な画像部分を用いてそれぞれ行える。そのため、広
い範囲に渡って左右画像のエピポーララインを合わせる
ことができる。然も左右カメラの平行方向のずれと、チ
ルト角のずれとを修正する作業が並列的に効果的に行え
る。

【０１０８】６．第６の実施の形態 この発明では、既に説明した様に、エピポーラライン合
わせ装置１９で好適加工条件が選択された後は、この好
適加工条件で第２の画像を加工しその画像を第２の画像
とみなして第１の対応点探索装置１５に入力する。しか
し、この好適加工条件も、長期間に渡って好適加工条件
とは限らない。左右カメラの幾何学的な位置等が経時的
にずれる等により、エピポーララインが変わる場合があ
るからである。

【０１０９】この対策のため、この第６の実施の形態で
は、好適加工条件で加工された加工画像と基準画像であ
る左画像との対応点探索精度に関する何らかのパラメー
タを監視しておく。そして、該パラメータが閾値より悪
化した場合、本発明のエピポーララインの合わせ方法を
再び実施して好適加工条件の見直しをする。

【０１１０】なお、対応点探索精度に関する何らかのパ
ラメータは、特に限定されないが、例えば、上述した評
価パラメータとするのが良い。

【０１１１】この第６の実施の形態の実施を容易にする
ために、以下の様な構成のステレオ画像装置を用意する
のが良い。図１０は、第６の実施の形態のステレオ画像
装置８０の構成を示したブロック図である。ただし、こ
の第６の実施の形態の思想を、第１の実施の形態に適用
した例を示してある。

【０１１２】この第６の実施の形態の装置８０の、第１
の実施の形態との相違点は、監視・起動装置１９ｊを具
えた点である。

【０１１３】この監視・起動装置１９ｊは、第２の撮像
装置１３が次々と撮像する画像を画像加工装置１９ａが
前記好適画像加工条件で加工している場合に、動作す
る。そして、前記好適加工条件で加工された加工画像と
左画像との対応点探索精度に関する何らかのパラメータ
を監視する。このパラメータをこの実施の形態では、評
価パラメータ算出装置１９ｃが出力する評価パラメータ
とする。そのため、この実施の形態では、監視・起動装
置１９ｊは、評価パラメータ算出装置１９ｃの出力に接
続してある。この監視・起動装置１９ｊは、このパラメ
ータが閾値より悪化した場合に、その旨の信号を加工条
件設定装置１９ｅの制御信号入力端子２１に出力する。
これに応じて、画像加工装置１９ａに、第２の画像を加
工する条件として、複数の加工条件が設定される。そし
て、エピポーラライン合わせ装置１９は再起動する。そ
のため、エピポーララインの合わせ動作が開始され、ま
た、第１の対応点探索装置１５への出力は停止される。

【０１１４】なお、上記の閾値は、第１の対応点探索装
置で対応点探索に支障がでるような値未満の適正な値
に、予め決めておく。

【０１１５】エピポーララインの合わせ動作で新たな好
適加工条件が選択されると、画像加工装置１９ａはこの
新たな好適加工条件で今後の右画像を加工して、これを
第１の対応点探索装置１５に左画像と共に出力する。

【０１１６】この第６の実施の形態では、エピポーララ
インがずれたか否かを常時監視でき、そして閾値を超え
た場合はエピポーララインの合わせを直ちに行なうこと
ができる。

【０１１７】７．第７の実施の形態 この発明のエピポーララインの合わせ方法は、第２の画
像（右画像）が入力されるごとに実施しても良いし、ま
たは、第６の実施の形態の如く一度合わせた後は、監視
機能で監視しておいて閾値を越えたらエピポーラライン
の合わせ動作をするようにしても良い。

【０１１８】しかし、ステレオ画像装置によっては、防
振台を用いたり、左右カメラの位置あわせをした後はこ
れらカメラを半固定状態にする等してエピポーラライン
のズレを生じにくくした構造のものもある。従って、も
っと間欠的にエピポーララインの合わせを行える場合も
ある。また、入力画像ごとにエピポーララインの合わせ
動作を行うと、ステレオ画像装置の処理速度を低下させ
る。また、装置を簡略化するうえでは、監視・起動装置
はない方が良い場合もある。

【０１１９】そこで、この第７の実施の形態では、この
発明のエピポーララインの合わせ方法を、決められた画
像枚数ごとに実施する。すなわち、定期的に間欠的に実
施する。例えば、５枚の画像置きに行う等である。何枚
ごとに行うかは、任意に決めてよい。このような処理
は、カメラが画像を取り込む枚数を例えばカウンタで監
視しておいて、所定枚数ごとに、エピポーラライン合わ
せ装置１９を起動するようにして実現できる。

【０１２０】この第７の実施の形態では、例えば、５枚
の画像置きにエピポーララインの合わせを行える。する
と、入力画像ごとに本発明のエピポーララインの合わせ
方法を実施する場合に比べて、処理時間は５倍かかって
も良いことになる。なぜなら、５枚の画像が処理される
間に、次の５枚の画像の加工に好適な加工条件を選択し
ておけば良いからである。

【０１２１】ステレオ画像装置は、並列処理可能なコン
ピュータで構成されることが多い。この第７の実施の形
態の場合は、この種のコンピュータの並列処理数を減ら
せるし、また、回路構成を低速向けにできるので、ステ
レオ画像装置の簡単化および低コスト化が図れる。

【０１２２】上述においてはこの出願の各発明の実施の
形態について説明した。しかし、この出願の各発明は上
述の実施の形態に何ら限定されるものではなく、多くの
変形および変更を行うことができる。

【０１２３】例えばこの出願の各発明は、上述の第１〜
第７の実施の形態を任意に組み合わせた構成としてもよ
い。具体的には、第２の実施の形態の装置に、第４の実
施の形態の標本画像生成装置１９ｈ、または第５の実施
の形態の遠近画像選択装置１９ｉ、または第６の実施の
形態の監視・起動装置１９ｊ、または、第７の実施の形
態の決められた画像枚数ごとにエピポーララインを合わ
せる装置を組み合わせた装置としても良い。または、第
２の実施の形態の装置に、第４の実施の形態の標本画像
生成装置と第５の実施の形態の装置の遠近画像選択装置
とを組み合わせた装置としても良い。または、第２の実
施の形態の装置に、第４の実施の形態の標本画像生成装
置を組み合わせ、さらに、これに、第６の実施の形態の
監視・起動装置、または、第７の実施の形態の決められ
た画像枚数ごとにエピポーララインを合わせる装置を組
み合わせた装置としても良い。または、第２の実施の形
態の装置に、第５の実施の形態の遠近画像選択装置を組
み合わせ、さらに、これに、第６の実施の形態の監視・
起動装置、または、第７の実施の形態の決められた画像
枚数ごとにエピポーララインを合わせる装置を組み合わ
せた装置としても良い。これら各組み合わせの装置で
は、各構成成分の相乗効果が得られる。

【０１２４】また、この出願の各発明は３眼以上のステ
レオ画像法に対しても適用することができる。

【０１２５】

【発明の効果】上述した説明から明らかなように、この
出願のエピポーララインの合わせ方法によれば、第２の
画像を種々の条件で加工して複数の加工画像を作成す
る。次に、これら複数種類の加工画像と基準画像（第１
の画像）との対応点探索を少なくとも２通りの探索条件
でそれぞれ探索し、さらにそれらの結果を統合して、各
加工画像ごとの最終的な対応点探索結果を得る。次に、
この結果に基づいて各加工画像ごとの評価パラメータを
求め、該評価パラメータが最も良かった加工条件で、今
後の右画像を加工してこれを右画像とみなす。

【０１２６】このため、この発明によれば、撮像装置を
移動することなく、エピポーララインを合わせたと同様
な効果が簡易に得られる。然も、この効果は、被写体を
撮像している最中にも得られる。

【０１２７】また、この出願のステレオ画像装置によれ
ば、被写体を撮像するための少なくとも第１および第２
の撮像装置と、前記第１の撮像装置で撮像した第１の画
像と前記第２の撮像装置で撮像した第２の画像との対応
点を少なくとも探索する第１の対応点探索装置とを具え
るステレオ画像装置において、所定の、画像加工装置
と、第２の対応点探索装置と、評価パラメータ算出装置
と、加工条件選択装置と、加工条件設定装置とを含むエ
ピポーラライン合わせ装置を具える。

【０１２８】そのため、この出願のエピポーラライン合
わせ方法の発明を容易に実施することができる。

【図面の簡単な説明】

【図１】第１の実施の形態のステレオ画像装置の構成を
示すブロック図である。

【図２】画像加工条件の一例の説明図である。

【図３】２通りの対応点探索条件の一例の説明図であ
る。

【図４】第２の実施の形態のステレオ画像装置の構成を
示すブロック図である。

【図５】第３の実施の形態のステレオ画像装置の構成を
示すブロック図である。

【図６】第４の実施の形態の説明図であり、標本画像を
得る処理の説明図である。

【図７】第４の実施の形態のステレオ画像装置の構成を
示すブロック図である。

【図８】第５の実施の形態の説明図であり、遠近画像部
分を用いる理由の説明図である。

【図９】第５の実施の形態のステレオ画像装置の構成を
示すブロック図である。

【図１０】第６の実施の形態のステレオ画像装置の構成
を示すブロック図である。

【図１１】エピポーララインを説明する図である。

【符号の説明】

１１：左カメラ（第１の撮像装置） １３：右カメラ（第２の撮像装置） １５：第１の対応点探索装置 １９：エピポーラライン合わせ装置 １９ａ：画像加工装置 １９ｂ：第２の対応点探索装置 １９ｃ：評価パラメータ算出装置 １９ｄ：加工条件選択装置 １９ｅ：加工条件設定装置 １９ｆ：画像選択装置 １９ｇ：上位ライン選択装置 １９ｈ：標本画像生成装置 １９ｈａ：階調画像作成装置 １９ｈｂ：階調画像選択装置 １９ｉ：遠近画像選択装置 １９ｊ：監視・起動装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 ＦＩ Ｇ０６Ｔ 7/60 Ｇ０６Ｆ 15/70 ３５０Ｚ

Claims (20)

【特許請求の範囲】
1. 【請求項１】 被写体を少なくとも第１および第２の撮
   像装置で撮像して得られる第１および第２の画像のエピ
   ポーララインを合わせるに当たり、 第２の画像を複数の加工条件で加工して複数種類の加工
   画像を作成する処理と、 前記複数種類の加工画像それぞれと、前記第１の画像
   （基準画像）との対応点探索を、少なくとも２通りの探
   索条件によりそれぞれ行う処理と、 前記複数種類の加工画像ごとに前記少なくとも２通りの
   探索条件による探索結果を統合して、前記複数種類の加
   工画像ごとの最終探索結果を得る処理と、 前記複数種類の加工画像ごとに、前記最終探索結果で対
   応点と決定された画素それぞれについて基準画像の画素
   との特徴差をそれぞれ求めかつ該特徴差に基づいて前記
   複数の加工条件の評価パラメータを得る処理と、 該評価パラメータに基づいて、前記複数の加工条件の中
   からエピポーララインが合ったとみなせる画像を与える
   好適加工条件を選択する処理と、 前記第２の手段で今後撮像される画像を、前記好適加工
   条件により加工し、該加工した画像を前記第２の画像と
   みなす処理とを含むことを特徴とするエピポーラライン
   の合わせ方法（ただし、前記複数種類の加工画像には、
   加工なしの第２の画像を含む場合があっても良い。）。
2. 【請求項２】 請求項１に記載のエピポーララインの合
   わせ方法において、 前記少なくとも２通りの探索条件が、 探索対象の画像の第１の端点から第２の端点に向かって
   順次に対応点を探索する条件と、前記第２の端点から前
   記第１の端点に向かって順次に対応点を探索する条件と
   の、２つの条件であることを特徴とするエピポーラライ
   ンの合わせ方法。
3. 【請求項３】 請求項１に記載のエピポーララインの合
   わせ方法において、 前記対応点探索を、前記複数種類の加工画像および基準
   画像のそれぞれの一部である複数ラインについてのみ行
   うことを特徴とするエピポーララインの合わせ方法。
4. 【請求項４】 請求項１に記載のエピポーララインの合
   わせ方法において、前記対応点探索を、前記複数種類の
   加工画像および基準画像のそれぞれの一部である複数ラ
   インについてのみ行い、 前記評価パラメータは、該複数のラインのうち、対応点
   探索結果の良好な１又は複数のラインの特徴差に基づい
   て得ることを特徴とするエピポーララインの合わせ方
   法。
5. 【請求項５】 請求項１に記載のエピポーララインの合
   わせ方法において、前記基準画像および前記複数種類の
   加工画像それぞれから１又は複数の輝度レベルごとの標
   本画像を得る処理をさらに含み、 これら標本画像に対して、前記対応点探索を行うことを
   特徴とするエピポーララインの合わせ方法。
6. 【請求項６】 請求項１に記載のエピポーララインの合
   わせ方法において、 前記基準画像および前記複数種類の加工画像それぞれか
   ら、少なくとも前記被写体と前記第１および第２の撮像
   装置との距離が第１の距離範囲とみなせる画像部分およ
   び該第１の距離範囲より近い第２の距離範囲とみなせる
   画像部分をそれぞれ選択する処理と、 前記評価パラメータとして、前記第１の距離範囲とみな
   せる画像部分から第１の評価パラメータを求め、前記第
   ２の距離範囲とみなせる画像部分から第２の評価パラメ
   ータを求め、 該第１の評価パラメータに基づいて、前記第２の画像を
   回転移動させる加工に好ましい加工条件を選択し、前記
   第２の評価パラメータに基づいて、前記第２の画像を平
   行移動させる加工に好ましい加工条件を選択して、これ
   らから前記好適加工条件を決めることを特徴とするエピ
   ポーララインの合わせ方法。
7. 【請求項７】 請求項６に記載のエピポーララインの合
   わせ方法において、 前記対応点探索で求まった各対応点から視差をそれぞれ
   求め、 該求めた視差に基づいて、前記基準画像および前記複数
   種類の加工画像それぞれから、前記第１および第２の距
   離範囲とみなせる画像部分をそれぞれ選択することを特
   徴とするエピポーララインの合わせ方法。
8. 【請求項８】 請求項１に記載のエピポーララインの合
   わせ方法において、 前記第２の撮像装置で次々撮像される画像を前記選択さ
   れた好適加工条件で次々加工し、そして、該加工画像と
   基準画像とで対応点探索を進める際に、 対応点探索精度に関する何らかのパラメータを監視し、 該パラメータが閾値より悪化した場合、請求項１のエピ
   ポーララインの合わせ方法を実施して前記好適加工条件
   の再選択をすることを特徴とするエピポーララインの合
   わせ方法。
9. 【請求項９】 請求項１に記載のエピポーララインの合
   わせ方法において、 前記合わせ方法を、決められた画像枚数ごとに実施する
   ことを特徴とするエピポーララインの合わせ方法。
10. 【請求項１０】 請求項１に記載のエピポーララインの
    合わせ方法において、 請求項３に記載の、前記複数ラインについてのみ対応点
    探索をする処理と、 請求項４に記載の、前記複数ラインについてのみ対応点
    探索をする処理および該複数のラインのうち、対応点探
    索結果の良好な１又は複数のラインの特徴差に基づいて
    評価パラメータを得る処理と、 請求項５に記載の、標本画像を得る処理および該標本画
    像に対して対応点探索を行う処理からなる処理と、 請求項６に記載の、少なくとも第１の距離範囲および第
    ２の距離範囲とみなせる画像部分をそれぞれ選択する処
    理、前記第１および第２の評価パラメータを求める処
    理、およびこれら評価パラメータに基づいて前記好適加
    工条件を決める処理と、 請求項８に記載の、前記何らかのパラメータを監視しか
    つ、該パラメータが閾値より悪化した場合に前記好適加
    工条件の再選択をする処理とのうちの、 少なくとも２つの処理を含むことを特徴とするエピポー
    ララインの合わせ方法。
11. 【請求項１１】 被写体を撮像するための少なくとも第
    １および第２の撮像装置と、前記第１の撮像装置で撮像
    した第１の画像と前記第２の撮像装置で撮像した第２の
    画像との対応点を少なくとも探索する第１の対応点探索
    装置とを具えるステレオ画像装置において、 前記第２の画像を任意の複数の加工条件で加工して複数
    種類の加工画像を作成する画像加工装置と、 前記複数種類の加工画像それぞれと、前記第１の画像
    （基準画像）との対応点探索を、少なくとも２通りの探
    索条件によりそれぞれ行い、かつ、前記複数種類の加工
    画像ごとに前記少なくとも２通りの探索条件による探索
    結果を統合して、前記複数種類の加工画像ごとの最終探
    索結果を得る第２の対応点探索装置と、 前記複数種類の加工画像ごとに、前記最終探索結果で対
    応点と決定された画素それぞれについて基準画像の画素
    との特徴差をそれぞれ求めかつ該特徴差に基づいて前記
    複数の加工条件の評価パラメータを得る評価パラメータ
    算出装置と、 該評価パラメータに基づいて、前記複数の加工条件の中
    からエピポーララインが合ったとみなせる画像を与える
    好適加工条件を選択する加工条件選択装置と、 エピポーララインの合わせ動作時は、前記画像加工装置
    の加工条件を前記任意の複数の加工条件に設定し、エピ
    ポーララインの非合わせ動作時は、前記画像加工装置の
    加工条件を前記好適加工条件に設定する、加工条件設定
    装置とを含むエピポーラライン合わせ装置を具えること
    を特徴とするステレオ画像装置（ただし、前記複数種類
    の加工画像には、加工なしの第２の画像を含む場合があ
    っても良い。）。
12. 【請求項１２】 請求項１１に記載のステレオ画像装置
    において、 前記第２の対応点探索装置は、 探索対象の画像の第１の端点から第２の端点に向かって
    順次に対応点を探索する条件と、前記第２の端点から前
    記第１の端点に向かって順次に対応点を探索する条件と
    の、２つの条件で対応点探索をする装置であることを特
    徴とするステレオ画像装置。
13. 【請求項１３】 請求項１１に記載のステレオ画像装置
    において、 前記複数種類の加工画像および基準画像それぞれから、
    画像の一部分である複数ライン分の画像を選択して前記
    第２の対応点探索装置に送る画像選択装置をさらに具
    え、 前記第２の対応点探索装置は、該画像選択装置から送ら
    れる画像に対して対応点探索をする装置であることを特
    徴とするステレオ画像装置。
14. 【請求項１４】 請求項１１に記載のステレオ画像装置
    において、 前記複数種類の加工画像および基準画像それぞれから、
    画像の一部分である複数ライン分の画像を選択して前記
    第２の対応点探索装置に送る画像選択装置をさらに具
    え、 前記第２の対応点探索装置は、該画像選択装置から送ら
    れる画像について、前記複数ラインのラインごとに対応
    点探索をする装置であり、 前記評価パラメータ算出装置は、前記対応点探索をした
    複数のラインのうち、対応点探索結果の良好な１又は複
    数のラインの特徴差に基づいて評価パラメータを算出す
    る装置であることを特徴とするステレオ画像装置。
15. 【請求項１５】 請求項１１に記載のステレオ画像装置
    において、 前記基準画像および前記複数種類の加工画像それぞれか
    ら同様の１又は複数の輝度レベルごとの標本画像を得る
    標本画像生成装置をさらに含み、 前記第２の対応点探索装置は、これら標本画像に対して
    前記対応点探索を行う装置であることを特徴とするステ
    レオ画像装置。
16. 【請求項１６】 請求項１１に記載のステレオ画像装置
    において、 前記基準画像および前記複数種類の加工画像それぞれか
    ら、少なくとも前記被写体と前記第１および第２の撮像
    装置との距離が第１の距離範囲とみなせる画像部分およ
    び該第１の距離範囲より近い第２の距離範囲とみなせる
    画像部分を選択する遠近画像選択装置をさらに具え、 前記評価パラメータ算出装置は、前記第１の距離範囲と
    みなせる画像部分から前記評価パラメータとしての第１
    の評価パラメータを求め、かつ、前記第２の距離範囲と
    みなせる画像部分から前記評価パラメータとしての第２
    の評価パラメータを求める装置であり、 前記加工条件選択装置は、該第１の評価パラメータに基
    づいて、前記第２の画像を回転移動させる加工に好まし
    い加工条件を選択し、前記第２の評価パラメータに基づ
    いて、前記第２の画像を平行移動させる加工に好ましい
    加工条件を選択して、これらから前記好適加工条件を決
    める装置であることを特徴とするステレオ画像装置。
17. 【請求項１７】 請求項１６に記載のステレオ画像装置
    において、 前記遠近画像選択装置は、 前記対応点探索で求まった各対応点から視差をそれぞれ
    求め、該求めた視差に基づいて、前記被写体と前記第１
    および第２の撮像装置との距離が第１の距離範囲とみな
    せる画像部分および第２の距離範囲とみなせる画像部分
    を選択する装置であることを特徴とするステレオ画像装
    置。
18. 【請求項１８】 請求項１１に記載のステレオ画像装置
    において、 前記第２の撮像装置が次々と撮像する画像を前記画像加
    工装置が前記好適画像加工条件で加工している場合に動
    作し、 前記好適加工条件で加工された加工画像と前記基準画像
    との対応点探索精度に関する何らかのパラメータを監視
    して、該パラメータが閾値より悪化した場合に、前記エ
    ピポーラライン合わせ装置を再起動させる監視・起動装
    置をさらに具えることを特徴とするステレオ画像装置。
19. 【請求項１９】 請求項１１に記載のステレオ画像装置
    において、 前記エピポーラライン合わせ装置は、決められた画面枚
    数ごとに動作する装置であることを特徴ステレオ画像装
    置。
20. 【請求項２０】 請求項１１に記載のステレオ画像装置
    において、 請求項１３に記載の画像選択装置と、 請求項１４に記載の画像選択装置および評価パラメータ
    算出装置からなる装置と、 請求項１５に記載の標本画像生成装置と、 請求項１６に記載の遠近画像選択装置、評価パラメータ
    算出装置および加工条件選択装置からなる装置と、 請求項１８に記載の監視・起動装置とのうちの、少なく
    とも２種の装置を具えることを特徴とするステレオ画像
    装置。