JPH11264724A - 画像処理装置および方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 距離画像の生成処理を高速化する。 【解決手段】 輝度変化検出部２１は、基準カメラにお
いて撮像された現在の画像ＩＢ（ｔ）と過去の画像ＩＢ
（ｔ−１）とから輝度変化評価値ＳＤ_iを算出し、探索
範囲決定部２２に出力する。探索範囲決定部２２は、入
力された輝度変化評価値ＳＤ_iから、エピポーラライン
上の対応点の探索範囲を決定する。決定された探索範囲
は、ステレオ処理部２３に出力される。ステレオ処理部
２３は、決定された探索範囲内において対応点の探索を
行い、その探索の結果得られた距離画像Ｒ（ｔ）を出力
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに提供媒体に関し、特に、距離画像を生成
する際に求められる対応点の探索を、過去に得られた基
準画像を用いて、距離の変化が小さいか否かを判断し、
その結果、変化が小さいと判断された画素に対しては、
その対応点の探索範囲を限定、または全く探索を行わな
いようにすることにより、距離画像の生成処理の高速化
を可能にする画像処理装置および方法、並びに提供媒体
に関する。

【０００２】

【従来の技術】測定対象物の表面の３次元座標、すなわ
ち３次元形状を計測するために、視点の異なる複数のカ
メラで、同一シーンを、同時に撮像した画像を用いて、
その画像間での各画素の対応点を求め、その視差により
物体までの距離情報を得る距離計測装置が知られてい
る。このようにして、距離を計測する方法は一般に、ス
テレオ法と呼ばれている。

【０００３】図１５は、ステレオ法の概略を説明する図
である。この図が示すように、ステレオ法では、基準カ
メラ１と参照カメラ２の２台のカメラにより、３次元の
シーンを観測し、測定しようとする対象の３次元空間に
おける位置（基準点からの距離）が求められる。

【０００４】すなわち、図１５に示す例では、３次元シ
ーン中の対象点Ｐが基準カメラ１により観察される観察
点ｎ_bと、参照カメラ２により観察される観察点ｎ_rとが
求められる。そして、これらの観測点ｎ_b，ｎ_rから、対
象点Ｐの３次元空間内の位置を求めることができる。

【０００５】観察点ｎ_bに対応する観察点ｎ_rを検出する
方法としては、エピポーララインを用いた方法がある。
すなわち、図１５に示すように、参照カメラ２の観察点
ｎ_rは、両カメラの光学中心（光軸）と基準カメラ１の
観察点ｎ_bによって決められる平面と、参照カメラ２の
画像面が交わる直線上に存在する。この直線が、エピポ
ーララインと呼ばれる。基準カメラ１と参照カメラ２の
位置関係が概知であれば、基準カメラ１の各観測点毎に
参照カメラ２の画面上のエピポーラライン上での対応点
検索を行うことにより、所望の対応点を検出することが
できる。

【０００６】ここで、図１６（Ａ）に示した基準画面上
の点ｎ_bの対応点を、参照画面上で検出する場合を説明
する。図１６（Ａ）のように、ｎ_b周辺の小領域Ｗをテ
ンプレートとし、検出画像上のエピポーラライン上の複
数点（図１６（Ｂ）の場合、ｎ_d1乃至ｎ_d6の６点）で相
関値が求められる。このエピポーラライン上の点ｎ_d1乃
至ｎ_d6の添字の数字は、それぞれ基準カメラ１からの実
際の距離１ｍ乃至６ｍに対応して付けられているとす
る。

【０００７】この相関値の求め方としては、例えば次式
に示すようにＳＡＤ(Sum of Abusolute Difference）が
用いられる。 ｄ（ｂ，ｄ）＝Σ ｜Ｉ（ｘ_i）−Ｉ’（ｘ’_i）｜ この式において、Ｉ（ｘ_i）は基準画像の輝度値、Ｉ’
（ｘ’_i）は参照画像の輝度を表し、ｉは小領域Ｗ内の
画素の番号を表す値である。

【０００８】上式により求められた相関値をグラフにし
たのが、図１７である。このグラフにおいて、最も相関
の低いところであるｎ_d3が対応点となる。この場合、距
離は、ｎ_d3が存在する３ｍとなる。または、最も相関の
低いｎ_b3周辺の値から、サンプリングしたデータを補間
して、最小点を求め、その点を対応点としても良い（図
１７の場合、ｎ_dm）。

【０００９】なお、エピポーラライン上の位置と物体の
距離の関係は、予めキャリブレーションによって求めら
れている。そして、このようにして、各基準画像上の画
素の対応点、およびその距離が求められることにより、
距離画像が生成される。

【００１０】

【発明が解決しようとする課題】ところで、図１６の例
では、エピポーラライン上の探索点は６点であったが、
通常３２乃至６４個の探索点により、対応点は探索され
る。さらにこの探索は、基準画像上の各画素、全てに対
して行われる。従って、この対応点探索は、非常に重い
処理であるために、その処理には、時間を要するといっ
た課題があった。

【００１１】また、放送局などでは、画質を重視するた
め、画像を構成する画素の数が多い。従って、画像全体
について、上述した対応点探索および距離の算出を行う
には時間を要し、リアルタイムの処理が困難になる。

【００１２】本発明はこのような状況に鑑みてなされた
ものであり、過去に得られた基準画像を利用し、距離の
変化が小さいと判断された画素に対しては、過去に求め
られた距離画像の画素を用いる、または、エピポーララ
イン上の探索点の探索範囲を限定して探索するようにす
ることにより、距離画像の生成処理を高速化できるよう
にするものである。

【００１３】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、撮像装置から撮像された画像のうち少なくと
も１つを基準画像とし、現在撮像されている基準画像と
過去に撮像された基準画像との輝度の変化を算出する輝
度算出手段と、輝度算出手段により算出された値によ
り、エピポーラライン上の対応点の探索範囲を決定する
決定手段とを備えることを特徴とする。

【００１４】請求項５に記載の画像処理方法は、撮像装
置から撮像された画像のうち少なくとも１つを基準画像
とし、現在撮像されている基準画像と過去に撮像された
基準画像との輝度の変化を算出する輝度算出ステップ
と、輝度算出ステップで算出された値により、エピポー
ラライン上の対応点の探索範囲を決定する決定ステップ
とを含むことを特徴とする。

【００１５】請求項６に記載の提供媒体は、撮像装置か
ら撮像された画像のうち少なくとも１つを基準画像と
し、現在撮像されている基準画像と過去に撮像された基
準画像との輝度の変化を算出する輝度算出ステップと、
輝度算出ステップで算出された値により、エピポーララ
イン上の対応点の探索範囲を決定する決定ステップとを
含む処理を実行させるコンピュータが読み取り可能なプ
ログラムを提供することを特徴とする。

【００１６】請求項１に記載の画像処理装置、請求項５
に記載の画像処理方法、および請求項６に記載の提供媒
体においては、撮像装置から撮像された画像のうち少な
くとも１つが基準画像とされ、現在撮像されている基準
画像と過去に撮像された基準画像との輝度の変化が算出
され、算出された値により、エピポーラライン上の対応
点の探索範囲が決定される。

【００１７】

【発明の実施の形態】以下に本発明の実施の形態を説明
するが、特許請求の範囲に記載の発明の各手段と以下の
実施の形態との対応関係を明らかにするために、各手段
の後の括弧内に、対応する実施の形態（但し一例）を付
加して本発明の特徴を記述すると、次のようになる。但
し勿論この記載は、各手段を記載したものに限定するこ
とを意味するものではない。

【００１８】請求項１画像処理装置は、撮像装置から撮
像された画像のうち少なくとも１つを基準画像とし、現
在撮像されている基準画像と過去に撮像された基準画像
との輝度の変化を算出する輝度算出手段（例えば、図１
３のステップＳ３２）と、輝度算出手段により算出され
た値により、エピポーラライン上の対応点の探索範囲を
決定する決定手段（例えば、図１３のステップＳ３４，
Ｓ３５）とを備えることを特徴とする。

【００１９】請求項２に記載の画像処理装置は、輝度算
出手段により算出された値が、設定されたしきい値より
も小さいか否かを判断する判断手段（例えば、図４のス
テップＳ３）をさらに備え、決定手段は、判断手段によ
り値がしきい値よりも小さいと判断された場合、過去に
求められた対応点により導出された距離情報を用いる
（例えば、図４のステップＳ４）ことを特徴とする。

【００２０】請求項３に記載の画像処理装置は、輝度算
出手段により算出された値が、設定されたしきい値より
も小さいか否かを判断する判断手段（例えば、図１３の
ステップＳ３３）をさらに備え、決定手段は、判断手段
により値がしきい値よりも小さいと判断された場合、対
応点の探索範囲を過去に求めた対応点の周辺に限定する
（例えば、図１３のステップＳ３４）ことを特徴とす
る。

【００２１】請求項４に記載の画像処理装置は、輝度算
出手段により算出された値が、しきい値（例えば、図１
４のＳＤ_t1）よりも大きな値として設定された第２のし
きい値（例えば、図１４のＳＤ_t2）よりも小さいか否か
を判断する第２の判断手段（例えば、図１４のステップ
Ｓ５５）をさらに備え、決定手段は、第２の判断手段に
より値が第２のしきい値よりも小さいと判断された場
合、対応点の探索範囲を過去に求めた対応点の周辺に限
定する（例えば、図１４のステップＳ５６）ことを特徴
とする。

【００２２】図１は、本発明の画像処理装置２０の構成
例を示している。基準カメラ１で撮像された被写体１５
の画像データは、フレームメモリ６に、参照カメラ２で
撮像された被写体１５の画像データは、フレームメモリ
５に、それぞれデジタル化されて出力され、記憶され
る。フレームメモリ５に記憶された画像データは、距離
画像生成部３に出力される。距離画像生成部３に出力さ
れた画像データは、他のデータとともに、後述する距離
画像の生成に用いられる。

【００２３】フレームメモリ６に記憶された画像データ
は、距離画像生成部３と、フレームメモリ７に出力され
る。そして、距離画像生成部３に出力された画像データ
は、他のデータとともに、後述する距離画像の生成に用
いられ、フレームメモリ７に出力された画像データは、
記憶される。

【００２４】フレームメモリ７に記憶された画像データ
は、距離画像生成部３に出力される。距離画像生成部３
は、入力された各画像データを基に、距離画像を生成
し、出力する。ここで、距離画像とは、各画素の輝度が
基準点（基準カメラ１）からの距離に対応する値になっ
ている画像を意味する。距離画像生成部３には、フレー
ムメモリ８からの出力も入力される。このフレームメモ
リ８に入力され、記憶されるデータは、距離画像生成部
３において、１フレーム前に出力された距離画像であ
る。

【００２５】フレームメモリ７，８は、それぞれ２枚の
メモリから構成されるようにしても良い。そして、それ
ぞれのメモリに書き込みと読み出しを交互に行うように
することにより、各メモリが行っている処理に影響を与
えないようにすること、具体的には、参照している画素
のデータが書き換えられないようにすることができる。

【００２６】図２は、図１に示した画像処理装置２０を
時間軸に沿って説明するための図であり、基準となる時
刻（ｔ）、その１フレーム前の時刻（ｔ−１）、その１
フレーム後の時刻（ｔ＋１）の、各時刻における画像処
理装置２０のデータの流れを示している。

【００２７】時刻（ｔ−１）における、画像処理装置２
０の基準カメラ１からの画像データは、デジタル化さ
れ、フレームメモリ６に入力され、記憶される。その記
憶されたデータをＩＢ（ｔ−１）とする（以後ＩＢは、
基準カメラ１で撮像された画像データを示し、括弧内
は、そのデータが得られた時刻を示すものとする）。同
様に、参照カメラ２からの画像データは、デジタル化さ
れ、フレームメモリ５に入力され、記憶される。その記
憶されたデータをＩＤ（ｔ−１）とする（以後ＩＤは、
参照カメラ２で撮像された画像データを示し、括弧内
は、そのデータの得られた時刻を示すものとする）。

【００２８】フレームメモリ７には、時刻（ｔ−１）の
１フレーム前の画像データ（時刻（ｔ−２）で、基準カ
メラ１から出力された画像データ）であるＩＢ（ｔ−
２）が記憶されており、その記憶されているデータが距
離画像生成部３に出力される。フレームメモリ８には、
時刻（ｔ−１）の１フレーム前の距離画像（時刻（ｔ−
２）で、距離画像生成部３が出力した距離画像）である
Ｒ（ｔ−２）が記憶されており（以後Ｒは、距離画像生
成部３が生成した距離画像を示し、括弧内は、その距離
画像が得られた時刻を示すものとする）、その記憶され
ている距離画像を、距離画像生成部３に出力する。

【００２９】距離画像生成部３は、入力されたデータを
基に、距離画像Ｒ（ｔ−１）を生成し、出力する。この
生成については、後述する。

【００３０】時刻（ｔ）において、フレームメモリ５に
は、参照カメラ２からの画像データＩＤ（ｔ）が入力さ
れ、記憶される。同様に、フレームメモリ６には、基準
カメラ１からの画像データＩＢ（ｔ）が入力され、記憶
される。それぞれのフレームメモリ５，６に記憶された
画像データＩＤ（ｔ），ＩＢ（ｔ）は、距離画像生成部
３に入力される。

【００３１】フレームメモリ７には、時刻（ｔ−１）の
時にフレームメモリ６から出力された画像データＩＢ
（ｔ−１）が入力され、記憶され、そして、距離画像生
成部３に出力される。フレームメモリ８には、時刻（ｔ
−１）の時に距離画像生成部３から出力された距離画像
Ｒ（ｔ−１）が入力され、記憶され、そして、距離画像
生成部３に出力される。

【００３２】距離画像生成部３では、入力された各デー
タを基に、時刻（ｔ）における距離画像Ｒ（ｔ）を出力
する。

【００３３】時刻（ｔ＋１）において、フレームメモリ
５には、参照カメラ２からの画像データＩＤ（ｔ＋１）
が入力され、記憶される。同様に、フレームメモリ６に
は、基準カメラ１からの画像データＩＢ（ｔ＋１）が入
力され、記憶される。それぞれのフレームメモリ５，６
に記憶された画像データＩＤ（ｔ＋１），ＩＢ（ｔ＋
１）は、距離画像生成部３に入力される。

【００３４】フレームメモリ７には、時刻（ｔ）の時に
フレームメモリ６から出力された画像データＩＢ（ｔ）
が入力され、記憶され、そして、距離画像生成部３に出
力される。フレームメモリ８には、時刻（ｔ）の時に距
離画像生成部３から出力された距離画像Ｒ（ｔ）が入力
され、記憶され、そして、距離画像生成部３に出力され
る。

【００３５】距離画像生成部３では、入力された各デー
タを基に、時刻（ｔ＋１）における距離画像Ｒ（ｔ＋
１）を出力する。

【００３６】このようにして、フレームメモリ５，６に
は、その時刻による画像データが記憶され、その時刻よ
りも１フレーム前の時刻に得られた画像データがフレー
ムメモリ７に、距離画像がフレームメモリ８に、それぞ
れ記憶される。

【００３７】距離画像生成部３は、図３に示したよう
に、輝度変化検出部２１、探索範囲決定部２２、および
ステレオ処理部２３から構成されている。以下、時刻
（ｔ）の時を例にあげて、説明する。時刻（ｔ）におい
て、輝度変化検出部２１には、基準カメラ１からの画像
データＩＢ（ｔ）と、時刻（ｔ−１）における基準カメ
ラ１からの画像データＩＢ（ｔ−１）が入力される。

【００３８】輝度変化検出部２１は、入力された各デー
タを基に、輝度値の変化評価値ＳＤ_iを演算し出力す
る。この評価値ＳＤ_iと時刻（ｔ−１）において距離画
像生成部３（ステレオ処理部２３）から出力された距離
画像Ｒ（ｔ−１）が、探索範囲決定部２２に入力され
る。探索範囲決定部２２は、入力されたデータを基に、
エピポーラライン上の対応点の探索範囲を決定する。そ
の決定された探索範囲と、ＩＤ（ｔ）に従って、ステレ
オ処理部２３は、距離画像Ｒ（ｔ）を求める。

【００３９】次に、図４のフローチャートを参照して、
距離画像生成部３の動作について説明する。ここで、Ｉ
Ｂ_i，ＩＤ_i，Ｒ_iはそれぞれ、第ｉ番目の画素におけ
る、基準カメラ１からの画像の輝度、参照カメラ２から
の画像の輝度、距離画像の値（距離）を表し、その後に
付加される括弧内は、時刻を表すものとする。

【００４０】距離画像生成部３は、ステップＳ１におい
て、画素の番号を表すｉを０に初期設定する。輝度変化
検出部２１は、ステップＳ２において、次式に示すよう
に、入力されたＩＢ（ｔ）の第ｉ番目の画素のデータＩ
Ｂ_i（ｔ）と、ＩＢ（ｔ−１）の第ｉ番目の画素のデー
タＩＢ_i（ｔ−１）との差を演算し、基準画像の輝度の
変化値ＳＤiを求める。 ＳＤi ＝｜ＩＢ_i（ｔ）−ＩＢ_i（ｔ−１）｜

【００４１】この輝度の変化値ＳＤiの算出の仕方とし
ては、それぞれの画素の輝度値の差分の絶対値を取る変
わりに、それぞれの画素の周辺の小領域の相関値を取る
ようにしても良い。

【００４２】検索範囲決定部２２は、ステップＳ３にお
いて、入力された輝度変化評価値ＳＤ_iが予め設定され
ているしきい値ＳＤ_tよりも小さいか否かを判断する。
輝度変化評価値ＳＤ_iがしきい値ＳＤ_tよりも小さいと判
断された場合、ステップＳ４に進む。輝度変化評価値Ｓ
Ｄ_iがしきい値ＳＤ_tより小さいと言うことは、第ｉ番目
の画素での距離の変化（その画素の時刻（ｔ−１）にお
ける距離と時刻（ｔ）における距離の差）は無視できる
ほど小さいであろうと判断され、時刻（ｔ−１）の時に
得られた第ｉ番目の画素に対応する距離画像Ｒｉ（ｔ−
１）を、時刻（ｔ）の第ｉ番目の画素に対応する距離画
像Ｒｉ（ｔ）として採用する。

【００４３】一方、ステップＳ３において、輝度変化評
価値ＳＤ_iがしきい値ＳＤ_tよりも大きいと判断された場
合、換言すれば、第ｉ番目の画素での距離変化は大きい
であろうと判断された場合、ステップＳ５に進む。ステ
ップＳ５において、ステレオ処理部２３は、参照カメラ
２の画像データＩＤ（ｔ）のエピポーラライン上の対応
点探索および距離の算出の処理を実行する。次に、ステ
ップＳ５の処理の詳細について、図５のフローチャート
を参照して説明するが、その前に、図６以降を用いて、
射影変換を用いた場合の距離の算出の仕方について説明
する。

【００４４】図６に示すように、３次元空間に置かれた
平面を基準カメラ１と参照カメラ２の２台のカメラ（ス
テレオカメラ）で観察した場合、対応点のカメラ座標
は、射影変換により相互に変換可能である。つまり、３
次元空間に置かれた平面上の点Ｐが、基準カメラ１の画
像（以下、基準画像と適宜略記する）でｎ_bに観察さ
れ、参照カメラ２の画像（以下、参照画像と適宜略記す
る）でｎ_rに観察された場合、ｎ_bからｎ_rへの変換を３
×３の射影変換行列をＨとすると、次式が成立する。 ｎ_r＝Ｈ・ｎ_b （１）

【００４５】式（１）の射影変換行列Ｈは、ｍ₀乃至ｍ₈
の合計９個のパラメータにより構成されている。しかし
ながら、スケール因子に自由度が残るので、自由度は８
となる。また、射影変換行列Ｈは、カメラの内部パラメ
ータ、外部パラメータ、および平面の方程式を暗黙的に
含んだ行列である。

【００４６】図７は、射影変換を施す対象となるテキス
チャとカメラとの関係を示す図である。この図において
は、基準点（所定の位置に選んで良い）からある距離Ｚ
₀だけ離れた位置に設置された１枚の平面を相互に位置
関係が固定された２台のカメラにより撮像されるように
なされている。なお、平面のカメラ側の面には、所定の
テキスチャが形成されている。

【００４７】参照カメラ２の画像と、基準カメラ１の画
像とを組み合わせてステレオペアを形成する。この時、
基準カメラ１の画像（基準画像）と、参照カメラ２の画
像（参照画像）は、図８（Ａ）に示すようになる。

【００４８】このとき、参照画像に対して所定の射影変
換を施し、これらの画像間の輝度の誤差が最小となるよ
うな射影変換行列Ｈを算出する。このような射影変換行
列Ｈを求めることにより、基準画像の任意の点に対応す
る対応点を参照画像から検索することが可能となる。

【００４９】変換後の参照画像と、基準画像が一致する
射影変換行列Ｈの求め方（画像合わせ込みの方法）とし
ては、Levenberg-Marquardt最小化法が用いられる。そ
して、このように求められた射影変換行列Ｈを用いて、
エピポーララインが求められる。

【００５０】図９は、エピポーララインの求め方を説明
するための図である。射影変換行列Ｈが求められると、
距離Ｚ₀における基準画像上の点ｎ_bに対応する参照画像
上の点ｎ_r0が決定される。点ｎ_bは任意であるので、そ
の結果、基準画像上の全ての点に対応する対応点を算出
することができる。同様にして、観察する平面を距離Ｚ
₁の位置に、距離Ｚ₀の位置に置かれていた平面と平行に
なるようにおかれた場合の射影変換行列Ｈ₁を求める。

【００５１】基準画像上の観察点ｎ_bは、対象点が距離
Ｚ₀またはＺ₁にある場合には、求められた射影変換行列
Ｈ₀，Ｈ₁により、参照画像上のｎ_r0，ｎ_r1にそれぞれ射
影されることがわかる。従って、参照画像上の２点
ｎ_r0，ｎ_r1を結んだ線分がエピポーララインとなる。

【００５２】ところで、実際の対象物の距離を測定する
場合には、基準画像上の所定の点に対応する点（対応
点）を、参照画像のエピポーラライン上で探索し、探索
された対応点の位置（視差）を、３次元空間における実
際の距離に変換する必要がある。しかし、例えば射影変
換を用いた場合、視差と実際の距離とは正比例しない。
従って、この視差を距離に変換する変換式を求めるため
に、距離Ｚ₀，Ｚ₁とは異なる距離Ｚ₂に、前述の平面を
再度設置して、ｎ_r2を求め、これらｎ_r0，ｎ_r1，ｎ_{r 2}か
ら複比を用いて視差の距離へ変換を行う。

【００５３】図１０は、複比を説明するための図であ
る。この図に示すように、３次元空間内の線分Ｌが画像
画面上に線分Ｌ’として投影されているものとする。こ
のとき、線分Ｌ上の４点Ａ，Ｂ，Ｃ，Ｄは、それぞれ、
線分Ｌ’上の点Ａ’，Ｂ’，Ｃ’，Ｄ’に投影されてい
るものとする。また、これらの線分Ｌ，Ｌ’を観察する
視点Ｏと、線分Ｌ，Ｌ’とは同一平面上に配置されてい
る。換言すると、点Ａ，Ｂ，Ｃ，Ｄ，Ａ’，Ｂ’，
Ｃ’，Ｄ’と視点Ｏとは、同一の平面上に配置されてい
る。これらの平面上における位置関係を書き直すと、図
１１に示すようになる。

【００５４】この図において、ＯＡ＝ａ，ＯＢ＝ｂ，Ｏ
Ｃ＝ｃ，ＯＤ＝ｄとおき、さらに、ＡＯＣ＝α，ＢＯＣ
＝β，ＡＯＤ＝γ，ＢＯＤ＝δとおくと、これらの間の
関係は、以下の式により表すことができる。 ＡＣ／ＢＣ＝△ＯＡＣ／△ＯＢＣ （２） △ＯＡＣ＝（１／２）ａｃsinα （３） △ＯＢＣ＝（１／２）ｂｃsinβ （４）

【００５５】式（２）乃至（４）により、以下の関係式
が得られる。 ＡＣ／ＢＣ＝ａsinα／ｂsinβ （５）

【００５６】同様の計算をＡＤとＢＤに対して施すと、
以下の式が得られる。 ＡＤ／ＢＤ＝ａsinγ／ｂsinδ （６）

【００５７】式（５）を式（６）により除算することに
より、以下の式（７）が得られる。 （ＡＣ／ＢＣ）／（ＡＤ／ＢＤ） ＝（sinα／sinβ）／（sinγ／sinδ） （７）

【００５８】以上の式（２）乃至（７）の計算と同様の
計算を、Ａ’Ｃ’，Ｂ’Ｃ’，Ａ’Ｄ’，Ｂ’Ｄ’に対
して行うことにより、以下の式（８）が得られる。 （Ａ’Ｃ’／Ｂ’Ｃ’）／（Ａ’Ｄ’／Ｂ’Ｄ’） ＝（sinα／sinβ）／（sinγ／sinδ） （８）

【００５９】これら、式（７）と式（８）とから、以下
の式（９）（複比）が得られる。 （ＡＣ・ＢＤ／ＢＣ・ＡＤ） ＝（Ａ’Ｃ’・Ｂ’Ｄ’／Ｂ’Ｃ’・Ａ’Ｄ’） （９）

【００６０】以上の複比を用いて、以下のような手順に
より、所望の対象点の３次元空間内における基準点から
の距離が求められる。いま、図１１において、線分Ｌを
基準画像上の点ｎ_bの視線に対応させ、また、線分Ｌ’
をエピポーララインに対応させるとする。さらに、点
Ａ，Ｂ，Ｄをそれぞれ距離Ｚ₀，Ｚ₂，Ｚ₁の３次元空間
内の点に対応させ、また、点Ａ’，Ｂ’，Ｄ’を、射影
変換行列Ｈ₀，Ｈ₂，Ｈ₁でそれぞれ求めることができる
参照画像上の点ｎ_r0，ｎ_r2，ｎ_r1に対応させる。これら
の関係を改めて作図し直したのが、図１２である。

【００６１】いま、距離Ｚ_Sだけ離れた位置に、対象点
Ｃが配置されているとする。このとき、エピポーラライ
ンＬ’上を探索して得られた対応点がｎ_rsであるとする
と、式（９）の各線分の値は以下のようになる。

【００６２】 ＡＣ＝Ｚ_S−Ｚ₀ ， Ａ’Ｃ’＝ｎ_rs−ｎ_r0 ＢＣ＝Ｚ_S−Ｚ₂ ， Ｂ’Ｃ’＝ｎ_rs−ｎ_r2 ＡＤ＝Ｚ₁−Ｚ₀ ， Ａ’Ｄ’＝ｎ_r1−ｎ_r0 ＢＤ＝Ｚ₁−Ｚ₂ ， Ｂ’Ｄ’＝ｎ_r1−ｎ_r2 （１０）

【００６３】従って、式（１０）を式（９）に代入する
ことにより、基準点から対象点Ｃまでの距離Ｚ_Sを求め
ることができる。ところで、実際の距離は、線分Ｌに沿
ったものではないが、別の線分に正射影されているの
で、各距離の比は正比例の関係となるので、大きな問題
は生じない。例えば、図１２においては、ＡＤは光軸に
正射影したＡ_CＤ_Cの長さである。

【００６４】また、以上の例では、ＡＤ間の内挿の場合
（対象点ＣがＡＤの内側に存在する場合）について説明
したが、外挿の場合（対象点ＣがＡＤの外側に存在する
場合）においても、同様に、以上の原理を適用すること
が可能であることは言うまでもない。

【００６５】以下に、図４のステップＳ５の処理を、図
１２の対象点Ｃを第ｉ番目の画素に対応する対象点と
し、その対応点と距離を算出する場合を例として、図５
のフローチャートを参照して、説明する。

【００６６】この処理が実行されると、ステップＳ２１
において、基準画像上の対象点ｎ_ｂ（画像上の対象点
Ｃ）がステレオ処理部２３に入力される。ステップＳ２
２においては、上述したようにして求められた射影変換
行列Ｈ_０乃至Ｈ₂を用いて、参照画像上の対応点ｎ_r0乃
至ｎ_r2が算出される。そして、ステップＳ２３に進む。

【００６７】ステップＳ２３において、ステップＳ２２
において求められたｎ_r0とｎ_r1とを直線で結ぶことによ
り、エピポーララインを生成する。そして、ステップＳ
２４においては、基準カメラ１（図１）から出力された
画像の点ｎ_bの近傍の画素群が抽出される。

【００６８】ステップＳ２５において、抽出された画素
群をテンプレートとし、マッチ度の高い点ｍ_rsがエピポ
ーララインに沿って検索される。すなわち、ステップＳ
２５における処理は、ステップＳ２３において、生成さ
れたエピポーララインに対応するアドレスに応じて、参
照カメラ２から出力されている画素群を読み出し、テン
プレートと照合する処理となる。そして、最も近い（誤
差の少ない）画素群が存在する領域の中心が点ｎ_rsとさ
れる。

【００６９】ステップＳ２６において、ステップＳ２５
において求められたｎ_rsと、ｎ_r0乃至ｎ_r2、およびＺ₀
乃至Ｚ₂から、複比を用いて、ｎ_rsに対応する距離Ｚ_Sを
算出する。このような処理により、対象点Ｃ（第ｉ番目
の画素に対応する対象点）までの距離Ｚ_S（第ｉ番目の
画素に対応する距離画像Ｒ_i（ｔ））を算出することが
できる。

【００７０】このフローチャートの処理は、ステップＳ
３において、輝度の評価値ＳＤ_iがしきい値ＳＤｔより
も小さいと判断された画素に対しては行われない（従っ
て、全ての画素に対して探索が行われるわけではない）
ので、距離画像の生成に要する時間を短縮することが可
能となる。

【００７１】以上のようにして求められた第ｉ番目の画
素に対応する距離画像Ｒ_i（ｔ）は、図４のステップＳ
６において、距離画像Ｒ（ｔ）に書き込まれる。

【００７２】ステップＳ７において、画素の番号を表す
ｉが、画面を構成する画素全てに対して探索されたか否
かが判断される。換言すれば、画面を構成する画素の総
数が、例えば６４０×４８０の場合、ｉの値が６４０×
４８０と等しくなったか否かが判断される。ステップＳ
７において、ｉの値が画素の総数と等しくはなっていな
いと判断された場合、ステップＳ８に進み、ｉの値が１
だけインクリメントされる。そして、ステップＳ２に戻
り、それ以降の処理が繰り返される。

【００７３】一方、ステップＳ７において、ｉの値が画
素の総和と等しくなったと判断された場合、このフロー
チャートの処理は終了される。

【００７４】次に、図１３のフローチャートを参照し
て、距離画像生成部３の他の動作について説明する。ス
テップＳ３１とＳ３２の処理は、図４のステップＳ１と
Ｓ２の処理と同様の処理なので、その説明は省略する。

【００７５】検索範囲決定部２２は、ステップＳ３３に
おいて、入力された輝度変化評価値ＳＤ_iが予め設定さ
れているしきい値ＳＤ_tよりも小さいか否かを判断す
る。輝度変化評価値ＳＤ_iがしきい値ＳＤ_tよりも小さい
と判断された場合、ステップＳ３４に進む。輝度変化評
価値ＳＤ_iがしきい値ＳＤ_tより小さいと言うことは、第
ｉ番目の画素での距離の変化（その画素の時刻（ｔ−
１）における距離と時刻（ｔ）における距離の差）は小
さいであろうと判断され、エピポーラライン上の対応点
の探索範囲が、時刻（ｔ−１）に得られた第ｉ番目の画
素に対応する距離画像Ｒ_i（ｔ−１）を中心にして、そ
の周辺に設定される。

【００７６】一方、ステップＳ３３において、輝度変化
評価値ＳＤ_iがしきい値ＳＤ_tよりも大きいと判断された
場合、換言すれば、第ｉ番目の画素での距離変化は大き
いであろうと判断された場合、ステップＳ３５に進む。
ステップＳ３５においては、エピポーラライン上の対応
点の探索範囲が計測レンジ全体に設定される。

【００７７】ステップＳ３４またはステップＳ３５にお
いて、設定されたエピポーラライン上の探索範囲の結果
は、探索範囲決定部２２からステレオ処理部２３に出力
される。ステレオ処理部２３は、ステップＳ３６におい
て、入力された探索範囲に基づいて、参照カメラ２の画
像データＩＤ（ｔ）のエピポーラライン上の対応点探索
および距離の算出の処理を実行する。以降、ステップＳ
３６乃至Ｓ３９の処理は、図４のステップＳ５乃至Ｓ８
の処理と同様の処理なので、その説明は省略する。

【００７８】上述した実施の形態では、１つのしきい値
ＳＤ_tのみを用いて対応点の探索範囲を求めたが、２つ
のしきい値ＳＤ_t1とＳＤ_t2を用いて行う場合について、
図１４のフロチャートを参照して説明する。

【００７９】ステップＳ５１とＳ５２の処理は、図４の
ステップＳ１乃至Ｓ２の処理と同様の処理なので、その
説明は省略する。探索範囲決定部２２は、ステップＳ５
３において、ステップＳ５２で導出された輝度変化評価
値ＳＤ_iが、しきい値ＳＤ_t1よりも小さいか否かを判断
する。

【００８０】輝度変化評価値ＳＤ_iがしきい値ＳＤ_t1よ
りも小さいと判断された場合、換言すると、その画素で
の距離の変化は無視できる範囲内であると判断された場
合、ステップＳ５４に進む。ステップＳ５４において
は、時刻（ｔ−１）において距離画像生成部３から出力
された第ｉ番目の画素に対応する距離画像Ｒ_i（ｔ−
１）を、時刻ｔにおいて距離画像生成部３から出力する
第ｉ番面の画素に対応する距離画像Ｒ_i（ｔ）として採
用し、ステップＳ５９に進む。

【００８１】ステップＳ５９において、採用された距離
画像Ｒ_i（ｔ）がＲ（ｔ）に書き込まれる。

【００８２】一方、ステップＳ５３において、輝度変化
評価値ＳＤ_iがしきい値ＳＤ_t1と等しいか、それよりも
大きいと判断された場合、ステップＳ５５に進む。ステ
ップＳ５５においては、輝度変化評価値ＳＤ_iがしきい
値ＳＤ_t2よりも小さいか否かが判断される。このしきい
値ＳＤ_t2は、しきい値ＳＤ_t1よりも大きい値とされてい
る。

【００８３】輝度変化評価値ＳＤ_iがしきい値ＳＤ_t2よ
りも小さいと判断された場合、換言すれば、その画素で
の距離の変化は小さいであろうと判断された場合、ステ
ップＳ５６に進む。ステップＳ５６においては、エピポ
ーラライン上の対応点の探索範囲が、時刻（ｔ−１）の
時に求めた第ｉ番目の画素に対応する距離画像Ｒ_i（ｔ
−１）を中心にし、その周辺のみに設定される。

【００８４】一方、ステップＳ５５において、輝度変化
評価値ＳＤ_iがしきい値ＳＤ_t2と等しいか、それよりも
大きいと判断された場合、ステップＳ５７に進む。ステ
ップＳ５７において、エピポーラライン上の探索範囲
が、計測レンジ全体に設定される。

【００８５】ステップＳ５８においては、ステップＳ５
６またはステップＳ５７において設定された探索範囲に
応じて、対応点と距離を算出する処理が行われる。以
下、ステップＳ５８乃至ステップＳ６１の処理は、図４
のステップＳ５乃至ステップＳ８の処理と同様の処理な
ので、その説明は省略する。

【００８６】このように、ステレオ処理を行って距離画
像を求める際に、過去に求めた画像と距離情報を用い
て、エピポーラライン上の探索範囲を限定することによ
り、対応点探索の計算量を減らし、処理の高速化を図る
ことができる。

【００８７】上述した実施の形態においては、２台のカ
メラ（基準カメラ１と参照カメラ２）を用いたが、２台
以上の複数のカメラを用いても、本発明を適用すること
ができることはいうまでもない。また、上述したよう
に、１つの距離画像生成部３を用いても良いが、複数の
距離画像生成部３を用いるようにしても良い。複数の距
離画像生成部３を用いる場合、各距離画像生成部３は、
それぞれ割り当てられた画像の一部分を担当し、処理
し、さらに並列に処理が行えるように構成される。この
ように構成されることにより、さらに早く距離画像を求
めることができる。

【００８８】なお、本明細書中において、上記処理を実
行するコンピュータプログラムをユーザに提供する提供
媒体には、磁気ディスク、CD-ROMなどの情報記録媒体の
他、インターネット、デジタル衛星などのネットワーク
による伝送媒体も含まれる。

【００８９】

【発明の効果】以上の如く、請求項１に記載の画像処理
装置、請求項５に記載の画像処理方法、および請求項６
に記載の提供媒体によれば、撮像装置から撮像された画
像のうち少なくとも１つを基準画像とし、現在撮像され
ている基準画像と過去に撮像された基準画像との輝度の
変化を算出し、その算出された値により、エピポーララ
イン上の対応点の探索範囲を決定するようにしたので、
対応点探索に要する時間を短縮することが可能となり、
もって距離画像の生成処理を高速化することが可能とな
る。

【図面の簡単な説明】

【図１】本発明の画像処理装置の一実施の形態の構成を
示す図である。

【図２】図１の画像処理装置が行うデータの流れについ
て説明する図である。

【図３】図１の距離画像生成部の構成を示すブロック図
である。

【図４】図１の画像処理装置の動作を説明するフローチ
ャートである。

【図５】図４のステップＳ８の対応点、距離算出の処理
の詳細を説明するフローチャートである。

【図６】基準カメラと参照カメラの画像面に平面上の対
象点Ｐが観察される様子を示す図である。

【図７】基準カメラ、参照カメラ、および平面の配置例
を示す図である。

【図８】参照カメラの画像が射影変換され、基準カメラ
の画像と重ね合わされた様子を示す図である。

【図９】対象物が距離Ｚ₀とＺ₁に存在する場合に、参照
カメラの画像面に観察される観察点ｎ₀とｎ_r1を示す図
である。

【図１０】線分Ｌが画像面に投影されている場合の様子
を説明する図である。

【図１１】図１０に示す線分Ｌ、線分Ｌ’、および視点
Ｏを１つの平面上に表した図である。

【図１２】図１１に示す図を、本実施の形態に対応させ
て書き直した場合の図である。

【図１３】図１の画像処理装置の他の動作を説明するフ
ローチャートである。

【図１４】図１の画像処理装置のさらに他の動作を説明
するフローチャートである。

【図１５】基準カメラと参照カメラの画像、対象点Ｐ、
およびエピポーララインの関係を示す図である。

【図１６】エピポーララインと探索点との関係を示す図
である。

【図１７】図１６の各対応点の相関値のグラフである。

【符号の説明】 １ 基準カメラ， ２ 参照カメラ， ３ 距離画像生
成部， ５，６，７，８ フレームメモリ， ２１ 輝
度変化検出部， ２２ 探索範囲決定部， ２３ ステ
レオ処理部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 複数の撮像装置により撮像された画像に
   対して所定の画像処理を施す画像処理装置において、 前記撮像装置から撮像された画像のうち少なくとも１つ
   を基準画像とし、現在撮像されている基準画像と過去に
   撮像された基準画像との輝度の変化を算出する輝度算出
   手段と、 前記輝度算出手段により算出された値により、エピポー
   ラライン上の対応点の探索範囲を決定する決定手段とを
   備えることを特徴とする画像処理装置。
2. 【請求項２】 前記輝度算出手段により算出された値
   が、設定されたしきい値よりも小さいか否かを判断する
   判断手段をさらに備え、 前記決定手段は、前記判断手段により前記値が前記しき
   い値よりも小さいと判断された場合、過去に求められた
   対応点により導出された距離情報を用いることを特徴と
   する請求項１に記載の画像処理装置。
3. 【請求項３】 前記輝度算出手段により算出された値
   が、設定されたしきい値よりも小さいか否かを判断する
   判断手段をさらに備え、 前記決定手段は、前記判断手段により前記値が前記しき
   い値よりも小さいと判断された場合、対応点の探索範囲
   を過去に求めた対応点の周辺に限定することを特徴とす
   る請求項１に記載の画像処理装置。
4. 【請求項４】 前記輝度算出手段により算出された値
   が、前記しきい値よりも大きな値として設定された第２
   のしきい値よりも小さいか否かを判断する第２の判断手
   段をさらに備え、 前記決定手段は、前記第２の判断手段により前記値が前
   記第２のしきい値よりも小さいと判断された場合、対応
   点の探索範囲を過去に求めた対応点の周辺に限定するこ
   とを特徴とする請求項２に記載の画像処理装置。
5. 【請求項５】 複数の撮像装置により撮像された画像に
   対して所定の画像処理を施す画像処理装置の画像処理方
   法において、 前記撮像装置から撮像された画像のうち少なくとも１つ
   を基準画像とし、現在撮像されている基準画像と過去に
   撮像された基準画像との輝度の変化を算出する輝度算出
   ステップと、 前記輝度算出ステップで算出された値により、エピポー
   ラライン上の対応点の探索範囲を決定する決定ステップ
   とを含むことを特徴とする画像処理方法。
6. 【請求項６】 複数の撮像装置により撮像された画像に
   対して所定の画像処理を施す画像処理装置に、 前記撮像装置から撮像された画像のうち少なくとも１つ
   を基準画像とし、現在撮像されている基準画像と過去に
   撮像された基準画像との輝度の変化を算出する輝度算出
   ステップと、 前記輝度算出ステップで算出された値により、エピポー
   ラライン上の対応点の探索範囲を決定する決定ステップ
   とを含む処理を実行させるコンピュータが読み取り可能
   なプログラムを提供することを特徴とする提供媒体。