JP5126020B2 - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法及びプログラムに係り、更に詳しくは、相互に異なる位置から撮影された１組の画像に対して、ステレオマッチング処理を行う画像処理装置、相互に異なる位置から撮影された１組の画像に対して、ステレオマッチング処理を行うための画像処理方法及びプログラムに関する。

地形解析などの分野においては、異なる視点から撮影することにより得られた１組の画像に対して、ステレオマッチング処理を施すことにより、土地の形状や建物の位置及び高さなどの３次元情報を算出する手法がよく用いられる（例えば特許文献１参照）。ステレオマッチング処理とは、例えば面積相関法などを用いて、２枚の画像のうちの一方の画像中の特徴点、例えば画像中に映りこんだ建物のコーナーや、地表から急峻に突出する部分に対応する点と、他方の画像中の対応点を抽出し、抽出した特徴点と対応点の位置情報とに基づいて、被写体の位置情報及び高さ情報を含む３次元情報を取得する処理である。

このステレオマッチング処理では、処理対象となる画像が、例えば高層ビル群などが数多く存在する都市部を撮像して得られた画像などである場合には、１枚の画像中の特徴点の数が膨大となってしまう。そこで、処理に要する時間を短縮するために、処理の対象となる１組の画像それぞれを複数の画像に分割し、分割した画像（以下、単に分割画像という）ごとにステレオマッチング処理を行う方法が提案されている（例えば非特許文献１参照）。

特公平８−１６９３０号公報 情報処理学会全国大会講演論文集、ＶＯＬ．６４ｔｈ、ＮＯ．４（ＰＡＧＥ．４．７６７乃至４．７７０）

上述の方法では、ステレオマッチング処理で一度にハンドリングされるデータ量が少なくなるため、１組の画像に対する処理を短時間に行うことが可能となる。しかしながら、高層ビルなど高い建物の上部などでは、処理対象となる１組の画像間の視差が大きくなり、特徴点に対応する対応点が、対応関係にある分割画像に含まれなくなってしまうことがある。この場合には、ステレオマッチング処理ができなくなるか、あるいは処理結果が不十分になる。

本発明は、上述の事情の下になされたもので、画像処理の高速化を図りつつ、処理精度の向上を実現することを目的とする。

本発明の第１の観点にかかる画像処理装置は、相互に異なる位置から撮影された第１画像と第２画像に対して、ステレオマッチング処理を行う画像処理装置であって、前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像と、前記分割画像に対応する第２画像の分割画像をそれぞれ第１マッチング画像及び第２マッチング画像に設定する設定手段と、前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する抽出手段と、前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に設定された分割画像、及び前記第２マッチング画像に設定された分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像を、それぞれ第１マッチング画像及び第２マッチング画像に再度設定する再設定手段と、前記第１画像のマッチング画像に含まれる点、及び前記第２画像のマッチング画像に含まれる対応点それぞれの３次元情報を算出する演算手段と、を備えることを特徴とする。

また、本発明の第２の観点にかかる画像処理装置は、相互に異なる位置から撮影された第１画像と第２画像に対して、ステレオマッチング処理を行う画像処理装置であって、前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像及びその周囲のマージン領域と、前記分割画像に対応する第２画像の分割画像及びその周囲のマージン領域とをそれぞれ第１マッチング画像及び第２マッチング画像に設定する設定手段と、前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する抽出手段と、前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に含まれる分割画像、及び前記第２マッチング画像に含まれる分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像及びその周囲のマージン領域とを、再度第１マッチング画像及び第２マッチング画像に設定する再設定手段と、前記第１マッチング画像に含まれる点、及び前記第２マッチング画像に含まれる対応点それぞれの３次元情報を算出する演算手段と、を備えることを特徴とする。

また、本発明の第３の観点にかかる画像処理方法は、相互に異なる位置から撮影された第１画像と第２画像に対して、ステレオマッチング処理を行うための画像処理方法であって、前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像と、前記分割画像に対応する第２画像の分割画像をそれぞれ第１マッチング画像及び第２マッチング画像に設定する工程と、前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する工程と、前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に設定された分割画像、及び前記第２マッチング画像に設定された分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像を、それぞれ第１マッチング画像及び第２マッチング画像に再度設定する工程と、前記第１画像のマッチング画像に含まれる点、及び前記第２画像のマッチング画像に含まれる対応点それぞれの３次元情報を算出する工程と、を含むことを特徴とする。

また、本発明の第４の観点にかかる画像処理方法は、相互に異なる位置から撮影された第１画像と第２画像に対して、ステレオマッチング処理を行うための画像処理方法であって、前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像及びその周囲のマージン領域と、前記分割画像に対応する第２画像の分割画像及びその周囲のマージン領域とをそれぞれ第１マッチング画像及び第２マッチング画像に設定する工程と、前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する工程と、前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に含まれる分割画像、及び前記第２マッチング画像に含まれる分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像及びその周囲のマージン領域を、再度第１マッチング画像及び第２マッチング画像に設定する工程と、前記第１マッチング画像に含まれる点、及び前記第２マッチング画像に含まれる対応点それぞれの３次元情報を算出する工程と、を含むことを特徴とする。

また、本発明の第５の観点にかかるプログラムは、コンピュータを、相互に異なる位置から撮影された前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像と、前記分割画像に対応する第２画像の分割画像をそれぞれ第１マッチング画像及び第２マッチング画像に設定する設定手段と、前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する抽出手段と、前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に設定された分割画像、及び前記第２マッチング画像に設定された分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像を、それぞれ第１マッチング画像及び第２マッチング画像に再度設定する再設定手段と、前記第１画像のマッチング画像に含まれる点、及び前記第２画像のマッチング画像に含まれる対応点それぞれの３次元情報を算出する演算手段と、として機能させることを特徴とする。

また、本発明の第６の観点にかかるプログラムは、コンピュータを、相互に異なる位置から撮影された第１画像と第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像及びその周囲のマージン領域と、前記分割画像に対応する第２画像の分割画像及びその周囲のマージン領域とをそれぞれ第１マッチング画像及び第２マッチング画像に設定する設定手段と、前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する抽出手段と、前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に含まれる分割画像、及び前記第２マッチング画像に含まれる分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像及びその周囲のマージン領域を、再度第１マッチング画像及び第２マッチング画像に設定する再設定手段と、前記第１マッチング画像に含まれる点、及び前記第２マッチング画像に含まれる対応点それぞれの３次元情報を算出する演算手段と、として機能させることを特徴とする。

異なる１組の画像に対するステレオマッチング処理を、短時間に、かつ精度よく行うことができる。

以下本発明の一実施形態を図１〜図７に基づいて説明する。図１は本実施形態にかかるステレオ画像処理装置１０のブロック図である。図１に示されるように、ステレオ画像処理装置１０は、データ入力部１１、画像抽出部１２、画像分割部１３、マッチング画像設定部１４、対応点抽出部１５、マッチングミス検出部１６、分割画像結合部１７、３次元情報演算部１８を含んで構成されている。

データ入力部１１には、撮像装置などの外部装置などから画像データが入力される。この画像データは、例えば撮像装置などによって地表を撮像することにより得られた撮像画像などである。本実施形態では、一例として図２に示されるように、Ｘ軸方向にカメラを移動させながら、建造物７１と建造物７２とを含む地表Ｆ上の領域を撮像することにより取得された２つの画像が入力されたものとして説明を行う。また、説明の便宜上、図２の波線で示される位置Ｐ１でのデジタルカメラ７０の光軸と、実線で示される位置Ｐ２でのデジタルカメラ７０の光軸は平行であるものとし、２枚の画像間でエピポーラ線は一致しているものとする。

画像抽出部１２は、１組の画像それぞれから、オーバーラップした領域を検出し、この領域に対応する画像を１組の画像それぞれから抽出する。一例として、図３（Ａ）には、デジタルカメラ７０が位置Ｐ１から撮像した画像６１が示され、図３（Ｂ）には、デジタルカメラ７０が、位置Ｐ１の＋Ｘ側にある位置Ｐ２から撮像した画像６２が示されている。画像抽出部１２は、画像６１と画像６２とを比較して、画像６１及び画像６２それぞれから、相互に共通する領域が写されている抽出画像６１ａ，６２ａを抽出する。

画像分割部１３は、例えば画像６１から抽出された抽出画像６１ａ、及び画像６２から抽出された抽出画像６２ａそれぞれを、３行５列のマトリクス状に配置されたブロック画像に分割する。以下、抽出画像６１ａのｍ列目のｎ番目のブロック画像を６１ａ（ｍ、ｎ）と表示し、抽出画像６２ａのｍ列目のｎ番目のブロック画像を６２ａ（ｍ、ｎ）と表示する。

マッチング画像設定部１４は、抽出画像６１ａのブロック画像６１ａ（ｍ、ｎ）と、抽出画像６２ａのブロック画像６２ａ（ｍ、ｎ）とに基づいて、相互に対応するマッチング画像を設定する。例えば、ブロック画像６１ａ（１、１）及びブロック画像６２ａ（１、１）に基づいて、マッチング画像を設定する場合には、図４（Ａ）及び図４（Ｂ）を参酌するとわかるように、マッチング画像設定部１４は、ブロック画像６１ａ（１、１）及びブロック画像６２ａ（１、１）の周囲にマージン領域Ｍを付加する。そして、マッチング画像設定部１４は、ブロック画像６１ａ（１，１）及びマージン領域Ｍを含む領域を、ステレオマッチング処理が行われるマッチング画像ＳＭＡ１（１、１）と設定し、ブロック画像６２ａ（１，１）及びマージン領域Ｍを含む領域をマッチング画像ＳＭＡ２（１、１）と設定する。以下、マッチング画像設定部１４は、ブロック画像６１ａ（１、２）〜ブロック画像６１ａ（３、５）、及びブロック画像６２ａ（１、２）〜ブロック画像６２ａ（３、５）に対して、同様の処理を行う。

なお、このマージン領域Ｍは、特徴点と対応点との間の視差がある場合に、この特徴点に対応する対応点が、特徴点が含まれるマッチング画像に対応するマッチング画像に含まれるように設定されるものである。このため、マージン領域が大きいほど、大きな視差がある特徴点と対応点とが、対応するマッチング画像に含まれることとなる。

対応点抽出部１５は、相互に対応するマッチング画像ＳＭＡ１（ｍ、ｎ）に含まれる特徴点に対する、マッチング画像ＳＭＡ２（ｍ、ｎ）に含まれる対応点の抽出を行う。この処理は、例えばマッチング画像ＳＭＡ１（ｍ、ｎ）に含まれる画像中の小領域と、マッチング画像ＳＭＡ２（ｍ、ｎ）に含まれる画像中の小領域との相関を調べることによる面積相関法などを用いて行われる。

例えば、図４（Ａ）及び図４（Ｂ）を参酌するとわかるように、対応点抽出部１５は、マッチング画像ＳＭＡ１（１、１）に含まれる、建造物７１の特徴点ａ１〜ａ４に対する対応点として、マッチング画像ＳＭＡ２（１，１）に含まれる点ｂ１〜ｂ４を抽出する。

マッチングミス検出部１６は、マッチング画像ＳＭＡ１（ｍ、ｎ）に含まれる特徴点に対応する対応点が、すべてマッチング画像ＳＭＡ２（ｍ、ｎ）中に存在するか否かを判断する。

例えば、図４（Ａ）及び図４（Ｂ）を参酌するとわかるように、マッチングミス検出部１６は、マッチング画像ＳＭＡ１（１、１）に含まれる特徴点ａ１〜ａ４に対するすべての対応点ｂ１〜ｂ４が、マッチング画像ＳＭＡ２（１、１）に含まれている場合には、対応点の抽出が成功したと判断する。一方、例えば、図５（Ａ）及び図５（Ｂ）を参酌するとわかるように、マッチングミス検出部１６は、マッチング画像ＳＭＡ１（２、３）に、建造物７２の特徴点ｃ１〜ｃ４のうち特徴点ｃ１及び特徴点ｃ３のみが含まれ、マッチング画像ＳＭＡ２（２、３）に、建造物７２の特徴点ｃ１及び特徴点ｃ３に対応する対応点ｄ１及び対応点ｄ３が含まれていない場合に、対応点の抽出が失敗したと判断する。

３次元情報演算部１８は、マッチング画像ＳＭＡ１の特徴点と、マッチング画像ＳＭＡ２から抽出された特徴点に対応する対応点の３次元情報を算出する。具体的には、例えば、位置Ｐ１にある時のデジタルカメラ７０の視点を原点とする特徴点と対応点との位置と、三角測量に用いられる手法とを用いて、建造物７１、７２の高さなどを含む、３次元情報（ＤＳＭ（Digital Surface Map）データ）を生成する。

分割画像結合部１７は、マッチング検出部１６でマッチングミスが検出された場合に、ミスが検出されたマッチング画像に含まれるブロック画像に、画像６１と画像６２とで視差が生じている方向であるＸ軸方向に隣接するブロック画像を結合することにより、画像６１及び画像６２の新たなブロック画像を規定する。

例えば、図６（Ａ）及び図６（Ｂ）を参酌するとわかるように、分割画像結合部１７は、ブロック画像６１ａ（２、３）に、当該ブロック画像６１ａ（２、３）の＋Ｘ側及び−Ｘ側に隣接するブロック画像６１ａ（２、２）及びブロック画像６１ａ（２、４）を結合し、新たなブロック画像６１ａ（２、２−４）を規定する。また、ブロック画像６２ａ（２、３）に、当該ブロック画像６２ａ（２、３）の＋Ｘ側及び−Ｘ側に隣接するブロック画像６２ａ（２、２）及びブロック画像６２ａ（２、４）を結合し、新たなブロック画像６２ａ（２、２−４）を規定する。

マッチング画像設定部１４は、分割画像結合部１７によってブロック画像が規定されると、このブロック画像に基づいて、マッチング画像を再度設定する。

例えば、図６（Ａ）及び図６（Ｂ）を参酌するとわかるように、マッチング画像設定部１４は、ブロック画像６１ａ（２、２−４）及びブロック画像６２ａ（２、２−４）の周囲にマージン領域Ｍを付加する。そして、マッチング画像設定部１４は、ブロック画像６１ａ（２、２−４）及びマージン領域Ｍを含む領域を、ステレオマッチング処理が行われるマッチング画像ＳＭＡ１（２、２−４）と設定し、ブロック画像６２ａ（２、２−４）及びマージン領域Ｍを含む領域を、ステレオマッチング処理が行われるマッチング画像ＳＭＡ２（２、２−４）と設定する。

また、対応点抽出部１５は、マッチング画像ＳＭＡ１（２、２−４）とマッチング画像ＳＭＡ２（２、２−４）が設定されると、マッチング画像ＳＭＡ１（２、２−４）に含まれる特徴点に対する、マッチング画像ＳＭＡ２（２、２−４）に含まれる対応点の抽出を行う。

図６（Ａ）及び図６（Ｂ）を参酌するとわかるように、ここでは、マッチング画像ＳＭＡ１（２、２−４）に含まれる、建造物７２の特徴点ｃ１〜ｃ４に対する対応点として、マッチング画像ＳＭＡ２（２、２−４）に含まれる点ｄ１〜ｄ４が抽出される。また、この場合には、マッチング画像ＳＭＡ１（２、２−４）に含まれる特徴点ｃ１〜ｃ４の対応点が、すべてマッチング画像ＳＭＡ２（２、２−４）に含まれるため、マッチングミス検出部１６はマッチングミスを検出しない。

次に、ステレオ画像処理装置１０の動作について、図７に示されるフローチャートを用いて説明する。ステレオ画像処理装置１０は、データ入力部１１に画像データが入力されると、図７のフローチャートに示される一連の処理を開始する。

最初のステップＳ１０１では、画像抽出部１２は、データ入力部１１に入力された画像６１、及び画像６２から、相互にオーバーラップした領域に対応する画像６１ａ、６２ａを抽出する。

次のステップＳ１０２では、画像分割部１３は、抽出した画像６１ａ、６２ａをブロック画像６１ａ（ｍ、ｎ）、６２ａ（ｍ、ｎ）に分割する。

次のステップＳ１０３では、マッチング画像設定部１４は、ブロック画像６１ａ（ｍ、ｎ）、６２ａ（ｍ、ｎ）それぞれにマージン領域Ｍを付加して、マッチング画像ＳＭＡ１、ＳＭＡ２を設定する。

次のステップＳ１０４では、対応点抽出部１５は、マッチング画像ＳＭＡ１に含まれる特徴点に対応する、マッチング画像ＳＭＡ２に含まれる対応点を抽出する。

次のステップＳ１０５では、マッチングミス検出部１６は、マッチング画像ＳＭＡ１に含まれる特徴点に対応する対応点が、対応するマッチング画像ＳＭＡ２にすべて含まれるか否かの事実から、マッチングミスを検出する。そして、マッチングミスを検出した場合には、ステップＳ１０６の処理が実行され、マッチングミスを検出しなかった場合には、ステップＳ１０７の処理が実行される。

ステップＳ１０６では、分割画像結合部１７は、ミスが検出されたマッチング画像に含まれるブロック画像に、画像６１と画像６２とで視差が生じている方向であるＸ軸方向に隣接するブロック画像を結合することにより、新たなブロック画像を規定する。

ステップＳ１０７では、３次元情報演算部１８は、マッチング画像ＳＭＡ１の特徴点と、ＳＭＡ２から抽出された特徴点に対応する対応点との位置情報に基づいて、３次元情報（ＤＳＭデータ）を生成する。

以上説明したように、本実施形態では、ブロック画像６１ａ（ｍ、ｎ）及びブロック画像６２ａ（ｍ、ｎ）に基づいて、相互に対応するマッチング画像ＳＭＡ１及びマッチング画像ＳＭＡ２が設定される。そして、マッチング画像ＳＭＡ１に含まれる特徴点の対応点が、マッチング画像ＳＭＡ２から抽出できなかった場合には、視差の発生方向に隣接するブロック画像６１ａ（ｍ、ｎ）同士が結合されることにより、新たなブロック画像６１ａ（ｍ、（ｎ−１）−（ｎ＋１））、６２ａ（ｍ、（ｎ−１）−（ｎ＋１））が規定され、これらのブロック画像６１ａ（ｍ、（ｎ−１）−（ｎ＋１））、６２ａ（ｍ、（ｎ−１）−（ｎ＋１））に基づいて、再度マッチング画像ＳＭＡ１及びマッチング画像ＳＭＡ２が設定される。これにより、特徴点と対応点とが、相互に対応するマッチング画像に含まれることとなる。したがって、画面６１及び画面６２に対するステレオマッチング処理を、分割した画像ごとに行う場合にも、精度よく行うことができる。

なお、本実施形態では、図６（Ａ）又は図６（Ｂ）を参酌するとわかるように、分割画像結合部１７が、３つのブロック画像を結合して結像画像を形成することとしたが、これに限らず、画像６１中の特徴点と、画像６２中の対応点との視差が大きい場合には、４つ以上の画像を結合して、この結合画像に基づいてマッチング画像を設定してもよい。また、例えば、図８（Ａ）および図８（Ｂ）を参酌するとわかるように、画像６１では、建造物が２つのブロック画像にわたって写っているが、画像６２では、建造物が１つのブッロク画像に収まった状態で写っている場合などには、２つのブロック画像を結合して結合画像を形成してもよい。

また、本実施形態では、抽出画像６１ａ，６２ａそれぞれを、１５のブロック画像に分割したが、これに限らず、抽出画像６１ａ，６２ａそれぞれを、さらに細分化してもよく、また１５より少ないブッロク画像に分割してもよい。

また、本実施形態では、説明の便宜上、画像６１と画像６２間でエピポーラ線が一致しているものとして説明したが、画像６１におけるエピポーラ線と画像６２におけるエピポーラ線が一致していない場合には、画像抽出部１２による処理が実行される前に、例えば特開２００２−１５７５６号公報に開示されている手法を用いて、画像６１と画像６２とで対応する点が、同一ライン上（例えばＸ軸に平行なライン上）にくるような平行化処理を施してもよい。この処理を行うことで、両画像間の視差の発生方向がＸ軸方向となり、上記実施形態で説明した処理を施すことで、同様に３次元データを生成することができる。

また、本実施形態では、ブロック画像６１ａ（ｍ、ｎ）、６２ａ（ｍ、ｎ）と、当該ブロック画像６１ａ（ｍ、ｎ）、６２ａ（ｍ、ｎ）の周囲のマージン領域Ｍを含む領域をマッチング画像ＳＭＡ１、ＳＭＡ２に設定したが、これに限らず、マージン領域Ｍを含めることなく、分割画像と同等の大きさのマッチング画像ＳＭＡ１、ＳＭＡ２を設定してもよい。この場合にも、マッチング画像ＳＭＡ１に含まれる特徴点に対応する対応点が、マッチング画像ＳＭＡ１に対応するマッチング画像ＳＭＡ２から抽出できないときは、分割画像が視差の発生方向に結合され、マッチング画像が拡大される。このため、最終的に、マッチング画像ＳＭＡ１に含まれる特徴点に対応する対応点を、マッチング画像ＳＭＡ１に対応するマッチング画像ＳＭＡ２から抽出することが可能となる。

また、本実施形態では、画像データが、デジタルカメラ７０に撮像された１組の画像６１及び画像６２であるものとして説明したが、これに限らず、画像データは、衛生写真がデジタル化されることにより形成された画像や、一般的なアナログカメラで撮影された写真をスキャニングして得られるデジタル画像であってもよい。

また、本実実施形態では、面積相関法を用いて、画像６１中の特徴点に対応する、画像６２中の対応点を抽出したが、これに限らず、他の方法、例えば特公平８−１６９３０号公報に記載の方法を用いてもよい。

図９は、ステレオ画像処理装置１０をコンピュータに実装する場合の、物理的な構成の一例を示すブロック図である。本実施の形態に係るステレオ画像処理装置１０は、一般的なコンピュータ装置と同様のハードウェア構成によって実現することができる。ステレオ画像処理装置１０は、図９に示されるように、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６を備える。主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６はいずれも内部バス２０を介して制御部２１に接続されている。

制御部２１はＣＰＵ（Central Processing Unit）等から構成され、外部記憶部２３に記憶されている制御プログラム３０に従って、ステレオマッチング処理を実行する。

主記憶部２２はＲＡＭ（Random-Access Memory）等から構成され、外部記憶部２３に記憶されている制御プログラム３０をロードし、制御部２１の作業領域として用いられる。

外部記憶部２３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成され、前記の処理を制御部２１に行わせるための制御プログラム３０を予め記憶し、また、制御部２１の指示に従って、この制御プログラム３０が記憶するデータを制御部２１に供給し、制御部２１から供給されたデータを記憶する。

操作部２４はキーボードおよびマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス２０に接続するインターフェース装置から構成されている。操作部２４を介して、画像データの入力、送受信などの指示、表示する画像の指示などが入力され、制御部２１に供給される。

表示部２５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、画像やステレオマッチング処理された結果を表示する。

入出力部２６は、無線送受信機、無線モデムまたは網終端装置、およびそれらと接続するシリアルインタフェースまたはＬＡＮ（Local Area Network）インターフェース等から構成されている。入出力部２６を介して、画像データを受信し、また計算した結果を送信できる。

図１に示されるステレオ画像処理装置１０の、データ入力部１１、画像抽出部１２、画像分割部１３、マッチング画像設定部１４、対応点抽出部１５、マッチングミス検出部１６、分割画像結合部１７、３次元情報演算部１８の処理は、制御プログラム３０が、制御部２１、主記憶部２２、外部記憶部２３、操作部２４、表示部２５および入出力部２６などを資源として用いて処理することによって実行される。

その他、前記のハードウエェア構成やフローチャートは一例であり、任意に変更および修正が可能である。

制御部２１、主記憶部２２、外部記憶部２３、操作部２４、入出力部２６および内部バス２０などから構成されるステレオ画像処理装置１０の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するステレオ画像処理装置１０を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでステレオ画像処理装置１０を構成してもよい。

また、ステレオ画像処理装置１０の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

本発明の一実施形態にかかるステレオ画像処理装置のブロック図である。 画像データの説明をするための図である。 図３（Ａ）及び図３（Ｂ）は、画像データとしての画像を示す図である。 図４（Ａ）及び図４（Ｂ）は、分割画像に基づくマッチング画像を示す図（その１、その２）である。 図５（Ａ）及び図５（Ｂ）は、分割画像に基づくマッチング画像を示す図（その３、その４）である。 図６（Ａ）及び図６（Ｂ）は、結合画像に基づくマッチング画像を示す図（その１、その２）である。 ステレオ画像処理装置の動作を示すフローチャートである。 図８（Ａ）及び図８（Ｂ）は、ステレオ画像処理の変形例を説明するための図である。 ステレオ画像処理装置をコンピュータに実装する場合の、物理的な構成例を示すブロック図である。

符号の説明

１０ ステレオ画像処理装置
１１ データ入力部
１２ 画像抽出部
１３ 画像分割部
１４ マッチング画像設定部
１５ 対応点抽出部
１６ マッチングミス検出部
１７ 分割画像結合部
１８ ３次元情報演算部
２１ 制御部
２２ 主記憶部
２３ 外部記憶部
２４ 操作部
２５ 表示部
２６ 入出力部
３０ プログラム
６１、６２ 画像
６１ａ、６２ａ 抽出画像
６１ａ（ｍ、ｎ）、６２ａ（ｍ、ｎ） ブロック画像
ＳＭＡ１、ＳＭＡ２ マッチング画像
７０ カメラ
７１、７２ 建造物

Claims (7)

1. 相互に異なる位置から撮影された第１画像と第２画像に対して、ステレオマッチング処理を行う画像処理装置であって、
   前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像と、前記分割画像に対応する第２画像の分割画像をそれぞれ第１マッチング画像及び第２マッチング画像に設定する設定手段と、
   前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する抽出手段と、
   前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に設定された分割画像、及び前記第２マッチング画像に設定された分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像を、それぞれ第１マッチング画像及び第２マッチング画像に再度設定する再設定手段と、
   前記第１画像のマッチング画像に含まれる点、及び前記第２画像のマッチング画像に含まれる対応点それぞれの３次元情報を算出する演算手段と、
   を備える画像処理装置。
2. 相互に異なる位置から撮影された第１画像と第２画像に対して、ステレオマッチング処理を行う画像処理装置であって、
   前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像及びその周囲のマージン領域と、前記分割画像に対応する第２画像の分割画像及びその周囲のマージン領域とをそれぞれ第１マッチング画像及び第２マッチング画像に設定する設定手段と、
   前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する抽出手段と、
   前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に含まれる分割画像、及び前記第２マッチング画像に含まれる分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像及びその周囲のマージン領域を、再度第１マッチング画像及び第２マッチング画像に設定する再設定手段と、
   前記第１マッチング画像に含まれる点、及び前記第２マッチング画像に含まれる対応点それぞれの３次元情報を算出する演算手段と、
   を備える画像処理装置。
3. 前記再設定手段は、第１画像と第２画像との間の視差が生じる方向に隣接する分割画像を結合する請求項１又は２に記載の画像処理装置。
4. 相互に異なる位置から撮影された第１画像と第２画像に対して、ステレオマッチング処理を行うための画像処理方法であって、
   前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像と、前記分割画像に対応する第２画像の分割画像をそれぞれ第１マッチング画像及び第２マッチング画像に設定する工程と、
   前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する工程と、
   前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に設定された分割画像、及び前記第２マッチング画像に設定された分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像を、それぞれ第１マッチング画像及び第２マッチング画像に再度設定する工程と、
   前記第１画像のマッチング画像に含まれる点、及び前記第２画像のマッチング画像に含まれる対応点それぞれの３次元情報を算出する工程と、
   を含む画像処理方法。
5. 相互に異なる位置から撮影された第１画像と第２画像に対して、ステレオマッチング処理を行うための画像処理方法であって、
   前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像及びその周囲のマージン領域と、前記分割画像に対応する第２画像の分割画像及びその周囲のマージン領域とをそれぞれ第１マッチング画像及び第２マッチング画像に設定する工程と、
   前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する工程と、
   前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に含まれる分割画像、及び前記第２マッチング画像に含まれる分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像及びその周囲のマージン領域を、再度第１マッチング画像及び第２マッチング画像に設定する工程と、
   前記第１マッチング画像に含まれる点、及び前記第２マッチング画像に含まれる対応点それぞれの３次元情報を算出する工程と、
   を含む画像処理方法。
6. コンピュータを、相互に異なる位置から撮影された前記第１画像及び前記第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像と、前記分割画像に対応する第２画像の分割画像をそれぞれ第１マッチング画像及び第２マッチング画像に設定する設定手段と、
   前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する抽出手段と、
   前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に設定された分割画像、及び前記第２マッチング画像に設定された分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像を、それぞれ第１マッチング画像及び第２マッチング画像に再度設定する再設定手段と、
   前記第１画像のマッチング画像に含まれる点、及び前記第２画像のマッチング画像に含まれる対応点それぞれの３次元情報を算出する演算手段と、
   として機能させるプログラム。
7. コンピュータを、相互に異なる位置から撮影された第１画像と第２画像それぞれを複数の画像に分割し、前記第１画像の分割画像及びその周囲のマージン領域と、前記分割画像に対応する第２画像の分割画像及びその周囲のマージン領域とをそれぞれ第１マッチング画像及び第２マッチング画像に設定する設定手段と、
   前記第１マッチング画像に含まれる点に対応する、前記第２マッチング画像に含まれる対応点を抽出する抽出手段と、
   前記抽出手段が前記対応点を抽出できなかった場合に、前記第１マッチング画像に含まれる分割画像、及び前記第２マッチング画像に含まれる分割画像それぞれに、該分割画像に隣接する他の分割画像を結合することにより得られた結合画像及びその周囲のマージン領域を、再度第１マッチング画像及び第２マッチング画像に設定する再設定手段と、
   前記第１マッチング画像に含まれる点、及び前記第２マッチング画像に含まれる対応点それぞれの３次元情報を算出する演算手段と、
   として機能させるプログラム。

Images