JP6780983B2 - 画像処理システム - Google Patents

Description

本発明は、ステレオ撮影による画像を処理する画像処理システムに関する。

一般に、カメラを用いた撮影による監視が行われている。監視は、例えば、犯罪の予防や、犯人の特定だけではなく、走行する自動車の前方の監視なども含まれる。すなわち、監視用のカメラとは、所謂監視カメラだけではなく、自動運転用の車載カメラも含まれるものである。また、このような監視目的のカメラとして、２台のカメラを組み合わせたステレオカメラが用いられる場合がある（例えば、特許文献１参照）。ステレオカメラでは、例えば、左右の一対のカメラの画像データ上の撮影された同じ物の画像上の位置の差である視差を算出する。視差を算出すれば、視差に基づく撮影対象までの距離や、撮影対象のサイズや、撮影対象の立体形状等を求めることができる。これにより、監視対象の立体形状や、監視対象までの距離に基づいて、監視対象を円滑かつ精度高く監視することが可能となる。また、顔認識に際しても、立体形状が分かることから認証精度の向上を図ることができ、監視カメラを用いた指名手配犯の捜索や各種認証に有効に利用可能である。また、自動運転における前方監視等にも有効に用いることができる。

特開２００１−１４５０９０号公報

ところで、撮影装置としてのデジタルカメラにおいては、イメージセンサの画素数の増加（解像度の向上）や、動画撮影時にフレームレートの向上等が進んでおり、監視目的のカメラにおいても、監視対象の認識率の向上や、測距における精度の向上を図るために、高解像度で、かつ高いフレームレートで撮影可能なカメラが用いられるようになってきている。

この場合に、視差計算される画像の画素数が多くなることで、視差計算における計算量が多くなり、フレームレートが高くなることで、画像１枚（フレーム）当たりの視差計算に用いられる時間が短くなる。したがって、視差計算に用いられる画像処理回路として、高速で高価な演算処理回路が必要となってしまう。すなわち、監視対象の認識率の向上や、測距の精度の向上を図るために高解像度のステレオカメラを用いると、カメラにかかるコストだけではなく、視差計算等の処理を行うための演算処理回路等の電子部品のコストも高くなる。また、コストの上昇を抑制するために、高解像度カメラを用いるが、電子部品は低速なものを用いる場合に、速いフレームレートでの処理は困難であった。

本発明は、前記事情に鑑みてなされたものであり、ステレオ撮影の画像を用いて視差算出をする際に、視差計算を速くするために視差計算の計算量の削減を図ることができる画像処理システムを提供することを目的とする。

前記課題を解決するために、本発明の画像処理システムは、ステレオ撮影のために異なる位置に配置された複数のカメラで同じ撮影時期に同じ撮影範囲を撮影して得られる複数の画像データを縮小した複数の縮小画像データを生成する画像縮小手段と、
複数の前記縮小画像データを用いて視差を算出する第１の視差算出手段と、
前記第１の視差算出手段により前記縮小画像データから算出された前記視差に基づいて前記縮小画像データを縮小する前の前記画像データ上の視差を算出すべき視差算出領域を決定する視差算出領域決定手段と、
縮小前の複数の前記画像データ上の前記視差算出領域における前記視差を算出し、算出された前記視差を縮小前の前記画像データの視差とする視差算出手段と、
前記撮影時期以前に前記カメラに所定期間に渡って撮影された前記画像データを縮小した前記縮小画像データに基づいて、前記所定期間に渡って変化しない部分の前記視差を背景視差データとして出力する背景出力手段と、
を備え、
前記視差算出領域決定手段は、前記第１の視差算出手段により前記縮小画像データから算出された前記視差と、前記背景出力手段から出力される前記背景視差データの前記視差を比較して一致しない部分を前記視差算出領域とすることを特徴とする。

このような構成によれば、画素数が大きな画像データから直接視差を算出する場合に比較して、縮小して画素数を減らした縮小画像データで縮小前の画像データ上の視差計算する視差算出領域を絞り込むことにより計算量を削減することができる。これにより、縮小していない画像データから直接視差を求める場合と同じ演算処理装置を用いた場合に、処理時間を短縮することが可能となる。したがって、動画の画像データを処理する場合に、処理可能な動画のフレームレートを高くすることができる。

すなわち、画素数の少ない縮小画像データで視差を算出した場合に、画素が少ないことにより、少ない計算量で速く視差を求めることができる。但し、解像度が劣化している縮小画像データを用いているので求められる視差の精度が低くなってしまう。そこで、縮小画像で視差を求めた後に、縮小していない画像データ上で、縮小画像データで視差がある画素を含む領域を求め、当該領域と同じ位置となる縮小前の画像データ上の領域を視差算出領域とする。この視差算出領域だけで、視差の算出を行う。この場合には、画像データの画素数が多くても、画像中の視差算出領域だけで、視差を算出するので、計算量を抑制できる。これにより、視差算出領域内では、高解像の画像を用いて視差の算出を行っているので、計算量を抑制した状態で高い精度で視差を求めることができる。
したがって、リアルタイムの監視において、高価な演算処理装置を用いなくとも、高解像度のステレオ画像を用いて視差を短時間で算出することができる。

また、本発明の前記構成の画像処理システムは、前記撮影時期以前に前記カメラに所定期間に渡って撮影された前記画像データを縮小した前記縮小画像データに基づいて、前記所定期間に渡って変化しない部分の視差を背景視差データとして出力する背景出力手段を有し、
前記視差算出領域決定手段は、前記第１の視差算出手段により前記縮小画像データから算出された前記視差と、前記背景出力手段から出力される前記背景視差データの視差を比較して一致しない部分を前記視差算出領域とする。

このような構成によれば、縮小前の画像データが撮影される時期より前の同じ撮影範囲を撮影した所定期間に渡る画像データを縮小した縮小画像データ上の所定期間変化していない視差のデータである背景視差データと、視差を求めるべき画像データを縮小した縮小画像データの視差とを比較して視差が一致しない領域を画像データに当てはめて視差検出領域とする。これにより、縮小画像から視差を算出した際に、背景となる視差と異なる視差の部分を、視差を算出する画像データに割り付けて視差算出領域とすることができる。この場合に、背景となる視差と同じ視差となる部分だけ除去されて、視差算出領域が決定されるので、背景画像と視差の差がない領域をより精度高く判定することができるとともに動いていない部分を取り除き、最終的に画像データで算出される視差の精度を高めることができる。

なお、画像処理システムにおいて、例えば、ステレオ方式の監視カメラの動画に基づいて、上述のように視差を算出している場合に、動画に対して連続的に視差が算出されることになり、現時点の画像データより前の画像データを縮小した縮小画像データで視差が既に求められているので、この既に求められた視差のデータを用いて背景視差データを得ることができる。したがって、背景視差データを求めるために計算量が増えてしまうのを抑制することができる。

また、本発明の前記構成において、前記画像縮小手段は、前記画像データ毎に画素数が段階的に異なる複数の前記縮小画像データを生成し、
前記第１の視差算出手段は、前記縮小画像データのうちの最も前記画素数が少ない複数の最少縮小画像データを用いて視差を算出し、
前記視差算出領域決定手段は、前記画素数が一段少ない前記縮小画像データで求められる視差に基づいて、当該縮小画像データより前記画素数が一段多い前記縮小画像データ上または縮小前の前記画像データ上の前記視差算出領域を決定し、
前記視差算出手段は、前記視差算出領域が決定された前記縮小画像データまたは縮小前の前記画像データの前記視差算出領域の視差を算出することが好ましい。

このような構成によれば、段階的に画素数がより大きな画像に対して、画素数が少ない縮小画像上で求められた視差に基づいて、視差算出領域が決定される。この場合に、例えば、画素数が少ない画像データ上で視差が求められても、細部の視差の状態が分からないが、より画素数の多い画像データで視差検出領域の視差を検出することで、細部の視差が分かることになり、例えば、細部の視差を利用して人の顔を判定するような場合により細かい部分の形状、例えば、鼻の孔や、目尻のシワ等の形状を明確にすることが可能となる。

また、本発明の前記構成において、撮影した前記画像データを出力する前記カメラを含んでいることが好ましい。
このような構成によれば、画像処理システムを、ステレオカメラを備えた監視用の撮像装置として取り扱うことができ、ステレオカメラと画像処理システムが別々の場合に比較して取扱いが容易となる。

本発明によれば、ステレオ画像から視差を求める際の計算量を減少させてコストダウンや画像処理の時間短縮を図ることができる。

本発明の実施の形態に係る画像処理システムの構成を示すブロック図である。 同、ステレオ画像の縮小を説明するための図であって、（ａ）が左画像を示す図であり、（ｂ）が右画像を示す図である。 同、ステレオ画像の階層化視差計算方法を説明するための図であって、（ａ）が左画像を示す図であり、（ｂ）が右画像を示す図である。 同、視差検出方法を説明するための図である。

以下、本発明の実施の形態について説明する。
図１に示すこの実施の形態の画像処理システム１は、例えば、ステレオ撮影が可能な撮影装置（カメラ２）を備えた監視カメラシステムであって、視差検出が可能である。この実施の形態の画像処理システム１は、左右一対のカメラ２を備え、左右に離れた２台のカメラ２によりそれぞれ同じ監視範囲が撮影され、図２に示すように左画像データ１１と、右画像データ２１とが得られるようになっている。なお、画像処理システム１は、カメラ２を含むものであっても、含まないものであってもよい。いずれにしろ、撮影されたステレオ画像が画像処理システム１で処理される。

２台のカメラ２は、設定された距離だけ左右に離されて固定され、同じ監視範囲を撮影する。また、この実施の形態において、カメラ２は、車載カメラではなく、地上側の建築物（構造物）等に固定され、所謂監視カメラとして使用されるようになっている。カメラ２は、設定されたフレームレートで、画像を動画として撮影するようになっている。

画像処理システム１は、２台のカメラ２からステレオ画像として、図２に示す左右の画像データ１１、２１が入力される画像入力部３と、入力された左右の画像データ２１、２２を縮小する画像縮小部（画像縮小手段）４と、画像入力部３に入力した画像データと、画像縮小部４で縮小された縮小画像データを記憶するメモリ７と、メモリ７を制御して画像データ等のデータのメモリ７への入力と、メモリ７からの出力を制御するメモリ制御部６と、メモリ７に記憶された画像データを、メモリ制御部６を介して読み出して、同時に撮影された左右の画像データ１１、２１および縮小画像データ１２、１３、２２、２３から視差を算出する視差計算部（第１の視差算出手段、視差算出手段）５と、これら画像入力部３、画像縮小部４、視差計算部５、メモリ制御部６を制御する制御部８を備える。なお、画像縮小部４、視差計算部５は、プログラム可能な汎用の回路であってもよいし、専用の回路であってもよい。

カメラ２から入力された左右の画像データ１１、２１は、画像入力部３に入力するようになっている。画像入力部３は、カメラ２とのインタフェースであり、撮影された左右の画像データ１１、２２が入力される。入力された画像データ１１、２１は、順次、メモリ制御部６によって、このメモリ制御部６にデータの入出力を制御されているメモリ７に記憶されるようになっている。また、画像入力部３から入力された左右の画像データ１１、２１は、画像縮小部４に出力され、画像縮小部４で縮小される。

画像縮小部４では、左右の画像データ１１、２１を段回的（階層的）に縮小するようになっている。すなわち、縮小率が異なることにより全体の画素数が異なる左右の縮小画像データ１２、１３、２２、２３を生成し、メモリ制御部６を介してメモリ７に記憶する。縮小画像データ１２、１３、２２、２３と画像データ１１、２１においては、左画像として、画像データ１１、縮小画像データ１２、縮小画像データ１３の順に画素数が小さくなっており、右画像として、画像データ２１、縮小画像データ２２、縮小画像データ２３の順に画素数が小さくなっている。

視差計算部５は、左右の画像データ１１、２１と、これら画像データ１１、２１を複数段階の画素数に縮小した縮小画像データ１２、１３、２２、２３を読み出して階層化視差計算を行い、最終的に縮小前の画像データ１１、２１に基づく視差が求められる。画像処理システム１では、求められた視差に基づいて、対象物までの距離、対象物のサイズを含む形状等を求めるようになっている。なお、対象物のサイズを含む形状に基づいて、顔を認識するとともに、認識された顔の認証や顔による人物特定を行うものとしてもよい。

画像縮小部４では、撮影された画像データが縮小される。ここでは、複数段階の解像度に縮小が行われ、例えば、画素数の異なる二段階の解像度の左右の縮小画像データ１２、１３、２２、２３が作成される。縮小方法としては、例えば、デシメーションフィルタ（ローパスフィルタ）を用いる。ここでは、図２に示すように、縮小率が低い左右の縮小画像データ１２、２２と、それらより縮小率が高く、画素数が少なくなる縮小画像データ１３、２３とがそれぞれ画像データ１１．２１をデシメーションフィルタで処理することにより得られる。なお、縮小処理は、カメラ２による動画撮影の各フレームの画像データ１１、２１に対してリアルタイムに行われることが好ましい。

この実施の形態では、複数段階の縮小率で縮小された縮小画像データ１２、１３、２２、２３のうち最も縮小率が高く画素数が少ないことにより、縮小率の階層で最下層となる左右の最少縮小画像データ１３、２３を用いて、図４に示すように、視差が求められる。視差の算出においては、例えば、左縮小画像データ１３をブロック化する。すなわち、図４に示すように左縮小画像データ１３を複数画素からなるブロックに分割する。次に、左縮小画像データ１３の各ブロックを右縮小画像データ２３上でスキャンする。なお、左縮小画像データ１３および右縮小画像データ２３は、同じ時期に左右のカメラ２で同じ撮影範囲が撮影された左画像データ１１と右画像データ２１とをそれぞれ縮小したものであり、同じ時期（時刻）に撮影された左右の画像である。

また、左縮小画像データ１３の各ブロックを、右縮小画像データ２３上でスキャンするとは、左縮小画像データ１３の各ブロックと略同じ画像となるブロックを右縮小画像データ２３で検出するものである。図４では、監視対象となるのは、人物１４である。また、図４では、左縮小画像データ１３において、背景画像１５に対して人物１４が移動している状態である。
この時、右縮小画像データ２３では、左縮小画像データ１３の人物１４に対応する人物２４が写っている状態であり、背景画像１５に対して背景画像２５が写っている。ここで、背景画像１５、２５は、設定された時間以上変化（移動）していない部分である。例えば、建築物等の構造物や樹木の幹や崖の側面など変化しない部分が背景画像となる。この背景画像では、左右のステレオ画像が両方とも変化しないので、視差がある場合に視差が変化しないことになる。例えば、風等で動くものがない状態の背景画像上に人や自動車等の移動する被写体が写った場合に、視差が変化していない背景画像の一部で視差が変化することにより、移動体を検知可能であり、視差の変化と画像から侵入者等を容易に自動検出することが可能となる。すなわち、視差が一定時間変化していない背景画像の各画素の視差と、現在の画像の各画素の視差の差分を取ることにより、侵入者等の移動体の検知を自動で行うことが可能となる。この侵入者がいる近傍に対して、階層の視差検出を行い、精度を高めることができる。

図４において、左縮小画像データ１３と右縮小画像データ２３とで、人物１４と人物２４が同じ被写体で視差がある部分となっている。ここで、多数のブロックに分割された左縮小画像データ１３のうちの１つのブロックとして、人物１４の頭部左上となるブロック３１を右縮小画像データ２３でスキャンする。ここで、スキャンとは、ステレオ画像の一方の画像のブロックの画像と同じ画像を他方の画像で探すことであり、ステレオ画像では、カメラ２からの距離によって、左画像の被写体と、右画像の被写体がずれて視差が生じているので、一方の画像の被写体を他方の画像で探して特定し、これら被写体の位置を比較することで視差が求められる。

図４に示すように、左縮小画像データ１３のブロック３１の画像と同じ画像を右縮小画像データ２３で探し、ブロック３１の画像とほぼ同じ画像３２を見つけた場合に、右縮小画像データ２３上で、ブロック３１に対応する位置（x0,y0）と、画像３２の位置(x1min,y1min)との差が視差Ｐとなり、左右のカメラ２で撮影したステレオ画像の視差は、左右方向（図４のＺ方向）に沿ったブロック３１と画像３２の距離となる。

なお、左縮小画像データ１３の各ブロックを右縮小画像データ２３の全ての領域で検索する必要はなく、視差が起きうる領域のみ検索する。最も縮小率の高い最下層の縮小画像データ１３、２３では、全体をスキャンしてもよいが、視差は上述のように左右方向に生じるので、例えば、左縮小画像データ１３のブロックの位置に対して右縮小画像データの上下方向に位置が大きくずれた部分をスキャンする必要はない。

スキャンにおいて、左縮小画像データ１３の各ブロックと同じ画像となる領域を探す方法は、以下のような方法である。すなわち、スキャンは、例えば、８ｘ８、４ｘ４のブロックの対応する各画素の差分の２乗値の和または、差分の絶対値の和を評価値とする。
各画素の差分の２乗値の和は、以下の式で示される。
Δ＝Σ(Yleft(x0+i,y0+j)−Yright(x1+i,y1+j))^2
各画素の差分の絶対値の和は、以下の式で示される。
Δ＝ΣABS(Yleft(x0+i,y0+j)−Yright(x1+i,y1+j))
なお、(x0,y0)、（x1,y1)は、上述のブロックの左上の画素のアドレスであり、アドレスは、画素のＸＹ方向の配置位置である。また、(x0,y0)が左画像の画素のアドレスであり、（x1,y1)が右画像の画素のアドレスである。また、アドレスの各画素の値は、例えば、輝度である。

この評価値Δが最も小さくなる右画像の位置と左画像のブロックに対応する位置との差、すなわち（x0,y0)-(x1min,y1min)が視差になる。すなわち、例えば、図４に示すように、右縮小画像データ２３のＸＹ座標上でスキャンされる左縮小画像データ１３上のブロック３１の座標位置と、同じ座標位置を(x0,y0)とし、右圧縮画像データ２３上で前記Δが最小となる部分の座標位置、すなわち、人物２４の頭部左上部分の画像３２の座標位置(x1min,y1min)との間の距離が視差となる。

次に、図３に示すように、縮小画像データ１３、２３で背景画像１５、２５に対して視差のある領域を特定した後に、縮小画像データ１３、２３より縮小率が低く、画素数が大きな左右の縮小画像データ１２、２２で再度視差を算出する。この場合に、左縮小画像データ２２でスキャンされるブロックは、左縮小画像データ１２上に設定された視差算出領域１６のブロックである。視差算出領域１６は、左縮小画像データ１２において、それより縮小率が高い上述の左縮小画像データ１３で視差があった部分を含む領域と同じ座標位置となるように左縮小画像データ１２上に設定されている。また、右縮小画像データ２２において、左縮小画像データ１２のブロックがスキャンされる領域は、右縮小画像データ２２の視差算出領域２６である。視差算出領域２６は、右縮小画像データ２２において、それより縮小率が高い上述の右縮小画像データ２３で視差があった部分を含む領域と同じ座標位置となるように右縮小画像データ２２上に設定されている。なお、視差算出領域１６、２６の詳細は後述する。

この実施の形態では、上述のように縮小画像データ１２、１３、２２、２３が二段階の縮小率となっており、縮小前の画像データ１１、２１も含めると、三段階の階層となっており、Ｇａ総数の少ない方から１番目の階層、２番目の階層、３番目の階層となっている。
階層化視差計算において、最後に縮小されていない画像データ１１、２１で視差を算出する。この場合には、上述の縮小率が低い方の縮小画像データ１２、２２で視差を求めた方法と同様に、左画像データ１１で視差算出領域１６を設定し、右画像データで視差算出領域２６を設定する。この場合には、２番目の階層となる縮小画像データ１２、２２で得られた視差に基づいて、３番目の階層となる画像データ１１、２１上に視差算出領域１６、２６を設定する。また、画像データ１１、２１での視差の算出は、２番目の階層の縮小画像データ１２、２２での視差の算出と同様に視差算出領域１６に含まれるブロックを、視差算出領域２６内でスキャンすることにより行われる。

これにより、最終的に縮小していない画素数の多い画像データ１１、２１に基づいて、監視対象のディテールの視差まで明確に求めることができる。例えば、視差に基づいて、顔の形状等を求める場合に、細部まで明確に形状を求めることが可能になる。この際に、画素数の多い画像データ１１、２１から直接上述の視差の算出を全画面に対して行った場合に膨大な計算量となってしまう。この場合に、画像処理装装置の処理速度が遅いと、例えば、動画から視差をリアルタイムで求めるような場合に、対応可能なフレームレートが低くなってしまう。それに対して、上述のように複数段階の縮小率で縮小して解像度すなわち、画素数を減らした縮小画像データを用いて、階層化視差計算を行うことにより、高解像度の画像データにおける視差計算の計算量を削減し、高価で大型の高速な画像処理装置を用いなくとも、高速で視差計算を行えるようになる。

次に、より具体的な階層化視差計算方法を説明する。第１の階層化視差計算方法では、上述のように画像データ１１、２１を複数段階の縮小率で縮小する。また、第１の階層化視差計算方法では、視差計算の前の段階として、最も縮小率が高い最下層の縮小画像データ（最少縮小画像データ）１３、２３において、今回視差計算が行われる監視対象の背景となる縮小画像データの視差を取得して記憶する。この場合の背景とは、例えば、変位する部分を除いた縮小画像データであり、視差があっても、所定期間視差が変化しない場合は、背景となり、所定期間内に視差が変化する場合には、背景に含まれない。この場合に、視差を求める画像処理が連続的に長時間行われる場合に、順次、左右の縮小画像データ１３、２３で視差計算が行われ、視差が算出される。

そこで、現時点より前の所定期間の視差のデータにおいて、視差が変化しない部分を背景として更新記憶するようになっている。したがって、この実施の形態の画像処理システム１が監視カメラシステムとして利用され、常時撮影された画像データを記憶している場合には、縮小画像データ１３、２３全体で視差が求められる場合に、視差が求められる度に、視差の差分を求め、所定期間（所定画像枚数）で視差の差分がほぼ０となる部分の視差を背景の視差とする。このような縮小画像データ１３、２３の背景となる視差のデータが常時更新記憶されていることになる。なお、背景となる視差のデータを常時更新記憶する必要はなく、例えば、所定期間毎に更新記憶するものとしてもよく、所定期間の間、視差が変化しない部分の視差を背景の視差として記憶する。なお、背景となる視差は、例えば、上述のブロック毎や画素毎に視差が割り付けられた状態で記憶される。また、背景となる視差のデータにおいては、視差が大きくても変位しない部分は、背景となり、変位する部分は視差が小さくても背景から除かれる。

次いで、最下層の左右の縮小画像データ１３、２３の全体に対して、上述のように通常の視差計算を行う。これにより検出した最下層の視差と、背景として登録しておいた最下層の視差との差分を取り、変化のあった領域を決定する。この領域に対して、次階層（縮小率が一段階低い２番目の階層）の視差計算を行う。最下層の縮小画像データ１３、２３上の上述の領域の座標位置に対応する２番目の階層の縮小画像データ１２，２２条の範囲が上述の視差算出領域１６、２６となる。

２番目の階層に対して、２番目の階層の画素精度において、検出点（画素）を新たに設定すること、すなわち、補間等により画素を増やすことも可能である。上述のように最下層の縮小画像データ１３、２３に対しては、背景となる部分の視差が求められているので、背景となる各画素の視差と、今回求められた視差とで差がある領域を求め、この領域を２番目の階層の縮小画像データ１２、２２に割り付け、２番目の階層の縮小画像データ１２、２２で割り付けられた視差算出領域において、視差の検出を行う。

第２の階層の縮小画像データ１２、２２において、視差のある画素（ブロック）が決定される。この視差のある部分を含む領域を決定する。ここでは、視差のある画素のＸ方向およびＹ方向に＋２画素と、−２画素となる部分を領域に含める。画素数によるＸＹ画像において、視差がある点をＸが５で、Ｙが５とした場合に、例えば、Ｘが３〜７、Ｙが３〜７の領域となる。
また、視差のある点が集まって領域となっている場合に、この領域に対して、Ｘ方向およびＹ方向に＋２画素と、−２画素となるリ領域を決定する。

この領域を縮小率が低い１番目の階層、ここでは最上層の階層の縮小していない画像データ１１、２１に割り付ける。この際に、画像データ１１、２１において、補間（内挿）により画素数を増加させてもよく、例えば、画素間隔を０．５倍や、０．２５倍としてもよい。すなわち、Ｘ方向およびＹ方向の画素数を２倍や４倍としてもよい。最上層の画像データ１１、２１やそれを補間した高解像度の画像データで視差を再計算することにより、視差のデータがリファインされ、上述のように視差に基づいて監視対象の形状をディテールまで再現することが可能となる。

なお、上述の領域は、２番目の階層の縮小画像データ１２、２２において、視差がある画素の最低でもＸ方向およびＵ方向に＋２画素と−２画素の領域とすることが好ましい。ここで、領域を＋−２画素ではなく、さらに広げて＋−４画素や、＋−８画素として広くし、この領域を最上層の画像データ１１、２１に割り付けて視差を計算すると、２番目の階層の画像データ１２、２２での視差を拡げた範囲内で補正した状態となる。

上述の２番目の階層の縮小画像データ１２、２２では、最下層の画像データ１３、２３の視差と背景の視差を用いて部分的に視差を求めており、画像データ１２、２２全体で視差計算して求めた視差に対して疑似的な視差となる。この場合に、最下層の画像データで背景画像に対して視差の差かった部分に誤差が含まれる虞があるが、領域内では２番目の階層の縮小画像データ１２、２２で視差が計算されているので、上述の視差計算しないことによる誤差が含まれず、視差計算を行う領域を拡げることで拡げた範囲内で誤差が補正されることになる。この第１の階層化視差計算方法では、２番目の階層において、視差の変化があった部分に対しては、最終的に縮小前の解像度または補間された解像度の視差計算を行うため、視差の精度が高いという特徴がある。これにより、上述のように視差からディテールの形状まで再現可能となる。

次に、第２の階層化視差計算方法を説明する。第２の階層化視差計算方法では、最下層の画像データ１３、２３に対して、上述の背景の視差を求めない。１番目の最下層の縮小画像データ１３、２３では、上述のように左右の縮小画像データ１３、２３全体で視差計算を行い、視差を求める。この視差計算により最下層の縮小画像データ１３、２３で視差のある部分を含む領域を決定する。ここでは、視差のある画素に対して、Ｘ方向およびＹ方向に＋２画素および−２画素の範囲となる領域を決定し、この領域を２番目の階層の縮小画像データ１２、２２に割り付ける。

この２番目の階層の縮小画像データ上に上述の領域を視差算出領域１６．２６として割り付ける。なお、１番目の最下層の縮小画像データ１３、２３における領域は、上述のように＋−２画素分拡げるのではなく、＋−４画素分や＋−８画素分を拡げるものとしてもよい。この場合に、最下層の画像データ１３、２３、すなわち解像度の低い状態で視差を求めることにより生じる誤差を、領域を拡げた部分の範囲で第２の階層の解像度で補正することが可能となる。これにより、第２の階層の縮小画像データ１２、２２において視差ある画素を含む領域を決定する。この場合も視差のある画素に対して＋−２画素、＋−４画素または＋−８画素だけ拡げた領域とする。

次に、３番目の階層となる最上層の階層の画像データ１１、２１または上述の補間により画素を増加させた画像データ、すなわち、画素間の距離を０．５倍や０．２５倍とした画像データに上述の領域を視差算出領域１６、２６として割り付ける。最上層の画像データ１１、２１またはそれを補間して解像度を上げた画像データの上述の視差算出領域１６．２６における視差計算を行う。視差の計算方法は、２番目の階層の縮小画像データ１２、２２の場合と同様である。

第２の階層化視差計算方法では、最初に説明した基本的な階層化視差検出方法であり、背景の視差等を求めることがないので、視差計算の計算量をより削減することができる。但し、背景の視差に基づいて、次の階層の縮小画像データ１２、２２での視差算出領域１６、２６を設定しているわけではなく、低解像度の縮小画像データ１３、２３における一回の視差計算だけで視差のある部分を含む領域を決定しているので、第１の階層化視差計算方法に比較して誤差が生じ易くなる虞がある。

次に第３の階層化視差計算方法を説明する。第３の階層化視差計算方法は、基本的に第１の階層化視差計算方法における視差計算において、２番目の階層の縮小画像データ１２、２２を使用しないようにして、２段階の階層で視差を計算するようにしたものである。
最下層の縮小画像データ１３、２３における画像処理は、第１の階層化視差計算方法と同様であり、背景の視差を求めるとともに、左右の画像データ１３、２３全体で視差を求める。
そして、視差と背景の視差とを比較し、背景の視差に対して変化している視差を求め、求めた視差の領域を決定する。この際に、視差に変化がある全ての画素からなる最大範囲の領域を設定する。

次に、最上層の３番目の階層の画像データ１１、２１または画像データ１１、２１を補間して高解像度としたが画像データに対して上述のように最下層の縮小画像データ１３、２３から求めた領域を視差算出領域１６、２６として割り付け、左右の画像データ１１、２１において、上述の視差算出領域１６、２６において視差計算を行う。

この場合に、上述の最下層の縮小画像データ１３、２３から求めた領域を最も画素数が多い最上層の画像データ１１、２１に割り付けることで、第１の階層化視差計算方法より、最上層の画像データ１１、２１に割り付けられる視差算出領域１６、２６の面積が大きくなる。すなわち、背景の視差と視差が異なる部分が全て視差計算用の視差算出領域１６、２６に割り当てられるので、視差算出領域１６、２６の面積が広くなる。すなわち、第１の階層化視差計算方法では、背景の視差と現在の視差とで異なる部分を２番目の階層の縮小画像データ１２、２２に割り当てて、視差計算を行い視差がある部分より少しだけ広い領域に絞り込んだ後に画素数の多い最上層の画像データ１１、２１で視差計算を行うことで第３の階層化視差計算方法より、計算量が少なくなっている。したがって、第３の視差計算方法が最も計算量が多くなるが、第１の視差計算方法と異なり、一段階目の処理で算出した視差と背景となる視差との差から視差計算を行う視差算出領域１６、２６を決定し、この視差算出領域１６、２６を最上層の高解像度の画像データ１１、２１に割り付けてこの視差算出領域１６、２６で視差計算するので、上述の第１の階層化視差計算方法における２番目の階層の縮小画像データ１２、２２における擬似的な視差により生じる誤差がなく、視差の精度を高めることができる。

第１から第３の階層化視差計算方法のいずれを用いるものとしても最上層の画像データ１１、２１での視差計算の計算量を減らし、計算にかかる時間を短縮することができる。画像処理の処理速度が決まっている場合に、階層化視差計算方法を用いて視差計算することにより、利用可能な動画のフレームレートを高くすることができる。また、処理速度を速くしても精度の高い視差を算出することができ、視差に基づいて立体形状等を求める場合に、細部まで明確に形状を決定することが可能となる。

１ 画像処理システム
４ 画像縮小部（画像縮手段）
５ 視差計算部（第１の視差算出手段、視差算出手段、視差算出領域決定手段、背景出力手段）

Claims (3)

1. ステレオ撮影のために異なる位置に配置された複数のカメラで同じ撮影時期に同じ撮影範囲を撮影して得られる複数の画像データを縮小した複数の縮小画像データを生成する画像縮小手段と、
   複数の前記縮小画像データを用いて視差を算出する第１の視差算出手段と、
   前記第１の視差算出手段により前記縮小画像データから算出された前記視差に基づいて前記縮小画像データを縮小する前の前記画像データ上の前記視差を算出すべき視差算出領域を決定する視差算出領域決定手段と、
   縮小前の複数の前記画像データ上の前記視差算出領域における前記視差を算出し、算出された前記視差を縮小前の前記画像データの前記視差とする視差算出手段と、
   前記撮影時期以前に前記カメラに所定期間に渡って撮影された前記画像データを縮小した前記縮小画像データに基づいて、前記所定期間に渡って変化しない部分の前記視差を背景視差データとして出力する背景出力手段と、
   を備え、
   前記視差算出領域決定手段は、前記第１の視差算出手段により前記縮小画像データから算出された前記視差と、前記背景出力手段から出力される前記背景視差データの前記視差を比較して一致しない部分を前記視差算出領域とすることを特徴とする画像処理システム。
2. 前記画像縮小手段は、前記画像データ毎に画素数が段階的に異なる複数の前記縮小画像データを生成し、
   前記第１の視差算出手段は、前記縮小画像データのうちの最も前記画素数が少ない複数の最少縮小画像データを用いて前記視差を算出し、
   前記視差算出領域決定手段は、前記画素数が一段少ない前記縮小画像データで求められる前記視差に基づいて、当該縮小画像データより前記画素数が一段多い前記縮小画像データ上または縮小前の前記画像データ上の前記視差算出領域を決定し、
   前記視差算出手段は、前記視差算出領域が決定された前記縮小画像データまたは縮小前の前記画像データの前記視差算出領域の前記視差を算出することを特徴とする請求項１に記載の画像処理システム。
3. 撮影した前記画像データを出力する前記カメラを含んでいることを特徴とする請求項１または請求項２に記載の画像処理システム。

Images