WO2013038833A1 - 画像処理システム、画像処理方法および画像処理プログラム - Google Patents

Abstract

　画像処理システム（１）は、被写体を撮像して第１の入力画像を取得する第１の撮像手段（２１，２３）と、第１の撮像手段とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像手段（２２，２４）と、第１の入力画像と第２の入力画像との間における被写体の各点についての対応関係に基づいて、所定の画素サイズを有する単位領域毎に、所定位置を基準とした距離を示す距離情報を取得する距離情報取得手段（３）とを含む。単位領域は、第１の入力画像における第１の方向に対応する第１の画素間隔と、第２の方向に対応する第１の画素間隔とは異なる第２の画素間隔とによって定められる。

Description

画像処理システム、画像処理方法および画像処理プログラム

　本発明は、被写体を立体視表示するための画像生成に向けられた画像処理システム、画像処理方法および画像処理プログラムに関する。

　近年の表示デバイスの開発とも相まって、同一対象物（被写体）を立体視表示するための画像処理技術の開発が進められている。このような立体視表示を実現する典型的な方法として、人間が感じる両眼視差を利用する方法がある。このような両眼視差を利用する場合には、撮像手段から被写体までの距離に応じて視差をつけた一対の画像（以下「ステレオ画像」または「３Ｄ画像」とも称す。）を生成する必要がある。

　例えば、特開２００８－２１６１２７号公報（特許文献１）に開示される技術では、複数の撮像手段により被写体を異なる位置から撮像することで複数の画像情報を取得し、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）演算法、ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ）演算法などによる相関演算を行なうことによりこれらの画像情報の相関度を算出する。そして、算出された相関度に基づいて被写体に対する視差値を算出し、視差値から被写体の位置（距離値）を算出することで距離画像を生成する。さらに、特開２００８－２１６１２７号公報（特許文献１）には、処理時間の短縮を図りつつ、サブピクセルレベルの演算において高精度の演算結果を得て信頼性の高い距離画像を生成するための構成が開示されている。

特開２００８－２１６１２７号公報

　上述のような方法でステレオ画像を生成した場合には、画像に歪みが生じる場合がある。このような歪みによって、例えば、直線的な構造を有する人工物が被写体に含まれているような場合には、その人工物の形状をユーザーが予め知っているので、生じた歪みが目立つという課題がある。このような歪みは、被写体に対する視差値を算出する際の２つの画像間での対応点を正しく探索できない場合や、撮像手段からの距離が大きくばらつく領域が被写体に含まれている場合などに生じ得る。

　このような画像の歪みを回避するために、視差を示す距離画像を画像に歪みが生じない程度まで滑らかにするという方法も考えられるが、このような方法を採用した場合には、画像のメリハリ感が失われてしまうという課題が生じる。

　そこで、本発明は、かかる問題を解決するためになされたものであり、その目的は、画像の歪みを抑制しつつ、メリハリ感のある立体視表示に適した画像処理システム、画像処理方法および画像処理プログラムを提供することである。

　本発明のある局面に従う画像処理システムは、被写体を撮像して第１の入力画像を取得する第１の撮像手段と、第１の撮像手段とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像手段と、第１の入力画像と第２の入力画像との間で、所定の画素サイズを有する単位領域毎に、所定位置を基準とした距離を示す距離情報を取得する距離情報取得手段とを含む。単位領域は、第１の入力画像における第１の方向に対応する第１の画素間隔と、第２の方向に対応する第１の画素間隔とは異なる第２の画素間隔とによって定められる。

　好ましくは、画像処理システムは、距離情報に基づいて、第１の入力画像に含まれる画素を第１の方向にずらすことで被写体を立体視表示するためのステレオ画像を生成する立体視生成手段をさらに含み、単位領域を定める第１の画素間隔は、第２の画素間隔より短く構成される。

　さらに好ましくは、画像処理システムは、距離情報を示す距離画像に対して、単位領域の画素サイズの方向性に応じたスムージング処理を行なうスムージング処理手段をさらに含む。

　好ましくは、画像処理システムは、被写体に含まれる特徴領域を判定する領域判定手段をさらに含み、距離情報取得手段は、抽出された特徴領域を含む単位領域について画素サイズを変更する。

　さらに好ましくは、特徴領域は、直線、２次曲線、円、楕円、テクスチャのいずれかを含む。

　あるいはさらに好ましくは、特徴領域は、距離のばらつきが相対的に大きな領域である遠近競合領域を含む。

　好ましくは、距離情報取得手段は、第１の入力画像と第２の入力画像との間における被写体の各点についての対応関係に基づいて、距離情報を取得する。

　本発明の別の局面に従う画像処理方法は、被写体を撮像して第１の入力画像を取得するステップと、第１の入力画像を撮像した視点とは異なる視点から被写体を撮像して第２の入力画像を取得するステップと、第１の入力画像と第２の入力画像との間で、所定の画素サイズを有する単位領域毎に、所定位置を基準とした距離を示す距離情報を取得するステップとを含む。単位領域は、第１の入力画像における第１の方向に対応する第１の画素間隔と、第２の方向に対応する第１の画素間隔とは異なる第２の画素間隔とによって定められる。

　本発明のさらに別の局面に従う画像処理プログラムは、コンピューターに画像処理を実行させる。画像処理プログラムは、コンピューターに、被写体を撮像した第１の入力画像を取得するステップと、第１の入力画像を撮像した視点とは異なる視点から被写体を撮像した第２の入力画像を取得するステップと、第１の入力画像と第２の入力画像との間で、所定の画素サイズを有する単位領域毎に、所定位置を基準とした距離を示す距離情報を取得するステップとを実行させる。単位領域は、第１の入力画像における第１の方向に対応する第１の画素間隔と、第２の方向に対応する第１の画素間隔とは異なる第２の画素間隔とによって定められる。

　本発明によれば、画像の歪みを抑制しつつ、メリハリ感のある立体視表示を行なうことができる。

本発明の実施の形態に従う画像処理システムの基本的構成を示すブロック図である。 図１に示す撮像部の具体的な構成例を示す図である。 図１に示す画像処理システムを具現化したデジタルカメラの構成を示すブロック図である。 図１に示す画像処理システムを具現化したパーソナルコンピューターの構成を示すブロック図である。 本発明に関連する画像処理方法の手順を示す概略ブロック図である。 図１に示す撮像部によって撮像された一対の入力画像の例を示す図である。 本発明に関連する画像処理方法に従って図６に示す一対の入力画像から生成された距離画像の例を示す図である。 図５のスムージング処理（ステップＳ２）において用いられる平均化フィルタの一例を示す図である。 図７に示す距離画像に対してスムージング処理を行なった結果を示す図である。 図５のステレオ画像生成処理（ステップＳ３）における処理手順を説明するための図である。 図１０に示すステレオ画像生成処理の処理手順を示すフローチャートである。 本発明に関連する画像処理方法によって生成されたステレオ画像の一例を示す図である。 本発明の実施の形態１に従う画像処理方法の手順を示す概略ブロック図である。 本発明の実施の形態１に従う画像処理方法に従って図６に示す一対の入力画像から生成された距離画像の例を示す図である。 図１４に示す距離画像に対してスムージング処理を行なった結果を示す図である。 本発明の実施の形態１に従う画像処理方法によって生成されたステレオ画像の一例を示す図である。 本発明の実施の形態２に従う画像処理方法の手順を示す概略ブロック図である。 図１７に示す人工物抽出処理の処理手順を示すフローチャートである。 本発明の実施の形態２に従う画像処理方法の人工物抽出処理を行なった結果の一例を示す図である。 本発明の実施の形態３に従う画像処理方法の手順を示す概略ブロック図である。 図２０に示す遠近競合領域抽出処理の処理手順を示すフローチャートである。 図２１に示す遠近競合領域抽出処理の処理手順において設定されるブロックの一例を示す図である。 図２２に示すブロックに含まれる画素の距離についてのヒストグラムの一例を示す図である。 本発明の実施の形態３に従う画像処理方法の遠近競合領域抽出処理を行なった結果の一例を示す図である。 図２０に示す対応点探索処理および距離画像生成処理および追加の距離画像生成処理における処理内容を説明するための図である。 本発明の実施の形態の変形例１に従う画像処理方法の手順を示す概略ブロック図である。 図２６に示すスムージング処理において用いられる平均化フィルタの一例を示す図である。 本発明の実施の形態の変形例２に従うスムージング処理を説明するための図である。

　本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰り返さない。

　＜Ａ．概要＞
　本発明の実施の形態に従う画像処理システムは、被写体を複数の視点でそれぞれ撮像することで得られる複数の入力画像から立体視表示を行なうためのステレオ画像を生成する。このステレオ画像の生成にあたって、２つの入力画像の間で、所定の画素サイズを有する単位領域毎に距離情報を取得する。そして、この取得したそれぞれの点の距離情報からステレオ画像が生成される。

　本実施の形態に従う画像処理システムでは、縦方向および横方向で異なる画素サイズを有する単位領域を用いることで、対応関係の探索および距離情報の取得にあたって、所定の方向についての精度を緩める。

　これにより、画像の歪みを抑制しつつ、メリハリ感のある立体視表示を実現できる。
　＜Ｂ．システム構成＞
　まず、本発明の実施の形態に従う画像処理システムの構成について説明する。

　（ｂ１：基本的構成）
　図１は、本発明の実施の形態に従う画像処理システム１の基本的構成を示すブロック図である。図１を参照して、画像処理システム１は、撮像部２と、画像処理部３と、３Ｄ画像出力部４とを含む。図１に示す画像処理システム１においては、撮像部２が被写体を撮像することで一対の入力画像（入力画像１および入力画像２）を取得し、画像処理部３がこの取得された一対の入力画像に対して後述するような画像処理を行なうことで、被写体を立体視表示するためのステレオ画像（右眼用画像および左眼用画像）が生成される。そして、３Ｄ画像出力部４は、このステレオ画像（右眼用画像および左眼用画像）を表示デバイスなどへ出力する。

　撮像部２は、同一対象物（被写体）を異なる視点で撮像して一対の入力画像を生成する。より具体的には、撮像部２は、第１カメラ２１と、第２カメラ２２と、第１カメラと接続されたＡ／Ｄ（Ａｎａｌｏｇ　ｔｏ　Ｄｉｇｉｔａｌ）変換部２３と、第２カメラ２２と接続されたＡ／Ｄ変換部２４とを含む。Ａ／Ｄ変換部２３は、第１カメラ２１により撮像された被写体を示す入力画像１を出力し、Ａ／Ｄ変換部２４は、第２カメラ２２により撮像された被写体を示す入力画像２を出力する。

　すなわち、第１カメラ２１およびＡ／Ｄ変換部２３は、被写体を撮像して第１の入力画像を取得する第１の撮像手段に相当し、第２カメラ２２およびＡ／Ｄ変換部２４は、第１の撮像手段とは異なる視点から被写体を撮像して第２の入力画像を取得する第２の撮像手段に相当する。

　第１カメラ２１は、被写体を撮像するための光学系であるレンズ２１ａと、レンズ２１ａにより集光された光を電気信号に変換するデバイスである撮像素子２１ｂとを含む。Ａ／Ｄ変換部２３は、撮像素子２１ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。同様に、第２カメラ２２は、被写体を撮像するための光学系であるレンズ２２ａと、レンズ２２ａにより集光された光を電気信号に変換するデバイスである撮像素子２２ｂとを含む。Ａ／Ｄ変換部２４は、撮像素子２２ｂから出力される被写体を示す映像信号（アナログ電気信号）をデジタル信号に変換して出力する。撮像部２はさらに、各部分を制御するための制御処理回路などを含み得る。

　後述するように、本実施の形態に従う画像処理においては、ステレオ画像（右眼用画像および左眼用画像）は、一方のカメラで撮像された入力画像を用いて生成可能である。そのため、後述するような距離画像を生成するための対応点探索処理を実行できれば、第１カメラ２１と第２カメラ２２との間で機能や性能（典型的には、取得される入力画像の画素サイズなど）を同一にする必要はない。

　図２は、図１に示す撮像部２の具体的な構成例を示す図である。図２の（ａ）に示す撮像部２の一例は、光学ズーム機能付きの主レンズと、光学ズーム機能無しの副レンズとを組み合わせた構成を有している。また、図２の（ｂ）に示す撮像部２の一例は、いずれも光学ズーム機能付きの主レンズを２つ組み合わせた構成を有している。

　本実施の形態に従う画像処理方法においては、同一の被写体に対するそれぞれのカメラの視線方向（視点）が異なっていればよいので、撮像部２において、主レンズと副レンズとの配置（縦方向配列または横方向配列）は任意に設定できる。すなわち、図２の（ａ）または図２の（ｂ）に示す撮像部２を縦長方向に配置して撮像してもよいし、横長方向に配置して撮像してもよい。

　後述する撮像例（画像例）については、同一種類のレンズ（光学ズーム機能無し）を縦方向に所定間隔だけ離して２つ配置した構成において取得されたものである。

　本実施の形態に従う画像処理方法においては、入力画像１および入力画像２を必ずしも同意に取得する必要はない。すなわち、入力画像１および入力画像２を取得するための撮像タイミングにおいて、被写体に対する撮像部２の位置関係が実質的に同じであれば、入力画像１および入力画像２を異なるタイミングでそれぞれ取得してもよい。また、本実施の形態に従う画像処理方法においては、静止画だけではなく、動画としても立体視表示を行なうためのステレオ画像を生成することができる。この場合には、第１カメラ２１および第２カメラ２２の間で同期を取りつつ、時間的に連続して被写体を撮像することで、それぞれのカメラについての一連の画像をそれぞれ取得することができる。また、本実施の形態に従う画像処理方法においては、入力画像は、カラー画像であってもよいし、モノクロ画像であってもよい。

　再度図１を参照して、画像処理部３は、撮像部２によって取得された一対の入力画像に対して、本実施の形態に従う画像処理方法を実施することで、被写体を立体視表示するためのステレオ画像（右眼用画像および左眼用画像）を生成する。より具体的には、画像処理部３は、対応点探索部３０と、距離画像生成部３２と、領域判定部３４と、スムージング処理部３６と、３Ｄ画像生成部３８とを含む。

　対応点探索部３０は、一対の入力画像（入力画像１および入力画像２）に対して対応点探索の処理を行なう。この対応点探索の処理は、典型的には、ＰＯＣ（Ｐｈａｓｅ－Ｏｎｌｙ　Ｃｏｒｒｅｌａｔｉｏｎ）演算法、ＳＡＤ（Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）演算法、ＳＳＤ（Ｓｕｍ　ｏｆ　Ｓｑｕａｒｅｄ　Ｄｉｆｆｅｒｅｎｃｅ）演算法、ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ　Ｃｒｏｓｓ　Ｃｏｒｒｅｌａｔｉｏｎ）演算法などを用いることができる。すなわち、対応点探索部３０は、入力画像１と入力画像２との間における被写体の各点についての対応関係を探索する。

　距離画像生成部３２は、２つの入力画像についての距離情報を取得する。この距離情報は、同一の被写体についての情報の相違に基づいて算出される。典型的には、距離画像生成部３２は、対応点探索部３０によって探索された被写体の各点についての入力画像の間での対応関係から距離情報を算出する。撮像部２は、異なる視点からそれぞれ被写体を撮像する。そのため、２つの入力画像の間では、被写体のある点（注目点）を表現する画素同士は、撮像部２と当該被写体の点との距離に応じた距離だけずれることになる。本明細書においては、入力画像１の注目点に対応する画素の画像座標系上の座標と、入力画像２の注目点に対応する画素の画像座標系上の座標との差を「視差」と称する。距離画像生成部３２は、対応点探索部３０によって探索された被写体の注目点の各々について、視差を算出する。

　この視差は、撮像部２から被写体の対応する注目点までの距離を示す指標値である。視差が大きいほど、撮像部２から被写体の対応する注目点までの距離が短い、すなわち撮像部２により近接していることを意味する。本明細書においては、視差、および、視差によって示される被写体の各点の撮像部２からの距離を、総称して「距離情報」という用語を用いる。

　なお、入力画像間で視差が生じる方向は、撮像部２における第１カメラ２１と第２カメラ２２との間の位置関係に依存する。例えば、第１カメラ２１と第２カメラ２２とを縦方向に所定間隔だけ離して配置した場合には、入力画像１と入力画像２との間での視差は縦方向に生じることになる。

　距離画像生成部３２は、被写体の各点についての距離情報として算出し、算出したそれぞれの距離情報を画像座標系上の座標に関連付けて表現した距離画像（視差画像）を生成する。この距離画像の一例については、後述する。

　なお、対応点探索部３０では、所定の画素サイズを有する単位領域毎に対応点探索が行なわれるため、原始的には、距離画像は、１つの単位領域を１画素とする画像として生成される。

　このように、距離画像生成部３２は、対応点探索部３０によって算出された被写体の各点についての対応関係に基づいて、所定の画素サイズを有する単位領域毎に、撮像部２が配置された位置を基準とした距離を示す距離情報を取得する。さらに、距離画像生成部３２は、取得した距離情報を表現した距離画像を生成する。

　本実施の形態に従う画像処理方法においては、対応点探索部３０による対応点探索処理および距離画像生成部３２による距離画像生成処理における処理単位である、単位領域の画素サイズを縦方向および横方向との間で異ならせることで、被写体が立体視表示された際に生じる画像の歪みを緩和する。すなわち、単位領域は、入力画像の縦方向に対応する画素間隔と、縦方向に対応する画素間隔とは異なる横方向に対応する画素間隔とによって定められる。

　領域判定部３４は、入力画像の被写体に含まれる特徴領域を判定する。この特徴領域は、生成されたステレオ画像に生じる歪みが目立つことが予想される領域である。具体的には、直線などの人工物が存在する領域（以下「人工物領域」とも称す。）や、遠近競合領域（距離のばらつきが相対的に大きい領域）などが含まれる。この領域判定部３４によって判定された特徴領域の情報に基づいて、対応点探索部３０および距離画像生成部３２は、対応点探索や距離画像生成に用いる単位領域の画素サイズを変更する。すなわち、対応点探索部３０および距離画像生成部３２は、抽出された特徴領域を含む単位領域について画素サイズを変更する。

　スムージング処理部３６は、距離画像生成部３２によって生成された距離画像に対してスムージング処理することで、距離画像を入力画像に対応する画素サイズに変換する。すなわち、距離画像は、原始的には単位領域を１画素とする画像として生成されるので、スムージング処理部３６は、この距離画像から、入力画像を構成する各画素についての距離情報を算出するために、画素サイズを変換する。本実施の形態においては、縦方向および横方向で異なる画素サイズを有する単位領域を用いるので、スムージング処理部３６は、距離画像に対して、この単位領域の画素サイズの方向性に応じたスムージング処理を行なってもよい。

　３Ｄ画像生成部３８は、スムージング処理部３６によって得られた距離画像に基づいて、入力画像を構成する各画素を対応する距離情報（画素数）だけずらすことで、被写体を立体視表示するためのステレオ画像（右眼用画像および左眼用画像）を生成する。例えば、３Ｄ画像生成部３８は、入力画像１を左眼用画像として用いるとともに、入力画像１をその各画素について対応する距離情報（画素数）だけ横方向にずらした画像を右眼用画像として用いる。すなわち、右眼用画像と左眼用画像との間について見れば、被写体の各点は、距離画像によって示される距離情報（画素数）に応じた距離だけ離れて、すなわち距離情報（画素数）に応じた視差が与えられて表現される。これにより、被写体を立体視表示することができる。

　このように、３Ｄ画像生成部３８は、距離情報に基づいて、入力画像に含まれる画素を横方向にずらすことで被写体を立体視表示するためのステレオ画像を生成する。このとき、視差が生じる横方向に比較して、縦方向に沿った画像の歪みは目立ちやすいので、縦方向の情報量を少なくした上で、対応点探索処理および距離画像生成処理が実行される。すなわち、対応点探索処理および距離画像生成処理における処理単位である単位領域の縦方向の画素サイズを横方向の画素サイズより大きくする。これにより、一対の入力画像（入力画像１および入力画像２）についての縦方向の情報量が圧縮されることになる。

　なお、生成したステレオ画像を回転した上で立体視表示に用いる場合には、視差を縦方向につける必要があるので、この場合には、単位領域の横方向の画素サイズが縦方向の画素サイズより大きくなるように設定される。

　これにより、画像の縦方向における歪みの影響を緩和できるとともに、画像処理に係る処理量についても低減できる。すなわち、単位領域を定める縦方向の画素間隔は、横方向の画素間隔より短く構成される。

　３Ｄ画像出力部４は、画像処理部３によって生成されるステレオ画像（右眼用画像および左眼用画像）を表示デバイスなどへ出力する。

　各部の処理動作の詳細については、後述する。
　図１に示す画像処理システム１は、各部を独立に構成することもできるが、汎用的には、以下に説明するデジタルカメラやパーソナルコンピューターなどとして具現化される場合が多い。そこで、本実施の形態に従う画像処理システム１の具現化例について説明する。

　（ｂ２：具現化例１）
　図３は、図１に示す画像処理システム１を具現化したデジタルカメラ１００の構成を示すブロック図である。図３に示すデジタルカメラ１００は、２つのカメラ（主カメラ１２１および副カメラ１２２）を搭載しており、被写体を立体視表示するためのステレオ画像を撮像することができる。図３において、図１に示す画像処理システム１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

　デジタルカメラ１００では、主カメラ１２１で被写体を撮像することで取得される入力画像が記憶および出力され、副カメラ１２２で当該被写体を撮像することで取得される入力画像については、主として、上述の対応点探索処理および距離画像生成処理に用いられる。そのため、主カメラ１２１についてのみ光学ズーム機能が搭載されているとする。

　図３を参照して、デジタルカメラ１００は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）１０２と、デジタル処理回路１０４と、画像表示部１０８と、カードインターフェイス（Ｉ／Ｆ）１１０と、記憶部１１２と、ズーム機構１１４と、主カメラ１２１と、副カメラ１２２とを含む。

　ＣＰＵ１０２は、予め格納されたプログラムなどを実行することで、デジタルカメラ１００の全体を制御する。デジタル処理回路１０４は、本実施の形態に従う画像処理を含む各種のデジタル処理を実行する。デジタル処理回路１０４は、典型的には、ＤＳＰ（Ｄｉｇｉｔａｌ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）などによって構成される。このデジタル処理回路１０４は、図１に示す画像処理部３が提供する機能を実現するための画像処理回路１０６を含む。

　画像表示部１０８は、主カメラ１２１および／または副カメラ１２２により提供される画像、デジタル処理回路１０４（画像処理回路１０６）によって生成される画像、デジタルカメラ１００に係る各種設定情報、および、制御用ＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面などを表示する。画像表示部１０８は、画像処理回路１０６によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、画像表示部１０８は、３次元表示方式に対応した任意の表示デバイス（３次元表示用の液晶表示装置）によって構成される。このような３次元表示方式としては、パララックスバリア方式などを採用することができる。このパララックスバリア方式では、液晶表示面にパララックスバリアを設けることで、ユーザーの右眼で右眼用画像を視認させ、ユーザーの左眼で左眼用画像を視認させることができる。あるいは、シャッタメガネ方式を採用してもよい。このシャッタメガネ方式では、右眼用画像および左眼用画像を交互に高速で切り替えて表示するとともに、この画像の切り替えに同期して開閉するシャッターが搭載された専用メガネをユーザーが装着することで、立体視表示を楽しむことができる。

　カードインターフェイス（Ｉ／Ｆ）１１０は、画像処理回路１０６によって生成された画像データを記憶部１１２へ書き込み、あるいは、記憶部１１２から画像データなどを読み出すためのインターフェイスである。記憶部１１２は、画像処理回路１０６によって生成された画像データや各種情報（デジタルカメラ１００の制御パラメータや動作モードなどの設定値）を格納する記憶デバイスである。この記憶部１１２は、フラッシュメモリ、光学ディスク、磁気ディスクなどからなり、データを不揮発的に記憶する。

　ズーム機構１１４は、ユーザー操作などに応じて、主カメラ１２１の撮像倍率を変更する機構である。ズーム機構１１４は、典型的には、サーボモーターなどを含み、主カメラ１２１を構成するレンズ群を駆動することで、焦点距離を変化させる。

　主カメラ１２１は、被写体を撮像することでステレオ画像を生成するための入力画像を生成する。主カメラ１２１は、ズーム機構１１４によって駆動される複数のレンズ群からなる。副カメラ１２２は、後述するような対応点探索処理や距離画像生成処理に用いられ、主カメラ１２１によって撮像される同一の被写体を別の視点から撮像する。

　このように、図３に示すデジタルカメラ１００は、本実施の形態に従う画像処理システム１の全体を単体の装置として実装したものである。すなわち、ユーザーは、デジタルカメラ１００を用いて被写体を撮像することで、画像表示部１０８において当該被写体を立体的に視認することができる。

　（ｂ３：具現化例２）
　図４は、図１に示す画像処理システム１を具現化したパーソナルコンピューター２００の構成を示すブロック図である。図４に示すパーソナルコンピューター２００では、一対の入力画像を取得するための撮像部２が搭載されておらず、任意の撮像部２によって取得された一対の入力画像（入力画像１および入力画像２）が外部から入力される構成となっている。このような構成であっても、本発明の実施の形態に従う画像処理システム１に含まれ得る。なお、図４においても、図１に示す画像処理システム１を構成するそれぞれのブロックに対応するコンポーネントには、図１と同一の参照符号を付している。

　図４を参照して、パーソナルコンピューター２００は、パーソナルコンピューター本体２０２と、モニター２０６と、マウス２０８と、キーボード２１０と、外部記憶装置２１２とを含む。

　パーソナルコンピューター本体２０２は、典型的には、汎用的なアーキテクチャーに従う汎用コンピューターであり、基本的な構成要素として、ＣＰＵ、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などを含む。パーソナルコンピューター本体２０２は、図１に示す画像処理部３が提供する機能を実現するための画像処理プログラム２０４が実行可能になっている。このような画像処理プログラム２０４は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｋ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの記憶媒体に格納されて流通し、あるいは、ネットワークを介してサーバー装置から配信される。そして、画像処理プログラム２０４は、パーソナルコンピューター本体２０２のハードディスクなどの記憶領域内に格納される。

　このような画像処理プログラム２０４は、パーソナルコンピューター本体２０２で実行されるオペレーティングシステム（ＯＳ）の一部として提供されるプログラムモジュールのうち必要なモジュールを、所定のタイミングおよび順序で呼出して処理を実現するように構成されてもよい。この場合、画像処理プログラム２０４自体には、ＯＳが提供するモジュールは含まれず、ＯＳと協働して画像処理が実現される。また、画像処理プログラム２０４は、単体のプログラムではなく、何らかのプログラムの一部に組込まれて提供されてもよい。このような場合にも、画像処理プログラム２０４自体には、当該何らかのプログラムにおいて共通に利用されるようなモジュールは含まれず、当該何らかのプログラムと協働して画像処理が実現される。このような一部のモジュールを含まない画像処理プログラム２０４であっても、本実施の形態に従う画像処理システム１の趣旨を逸脱するものではない。

　もちろん、画像処理プログラム２０４によって提供される機能の一部または全部を専用のハードウェアによって実現してもよい。

　モニター２０６は、オペレーティングシステム（ＯＳ）が提供するＧＵＩ画面、画像処理プログラム２０４によって生成される画像などを表示する。モニター２０６は、図３に示す画像表示部１０８と同様に、画像処理プログラム２０４によって生成されるステレオ画像を用いて、被写体を立体視表示できることが好ましい。この場合、モニター２０６としては、画像表示部１０８において説明したのと同様に、パララックスバリア方式やシャッタメガネ方式などの表示デバイスによって構成される。

　マウス２０８およびキーボード２１０は、それぞれユーザー操作を受付け、その受付けたユーザー操作の内容をパーソナルコンピューター本体２０２へ出力する。

　外部記憶装置２１２は、何らかの方法で取得された一対の入力画像（入力画像１および入力画像２）を格納しており、この一対の入力画像をパーソナルコンピューター本体２０２へ出力する。外部記憶装置２１２としては、フラッシュメモリ、光学ディスク、磁気ディスクなどのデータを不揮発的に記憶するデバイスが用いられる。

　このように、図４に示すパーソナルコンピューター２００は、本実施の形態に従う画像処理システム１の一部を単体の装置として実装したものである。このようなパーソナルコンピューター２００を用いることで、ユーザーは、任意の撮像部（ステレオカメラ）を用いて異なる視点で被写体を撮像することで取得された一対の入力画像から、当該被写体を立体視表示するためのステレオ画像（右眼用画像および左眼用画像）を生成することができる。さらに、この生成したステレオ画像をモニター２０６で表示することで、立体視表示を楽しむこともできる。

　＜Ｃ．関連する画像処理方法＞
　まず、本実施の形態に従う画像処理方法の内容についての理解を容易にするために、本発明に関連する画像処理方法の内容について先に説明する。

　図５は、本発明に関連する画像処理方法の手順を示す概略ブロック図である。図５を参照して、本発明に関連する画像処理方法は、主カメラ１２１および副カメラ１２２が同一の被写体を撮像することでそれぞれ取得する入力画像１および入力画像２に対して、対応点探索処理および距離画像生成処理（ステップＳ１０）、スムージング処理（ステップＳ２）、ステレオ画像生成処理（ステップＳ３）の３つの段階の処理が実行される。以下、各ステップについて詳述する。

　（ｃ１：入力画像）
　図６は、図１に示す撮像部２によって撮像された一対の入力画像の例を示す図である。図６の（ａ）は、主カメラ１２１によって撮像された入力画像１を示し、図６の（ｂ）は、副カメラ１２２によって撮像された入力画像２を示す。本実施の形態においては、典型例として、主カメラ１２１および副カメラ１２２を縦方向に配列（主カメラ１２１が上側であり、副カメラ１２２が下側である）した場合の例を示す。

　なお、図６の（ａ）に示す入力画像１は、最終的に出力されるステレオ画像の一方の画像（この例では、左眼用画像）として用いられる。

　図６には、説明を容易にするために、画像座標系を便宜的に定義している。より具体的には、入力画像の横方向をＸ軸とし、入力画像の縦方向をＹ軸とする直交座標系を採用する。このＸ軸およびＹ軸の原点は、便宜上、入力画像の左上端であるとする。また、撮像部２（図１）の視線方向をＺ軸とする。この直交座標系は、本明細書中の他の図面についての説明においても利用する場合がある。

　上述したように、主カメラ１２１および副カメラ１２２を縦方向に配列した撮像部２を用いているので、図６の（ａ）に示す入力画像１と図６の（ｂ）に示す入力画像２との間には、Ｙ軸方向に沿って視差が生じている。

　図６に示す一対の入力画像の被写体としては、左側の領域に「看板」を含む。この「看板」は、後述する「人工物」の一例である。この人工物とは、直線などの基本図形の要素を多く含んで構成された物体を意味する。ここで、「基本図形」とは、例えば、直線、２次曲線、円（または、円弧）、および楕円（または、楕円弧）などのように、所定の関数に具体的な数値をパラメータとして与えることによって、座標空間において形状および／またはサイズを特定可能な図形を意味する。

　また、「看板」の下側の領域には、当該「看板」よりも撮像部２に近い位置に存在する「低木群」が被写体として撮像されている。また、「看板」の上側の周辺には、当該「看板」よりも撮像部２から遠い位置に存在する「立木群」が被写体として撮像されている。

　そのため、入力画像内の「看板」が存在する領域の周囲には、撮像部２から近い順に（Ｚ軸に沿って）、「低木群」、「看板」、「立木群」が位置することになる。

　（ｃ２：対応点探索処理および距離画像生成処理）
　図６に示すような一対の入力画像（入力画像１および入力画像２）が取得されると、入力画像の間で対応点探索処理（図５のステップＳ１０）が実行される。この対応点探索処理は、図１に示す対応点探索部３０によって実行される。この対応点探索処理では、一方の入力画像の注目点にそれぞれ対応する他方の入力画像の画素（座標値）を特定する。このような対応点探索処理は、ＰＯＣ演算法、ＳＡＤ演算法、ＳＳＤ演算法、ＮＣＣ演算法などを用いたマッチング処理が利用される。

　続いて、対応点探索処理によって特定された注目点と対応点との間の対応関係に基づいて、被写体の各点の座標に関連付けられた距離情報を示す距離画像を生成するための距離画像生成処理が実行される。この距離画像生成処理は、図１に示す距離画像生成部３２によって実行される。この距離画像生成処理では、注目点の各々について、入力画像１の画像座標系における当該注目点の座標と、入力画像２の画像座標系における対応点の座標との差（視差）が算出される。この算出された視差は、対応する入力画像１の注目点の座標に関連付けて記憶される。そのため、距離情報としては、対応点探索処理によって探索されたそれぞれの注目点について、入力画像１上の座標および対応する視差が関連付けられる。そのため、この距離情報を入力画像１の画素配列に対応付けて配列することで、入力画像１の画像座標系に対応して各点の視差を表す距離画像が生成される。

　なお、このような対応点探索処理および距離画像生成処理としては、特開２００８－２１６１２７号公報（特許文献１）に記載された方法を採用してもよい。特開２００８－２１６１２７号公報には、サブピクセルの粒度で視差（距離情報）を算出するための方法が開示されているが、ピクセルの粒度で視差（距離情報）を算出するようにしてもよい。

　図７は、本発明に関連する画像処理方法に従って図６に示す一対の入力画像から生成された距離画像の例を示す図である。すなわち、図７の（ａ）には、距離画像の全体を示し、図７の（ｂ）には、図７の（ａ）に示す一部の領域の拡大図を示す。図７に示すように、入力画像１の各点の各点に関連付けられた視差（距離情報）の大きさは、対応する点の濃淡によって表現される。

　上述した対応点探索処理および距離画像生成処理において、相関演算を行なうことで注目点およびその対応点を特定するので、所定の画素サイズを有する単位領域毎に対応点が探索される。図７には、３２画素×３２画素の単位領域毎に対応点探索が実行された例を示す。すなわち、図７に示す例では、Ｘ軸（横方向）およびＹ軸（縦方向）のいずれも３２画素間隔で規定された単位領域毎に対応点が探索され、その探索された対応点との間の距離が算出される。この探索された対応点との間の距離を示す距離画像は、入力画像の画素サイズと一致するように生成される。例えば、入力画像１が３４５６画素×２５９２画素のサイズを有している場合には、１０８点×８１点の探索点において距離が算出され、この算出されたそれぞれの距離から入力画像の画素サイズに対応する距離画像が生成される。

　（ｃ３：スムージング処理）
　距離画像が取得されると、当該取得された距離画像に対して、スムージング処理処理（図５のステップＳ２）が実行される。このスムージング処理は、図１に示すスムージング処理部３６によって実行される。このスムージング処理では、距離画像の全体が平均化される。

　このようなスムージング処理の具現化例として、所定サイズの二次元フィルタを用いる方法がある。

　図８は、図５のスムージング処理（ステップＳ２）において用いられる平均化フィルタの一例を示す図である。スムージング処理では、例えば、図８に示すような１８９画素×１８９画素の平均化フィルタが適用される。平均化フィルタでは、対象画素を中心とする縦方向１８９画素および横方向１８９画素の範囲に含まれる距離画像の画素値（視差）の平均値が当該対象画素の新たな画素値として算出される。より具体的には、フィルタ内に含まれる画素が有する画素値の総和をフィルタの画素サイズで除算することで、対象画素の新たな画素値が算出される。

　なお、フィルタ内に含まれるすべての画素の操作をとるのではなく、所定間隔毎（例えば、２０画素）に間引いて抽出した画素の平均値を用いてもよい。このような間引き処理を行なった場合であっても、全画素の平均値を用いた場合と同様の平滑化結果が得られる場合があり、そのような場合には、間引き処理を行なうことで処理量を低減できる。

　図９は、図７に示す距離画像に対してスムージング処理を行なった結果を示す図である。図９に示すスムージング処理後の距離画像では、隣接する画素間で画素値（視差）が大きく変化しないようになっていることがわかる。

　なお、スムージング処理によって得られた距離画像の画素サイズは、入力画像と同一の画素サイズであることが好ましい。画素サイズを同一にすることで、後述するステレオ画像生成処理において、各画素の距離を一対一で決定することができる。

　（ｃ４：ステレオ画像生成処理）
　スムージング処理後の距離画像が取得されると、当該取得された距離画像を用いて、ステレオ画像生成処理（図５のステップＳ３）が実行される。このステレオ画像生成処理は、図１に示す３Ｄ画像生成部３８によって実行される。このステレオ画像生成処理では、入力画像１（左眼用画像）の各画素を対応する距離だけずらすことで、右眼用画像が生成される。

　図１０は、図５のステレオ画像生成処理（ステップＳ３）における処理手順を説明するための図である。図１１は、図１０に示すステレオ画像生成処理の処理手順を示すフローチャートである。

　図１０を参照して、ステレオ画像生成処理においては、距離画像に基づいて、入力画像１からステレオ画像（右眼用画像および左眼用画像）が生成される。本画像処理方法においては、処理簡素化の観点から、入力画像１をそのまま左眼用画像として用いるとともに、入力画像１の各画素を対応する距離（視差）に応じて位置をずらすことで、右眼用画像を生成する。

　なお、被写体を立体視表示するためには、右眼用画像および左眼用画像との間で、対応する画素が指定された距離（視差）だけ離れていればよいので、入力画像から右眼用画像および左眼用画像をそれぞれ生成してもよい。

　本実施の形態においては、入力画像１（左眼用画像）を構成するライン単位で画素の位置をずらすことで、右眼用画像が生成される。図１０には、一例として、入力画像のあるラインにおいて、画素位置（座標）が「１０１」，「１０２」，・・・，「１１０」である１０個の画素が示されている。各画素位置の画素に対応する距離（視差）がそれぞれ「４０」，「４０」，「４１」，「４１」，「４１」，「４２」，「４２」，「４１」，「４０」，「４０」であるとする。これらの情報を用いて、各画素について、ずらし後の画素位置（右眼用画像における座標）が算出される。より具体的には、（ずらし後の画素位置）＝（左眼用画像における座標）－（対応する距離（視差））に従って、１ライン分の各画素についてのずらし後の画素位置が算出される。

　そして、それぞれの画素値と対応するずらし後の画素位置とに基づいて、右目用画像の対応する１ライン分の画像が生成される。このとき、距離（視差）の値によっては、対応する画素が存在しない場合がある。図１０に示す例では、右眼用画像の画素位置「６６」および「６８」の画素の情報が存在しない。このような場合には、隣接する画素からの情報を用いて、不足する画素の画素値が補間される。

　このような処理を入力画像に含まれるすべてのライン分だけ繰り返すことで、右眼用画像が生成される。

　なお、この画素位置をずらす方向は、視差を生じさせるべき方向であり、具体的には、ユーザーに向けて表示した場合に、水平方向となる方向に相当する。

　このような処理手順を示すと、図１１のようになる。すなわち、図１１を参照して、３Ｄ画像生成部３８（図５）は、入力画像１の１ライン分の画素について、それぞれのずらし後の画素位置を算出する（ステップＳ３１）。続いて、３Ｄ画像生成部３８は、ステップＳ１において算出されたずらし後の画素位置から１ライン分の画像（右眼用画像）を生成する（ステップＳ３２）。

　その後、３Ｄ画像生成部３８（図５）は、入力画像に処理を行なっていないラインが存在するか否かを判断する（ステップＳ３３）。入力画像に処理を行なっていないラインが存在していれば（ステップＳ３３においてＮＯ）、次のラインが選択され、ステップＳ３１およびＳ３２の処理が繰り返される。

　入力画像のすべてのラインについて処理が完了していれば（ステップＳ３３においてＹＥＳ）、３Ｄ画像生成部３８は、入力画像１（左眼用画像）とともに、生成した右眼用画像を出力する。そして、処理は終了する。

　（ｃ５：画像に生じる歪み）
　図１２は、本発明に関連する画像処理方法によって生成されたステレオ画像の一例を示す図である。図１２の（ａ）は左眼用画像を示し、図１２の（ｂ）は右眼用画像を示す。

　図１２の（ｂ）に示す右眼用画像は、左側の領域にある「看板」について、画像の歪みが生じていることがわかる。これは、被写体としては、「看板」の前側（撮像部２に近い側）に「低木群」があり、かつ、「看板」の後側（撮像部２から遠い側）に「立木群」があるため、距離画像において、「看板」周囲の画素に関連付けられた距離（視差）が比較的大きく変動しているためであると考えられる。

　とくに、人工物である「看板」については、直線的な構造を有しているという観念があるので、「看板」が曲がって表示されることで、ユーザーには違和感を与えてしまう。

　このように、撮像手段からの距離が大きくばらつく領域（以下「遠近競合領域」とも称す。）にある被写体については、歪みが生じやすく、この遠近競合領域に直線などを有する人工物が存在している場合には、その歪みが特に目立つことになる。

　そこで、本実施の形態に従う画像処理方法においては、このような歪みの発生を抑制する方法を提供する。

　＜Ｄ．基本コンセプト＞
　本実施の形態に従う画像処理方法においては、被写体についての距離画像を生成する過程において、入力画像の縦方向および横方向のそれぞれについて算出される距離情報の感度を互いに異ならせる。このような距離情報の感度を異ならせる方法として、対応点探索処理および距離画像生成処理における処理単位である単位領域の画素サイズを縦方向および横方向との間で異ならせる。

　より具体的には、ステレオ画像を生成する際に、視差を生じさせる方向と直交する方向についての距離算出の感度を低くする。これは、視差を生じさせる方向については、画素の位置をずらすこともあり、画像の歪みが目立つことはないが、視差を生じさせる方向と直交する方向については、画像の歪みが目立ちやすいからである。そこで、本実施の形態に従う画像処理方法においては、単位領域を定める縦方向の画素間隔を横方向の画素間隔より短く設定する。例えば、本発明に関連する画像処理方法においては、３２画素×３２画素（縦方向および横方向のいずれも３２画素間隔）の単位領域を採用していたが、これに対して、縦方向（視差を生じない方向）については、より粗い画素間隔が採用される。具体的には、縦方向６４画素×横方向３２画素といった単位領域で、対応点探索処理および距離画像生成処理が実行される。

　言い換えれば、視差を生じない方向については、画像の情報を圧縮した上で、距離画像が生成される。これにより、視差が生じる方向に配列された画素の距離については、その算出精度を維持しつつ、視差が生じない方向に配列された画素の距離については、その算出感度を緩める。このような画像処理方法によってステレオ画像を生成することで、画像の歪みを抑制しつつ、メリハリ感のある立体視表示を実現することができる。

　以下、このような基本コンセプトに従ういくつかの実施の形態について説明する。
　＜Ｅ．実施の形態１＞
　図１３は、本発明の実施の形態１に従う画像処理方法の手順を示す概略ブロック図である。図１３に示す概略ブロック図は、図５に示す概略ブロック図に比較して、対応点探索処理および距離画像生成処理（ステップＳ１）の処理が異なっている。その他の処理については、図５を参照して説明した処理と同様であるので、詳細な説明は繰り返さない。

　図１３のステップＳ１に示す対応点探索処理および距離画像生成処理においては、処理に用いる単位領域の画素サイズを縦方向と横方向とで異ならせている。典型的な例として、図１３のステップＳ１においては、横方向は、図５に示す処理と同様に３２画素刻みとしつつ、縦方向には、より粗い６４画素刻みで規定された、単位領域毎に処理を行なう。なお、縦方向に視差を生じさせる場合には、横方向と縦方向との画素刻みの関係は反転する。

　このように、入力画像１における横方向に対応する画素間隔（３２画素）と、縦方向に対応する画素間隔（６４画素）とによって定められる単位領域毎に、対応点探索および距離の算出が行なわれる。そのため、ステップＳ１において算出される距離画像においては、入力画像を横方向３２画素×縦方向６４画素で分割した単位で、それぞれの距離が算出されることになる。

　図１４は、本発明の実施の形態１に従う画像処理方法に従って図６に示す一対の入力画像から生成された距離画像の例を示す図である。すなわち、図１４の（ａ）には、距離画像の全体を示し、図１４の（ｂ）には、図１４の（ａ）に示す一部の領域の拡大図を示す。

　図１４に示すように、距離画像の１画素は、入力画像１の横方向３２画素×縦方向６４画素の領域に相当することになる。

　このように取得された距離画像に対して、図５に示すスムージング処理（ステップＳ２）が適用される。例えば、本発明に関連する画像処理方法と同様に、図８に示すような１８９画素×１８９画素の平均化フィルタが適用される。

　図１５は、図１４に示す距離画像に対してスムージング処理を行なった結果を示す図である。図１５に示すスムージング処理後の距離画像では、図８に示すスムージング処理の結果に比較して、縦方向により強く概同一化されていることがわかる。すなわち、図１５に示す距離画像の縦方向の変化は、図９に示す距離画像の縦方向の変化に比較して緩慢になっている。これにより、図１５に示す距離画像の縦方向の距離は、おおよそ揃うことになる。

　この図１５に示すスムージング処理後の距離画像を用いて、入力画像からステレオ画像が生成される。図１６は、本発明の実施の形態１に従う画像処理方法によって生成されたステレオ画像の一例を示す図である。図１６の（ａ）は左眼用画像を示し、図１６の（ｂ）は右眼用画像を示す。

　図１６の（ｂ）に示すように、上述したようなスムージング処理後の距離画像の縦方向において距離がおおよそ揃っている効果から、図１２の（ｂ）とは異なり、「看板」について発生していた歪みが抑制されていることがわかる。すなわち、本実施の形態によれば、画像の歪みが目立たないステレオ画像を取得することができる。

　＜Ｆ．実施の形態２＞
　次に、本発明の実施の形態２に従う画像処理方法について説明する。

　（ｆ１：概要）
　本実施の形態においては、ステレオ画像に生じる、目立つ歪みを抑制するために、被写体のうち「人工物」が含まれる領域については、上述のような画素サイズを縦方向と横方向とで異ならせた単位領域毎に対応点探索処理および距離画像生成処理を実行する。すなわち、「人工物」が存在する領域について、縦方向と横方向とで画素サイズが異なる単位領域で距離画像を生成し、「人工物」が存在しない領域については、通常の単位領域で距離画像を生成する。これにより、歪みが目立つ「人工物」およびその周辺の画像については、より歪みを生じにくいように距離（視差）が算出され、それ以外の領域については、距離（視差）の算出精度を高める。このような方法によって生成されたステレオ画像を用いることで、画像の歪みを抑制しつつ、メリハリ感のある立体視表示を行なうことができる。

　図１７は、本発明の実施の形態２に従う画像処理方法の手順を示す概略ブロック図である。図１７に示す概略ブロック図は、図１３に示す概略ブロック図に比較して、対応点探索処理および距離画像生成処理（ステップＳ１Ａ）の処理内容が異なっており、かつ、人工物抽出処理（ステップＳ４）が付加されている。その他の処理については、図１３の対応する処理と同様であるので、詳細な説明は繰り返さない。

　図１７のステップＳ１Ａに示す対応点探索処理および距離画像生成処理においては、人工物抽出処理（ステップＳ４）において抽出された人工物が存在する（および、その近傍の）領域（人工物領域）に対して、処理に用いる単位領域の画素サイズを縦方向と横方向とで異ならせる。典型的な例として、図１７のステップＳ１Ａにおいては、人工物領域については、横方向３２画素×縦方向６４画素で分割した単位で距離が算出され、それ以外の領域については、横方向３２画素×縦方向３２画素で分割した単位で距離が算出される。なお、縦方向に視差を生じさせる場合には、横方向と縦方向との画素刻みの関係は反転する。

　図１７に示す人工物抽出処理（ステップＳ４）は、対応点探索処理および距離画像生成処理（ステップＳ１Ａ）に先立って実行される。

　（ｆ２：人工物抽出処理）
　まず、図１７に示す人工物抽出処理（ステップＳ４）の詳細について説明する。人工物抽出処理においては、「人工物」が存在する領域を特徴領域として抽出する。この「人工物」であるか否かについては、入力画像内の特徴的な形状を抽出することで判断される。より具体的には、「人工物」は、直線、２次曲線、円、楕円、テクスチャ（模様繰り返しパターン）の１つまたは複数の特徴量に基づいて抽出される。このような特徴量に基づいて「人工物」を抽出する方法は、各種の方法を採用することができる。

　典型例として、入力画像１から直線および円弧（円の一部）を含む領域を人工物領域として抽出する処理について以下説明する。

　図１８は、図１７に示す人工物抽出処理の処理手順を示すフローチャートである。図１８に示す各ステップは、図１に示す領域判定部３４によって実行される。

　図１８を参照して、まず、領域判定部３４は、入力画像１に含まれる輪郭（エッジ）を検出する（ステップＳ４１）。このようなエッジ検出のアルゴリズムとしては、各種の方法を採用することができるが、一例として、領域判定部３４は、Ｃａｎｎｙアルゴリズムなどを使用した画像処理を行なうことによって、入力画像１に存在するエッジを抽出する。このＣａｎｎｙアルゴリズムは、公知であるので、詳細な説明は行なわない。別のエッジ検出の方法としては、例えば、ソーベルフィルタなどの微分フィルタを用いた画像処理などを採用してもよい。

　続いて、入力画像１に含まれるエッジが検出されると、領域判定部３４は、エッジの各々を構成する基本図形を検出する（ステップＳ４２）。上述したように、「基本図形」は、直線、２次曲線、円（または、円弧）、および楕円（または、楕円弧）などのように、所定の関数に具体的な数値をパラメータとして与えることによって、座標空間において形状および／またはサイズを特定可能な図形である。より具体的には、領域判定部３４は、検出されたエッジの各々に対してハフ変換を行なうことで、基本図形を特定する。

　エッジの各々を構成する基本図形が検出されると、領域判定部３４は、検出した基本図形（直線や円弧）の長さが所定値以上のものを「人工物」と判定する。すなわち、領域判定部３４は、検出された基本図形の各々の長さ（連結された画素数）を測定するとともに、測定された長さが所定のしきい値（例えば、３００画素）以上であるものを、基本図形として特定する（ステップＳ４３）。そして、領域判定部３４は、特定した基本図形に対して膨張処理を行なうことによって、当該基本図形の線を太線化する（ステップＳ４４）。この太線化は、後続の判定処理の判定精度を高めるための前処理である。

　続いて、領域判定部３４は、太線化された基本図形に基づいて、人工物領域を特定する（ステップＳ４４）。より具体的には、領域判定部３４は、エッジの長さに対する当該エッジを構成する基本図形の長さの比を算出し、検出された各エッジのうち算出された長さの比が所定条件（例えば、７５％以上）を満たすエッジを抽出する。そして、領域判定部３４は、所定条件を満たしたエッジの内部を人工物領域として特定する。また、この所定条件を適宜設定することで、２次曲線や楕円などを抽出するようにしてもよい。

　すなわち、領域判定部３４は、入力画像１におけるエッジの長さに対する当該エッジを構成する１種類以上の所定の基本図形の長さの割合を、人工物領域を判定するための判定条件（入力画像についての幾何学的条件）として採用する。

　以上のような一連の処理によって、入力画像１に含まれる人工物領域が抽出される。
　図１９は、本発明の実施の形態２に従う画像処理方法の人工物抽出処理を行なった結果の一例を示す図である。図１９に示す処理結果では、説明の便宜上、抽出された人工物領域のみを示している。また、図１９において、「白」の領域は、人工物領域と判定された領域を示し、「黒」の領域は、人工物領域と判定されていない領域を示す。

　図１９に示す処理結果は、図６の（ａ）の入力画像１に対応するものであり、人工物領域４０１，４０２，４０３が抽出されている。人工物領域４０１は、入力画像１の左側に位置する「看板」に対応した領域であり、人工物領域４０２および４０３は、入力画像１の歩道の外縁部に対応した領域である。

　後述するように、人工物領域として抽出された領域（「白」の領域）については、３２画素×６４画素の単位領域で距離が算出され、それ以外の領域（「黒」の領域）については、３２画素×３２画素の単位領域で距離が算出される。

　上述したような人工物領域の抽出方法に代えて、以下のような方法を採用することもできる。

　例えば、入力画像に含まれるエッジを構成する線分の点列情報から屈折点などの特徴点情報を抽出し、これらの特徴点情報に基づいて、少なくとも３個の基本図形によって構成される三角形や四角形などの閉図形を検出する。さらに、検出された閉図形を所定の基準値以上の割合で内包する矩形領域などを特定し、この特定した矩形領域などを人工物領域として抽出してもよい。このような人工物領域の抽出処理としては、特開２０００－３５３２４２号公報や、特開２００４－１５１８１５号公報などに開示された手法を採用することもできる。

　あるいは、入力画像に含まれる「複雑さ」に基づいて、人工物領域を抽出してもよい。一般的に、人工物領域は、人工物ではない自然物に対応する領域に比較して、画像中の「複雑さ」の度合いが低くなる。そこで、画像の「複雑さ」を示す指標値を算出し、当該算出した指標値に基づいて人工物領域を抽出してもよい。すなわち、入力画像１における画像の複雑さが人工物領域を判定するための判定条件（入力画像についての幾何学的条件）として採用される。このような画像の「複雑さ」を示す指標値の一例としては、図形の自己相関性を表現した尺度であるフラクタル次元などを採用してもよい。一般的に、フラクタル次元は、画像が複雑であればあるほど値が大きくなるため、フラクタル次元の大きさに基づいて画像の「複雑さ」を評価できる。

　このような人工物領域の抽出処理としては、特開平０６－３４３１４０号公報に開示されたフラクタル次元から自然物領域を抽出し、抽出された自然物領域以外を人工物領域として抽出してもよい。

　（ｆ３：対応点探索処理および距離画像生成処理）
　次に、図１７に示す対応点探索処理および距離画像生成処理（ステップＳ１Ａ）の詳細について説明する。対応点探索処理および距離画像生成処理においては、ステップＳ４の人工物抽出処理において抽出された人工物領域について、画素サイズを縦方向と横方向とで異ならせた単位領域（一例として、横方向３２画素×縦方向６４画素）を設定し、それ以外の領域については、通常の単位領域（一例として、横方向３２画素×縦方向３２画素）を設定する。そして、この設定された単位領域に従って、対応点探索処理および距離画像生成処理が実行される。

　すなわち、図１９の（ｂ）に示す処理結果において、人工物領域と判定された領域（「白」の領域）に対しては、横方向３２画素×縦方向６４画素の単位領域で距離が算出され、人工物領域と判定されなかった領域（「黒」の領域）に対しては、横方向３２画素×縦方向３２画素の単位領域で距離（距離画像）が算出される。

　それ以外の処理については、実施の形態１と同様であるので、詳細な説明は繰り返さない。

　（ｆ４：利点）
　本実施の形態に従う画像処理方法によれば、生成されたステレオ画像に生じる歪みが目立つことが予想される領域についてのみ、縦方向に概同一化された距離画像を生成し、それ以外の領域については、距離画像の生成精度を維持することができるので、画像の歪みを抑制しつつ、メリハリ感のある立体視表示を実現することができる。

　＜Ｇ．実施の形態３＞
　（ｇ１：概要）
　本実施の形態においては、ステレオ画像に生じる、目立つ歪みを抑制するために、被写体のうち、距離のばらつきが相対的に大きい領域である「遠近競合領域」については、上述のような画素サイズを縦方向と横方向とで異ならせた単位領域毎に対応点探索処理および距離画像生成処理を実行する。すなわち、「遠近競合領域」については、縦方向と横方向とで画素サイズが異なる単位領域で距離画像を生成し、「遠近競合領域」ではない領域については、通常の単位領域で距離画像を生成する。これにより、歪みが目立つ「遠近競合領域」については、より歪みを生じにくいように距離（視差）が算出され、それ以外の領域については、距離（視差）の算出精度を高める。このような方法によって生成されたステレオ画像を用いることで、画像の歪みを抑制しつつ、メリハリ感のある立体視表示を行なうことができる。

　図２０は、本発明の実施の形態３に従う画像処理方法の手順を示す概略ブロック図である。図２０に示す概略ブロック図は、図１３に示す概略ブロック図に比較して、遠近競合抽出処理（ステップＳ５）および追加の距離画像生成処理（ステップＳ１Ｂ）が付加されている。その他の処理については、図１３の対応する処理と同様であるので、詳細な説明は繰り返さない。

　本実施の形態に従う画像処理方法においては、遠近競合領域についてのみ、縦方向に粗い単位領域毎に距離を取得し、それ以外の領域については、通常の単位領域毎に距離を取得する。

　より具体的には、図２０のステップＳ１に示す対応点探索処理および距離画像生成処理においては、まず、縦方向と横方向とで画素サイズが異なる単位領域（一例として、横方向３２画素×縦方向６４画素）で距離を取得しておく。一方で、ステップＳ５に示す遠近競合抽出処理において遠近競合領域を抽出し、当該抽出された遠近競合領域以外の領域については、縦方向と横方向とが同一の画素サイズである単位領域（一例として、横方向３２画素×縦方向３２画素）で距離を取得する（ステップＳ１Ｂ）。但し、ステップＳ１において先に距離が取得されているので、ステップＳ１Ｂにおいては、不足している部分の距離のみが追加的に取得される。

　このような処理を採用することで、全体の処理量を低減しつつ、画像の歪みを抑制しつつ、メリハリ感のある立体視表示を行なうことができる。

　なお、上述した実施の形態２と同様に、遠近競合領域を先に抽出しておき、遠近競合領域として抽出された領域については、画素サイズを縦方向と横方向とで異ならせた単位領域を設定し、遠近競合領域以外の領域については、通常の単位領域を設定することで、必要な距離を算出してもよい。

　（ｇ２：遠近競合領域抽出処理）
　まず、図２０に示す遠近競合領域抽出処理（ステップＳ５）の詳細について説明する。遠近競合領域抽出処理においては、注目領域内の各画素についての撮像部２からの距離の分布状態に基づいて、遠近競合領域であるか否かが判断される。すなわち、撮像部２からの距離についての分布が相対的に広がっており、かつ、離散的になっているような場合には、遠近競合領域であると判断される。

　図２１は、図２０に示す遠近競合領域抽出処理の処理手順を示すフローチャートである。図２１に示す各ステップは、図１に示す領域判定部３４によって実行される。図２２は、図２１に示す遠近競合領域抽出処理の処理手順において設定されるブロックの一例を示す図である。図２３は、図２２に示すブロック４１１に含まれる画素の距離についてのヒストグラムの一例を示す図である。

　遠近競合領域抽出処理が開始されると、領域判定部３４は、対応点探索処理および距離画像生成処理（ステップＳ１）の実行によって取得された距離画像に対して、１つ以上のブロックを設定する。図２２に示すように、設定されるブロック４１１は、典型的には、矩形領域であり、所定の画素サイズ（一例として、３２０画素×３２０画素）を有する。なお、このブロックに含まれる画素は、有効な統計処理ができる程度の数が好ましい。

　続いて、距離画像に対してブロックが設定されると、領域判定部３４は、設定されたブロックの１つを選択し、選択したブロックに含まれるそれぞれの距離情報を統計処理する。そして、領域判定部３４は、選択したブロック内の距離情報についての統計的な分布状態を取得する。より具体的には、図２３に示すようなヒストグラムが算出される。このヒストグラムは、図２２に設定されたブロック４１１内の距離情報についての統計的な分布状態の一例である。図２３に示すヒストグラムにおいて、横軸は、所定の幅で区分けされた距離（視差）の区間を示し、縦軸は、各区間に対応する距離（視差）に属する画素の度数（個数）を示す。

　図２２に示すブロック４１１は、図５に示す入力画像１の「看板」が存在する領域に対応しており、「看板」よりも撮像部２に近い位置に存在する「低木群」、および、「看板」よりも撮像部２から遠い位置に存在する「立木群」が被写体として含む。このようなブロック４１１に含まれる画素の距離情報についての分布を、視差（距離情報）を変数するヒストグラムとして表現すると、図２３に示すように、度数分布のピークが離散的（不連続）に現れ、かつ、視差の分布幅も相対的に広くなる。

　すなわち、視差（距離情報）を変数とするヒストグラムにおいて、度数分布のピークが離散的（不連続）に現れ、かつ、視差の分布幅が相対的に広くなる場合には、図２２のブロック４１１のように、撮像部２からの距離のばらつきが相対的に大きいといえる。そのため、撮像部２に相対的に近い近景被写体と、撮像部２から相対的に遠い遠景被写体とが混在しているといえる。このような状態の場合には、対象のブロック４１１が「遠近競合領域」に設定されていると判断できる。

　本実施の形態においては、このような「遠近競合領域」を判定するための指標値として、ヒストグラムの「距離レンジ」を採用する。この「距離レンジ」は、ヒストグラムの広がりを示す幅を意味する。より具体的には、「距離レンジ」は、ブロック４１１に含まれるすべての画素について、その視差の値が大きい方から順に計数したときに上位５％にあたる画素に対応する視差（距離情報）と、その視差の値が小さい方から順に計数したときに下位５％にあたる画素に対応する視差（距離情報）との差（分布幅）を意味する。なお、上位５％から下位５％の範囲を距離レンジとしているのは、対応点探索処理による対応点探索の誤りに起因して、取得された視差（距離情報）が本来の値とは大きく異なっている画素（ノイズ的な成分）を除去するためである。

　このように、まずは、領域判定部３４は、選択したブロック内の距離レンジを算出する（図２１のステップＳ５１）。続いて、領域判定部３４は、ステップＳ５１において算出した距離レンジに基づいて、現在設定されているブロック４１１が遠近競合領域であるか否かを判定する（ステップＳ５２）。すなわち、領域判定部３４は、選択したブロック４１１内の距離情報についての統計的な分布状態が遠近競合領域を規定した所定条件を満たすか否かを判定する。より具体的には、領域判定部３４は、ステップＳ５１において算出した距離レンジが所定のしきい値（例えば、「２０」）を超えているか否かを判断する。

　領域判定部３４は、現在設定されているブロック４１１が遠近競合領域であるか否かの判定結果を記憶し、距離画像に対してブロックを設定していない領域が存在するか否かを判断する（ステップＳ５３）。ブロックを設定していない領域が存在していれば（ステップＳ５３においてＮＯ）、次のブロックが設定され、ステップＳ５１およびＳ５２の処理が繰り返される。

　距離画像のすべてにブロックが設定され処理が完了していれば（ステップＳ５３においてＹＥＳ）、領域判定部３４は、距離画像の画像座標系上の座標と関連付けて、遠近競合領域であるか否かの識別情報を出力する。そして、処理は終了する。

　なお、本実施の形態においては、統計的な分布状態を示す指標値として「距離レンジ」を採用するが、別の指標を採用してもよい。例えば、距離画像に設定されるブロックに含まれる距離情報についての標準偏差を、統計的な分布状態を示す指標値として採用してもよい。

　以上のような一連の処理によって、入力画像１に含まれる遠近競合領域が抽出される。
　図２４は、本発明の実施の形態３に従う画像処理方法の遠近競合領域抽出処理を行なった結果の一例を示す図である。図２４に示す処理結果では、説明の便宜上、抽出された遠近競合領域のみを示している。また、図２４において、「白」の領域は、遠近競合領域と判定された領域を示し、「黒」の領域は、遠近競合領域と判定されていない領域を示す。

　図２４の（ａ）に示す処理結果は、図６の（ａ）の入力画像１に対応するものであり、「看板」や「立木群」が存在する領域が遠近競合領域として抽出されている。

　後述するように、遠近競合領域として抽出された領域（「黒」の領域）については、３２画素×６４画素の単位領域で距離が算出され、それ以外の領域（「白」の領域）については、３２画素×３２画素の単位領域で距離が算出される。

　（ｇ３：対応点探索処理および距離画像生成処理）
　次に、図２０に示す追加の距離画像生成処理（ステップＳ１Ｂ）の詳細について説明する。追加の距離画像生成処理においては、ステップＳ５の遠近競合領域抽出処理において抽出された遠近競合領域以外の領域について、距離画像生成処理が追加的に実行される。

　図２５は、図２０に示す対応点探索処理および距離画像生成処理（ステップＳ１）および追加の距離画像生成処理（ステップＳ１Ｂ）における処理内容を説明するための図である。

　図２５を参照して、まず、ステップＳ１において、遠近競合領域およびそれ以外の領域のすべてに対して、３２画素×６４画素の単位領域で距離が算出される。なお、遠近競合領域抽出処理（ステップＳ５）に先だって、対応点探索処理および距離画像生成処理（ステップＳ１）が実行されるので、この時点では、遠近競合領域は特定されていない。

　続いて、遠近競合領域が抽出されると、追加の距離画像生成処理（ステップＳ１Ｂ）において、遠近競合領域以外の領域に対して、追加の距離算出処理が実行される。本実施の形態においては、遠近競合領域に対して距離が算出される単位領域は、３２画素×６４画素の画素サイズであり、通常の単位領域の画素サイズに対して２倍となっている。そのため、遠近競合領域以外の領域に対しては、先に距離が算出されている単位領域（３２画素×６４画素）毎に１箇所ずつ追加で距離が算出される。

　上述した図２４の（ａ）に示す遠近競合領域抽出の結果のうち、遠近競合領域以外の領域（「白」の領域）については、３２画素×３２画素の単位領域で距離を算出するために、追加の距離算出処理が実行される。

　それ以外の処理については、実施の形態１と同様であるので、詳細な説明は繰り返さない。

　（ｇ４：利点）
　本実施の形態に従う画像処理方法によれば、生成されたステレオ画像に生じる歪みが目立つことが予想される領域についてのみ、縦方向に概同一化された距離画像を生成し、それ以外の領域については、距離画像の生成精度を維持することができるので、画像の歪みを抑制しつつ、メリハリ感のある立体視表示を実現することができる。

　＜Ｈ．実施の形態４＞
　実施の形態２においては「人工物領域」を抽出し、この抽出した「人工物領域」に対して、縦方向および横方向で異なる画素サイズを有する単位領域で距離を算出し、実施の形態３においては「遠近競合領域」を抽出し、この抽出した「遠近競合領域」に対して、縦方向および横方向で異なる画素サイズを有する単位領域で距離を算出する例を示した。

　これらの「人工物領域」および「遠近競合領域」は、それぞれ異なるアルゴリズムによって抽出されるため、これらの抽出された領域を適宜組み合わせて処理してもよい。

　より具体的には、「人工物領域」であって、かつ、「遠近競合領域」である領域についてのみ、縦方向および横方向で異なる画素サイズを有する単位領域で距離を算出するという方法が考えられる。このような領域の「ＡＮＤ」条件を採用することで、可能な限り立体感を残しつつ、ステレオ画像を生成できる。

　一方、「人工物領域」および「遠近競合領域」の少なくとも一方である領域について、縦方向および横方向で異なる画素サイズを有する単位領域で距離を算出するという方法が考えられる。このような領域の「ＯＲ」条件を採用することで、画像の歪みを可能な限り抑制しつつ、ステレオ画像を生成できる。

　さらに、「人工物領域」であって、かつ、「遠近競合領域」である領域については、横方向３２画素×縦方向６４画素で分割した単位で距離を算出し、「人工物領域」および「遠近競合領域」のいずれか一方のみであると判定された領域については、横方向３２画素×縦方向４８画素で分割した単位で距離を算出し、「人工物領域」および「遠近競合領域」のいずれでもないと判定された領域については、横方向３２画素×縦方向３２画素で分割した単位で距離を算出するようにしてもよい。

　このように領域の属性に応じて、より細かい精度で距離を算出するようにしてもよい。これにより、画像の歪みを抑制しつつ、メリハリ感のある立体視表示をより確実に実現することができる。

　＜Ｉ．その他の変形例＞
　上述実施の形態１～４のいずれにおいても、スムージング処理（ステップＳ２）を以下のように変形することもできる。すなわち、距離画像に対して、単位領域の画素サイズの方向性に応じたスムージング処理を行なうようにしてもよい。

　（ｉ１：スムージング処理についての変形例１）
　図２６は、本発明の実施の形態の変形例１に従う画像処理方法の手順を示す概略ブロック図である。図２７は、図２６に示すスムージング処理（ステップＳ２）において用いられる平均化フィルタの一例を示す図である。

　図２６には、典型例として、図１３に示す実施の形態１に従う画像処理方法におけるフィルタリング処理を変形した例を示すが、他の実施の形態についても同様に適用可能である。

　図２６のスムージング処理（ステップＳ２）での距離画像におけるフィルタリング処理においては、図２７に示すような、縦方向および横方向で異なる画素サイズを有する平均化フィルタを用いてもよい。図２７に示す平均化フィルタは、距離画像生成に係る単位領域に関連付けた画素サイズに設定される。このような単位領域に関連付けた画素サイズを有する平均化フィルタを用いることで、最終的に出力される距離画像において縦方向および横方向を概同一化するレベルを細かく制御できる。これによって、立体視表示を行なう際の絵作りをより最適化することもできる。

　（ｉ２：スムージング処理についての変形例２）
　本実施の形態におけるスムージング処理を２段階の処理で実現してもよい。

　図２８は、本発明の実施の形態の変形例２に従うスムージング処理を説明するための図である。図２８に示すように、１段階目（Ｓｔｅｐ１）において、距離画像（距離を取得した画素のみからなる画像）に対して、平均化フィルタをかけることで、平滑化された距離情報を生成する。この１段階目において平均化フィルタをかけられる対象の距離画像（原距離画像）は、入力画像のサイズが３４５６画素×２５９２画素であり、対応点探索が行なわれる単位領域のサイズが３２画素×３２画素である場合には、１０８画素×８１画素の画素サイズを有する。

　続く、２段階目（Ｓｔｅｐ２）において、入力画像１に応じた画素サイズの距離画像を生成するために、距離取得を行なわなかった画素に対して、周辺画素の画素値とその画素までの距離に応じて線形補間することで、各画素値を算出する。

　このとき、Ｓｔｅｐ１においては、距離を算出する単位領域の画素サイズにかかわらず、一定の画素サイズ（一例として、５画素×５画素）の平均化フィルタを用いる。これに対して、Ｓｔｅｐ２においては、距離を算出する単位領域の画素サイズに応じたサイズで線形補間することで、入力画像の画素サイズに応じた距離画像を生成する。

　なお、図２８に示すＳｔｅｐ１において、平均化フィルタのサイズを変更することで、縦方向または横方向により強いスムージング処理をかけることで、本実施の形態に従う画像処理方法と同様の画像歪みを抑制できる。より具体的には、図２８に示すＳｔｅｐ１において、５画素×９画素の平均化フィルタを用いることで、本実施の形態に従う画像処理方法と同様に、縦方向における画像歪みを抑制した距離画像を生成することができる。但し、この方法によれば、本実施の形態に従う画像処理方法に比較して、より大きな平均化フィルタを用いるため、より多くの処理量が必要となる。

　それに対して、本実施の形態に従う画像処理方法によれば、距離（視差）を算出する単位領域の画像サイズを縦方向と横方向とで異ならせることで、最初に生成される距離画像（Ｓｔｅｐ１において処理される画素サイズ）の画素数を低減できるので、平均化フィルタの画素サイズをより小さくでき、これによって、処理の高速化やハードウェア規模の削減の効果を得ることができる。

　＜Ｊ．利点＞
　本発明の実施の形態によれば、生成されたステレオ画像に生じる歪みが目立つことが予想される方向に概同一化された距離画像を生成することで画像の歪みを抑制しつつ、メリハリ感のある立体視表示を実現することができる。

　今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

　１　画像処理システム、２　撮像部、３　画像処理部、４　画像出力部、２１　第１カメラ、２１ａ，２２ａ　レンズ、２１ｂ，２２ｂ　撮像素子、２２　第２カメラ、２３，２４　Ａ／Ｄ変換部、３０　対応点探索部、３２　距離画像生成部、３４　領域判定部、３６　スムージング処理部、３８　画像生成部、１００　デジタルカメラ、１０２　ＣＰＵ、１０４　デジタル処理回路、１０６　画像処理回路、１０８　画像表示部、１１２　記憶部、１１４　ズーム機構、１２１　主カメラ、１２２　副カメラ、２００　パーソナルコンピューター、２０２　パーソナルコンピューター本体、２０４　画像処理プログラム、２０６　モニター、２０８　マウス、２１０　キーボード、２１２　外部記憶装置。

Claims (9)

1. 　被写体を撮像して第１の入力画像を取得する第１の撮像手段と、
   　前記第１の撮像手段とは異なる視点から前記被写体を撮像して第２の入力画像を取得する第２の撮像手段と、
   　前記第１の入力画像と前記第２の入力画像との間で、所定の画素サイズを有する単位領域毎に、所定位置を基準とした距離を示す距離情報を取得する距離情報取得手段とを備え、
   　前記単位領域は、前記第１の入力画像における第１の方向に対応する第１の画素間隔と、第２の方向に対応する前記第１の画素間隔とは異なる第２の画素間隔とによって定められる、画像処理システム。
2. 　前記距離情報に基づいて、前記第１の入力画像に含まれる画素を前記第１の方向にずらすことで前記被写体を立体視表示するためのステレオ画像を生成する立体視生成手段をさらに備え、
   　前記単位領域を定める前記第１の画素間隔は、前記第２の画素間隔より短く構成される、請求項１に記載の画像処理システム。
3. 　前記距離情報を示す距離画像に対して、前記単位領域の画素サイズの方向性に応じたスムージング処理を行なうスムージング処理手段をさらに備える、請求項２に記載の画像処理システム。
4. 　前記被写体に含まれる特徴領域を判定する領域判定手段をさらに備え、
   　前記距離情報取得手段は、抽出された前記特徴領域を含む単位領域について画素サイズを変更する、請求項１～３のいずれか１項に記載の画像処理システム。
5. 　前記特徴領域は、直線、２次曲線、円、楕円、テクスチャのいずれかを含む、請求項４に記載の画像処理システム。
6. 　前記特徴領域は、距離のばらつきが相対的に大きな領域である遠近競合領域を含む、請求項４に記載の画像処理システム。
7. 　前記距離情報取得手段は、前記第１の入力画像と前記第２の入力画像との間における前記被写体の各点についての対応関係に基づいて、前記距離情報を取得する、請求項１～３のいずれか１項に記載の画像処理システム。
8. 　被写体を撮像して第１の入力画像を取得するステップと、
   　前記第１の入力画像を撮像した視点とは異なる視点から前記被写体を撮像して第２の入力画像を取得するステップと、
   　前記第１の入力画像と前記第２の入力画像との間で、所定の画素サイズを有する単位領域毎に、所定位置を基準とした距離を示す距離情報を取得するステップとを備え、
   　前記単位領域は、前記第１の入力画像における第１の方向に対応する第１の画素間隔と、第２の方向に対応する前記第１の画素間隔とは異なる第２の画素間隔とによって定められる、画像処理方法。
9. 　コンピューターに画像処理を実行させる画像処理プログラムであって、前記画像処理プログラムは、前記コンピューターに、
   　被写体を撮像した第１の入力画像を取得するステップと、
   　前記第１の入力画像を撮像した視点とは異なる視点から前記被写体を撮像した第２の入力画像を取得するステップと、
   　前記第１の入力画像と前記第２の入力画像との間で、所定の画素サイズを有する単位領域毎に、所定位置を基準とした距離を示す距離情報を取得するステップとを実行させ、
   　前記単位領域は、前記第１の入力画像における第１の方向に対応する第１の画素間隔と、第２の方向に対応する前記第１の画素間隔とは異なる第２の画素間隔とによって定められる、画像処理プログラム。

Images