JP5582101B2 - 画像処理装置、そのプログラム、および画像処理方法 - Google Patents

Description

本発明は、立体画像を生成する画像処理技術に関する。

近年、表示される画像を立体視可能な三次元テレビなどの三次元表示装置の普及が進んでおり、三次元表示装置用の立体視可能な左目用および右目用の画像群（「立体画像」）を容易に生成可能な技術が望まれている。

立体画像を生成し表示する一般的手法として、例えば、左右２台のカメラを有するステレオカメラによって被写体を撮影して左画像と右画像とを取得し、左画像と右画像とを立体画像として表示画面に表示する手法などが採用される。

表示画面に表示された立体画像が観察される場合において、観察者が表示画面の一点を見たときの両眼の視線の輻輳角と、観察者が該表示画面に表示された立体画像に係る立体を見たときの該輻輳角との差の絶対値は、「視差角」とも称される。一般に、視差角が１度以内であれば、観察者は、表示画面に焦点を合わせつつ表示画面の前後（表示画面よりも近方または遠方）に立体画像に係る立体を快適に認識することができる。１度以内の視差角に相当する立体画像の視差範囲（以下、「適正視差範囲」とも称される）は、表示画面のサイズ、観察者と表示画面との距離、および表示画面に表示される立体画像の画素数などの画像の表示観察条件に基づいて決定される。なお、立体画像の視差が適正視差範囲を超えると、例えば、像が二重に観察される現象などが発生し、観察者は、目の疲労感、不快感などを覚える。

特許文献１の３次元画像出力装置は、ステレオカメラによる被写体の撮影によって生成された立体画像（「原立体画像」とも称される）の各部の視差について、視差の値に応じて強弱をつける重み付けによって調整した視差を求める。そして、該３次元画像出力装置は、調整後の視差に応じて原立体画像を変形することで視差が調整された立体画像を生成する。また、該３次元画像出力装置は、調整後の視差が予め設定された範囲を超えないように調整後の視差の範囲を制限し得る。従って、該３次元画像出力装置によれば、原立体画像における視差の値に関わらず、適正視差範囲の視差を有する立体画像を原立体画像から生成することができる。

特開２０１０−２０６７７４号公報

しかしながら、特許文献１の３次元画像出力装置においては、原立体画像の各部の変形量は、該各部の視差にそれぞれ応じた量となる。従って画像各部における視差の差異に起因して、生成される立体画像には、画素値が設定されない各画素が集合した空白部分、すなわち画像が生成されない空白部分が生ずる場合がある。

該空白部分については、一般に、その周辺部分の画素値を用いた補間処理などによって該空白部分の解消が図られるが、該補間処理を適用可能な空白部分の大きさには、一般に、制限がある。該空白部分の大きさが該制限を超える場合には、補間処理が施された該空白部分には、例えば、同じ画素値の領域が長く続いたり、縦線が歪むなどの不自然な画像の歪みが生ずる場合がある。

このように、特許文献１の３次元画像出力装置においては、原立体画像から生成される立体画像の視差を適正視差範囲内に設定すると、原立体画像の視差の分布幅が大きくなればなるほど、生成される立体画像における該空白部分の補正がされきれなくなるといった問題がある。逆に、該空白部分の大きさを抑制するために視差の調整幅が制限されると、生成される立体画像の視差が大きくなりすぎるために該立体画像が立体視されなくなるといった問題がある。

本発明は、こうした問題を解決するためになされたもので、撮影される被写体の距離に関わらず観察者が違和感を覚えることなく立体視可能な立体画像が生成される可能性を高めることを目的とする。

上記の課題を解決するため、第１の態様に係る画像処理装置は、互いに異なる視点から被写体がそれぞれ撮影された第１画像と第２画像とを取得する第１取得手段と、前記被写体を撮影した撮像系から前記被写体の各点までの距離である被写体距離にそれぞれ対応した各距離情報を取得する第２取得手段と、前記被写体の立体画像を生成する手段であって、前記第１画像と前記第２画像との双方を用いて前記立体画像を生成する第１生成処理と、前記第１画像と前記第２画像とのうちの何れか一方を用いて前記立体画像を生成する第２生成処理とを、前記各距離情報に基づいて選択的に行うことにより、前記立体画像を生成する生成手段と、を備え、前記生成手段が、前記各距離情報に基づいて原視差範囲を算出し、前記原視差範囲が基準値よりも小さい場合には前記第１生成処理を選択し、前記基準値以上の場合には前記第２生成処理を選択して前記立体画像を生成することを特徴とする。

第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記生成手段が、前記各距離情報に対応する視差の統計的な分布幅に基づいて前記原視差範囲を算出することを特徴とする。

第３の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記生成手段が、前記各距離情報に対応する視差の最大値と最小値に基づいて前記原視差範囲を算出することを特徴とする。

第４の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記生成手段が、前記各距離情報中の最近接距離と無限遠とに基づいて前記原視差範囲を算出することを特徴とする。

第５の態様に係る画像処理装置は、第１から第４の何れか１つの態様に係る画像処理装置であって、立体画像を表示する表示部を有し、前記生成手段が、前記原視差範囲が、前記表示部に表示される立体画像の適正視差範囲に入るように、前記第１画像と前記第２画像との視差を調整して前記立体画像を生成することを特徴とする。

第６の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記第２取得手段が、前記各距離情報を、前記第１画像と前記第２画像との対応点探索処理に基づいて取得することを特徴とする。

第７の態様に係る画像処理装置は、第１から第５の何れか１つの態様に係る画像処理装置であって、前記第２取得手段が、前記各距離情報を、前記第１画像と前記第２画像とを取得するための撮像系の機能によって得られる被写体距離情報に基づいて取得することを特徴とする。

第８の態様に係る画像処理装置は、第１から第７の何れか１つの態様に係る画像処理装置であって、前記前記被写体距離が時間的に減少している場合と、増加している場合とのそれぞれにおける前記基準値が互いに異なることを特徴とする。

第９の態様に係る画像処理装置は、第８の態様に係る画像処理装置であって、前記被写体距離が時間的に減少している場合についての前記基準値が、前記被写体距離が時間的に増加している場合についての前記基準値よりも大きいことを特徴とする。

第１０の態様に係る画像処理装置は、第１から第７の何れか１つの態様に係る画像処理装置であって、前記第１画像と前記第２画像とはそれぞれ、前記互いに異なる視点から前記被写体を時系列的に撮影して得られる第１と第２の時系列的画像群の要素画像であり、前記生成手段は、前記第１生成処理と前記第２生成処理との選択判断を、各時系列の進行に伴って時間順次に繰り返して実行する繰り返し手段と、前記第１生成処理と前記第２生成処理との切り替えの際に、前記立体画像を構成する左右画像のうちの少なくとも一方を、切り替え前後で同じ画像とする接続手段と、を備えることを特徴とする。

第１１の態様に係る画像処理装置は、第１から第７の何れか１つの態様に係る画像処理装置であって、前記第１画像と前記第２画像とはそれぞれ、前記互いに異なる視点から前記被写体を時系列的に撮影して得られる第１と第２の時系列的画像群の要素画像であり、前記生成手段は、前記第１生成処理と前記第２生成処理との選択判断を、各時系列の進行に伴って時間順次に繰り返して実行する繰返し手段と、いったん前記第２生成処理を選択した後には、前記第１生成処理の選択機能を不能化する不能化手段と、を備えることを特徴とする。

第１２の態様に係る画像処理装置は、第１１の態様に係る画像処理装置であって、前記不能化手段が、前記第２生成処理が選択された後少なくとも予め設定された時間が経過するまで、前記選択機能の不能化を維持することを特徴とする。

第１３の態様に係る画像処理装置は、第１から第１２の何れか１つの態様に係る画像処理装置であって、前記第１の生成処理は、前記立体画像を生成するにあたって、前記第１画像および前記第２画像の画素値を画素単位で空間的にそれぞれシフトさせた画像を使用し、前記第２の生成処理は、前記立体画像を生成するにあたって、前記第１画像と第２画像との何れか一方の画像の画素値を画素単位で空間的にそれぞれシフトさせた画像を使用することを特徴とする。

第１４の態様に係る画像処理装置は、第１から第１３の何れか１つの態様に係る画像処理装置であって、前記画像処理装置が、携帯電話、携帯型情報端末、デジタルスチルカメラ、またはデジタルビデオカメラであることを特徴とする。

第１５の態様に係るプログラムは、画像処理装置に搭載されたコンピューターにおいて実行されることにより当該画像処理装置を第１から第１４の何れか１つの態様に係る画像処理装置として機能させることを特徴とする。

第１６の態様に係る画像処理方法は、互いに異なる視点から被写体がそれぞれ撮影された第１画像と第２画像とを取得する第１取得工程と、前記被写体を撮影した撮像系から前記被写体の各点までの距離である被写体距離にそれぞれ対応した各距離情報を取得する第２取得工程と、前記被写体の立体画像を生成する工程であって、前記第１画像と前記第２画像との双方を用いて前記立体画像を生成する第１生成処理と、前記第１画像と前記第２画像とのうちの何れか一方を用いて前記立体画像を生成する第２生成処理とを、前記各距離情報に応じて選択的に行うことにより、前記立体画像を生成する生成工程と、を有し、前記生成工程が、前記各距離情報に基づいて原視差範囲を算出し、前記原視差範囲が基準値よりも小さい場合には前記第１生成処理を選択し、前記基準値以上の場合には前記第２生成処理を選択して前記立体画像を生成する工程であることを特徴とする。

第１から第１６の何れの態様に係る発明によっても、第１画像と第２画像との双方を用いて立体画像を生成する第１生成処理と、第１画像と第２画像とのうちの何れか一方を用いて立体画像を生成する第２生成処理とが、撮像系から被写体の各点までの距離にそれぞれ対応した各距離情報に応じて選択的に行われて、該被写体の立体画像が生成される。従って、撮影される被写体の距離に関わらず観察者が違和感を覚えることなく立体視可能な立体画像が生成される可能性が高められ得る。

実施形態に係る画像処理装置の外観の概略を示す模式図である。 実施形態に係る画像処理装置の外観の概略を示す模式図である。 実施形態に係る画像処理装置の主な構成を例示するブロック図である。 実施形態に係る画像処理装置の主な機能構成を例示するブロック図である。 第１生成処理における入力立体画像と出力立体画像との対応関係を示す図である。 第２生成処理における入力立体画像と出力立体画像との対応関係を例示する図である。 第１画像および第２画像の一例を示す模式図である。 左目用画像および右目用画像の一例を示す模式図である。 入力立体画像の視差から生成される出力立体画像の視差の一例を示す図である。 出力立体画像の互いに対応する各画素のＸ座標の一例を示す図である。 出力立体画像の互いに対応する各画素のＸ座標の一例を示す図である。 ソース画像の部分画像と、出力立体画像の部分画像とのそれぞれにおける各画素の対応関係の一例を示す図である。 ソース画像の部分画像の画素座標および画素ずらし値と、出力立体画像の部分画像の画素座標との対応関係の一例を示す図である。 第１生成処理において生ずるオクルージョン領域の一例を示す図である。 第２生成処理において生ずるオクルージョン領域の一例を示す図である。 適正視差範囲を説明するための図である。 適正視差範囲を説明するための図である。 原視差範囲と目標視差範囲との対応関係の一例を示す図である。 原視差範囲と目標視差範囲との対応関係の一例を示す図である。 原視差範囲と目標視差範囲との対応関係の一例を示す図である。 原視差範囲と目標視差範囲との対応関係の一例を示す図である。 生成処理の切り替えの際に、入力立体画像の視差から生成される出力立体画像の視差の一例を示す図である。 生成処理の切り替えの際に、出力立体画像の互いに対応する各画素のＸ座標の一例を示す図である。 生成処理の切り替えの際に、出力立体画像の互いに対応する各画素のＸ座標の一例を示す図である。 異なる基準値の一例を示す図である。 不能化部の動作を説明するための図である。 視差の統計的な分布状態の一例を示す図である。 実施形態に係る画像処理装置の動作フローを例示する図である。 実施形態に係る画像処理装置の動作フローを例示する図である。 実施形態に係る画像処理装置の動作フローを例示する図である。 実施形態に係る画像処理装置の動作フローを例示する図である。

以下、本発明の一実施形態を図面に基づいて説明する。図面では同様な構成および機能を有する部分に同じ符号が付され、下記説明では重複説明が省略される。また、各図面は模式的に示されたものであり、例えば、各図面における画像上の表示物のサイズおよび位置関係等は正確に図示されたものではない。

また、画像データと、該画像データに基づいて表示される画像とをまとめて「画像」と適宜総称する。更に、各図面では、画像の左上の画素が原点とされ、該画像の長辺に沿った方向（ここでは、横方向）がＸ軸方向とされ、該画像の短辺に沿った方向（ここでは縦方向）がＹ軸方向とされる。そして、各画像の右方向が＋Ｘ方向とされ、各画像の下方向が＋Ｙ方向とされる。なお、図１、図２、図７、図８、図１４および図１５には、直交するＸＹＺの３軸が付されている。また、本願において、単に「分布幅」という用語が使用される場合には、該「分布幅」は、評価対象の値についての統計的な分布幅と、空間的な分布幅とのうち「統計的な分布幅」を指している。

＜実施形態について：＞
＜（１）画像処理装置１００Ａの外観構成について＞
図１、図２は、本発明の実施形態に係る画像処理装置１００Ａの外観構成の概略を示す模式図である。画像処理装置１００Ａは、携帯電話、カメラ、およびサーバ装置との間で無線通信等により各種情報の送受信を行う端末装置などとして機能する折り畳み式の携帯型情報端末として構成されている。画像処理装置１００Ａ、筐体２００Ａと、筐体２００Ｂと、ヒンジ部４００とを主に有している。ヒンジ部４００は、筐体２００Ａと筐体２００Ｂとを機械的に回動可能に接続するとともに、筐体２００Ａと筐体２００Ｂとを電気的にも接続している。ヒンジ部４００によって画像処理装置１００Ａは、折り畳み可能となっている。

図１、図２は、画像処理装置１００Ａが開かれた外観をそれぞれ示している。図１には、画像処理装置１００Ａが折り畳まれたときに画像処理装置１００Ａの外面となる面（「うら面」とも称される）が示されている。また、図２には、画像処理装置１００Ａが開かれた状態における該うら面以外の面（「おもて面」とも称される）が示されている。

筐体２００Ａおよび筐体２００Ｂは、それぞれ板状の部材であり、各種電子部材を格納する筐体としての役割を有している。具体的には、筐体２００Ａは、そのうら面側に第１カメラ６１および第２カメラ６２を備えたステレオカメラ３００（図３）を有するとともに、そのおもて面に表示部４３を有している。また、筐体２００Ｂは、ボタン等の操作部４２をそのおもて面に有するともに、画像処理装置１００Ａを電気的に制御するＣＰＵ（Central Processing Unit）１１Ａ（図４）などをその内部に有している。

また、画像処理装置１００Ａは、ステレオカメラ３００によって撮影された被写体の画像に基づいて観察者が立体視可能な立体視画像を生成し、表示部４３に表示する。

＜（２）画像処理装置１００Ａの機能構成について＞
図３は、実施形態に係る画像処理装置１００Ａの主な構成を例示するブロック図である。図３に示されるように、情報処理装置１００Ａは、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６およびステレオカメラ３００を主に備えて構成されている。

＜（２−１）ステレオカメラ３００の構成と動作＞
図３に示されるように、ステレオカメラ３００（「撮像系」とも称される）は、第１カメラ６１と第２カメラ６２とを主に備えて構成されている。また、第１カメラ６１および第２カメラ６２は、それぞれ、不図示の撮影光学系と、所定の画素数の撮像素子を有する制御処理回路とを主に備えて構成されている。該撮像素子は、例えば、３４５６×２５９２画素サイズなどの有効画素数を持つＣＣＤイメージセンサやＣＭＯＳイメージセンサなどによって構成された撮像素子である。該撮像素子は、撮像素子に結像された光像の強度に応じた画像信号を生成して制御処理回路に供給する。該制御処理回路は、供給された画像信号を処理することによって、撮像素子の有効画素数に応じた画素サイズのデジタル画像を生成する。

ステレオカメラ３００の各種動作は、ＣＰＵ１１Ａから入出力部４１およびデータ線ＤＬを介して供給される制御信号に基づいて制御される。ステレオカメラ３００は、被写体からの光線情報を第１カメラ６１と第２カメラ６２とで同期して処理することによって、被写体のステレオ画像を構成する第１画像２１および第２画像２２を生成する。第１画像２１および第２画像２２は、互いに異なる視点から被写体がそれぞれ撮影された画像であり、入力立体画像２３を構成する。生成された第１画像２１および第２画像２２は、データ線ＤＬを介して入出力部４１へと供給される。

第１カメラ６１と第２カメラ６２とのそれぞれの撮影光学系は、互いに所定の基線長ｂを隔てて設けられている。各撮影光学系の光軸は互いに平行であり、焦点距離ｆｒは互いに等しい。また、各撮影光学系における主点などの光学中心は、各光軸のそれぞれに垂直な同一平面上にある。さらに、それぞれの撮影光学系の撮像素子もまた、各光軸のそれぞれに垂直な同一平面上にある。第１画像２１および第２画像２２の相互間での対応点探索処理が容易に行えるように、各撮像素子は、それぞれの走査線が互いに平行になるように設置されている。

実際の構成においては、通常、上述した構成条件に対して誤差があるが、第１カメラ６１および第２カメラ６２からそれぞれ供給される第１画像２１および第２画像２２に対して、ＣＰＵ１１Ａがカメラパラメータなどを用いた処理（「平行化処理」とも称される）を行うことによってステレオカメラ３００の各機能要素が上述した構成条件を満たす場合と同等の状態が実現される。

平行化処理が行われた場合には、各カメラの撮影光学系の主平面と被写体との距離Ｄは、視差ｄ、焦点距離ｆｒ、および基線長ｂを用いて（１）式によって与えられる。視差ｄは、後述するように、第１画像２１および第２画像２２に基づいて取得される。

（１）式に示されるように、視差は、被写体上の点のステレオカメラ３００からの距離に関する指標値となっている。

なお、第１画像２１と第２画像２２とのそれぞれの撮影時におけるステレオカメラ３００に対する被写体の位置関係が同じであれば、第１画像２１と第２画像２２とは、同時刻に撮影されていなくても良い。また、ステレオカメラ３００は、第１カメラ６１と第２カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の第１画像２１（「第１の時系列画像群」とも称される）および複数の第２画像２２（「第２の時系列画像群」とも称される）を生成することもできる。そして、第１の時系列画像群と、第２の時系列画像群とは、「時系列立体画像群」を構成する。この場合、該複数の第１画像２１のうち１つの第１画像２１は、第１の時系列画像群の要素画像であり、該１つの第１画像２１と同期して撮影された１つの第２画像２２は、第２の時系列画像群の要素画像となる。

また、ステレオカメラ３００が、オートフォーカス機能を有しているとしても、有してないとしても本発明の有用性を損なうものではない。ステレオカメラ３００がオートフォーカス機能を有している場合には、ステレオカメラ３００は、合焦時のレンズ繰り出し量などに基づいて、ステレオカメラ３００に対する被写体の距離を取得できる。

＜（２−２）情報処理装置１００Ａの構成（ステレオカメラ３００以外）＞
○入出力部４１：
図３に示されるように、入出力部４１は、例えば、ステレオカメラ３００と電気的に接続されたデータ線ＤＬと、信号線４９とを電気的に接続するコネクタなどによって構成され、ステレオカメラ３００とＣＰＵ１１Ａなどとの間でデータの授受を行うものである。具体的には、入出力部４１は、例えば、ＣＰＵ１１Ａがステレオカメラ３００を制御するための各種の制御信号を、データ線ＤＬなどを介して入出力部４１に接続されたステレオカメラ３００へと供給する。

また、入出力部４１は、ステレオカメラ３００が撮影した第１画像２１および第２画像２２をＲＡＭ４５およびＣＰＵ１１Ａなどへとそれぞれ供給する。なお、入出力部４１は、ＵＳＢインタフェースなどの外部機器用のインタフェースもまた備えている。このため、情報処理装置１００Ａは、予め撮影されてコンピューターなどの外部機器に記憶された第１画像２１および第２画像２２を入出力部４１を介して取得することもできる。

○操作部４２：
操作部４２は、例えば、筐体２００Ｂのおもて面に設けられた各種の操作ボタンなどによって構成されており、操作者が操作部４２を操作することによって、該操作に対応した操作信号５２が操作部４２からＣＰＵ１１Ａへと供給される。ＣＰＵ１１Ａは、供給された操作信号５２に基づいて情報処理装置１００Ａの各種制御パラメータおよび各種動作モードの設定などを行う。また、情報処理装置１００Ａの各機能部は、操作部４２を介して設定された各動作モードに応じた処理を行う。

○表示部４３：
表示部４３は、例えば、パララックスバリア方式などの３次元表示方式に対応した３次元表示用の液晶表示画面などによって構成される。また、表示部４３は、左目用画像２７と右目用画像２８とによって構成される出力立体画像２９を表示部４３における３次元表示方式に対応した画像形式に変換する不図示の画像処理部を備えている。表示部４３は、該画像処理部によって必要な変換処理が施された該立体画像をその表示画面に表示する。

表示部４３における３次元表示方式として、例えば、左目用画像および右目用画像を交互に高速で切り替えて表示部４３に表示するとともに、該切り替えに同期して、左目および右目にそれぞれ対応した各シャッター部を交互に開閉可能な専用めがねを介して表示部４３に表示された立体画像が観察される三次元表示方式が採用されてもよい。なお、表示部４３は、ステレオカメラ３００から供給される第１画像２１、第２画像２２、および情報処理装置１００Ａに関する各種設定情報など、および制御用ＧＵＩ（Graphical User Interface）などを、二次元の画像や文字情報として観察者に視認され得るように表示することもできる。

○ＲＯＭ４４：
ＲＯＭ（Read Only Memory）４４は、読出し専用メモリであり、ＣＰＵ１１Ａを動作させるプログラムＰＧ１などを格納している。なお、読み書き自在の不揮発性メモリ（例えば、フラッシュメモリ）が、ＲＯＭ４４に代えて使用されてもよい。

○ＲＡＭ４５：
ＲＡＭ（Random Access Memory）４５は、読み書き自在の揮発性メモリである。ＲＡＭ４５は、ステレオカメラ３００が撮影した各種画像、情報処理装置１００Ａが生成した出力立体画像２９などを一時的に記憶する画像格納部として機能する。また、ＲＡＭ４５は、ＣＰＵ１１Ａの処理情報を一時的に記憶するワークメモリなどとしても機能する。なお、後述するＣＰＵ１１Ａにおける各機能部の間での画像（画像データ）等の授受は、ＲＡＭ４５を介して行なわれる。

○記憶装置４６：
記憶装置４６は、例えば、フラッシュメモリなどの読み書き自在な不揮発性メモリや小型のハードディスク装置等によって構成されており、情報処理装置１００Ａの各種制御パラメータや各種動作モードなどの情報を恒久的に記録する。また、記憶装置４６には、情報処理装置１００Ａが生成した出力立体画像２９、操作部４２などを介して設定された立体画像２９の表示観察条件なども恒久的に記憶される。

○ＣＰＵ１１Ａ：
ＣＰＵ（Central Processing Unit）１１Ａは、情報処理装置１００Ａの各機能部を統轄制御する制御処理装置であり、ＲＯＭ４４に格納されたプログラムＰＧ１に従った制御および処理を実行する。ＣＰＵ１１Ａは、図４を用いて後述するように、第１取得部１２、第２取得部１３、第３取得部１４、第４取得部１５、および生成部１６としても機能する。

ＣＰＵ１１Ａは、これらの各機能部などによって、ステレオカメラ３００によって撮影された被写体の第１画像２１および第２画像２２から、被写体についての出力立体画像２９を構成する左目用画像２７および右目用画像２８を生成する。出力立体画像２９の生成に際して、ＣＰＵ１１Ａは、被写体を撮影したステレオカメラ３００から被写体の各点までの距離である被写体距離にそれぞれ対応した各距離情報を取得する。

そして、ＣＰＵ１１Ａは、第１画像２１と第２画像２２との双方を用いて出力立体画像２９を生成する第１生成処理と、第１画像２１と第２画像２２とのうちの何れか一方を用いて出力立体画像２９を生成する第２生成処理とを、取得した各距離情報に応じて選択的に行うことにより、出力立体画像２９を生成する。ＣＰＵ１１Ａは、ステレオカメラ３００の撮像動作の制御を行うとともに、表示部４３を制御して、各種画像、算出結果、および各種制御情報などを表示部４３に表示させる。

また、ＣＰＵ１１Ａ、入出力部４１、操作部４２、表示部４３、ＲＯＭ４４、ＲＡＭ４５、記憶装置４６等のそれぞれは、信号線４９を介して電気的に接続されている。したがって、ＣＰＵ１１Ａは、例えば、入出力部４１を介したステレオカメラ３００の制御およびステレオカメラ３００からの画像情報の取得、および表示部４３への表示等を所定のタイミングで実行できる。なお、図４に示される構成例では、第１取得部１２、第２取得部１３、第３取得部１４、第４取得部１５、および生成部１６などの各機能部は、ＣＰＵ１１Ａで所定のプログラムを実行することによって実現されているが、これらの各機能部はそれぞれ、例えば、専用のハードウェア回路などによって実現されてもよい。

＜（２−３）画像処理装置１００Ａの要部の機能構成について＞
図４は、実施形態に係る画像処理装置１００Ａの主な機能構成を例示するブロック図である。

○第１取得部１２：
図４に示される第１取得手段の一例である第１取得部１２は、互いに異なる視点から被写体がそれぞれ撮影された第１画像と第２画像とを入出力部４１を介して取得する。取得された第１画像２１および第２画像２２は、第２取得部１３、および生成部１６へと供給される。

○第２取得部１３：
第２取得手段の一例である第２取得部１３は、第１画像２１および第２画像２２に対して対応点探索処理を施すことなどにより、第１画像２１と第２画像２２との間での各視差を、ステレオカメラ３００から被写体の各点までの距離（「被写体距離」）にそれぞれ対応した各距離情報３１として取得する。

第２取得部１３は、ＮＣＣ（Normalized Cross Correlation）法、ＳＡＤ（Sum of Absolute Difference）法、またはＰＯＣ（Phase Only Correlation）法などの相関演算手法を用いたパターンマッチング処理により該対応点探索処理を行う。より詳細には、第２取得部１３は、第１画像２１と第２画像２２との間で互いに対応づけられる各領域を該パターンマッチング処理によって特定し、特定した各領域の代表点を、第１画像２１と第２画像２２との間で互いに対応する画素の組みとして特定する。

該対応点探索処理が行われた結果、第１画像２１における各注目画素と、該各注目画素にそれぞれ対応した第２画像２２における各対応画素とが特定される。そして、第２取得部１３は、注目画素と対応画素との組合せ毎に、第１画像２１における注目画素のＸ座標ＸＬと、第２画像２２における対応画素のＸ座標ＸＲとから（２）式を用いて視差ｄを算出し、算出した各視差を各距離情報３１として取得する。

また、第２取得部１３は、動作モードに応じて、ステレオカメラ３００のオートフォーカス機能によって得られる被写体距離情報、または他の三次元測定機などによって被写体が測定された情報を入出力部４１を介して取得し、該情報に基づいてステレオカメラ３００から被写体の各点までの被写体距離を各距離情報３１として取得することもできる。なお、本願においては、視差と距離との総称として「距離情報」という用語を使用する。取得された各距離情報３１は、第３取得部１４、第４取得部１５、および生成部１６へと供給される。

○第３取得部１４：
第３取得手段の一例である第３取得部１４は、立体画像の表示観察条件を記憶装置４６から読出して後述する適正視差範囲３２（図４）を算出する。また、第３取得部１４は、取得した表示観察条件および適正視差範囲３２などに基づいて、出力立体画像２９の目標視差範囲Ｗ２（図４）を、目標視差範囲Ｗ２が適正視差範囲３２（図４）の範囲内となるように設定する。適正視差範囲３２と目標視差範囲Ｗ２とは、第４取得部１５、生成部１６、および記憶装置４６へと供給される。

○第４取得部１５：
第４取得手段の一例である第４取得部１５は、供給された各距離情報３１、適正視差範囲３２（目標視差範囲Ｗ２）とに基づいて、各距離情報３１の統計的な分布状態に関する基準値ＴＨ１（図４）を設定する。基準値ＴＨ１は、生成部１６および記憶装置４６に供給され、生成部１６において第１生成処理と第２生成処理との何れか一方の生成処理の選択に用いられる。

○生成部１６：
生成手段の一例である生成部１６は、第１画像２１と第２画像２２との双方を用いて出力立体画像２９を生成する第１生成処理と、第１画像２１と第２画像２２とのうちの何れか一方を用いて出力立体画像２９を生成する第２生成処理とを、取得した各距離情報に応じて選択的に行うことにより、出力立体画像２９を生成する。なお、生成部１６は、各距離情報３１の統計的な分布状態、例えば、各距離情報３１の統計的な分布幅である原視差範囲Ｗ１（図２７）と基準値ＴＨ１との関係を判定条件として第１生成処理と第２生成処理との選択を切り替える。

図２７は、視差の統計的な分布状態である原視差範囲Ｗ１の一例を示す図である。図２７に示されるように、生成部１６は、第２取得部１３から供給された各距離情報３１についてのヒストグラムを作成している。該ヒストグラムの横軸には、区分けされた視差（距離情報）が変数として示され、縦軸には、区分けされた視差の各区間に属する画素の度数（個数）が示されている。

生成部１６は、例えば、度数分布の所定範囲（例えば、上位５％および下位５％以外）に入る各画素に対応した視差（距離情報）の分布幅を原視差範囲Ｗ１として採用する。なお、該上位５％および下位５％に入る画素の除去は、基準画像２１と参照画像２２との間での対応点探索の誤りに起因して、取得された距離情報が実際の距離情報とは大きく異なっている画素を除くために行われる。また、例えば、各距離情報３１のうち最大値に相当する視差と最小値に相当する視差との差を求めることによって、原視差範囲Ｗ１を算出してもよい。

また、生成部１６は、動作モードに応じて、入力立体画像２３に撮影された近景被写体像の視差などの各距離情報３１の代表値を各距離情報３１の統計的な分布幅として第１生成処理と第２生成処理との選択を行うこともできる。生成された出力立体画像２９は、目標視差範囲Ｗ２の範囲内の視差分布を有しており、表示部４３に表示される。

また、生成部１６は、設定された動作モードに応じて、後述する繰り返し部１７、接続部１８、および不能化部１９（それぞれ図４）としても機能する。

画像処理装置１００Ａによれば、第１生成処理と第２生成処理とのうちステレオカメラ３００から被写体の各点までの距離にそれぞれ対応した各距離情報３１に応じて選択される一方の生成処理が行なわれて、被写体の出力立体画像２９が生成される。すなわち、画像処理装置１００Ａによれば、第１画像２１と第２画像２２との双方を用いて出力立体画像２９を生成する第１生成処理と、第１画像２１と第２画像２２とのうちの何れか一方を用いて出力立体画像２９を生成する第２生成処理とが、撮像系から被写体の各点までの距離にそれぞれ対応した各距離情報に応じて選択的に行われて、該被写体の出力立体画像２９が生成される。従って、撮影される被写体の距離に関わらず観察者が違和感を覚えることなく立体視可能な立体画像が生成される可能性が高められ得る。

＜（３）立体画像について＞
＜（３−１）立体画像および立体画像の視差について＞
次に、立体画像と、立体画像の視差とについて説明する。立体画像（ステレオ画像）を構成する左目用画像と右目用画像とは、物体の同一部分に対応した画素の位置が互いに左右方向（図７、図８のＸ軸方向）にずれている関係を有している。本願においては、左眼用画像と右眼用画像との間における物体の同一部分を捉えた画素の位置のずれ量は「視差」と称される。

より詳細には、視差は、物体の同一部分にそれぞれ対応した左目用画像における注目画素と右目用画像における対応画素とにおいて、左目用画像の画像空間における注目画素の位置（Ｘ座標）から右目用画像の画像空間における対応画素の位置（Ｘ座標）が、例えば、（２）式によって減算された減算結果として求められる。なお、本願において視差の値の符号（正、負）を用いた説明がされる場合には、視差が（２）式によって算出されているとの前提で説明がされている。

立体画像が表示部４３の表示画面に表示された場合、視差の値が正であれば、左目用画像における注目画素および右目用画像における対応画素に対応した物体の同一部分は、表示画面よりも近方に観察される。また、視差の値が零であれば、該同一部分は、表示画面と同じ位置に観察される。また、視差の値が負であれば、該同一部分は、表示画面よりも遠方に観察される。

図７は、第１カメラ６１によって取得された入力立体画像２３を構成する第１画像（「左画像」とも称される）２１と、第２カメラ６２によって取得された第２画像（「右画像」とも称される）２２との一例を示す模式図である。なお、第１カメラ６１と第２カメラ６２とは、互いに水平方向に所定の基線長ｂを隔てて配置されている。第１画像２１と第２画像２２とは、入力立体画像２３を構成している。

図７において、第１画像２１と、第２画像２２とには、ステレオカメラ３００に対して＋Ｚ方向に位置する同一の近側被写体についての近景被写体像６６ｃおよび６６ｄがそれぞれ撮影されている。また、第１画像２１と、第２画像２２とには、ステレオカメラ３００に対して＋Ｚ方向に該近側被写体より遠方にある同一の遠側被写体についての遠景被写体像６７ｃおよび６７ｄがそれぞれ撮影されている。図７と後述する図８とにおいては、説明を容易にするために、各被写体像のそれぞれにおける各特徴部のエッジ（輪郭）のみが表示されている。

また、近景被写体像６６ｃ上の画素６８ｃおよび近景被写体像６６ｄ上の画素６８ｄは、近側被写体の同一の点にそれぞれ対応した画素であり、遠景被写体像６７ｃ上の画素６９ｃおよび遠景被写体像６７ｄ上の画素６９ｄは、遠側被写体の同一の点にそれぞれ対応した画素である。また、視差９ａは、画素６８ｃと画素６８ｄとについての正の視差であり、視差９ｂは、画素６９ｃと画素６９ｄとについての正の視差である。なお、図７においては、第１画像２１と第２画像２２とは、視差の把握を容易にするため該両画像の左端（右端）のＸ座標が等しくなるように図７のＹ軸方向に並べて表示されている。また、後述する図８においても同様に表示されている。

図７に示されるように、視差９ａおよび視差９ｂは、水平方向（Ｘ軸方向）に生じている。また、ステレオカメラ３００に対する近側被写体と遠側被写体とのそれぞれの距離の差異に起因して視差９ａと視差９ｂとは異なった値となっている。より詳細には、近側被写体に対応した視差９ａの方が遠側被写体に対応した視差９ｂよりも視差の大きさが大きくなっている。このように視差の大きさは、画像上の画素に対応した被写体上の点のステレオカメラ３００からの距離に応じて変動する。また、ステレオカメラ３００によって撮影された入力立体画像２３を構成する第１画像２１と第２画像２２との視差の値は、（１）式にも示されるように、０以上の値となる。被写体がステレオカメラ３００に対して無限遠に位置するときに、視差は０となり、被写体がステレオカメラ３００に近づけば近づくほど、視差の値は大きくなる。

図８は、第１画像２１および第２画像２２（図７）から生成された左目用画像２７および右目用画像２８の一例を示す模式図である。左目用画像２７と右目用画像２８とは出力立体画像２９を構成している。左目用画像２７および右目用画像２８は、ＣＰＵ１１Ａが第１画像２１および第２画像２２の間での視差の値を調整することによって生成されている。

図８において、近景被写体像６６ｅ、６６ｆは、図７の第１画像２１および第２画像２２にそれぞれ撮影された近側被写体に対応した画像である。同様に、遠景被写体像６７ｅおよび６７ｆは、第１画像２１および第２画像２２にそれぞれ撮影された遠側被写体に対応した画像である。画素６８ｅおよび６８ｆは、画素６８ｃおよび６８ｄ（図７）がそれぞれ対応した近側被写体上の同一の点にそれぞれ対応した画素である。画素６９ｅと６９ｆは、画素６９ｃおよび６９ｄ（図７）がそれぞれ対応した遠側被写体上の同一の点にそれぞれ対応した画素である。従って、画素６８ｅおよび６８ｆの間での視差９ｃは、視差９ａ（図７）に対応した視差であり、画素６９ｅおよび６９ｆの間での視差９ｄは、視差９ｂ（図７）に対応した視差である。

図７、図８に示されるように、生成部１６によって視差９ｃは、対応する視差９ａよりも小さくなるように調整されており、視差９ｄも、対応する視差９ｂよりも小さくなるように調整されている。このように、ＣＰＵ１１Ａは、表示部４３に表示された左目用画像２７および右目用画像２８の観察者が、二重像などを観察することなく、左目用画像２７と右目用画像２８とを融合させて立体像を快適に認識できるようにするために、入力立体画像２３における視差の調整を行って出力立体画像２９を生成する。

＜（３−２）立体画像の適正視差範囲について＞
図１６および図１７は、立体画像の適正視差範囲について説明するための図である。左目用画像の注目点３と、注目点３に対応した右目用画像の対応点４とは、表示部４３の表示画面にそれぞれ表示されている。立体画像の観察者は、表示部４３から観察距離Ｓｄを隔てたところから該立体画像を観察する。観察者の左目１と右目２とは、瞳孔間隔ＩＯＤを隔てており、注目点３は左目１によって観察され、対応点４は右目２によって観察される。図１６における注目点３と対応点４との視差ｄＰは正の値を有し、図１７における注目点３と対応点４との視差ｄＭは負の値を有している。

中点５は、注目点３と対応点４との中点である。飛び出し側の立体像の位置６（図１６）は、図１６における注目点３および対応点４を観察者が観察したときに、観察者に認識される立体像の位置である。位置６は、表示部４３に対して観察者側に長さＳ１飛び出している。また、引っ込み側の立体像の位置７は、図１７における注目点３および対応点４を観察者が観察したときに、観察者に認識される立体像の位置である。位置７は、表示部４３に対して観察者の反対側に長さＳ２引っ込んでいる。

図１６において、観察者が中点５を見たときの両眼の視線の輻輳角θ２と、観察者が表示画面に表示された立体画像に係る立体を位置６に認識したときの輻輳角θ１との差の絶対値は、「視差角」とも称される。同様に、図１７における視差角は、観察者が中点５を見たときの両眼の視線の輻輳角θ２と、観察者が表示画面に表示された立体画像に係る立体を位置７に認識したときの輻輳角θ３との差の絶対値となる。

一般に、視差角が１度以内であれば、観察者は、表示画面に焦点を合わせつつ表示画面の前後（表示画面よりも近方または遠方）に立体画像に係る立体を快適に認識することができる。本願において、視差角が１度となる視差ｄＰ（図１６）は、「近側限界視差」ＬｄＰとも称され、視差角が１度となる視差ｄＭ（図１７）は、「遠側限界視差」ＬｄＭとも称される。

１度以内の視差角に相当する立体画像の視差範囲、すなわち、近側限界視差ＬｄＰから遠側限界視差ＬｄＭにわたる視差範囲は、「適正視差範囲」３２（図４）とも称される。適正視差範囲３２は、表示画面のサイズ、観察者と表示画面との距離、および表示画面に表示される立体画像の画素数などの画像の表示観察条件に基づいて決定される。近側限界視差ＬｄＰと遠側限界視差ＬｄＭとは、正負が反転するものの、それぞれの大きさは、ほぼ等しくなる。

例えば、瞳孔間隔ＩＯＤが６５ｍｍ、観察距離Ｓｄが４００ｍｍであり、水平１９８０画素×垂直１０８０画素のハイビジョン画像が、画面高さが観察距離Ｓｄの１／３になる表示画面に表示された場合には、近側限界視差ＬｄＰの値は、ほぼ＋５７画素であり、遠側限界視差ＬｄＭの値は、ほぼ−５７画素となる。この場合、適正視差範囲３２は−５７〜＋５７画素にわたり、その幅は、約１１４画素となる。

＜（４）画像処理装置１００Ａにおける出力立体画像の生成処理について＞
第１画像２１と第２画像２２との各点における視差の分布が、適正視差範囲３２に入っている場合には、入力立体画像２３である第１画像２１および第２画像２２をそのまま、出力立体画像２９である左目用画像２７および右目用画像２８として、表示部４３に表示すれば、出力立体画像２９の観察者は、立体像が二重に見えるなどの不快感を覚えることなく快適に立体像を認識できる。

しかしながら、第１画像２１と第２画像２２との視差の分布幅が、適正視差範囲３２よりも大きい場合には、立体画像の観察者は、二重像などの認識による不快感を覚えるこことなる。このため、出力立体画像２９の生成においては、入力立体画像２３における各視差の値に関わらず、出力立体画像２９における各視差が適正視差範囲３２に入るように視差の調整が行われる必要がある。

一方、入力立体画像２３から出力立体画像２９が生成される過程で、画素値が設定されない空白部分（「オクルージョン領域」とも称される）が生じた場合には、一般に、オクルージョン領域の周囲の画素の画素値に基づいた画素値の補間処理などが行われるが、補正のできるオクルージョン領域の大きさには限度がある。

オクルージョン領域の大きさが該限度を超えた場合には、補間処理が施されたオクルージョン領域には、同じ画素値の領域が長く続いたり、縦線が歪むなどの不自然な画像の歪みが生ずる場合があり、観察者は違和感を覚えることとなる。このため、出力立体画像２９の生成においては、入力立体画像２３における各視差の値に関わらず、出力立体画像２９の生成過程で生ずるオクルージョン領域の大きさが、補正可能な限度内に抑制される必要もある。

そこで、画像処理装置１００Ａ（より厳密には、図４の生成部１６）は、第１画像２１と第２画像２２とのそれぞれを処理対象とした第１生成処理と、第１画像２１と第２画像２２との何れか一方を処理対象とした第２生成処理とのうち、一方の生成処理を選択して行うことにより、出力立体画像２９を生成する。すなわち、画像処理装置１００Ａ（生成部１６）は、第１画像２１と第２画像２２との双方を用いて出力立体画像２９を生成する第１生成処理と、第１画像２１と第２画像２２とのうちの何れか一方を用いて出力立体画像２９を生成する第２生成処理とを、取得した各距離情報に応じて選択的に行うことにより、出力立体画像２９を生成する。

生成処理の選択は、被写体を撮影した撮像系であるステレオカメラ３００から被写体の各点までの距離（「被写体距離」とも称される）にそれぞれ対応した各距離情報に応じて行われる。該各距離情報としては、実測に基づくステレオカメラ３００から被写体の各点までの距離、または第２取得部１３が対応点探索処理などにより取得した第１画像２１と第２画像２２との間での各視差などが採用される。

＜（４−１）第１生成処理＞
第１生成処理において、画像処理装置１００Ａは、入力立体画像２３の各部の視差の値に応じて、調整後の視差の分布が適正視差範囲３２に入るように視差を調整する。図５は、第１生成処理における入力立体画像２３と、出力立体画像２９との対応関係を説明するための図である。図５に示されるように、画像処理装置１００Ａは、第１画像２１と第２画像２２とのそれぞれを処理対象、すなわちソース画像として出力立体画像２９を生成する。具体的には、画像処理装置１００Ａは、第１画像２１に対する画素ずらし処理などによって第１画像２１から派生した左目用画像２７を生成し、第２画像２２に対する画素ずらし処理などによって第２画像２２から派生した右目用画像２８を生成する。

具体的には、画像処理装置１００Ａは、先ず、出力立体画像２９の視差の分布幅（「目標視差範囲」とも称される）Ｗ２を、適正視差範囲３２の範囲に入るように設定する。そして、画像処理装置１００Ａは、入力立体画像２３の各視差ｄ１に対して（３）式、（４）式を用いて、各視差の分布幅の圧縮処理と、視差の分布の平行移動処理とを行う視差調整を行い、出力立体画像２９における各視差ｄ２を求める。

図９は、入力立体画像２３の視差ｄ１から生成された出力立体画像２９の視差ｄ２の一例を示す図である。図９において座標ＸａＬは、第１画像（左画像）２１における注目画素のＸ座標であり、座標ＸａＲは、該注目画素に対応した第２画像（右画像）２２における対応画素のＸ座標である。図９においては、４組みの注目画素と対応画素とに対して、視差ｄ１の演算結果が示されている。

第１行目における視差ｄ１（＝２０）が入力立体画像２３の視差の最小値ｄ１ｍｉｎであり、第４行目における視差ｄ１（＝８０）が入力立体画像２３の視差の最大値である。従って、（３）、（４）式における入力立体画像２３の視差の分布範囲（「原視差範囲」とも称される）Ｗ１の分布幅は値６０である。ここで、出力立体画像２９の視差の分布幅、すなわち目標視差範囲Ｗ２の幅を３０と設定し、出力立体画像２９の視差の最小値ｄ２ｍｉｎとして−１０を設定すると、（３）、（４）式から、図９の各行の視差ｄ２が得られる。

次に、画像処理装置１００Ａは、生成された出力立体画像２９における各視差ｄ２に基づいて、第１画像２１と第２画像２２とをそれぞれ画素ずらし処理を用いて変形することによって左目用画像２７と右目用画像２８とを生成する。画像処理装置１００Ａは、（５）、（６）式を用いて左目用画像２７の画素に対する画素ずらし値ＺＬと、右目用画像２８の画素に対する画素ずらし値ＺＲとを算出する。

次に、画像処理装置１００Ａは、（７）、（８）式を用いて左目用画像２７の画素のＸ座標である座標ＸｂＬと、右目用画像２８の画素のＸ座標である座標ＸｂＲとを算出する。

図１０は、第１生成処理により生成される出力立体画像２９において互いに対応する各画素のＸ座標である座標ＸｂＬ、ＸｂＲの一例を示す図である。図１０では、図９に示された座標ＸａＬ、ＸａＲ、視差ｄ１、ｄ２に対して（５）式〜（８）式によって、画素ずらし値ＺＬ、ＺＲ、座標ＸｂＬ、ＸｂＲがそれぞれ求められている。画素ずらしの分担率ｒＬ、ｒＲは必要に応じて適宜決定されればよいが、ここでは、ｒＬ＝ｒＲ＝０．５としている。また、図１０の第５列目に示された視差ｄは、算出された座標ＸｂＬ、ＸｂＲから（２）式によって求められた視差である。図１０に示されるように、視差ｄは、図９における視差ｄ２と一致している。

次に、画素ずらしによって、入力立体画像２３から出力立体画像２９の全体を作成する手順について、左目用画像２７の生成を例として説明する。画素ずらしは、ソース画像の画素値を画素単位で空間的にシフトさせる処理でもある。

図１２は、ソース画像（第１画像２１）の上端（−Ｙ方向端）の水平走査方向（Ｘ軸方向）の１ライン分の部分画像５８ａの一部の各画素７ａ〜７ｊと、ソース画像に対応した左目用画像２７の上端（−Ｙ方向端）の水平走査方向の１ライン分の部分画像５８ｂの一部の各画素８ａ〜８ｊとの対応関係の一例を示す図である。また、部分画像５８ａと部分画像５８ｂとは、被写体の同一部分にそれぞれ対応している。なお、該対応関係の把握を容易にするために、各画素７ａ〜７ｊと、各画素８ａ〜８ｊとは、画素値に応じた濃淡によって画素毎に区分されて表示されている。

図１３は、ソース画像（第１画像２１）の部分画像５８ａ（図１２）の各画素７ａ〜７ｊの画素座標および画素ずらし値と、出力立体画像２９の左目用画像２７の部分画像５８ｂ（図１２）の各画素８ａ〜８ｊの画素座標との対応関係の一例を示す図である。図１３の第１行目と第５行目には、部分画像５８ａの各画素７ａ〜７ｊをそれぞれ特定する画素番号と、部分画像５８ｂの各画素８ａ〜８ｊをそれぞれ特定する画素番号とが示されている。また、図１３の第２行目には、各画素７ａ〜７ｊのＸ座標が第１行目に示された画素番号に対応づけられて示されている。また、図１３の第３行目には各画素７ａ〜７ｊに対応した画素ずらし値が第１行目に示された画素番号に対応づけられて示されている。

なお、本願においては、画像空間における空間的な変形を施されることにより被写体の立体視画像２９を構成する画像として用いられる画像の名称として「ソース画像」という用語が適宜使用される。

図３１は、情報処理装置１００Ａが画素ずらしによって出力立体画像２９を生成する動作フローＳ１０の一例を示す図である。図３１の動作フローＳ１０の処理が開始されると、ソース画像（第１画像２１）の上端（−Ｙ方向端）における水平走査方向（Ｘ軸方向）の１ライン分の部分画像５８ａ（図１２）が選択される（ステップＳ２０）。

図３１のステップＳ２０において、ソース画像の１ライン分の部分画像５８ａが選択されると、選択された部分画像５８ａの各画素について、左目用画像２７において対応する画素、すなわち部分画像５８ｂの各画素８ａ〜８ｊの水平走査方向（Ｘ軸方向）の画素座標（Ｘ座標）が取得される（ステップＳ３０）。

既述したように部分画像５８ｂの各画素のＸ座標は、（５）式によって算出される画素ずらし値を用いて（７）式によって算出される。図１３の第４行目には、（７）式によって算出された各画素８ａ〜８ｊのＸ座標がそれぞれ第５行目に示された各画素番号に対応づけられて示されている。

左目用画像２７の水平方向の１ライン分の部分画像５８ｂにおける各画素の画素座標が取得されると、次に、部分画像５８ｂの各画素の画素値がそれぞれ取得される。すなわち、１ライン分の部分画像５８ｂの画像が生成される（ステップＳ４０）。次に、ステップＳ４０における処理を、図１２に示された部分画像５８ａの各画素７ａ〜７ｊと、部分画像５８ｂの各画素８ａ〜８ｊを例として説明する。

図１３の第４行目に示された各画素８ａ〜８ｊのＸ座標によれば、部分画像５８ａの各画素７ａ、７ｂ、７ｃ、７ｄ、７ｅ、７ｆ、７ｇ、７ｈ、７ｉ、７ｊは、部分画像５８ｂの各画素８ａ、８ｂ、８ｂ、８ｃ、８ｄ、８ｄ、８ｅ、８ｇ、８ｉ、８ｊにそれぞれ対応している。すなわち、各画素８ａ〜８ｊには、各画素７ａ〜７ｊのうち１つの画素が対応している第１種の画素、２つの画素が対応している第２種の画素、および各画素７ａ〜７ｊの何れの画素も対応していない第３種の画素の３種類の画素が存在している。

図３１のステップＳ４０の処理においては、該第１種の画素の画素値として、該画素に対応する部分画像５８ａの画素の画素値が採用され、また、該第２種の画素の画素値として、該画素に対応する部分画像５８ａの２つの画素の画素値の代表値、例えば、平均値が採用される。また、該第３種の画素は、部分画像５８ａにおける対応画素が存在しないために画素値が設定されない画素となる。

なお、該第３種の画素が複数連続した領域は、オクルージョン領域である。このため、該第３種の画素の画素値としては、例えば、部分画像５８ａとの対応関係に基づいて画素値が取得された部分画像５８ｂの画素のうち該第３種の画素に最も空間的に近い画素の画素値などが採用される。すなわち、オクルージョン領域の画素値は、オクルージョン領域の周囲の領域における画素の画素値を用いた補間処理などによって設定される。このように、部分画像５８ｂの画像は、部分画像５８ｂの各画素についてそれぞれ特定された画素座標（Ｘ座標）と、画素値とによって特定される。

ステップＳ４０の処理が終了すると、ソース画像の水平方向（Ｘ軸方向）の全てのラインについて、対応する左目用画像２７の部分画像を生成する処理（ステップＳ３０〜Ｓ４０）が終了したか否かが確認される（ステップＳ５０）。ステップＳ５０での確認の結果、水平方向の全てのラインについて処理が終了していなければ、基準画像２１のうち、処理されたラインの＋Ｙ方向の次のラインが新たな処理対象として選択されて（ステップＳ６０）、処理はステップＳ３０へと戻される。また、ステップＳ５０での確認の結果、水平方向の全てのラインについて左目用画像２７の部分画像を生成する処理が終了していれば、左目用画像２７の生成処理は終了される。

なお、視差に基づいたソース画像の変形は、画素サイズを最小単位として行えばよい。従って、画素サイズ単位で視差が取得されれば立体視画像を取得できるが、例えば、視差を求めるための対応点探索を画素サイズ以下のサブピクセル単位で実施することにより視差をサブピクセル単位で取得したとしても、視差に基づいたソース画像の変形の際に、該変形量を画素単位で行えば立体視画像が取得できるので、本発明の有用性を損なうものではない。

なお、画素ずらし値を求める式と、立体視画像における画素のＸ座標を求める式とが図３１を用いて上述した手順で用いた（５）および（７）式とは異なるものの、画素ずらしによって第１生成処理におけるソース画像（第２画像２２）から右目用画像２８を生成する処理、および後述する第２生成処理において画素ずらしによってソース画像から左目用画像２７および右目用画像２８を生成する処理についても、図３１を用いて上述した手順によって実現される。

上述したように、第１生成処理は、各距離情報３１の統計的な分布状態に応じて、出力立体画像２９の各視差が目標視差範囲Ｗ２の範囲に含まれるように第１画像２１と第２画像２２との間での各視差を調整することによって出力立体画像２９を生成する処理である。そして、画像処理装置１００Ａは、第１生成処理を行うことによって、入力立体画像２３の各視差の値に関わらず、視差の分布が適正視差範囲３２に含まれる出力立体画像２９を生成することができる。

＜（４−２）第２生成処理＞
図６は、第２生成処理における入力立体画像２３と出力立体画像２９との対応関係を例示する図である。図６に示されるように、画像処理装置１００Ａは、第１画像２１と第２画像２２との何れか一方の画像（図６では、第１画像２１）を処理対象、すなわちソース画像として、該一方の画像からそれぞれ派生した左目用画像２７と右目用画像２８とを画素ずらし処理などによって生成することにより出力立体画像２９を生成する。なお、第１画像２１と第２画像２２とのどちらをソース画像とするかの選択は、例えば、観察者が操作部４２を介して設定することなどによって行われる。

具体的には、画像処理装置１００Ａは、先ず、第１生成処理と同様に、（３）式、（４）式を用いて出力立体画像２９における各視差ｄ２を求める。

次に、画像処理装置１００Ａは、生成された出力立体画像２９における各視差ｄ２に基づいて、ソース画像（図６では、第１画像２１）を画素ずらし処理を用いて変形することによって左目用画像２７と右目用画像２８とを生成する。画像処理装置１００Ａは、（９）、（１０）式を用いて左目用画像２７の画素に対する画素ずらし値ＺＬと、右目用画像２８の画素に対する画素ずらし値ＺＲとを算出する。

次に、画像処理装置１００Ａは、（１１）、（１２）式を用いて左目用画像２７の画素のＸ座標である座標ＸｂＬと、右目用画像２８の画素のＸ座標である座標ＸｂＲとを算出する。

図１１は、第１生成処理により生成される出力立体画像２９において互いに対応する各画素のＸ座標である座標ＸｂＬ、ＸｂＲの一例を示す図である。図１１では、図９に示された座標ＸａＬ、ＸａＲ、視差ｄ１、ｄ２に対して（９）式〜（１２）式によって、画素ずらし値ＺＬ、ＺＲ、座標ＸｂＬ、ＸｂＲがそれぞれ求められている。ここで、画素ずらしの分担率ｒＬ、ｒＲは共に０．５としている。

また、図１１の第５列目に示された視差ｄは、算出された座標ＸｂＬ、ＸｂＲから（２）式によって求められた視差である。図１１に示される出力立体画像２９の座標ＸｂＬ、ＸｂＲは、図１０に示された第１生成処理における座標ＸｂＬ、ＸｂＲとは異なるが、視差ｄは、図１０における視差ｄ２と同様に、図９における視差ｄ２に一致している。

＜（４−３）出力立体画像２９のオクルージョン領域＞
図１４は、第１生成処理によって生成された出力立体画像２９に生ずるオクルージョン領域６９ｅ、６９ｆの一例を示す図である。図１５は、第２生成処理によって生成された出力立体画像２９に生ずるオクルージョン領域６９ｇ、６９ｈの一例を示す図である。

図１４において、第１画像２１における近景被写体像６６ｃと、第２画像２２における近景被写体像６６ｄとは、入力立体画像２３に撮影された被写体のうちステレオカメラ３００に最も近い被写体７０が撮影された画像である。また、第１画像２１における遠景被写体像６８ｃと、第２画像２２における遠景被写体像６８ｄとは、撮影された被写体のうちステレオカメラ３００から最も遠い被写体７１が撮影された画像である。同様に、図１５において、第１画像２１における近景被写体像６６ｃは、被写体７０が撮影された画像であり、遠景被写体像６８ｃは、被写体７１が撮影された画像である。

なお、図１４、図１５に関する説明においては、便宜上、ステレオカメラ３００に対する被写体７０の各部の距離は相互に等しく、また、被写体７１の各部の距離も相互に等しいものとして説明がなされる。また、第１生成処理および第２生成処理のそれぞれにおける画素ずらし処理において、左目用画像２７と右目用画像２８とのそれぞれの画素ずらしの分担率ｒＬとｒＲ（（５）、（６）式、（９）、（１０）式）は、ともに等しく０．５である。

図１４において、左目用画像２７における近景被写体像６６ｅと、右目用画像２８における６６ｆとは、近景被写体像６６ｃ、６６ｄが第１生成処理における画素ずらし処理によってそれぞれ移動された画像である。同様に、遠景被写体像６８ｅ、遠景被写体像６８ｆは、遠景被写体像６８ｃ、６８ｄがそれぞれ移動された画像である。

オクルージョン領域６９ｅは、被写体７０と被写体７１とのステレオカメラ３００に対する距離の差異に起因して、近景被写体像６６ｃと遠景被写体像６８ｃとのそれぞれについての画素ずらし値ＺＬ（（５）式）に差異が生じたことにより発生している。また、オクルージョン領域６９ｆは、該距離の差異に起因して、近景被写体像６６ｄと遠景被写体像６８ｄとのそれぞれについての画素ずらし値ＺＲ（（６）式）に差異が生じたことにより発生している。

図１５において、左目用画像２７における近景被写体像６６ｅと、右目用画像２８における６６ｆとは、近景被写体像６６ｃが第２生成処理における画素ずらし処理によって互いに異なる２方向のそれぞれに移動された画像である。また、遠景被写体像６８ｅと、遠景被写体像６８ｆとは、遠景被写体像６８ｃが同様に異なる２方向のそれぞれに移動された画像である。

オクルージョン領域６９ｇは、被写体７０と被写体７１とのステレオカメラ３００に対する距離の差異に起因して、近景被写体像６６ｃと遠景被写体像６８ｃとのそれぞれについての画素ずらし値ＺＬ（（９）式）に差異が生じたことにより発生している。また、オクルージョン領域６９ｈは、該距離の差異に起因して、近景被写体像６６ｃと遠景被写体像６８ｃとのそれぞれについての画素ずらし値ＺＲ（（１０）式）に差異が生じたことにより発生している。

被写体７０と被写体７１とは、それぞれ、ステレオカメラ３００に対してそれぞれ最も近い被写体と、最も遠い被写体である。従って、オクルージョン領域６９ｅ、６９ｆ（図１４）は、出力立体画像２９において第１生成処理により生じた最大サイズのオクルージョン領域である。また、オクルージョン領域６９ｇ、６９ｈ（図１５）は、出力立体画像２９において第２生成処理により生じた最大サイズのオクルージョン領域である。

第１生成処理の説明に関する図１４において、入力立体画像２３における近景被写体像６６ｃ（６６ｄ）と、遠景被写体像６８ｃ（６８ｄ）との境界を挟んで隣接する画素間での画素ずらし値ＺＬ（ＺＲ）の差ΔＺ１は、（１３）式によって求められる。また、該画素間のずれ、すなわち１画素は、画像のサイズに比べると非常に小さいので、オクルージョン領域６９ｅ、６９ｆのＸ方向の幅ＷＯ１も（１３）式によって求められるとみなせる。

同様に、第２生成処理の説明に関する図１５において、入力立体画像２３における近景被写体像６６ｃと、遠景被写体像６８ｃとの境界を挟んで隣接する画素間での画素ずらし値ＺＬ（ＺＲ）の差ΔＺ２は、（１４）式によって求められる。また、オクルージョン領域６９ｇ、６９ｈのＸ方向の幅ＷＯ２も（１４）式によって求められるとみなせる。

従って、第１生成処理において、出力立体画像２９についての目標視差範囲Ｗ２（（３）、（４）式）が一定であれば、入力立体画像２３の原視差範囲Ｗ１（（３）、（４）式）が大きくなればなるほど、オクルージョン領域６９ｅ（６９ｆ）の幅ＷＯ１も大きくなる。

一方、第２生成処理においては、出力立体画像２９についての目標視差範囲Ｗ２が一定であれば、入力立体画像２３の原視差範囲Ｗ１の値に関わらず、オクルージョン領域６９ｇ（６９ｈ）の幅ＷＯ２は一定の値となる。

ところで、第１および第２生成処理におけるオクルージョン領域の補正時に、補正後のオクルージョン領域に同じ画素値の領域が長く続いたり、縦線が歪むなどの不自然な画像の歪みが生じないためのオクルージョン領域の許容限界幅ＷＯＬｉｍは、近側限界視差ＬｄＰ（図１６）の値Ａを用いて（１５）式で与えられる。従って、第１および第２生成処理におけるオクルージョン領域が補正可能となるためには、オクルージョン領域の幅ＷＯ１、ＷＯ２が（１６）式を満たす必要がある。

既述したように、第２生成処理におけるオクルージョン領域の幅ＷＯ２は、目標視差範囲Ｗ２が一定であれば一定であるのに対して、第１生成処理におけるオクルージョン領域の幅ＷＯ１は、目標視差範囲Ｗ２が一定であっても原視差範囲Ｗ１の変動に応じて変動する。また、補正の容易性の観点からは、オクルージョン領域の幅ＷＯ１、ＷＯ２が小さければ小さいほど好ましい。

そこで、画像処理装置１００Ａの生成部１６は、オクルージョン領域の幅ＷＯ１が（１６）式を満たす範囲では、第１生成処理を選択的に行う。また、幅ＷＯ１が（１６）式を満たさない範囲では、画像処理装置１００Ａは、オクルージョン領域の幅ＷＯ２が（１６）式を満たすように目標視差範囲Ｗ２を制限しつつ第２生成処理を選択的に行う。

＜（４−４）第１生成処理と第２生成処理との切り替えの基準値＞
次に、第１生成処理におけるオクルージョン領域の幅ＷＯ１が（１６）式を満たすための条件を説明する。オクルージョン領域の幅ＷＯ１に関する（１３）、（１５）式を（１６）式に代入すると、原視差範囲Ｗ１と目標視差範囲Ｗ２とについて（１７）式の関係が得られる。なお、左目用画像２７と右目用画像２８とのそれぞれの画素ずらしの分担率ｒＬとｒＲがそれぞれ０．５であれば、（１７）式は、（１８）式となる。

従って、原視差範囲Ｗ１と目標視差範囲Ｗ２とが（１７）式（（１８）式）を満たせば、第１生成処理によって生成された出力立体画像２９に生ずるオクルージョン領域は、同じ画素値の領域が長く続いたり、縦線が歪むなどの不自然な画像の歪みを生ずることなく補正可能となる。また、（１７）式、（１８）式により、画素ずらしの分担率ｒＬとｒＲが等しい場合に原視差範囲Ｗ１の上限が最も大きくなる。

そこで、次に、画像処理装置１００Ａが、原視差範囲Ｗ１が（１８）式を満たす範囲で、第１生成処理を選択する処理について説明する。画像処理装置１００Ａでは、第３取得部１４が、目標視差範囲Ｗ２を設定する。また、第４取得部１５は、生成部１６によって第１生成処理と第２生成処理との切り替えの判定に用いられる基準値ＴＨ１を設定する。

原視差範囲Ｗ１が（１８）式を満たすためには、（１９）式を満たす基準値ＴＨ１を用いて、原視差範囲Ｗ１が（２０）式を満たすようにすればよい。従って、第４取得部１５は、目標視差範囲Ｗ２の視差の分布幅と、近側限界視差ＬｄＰの大きさとの和以下の値となる基準値ＴＨ１を取得する。また、生成部１６は、各距離情報３１の統計的な分布幅である原視差範囲Ｗ１が基準値ＴＨ１よりも小さい場合には第１生成処理を選択し、原視差範囲Ｗ１が基準値ＴＨ１よりも大きい場合には第２生成処理を選択する。

ここで、出力立体画像２９が二重像などを生ずることなく観察者によって観察されるためには、目標視差範囲Ｗ２が適正視差範囲３２に含まれなければならない、すなわち、目標視差範囲Ｗ２は、近側限界視差ＬｄＰ（図１６）の値Ａを用いた（２１）式を満たす必要がある。なお、（２１）式は、図１６、図１７を用いて説明したように、適正視差範囲３２の幅が、該値Ａのほぼ２倍であることに基づいた式である。

そして、目標視差範囲Ｗ２が（２１）式を満たすためには、（１９）、（２０）式により、原視差範囲Ｗ１が（２２）式を満たす必要がある。また、基準値ＴＨ１は、値３Ａとなる。

図１８〜図２１は、それぞれ、入力立体画像２３についての原視差範囲Ｗ１が（２２）式を満たし、出力立体画像２９についての目標視差範囲Ｗ２が（２１）式を満たす場合において、原視差範囲Ｗ１と目標視差範囲Ｗ２との対応関係の一例を示す図である。

図１８において、目標視差範囲Ｗ２は、値２Ａの幅を有する適正視差範囲３２に等しい。原視差範囲Ｗ１における視差の分布幅は、値３Ａであり、原視差範囲Ｗ１の最小の視差は、正の値を有している。従って、第３取得部１４が目標視差範囲Ｗ２における視差の分布幅を値２Ａに設定したときには、第４取得部１５は、基準値ＴＨ１を値３Ａに設定する。

図１９において、目標視差範囲Ｗ２は、出力立体画像２９の全域が表示部４３に対して観察者側に飛び出して観察されるように、適正視差範囲３２のうち視差が０以上の範囲に設定されている。原視差範囲Ｗ１における視差の分布幅は、値２Ａであり、原視差範囲Ｗ１の最小の視差は、正の値を有している。そして、第３取得部１４は、基準値ＴＨ１を値２Ａに設定する。

図２０において、目標視差範囲Ｗ２は、出力立体画像２９の全域が表示部４３に対して観察者と反対側に引っ込んで観察されるように、適正視差範囲３２のうち視差が０以下の範囲に設定されている。原視差範囲Ｗ１における視差の分布幅は、値２Ａであり、原視差範囲Ｗ１の最小の視差は、正の値を有している。そして、第３取得部１４は、基準値ＴＨ１を値２Ａに設定する。

図１９〜図２０に示される何れの例においても、生成部１６は、原視差範囲Ｗ１、すなわちステレオカメラ３００から被写体の各点までの被写体距離に対応した各距離情報３１についての統計的な分布幅と、基準値ＴＨ１とを比較した結果、第１生成処理を選択して出力立体画像２９を生成する。従って、例えば、無限遠を基準とした原視差範囲Ｗ１が判定条件に用いられる場合に比べて、より近い距離で撮影された近景被写体の画像を含む入力立体画像２３から第１生成処理によって出力立体画像２９が生成され得る。

上述した図１８〜図２０の例では、原視差範囲Ｗ１として各距離情報３１の統計的な分布幅を用いた。一方、図２１に示される例においては、生成部１６は、各距離情報３１の統計的な分布幅の代わりに各距離情報３１（図４）の代表値を用いる。

より具体的には、目標視差範囲Ｗ２としては、適正視差範囲３２の全部の範囲が採用されている。仮の原視差範囲Ｗ１Ｔとして、各距離情報の代表値の例である、無限遠の被写体に対応した値０の視差から最近接の被写体の距離情報に対応する視差の値までの範囲を設定する。なお、該代表値としては、該最近接の被写体の距離情報以外に、例えば、近景被写体の各部に対応した各距離情報の平均値などが採用されたとしても本発明の有用性を損なうものではない。

そして、生成部１６は、最近接の被写体の距離情報に対応する視差の値と値０の視差との幅である仮の原視差範囲Ｗ１Ｔを、図１９〜図２０で説明した各例における原視差範囲Ｗ１として用いることによって、第１生成処理を選択する判定を行っている。なお、第４取得部１５は、基準値ＴＨ１を値３Ａに設定しており、生成部１６は、生成処理の選択の結果、仮の原視差範囲Ｗ１Ｔが基準値ＴＨ１（＝３Ａ）以下の場合、第１生成処理を選択的に行うことにより出力立体画像２９を生成している。

図２１の例に示されるように、各距離情報３１の代表値である無限遠の被写体から最近接の被写体までの範囲の距離情報が、各距離情報３１の統計的な分布幅として用いられれば、各距離情報３１の統計的な分布幅が実際に統計処理によって取得される場合に比べて、より簡単な処理によって出力立体画像２９の生成に用いられる生成処理が選択され得る。

なお、基準値ＴＨ１として、例えば、目標視差範囲Ｗ２と近側限界視差ＬｄＰの値Ａとを用いた（２３）式に示される基準値ＴＨ１が採用されたとしても本発明の有用性を損なうものではない。この場合、原視差範囲Ｗ１が、目標視差範囲Ｗ２から基準値ＴＨ１までの範囲であれば、第１生成処理が生成部１６によって選択される。従って、目標視差範囲Ｗ２以下の基準値ＴＨ１が採用される場合に比べて、より大きな視差分布を有する原視差範囲Ｗ１を有する入力立体画像２３に対しても第１生成処理が選択され得る。

＜（５）画像処理装置１００Ａの動作説明＞
＜（５−１）出力立体画像２９の生成処理＞
以下に、画像処理装置１００Ａが行う出力立体画像２９の生成動作について説明する。図２８は、実施形態に係る画像処理装置画１００Ａが行う被写体の立体画像（出力立体画像２９）の生成処理に係る動作フローＳ１００を例示する図である。

動作フローＳ１００の開始に先立って、先ず、操作者による操作部４２を介した操作等に応じてステレオカメラ３００が被写体を撮影する。該撮影動作によって、互いに異なる視点から被写体がそれぞれ撮影された第１画像２１および第２画像２２、すなわち入力立体画像２３が取得されると、第１取得部１２は、入出力部４１を介して入力立体画像２３を取得する（ステップＳ１１０：第１取得工程）。取得された入力立体画像２３は、第２取得部１３と生成部１６とに供給される。

第２取得部１３は、入力立体画像２３を供給されると、第１画像２１と第２画像２２との間でパターンマッチング処理を行うことにより、第１画像２１と第２画像２２との間での各視差を各距離情報３１として取得する（ステップＳ１２０：第２取得工程）。各距離情報３１は、被写体を撮影したステレオカメラ３００（撮像系）から被写体の各点までの被写体距離にそれぞれ対応している。

また、第２取得部１３は、外部の三次元測定機などが予め測定した被写体の距離を各距離情報３１として入出力部４１を介して取得することもできるし、ステレオカメラ３００のオートフォーカス機能によって得られる被写体距離情報を各距離情報３１として取得することもできる。取得された各距離情報３１は、生成部１６などに供給される。

生成部１６は、第１画像２１と第２画像２２との双方を用いて出力立体画像２９（図４）を生成する第１生成処理と、第１画像２１と第２画像２２とのうちの何れか一方を用いて出力立体画像２９を生成する第２生成処理とのうち一方の生成処理を選択する（ステップＳ１３０）。なお、生成部１６は、第２取得部１３から供給された各距離情報３１に応じて出力立体画像２９の生成に用いる生成処理を選択する。

用いられる生成処理が選択されると、生成部１６は、第１画像２１と第２画像２２とのうち選択した一方の処理を行うことにより、入力立体画像２３から被写体の立体画像（出力立体画像２９）を生成し、動作フローＳ１００を終了する。

＜（５−２）出力立体画像２９を生成する生成処理の選択について＞
図２９、図３０は、実施形態に係る画像処理装置１００Ａが行う図２８のステップＳ１３０の動作フローＳ１３０を例示する図である。

ステップＳ１３０が開始されると、第３取得部１４は、記憶装置４６に記憶された出力立体画像２９の画像表示条件を読出し、出力立体画像２９が立体視され得る視差の範囲に相当する適正視差範囲３２を算出する（ステップＳ２１０）。適正視差範囲３２は、１度以内の視差角に相当する出力立体画像２９の視差の範囲である。また、第３取得部１４は、適正視差範囲３２に基づいて、適正視差範囲３２の両端部の視差のうち対応する被写体距離がより短い方の視差である近側限界視差ＬｄＰを算出する。

適正視差範囲３２を算出すると、第３取得部１４は、生成される出力立体画像２９の視差の範囲を規定した目標視差範囲Ｗ２を、目標視差範囲Ｗ２が適正視差範囲３２の範囲内となるように算出する（ステップＳ２２０）。第３取得部１４によって算出された適正視差範囲３２および目標視差範囲Ｗ２は、第４取得部１５、生成部１６に供給されるとともに、記憶装置４６にも供給されて記憶される。また、近側限界視差ＬｄＰは、第４取得部１５に供給される。

目標視差範囲Ｗ２、近側限界視差ＬｄＰを供給されると、第４取得部１５は、生成部１６によって第１生成処理と第２生成処理とのうち一方の生成処理の選択に用いられる基準値ＴＨ１（図４）を設定する（ステップＳ２３０）。基準値ＴＨ１は、例えば、（１９）式に基づいて目標視差範囲Ｗ２の視差の分布幅と、近側限界視差ＬｄＰの大きさとの和以下の値として取得される。基準値ＴＨ１は、生成部１６に供給されて、各距離情報３１の統計的な分布状態と比較されることにより出力立体画像２９の生成に使用される生成処理の選択に用いられる。すなわち、基準値ＴＨ１は、各距離情報３１の統計的な分布状態に関する基準値である。

各距離情報３１、目標視差範囲Ｗ２、適正視差範囲３２、および基準値ＴＨ１を供給されると、生成部１６は、先ず、動作モードが、入力立体画像２３の各視差（各距離情報３１）の代表値を生成処理の選択に用いる動作モードに設定されている否かを判定する（ステップＳ２４０）。

該判定の結果、動作モードが該代表値を用いるモードに設定されていない場合には、生成部１６は、入力立体画像２３の各視差の分布範囲である原視差範囲Ｗ１を取得する。そして、生成部１６は、原視差範囲Ｗ１の分布幅を、基準値ＴＨ１と比較される各距離情報３１の統計的な分布幅として取得し（ステップＳ２５０）、処理をステップＳ２８０に移す。なお、例えば、入力立体画像２３における各視差の最大値から最小値にわたる範囲の視差などが原視差範囲Ｗ１として取得される。

ステップＳ２４０での判定の結果、動作モードが該代表値を用いるモードに設定されている場合は、生成部１６は、入力立体画像２３における各視差の代表値を取得する（ステップＳ２６０）。該代表値としては、例えば、最近接の被写体の距離、すなわち入力立体画像２３における視差の最大値と、無限遠の被写体、すなわち視差＝０が採用される。該代表値が取得されると、生成部１６は、取得した該代表値、すなわち視差の最大値と視差＝０とを、入力立体画像２３の各視差、すなわち基準値ＴＨ１と比較される各距離情報３１の統計的な分布幅として設定し（ステップＳ２７０）、処理をステップＳ２８０に移す。

ステップＳ２８０において、生成部１６は、各距離情報３１の統計的な分布幅と、基準値ＴＨ１とを比較する。そして、生成部１６は、該比較の結果、各距離情報３１の統計的な分布幅が基準値ＴＨ１よりも小さいか否かを判定する（ステップＳ２９０）。

ステップＳ２９０での判定の結果、該分布幅が、基準値ＴＨ１よりも小さければ、生成部１６は、第１生成処理と第２生成処理とのうち第１生成処理を選択し（ステップＳ３００）、動作フローＳ１３０を終了して処理を図２８のステップＳ１４０に移す。一方、ステップＳ２９０での判定の結果、該分布幅が、基準値ＴＨ１以上であれば、生成部１６は、第１生成処理と第２生成処理とのうち第２生成処理を選択し（ステップＳ３１０）、動作フローＳ１３０を終了して処理を図２８のステップＳ１４０に移す。

上述したように、動作フローＳ１３０において、生成部１６は、各距離情報３１の統計的な分布状態と、基準値ＴＨ１との関係を判定条件として第１生成処理と第２生成処理との選択を切り替える。また、ステップＳ１４０において、生成部１６によって生成される出力立体画像２９は、目標視差範囲Ｗ２の範囲内の視差の分布を有する立体画像となる。ステップＳ１３０および１４０は、生成工程として機能する。

なお、既述したように、ステレオカメラ３００は、動作モードに応じて、第１カメラ６１と第２カメラ６２との同期をとりつつ被写体を時間順次に連続的に撮影することによって、複数の第１画像２１（第１の時系列画像群）および複数の第２画像２２（第２の時系列画像群）を生成することができる。そして、第１の時系列画像群と、第２の時系列画像群とは、時系列の入力立体画像群を構成している。該複数の第１画像２１のうち１つの第１画像２１は、第１の時系列画像群の要素画像であり、該１つの第１画像２１と同期して撮影された１つの第２画像２２は、第２の時系列画像群の要素画像となる。

第１の時系列画像群と、第２の時系列画像群とが取得される場合には、画像処理装置１００Ａは、設定された動作モードに応じて、時系列の出力立体画像群を生成する。時系列の出力立体画像群は、個々の入力立体画像２３に対して画像処理装置１００Ａの各機能部が、動作フローＳ１００を繰り返して行うことによって生成される。なお、繰り返し手段の一例であり、生成部１６の有する機能部である繰り返し部１７（図４）は、時系列の出力立体画像の生成において、第１生成処理と第２生成処理との選択判断を、各時系列の進行に伴って時間順次に繰り返して実行する。

＜（５−３）被写体が相対的に移動している場合の基準値について＞
次に、入力立体画像２３に撮影された被写体がステレオカメラ３００に対して相対的に移動している場合において、画像処理装置１００Ａ（生成部１６）が、使用される生成処理の選択の際に、互いに異なる基準値ＴＨ１と基準値ＴＨ２とを選択的に用いる処理について説明する。

撮影される被写体（主要被写体）が、ステレオカメラ３００に対して相対的に移動している場合には、通常、該主要被写体と、該主要被写体の背景被写体との間の距離も変動する。従って、入力立体画像２３の各距離情報３１の原視差範囲Ｗ１と、各距離情報３１の代表値は、それぞれ時間的に変動する。

図２５は、異なる基準値ＴＨ１とＴＨ２との一例を示す図である。図２５に示される曲線ＨＲ１は、時系列の入力立体画像群の各要素の入力立体画像について、各要素の入力立体画像がそれぞれ撮影された各時刻と、該各時刻における入力立体画像の各視差の代表値との関係を示している。点ｐ１〜ｐ３は、それぞれ時刻ｔ１〜ｔ３における曲線ＨＲ１上の点である。点ｐ１およびｐ３に対応した入力立体画像の各視差の代表値は、視差Ｄ１である。また、点ｐ２に対応した各視差の代表値は、視差Ｄ２である。

視差Ｄ１は、視差Ｄ２よりも大きい、すなわち、時刻ｔ１、ｔ３における被写体は、時刻ｔ２における被写体よりもステレオカメラ３００により近い位置にある。また、曲線ＨＲ１において、時刻０〜時刻Ｔ１の区間および時刻Ｔ２以降の区間では、入力立体画像の各視差の代表値は増加しており、被写体の被写体距離は時間的に減少している。また、時刻Ｔ１〜Ｔ２の区間では、該代表値は減少しており、被写体の被写体距離は時間的に増加している。

第４取得部１５は、被写体の被写体距離が時間的に減少している場合と、増加している増加している場合とのそれぞれにおける出力立体画像２９の生成処理の選択に使用される基準値として、互いに異なる基準値ＴＨ１と基準値ＴＨ２を取得することができる。

図２５の例では、基準値ＴＨ１として視差Ｄ１が採用され、基準値ＴＨ２として視差Ｄ２が採用されている。従って基準値ＴＨ１は基準値ＴＨ２よりも大きい。そして、時刻０〜ｔ１までは、第１生成処理が選択され、時刻ｔ１〜ｔ２までは、第２生成処理が選択される。また、時刻ｔ２〜ｔ３では、第１生成処理が選択され、時刻ｔ３以降では、第２生成処理が選択される。

この場合、常に同一の基準値が採用される場合に比べて、第１生成処理が連続して適用される区間（時間）と、第２生成処理が連続して適用される区間（時間）が長くなる。従って、常に同一の基準値が採用される場合に比べて、観察者が生成処理の切り替わりの際に覚える違和感がより抑制され得る。また、基準値ＴＨ１が基準値ＴＨ２よりも小さく設定される場合でも、基準値ＴＨ１が基準値ＴＨ２よりも大きい場合と同様に、各生成処理が適用される時間をより長く取ることができるので、本発明の有用性を損なうものではない。

また、基準値ＴＨ１が基準値ＴＨ２よりも大きい場合には、基準値ＴＨ１が基準値ＴＨ２よりも小さい場合に比べて、第１生成処理が適用される時間がより長くなる。一方、既述したように、第１生成処理の方が、第２生成処理よりもオクルージョン領域がより小さくなり得る。従って、基準値ＴＨ１が基準値ＴＨ２よりも大きい場合には、基準値ＴＨ１が基準値ＴＨ２よりも小さい場合に比べて、より画質の良い出力立体画像２９を取得できる可能性が高くなる。

＜（５−４）第１生成処理の選択機能の不能化について＞
画像処理装置１００Ａが、時系列の入力立体画像群から時系列の出力立体画像群を生成する場合には、不能化手段の一例である生成部１６における不能化部１９（図４）は、動作モードに応じて、生成部１６がいったん第２生成処理を選択した後に、生成部１６による第１生成処理の選択機能を不能化する処理を行うことができる。

より詳細には、不能化部１９は、第１生成処理の選択機能の不能化を、第２生成処理が選択された後、出力立体画像２９の生成に係る各時系列上の時間に換算したときに、少なくとも予め設定された時間が経過するまで維持する。または、不能化部１９は、該不能化を時系列の出力立体画像群の生成が終了されるまで維持することもできる。

図２６は、不能化部１９の動作を説明するための図である。図２６に示される曲線ＨＲ２は、時系列の入力立体画像群の各要素の入力立体画像について、各要素の入力立体画像がそれぞれ撮影された各時刻と、該各時刻における入力立体画像の各視差の分布幅との関係を示している。点ｐ４、ｐ５は、それぞれ時刻ｔ４、ｔ５における曲線ＨＲ２上の点である。時刻ｔ５は、時刻ｔ４から時間Δｔが経過した時刻である。点ｐ４に対応した入力立体画像２３についての各視差の分布幅が、基準値ＴＨ１である。

図２６に示される例において、時系列の出力立体画像の生成が開始された時刻０では第１生成処理の選択機能は不能化されていない。時刻０の入力立体画像２３の各視差の分布幅は、基準値ＴＨ１よりも小さいが、時間経過に従って該分布幅が増加し、時刻ｔ４における入力立体画像の各視差の分布幅は、基準値ＴＨ１に達している。時刻０〜ｔ４において、生成部１６は、第１生成処理を選択し、出力立体画像２９を生成する。

そして、時刻ｔ４以降は、生成部１６は、第２生成処理を選択している。不能化部１９は、第２生成処理が時刻ｔ４において選択された後、生成部１６による第１生成処理の選択機能を不能化し、時刻ｔ５までの所定の時間Δｔの期間は、該不能化を維持している。そして、不能化部１９は、時刻ｔ５において生成部１６による第１生成処理の選択機能を能動化している。

不能化部１９による該不能化動作によれば、時刻ｔ４から時刻ｔ５までの間に、入力立体画像２３の各視差の代表値が基準値ＴＨ１よりも小さくなったとしても、第１生成処理が選択されることなく、第２生成処理の選択が維持される。さらに、第１生成処理の選択機能が能動化された時刻ｔ５以降においては、入力立体画像２３の各視差の代表値が基準値ＴＨ１よりも大きくなっているので、時刻ｔ５以降も第２生成処理が選択される。従って、不能化部１９による該不能化動作が行われない場合に比べて、第１生成処理と第２生成処理との切り替え回数が抑制されるので、出力立体画像の観察者が覚える違和感もより抑制され得る。

＜（５−５）生成処理の切り替え時の出力立体画像２９の接続について＞
画像処理装置１００Ａが、時系列の入力立体画像群から時系列の出力立体画像群を生成する場合には、接続手段の一例である生成部１６における接続部１８（図４）は、動作モードに応じて、第１生成処理と第２生成処理との切り替えの際に、出力立体画像２９を構成する左右画像のうちの少なくとも一方を、切り替え前後で同じ画像とする処理を行う。

図２２は、生成処理の切り替えの際に、入力立体画像２３の視差から生成される出力立体画像２９の視差の一例を示す図である。また、図２３は、生成処理の切り替えの際に、出力立体画像２９の互いに対応する各画素のＸ座標の一例を示す図である。また、図２４は、生成処理の切り替えの際に、出力立体画像２９の互いに対応する各画素のＸ座標の一例を示す図である。

なお、図２２、図２３、および図２４は、図９、図１０、および図１１にそれぞれ対応している。図２２、図２３、および図２４における各数値は、設定されている座標の値等は図９、図１０、および図１１と異なるものの、それぞれ図９、図１０、および図１１と同じ数式を用いた処理によって設定されている。

具体的には、図２２においては、原視差範囲Ｗ１の分布幅は値８０である。そして、図２２〜図２４に示される例においては、接続部１８が機能することにより、生成部１６が採用する出力立体画像２９の視差の分布幅、すなわち目標視差範囲Ｗ２の幅として値４０が設定されている。また、出力立体画像２９の視差の最小値ｄ２ｍｉｎとして値１０が設定されている。

接続部１８による上述した設定によって、図２２〜図２４に示されるように、第１生成処理によって生成された出力立体画像２９のうち左目用画像２７のＸ座標である座標ＸｂＬ（図２３の太線枠）と、第２生成処理によって生成された出力立体画像２９のうち右目用画像２８のＸ座標である座標ＸｂＲ（図２４の太線枠）とは、各行毎に、等しくなっている。

すなわち、接続部１８の動作によって、第１生成処理と第２生成処理との切り替えの際に、出力立体画像２９を構成する左右画像のうちの少なくとも一方が、切り替え前後で同じ画像とされ得る。従って、接続部１８による該動作が行われない場合に比べて、第１生成処理と第２生成処理との切り替え時の出力立体画像２９の変化が抑制されるので、出力立体画像の観察者が覚える違和感もより抑制され得る。

＜変形例について：＞
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく様々な変形が可能である。

例えば、上述した情報処理装置１００Ａが、例えば、ステレオカメラ３００を備えた携帯電話、デジタルスチルカメラ、またはデジタルビデオカメラであったとしても本発明の有用性を損なうものではない。

１００Ａ 情報処理装置
３００ ステレオカメラ
６１ 第１カメラ
６２ 第２カメラ
２１ 第１画像（左画像）
２２ 第２画像（右画像）
２３ 入力立体画像
２７ 左目用画像
２８ 右目用画像
２９ 出力立体画像
３１ 各距離情報
３２ 適正視差範囲
５８ａ，５８ｂ 部分画像
７０，７１ 被写体
ＴＨ１，ＴＨ２ 基準値

Claims (16)

1. 互いに異なる視点から被写体がそれぞれ撮影された第１画像と第２画像とを取得する第１取得手段と、
   前記被写体を撮影した撮像系から前記被写体の各点までの距離である被写体距離にそれぞれ対応した各距離情報を取得する第２取得手段と、
   前記被写体の立体画像を生成する手段であって、前記第１画像と前記第２画像との双方を用いて前記立体画像を生成する第１生成処理と、前記第１画像と前記第２画像とのうちの何れか一方を用いて前記立体画像を生成する第２生成処理とを、前記各距離情報に基づいて選択的に行うことにより、前記立体画像を生成する生成手段と、
   を備え、
   前記生成手段が、
   前記各距離情報に基づいて原視差範囲を算出し、前記原視差範囲が基準値よりも小さい場合には前記第１生成処理を選択し、前記基準値以上の場合には前記第２生成処理を選択して前記立体画像を生成することを特徴とする画像処理装置。
2. 請求項１に記載された画像処理装置であって、
   前記生成手段が、
   前記各距離情報に対応する視差の統計的な分布幅に基づいて前記原視差範囲を算出することを特徴とする画像処理装置。
3. 請求項１に記載された画像処理装置であって、
   前記生成手段が、
   前記各距離情報に対応する視差の最大値と最小値に基づいて前記原視差範囲を算出することを特徴とする画像処理装置。
4. 請求項１に記載された画像処理装置であって、
   前記生成手段が、
   前記各距離情報中の最近接距離と無限遠とに基づいて前記原視差範囲を算出することを特徴とする画像処理装置。
5. 請求項１から請求項４の何れか１つの請求項に記載された画像処理装置であって、
   立体画像を表示する表示部を有し、
   前記生成手段が、
   前記原視差範囲が、前記表示部に表示される立体画像の適正視差範囲に入るように、前記第１画像と前記第２画像との視差を調整して前記立体画像を生成することを特徴とする画像処理装置。
6. 請求項１から５の何れか１つの請求項に記載された画像処理装置であって、
   前記第２取得手段が、
   前記各距離情報を、前記第１画像と前記第２画像との対応点探索処理に基づいて取得することを特徴とする画像処理装置。
7. 請求項１から５の何れか１項に記載された画像処理装置であって、
   前記第２取得手段が、
   前記各距離情報を、前記第１画像と前記第２画像とを取得するための撮像系の機能によって得られる被写体距離情報に基づいて取得することを特徴とする画像処理装置。
8. 請求項１から請求項７の何れか１つの請求項に記載された画像処理装置であって、
   前記被写体距離が時間的に減少している場合と、増加している場合とのそれぞれにおける前記基準値が互いに異なることを特徴とする画像処理装置。
9. 請求項８に記載された画像処理装置であって、
   前記被写体距離が時間的に減少している場合についての前記基準値が、前記被写体距離が時間的に増加している場合についての前記基準値よりも大きいことを特徴とする画像処理装置。
10. 請求項１から請求項７の何れか１つの請求項に記載された画像処理装置であって、
    前記第１画像と前記第２画像とはそれぞれ、前記互いに異なる視点から前記被写体を時系列的に撮影して得られる第１と第２の時系列的画像群の要素画像であり、
    前記生成手段は、
    前記第１生成処理と前記第２生成処理との選択判断を、各時系列の進行に伴って時間順次に繰り返して実行する繰り返し手段と、
    前記第１生成処理と前記第２生成処理との切り替えの際に、前記立体画像を構成する左右画像のうちの少なくとも一方を、切り替え前後で同じ画像とする接続手段と、
    を備えることを特徴とする画像処理装置。
11. 請求項１から請求項７の何れか１つの請求項に記載された画像処理装置であって、
    前記第１画像と前記第２画像とはそれぞれ、前記互いに異なる視点から前記被写体を時系列的に撮影して得られる第１と第２の時系列的画像群の要素画像であり、
    前記生成手段は、
    前記第１生成処理と前記第２生成処理との選択判断を、各時系列の進行に伴って時間順次に繰り返して実行する繰り返し手段と、
    いったん前記第２生成処理を選択した後には、前記第１生成処理の選択機能を不能化する不能化手段と、
    を備えることを特徴とする画像処理装置。
12. 請求項１１に記載された画像処理装置であって、
    前記不能化手段が、
    前記第２生成処理が選択された後少なくとも予め設定された時間が経過するまで、前記選択機能の不能化を維持することを特徴とする画像処理装置。
13. 請求項１から請求項１２の何れか１つの請求項に記載された画像処理装置であって、
    前記第１の生成処理は、前記立体画像を生成するにあたって、前記第１画像および前記第２画像の画素値を画素単位で空間的にそれぞれシフトさせた画像を使用し、
    前記第２の生成処理は、前記立体画像を生成するにあたって、前記第１画像と第２画像との何れか一方の画像の画素値を画素単位で空間的にそれぞれシフトさせた画像を使用することを特徴とする画像処理装置。
14. 請求項１から請求項１３の何れか１つの請求項に記載された画像処理装置であって、
    前記画像処理装置が、携帯電話、携帯型情報端末、デジタルスチルカメラ、またはデジタルビデオカメラであることを特徴とする画像処理装置。
15. 画像処理装置に搭載されたコンピューターにおいて実行されることにより、当該画像処理装置を請求項１から請求項１４の何れか１つの画像処理装置として機能させることを特徴とするプログラム。
16. 互いに異なる視点から被写体がそれぞれ撮影された第１画像と第２画像とを取得する第１取得工程と、
    前記被写体を撮影した撮像系から前記被写体の各点までの距離である被写体距離にそれぞれ対応した各距離情報を取得する第２取得工程と、
    前記被写体の立体画像を生成する工程であって、前記第１画像と前記第２画像との双方を用いて前記立体画像を生成する第１生成処理と、前記第１画像と前記第２画像とのうちの何れか一方を用いて前記立体画像を生成する第２生成処理とを、前記各距離情報に応じて選択的に行うことにより、前記立体画像を生成する生成工程と、
    を有し、
    前記生成工程が、
    前記各距離情報に基づいて原視差範囲を算出し、前記原視差範囲が基準値よりも小さい場合には前記第１生成処理を選択し、前記基準値以上の場合には前記第２生成処理を選択して前記立体画像を生成する工程であることを特徴とする画像処理方法。