WO2012090813A1 - 画像処理装置及び画像処理システム - Google Patents

Abstract

　画像処理技術は、被写体の立体画像観察における左目用および右目用の画像を作成するために、基準画像を撮像した際の光軸方向を基準として、左側に第１距離Ｄ１だけ離れた第１位置Ｐ１に左側視点ＰＬを設定し、右側に第２距離Ｄ２だけ離れた第２位置Ｐ２に右側視点ＰＲを設定する。ここで、第１距離Ｄ１と第２距離Ｄ２とのうち、より大きな距離に対するより小さな距離の比の値を左右比率と呼ぶとき、該左右比率の値が該立体画像の全体に共通した「１」未満のゼロでない比率となるように、第１距離Ｄ１および第２距離Ｄ２を設定する。これにより、立体画像の視認上の違和感の軽減と２次元画像を用いる場合の正確性とをバランスさせて両立させることが可能となる。

Description

画像処理装置及び画像処理システム

　本発明は、立体画像の処理に使用される画像処理装置及び画像処理システムに関する。

　近年、３次元映像技術を取り入れた３次元テレビの普及が拡大してきている。しかし、３次元映像などのコンテンツに関しては、一部の映画やテレビ用の３次元映像のコンテンツが提供されているが、一般ユーザが個人で楽しむには、３次元映像コンテンツが充分な状態とは言えない。そのため、今後、一般ユーザに対し、一般家庭でも簡単に３次元映像を楽しむことが可能なコンテンツを生成し、３次元映像システムの提供を行うことが必要不可欠になる。この事情は３次元静止画の提供においても同様であり、以下では、３次元映像（動画）と３次元静止画とを総称して、立体画像または３次元画像と呼ぶことにする。

　ところで、立体画像の生成においては、被写体を所定の視点から撮像した２次元画像と、当該視点から被写体各部までの距離情報との２つを用いることが通例である。この場合、取得する２次元画像は少数の視点（通常は１視点または２視点）から被写体を撮像した画像であるため、被写体の全周にわたって２次元画像を得るわけではなく、取得した距離情報も誤差を含むため、生成される立体画像には立体感の不足や、形状の歪みなどの問題が生じる。

　たとえば、距離情報を得る際に多く用いられるエリアベースの対応点探索方法では、設定するエリア内に近距離と遠距離との両方の情報が含まれている場合（遠近競合領域）や、異なる視点による撮影で片方の映像で映っていない場合（オクルージョン領域）などにおいては、正確な対応点探索したがって正確な距離計測ができない。

　特に、直線などの人工物領域において、対応点探索の間違いがあると線が曲がってしまい、直線などは歪みが目立つ。このような不正確な視差情報に基づいて他視点画像を生成し、立体画像表示を行うと、実際の立体形状より飛び出したり、凹凸感が無かったり、ぼやけたりした立体視画像となり、観察者にとっては遠近感の欠落や対象物の形状の変化により違和感の多い画像になってしまう。

　これらは立体画像の生成の基礎となる「被写体情報の取得の不十分性」によるものであるが、その他にも、表示ディスプレイのサイズの相違などに起因する立体画像の立体感の低下、すなわち「表示条件の相違」による問題もある。

　すなわち、画面上に表示される立体画像は、ユーザの左右の両眼に視差を与えることによって仮想的な立体画像を認識させるということがその基本原理であるが、その視差量は、ユーザから画面までの距離や画面サイズなどの表示条件にも依存して算出される。たとえば映画館のような大きなサイズの表示ディスプレイと、家庭用のディスプレイなどの一般ユーザ向けの立体画像では、左右の視差量の調整量が異なる。また、家庭用のディスプレイでも種々のサイズがある。このため、想定した表示条件と異なる表示条件、たとえば立体画像の生成に際に想定した画面サイズとは異なるサイズのディスプレイで当該立体画像を表示させた場合には、立体感に欠ける画像が視認されてしまうことがある。

　したがって、既述した「入力情報の不十分性」に起因する現象とともに、画面サイズのような「表示条件の相違」もまた、立体画像の生成の際に考慮すべき因子となる。

　立体画像の生成におけるこれらの問題に対処するために、種々の技術が提案されている。

　例えば、特許文献１が開示する技術では、左右２枚の２眼視ステレオ画像から中間位置画像と共に左右外側画像も自動的に作成する方法が開示されている。

　また、特許文献２が開示する技術では、仮想視点画像生成において、奥行き量または視差値の調整を行うことより、生成する仮想視点画像間の視差を調整する技術であり、複雑なシーンについての視差調整には、ＧＵＩを介してユーザから与えられる情報が活用される。

　また、特許文献３が開示する技術では、前景や背景に生じる視差量をその視差量に応じて重み付け調整をする（強弱をつける）ことができ、より好ましい立体感のある視差画像を出力可能にする方法である。また、表示デバイスの種別や画面サイズに適した視差量の変換テーブルを準備し、視差量に応じて重み付けが異なる変換テーブルを選択する。

　さらに、特許文献４が開示する技術では、視差量の調整量の設定にあたって、左眼用２次元画像と右眼用２次元画像の対応する画素どうしの輝度値の差分情報などにより調整量を判定する。

特開２００９－１２４３０８号公報 特開２００３－２０９８５８号公報 特開２０１０－２０６７７４号公報 特開２０１０－２００２１３号公報

　ところで、被写体の２次元画像（基準画像）を撮影した際の視点を「原視点」と呼び、立体画像表示のための右目用画像と左目用画像とに対応する２つの視点を「立体視点」と呼ぶとき、原視点と立体視点との位置関係は、立体画像の品質に大きく影響する。

　すなわち、２つの立体視点の双方を原視点から大きく離すと、既述したような、遠近競合領域についての距離誤差や、オクルージョン領域における画像情報の欠如、それに人工物領域についての画像の歪みなど、種々の誤差が大きくなる。その一方で、２つの立体視点の双方を原視点の近くに設定すると、右目用画像と左目用画像との間の視差がほとんどなくなり、立体感に乏しい立体画像を生成できるだけとなる。

　また、右目用画像と左目用画像とのうちの一方を原視点に一致させると、これら２つの画像の精度に大きな差が出てくるため、立体画像としての画像品質が低下して、視認上の違和感が大きくなる。

　さらに、立体画像表示用として生成したデータに基づいて２次元画像表示も行うような場合もある。たとえばユーザ側の事情によって立体画像を２次元画像化して見たい場合などがそれにあたる。このとき、立体画像を構成する右目用画像と左目用画像との双方が持つ誤差が大きいと、それらのいずれを選択しても、あるいはそれらをどのように組み合わせて２次元化しても、正確な２次元画像表示が困難となる。すなわち、原視点から撮像した２次元画像そのものは正確であったにもかかわらず、いったん、他視点に立体画像表示用データを用いると、それを用いて再現した２次元画像は大きな誤差を持つことになる。

　したがって、原視点と立体視点との関係の調整（したがって、視差量の調整）は、立体画像表示および、立体画像データに基づく２次元画像表示（以下「代用２次元画像表示」）の双方にとって重要な課題となる。特に、単純な２次元画像の処理として、立体画像処理では処理すべき情報量が多いため、あまりに複雑なプロセスを追加することなくこの課題を解決することが望まれる。

　ところが、既述した各従来技術では、この課題についての解決手段を提供していない。すなわち、特許文献１の技術では、任意の視点の他視点画像を生成することのみを目的としており、立体画像で歪みが生じる問題の解決とはならない。また、特許文献２の技術では、ユーザからのＧＵＩ情報を活用し、１つの物体ごとに視差量の調整を実施しており、特許文献３の技術では、前景や背景に生じる視差量をその視差量に応じて重み付け調整をするような方法であることから、煩雑さを増す。さらに、特許文献４の技術では、輝度値の差分情報などにより調整量を判定するといった複雑な処理が介在する。

　このように、従来技術は、既述した課題に対して適切な解決とはなっていない。

　本発明は、このような事情に鑑みてなされたものであり、立体画像の視認上の違和感の軽減と、立体画像用表示データを用いて２次元画像表示を行う場合の表示内容の正確性とをバランスさせて両立させる画像処理技術を提供することを目的とする。

　上記課題を解決するために、第１の態様に係る画像処理装置は、請求項１の発明は、立体画像処理のための画像処理装置であって、所定の原点位置から被写体を撮像した２次元画像としての基準画像を取得する基準画像取得部と、前記原点位置から前記被写体各部への距離情報を表現した距離画像を取得する距離画像取得部と、前記基準画像を撮像した際の光軸方向を基準として、前記原点位置から左側に第１距離だけ離れた第１位置に左側視点を設定し、前記原点位置から右側に第２距離だけ離れた第２位置に右側視点を設定する視点設定部と、前記基準画像と前記距離情報とに基づいて、1)前記左側視点から前記被写体を見た２次元画像に相当する左側視点画像と、2)前記右側視点から前記被写体を見た２次元画像に相当する右側視点画像と、の組を、前記被写体の立体画像観察における左目用および右目用の画像として生成する画像生成部と、備え、前記視点設定部が、前記第１距離と前記第２距離とのうち、より大きな距離に対するより小さな距離の比の値を左右比率と呼ぶとき、前記左右比率の値が前記立体画像の全体に共通した「１」未満のゼロでない比率となるように、前記第１距離および前記第２距離を設定する不均一距離設定部、を備えることを特徴とする。

　また、第２の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記不均一距離設定部が、前記被写体の立体画像の左右視差量を代表的に表現する視差指標値が相対的に大きいときには、前記視差指標値が相対的に小さいときと比較して、前記左右比率を単位比率「１」に近い値となるように、前記第１距離と前記第２距離とを可変に設定することを特徴とする。

　また、第３の態様に係る画像処理装置は、第２の態様に係る画像処理装置であって、前記視差指標値が、前記距離情報の中から所定の条件に基づいて選択された特定の距離値であることを特徴とする。

　また、第４の態様に係る画像処理装置は、第３の態様に係る画像処理装置であって、前記視差指標値が、前記距離情報の頻度分布においてピークを与える距離値に対して負の相関を持つ値であることを特徴とする。

　また、第５の態様に係る画像処理装置は、第３の態様に係る画像処理装置であって、前記視差指標値が、前記被写体のうちあらかじめ指定された種類に分類される立体要素部分と前記原点位置との間の距離に対して負の相関を持つ値であることを特徴とする。

　また、第６の態様に係る画像処理装置は、第３の態様に係る画像処理装置であって、前記視差指標値が、前記被写体のうち幾何学的要素に相当する部分と前記原点位置との間の距離に対して負の相関を持つ値であることを特徴とする。

　また、第７の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記不均一距離設定部が、前記被写体の画像表示で用いられる表示面のサイズを反映した指標値が相対的に大きいときには、前記指標値が相対的に小さいときと比較して、前記左右比率を単位比率「１」に近い値となるように、前記第１距離と前記第２距離とを設定することを特徴とする。

　また、第８の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記不均一距離設定部が、ユーザのマニュアル操作に基づいて前記左右比率の値を可変に設定するマニュアル設定部を備えることを特徴とする。

　また、第９の態様に係る画像処理装置は、第８の態様に係る画像処理装置であって、前記マニュアル設定部は、ユーザのマニュアル操作に基づいて前記第１距離と前記第２距離とのそれぞれの絶対値を個別に指定する部と、前記第１距離と前記第２距離とのそれぞれの絶対値の和を、前記距離情報に応じて定まる閾値以内に制限する制御部と、を備えることを特徴とする。

　また、第１０の態様に係る画像処理装置は、第１の態様に係る画像処理装置であって、前記立体画像を観察させる予定の観察者の効き目が左右のいずれかであるかを特定する情報を取得する効き目情報取得部をさらに備え、前記不均一距離設定部は、前記第１距離と前記第２距離とのうち、前記効き目側に相当する一方側の距離を、他方側の距離よりも小さく設定することを特徴とする。

　また、第１１の態様に係る画像処理装置は、第９の態様に係る画像処理装置であって、前記不均一距離設定部は、前記第１距離と前記第２距離との和が、前記立体画像を表示させたときの観察者の両目間の標準距離よりも小さな値となるように、前記第１距離と前記第２距離とを決定することを特徴とする。

　また、第１２の態様に係る画像処理装置は、第１ないし第１１の何れかの態様に係る画像処理装置であって、前記左右比率は可変に設定されるとともに、前記左右比率の可変範囲が、相対的に「１」に近い側にある大比率範囲と、相対的に「０」に近い側にある小比率範囲とを含み、前記左右比率の値が、前記大比率範囲と前記小比率範囲との間で切り替えられ、前記小比率範囲は、百分率表現で１０％～４０％の区間内に設定されていることを特徴とする。

　また、第１３の態様に係る画像処理装置は、第１ないし第１２の何れかの態様に係る画像処理装置であって、前記距離情報は、上下に配置されたステレオカメラから得られる距離情報であり、前記基準画像は、上記ステレオカメラの上下いずれかで撮像された２次元画像であることを特徴とする。

　また、第１４の態様に係る画像処理装置は、第１ないし第１３の何れかの態様に係る画像処理装置であって、画像表示部と、前記左目用および右目用の画像に基づいて、前記画像表示部に画像を表示させる画像表示制御部と、をさらに備え、前記画像表示制御部は、前記左目用および右目用の画像を、前記立体画像として前記画像表示部に表示させる立体画像表示モードと、前記左目用および右目用の画像のうち、前記第１距離および前記第２距離のうちより小さな距離に対応する画像のみを、２次元画像として前記画像表示部に表示させる２次元画像表示モードと、を切り替え可能であることを特徴とする。

　また、第１５の態様に係る画像処理システムは、第１ないし第１４の何れかの態様に係る画像処理装置と、前記基準画像の撮像と前記距離情報の算出とを行う基礎情報取得部と、を備えることを特徴とする。

　第１ないし第１４の態様に係る画像処理装置および第１５の態様に係る画像処理システムによれば、立体画像の全体に共通して左右比率を「１」未満のゼロでない比率とされる。これは、基準位置から左右視点までの第１距離および第２距離のいずれもゼロでない値であるとともに、第１距離と第２距離とは同一でないことを意味する。第１距離および第２距離のいずれもゼロでない値とすることによって、距離情報の誤差に起因する、立体画像の表示における遠近視認上の違和感が軽減される。また、左右比率が「１」未満であるため、左側視点画像と右側視点画像とのうちの一方は実際に撮影された基準画像に比較的近い画像内容を持つことになる。このため、２次元画像を用いた表示などを行わせる場合には、当該一方の画像を用いることによって、正確度が高い画像内容を提供することができる。これらから、立体画像の視認上の違和感の軽減と２次元画像を用いる場合の正確性とをバランスさせて両立させることができる。

　第２ないし第７の態様に係る画像処理装置によれば、不均一距離設定部が被写体の立体画像の左右視差量を代表的に表現する視差指標値により第１距離と第２距離とを設定することから、立体画像の視認上の違和感を効率良く軽減することが可能となる。

　第８または第９の態様に係る画像処理装置によれば、ユーザのマニュアル操作に基づいて前記左右比率の値を可変に設定することで、観察者の好みに応じて立体画像の視認上の違和感を調節することが可能となる。

　第１０の態様に係る画像処理装置によれば、立体画像を観察させる予定の観察者の効き目情報を考慮し、第１距離と第２距離とを設定することで、立体画像の視認上の違和感を軽減することが可能となる。

　第１１の態様に係る画像処理装置によれば、第１距離と第２距離との和が、立体画像を表示させたときの観察者の両目間の標準距離よりも小さな値となるように、第１距離と第２距離とを決定することで、立体画像の視認上の違和感を軽減することが可能となる。

　第１２の態様に係る画像処理装置によれば、小比率範囲が、百分率表現で１０％～４０％の区間内に設定されることで、立体画像の視認上の違和感の軽減と２次元画像を用いる場合の正確性とをバランスさせて両立させることができる。

　第１４の態様に係る画像処理装置によれば、画像表示制御部が、左目用および右目用の画像のうち、第１距離および第２距離のうちより小さな距離に対応する画像のみを、表示部に２次元画像として画像表示部に表示させることで、正確度が高い画像内容を提供することができる。

図１は本実施形態に係る画像処理システムの概略構成を示す図である。 図２はステレオカメラの使用形態を説明する図である。 図３はステレオカメラを横置きで使用する場合の撮影イメージを示す図である。 図４はステレオカメラで得られた画像を示す図である。 図５は縦置きステレオカメラにおける従来の仮想視点位置を例示した図である。 図６は図５のステレオカメラによって撮影された画像および得られた距離情報の画像を例示する図である。 図７は図５の視点において作成された疑似画像を例示する図である。 図８は第１実施形態に係る画像処理システムの機能構成を示すブロック図を示す。 図９は対応点探索処理を説明する概念図である。 図１０は基準画像の画素座標および距離情報と、疑似画像の画素座標との対応関係の一例を示す図である。 図１１は疑似画像を生成する基本手法の動作フローを例示する図である。 図１２は平滑化された距離画像の１例を示す図である。 図１３は縦置きステレオカメラにおける実施形態に係る仮想視点位置を例示した図である。 図１４は左側視点画像を例示した図である。 図１５は右側視点画像を例示した図である。 図１６は本実施形態に係る画像処理システム１Ａにおいて実現される基本動作を説明するフローチャートである。 図１７は第２実施形態に係る画像処理システム１の機能構成を示すブロック図を示す。 図１８は本実施形態に係る画像処理システム１Ｂにおいて実現される基本動作を説明するフローチャートである。 図１９は第３実施形態に係る画像処理システム１の機能構成を示すブロック図を示す。 図２０は本実施形態に係る画像処理システム１Ｃにおいて実現される基本動作を説明するフローチャートである。

　＜１．用語の定義＞
　この発明における下記用語は、次のように定義される。
・「画像」の用語は、静止画および動画の双方を包含する概念の用語として使用し；
・「基準画像」の用語は、所定の原点位置（原視点）から被写体を撮像した２次元画像として使用し；
・「距離画像」の用語は、当該原点位置から当該被写体各部への距離情報を表現した画像として使用し；
・「左側視点」の用語は、基準画像を撮像した際の光軸方向を基準として、当該原点位置から左側に第１距離だけ離れた第１位置に設定された視点として使用し；
・「右側視点」の用語は、基準画像を撮像した際の光軸方向を基準として、当該原点位置から右側に第２距離だけ離れた第２位置に設定された視点として使用し；
・「左側視点画像」の用語は、当該左側視点から当該被写体を見た２次元画像に相当する画像として使用し；
・「右側視点画像」の用語は、当該右側視点から当該被写体を見た２次元画像に相当する画像として使用する。

　＜２．第１実施形態＞
　　＜２－１．画像処理システムの概要＞
　図１は、本発明の一実施形態に係る画像処理システム１Ａの概略構成を示す図である。画像処理システム１Ａは、他視点カメラシステムとして構成されており、撮像部１０として２眼のステレオカメラＶＣを備えるほか、ステレオカメラＶＣに対してデータの送受信が可能に接続される画像処理装置３Ａを備える。

　ステレオカメラＶＣは、基準カメラＭＣおよび参照カメラＳＣの２つの撮像系から構成されている。基準カメラＭＣおよび参照カメラＳＣは、カメラ正面の被写体を、同じタイミングで異なる視点から撮像するように構成される。この明細書では、主要被写体（撮像の主たる対象体）ＯＢのほか、その背景や前景など、ステレオカメラＶＣで撮像される全体を「被写体」と総称する。そして、基準カメラＭＣおよび参照カメラＳＣによる同じタイミングの撮像によって得られる２つの画像信号（以下「画像」と略称する）は、データ線ＣＢを介して画像処理装置３に送信される。

　以下では、基準カメラＭＣの撮像によって取得される画像を「第１撮像画像Ｇ１」と称し、参照カメラＳＣの撮像によって取得される画像を「第２撮像画像Ｇ２」と称する。つまり、第１および第２撮像画像Ｇ１，Ｇ２は、同一の被写体が異なる視点からそれぞれ捉えられた画像の組を成す。

　画像処理装置３は、例えばパーソナルコンピュータ（パソコン）のような情報処理装置で構成され、マウスやキーボード等を含む操作部３１と、液晶ディスプレイ等で構成されるディスプレイ３２と、ステレオカメラＶＣからのデータを受信するインターフェース(Ｉ／Ｆ)３７とを備える。また、画像処理装置３は、記憶装置３４と演算制御部３６Ａとを有する。

　記憶装置３４は、例えばハードディスク等で構成され、ステレオカメラＶＣの撮像によって得られる第１および第２撮像画像Ｇ１，Ｇ２を記憶する。また、記憶装置３４には、後述される視点位置を設定するためのプログラムＰＧ等が格納される。

　入出力部３５は、例えば可搬性ディスクドライブを備えて構成され、光ディスク等の可搬性記憶媒体をセットして、演算制御部３６Ａとの間でデータの授受を行う。

　演算制御部３６Ａは、プロセッサとして働くＣＰＵ３６ａと、情報を一時的に記憶するメモリ３６ｂとを有し、これらのデジタル処理回路によって画像処理装置３Ａの各部を統括的に制御する。演算制御部３６Ａでは、記憶部３４内のプログラムＰＧが読み込まれて実行されることで、各種機能や各種情報処理等が実現される。なお、メモリ３６ｂには、可搬性記憶媒体に記憶されているプログラムデータを、入出力部３５を介して格納させることができる。この格納されたプログラムは、画像処理装置３の動作に適宜反映可能である。

　演算制御部３６Ａは、後述する視点位置が設定されることによって、左側視点画像および右側視点画像を生成し、ディスプレイ３２により、特定の被写体の画像を可視的に出力する。

　　＜２－２．撮像部１０＞
　図２は、撮像部１０のステレオカメラＶＣの具体的配置例を説明する図である。図２（ａ）および図２（ｂ）に示すステレオカメラＶＣ１では、基準カメラＭＣと参照カメラＳＣとが基線長Ｌ分だけ離れて配置された構成を採り、基準カメラＭＣおよび参照カメラＳＣは、カメラ筐体の一辺に平行となるように配列されている。

　この基準カメラＭＣおよび参照カメラＳＣの配列が、水平面に対して垂直となるようにステレオカメラＶＣ１を配置した状態を縦置きと呼称する（図２（ａ）参照）。一方、基準カメラＭＣおよび参照カメラＳＣの配列が、水平面に対して平行となるようにステレオカメラＶＣ１を配置した状態を横置きと呼称する（図２（ｂ）参照）。

　また、図２（ｃ）に示すステレオカメラＶＣ２は、基準カメラＭＣと参照カメラＳＣとが基線長Ｌ分だけ離れて配置されている点ではステレオカメラＶＣ１と同じであるが、基準カメラＭＣおよび参照カメラＳＣは、カメラ筐体の何れの辺に対しても斜めとなるように配列されており、この状態を斜め置きと呼称する。なお、上記のような配置状態に対して、上下左右が入れ替わるように配置しても良い。

　構成例として、例えば、基準カメラＭＣは、高精細画像を撮影できるようなハイビジョン放送対応レンズ（ＨＤＴＶレンズ）等の高解像度で、焦点可変のいわゆるズームレンズを有したデジタルカメラシステムとし、参照カメラＳＣは、携帯電話等に搭載される小型ユニットカメラや、マイクロカメラユニット（ＭＣＵ）などの低解像度で、単一焦点のデジタルカメラシステムとすることができる。または、両方ともハイビジョン放送対応レンズ・マイクロカメラユニットでの構成にしても良い。なお、参照カメラＳＣのレンズにはズームレンズを用いても良いが、高解像度は要求されない。このように、２つのレンズユニットはどのような構成を取っても良いが、立体視画像を生成するにあたり、基準カメラＭＣ側の画像は、他視点画像すなわち右眼用画像および左目用画像を生成するための基礎となる２次元画像（基準画像）として使用されることから、参照カメラＳＣと同レベルのレンズ、若しくは、参照カメラＳＣより性能が良いものを使用する方が望ましい。

　ステレオカメラＶＣにより得た画像を、そのまま立体視画像として使用する場合は、横置きに構成される必要があるが、本手法では距離計測を実施し、距離情報を基に、立体視用の画像を新しく生成することから、距離情報と他視点画像とを生成するための基準画像を取得できれば良いので、図２（ｂ）の横置きの構成だけでなく、図２（ａ）の縦置きあるいは図２（ｃ）の斜め置きの構成でも可能となる。

　図３は、ステレオカメラＶＣ１を横置きで使用する場合の撮影状況を示す模式図であり、主要被写体ＯＢおよび背景ＢＧを含む被写体を上方から見た状況に相当する。図３の縦軸は、基準カメラＭＣの位置を原点としたときの、基準カメラＭＣの光軸方向における主要被写体ＯＢおよび背景ＢＧまでの距離を示している。また横軸は、基準カメラＭＣと参照カメラＳＣとを結ぶ基線方向（水平方向）の距離を示しており、この方向の撮影可能範囲は、基準カメラＭＣおよび参照カメラＳＣで撮影する場合の水平方向の画角に相当する。基準カメラＭＣにおいては３段階の倍率で撮影を行う例を示しており、最も倍率の低い（最も画角の広い）状態で撮影した画像を第１の基準カメラ画像と呼称し、その画角をラインＬ１で示している。次に倍率の高い状態で撮影した画像を第２の基準カメラ画像と呼称し、その画角をラインＬ２で示している。そして、最も倍率の高い（最も画角の狭い）状態で撮影した画像を第３の基準カメラ画像と呼称し、その画角をラインＬ３で示している。一方、参照カメラＳＣはズーム機能がないので画角は１種類だけであり、その画角をラインＬ４で示している。

　図４には、図３に示した撮影イメージで得られた画像を示す。図４（ａ）には基準カメラＭＣで撮影した第１の基準カメラ画像を、図４（ｂ）には基準カメラＭＣで撮影した第２の基準カメラ画像を、図４（ｃ）には基準カメラＭＣで撮影した第３の基準カメラ画像を示している。

　また、図４（ｄ）～図４（ｆ）には、それぞれ図４（ａ）～図４（ｃ）の画像を取得した際に、参照カメラＳＣで得られた参照カメラ画像を示している。この参照カメラ画像は、何れも同じ倍率の画像となる。なお、参照カメラＳＣの光軸は、基線長Ｌ分だけ基準カメラＭＣから離れているので、参照カメラＳＣで得られた画像と基準カメラＭＣで得られた画像との間には、視差に伴う観察方向のズレが生じている。

　以上のように、基準カメラＭＣと参照カメラＳＣとの２つのカメラは同じ被写体を撮像しているが、それぞれの視線とレンズの倍率とが異なるため、被写体の大きさや画角が異なった画像が得られることになる。

　　＜２－３．計測距離情報の一般的性質と前提事情＞
　この実施形態における画像処理システム１Ａの詳細を説明する準備として、この実施形態の前提となる計測距離情報の一般的性質と、それに伴って生じる現象、すなわち従来技術で生じていた事情を説明しておく。

　図５は、図２（ａ）で説明した縦置きステレオカメラＶＣ１に対して、左側視点画像を生成するための仮想視点（左側視点ＰＬ）の位置を示した図である。図５で示されるように、基準画像を撮像する際の光軸方向を基準として、基準カメラＭＣから左側に距離Ｄだけ離れた位置Ｐに左側視点ＰＬを設定している。また、右側視点ＰＲは基準カメラＭＣの位置そのものに設定する。

　図６は、縦置きステレオカメラＶＣ１によって撮影された画像および得られた距離情報の画像を例示する図である。図６のうち、図６（ａ）は、基準カメラＭＣの撮像によって取得される第１撮像画像Ｇ１を示し、図６（ｂ）は、参照カメラＳＣの撮像によって取得される第２撮像画像Ｇ２を示す。なお、ここでは、第１撮像画像Ｇ１を基準画像ＳＧとし、第２撮像画像Ｇ２を参照画像ＲＧとする。また、図６（ｃ）は、基準画像ＳＧと参照画像ＲＧとの画像から生成される、所定の原点位置（基準カメラＭＣの位置。すなわち、原視点）から被写体各部への距離情報を表現した距離画像ＤＧの例を示す図であり、そこでは距離の長短を濃淡で表現している。

　図７は、距離画像ＤＧと基準画像ＳＧとを用いて、後述する平滑化処理を施した後、図５の左側視点ＰＬにおける左側視点画像ＩＬ０を作成した一例を示す。なお、基準カメラＭＣで撮像された基準画像ＳＧは、右側視点画像ＩＲ０（図６（ａ）参照）とされる。

　図７で示されるように、この左側視点画像ＩＬ０の領域Ｂ２には、図６（ａ）の基準画像ＳＧのうち領域Ｂ１に相当する部分画像、すなわち直線などの基本図形要素を多く有して構成された人工物（立て看板）を含む部分（幾何学的要素を包含する領域。以下「幾何的領域」）に対応した画像が生成されている。

　領域Ｂ２（図７参照）に示されるように、本来は直線状である立て看板の外縁に対応した部分は、凸状に湾曲している。これは、幾何的領域においては、領域Ｂ１に撮影された立て看板そのものの距離情報と、およびステレオカメラＶＣ１に対して該立て看板の前後にそれぞれ存在する木々の距離情報とが混在しており、該対応領域における各距離情報の統計的な分布状態は、分布の幅が広く、また、離散的な分布となっているために、統計的な代表値としての距離情報がばらつくことに起因する。

　また、原点位置に相当するステレオカメラＶＣ１からの距離が相対的に近い近距離領域と相対的に遠い遠距離領域とが隣接する領域境界（遠近境界領域の境界付近）では、立体視認が難しい現象が生じる傾向にある。これは、後述する対応点探索を行う際に生じる誤差によって、境界線をはさんで近距離情報に遠距離情報が混入してしまうため、立体視が欠如した画像として表示される事情による。

　以上のように、被写体の人工物などの幾何学的要素に相当する部分や輪郭部分などの領域境界においては、誤距離計測結果が得られる傾向にある。したがって、この不正確な距離情報に基づいて、左側視点画像ＩＬ０を作成すると、基準画像そのものを使用した正確な右側視点画像ＩＲ０と組み合わせて立体視画像を生成したときに、立体画像における遠近視認上の違和感を生じる結果となってしまう。

　このような背景の下、本発明では、片方の仮想視点における画像（ここでは、左側視点画像ＩＬ０）のみを原点位置から離れた位置を視点として生成するのではなく、原点位置からいずれも離れた位置に設定した左右両方の仮想視点において画像を生成する。そして、さらに、２つの他視点と原点位置との距離を左右不均一にして、左側視点画像と右側視点画像とのうちの一方は実際に撮影された基準画像ＳＧに比較的近い画像内容にすることで、立体画像の視認上の違和感を軽減させるとともに、２次元画像を用いる場合の正確性をもバランスさせて両立させるように構成される。そのための構成と動作との詳細は以下で後述する。

　＜３．画像処理システムの機能構成＞
　本発明の実施形態の説明に戻る。画像処理装置３Ａにおいて、左側視点画像ＩＬと右側視点画像ＩＲとを作成するために演算制御部３６Ａで実現される機能的な構成について説明する。

　図８は、本実施形態に係る画像処理システム１Ａの機能構成を示すブロック図を示す。図８で示されるように、基礎情報取得部２では、ステレオカメラＶＣ１の基準カメラＭＣおよび参照カメラＳＣによりそれぞれ撮像した基準画像ＳＧおよび参照画像ＲＧから、距離計測部１１により距離計測を実施し、所定の原点位置（基準カメラＭＣの位置）から被写体各部への距離情報を表現した距離画像ＤＧを生成する。

　画像処理装置３では、基準画像取得部１２により基準画像ＳＧを取得するとともに、距離画像取得部１３により、基準カメラＭＣから被写体各部への距離情報を表現した距離画像ＤＧを取得し、平滑化処理部１４が空間的な平滑化処理によって画像の歪みをある程度抑制した疑似画像ＳＧ’および派生距離画像ＤＧ’を生成する。続いて、視点設定部１５が、基準カメラＭＣから左側および右側視点位置までの距離が不均一となるように、不均一距離設定部１６が左側および右側視点位置を設定する。そして、疑似画像ＳＧ’および派生距離画像ＤＧ’に基づいて画像生成部１７により左側視点画像ＩＬおよび右側視点画像ＩＲが生成され、画像表示制御部１８により画像表示モードの切替えが行われた後、画像表示部１９にてモードに見合った画像がディスプレイ３２に表示される。

　以下では、図８で示されたような演算制御部３６Ａの機能的な構成が、あらかじめインストールされたプログラムＰＧの実行によって、実現されるものとして説明するが、専用のハードウエア構成で実現されても良い。

　以降、距離計測部１１、基準画像取得部１２、距離画像取得部１３、平滑化処理部１４、視点設定部１５、不均一距離設定部１６、画像生成部１７、画像表示制御部１８、および、画像表示部１９が行う各処理についての具体的内容を、図８を参照しながら順次説明する。

　　＜３－１．距離計測部１１および距離画像取得部１３＞
　距離計測部１１では、基準カメラＭＣの位置から被写体各部への距離を、基準カメラＭＣおよび参照カメラＳＣのそれぞれが得た画像の対応点探索を通じて計測して、その計測距離結果に基づいて、距離情報を表現した距離画像ＤＧを生成する。そして、距離画像取得部１３にて距離画像ＤＧを取得する。この実施形態では、次のような対応点探索処理によって図６（ｃ）のような距離画像ＤＧを取得する。

　一般に、対応点探索処理では、対応点基準画像上の任意の注目点に対応する対応点参照画像像上の点（対応点）を探索して求め、得られた注目点と対応点との関係から視差情報を得た後、当該視差情報から距離情報を取得する。なお、対応点参照画像とは、対応点基準画像に対応する画像である。具体的には、ステレオ画像においては、同時刻に撮像した一対の画像のうち一方が対応点基準画像であり、他方は対応点参照画像である。時系列画像においては、同一のカメラで撮影された画像のうち、時間的に前の画像が対応点基準画像であり、時間的に後の画像が対応点参照画像である。この対応点基準画像上の注目点に対してテンプレートが設定され、このテンプレートと対応する対応点参照画像上のウインドウが探索され、この探索されたウインドウから対応点が求められる。

　図９は、この実施形態での対応点探索処理を説明する概念図である。図９（ａ）は対応点参照画像ＣＲＧとして参照カメラＳＣで得られた第２撮像画像Ｇ２を示し、図９（ｂ）は対応点基準画像ＣＳＧとして基準カメラＭＣで得られた第１撮像画像Ｇ１を示す。対応点基準画像ＣＳＧ中の各画素について、対応点参照画像ＣＲＧの破線で囲まれた領域ＣＰ中の対応画素を求めて行く。なお、対応点基準画像ＣＳＧの全体領域は、対応点参照画像ＣＲＧの領域ＣＰに対応しており、領域ＣＰが拡大されたものとなっている。

　このような対応点探索の具体的な方法は公知であり、位相情報により対応点探索を行う方法としては、例えば、下記のような方法が挙げられる。
・位相限定相関法（Phase Only Correlation: POC）を用いた対応点探索
・位相差解析法（Phase Shift Analysis: PSA）を用いた対応点探索
　また、輝度情報を基に対応点探索を行う方法としては、例えば、下記のような方法が挙げられる。
・SAD（Sum of Absolute Difference）法を用いた対応点探索
・SSD（Sum of Squared intensity Difference）法を用いた対応点探索
・NCC（Normalized Cross Correlation）法を用いた対応点探索
　そして、このような対応点探索の結果に基づいてステレオカメラから被写体各部への距離を画素単位で表現した距離画像ＤＧを生成する。

　ステレオカメラを用いた距離画像ＤＧの生成において、２つの画像のうち画素数が少ない画像を基準画像として使用するときには、サブピクセル単位での対応点探索が行われる。

　図９（ｃ）は、対応点基準画像ＣＳＧとして図９（ａ）における第２撮像画像Ｇ２を採用し、それにサブピクセルを設定する例を模式的に示す図である。さらに、図９（ｄ）は、画素数が多い方の図９（ｂ）の第１撮像画像Ｇ１に相当する画像を対応点基準画像ＣＳＧとした例を示す。

　相関法を用いた対応点探索処理では、対応点基準画像ＣＳＧ上の注目点に対して対応点参照画像ＣＲＧ上の対応点を求めるために対応点参照画像ＣＲＧ上を１画素ずつサンプリングするという処理がなされる。

　図９（ｄ）で示されるように、対応点基準画像ＣＳＧの倍率が高く、対応点参照画像ＣＲＧの倍率が低いような場合、すなわち、有効画素数の多い側を対応点基準画像ＣＳＧとした場合には、複雑な処理を施すことなく、サブピクセル単位まで対応点探索処理を実施することができる。これに対し、図９（ｃ）で示されるように、対応点基準画像ＣＳＧの倍率が低く、対応点参照画像ＣＲＧの倍率が高いような場合には、サンプリング間隔が大幅に異なり、対応点参照画像ＣＲＧの情報が抜け落ちて精度の良い距離情報の取得が困難となる。後記のような視点位置の設定は、被写体の人工物などの幾何学的要素に相当する部分や輪郭部分などの領域境界付近での立体画像の視認上の違和感を軽減させることを主目的とするが、このようなサブピクセル探索に起因する誤差の補償としても有意義である。

　図９（ｃ）では、サブピクセル単位まで対応点探索処理を実施するために、１つの画素を横方向に３分割して３つのサブピクセルを設定した例を示しているが、画素の分割はこれに限定されるものではなく、また、さらに細かく分割することも可能である。これにより、対応点基準画像ＣＳＧと対応点参照画像ＣＲＧとで倍率が異なるような場合でも、サンプリング間隔を一致させることができる。すなわち、注目点ＯＰがサブピクセルレベルの位置である場合に、注目点ＯＰであるサブピクセルＳＰを中心にして探索用テンプレートＴＰを設定することになる。

　なお、サブピクセルの推定方法としては、例えば、特開２００１－１９５５９７号公報などに、画像間の相関値を算出後、最も相関値の高い位置とその周辺の相関値との位置関係から、画素と画素との間の相関値を直線式または曲線式に当て嵌めることによって補間し、相関値のピーク位置およびピーク値を推定する方法が開示されており、この推定方法を使用することができる。

　これらの対応点探索法のいずれにおいても、被写体の人工物などの幾何学的要素に相当する部分や輪郭部分などの領域境界付近など距離情報算出が不得意な対象領域が存在する。また、このような対応点探索による距離画像の生成だけでなく、後に「変形例」として説明する他の方法によって距離計測を行って距離画像を生成しても、やはり同様の領域付近で距離算出の誤差が生じやすいため、本発明の原理を用いた立体画像の生成が有効である。

　　＜３－２．平滑処理部１４＞
　続いて、平滑化処理部１４では、距離画像ＤＧから得られた距離情報などのばらつきを低減させ、距離画像ＤＧに基づいて基準画像ＳＧを変形することによって、疑似画像を生成する。以下、図１０および図１１を参照して疑似画像の生成について概略を説明する。

　図１０は、基準画像ＳＧの部分画像と、疑似画像ＳＧ’の部分画像とのそれぞれにおける各画素の対応関係の１例を示す図であり、図１１は、疑似画像ＳＧ’を生成する基本手法の動作フローを例示する図である。図１０は、基準画像ＳＧの水平走査方向の１ライン分の部分画像ＳＧａの一部の各画素７ａ～７ｊと、基準画像ＳＧａに対応した疑似画像ＳＧ’の水平走査方向の１ライン分の部分画像ＳＧｂの一部の各画素８ａ～８ｊとの対応関係の１例を示す図である。また、部分画像ＳＧａと部分画像ＳＧｂとは、被写体の同一部分にそれぞれ対応している。なお、該対応関係の把握を容易にするために、各画素７ａ～７ｊと、各画素８ａ～８ｊとは、画素値に応じた濃淡によって画素毎に区分されて表示されている。

　図１１のステップＳ５０において、１ライン分の部分画像ＳＧａが選択されると、選択された部分画像ＳＧａの各画素について、疑似画像ＳＧ’において対応する画素、すなわち部分画像ＳＧｂの各画素８ａ～８ｊの水平走査方向の画素座標が取得される（ステップＳ５１）。ここで、各画素８ａ～８ｊには、各画素７ａ～７ｊのうち１つの画素が対応している第１種の画素、２つの画素が対応している第２種の画素、および各画素７ａ～７ｊの何れの画素も対応していない第３種の画素の３種類の画素が存在しているとすると、ステップＳ５２の処理においては、該第１種の画素の画素値として、該画素に対応する部分画像ＳＧａの画素の画素値が採用され、また、該第２種の画素の画素値として、該画素に対応する部分画像ＳＧａの２つの画素の画素値の代表値、例えば、平均値が採用される。また、該第３種の画素の画素値としては、例えば、部分画像ＳＧａとの対応関係に基づいて画素値が取得された部分画像ＳＧｂの画素のうち該第３種の画素に最も空間的に近い画素の画素値が採用される。そして、部分画像ＳＧｂの画像は、部分画像ＳＧｂの各画素についてそれぞれ特定された画素座標と、画素値とによって特定される。

　ステップＳ５２の処理が終了すると、基準画像ＳＧａの水平方向の全てのラインについて、対応する疑似画像の部分画像を生成する処理（ステップＳ５１～Ｓ５２）が終了したか否かが確認される（ステップＳ５３）。ステップＳ５３での確認の結果、水平方向の全てのラインについて処理が終了していなければ、基準画像ＳＧのうち、処理されたラインの垂直方向の次のラインが新たな処理対象として選択されて（ステップＳ５４）、処理はステップＳ５１へと戻される。また、ステップＳ５３での確認の結果、水平方向の全てのラインについて疑似画像ＳＧ’の部分画像を生成する処理が終了していれば、疑似画像ＳＧ’の生成処理は終了される。

　図１２は、平滑化された距離画像の１例を示す図である。すなわち、これは図６（ｃ）の距離画像に平滑化処理を施した後の距離画像であり、歪みが抑制された疑似画像ＳＧ’の生成に用いられる距離情報を表現した派生距離画像ＤＧ’に該当する。

　　＜３－３．視点設定部１５および不均一距離設定部１６＞
　視点設定部１５では、不均一距離設定部１６において設定された基準カメラＭＣからの第１距離および第２距離に基づき、左側視点および右側視点を設定する。

　図１３は、図２（ａ）で説明した縦置きステレオカメラＶＣ１の基準カメラＭＣから、左側視点画像ＩＬおよび右側視点画像ＩＲを生成するための左側視点ＰＬおよび右側視点ＰＲの位置をそれぞれ示した図である。

　図１３で示されるように、視点設定部１５は、基準画像ＳＧを撮像した際の水平方向の光軸ＡＸの方向を基準として、すなわち光軸方向を視線方向として見たときに、基準カメラＭＣから左側に第１距離Ｄ１だけ離れた第１位置Ｐ１に左側視点ＰＬを設定し、基準カメラＭＣから右側に第２距離Ｄ２だけ離れた第２位置Ｐ２に右側視点ＰＲを設定する。視点ＰＬ，ＰＲを仮想的に結ぶ線分は、原点位置を通りかつ光軸ＡＸに直角な水平線である。ここで、第１距離Ｄ１と第２距離Ｄ２とのうち、より大きな距離に対するより小さな距離の比の値を左右比率と呼ぶとき、不均一距離設定部１６が、左右比率の値が立体画像の全体に共通した「１」未満のゼロでない比率となるように、第１距離Ｄ１および第２距離Ｄ２を設定する。図１３の場合には、第２距離Ｄ２よりも第１距離Ｄ１の方が大きく、したがって左右比率ｒ（図示せず）はｒ＝Ｄ２／Ｄ１として定義され、不等式「０＜ｒ＜１」を満たす。

　後述するように、左右比率ｒは一般に、マニュアルまたは自動で可変に設定されることができる。このとき、左右比率ｒの可変範囲は、相対的に「１」に近い側にある大比率範囲と、相対的に「０」に近い側にある小比率範囲とを含んで構成され、それらの大比率範囲と小比率範囲との間で、左右比率ｒを切り替えて設定することができる。そして、このうちの小比率範囲は、百分率表現で１０％～４０％の区間内に設定されていることが好ましい。ｒ＝０のごく近くの値（たとえばｒ＝２％）を含むように小比率範囲を設定すると、立体画像の視認上の違和感がかなり大きくなり、ｒ＝１のごく近くの値（たとえばｒ＝９８％）を含むように大比率範囲を設定すると、基準画像に近い２次元画像を再現しにくくなるためである。

　また、不均一距離設定部１６では、被写体ＯＢの立体画像の左右視差量を代表的に表現する視差指標値を算出し、この視差指標値が相対的に大きいときには、視差指標値が相対的に小さいときと比較して、左右比率ｒが単位比率「１」に近い値となるように、第１距離Ｄ１と第２距離Ｄ２とを設定する。したがって、視差指標値を決めるファクタに依存して、不均一距離設定部１６は、左右比率ｒを決定することになる。

　以下、視差指標値を決めるファクタと、それぞれでの左右比率ｒの設定原理を順次説明する。なお、下記のいずれの場合も「０＜ｒ＜１」の条件の範囲内で、かつ第１距離Ｄ１と第２距離との合計に相当する左右視点間距離Ｄ０（＝Ｄ１＋Ｄ２）は一定とする条件での、左右比率ｒの可変設定であり、この２つの条件を「基本設定条件」と呼ぶことにする。

　　　＜３－３－１．被写体などの特定の距離値の利用＞
　視差指標値としては、距離情報の中から所定の条件に基づいて選択された特定の距離値に対して負の相関を持った値を採用することができる。被写体の各部分の視差量は原点位置から当該部分までの距離と負の相関がある（近似的に、視差量は距離の逆数に比例する）から、たとえば被写体の距離情報から選択された特定の距離値の逆数を視差指標値として採用できる。

　そして、視差指標値が相対的に大きいときには、視差指標値が相対的に小さいときと比較して、左右比率を単位比率「１」に近い値となるように、第１距離Ｄ１と第２距離Ｄ２とを可変に設定する。ただし、可変とはいっても、ひとつの立体画像（シーン）内について見ると、左右比率は立体画像の全体に共通した値とされる。すなわち、この発明は、立体画像の空間的部分ごとに左右比率を変化させるという技術思想とは異なる。

　左右比率の決定因子となる視差指標値の好ましい例としては、以下のようなものがある。

　　　＜第１例：ピーク距離値の利用＞
　特定の距離値に該当する視差指標値Ｌsとしての第１例は、距離情報の頻度分布におけるピークを与える距離値Ｌpと負の相関を持つ値、たとえばピーク距離値Ｌpの逆数１／Ｌpである（Ｌs，Ｌpはいずれも図示せず）。すなわち、主要被写体ＯＢとしての人物のほか、前景や背景が撮影された画像に含まれているときには、距離情報の頻度分布は、原視点から人物までの距離付近にピークがあり、前景および背景の距離あたりにもピークがあるという形状になる。そこで、距離軸の中央付近（たとえば、２つの閾値ではさまれた距離範囲内）のピーク距離値Ｌpの逆数１／Ｌpを視差指標値Ｌsとすることができる。

　図１３の例の場合、第１距離Ｄ１と第２距離Ｄ２との関係は「Ｄ１＞Ｄ２」であるが、視差指標値Ｌsが相対的に大きい場合（上記の例では、主要被写体が比較的ステレオカメラＶＣ１の近くにあって、ピーク距離値Ｌpが小さい場合）には、左右の視点画像の歪み量が同程度でないと、立体視した際に歪の違和感を受けやすい。このため、基準画像の保存性は多少低下させても、歪の違和感の低減を優先することが好ましい。そこで、この場合には、基本設定条件下で、左右比率ｒの値を、単位比率「１」（＝１００％）に比較的近い値（たとえば４０％以上の値）とする。

　逆に、視差指標値Ｌsが相対的に小さい場合（上記の例では、主要被写体が比較的ステレオカメラＶＣ１から遠くにあって、ピーク距離値Ｌpが大きい場合）には、着目されやすい被写体部分の視差量が全般的に小さいため、片側の仮想視点画像が歪み量を大幅に負担しても、立体視した際それほど歪の違和感を生じない。このため、左右視点画像のうち一方の視点画像については基準画像の画像情報をできるだけ忠実に保存させる。すなわち、基本設定条件下で、左右比率ｒの値を、単位比率「１」（＝１００％）から比較的遠い値（たとえば２０％）とする。

　ポートレートや集合写真、草花、家屋、工業製品などを主要被写体とする場合には、それら主要被写体についての画像の再現性や立体感が重要であるため、視差指標値Ｌsのこのような選択は有意義である。

　　　＜第２例：人間の顔など特徴要素の距離値の利用＞
　視差指標値が、被写体ＯＢのうちあらかじめ指定された種類に分類される立体要素部分までの距離に対して負の相関を持つ値で定義される。

　これは、上記の第１例と同じ結果を与える場合も多いが、人物あるいはその顔部分のような特定の立体要素部分は、その形状などの画像処理によって他の要素部分と識別可能であるため、その部分のサイズが小さくとも、着目すべき被写体要素として特定できる。そして、その要素までの距離Ｌm（図示せず）を距離画像ＤＧから抽出し、この距離Ｌmと負の相関を持つ値（たとえば距離Ｌmの逆数である１／Ｌm）を視差指標値とする。

　そのようにして視差指標値を特定した後の左右比率ｒの切り替えは第１例と同様である。すなわち、視差指標値が大きい（すなわち特定の立体要素部分までの距離が小さい）ときには左右比率ｒは単位比率「１」に近い値に設定し、視差指標値が小さい（すなわち特定の立体要素部分までの距離が大きい）ときには左右比率ｒは単位比率「１」から遠い値に設定する。いずれも、基本設定条件下での設定である。

　これにより、特定の立体要素部分が近くにあるときには左右視差の不均一性を抑制し、特定の立体要素部分が遠くにあるときには基準画像の忠実度が高い画像を一方の視点画像に使用する。

　　　＜３－３－２．人工物など幾何学的要素に相当する部分の割合＞
　この態様では、視差指標値として、被写体ＯＢのうち人工物に相当する部分から原点位置までの距離と負の相関を有する値を採用する。人工物か否かの判定には、幾何学的要素すなわち、直線、円弧、矩形、円、三角形、平行線などに相当する部分を２次元画像認識によって特定することができる。そして、そのような人工物の画像を所定の程度以上に含む領域が所定の程度以上に多く、それによって視差指標値が相対的に大きいと判断されるときには、視差指標値が相対的に小さいときと比較して、左右比率ｒを単位比率「１」に近い値となるように、第１距離Ｄ１と第２距離Ｄ２とを設定する。

　すなわち、人工物など幾何学的要素に相当する部分は直線や円弧などが多く、これらは視覚的に歪みが認識されやすい。そこで、当該部分の判定を実施し、当該部分の割合が高い（視差指標値が大きい）場合は、左右視点間距離Ｄ０を一定にしつつ、第１距離Ｄ１と第２距離Ｄ２とを比較的近い値とすることによって左右比率ｒを「１」に近い値に設定し、左右視点画像での歪みの程度を同程度にする。

　逆に、人工物など幾何学的要素に相当する部分の割合が低い（視差指標値が小さい）場合は、片側の仮想視点に歪み量を大幅に負担しても立体視した際それほど歪の違和感を生じないことから、左右視点間距離Ｄ０を一定にしつつ、第１距離Ｄ２と第１距離Ｄ１との差を比較的大きくすることによって左右比率ｒを「１」から遠い値に設定し、左右視点画像のうちの一方を、基準画像に比較的忠実な画像とする。

　また、被写体全体における人工物を含む各領域の面積の合計の割合ではなく、個々の人工物の空間的なサイズによって、左右比率ｒを変更しても良い。すなわち、被写体全体の中での人工物が占める面積の割合が同じであっても、大きな人工物が１つある場合の方が、細かな人工物が多数分散している場合よりも、立体画像としたときに歪みが認識されやすい。このため、基準画像内に現れている個々の人工物のうち、最大の空間サイズを持つ人工物につき、その空間サイズが所定の閾値サイズよりも大きいときには、そうでないときと比較して左右比率ｒを、より「１」に近い値に設定する。

　これらもまた、基本設定条件下での可変設定である。

　　　＜３－３－３．表示画面サイズの割合＞
　不均一距離設定部１６はまた、被写体ＯＢの画像表示で用いられる表示面のサイズを反映した指標値が相対的に大きいときには、指標値が相対的に小さいときと比較して、左右比率を単位比率「１」に近い値となるように、第１距離Ｄ１と第２距離Ｄ２とを設定する。

　すなわち、表示モニタが小さい場合は、元々視差量も小さいことから、第１距離Ｄ１と第２距離Ｄ２との差を大きくしても問題が少ないため、基本設定条件の範囲内で、左目用画像と右目用画像との一方につき、基準画像にできるだけ忠実な２次元画像としておく。逆に、表示モニタが大きい場合は、視差量が大きいことから、基本設定条件の範囲内で、第１距離Ｄ１と第２距離Ｄ２との差を小さめとして、立体画像の視認上における違和感を軽減する。

　例えば、表示面のサイズを反映した指標値が所定の閾値以上（サイズ大）の場合には、左右比率ｒを大比率範囲から選択した値とし、閾値以下（サイズ小）の場合は、左右比率ｒを小比率範囲から選択した値にすることができる。

　たとえば、大比率範囲は、１／４～２／３（２５％～約６７％）の範囲で設定され、小比率範囲は１／９～１／４（約１１％～２５％）の範囲で設定される。この小比率範囲は、一般に小比率範囲として好ましい範囲（１０％～４０％）内に属する。

　　＜３－４．画像生成部１７＞
　画像生成部１７では、平滑化処理部１４で生成された疑似画像ＳＧ’と派生距離情報ＤＧ’（図１２参照）とに基づいて、左側視点画像と右側視点画像との組を、被写体の立体画像観察における左目用および右目用の画像として生成する。

　図１４および図１５は、画像生成部１７によって左目用および右目用の画像として生成された一例を示す。すなわち、画像生成部１７では、
　1)　左側視点ＰＬ（図１３参照）から被写体ＯＢを見た２次元画像に相当する左側視点画像ＩＬ（図１４参照）と、
　2)　右側視点ＰＲ（図１３参照）から被写体ＯＢを見た２次元画像に相当する右側視点画像ＩＲ（図１５参照）と、
の組を、被写体ＯＢの立体画像観察における左目用および右目用の画像として生成する。ここで、図１３の第１距離Ｄ１と第２距離Ｄ２との左右比率ｒ（Ｄ２／Ｄ１）は１／４（２５％）とされている。

　図１４の領域Ｂ３および図１５の領域Ｂ４で示されるように、歪みが抑制されていない図７の領域Ｂ２と比較して、歪みが低減されている様子がわかる。これは、図７の左側視点画像ＩＬ０の歪み量を百分率表現で１００％と表現すると、左側視点画像ＩＬ（図１４参照）に該歪み量の８０％、右側視点画像ＩＲ（図１５参照）に該歪み量の２０％が分担されたためである。

　　＜３－５．画像表示制御部１８および画像表示部１９＞
　画像表示制御部１８では、左目用および右目用の画像に基づいて、画像表示部１９に画像を表示させる。また、画像表示制御部１８では、左目用および右目用の画像を、立体画像として画像表示部１９に表示させる立体画像表示モードと、左目用および右目用の画像のうち、第１距離Ｄ１および第２距離Ｄ２のうちより小さな距離に対応する画像のみを、２次元画像として画像表示部１９に表示させる２次元画像表示モードとを、ユーザによる操作部３１からのマニュアル操作（選択操作）に基づいて切り替えることが可能である。

　＜４．画像処理システム１Ａの基本動作＞
　図１６は、本実施形態に係る画像処理システム１Ａにおいて実現される基本動作を説明するフローチャートである。既に各部の個別機能の説明は行ったため（図８参照）、ここでは全体の流れのみ説明する。

　図１６に示すように、まず、ステップＳ１において、撮像部１０の基準カメラＭＣが、被写体の２次元画像を撮影し、基準画像ＳＧを生成する（図６（ａ）参照）。

　ステップＳ１と並行して実行されるステップＳ２では、撮像部１０の参照カメラＳＣが、被写体の２次元画像を撮影し、参照画像ＲＧを生成する（図６（ｂ）参照）。

　ステップＳ３では、距離計測部１１が、基準画像ＳＧ内の範囲に対して基準画像ＳＧと参照画像ＲＧとから対応点探索処理などを施して被写体各部への距離を演算によって求める距離計測処理を行う。また、距離画像取得部１３は、距離計測の結果に基づいて基準カメラＭＣの位置（原点位置）から被写体各部への距離情報を画素単位で表現した距離画像ＤＧを生成する（図６（ｃ）参照）。

　ステップＳ４では、平滑化処理部１４が、基準画像ＳＧおよび距離画像ＤＧにおいて、空間的な平滑化処理を行い、疑似画像ＳＧ’および派生距離画像ＤＧ’（図１２参照）を生成する。

　ステップＳ５では、視点設定部１５が、不均一距離設定部１６において決定された第１距離Ｄ１および第２距離Ｄ２に基づいて、左側視点ＰＬおよび右側視点ＰＲを設定する（図１３参照）。

　ステップＳ６では、画像生成部１７が、疑似画像ＳＧ’および派生距離画像ＤＧ’に基づいて、左側視点ＰＬから被写体ＯＢを見た２次元画像に相当する左側視点画像ＩＬと、右側視点ＰＲから被写体ＯＢを見た２次元画像に相当する右側視点画像ＩＲとの組を、被写体ＯＢの立体画像観察における左目用および右目用の画像として生成する（図１４および図１５参照）。

　ステップＳ７では、画像表示制御部１８が、左側視点画像ＩＬと右側視点画像ＩＲとから、立体画像として表示させる立体画像表示モードと、第１距離Ｄ１および第２距離Ｄ２のうちより小さな距離に対応する画像のみを、２次元画像として表示させる２次元画像表示モードとを、ユーザによる操作部３１のマニュアル操作に基づいて選択的に切り替え、そのようにして選択された画像を画像表示部１９にて表示させる。この実施形態では、ユーザによるこのマニュアル操作の内容に対応する情報が、図８における外部情報ＩＦ１に相当する。

　＜５．第２実施形態＞
　図１７は、本発明の第２実施形態における画像処理装置３Ｂにおいて、左側視点画像ＩＬと右側視点画像ＩＲとを作成するために演算制御部３６Ｂで実現される機能的な構成について説明する。第１実施形態と異なる点は、図１７で示されるように、不均一距離設定部１６において、マニュアル設定部２０を備える。なお、残余の構成は第１実施形態の装置と同様である（図８参照）。

　マニュアル設定部２０では、ユーザのマニュアル操作に基づいて左右比率の値を可変に設定する。すなわち、ユーザが外部情報ＩＦ２を、操作部３１のマニュアル操作によって画像処理装置３Ｂに入力し、マニュアル設定部２０が外部情報ＩＦ２に基づいて左右比率ｒの値を設定する。

　また、マニュアル設定部２０は、ユーザのマニュアル操作に基づいて第１距離Ｄ１と第２距離Ｄ２とのそれぞれの絶対値を個別に指定する部と、第１距離Ｄ１と第２距離Ｄ２とのそれぞれの絶対値の和を、距離情報に応じて定まる閾値以内に制限する制御部とを備えている。これにより、不均一距離設定部１６が、第１距離Ｄ１と第２距離Ｄ２との和Ｄ０が、立体画像を表示させたときの観察者の両目間の標準距離で決定されたデフォルト距離だけでなく、その標準距離よりも小さな値となるように、第１距離Ｄ１と第２距離Ｄ２とを決定することができる。なお、この標準距離（デフォルト距離）の値は、あらかじめ記憶装置３４（図１）内に記憶されている。

　　＜５－１．画像処理システム１Ｂの基本動作＞
　続いて、図１８は、第２実施形態に係る画像処理装置３Ｂの動作フローを例示した図である。このうち、ステップＳＳ１～ＳＳ６は図１６のステップＳ１～Ｓ６と同様であるため、その説明は省略する。

　この第２実施形態では、第１実施形態では存在しなかったマニュアル設定部２０が付加されたことで、下記の工程が加わる。

　すなわち、図１８で示されるように、ステップＳＳ７にてユーザが画像表示制御部１８によって立体画像表示モードで表示された際、表示された立体画像がユーザの所望するものと異なる場合、ステップＳＳ８に進む。

　ステップＳＳ８では、ユーザが操作部３１からマニュアル設定部２０に外部情報ＩＦ２を入力する。ただし、外部情報ＩＦ２で与えられる第１距離Ｄ１と第２距離Ｄ２との和が、距離情報に応じて定まる閾値を超える場合、マニュアル設定部２０はユーザに警告する。この警告はたとえば、警告音の発生によって行ってもよく、可視的な警告表示をディスプレイ３２上に表示させて行ってもよい。また、標準距離を超える設定を強制的に禁止する機能を持たせることもできる。

　そして、適切な外部情報ＩＦ２が入力されれば、ステップＳＳ５に戻って、マニュアル設定部２０が外部情報ＩＦ２に基づいて左右比率ｒの値を可変に設定し、ステップＳＳ６にて、その左右比率ｒに基づいて、画像生成部１７が左側視点画像ＩＬおよび右側視点画像ＩＲを生成する。最後に、ステップＳＳ７にて、再び、画像表示制御部１８によって、立体画像表示モードに切り替えられ、画像表示部１９にて表示させる。

　以上のように、ユーザの所望する立体画像表示になるまで、ステップＳＳ５～ステップＳＳ８のループが繰り返され、最終的に、ユーザの所望する立体画像表示が得られれば、ステップＳＳ９に進み、動作が終了する。

　ここで、第１距離Ｄ１と第２距離Ｄ２との和Ｄ０を、標準距離よりも小さな値となるように指定した場合には、次のような状況となる。すなわち、まず和Ｄ０を標準距離ＤＳ（図示せず）と同じ値として、指定した左右比率ｒで標準距離ＤＳを第１距離Ｄ１と第２距離Ｄ２とに振り分けたときには、
　第１距離Ｄ１＝Ｄ０×１／（１＋ｒ）＝ＤＳ×１／（１＋ｒ）
　第２距離Ｄ２＝Ｄ０×ｒ／（１＋ｒ）＝ＤＳ×ｒ／（１＋ｒ）
となる。ただし、ここではＤ１＞Ｄ２であり、したがってｒ＝Ｄ２／Ｄ１で定義される。

　これに対して、和Ｄ０を標準距離ＤＳよりも小さい値としたときには、
　第１距離Ｄ１＝Ｄ０×１／（１＋ｒ）＜ＤＳ×１／（１＋ｒ）
　第２距離Ｄ２＝Ｄ０×ｒ／（１＋ｒ）＜ＤＳ×ｒ／（１＋ｒ）
となるから、第１距離Ｄ１と第２距離Ｄ２とのいずれも、和Ｄ０を標準距離ＤＳと同じとした場合よりも小さくなる。

　したがって、後者の場合には、左右比率ｒについては、指定された比を守りつつも、被写体各部の視差量を全体的に抑制する結果を与える。この処理は特に、視差量を全体的に抑制した方が望ましい立体感を与えるような場合などに好適である。

　＜６．第３実施形態＞
　図１９は、本発明の第３実施形態における画像処理装置３Ｃにおいて、左側視点画像ＩＬと右側視点画像ＩＲとを作成するために演算制御部３６Ｃで実現される機能的な構成について説明する。図１９で示されるように、効き目情報取得部２１で得られた外部情報ＩＦ３を不均一距離設定部１６に入力する。なお、残余の構成は第１実施形態の装置と同様である（図８参照）。

　効き目情報取得部２１では、立体画像を観察させる予定の観察者の効き目が左右のいずれかであるかを特定する情報を取得する。効き目の検出方法としては、例えば、特開２００９－０３３５３８等の公知技術を用いることができる。すなわち、ユーザが外部情報ＩＦ３を、操作部３１を介して画像処理装置３Ｃに入力し、効き目情報取得部２１が、効き目情報を取得するとともに、検出された効き目情報を不均一距離設定部１６に入力する。そして、不均一距離設定部１６は、第１距離Ｄ１と第２距離Ｄ２とのうち、効き目側に相当する一方側の距離を、他方側の距離よりも小さく設定する。

　　＜６－１．画像処理システム１Ｃの基本動作＞
　続いて、図２０は、第３実施形態に係る画像処理装置３Ｃの動作フローを例示する図である。第３実施形態では、第１実施形態では存在しなかった効き目情報取得部２１が付加されたことで、下記の工程が加わる。

　すなわち、図２０で示されるように、撮像部１０により画像撮影がされる前のステップＳＴ１にて、ユーザが効き目情報を外部情報ＩＦ３として操作部３１を介して画像処理装置３Ｃに予め入力する。そして、第１および第２実施形態と同様の工程（ステップＳＴ２～ステップＳＴ５）が実施される。

　ここにおける「効き目情報」とは、立体画像の観察者（自分自身または他の観察者）の効き目が右目であるか左目であるかを特定する情報である。この効き目情報が、ユーザ自身があらかじめ知得した情報である場合には上記のように操作部３１を介してそれをマニュアル入力すればよいが、自動的に効き目を判定することもできる。

　たとえばステレオカメラＶＣでの撮影を開始する前に、テスト画像をディスプレイ３２に表示させ、右目および左目のそれぞれ一方だけで観察者がそれを見た場合と、両目で観察者がそれを見た場合とのそれぞれの観察者が顔の向きをカメラでとらえる。そして、それぞれの場合の観察者の顔の向きや眼球の動きを画像処理によってとらえて相互に比較し、両目観察の場合が、右目だけの場合と、左目だけの場合とのいずれに近いかによって、効き目の判定を行って、その情報を効き目情報として記憶させて利用することも可能である。

　ステップＳＴ６では、効き目情報取得部２１が外部情報ＩＦ３を取得し、不均一距離設定部１６に入力する。不均一距離設定部１６が、第１距離Ｄ１と第２距離Ｄ２とのうち、効き目側に相当する一方側の距離を、他方側の距離よりも小さく設定する。

　ステップＳＴ７では、ステップＳＴ６の効き目情報を考慮して左側視点ＰＬおよび右側視点ＰＲの設定がされたことを受けて、画像生成部１７によって左側視点画像ＩＬおよび右側視点画像ＩＲの生成が行われ、ステップＳＴ８において、画像表示部１９にて表示させる。

　たとえば、観察者の効き目が右目である場合、立体画像の観察においても右側視点画像ＩＲの画像の良否の方がユーザに知覚されやすい。このため、効き目に相当する右側視点画像ＩＲの方を、基準画像により忠実な画像とすべく第１距離Ｄ１を第２距離Ｄ２よりも小さく設定する。

　なお、左右比率ｒは、「第１距離Ｄ１と第２距離Ｄ２とのうち、より大きな距離に対するより小さな距離の比の値」として定義されるから、効き目に応じた距離Ｄ１，Ｄ２の大小関係の決定は、左右比率ｒの値の決定とは別の処理となる。たとえばｒ＝４０％であるとしたとき、効き目が右目であるときにはＤ１／Ｄ２＝４０％となるが、効き目が左目であるときにはＤ２／Ｄ１＝４０％となる。

　＜７．ステレオカメラの形態との関係＞
　基準画像と距離情報との取得を、ステレオカメラを用いて行う場合には、ステレオカメラが縦置きカメラである場合にこの発明の効果が特に顕著になる。ステレオカメラを構成する２つのカメラのうち、基準カメラと比較して参照カメラの精度は低くすることが通例であるため、基準画像としては基準カメラで撮像した画像が使用されるが、横置きカメラの場合には、参照カメラで得た２次元画像も、距離計測の目的だけでなく２次元画像としてもある程度は使用できる。

　すなわち、横置きカメラの場合には基準カメラの位置と参照カメラの位置とが水平方向に離れているため、右目用画像と左目用画像との生成にあたっては、右目用画像のための右側視点と左目用画像のための左側視点とのうち、参照カメラに近い視点での画像の生成では、基準カメラから得た基準画像だけでなく参照カメラで得た２次元画像も参考にできる。

　ところが縦置きのステレオカメラの場合には、基準カメラの位置と参照カメラの位置とが水平方向には離れていないため、参照カメラによって撮像した結果は、距離計測以外には使用できない。したがって、立体画像の生成では歪みが生じやすく、また、右目用画像と左目用画像とのうちの一方を使用した２次元画像表示においても、基準カメラの位置（原点位置）から離れた視点での画像の忠実性が低下しやすい。このため、この発明のように立体画像の視認上の違和感を軽減しつつ、２次元画像表示では基準画像への忠実性が比較的よく確保されるという効果は、縦置きのステレオカメラの場合に特に大きくなる。これは、ステレオカメラの上下いずれが基準カメラであるかを問わない。

　＜８．変形例＞
　以上、本発明の実施形態について説明してきたが、本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

　※　本実施形態では、画像処理装置３Ａ，３Ｂ，３Ｃを個別に実施されるよう画像処理システム１Ａ，１Ｂ，１Ｃと各実施形態に分けて記載したが、これらの個別機能は、互いに矛盾しない限り、相互に組み合わせてもよい。

　※　距離画像ＤＧの生成の基礎となる被写体各部までの距離計測は、既述した対応点探索法だけでなく、下記のような方法で取得されてもよい。

　（１）　ＴＯＦ（Time-of-Flight　距離画像センサ）
　ＴＯＦ方式（例えば、特開２００１－３０４８１１等で公知技術）では、画像領域内の全画素に対して、距離計測を実施することが難しい。そこで、計測された画素以外の領域に対しては、計測点の補間を行うことが必要となる。補間方法としては、単純に周辺の情報による補間を行う方法があるが、補間を行うだけでなく、エッジ周辺においては、計測誤差が生じやすい。このため、この方法によって得られた第１距離画像について、既述したこの発明の実施形態の補正を行うことに特に意味がある。

　（２）　距離推定法
　これは、２次元画像を３次元画像に変換する為に推定処理により立体視画像を生成する方法である。距離推定を用いた方法として、例えば、下記のような技術を採用することができる。
・３つのシーンモデルにより、撮影シーンを分類し、最も近いモデルにより立体形状を推定した後、画像の輝度情報などを基に前後に視差をずらして立体視画像を生成する技術であり、特開２００６－１８５０３３号公報や特開２００６－１８６５１０号公報などに開示されている。
・輝度情報を基に、視差の推定を行う技術であり、特開２００６－３１９４６９号公報などに開示されている。
・時系列情報をベースに距離の推定を行うことで、視差の生成を行う技術であり、特開２０００－２６１８２８号公報などに開示されている。

　上記方法においては、実際に距離計測を実施せず、距離を推定により算出していることから、推定に不得意な対象領域が存在する。そこで、既述した補正処理を実施することによってより正しい距離画像が得られる。

　以上のような距離計測を行う場合には、それによって距離画像が得られるから、距離情報を得るためにステレオカメラを用いる必要はなく、２次元画像としては、既述した実施形態における基準画像ＳＧのみを取得すればよい。

　１０　撮像部
　１１　距離計測部
　１２　基準画像取得部
　１３　距離画像取得部
　１４　平滑化処理部
　１５　視点設定部
　１６　不均一距離設定部
　１７　画像生成部
　１８　画像表示制御部
　１９　画像表示部
　ＭＣ　基準カメラ
　ＳＣ　参照カメラ
　ＳＧ　基準画像
　ＳＧ’　疑似画像
　ＲＧ　参照画像
　ＤＧ　距離画像
　ＤＧ’　派生距離画像

Claims (15)

1. 　立体画像処理のための画像処理装置であって、
   　所定の原点位置から被写体を撮像した２次元画像としての基準画像を取得する基準画像取得部と、
   　前記原点位置から前記被写体各部への距離情報を表現した距離画像を取得する距離画像取得部と、
   　前記基準画像を撮像した際の光軸方向を基準として、前記原点位置から左側に第１距離だけ離れた第１位置に左側視点を設定し、前記原点位置から右側に第２距離だけ離れた第２位置に右側視点を設定する視点設定部と、
   　前記基準画像と前記距離情報とに基づいて、
   　1)　前記左側視点から前記被写体を見た２次元画像に相当する左側視点画像と、
   　2)　前記右側視点から前記被写体を見た２次元画像に相当する右側視点画像と、
   の組を、前記被写体の立体画像観察における左目用および右目用の画像として生成する画像生成部と、
   を備え、
   　前記視点設定部が、
   　前記第１距離と前記第２距離とのうち、より大きな距離に対するより小さな距離の比の値を左右比率と呼ぶとき、前記左右比率の値が前記立体画像の全体に共通した「１」未満のゼロでない比率となるように、前記第１距離および前記第２距離を設定する不均一距離設定部、
   を備えることを特徴とする画像処理装置。
2. 　請求項１に記載の画像処理装置であって、
   　前記不均一距離設定部が、前記被写体の立体画像の左右視差量を代表的に表現する視差指標値が相対的に大きいときには、前記視差指標値が相対的に小さいときと比較して、前記左右比率を単位比率「１」に近い値となるように、前記第１距離と前記第２距離とを可変に設定することを特徴とする画像処理装置。
3. 　請求項２に記載の画像処理装置であって、
   　前記視差指標値が、前記距離情報の中から所定の条件に基づいて選択された特定の距離値であることを特徴とする画像処理装置。
4. 　請求項３に記載の画像処理装置であって、
   　前記視差指標値が、前記距離情報の頻度分布においてピークを与える距離値に対して負の相関を持つ値であることを特徴とする画像処理装置。
5. 　請求項３に記載の画像処理装置であって、
   　前記視差指標値が、前記被写体のうちあらかじめ指定された種類に分類される立体要素部分と前記原点位置との間の距離に対して負の相関を持つ値であることを特徴とする画像処理装置。
6. 　請求項３に記載の画像処理装置であって、
   　前記視差指標値が、前記被写体のうち幾何学的要素に相当する部分と前記原点位置との間の距離に対して負の相関を持つ値であることを特徴とする画像処理装置。
7. 　請求項１に記載の画像処理装置であって、
   　前記不均一距離設定部が、前記被写体の画像表示で用いられる表示面のサイズを反映した指標値が相対的に大きいときには、前記指標値が相対的に小さいときと比較して、前記左右比率を単位比率「１」に近い値となるように、前記第１距離と前記第２距離とを設定することを特徴とする画像処理装置。
8. 　請求項１に記載の画像処理装置であって、
   　前記不均一距離設定部が、
   　ユーザのマニュアル操作に基づいて前記左右比率の値を可変に設定するマニュアル設定部
   を備えることを特徴とする画像処理装置。
9. 　請求項８に記載の画像処理装置であって、
   　前記マニュアル設定部は、
   　ユーザのマニュアル操作に基づいて前記第１距離と前記第２距離とのそれぞれの絶対値を個別に指定する部と、
   　前記第１距離と前記第２距離とのそれぞれの絶対値の和を、前記距離情報に応じて定まる閾値以内に制限する制御部と、
   を備えることを特徴とする画像処理装置。
10. 　請求項１に記載の画像処理装置であって、
    　前記立体画像を観察させる予定の観察者の効き目が左右のいずれかであるかを特定する情報を取得する効き目情報取得部
    をさらに備え、
    　前記不均一距離設定部は、
    　前記第１距離と前記第２距離とのうち、前記効き目側に相当する一方側の距離を、他方側の距離よりも小さく設定することを特徴とする画像処理装置。
11. 　請求項９に記載の画像処理装置であって、
    　前記不均一距離設定部は、
    　前記第１距離と前記第２距離との和が、前記立体画像を表示させたときの観察者の両目間の標準距離よりも小さな値となるように、前記第１距離と前記第２距離とを決定することを特徴とすることを特徴とする画像処理装置。
12. 　請求項１ないし請求項１１のいずれかに記載の画像処理装置であって、
    　前記左右比率は可変に設定されるとともに、前記左右比率の可変範囲が、相対的に「１」に近い側にある大比率範囲と、相対的に「０」に近い側にある小比率範囲とを含み、
    　前記左右比率の値が、前記大比率範囲と前記小比率範囲との間で切り替えられ、
    　前記小比率範囲は、百分率表現で１０％～４０％の区間内に設定されていることを特徴とする画像処理装置。
13. 　請求項１ないし請求項１２のいずれかに記載の画像処理装置であって、
    　前記距離情報は、上下に配置されたステレオカメラから得られる距離情報であり、
    　前記基準画像は、上記ステレオカメラの上下いずれかで撮像された２次元画像であることを特徴とする画像処理装置。
14. 　請求項１ないし請求項１３のいずれかに記載の画像処理装置であって、
    　画像表示部と、
    　前記左目用および右目用の画像に基づいて、前記画像表示部に画像を表示させる画像表示制御部と、
    　をさらに備え、
    　前記画像表示制御部は、
    　前記左目用および右目用の画像を、前記立体画像として前記画像表示部に表示させる立体画像表示モードと、
    　前記左目用および右目用の画像のうち、前記第１距離および前記第２距離のうちより小さな距離に対応する画像のみを、２次元画像として前記画像表示部に表示させる２次元画像表示モードと、
    を切り替え可能であることを特徴とする画像処理装置。
15. 　請求項１ないし請求項１４の何れかに記載の画像処理装置と、
    　前記基準画像の撮像と前記距離情報の算出とを行う基礎情報取得部と、
    を備えることを特徴とする画像処理システム。

Images