WO2011108283A1 - 立体撮像装置および立体撮像方法 - Google Patents

Abstract

　撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定する。立体撮像装置（３０００）では、制御部（１１０）により、撮影しようとしているシーンが適切な立体視ができる立体映像とならないと判断した場合、警告部（１２６）により、撮影者にその旨を警告することで、不適切な立体画像（立体映像）が取得されることを防ぐ。

Description

立体撮像装置および立体撮像方法

　本発明は、３次元立体画像（３次元立体映像）を撮像する撮像装置に関し、特に、良好な立体画像（立体映像）表示が可能な左眼用および右眼用の２枚の視差画像（ステレオ画像）を撮像する撮像方法および撮像装置に関する。

　立体画像（左眼用画像および右眼用画像）を、独立して左右の目に投影できる表示装置（以下、「立体表示装置」という。）に表示することにより、立体画像を再現させるために、両眼視差が存在する状態で立体画像（左眼用画像および右眼用画像）を撮像する立体撮像装置が知られている。
　これらの立体撮像装置は、光学系の数やイメージセンサの数に関して多様な構成のものがあり、また、立体撮像装置は、撮像方式に関しても、並列方式や時分割方式（フレームシーケンシャル方式）など様々な撮像方式を採用している。一般的には、２つの光学系（右眼用の光学系および左眼用の光学系）を有する２眼式の構成の立体撮像装置（２眼式立体画像撮像装置）が用いられることが多い。このような２眼式立体撮像装置には、２つの光学系の光軸の交差角（以下、「輻輳角」という。）等に代表される立体撮像パラメータを可変できるものもある。

　また、２つの光学系を用いず１つの光学系を通して左右の視差画像（左眼用画像および右眼用画像）を撮像する立体撮像装置も提案されている（例えば、特許文献３参照）。この立体撮像装置による撮影は、わずかな視差を持たせた２台のカメラによる撮影と等価であり、その撮影原理は、２台のカメラによる撮影（２つの光学系を用いる撮影）原理と同様である。
　また、一台のカメラ（撮像装置）を用いて撮影位置を横（水平方向）にずらして２度撮影することにより立体画像（左眼用画像および右眼用画像）を撮像する技法（以下、「２回撮り技法」という。）もある。この２回撮り技法は、静止被写体の撮影に限られ、横（水平方向）へ移動して正しく撮影するためには経験を要するが、簡便であり広い撮影両眼距離（以下、「撮影ＳＢ」、「撮影ステレオベース」、「ステレオベース」あるいは「基線長」という。）による撮影が可能であるため、有効な撮影技法である。２回撮り技法による立体撮影を適切に実行させるために、特殊なリグなどを用いずにフリーハンドでの撮影を支援するための機能、例えば、カメラの液晶ディスプレイにガイドを表示するなどの撮影支援機能を有する撮像装置も提案されている。

　≪平行法と交差法≫
　上記撮像装置により立体撮影・表示を行う技術として、平行法および交差法と呼ばれる撮像手法が知られている。
　平行法は、２台のカメラを左右に配置し、その２台のカメラの光軸が平行となる状態で、立体画像（立体映像）を撮影する技術である。平行法では、撮影の際、撮影ＳＢを人の両眼間隔に相当する間隔（約６．５ｃｍ）に設定して撮影を行い、表示の際、撮像した立体画像（左眼用画像および右眼用画像）を撮影ＳＢ分だけ電気的にずらしてスクリーン上（表示装置の表示画面上）に表示させる。これにより、平行法では、撮影時にカメラの位置で直接見た画像と同じ画像をスクリーン上（表示装置の表示画面上）に表示させることができ、さらに、平行法による立体画像では、被写体までの距離・被写体の大きさなどがそのまま表示装置を用いて再現される。つまり、平行法による立体撮影を行うことで、いわゆる「無歪み撮影」を実現させることができる。

　交差法は、２台のカメラ（撮像装置）の光軸に輻輳を付けて撮影する技術である。交差法では、２台のカメラ（撮像装置）の光軸の交差する点（輻輳点）に位置する被写体が表示装置のスクリーン面の位置に定位することを基本として撮影を行う。交差法による立体撮影では、輻輳角を変化させると被写体の定位位置を前後に変化させることが可能である。つまり、交差法による撮影では、所定の被写体を、所定の定位位置に設定しやすいので、交差法による撮影は、映画などの演出等において便利であり、映画界等で広く用いられている。
　立体撮影・表示技術において、幾何学的条件に起因する問題点がある。
　立体撮影・表示技術では、幾何学的条件により、立体撮影された画像（映像）を立体表示した場合、自然な奥行き感が得られないことがある。これは、幾何学的条件により、奥行き領域（仮想スクリーン（表示スクリーン）より奥の領域）が過剰に（不自然に）圧縮された状態で表示されたり、奥行き領域が過剰に（不自然に）広がった状態で表示されたり、後方発散し融像できない状態で表示されたりすることに起因する。

　なお、「幾何学的条件」とは、立体画像撮影時の状態および／または立体画像表示時の状態における立体撮影・表示するための要素の位置関係から幾何学的に決定される条件のことをいう。例えば、幾何学的条件は、以下のものにより決定される。
（Ａ）撮影時
（Ａ１）輻輳角、（Ａ２）レンズの画角（ズーム）、（Ａ３）撮影ＳＢ、（Ａ４）焦点距離などの撮影パラメータ。
（Ｂ）表示時
（Ｂ１）表示装置のサイズ（表示画面サイズ）、（Ｂ２）視聴距離。
　このように、立体撮影・表示技術では、幾何学的条件により、適切でない視差画像（立体画像）が撮像・表示されるという問題点がある。

　さらに、立体撮影・表示技術では、視覚的条件に起因する問題点もある。極端な近景や遠景などを立体撮影した場合、視差の絶対値が大きい状態での視差画像（立体画像）が撮像されることになり、その撮像した視差画像（立体画像）をディスプレイに表示すると、多くの人にとって、当該視差画像（立体画像）は、融像出来ない画像、すなわち、単なる二重像の画像（立体視のできない画像）として認識される。また、当該視差画像（立体画像）が立体視できるものであったとしても、極端に疲れる画像になることもある。このように、立体撮影・表示技術では、人間の視覚特性により、適切でない視差画像（立体画像）が撮像・表示されるという問題点がある。
　これらの問題点を解決するために、左右画像（左眼用画像および右眼用画像）から視差を検出し、検出した視差に基づいて視差調整を行い、人間にとって見やすい立体画像を表示する技術が提案されている（例えば、特許文献１、特許文献２参照）。

特許第３１５７３８４号公報 特開２００４－３４９７３６号公報 特公平８－２７４９９号公報

　しかしながら、従来技術には、以下のような課題がある。
　第１に、立体撮像装置の精度不足（特に、光学的な精度不足）により、適切な立体撮影を行うことができない場合があるという課題がある。
　立体撮像において、２つの光学系の間の精度（平行性、輻輳角などの精度）は、極めて重要であり、光学系の精度不足により、例えば、上下にずれたりする（２つの光学系に上下方向のずれが発生する）と前述の融像できる視差の範囲が狭くなり見づらくなる。精度を上げるためには、光学系の機構的な剛性を高める必要があり、大きさ、重量、コストなどの点で課題となる。さらに、立体撮像装置が輻輳角を可変させる構成やズームを備えた構成では、さらに精度確保が困難になる。また、要求される精度の内、上下のずれについては、二枚の画像のマッチングを調べ、ずれの内上下方向のずれ成分を補正するように画像を上下シフトすることにより補正することが原理的に可能である。しかし、左右方向のずれについては、それが、光学系等の精度不足によるずれなのか、それとも、立体撮影による本来の視差なのかを区別できないため、補正は困難である。

　さらに、一台のカメラによる手持ちでの二回撮り技法においては、光軸の精度や輻輳角の精度は、許容範囲から遙かに逸脱することが多く、ＰＣ等を用いた画像処理による後工程が必須である。しかし、やはり左右方向のずれについては補正量が不明であるため、人間の判断が行える手作業においても決定が困難であり、試行錯誤で最適な画像に調整を行っているのが現状である。
　また、左右方向の視差に大きな誤差が含まれると、被写体の定位位置が前後に変動し期待通りならないという課題がある。それにより、自然な奥行き感が損なわれる、あるいは、見やすい撮影が安定してできない等の課題もある。
　第２に、撮影時に適切な処理がなされないために、表示時に適切な立体画像（立体映像）の表示ができない（警告しかなされない）という課題がある。

　人間の視覚特性により、視差の絶対値が大きい画像をディスプレイに表示すると、融像出来ずに二重像になり立体視できない。仮に、立体視できたとしても極端に疲れる画像になる可能性が高い。
　これに対して、左右画像から視差を検出し視差調整を行い見やすい立体画像を表示する表示装置の技術が提案されている（例えば、特許文献１、特許文献２参照）。
　これらの技術は、立体画像（立体映像）の表示時に行う処理に関するものであり、表示された立体画像（立体映像）の視差と、それを観察する人間の視覚の融像条件とを用いて、許容される視差範囲に入れる、もしくは、警告するものである。
　しかし、実際には、表示時に融像出来ないことが分かり警告されても対処の方法はなく手遅れであり。

　本来は、撮影すべきシーンを撮影し、それをディスプレイに表示したときに、疲れずに立体視できるかどうかを、撮影するときに予め知ることができるのが望まれる。
　しかし、実際のシーンが撮影されてからそれらがどのように表示され定位されるかは、撮影時の多数のパラメータ（ＳＢ、画角、ズーム倍率、輻輳角など）と、表示時のパラメータ（表示のサイズ、視聴距離など）とにより決定されるため、従来、撮影時に表示状態や定位位置を判定することは出来なかった。
　第３に、撮影時に、立体撮影される画像（映像）（立体画像（映像））が、立体視ができ疲れないで見ることができるのかどうかを、実際に人間が見たときの感覚に近づけて判定することができないという課題がある。
　従来技術では、撮影時に、撮影時のパラメータや表示時のパラメータから、表示状態や定位位置を判定できたとしても、撮影シーンによっては、検出した視差を用いて正しく判定できない場合がある。

　これは、異なるシーンにおいて、最遠点と最近点とが、それぞれ、同じであっても、最遠点と最近点との画面上の位置関係によって見やすさが変わることに起因する。
　例えば、最遠点と最近点とが画面上で近接する場合には、融像が困難になる。逆に言えば、最遠点と最近点とが画面上である程度離れている場合、融像できる。
　さらには、実際の最遠点と最近点とは、画面上で離れていたため融像出来る判定されたにもかかわらず、最遠点ではない遠景と最近点でない近景とが、画面上で近接していたため、融像できない場合も存在する。すなわち、このような場合、従来技術では、融像の可否については、誤判定されることになる。
　したがって、最遠点と最近点の距離や角度に従うだけでは、見やすさを正しく判断できないという課題がある。

　また、最遠点と最近点で見やすさが決まるシーンであったとしても、最遠点および最近点のいずれかのみが融像できない場合には、従来の視差調節を用いて双方を融像可能にできる場合もあるが、一般に、両方が融像域外の場合や、一方を融像域内に入れると他方が融像域外になる場合が多く、従来技術では、これらのシーンは、立体視できる条件での撮影はできないと判定されることになる。
　撮影ＳＢを小さくする方法も存在するが、撮影ＳＢを可変にするカメラの構成は複雑となり、また、撮影ＳＢを小さくすると、撮像画像は、遠近感が乏しい画像になりがちである。
　本発明は、上記課題を鑑みて、立体撮像装置の精度不足（特に、光学的な精度不足）に起因する左右方向の視差に影響されずに、適切な立体感および／または所望の定位を実現する立体画像（立体映像）を取得する立体撮像装置、立体撮像方法およびプログラムを提供することを目的とする。

　また、本発明は、上記課題を鑑みて、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することにより、多くのシーンで優れた立体画像が撮影できる立体撮像装置、立体撮像方法およびプログラムを提供することを目的とする。

　第１の発明は、被写体像を立体撮影し、第１視点映像及び第２視点映像により形成される立体映像を撮像する立体撮像装置であって、被写体の光学像を形成する光学系と、撮像部と、視差検出部と、パラメータ取得部と、立体視可否判定部と、制御部と、を備える。
　撮像部は、形成した光学像に基づいて、立体映像を生成する。
　視差検出部は、立体映像の視差を検出する。
　表示パラメータ取得部は、立体映像を視聴する環境に関するパラメータである表示パラメータを取得する。
　立体視可否判定部は、検出した視差および前記取得した表示パラメータに基づいて、立体映像の撮影時に、生成する立体映像が立体視し易いか否かを判定する。
　制御部は、立体映像が立体視しにくいと判定した場合、自装置と前記被写体との位置関係を変更する制御モードを設定する。

　この立体撮像装置では、立体視可否判定部により、立体映像が立体視しにくいと判定した場合（立体撮影しようとしているシーンが立体視不可能と判定された場合を含む。）、制御部は、自装置と前記被写体との位置関係を変更する制御モードを設定する。これにより、この立体撮像装置では、適切な立体画像が取得できない状態で立体撮影されるリスクが低減されるとともに、適切な立体画像を取得できる状態へと撮影者を導くアシスト機能を容易に実現させることができる。
　なお、「自装置と被写体との位置関係の変更」とは、自装置（立体撮像装置）が存在する位置と被写体の位置との距離を変化させることを含む概念であり、自装置（立体撮像装置）と被写体との位置関係を前後方向および／または左右方向に変化させることを含む概念である。「自装置と被写体との位置関係の変更」は、例えば、自装置（立体撮像装置）を被写体から遠ざける（後方に移動させる）ことや、自装置（立体撮像装置）を左右方向にずらす（左右方向に移動させる）ことにより、実現させることができる。

　第２の発明は、第１の発明であって、制御部は、制御モードが距離変更モードである場合、立体撮影を実行させない。
　これにより、この立体撮像装置では、適切な立体画像が取得できない状態で立体撮影されることがなくなる。
　第３の発明は、第１または第２の発明であって、制御部は、自装置と被写体との距離の変更が実行され、立体視可否判定部により、立体撮影しようとしているシーンが立体視し易いと判定された場合、制御モードを、立体撮影ができる立体撮影可能モードに移行させる。
　これにより、この立体撮像装置では、適切な立体画像が取得できない状態で立体撮影が実行されないことを保証するとともに、立体撮影しようとしているシーンが立体視し易い状態（立体視可能な状態を含む。）となった時点で、立体撮影可能モードに移行し、立体撮影ができるようになる。したがって、この立体撮像装置では、常に、適切な立体画像（立体映像）を取得することができる。

　第４の発明は、第１または第２の発明であって、立体視可否判定部は、視差検出部により検出された視差に基づいて、立体撮影しようとしているシーンに含まれる被写体距離が最大である最遠被写体の被写体距離である最大被写体距離Ｒｆと、立体撮影しようとしているシーンに含まれる被写体距離が最小である最近被写体の被写体距離である最小被写体距離Ｒｎと、を算出する。
　そして、立体視可否判定部は、自装置の現在位置と、被写体から遠ざかる方向へ自装置を移動させたときの位置である移動後後方位置との距離をΔＲとし、自装置の現在位置における最遠被写体の視差角をαｆとし、自装置の現在位置における最近被写体の視差角をαｎとし、自装置の移動後後方位置における最遠被写体の視差角をαｆ’とし、自装置の移動後後方位置における最近被写体の視差角をαｎとし、立体視可能範囲を示す相対視差角をδｘとしたとき、

を満たすか否かにより、前記移動後後方位置において、立体撮影時に、立体撮影しようとしているシーンが立体視し易いか否かを判定する。
　これにより、この立体撮像装置では、自装置（立体撮像装置）を後方へどれだけ移動させれば、立体視が可能となるかを適切に判断することができる。
　なお、「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）面上に焦点を結んでいる物体からカメラ（立体撮像装置）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、立体撮像装置から被写体までの概略の距離を含む概念であり、例えば、（１）立体撮像装置の光学系のレンズ全体（第１視点用レンズおよび／または第２視点用レンズ）の重心位置から被写体までの距離、（２）撮像部の撮像素子の撮像素子面から被写体までの距離、（３）立体撮像装置の重心（あるいは中心）から被写体までの距離、（４）第１視点および第２視点を結ぶ線分から被写体までの距離等を含む概念である。

　また、第４の発明において、実際に自装置（立体撮像装置）を移動させる必要はなく、計算により、現在位置と、被写体から遠ざかる方向へ自装置を移動させたと仮定したときの位置との関係から、上記立体視判定処理を実行するようにしてもよいことは、言うまでもない。
　第５の発明は、第１または第２の発明であって、撮像者に対して警告を行う警告部をさらに備える。
　そして、立体視可否判定部は、

を満たす最小のΔＲを最小後方移動距離ΔＲ＿ｍｉｎとして算出する。
　警告部は、撮影者に対して、立体視可否判定部により算出された最小後方移動距離ΔＲ＿ｍｉｎ以上の所定の距離だけ、被写体から離れるように警告を行う。
　これにより、この立体撮像装置により立体撮影しようとしている撮影者は、立体撮像装置を、どれだけ後方に移動させれば、適切な立体撮影を行うことができるのかを容易に知ることができる。
　第６の発明は、第１から第５のいずれかの発明であって、制御部は、自装置を、現在位置から移動後後方位置に移動させたことにより、立体撮影される被写体の大きさが小さくなった分を補償する撮像部におけるズーム倍率を算出し、撮像部におけるズーム倍率が、算出した当該ズーム倍率となるようにズーム処理を行う。

　この立体撮像装置では、立体撮像装置の位置を後方に移動させたことにより、被写体が仮想スクリーン（ライブビュー画像、ビューファインダ画像等）上で小さくなった分を補償する（相殺する）ためのズーム倍率を算出する。そして、この立体撮像装置では、そのズーム倍率によるズーム処理を行うので、被写体の仮想スクリーン（ライブビュー画像、ビューファインダ画像等）上での大きさを大きく変化させることなく、立体撮影を行うことができる。
　なお、ズーム倍率を算出するために基準とする被写体は、主被写体（例えば、人物、焦点が合っている被写体、輻輳点が合っている被写体等）とすることが好ましい。
　そして、例えば、主被写体までの被写体距離がＲｃであり、立体撮像装置を後方へずらした距離がΔＲである場合、被写体の仮想スクリーン（ライブビュー画像、ビューファインダ画像等）上での大きさは、Ｒｃ／（Ｒｃ＋ΔＲ）となるので、立体撮像装置は、ズーム倍率を（Ｒｃ＋ΔＲ）／Ｒｃとして、算出すればよい。

　第７の発明は、第１から第６のいずれかの発明であって、制御部は、撮像部におけるズームの広角端を制限する動作モードである広角端制限モードを有している。
　これにより、立体撮像装置では、適切な立体撮影ができるか否かを考慮して、画角調整範囲を制限することができる。
　第８の発明は、第１から第６のいずれかの発明であって、制御部は、制御モードが距離変更モードである場合、撮像部におけるズームの広角端を制限する。
　これにより、立体撮像装置では、適切な立体撮影ができなくなるようなズーム処理を禁止することができる。
　なお、ズームの広角端の制限方法は、例えば、以下のようにすればよい。
（１）制御部が、視差検出部が検出した視差から、撮影しようとしているシーンに含まれる最遠点の被写体および最近点の被写体を検出する。
（２）制御部が、検出した最遠点および最近点が融像域内となる最大のズーム倍率を求める。
（３）制御部が、当該ズーム倍率に基づいて、ズームの広角端を制限する（画角調整範囲を決定する）。

　第９の発明は、第１から第３のいずれかの発明であって、撮像者に対して警告を行う警告部をさらに備える。
　そして、立体視可否判定部により、立体撮影しようとしているシーンが立体視不可能と判定された場合であって、立体撮影しようとしているシーンにおいて、仮想スクリーン端付近に近景の被写体があると判定された場合、警告部は、当該近景の被写体が仮想スクリーンから除外されるように、自装置を横方向に移動させるように、撮影者に対して、警告する。
　これにより、この立体撮像装置では、仮想スクリーン端にある重要でない近景の被写体を撮影シーンから除外し、適切な立体撮影ができる状態とすることができる。
　なお、警告部は、自装置（立体撮像装置）を移動させる方向と、移動距離とを警告することが好ましい。

　第１０の発明は、被写体像を立体撮影し、第１視点映像及び第２視点映像により形成される立体映像を撮像する立体撮像方法であって、撮像ステップと、視差検出ステップと、立体視可否判定ステップと、制御ステップと、を備える。
　撮像ステップでは、第１視点から見た被写体像を第１視点映像として撮像し、第１視点映像を形成する第１映像信号を生成するとともに、第１視点とは異なる第２視点から見た被写体像を第２視点映像として撮像し、第２視点影像を形成する第２映像信号を生成する。視差検出ステップでは、第１視点映像および第２視点映像から、１または複数の画素から構成される画素ブロックごとに、視差を検出する。立体視可否判定ステップでは、視差検出ステップにより検出された視差および表示パラメータに基づいて、立体撮影時に、立体撮影しようとしているシーンが立体視し易いか否かを判定する。制御ステップでは、立体視可否判定ステップにより、立体撮影しようとしているシーンが立体視不可能と判定された場合、制御モードを、自装置と被写体との位置関係の変更を行うための制御モードである距離変更モードに設定する。

　これにより、第１の発明と同様の効果を奏する立体撮像方法を実現することができる。
　第１１の発明は、被写体像を立体撮影し、第１視点映像及び第２視点映像により形成される立体映像を撮像する立体撮像装置であって、第１視点から見た被写体像を第１視点映像として撮像し、第１視点映像を形成する第１映像信号を生成するとともに、第１視点とは異なる第２視点から見た被写体像を第２視点映像として撮像し、第２視点影像を形成する第２映像信号を生成する撮像部を備える立体撮像装置に用いられる立体撮像方法をコンピュータに実行させるためのプログラムである。この立体撮像方法は、視差検出ステップと、立体視可否判定ステップと、制御ステップと、を備える。
　視差検出ステップでは、第１視点映像および第２視点映像から、１または複数の画素から構成される画素ブロックごとに、視差を検出する。立体視可否判定ステップでは、視差検出ステップにより検出された視差および表示パラメータに基づいて、立体撮影時に、立体撮影しようとしているシーンが立体視し易いか否かを判定する。制御ステップでは、立体視可否判定ステップにより、立体撮影しようとしているシーンが立体視不可能と判定された場合、制御モードを、自装置と被写体との位置関係の変更を行うための制御モードである距離変更モードに設定する。

　これにより、第１の発明と同様の効果を奏する立体撮像方法をコンピュータに実行させるためのプログラムを実現することができる。

　本発明によれば、立体撮像装置の精度不足（特に、光学的な精度不足）に起因する左右方向の視差に影響されずに、適切な立体感および／または所望の定位を実現する立体画像（立体映像）を取得する立体撮像装置、立体撮像方法およびプログラムを実現することができる。
　また、本発明によれば、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することにより、多くのシーンで優れた立体画像が撮影できる立体撮像装置、立体撮像方法およびプログラムを実現することができる。

第１実施形態における立体撮像装置のブロック図。 交差式（交差法）およびセンサシフト式による輻輳制御を説明するための図。 第１実施形態における視差検出部の詳細を説明する図。 第１実施形態における撮影と表示の幾何学関係を示す図。 第１実施形態における撮影と表示の幾何学関係を示す図。 第１実施形態における視差補正のフローチャート。 第１実施形態の第１変形例における撮影と表示の幾何学関係を示す図。 第１実施形態の第１変形例における視差補正のフローチャート。 第１実施形態の第３変形例に係る立体撮像装置の撮影時および表示時における要素の幾何学的関係（位置関係）を示した図。 第１実施形態の第３変形例に係る立体撮像装置で実行される立体画像取得方法（視差補正方法）の処理フローを示すフローチャート。 第１実施形態の第２変形例における立体撮像装置のブロック図。 第１実施形態の第２変形例における視差補正のフローチャート。 第２実施形態における立体撮像装置のブロック図。 第２実施形態における撮影と表示の幾何学関係を示す図。 撮影時の立体視可否判定処理のフローチャート。 立体撮影可否判定処理のフローチャート。 高精度立体視可否判定処理のフローチャート。 立体視における画面サイズと視聴距離との関係を説明するための図。 視差ヒストグラムの一例。 視差ヒストグラム（遠景ＴＨと近景ＴＨとが同じ場合）の一例。 視差ヒストグラム（遠景ＴＨと近景ＴＨとが異なる場合（その１））の一例。 視差ヒストグラム（遠景ＴＨと近景ＴＨとが異なる場合（その２））の一例。 クラスタリング処理、視差ヒストグラムを用いた立体視可否判定処理を説明するための図。 第３実施形態の原理を説明するための図。 第３実施形態の立体撮像装置のブロック図。

　以下、本発明の実施形態に係る立体撮像方法および立体撮像装置について、図面を参照しながら説明する。
　［第１実施形態］
　本実施形態では、２眼方式の立体撮像装置を例に、以下、説明する。
　＜１．１：立体撮像装置の構成＞
　図１に、第１実施形態に係る立体撮像装置１０００の概略構成図を示す。
　立体撮像装置１０００は、図１に示すように、第１撮像部１００Ｒおよび第２撮像部１００Ｌと、第１Ａ／Ｄ変換部１０３Ｒおよび第２Ａ／Ｄ変換部１０３Ｌと、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌと、第１トリミング部１１２Ｒおよび第２トリミング部１１２Ｌと、を備える。

　また、立体撮像装置１０００は、図１に示すように、視差検出部１０４と、最小視差検出部１０５と、最大視差検出部１０６と、主被写体視差検出部１０７と、制御部１１０と、フォーカス制御部１２３と、輻輳制御部１２４と、表示情報設定部１２１と、定位情報設定部１２２と、を備える。
　なお、説明便宜のため、第１撮像部１００Ｒにより右眼用画像（映像）が撮像され、第２撮像部１００Ｌにより左眼用画像（映像）が撮像されるものとして、以下、説明する。
　第１撮像部１００Ｒは、図１に示すように、第１光学系１０１Ｒと、第１撮像素子部１０２Ｒとを含む。第１撮像部１００Ｒは、被写体からの光を第１光学系１０１Ｒにより集光し、集光した光を第１撮像素子部１０２Ｒにより第１画像信号（右眼用画像、Ｒ画像）として取得する。そして、第１撮像部１００Ｒは、取得した第１画像信号を第１Ａ／Ｄ変換部１０３Ｒに出力する。

　また、第１撮像部１００Ｒでは、フォーカス制御部１２３からの指示に従い、フォーカス制御が実行される。また、第１撮像部１００Ｒでは、輻輳制御部１２４からの指示に従い、輻輳制御が実行される。なお、第１撮像部１００Ｒは、輻輳制御部１２４からの指示に従い、輻輳制御が実行されるように、輻輳角を調整することができる機能を有している。輻輳制御は、例えば、以下の（１）、（２）により実現することができる。
（１）輻輳角制御方式（交差式）
　第１撮像部１００Ｒおよび第２撮像部１００Ｌの光軸を変更させる（例えば、第１撮像部１００Ｒおよび第２撮像部１００Ｌが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第１撮像部１００Ｒおよび第２撮像部１００Ｌの光軸の向きを変更させることで輻輳角を調整する）。図２（ａ）は、輻輳角制御方式（交差式）による調整方法を模式的に示した図である。例えば、図２（ａ）に示すように、第１撮像部１００Ｒ（第１光学系１０１Ｒ）の光軸と、第２撮像部１００Ｌ（第２光学系１０１Ｌ）の光軸とが仮想スクリーンＶＳ上で交差するように輻輳角を調整することで、表示時に、輻輳点に位置する被写体を、表示スクリーン上に定位させることができる。
（２）センサシフト式
　第１撮像部１００Ｒの第１撮像素子部１０２Ｒの撮像素子面および第２撮像部１００Ｌの第２撮像素子部１０２Ｌの撮像素子面を（平行）移動させることで画角中心軸の方向を調整する。図２（ｂ）は、センサシフト式による調整方法を模式的に示した図である。例えば、図２（ｂ）に示すように、第１撮像素子部１０２Ｒの画角中心軸（直線ＡＡ’）（Ａ点は、第１撮像素子部１０２Ｒの撮像素子面の中心点）と、第２撮像素子部１０２Ｌの画角中心軸（直線ＢＢ’）（Ｂ点は、第２撮像素子部１０２Ｌの撮像素子面の中心点）とが仮想スクリーンＶＳ上（Ｃ点）で交差するように輻輳角を調整することで、表示時に、輻輳点（Ｃ点）に位置する被写体を、表示スクリーン上に定位させることができる。

　なお、立体撮像装置１０００において、上記（１）、（２）を組み合わせて、輻輳制御を実行するようにしてもよい。
　第１光学系１０１Ｒは、被写体からの光を集光し、第１撮像素子部１０２Ｒの撮像素子面に結像させる。第１光学系１０１Ｒは、１または複数のレンズから構成され、フォーカスレンズ、ズームレンズ、絞り等を含んで構成される。第１光学系１０１Ｒでは、フォーカス制御部１２３からの指示に従い、フォーカス制御が実行される。
　第１撮像素子部１０２Ｒは、第１光学系１０１Ｒにより集光された被写体からの光を光電変換により第１画像信号として取得（撮像）する。そして、第１撮像素子部１０２Ｒは、取得した第１画像信号を第１Ａ／Ｄ変換部１０３Ｒに出力する。第１撮像素子部１０２Ｒは、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサにより実現される。

　第２撮像部１００Ｌは、図１に示すように、第２光学系１０１Ｌと、第２撮像素子部１０２Ｌとを含む。第２撮像部１００Ｌは、被写体からの光を第２光学系１０１Ｌにより集光し、集光した光を第１撮像素子部１０２Ｒにより第２画像信号（左眼用画像、Ｌ画像）として取得する。そして、第２撮像部１００Ｌは、取得した第２画像信号を第２Ａ／Ｄ変換部１０３Ｌに出力する。
　また、第２撮像部１００Ｌでは、フォーカス制御部１２３からの指示に従い、フォーカス制御が実行される。また、第２撮像部１００Ｌでは、輻輳制御部１２４からの指示に従い、輻輳制御が実行される。なお、第２撮像部１００Ｌは、第１撮像部１００Ｒ同様、輻輳制御部１２４からの指示に従い、輻輳制御が実行されるように、輻輳角を調整することができる機能を有している。

　第２光学系１０１Ｌは、被写体からの光を集光し、第２撮像素子部１０２Ｌの撮像素子面に結像させる。第２光学系１０１Ｌは、１または複数のレンズから構成され、フォーカスレンズ、ズームレンズ、絞り等を含んで構成される。第２光学系１０１Ｌでは、フォーカス制御部１２３からの指示に従い、フォーカス制御が実行される。
　第２撮像素子部１０２Ｌは、第２光学系１０１Ｌにより集光された被写体からの光を光電変換により第２画像信号として取得（撮像）する。そして、第２撮像素子部１０２Ｌは、取得した第２画像信号を第２Ａ／Ｄ変換部１０３Ｌに出力する。第２撮像素子部１０２Ｌは、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサにより実現される。
　第１Ａ／Ｄ変換部１０３Ｒは、第１撮像部１００Ｒにより取得された第１画像信号（Ｒ画像）を入力とし、入力された第１画像信号に対して、Ａ／Ｄ変換を行う。そして、第１Ａ／Ｄ変換部１０３Ｒは、デジタル信号に変換した第１画像信号を、視差検出部１０４および第１視差付加部１１１Ｒに出力する。

　第２Ａ／Ｄ変換部１０３Ｌは、第２撮像部１００Ｌにより取得された第２画像信号（Ｌ画像）を入力とし、入力された第２画像信号に対して、Ａ／Ｄ変換を行う。そして、第２Ａ／Ｄ変換部１０３Ｌは、デジタル信号に変換した第２画像信号を、視差検出部１０４および第２視差付加部１１１Ｌに出力する。
　視差検出部１０４は、第１Ａ／Ｄ変換部１０３から出力される第１画像信号（Ｒ画像）および第２Ａ／Ｄ変換部１０３Ｌから出力される第２画像信号（Ｌ画像）を入力とする。視差検出部１０４は、入力されたＲ画像およびＬ画像に対して、マッチング処理を実行し、両眼視差量を検出する。そして、視差検出部１０４は、検出した両眼視差量に関する情報を、最小視差検出部１０５、最大視差検出部１０６、および、主被写体視差検出部１０７に出力する。

　最小視差検出部１０５は、視差検出部１０４から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中（撮像画像中）の最近点の視差、すなわち、最小の視差（最小視差）を検出する。そして、最小視差検出部１０５は、検出した最小視差に関する情報を制御部１１０に出力する。
　最大視差検出部１０６は、視差検出部１０４から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中（撮像画像中）の最遠点の視差、すなわち、最大の視差（最大視差）を検出する。そして、最大視差検出部１０６は、検出した最大視差に関する情報を制御部１１０に出力する。
　主被写体視差検出部１０７は、視差検出部１０４から出力された両眼視差量に関する情報を入力とし、入力された両眼視差量に関する情報に基づいて、撮影シーン中（撮像画像中）の主被写体の視差（主被写体視差）を検出する。そして、主被写体視差検出部１０７は、検出した主被写体視差に関する情報を制御部１１０に出力する。なお、主被写体視差検出部は、制御部１１０から、どの被写体に合焦しているかについての情報を取得し、当該情報に基づいて、主被写体を特定する。

　制御部１１０は、立体撮像装置１０００の全体および各機能部を制御する機能部である。制御部１１０は、フォーカス制御、輻輳制御、主被写体の検出処理、表示情報の取得処理、定位情報の取得処理等を実行する。また、制御部１１０は、最小視差検出部１０５により検出された最小視差と、最大視差検出部１０６により検出された最大視差と、主被写体視差検出部１０７により検出された被写体視差とに基づいて、補正視差を算出する。そして、制御部１１０は、算出した補正視差に関する情報を第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌに出力する。なお、制御部１１０は、例えば、ＣＰＵ（マイクロプロセッサ）、ＲＯＭ、ＲＡＭ等により実現される。
　フォーカス制御部１２３は、制御部１１０からの指令に基づき、第１光学系１０１Ｒおよび第２光学系１０１Ｌのピントを調節する（第１光学系１０１Ｒおよび第２光学系１０１Ｌに対してフォーカス制御を実行する）。

　輻輳制御部１２４は、制御部１１０からの指令に基づき、第１撮像部１００Ｒおよび第２撮像部１００Ｌに対して、輻輳制御（例えば、輻輳角の制御）を実行する。
　第１視差付加部１１１Ｒは、第１Ａ／Ｄ変換部１０３Ｒから出力された第１画像信号（Ｒ画像）および制御部１１０により算出された補正視差に関する情報を入力とする。第１視差付加部１１１Ｒは、第１画像信号（Ｒ画像）に、制御部１１０により算出された補正視差を付加する。つまり、第１視差付加部１１１Ｒは、制御部１１０により算出された補正視差に相当する分だけＲ画像を横方向にシフトすることにより視差（補正視差）を付加する。そして、第１視差付加部１１１Ｒは、補正視差を付加した第１画像信号（Ｒ画像）を第１トリミング部１１２Ｒに出力する。
　第２視差付加部１１１Ｌは、第２Ａ／Ｄ変換部１０３Ｌから出力された第２画像信号（Ｌ画像）および制御部１１０により算出された補正視差に関する情報を入力とする。第２視差付加部１１１Ｌは、第２画像信号（Ｌ画像）に、制御部１１０により算出された補正視差を付加する。つまり、第２視差付加部１１１Ｌは、制御部１１０により算出された補正視差に相当する分だけＬ画像を横方向にシフトすることにより視差（補正視差）を付加する。そして、第２視差付加部１１１Ｌは、補正視差を付加した第２画像信号（Ｌ画像）を第２トリミング部１１２Ｌに出力する。

　第１トリミング部１１２Ｒは、第１視差付加部１１１Ｒから出力された第１画像信号（Ｒ画像）を入力とし、入力されたＲ画像に対してトリミング処理を実行する。そして、第１トリミング部１１２Ｒは、トリミング処理を実行したＲ画像（第１画像信号）を出力する。
　第２トリミング部１１２Ｌは、第２視差付加部１１１Ｌから出力された第２画像信号（Ｌ画像）を入力とし、入力されたＬ画像（第２画像信号）に対してトリミング処理を実行する。そして、第２トリミング部１１２Ｌは、トリミング処理を実行したＬ画像（第２画像信号）を出力する。
　表示情報設定部１２１は、立体撮像装置１０００で撮影された立体画像（立体映像）を視聴する表示装置（不図示）の表示条件を設定し、設定した表示条件（表示情報）を制御部１１０に出力する。

　定位情報設定部１２２は、主被写体を、表示装置のスクリーン面（表示スクリーン面）を基準としてどの位置に定位させるかを設定する。つまり、定位情報設定部１２２は、主被写体を、表示スクリーン面の前後のどの位置に定位させるかを設定し、設定した情報（定位情報）を制御部１１０に出力する。
　なお、本実施形態では、図１に示すように、立体撮像装置１０００により、主被写体である人物９００と、遠景である山９０１と、近景である草花９０２とを含むシーンを撮影する場合を例として、説明する。
　また、「距離情報取得部」は、制御部１１０によりコントラスト検出方式による距離情報取得処理を実行することにより、その機能が実現される。
　「理想視差取得部」は、制御部１１０により、理想視差（主被写体についての理想視差）を算出することにより、その機能が実現される。

　「撮影条件設定部」は、制御部１１０の指令に従い、フォーカス制御部１２３、輻輳制御部１２４、および、撮像部（第１撮像部１００Ｒおよび第２撮像部１００Ｌ）が制御されることで、その機能が実現される。
　「現実視差取得部」は、視差検出部１０４および主被写体視差検出部１０７により、実現される。
　「補正視差算出部」は、制御部１１０により、補正視差が算出されることにより、その機能が実現される。
　「視差補正部」は、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌにより実現される。
　＜１．２：立体撮像装置の動作＞
　以上のように構成された立体撮像装置１０００の動作について、以下、説明する。

　撮影者は、撮影前に、表示情報設定部１２１および定位情報設定部１２２において、撮影画像を視聴する際の表示条件（表示情報）、および、主被写体９００を表示スクリーンに対して前後どの位置に定位されるかという演出条件（定位情報）を入力（設定）する。
　制御部１１０は、表示情報設定部１２１および定位情報設定部１２２に設定された表示情報および定位情報に基づいて、立体撮像装置１０００の撮影時のパラメータ（撮影パラメータ）の調整等の各種制御を行う。
　撮影者が立体撮像装置１０００を被写体に向けると、制御部１１０は、主被写体９００のコントラストが最大になるようにフォーカス制御部１２３を用いて第１光学系１０１Ｒおよび第２光学系１０１Ｌに含まれるフォーカスレンズ（不図示）を光軸方向に前後させ、主被写体９００にピント（焦点）を合わせる。主被写体９００に焦点があった状態（合焦状態）において、制御部１１０は、第１光学系１０１Ｒおよび／または第２光学系１０１Ｌの位置情報（焦点距離等）から主被写体９００までの距離（被写体距離）Ｒｃを検出する。つまり、制御部１１０は、コントラスト検出方式により、主被写体９００までの距離Ｒｃを検出する。

　なお、図１では、立体撮像装置１０００は、コントラスト値を評価するための画像（コントラスト評価用画像）として、Ｒ画像およびＬ画像の両方を制御部１１０に入力させる構成であるが、これに限定されることはなく、例えば、立体撮像装置１０００は、片方の画像（Ｒ画像またはＬ画像）により、コントラスト値を評価する構成であってもよい。
　また、「被写体距離」とは、撮像部の撮像素子（例えば、ＣＣＤ型イメージセンサやＣＭＯＳ型イメージセンサ）面上に焦点を結んでいる物体からカメラ（立体撮像装置１０００）までの距離をいい、物点距離と、共役距離（物像間距離）を含む概念である。また、「被写体距離」は、立体撮像装置１０００から被写体までの概略の距離を含む概念であり、例えば、（１）立体撮像装置１０００の光学系のレンズ全体（第１光学系１０１Ｒおよび／または第２光学系１０１Ｌ）の重心位置から被写体までの距離、（２）撮像部（第１撮像部１００Ｒおよび／または第２撮像部１００Ｌ）の撮像素子（第１撮像素子部１０２Ｒおよび／または第２撮像素子部１０２Ｌ）の撮像素子面から被写体までの距離、（３）立体撮像装置１０００の重心（あるいは中心）から被写体までの距離等を含む概念である。

　次に、制御部１１０は、主被写体までの距離Ｒｃと定位情報設定部１２２の設定値に応じて、適切な光学系の輻輳角を決定する。そして、決定した輻輳角に基づいて、制御部１１０は、輻輳制御部１２４を用いて、立体撮像装置１０００の左右の光学系の輻輳角を制御する。例えば、制御部１１０は、以下の（１）、（２）により、輻輳角を制御する。
（１）輻輳角制御方式（交差式）
　制御部１１０は、第１撮像部１００Ｒおよび第２撮像部１００Ｌの光軸を変更させる（例えば、第１撮像部１００Ｒおよび第２撮像部１００Ｌが所定の回転軸により回転できる機構を有しており、その回転軸により所定の角度を回転させることにより、第１撮像部１００Ｒおよび第２撮像部１００Ｌの光軸の向きを変更させることで輻輳角を調整する）。
（２）センサシフト式
　制御部１１０は、第１撮像部１００Ｒの第１撮像素子部１０２Ｒの撮像素子面および第２撮像部１００Ｌの第２撮像素子部１０２Ｌの撮像素子面を（平行）移動させることで画角中心軸の方向を調整する。
（３）制御部１１０は、上記（１）、（２）を組み合わせて、輻輳制御を実行する。

　そして、上記輻輳制御を行った後（撮影準備が完了した状態で）、立体撮像装置１０００により、立体画像（立体映像）（Ｒ画像（映像）およびＬ画像（映像））を撮像する。
　そして、視差検出部１０４は、撮影シーンを複数のブロックに分割し、各々のブロック毎に、Ｒ画像およびＬ画像から、視差を検出する。
　図３は、視差検出部１０４で実行される視差検出処理を説明するための図である。
　視差検出部１０４は、図３に示すように、撮影シーンを複数のブロックに分割し、ブロック毎にＬ画像およびＲ画像のマッチングを取り、当該ブロックの視差を決定する。そして、視差検出部１０４は、ブロックごとに決定した視差をブロックに対応付けて格納・保持する。つまり、視差検出部１０４は、図３に示す視差マップメモリ１８１（撮影シーンの各ブロックの視差を格納することができるメモリ）に対応するブロックの視差値を格納する。ここでは、遠方は正の視差値、近景は負の視差値で表すものとする。なお、視差マップメモリ１８１は、例えば、立体撮像装置１０００の各機能部がアクセスできるメモリ（例えば、ＲＡＭ）を用いて実現される。

　最小視差検出部１０５は、視差マップメモリ１８１に格納されている最も小さい視差値（多くの場合、この視差値は負値になる）を検出する。また、最大視差検出部１０６は、視差マップメモリ１８１に格納されている最も大きな視差値（通常、この視差値は、正の大きい値になる）を検出する。
　主被写体視差検出部１０７は、フォーカスを合わせた被写体９００を主被写体と判断する（主被写体視差検出部１０７が制御部１１０から取得したどの被写体に合焦しているかに関する情報から被写体９００を主被写体と判断する）。そして、主被写体視差検出部１０７は、視差マップメモリ１８１から、主被写体（被写体９００）の位置に対応するブロックの視差値（主被写体視差値）を検出する。
　そして、制御部１１０は、主被写体視差検出部１０７により検出された主被写体視差値と、無歪み撮影（カメラ性能等に起因する誤差が全くない理想的な撮影）により主被写体が撮像された場合に取得される視差（理想視差）とに基づいて、補正視差を求める。

　≪無歪み撮影（理想的な撮影）について≫
　ここで、図４を用いて、最も自然な奥行き感が考えられる「無歪み撮影」を実現する条件について、説明する。
　図４は、無歪み撮影について説明するための図である。
　図４（ａ）は、理想的な精度を持つ立体撮像装置１０００を用いた場合の撮影時における撮影要素（左眼用画像の撮像点（第２光学系に対応）、右眼用画像の撮像点（第１光学系１０１Ｒに対応）、仮想スクリーン、主被写体）の幾何学的関係（位置関係）を模式的に示す図である。図４（ｂ）は、表示時における表示要素（左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置）の幾何学関係（位置関係）を模式的に示す図である。

　図４は、説明を簡単にするために、撮影時のＳＢ（図４の距離Ｓ）が人間の眼間距離（約６．５ｃｍ）に等しく、かつ、ズームを用いず撮影される場合の撮影要素および表示要素の幾何学的関係を示している。
　図４の例では、表示情報設定部１２１に表示側の条件として、（表示）スクリーンサイズＷ、視聴距離Ｌが設定されており、定位情報設定部１２２には、無歪み撮影を表すコードが設定されている。そして、立体撮像装置１０００では、制御部１１０により、無歪み撮影を示すコードが設定されたことを検出した場合、無歪み撮影が実行される。
　立体撮像装置１０００において無歪み撮影が実行される場合、図４（ａ）に示すように、輻輳制御部１２４は、第１撮像部１００Ｒ（第１光学系１０１Ｒ）の光軸と第２撮像部１００Ｌ（第２光学系１０１Ｌ）の光軸（図４（ａ）中の点線）とが距離Ｌに仮想的に設けた仮想スクリーンＶＳ上（Ｐ点）で交差するように輻輳を制御する。このように輻輳制御を行った後、立体撮像装置１０００により撮像した場合、撮像された立体画像（Ｒ画像およびＬ画像）において、仮想スクリーンＶＳ上に位置する被写体についての視差はなく、仮想スクリーンＶＳ上に位置する被写体については、Ｌ画像およびＲ画像において同じ画像になる。仮想スクリーンＶＳより遠い被写体については、第２撮像部１００Ｌ（左眼用画像取得用の撮像部）による撮影は、第１撮像部１００Ｒ（右眼用画像取得用の撮像部）の撮影に対して、左にずれた状態で行われる。例えば、図４（ａ）の場合において、Ａ点に存在する被写体（仮想スクリーンＶＳより遠い被写体）を撮影する場合、仮想スクリーンＶＳ上において、左方向の視差ｘ１が存在することになる。なお、以下では、この方向（図４の左方向）の視差を「正」とする。

　逆に、仮想スクリーンＶＳよりも手前の被写体は、負の視差を持つ。
　図４（ａ）の場合、仮想スクリーンＶＳより遠い距離Ｒの被写体を撮影し、ｘ１（＞０）の視差を得ている。
　図４（ａ）の状態で、立体撮像装置１０００により撮影した立体画像（Ｒ画像およびＬ画像）を、図４（ｂ）の状態でディスプレイ（表示スクリーンＤＳ）に表示させた場合、つまり、表示スクリーン上の視差ｘを撮影時の視差ｘ１と一致させて表示させた場合、図４（ａ）で二つのカメラと被写体を結ぶ三角形（三角形ＡＢＣ）と、図４（ｂ）で両眼と被写体像を結ぶ三角形（三角形ＤＥＦ）は、合同になる。このため、図４（ｂ）の状態で表示させたときに感じる距離感Ｒｘは、撮影時の距離Ｒと一致する。この関係は、全ての距離にある被写体に関して成立するため、近景から無限遠の遠景まで忠実な距離感で表示できる。すなわち、図４（ａ）の状態で撮影することで、立体撮像装置１０００において、無歪み撮影を行うことができる。

　したがって、理想的な精度を持つ立体撮像装置では、視差調整を行わなくても無歪み撮影が可能であり、その無歪み撮影（例えば、図４（ａ）の状態による撮影）により取得した立体画像を所定の視聴環境（例えば、図４（ｂ）の状態による視聴環境）により表示させることで、実際の被写体距離（撮影時の被写体距離）と線形関係を保持する距離感を再現する立体画像を表示させることができる。
　また、無歪み撮影では、主被写体の定位位置は、仮想スクリーンＶＳをどの位置に設定するかには無関係であり、無歪み撮影により取得した立体画像を所定の視聴環境により表示させることで、主被写体の定位位置までの距離（視点の中点から主被写体までの距離）を、実際の被写体までの距離（撮影時の被写体距離）に一致させることができる。
　≪精度の悪い現実的な立体撮像装置での撮影について≫
　次に、精度の悪い現実的な立体撮像装置での撮影した場合に発生する視差について、図５を用いて説明する。

　図５は、少し誇張して描いているが、図５において、輻輳を図５中の点線で示している。図５の場合、立体撮像装置の光軸の精度が不十分であるため、直線ＢＰ２と、直線ＣＰ１とは、仮想スクリーンＶＳ上で交差しない、つまり、仮想スクリーンＶＳ上で、第１撮像部１００Ｒ（第１光学系１０１Ｒ）の光軸と第２撮像部１００Ｌ（第２光学系１０１Ｌ）の光軸とが交差しない。したがって、仮想スクリーンＶＳ上に位置する被写体も視差を持ってしまう。
　図５の例では、距離Ｒにある被写体の視差は、誤差を含めてｘ２となる。図５（ａ）の状態で、立体撮影した立体画像を、図５（ｂ）に示す視聴環境で、表示スクリーンＤＳ上に表示させた場合、すなわち、視差ｘ＝ｘ２として、ディスプレイ（表示スクリーンＤＳ）に表示させた場合、図５（ｂ）に示すように、大きな距離感の誤差が発生した立体画像が表示されることになる。つまり、撮影時に、仮想スクリーンＶＳの後方のＡ点に存在した被写体が、表示時には、表示スクリーンＤＳの前方のＧ点に定位することになり、大きな距離感の誤差が発生した立体画像が表示されることになる。

　図５の例のように、撮影時において、視差の誤差が負方向に発生した場合、表示時において、全ての距離の被写体が近づく方向に距離感が歪む。特に、無限遠は、大きく手前に圧縮される。すなわち、撮影時の無限遠に存在していた被写体は、表示時には、かなり手前に定位されることになる。
　また、撮影時において、視差の誤差が正方向に発生した場合、表示において、全ての距離の被写体は遠ざかる方向に距離感が歪む。このとき、遠景は、無限遠を超えてしまい、後方発散になる可能性がある。そして、このような後方発散する領域の遠景の被写体は、表示時において、融像できない画像として表示されることになる。
　本実施形態の立体撮像装置１０００は、上記のように、立体撮像装置１０００に現実の誤差に起因して発生する仮想スクリーンＶＳ上の視差の誤差を検出し、補正することで、適切な視差調整を行う。

　具体的には、立体撮像装置１０００では、制御部１１０により、主被写体視差検出部１０７により検出された主被写体視差値（仮想スクリーンＶＳ上の視差に相当）と、無歪み撮影（カメラ性能等に起因する誤差が全くない理想的な撮影）により主被写体が撮像された場合に取得される視差（理想視差）とに基づいて、補正視差が求められる。
　そして、求められた補正視差が、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌにより、Ｒ画像およびＬ画像に付加される。具体的には、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌでは、補正視差分だけ、Ｒ画像およびＬ画像が水平方向にシフトされる。
　補正視差が付加されたＲ画像およびＬ画像は、第１トリミング部１１２Ｒおよび第２トリミング部１１２Ｌにより、立体画像として採用できない部分を削除（立体画像を構成する上で無駄な部分を削除）することで、トリミング処理が実行される。

　そして、トリミング処理が実行されたＲ画像（第１画像信号）およびＬ画像（第２画像信号）は、第１トリミング部１１２Ｒおよび第２トリミング部１１２Ｌから出力される。
　なお、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌにおいて、補正視差を付加する処理を行わず、例えば、補正視差に関する情報を、所定の画像フォーマット（映像フォーマット）のヘッダ部分に格納して、出力させるようにしてもよい。この場合、補正視差を付加する処理、トリミング処理を省略することができる。
　≪視差補正方法の処理フロー≫
　次に、本実施形態における視差補正方法について、図６のフローチャートを用いて説明する。
（ステップ４０１）：
　制御部１１０は、フォーカス制御部１２３の制御量からピントを合わせた主被写体の被写体距離Ｒ、および、主被写体のピントを合わせた状態における、当該主被写体の画面上（カメラスルー画像（カメラスルーＲ画像および／またはＬ画像）上）の概略位置を検出する。
（ステップ４０２）：
　主被写体視差検出部１０７は、視差検出部１０４により生成された視差マップメモリ１８１（例えば、図３の視差マップメモリ１８１）を用いて、ピントを合わせた主被写体位置（例えば、図３中の太線で囲んだブロック）の視差ｘ２を取得する。

　なお、図３の場合のように、主被写体に相当するブロックが複数個検出された場合、例えば、以下のようにして、視差ｘ２を決定する。
（１）検出されたブロックに対応する複数の視差の平均値（重付平均値（例えば、中心からの距離により重み付けした平均値）、２乗平均値等を含む）を視差ｘ２とする。
（２）検出されたブロックに対応する複数の視差の中の任意の１ブロックの視差を視差ｘ２とする。
（３）検出されたブロックに対応する複数の視差の中の中心位置の１ブロックの視差を視差ｘ２とする。
（４）検出されたブロックに対応する複数の視差の中のメディアン値をとる視差を視差ｘ２とする。
（ステップ４０３）：
　制御部１１０は、主被写体までの距離Ｒを用いて、図４（ａ）を例に説明したように、誤差がないカメラ（立体撮像装置）の場合に、主被写体が取るべき視差ｘ１（理想視差ｘ１）を推定（算出）する。具体的には、制御部１１０は、立体撮像装置１０００の表示情報設定部１２１により設定された表示情報（視聴環境を決定する情報）から、仮想スクリーン（表示スクリーン）幅Ｗ、視聴距離Ｌ、ステレオベースＳ（基線長Ｓ）を取得する。そして、制御部１１０は、仮想スクリーン（表示スクリーン）幅Ｗ、視聴距離Ｌ、ステレオベースＳ（基線長Ｓ）、および、被写体距離Ｒから、主被写体の理想視差ｘ１を推定（算出）する。
（ステップ４０４）：
　制御部１１０は、ステップ４０３により「推定した主被写体の視差ｘ１（理想視差ｘ１）」と、ステップ４０２により取得した「実際に得られた主被写体の視差ｘ２（現実視差ｘ２）」とから視差の誤差Δｘを次式により算出する。

（ステップ４０５）：
　Δｘは、立体撮像装置１０００の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌにより、視差誤差Δｘを補正誤差として、立体画像の全画素に補正視差Δｘを付加する（Ｒ画像およびＬ画像を補正視差Δｘ分だけ水平方向にシフトさせる）。
　立体撮像装置１０００において、上記視差補正方法を実行することにより、視差補正後の立体画像は、理想視差を有する立体画像となる。つまり、視差補正後の立体画像は、無歪み撮影により取得された立体画像とほぼ等価となる。
　例えば、ｘ１＝４、ｘ２＝－１０である場合、Δｘ＝ｘ１－ｘ２＝１４となるので、補正後の視差ｘ’＝ｘ２+Δｘ＝－１０＋１４＝４となり、理想視差ｘ１（＝４）と一致する。

　また、上記視差補正方法を実行することにより、例えば、仮想スクリーン上の被写体の視差は、視差検出部１０４が検出した視差が補正され視差ゼロになる。
　このように、立体撮像装置１０００により、上記視差補正方法を実行することで、図４（ａ）に示した理想的な光学系によるものと同じ視差を得ることができ、無歪み撮影と等価な立体撮影を実現することができる。
　以上のように、立体撮像装置１０００では、予め設定された視聴環境（表示条件）と主被写体の被写体距離から主被写体の理想視差ｘ１を推定（算出）するとともに、視差検出部１０４および主被写体視差検出部１０７により仮想スクリーン上に実際に生じる主被写体の視差（現実視差）ｘ２を取得する。そして、立体撮像装置１０００では、理想視差ｘ１と現実視差ｘ２とから補正視差Δｘを求め、求めた補正視差Δｘを立体画像に付加する（水平方向にシフトする）ことで、無歪み撮影と等価な立体撮影を実現することができる。

　したがって、立体撮像装置１０００により取得された立体画像は、適切な視差調整がなされた立体画像となる。すなわち、立体撮像装置１０００では、カメラ固有の誤差（特に、光学系により発生する誤差）が存在する場合（例えば、精度の高い輻輳制御ができない場合）であっても、適切な視差調整を行うことができる。
　≪第１変形例（主被写体の可変定位演出（自由定位撮影））≫
　次に、本実施形態の第１変形例について説明する。
　本変形例の立体撮像装置は、上記実施形態のように無歪み撮影を目的とするのではなく、表示時において、主被写体を表示スクリーンの前後に自由に定位させる演出的撮影（自由定位撮影）を行うことを目的としたものである。
　図７（ａ）は、撮影時の状態を模式的に示す図である。図７（ｂ）は、図７（ａ）の状態で立体撮影された立体画像を表示した時の状態を模式的に示す図である。

　図７（ａ）は、立体撮像装置の光学系の光軸が大きく変動している状態を示している。これは、上記実施形態で説明した場合（図５（ａ）の場合）と同様である。なお、本変形例において、上記実施形態と同様の部分については、説明を省略する。
　なお、本変形例の立体撮像装置の構成は、第１実施形態の立体撮像装置１０００と同様である。
　本変形例における視差補正方法について、図８のフローチャートを用いて説明する。
（ステップ４１１）：
　制御部１１０は、フォーカス制御部１２３の制御量からピントを合わせた主被写体の被写体距離Ｒ、および、主被写体のピントを合わせた状態における、当該主被写体の画面上（カメラスルー画像（カメラスルーＲ画像および／またはＬ画像）上）の概略位置を検出する。
（ステップ４１２）：
　主被写体視差検出部１０７は、視差検出部１０４により生成された視差マップメモリ１８１（例えば、図３の視差マップメモリ１８１）を用いて、ピントを合わせた主被写体位置（例えば、図３中の太線で囲んだブロック）の視差ｘ２（現実視差ｘ２）を取得する。
（ステップ４１３）：
　制御部１１０は、演出として主被写体を定位させたい定位位置Ｒ３を定位情報設定部１２２から読み取り、図７（ｂ）に示した幾何学的関係（位置関係）より、誤差がないカメラ（立体撮像装置）で撮影した場合であって、主被写体をＲ３の距離に定位させるための視差ｘ３（理想視差ｘ３）を次式により算出する。

（ステップ４１４）：
　制御部１１０は、ステップ４１３により「所定の位置に主被写体を定位させるための視差ｘ３（理想視差ｘ３）」と、ステップ４１２により取得した「実際に得られた主被写体の視差ｘ２（現実視差ｘ２）」とから視差の誤差Δｘを次式により算出する。

（ステップ４１５）：
　Δｘは、本変形例の立体撮像装置の光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌにより、視差誤差Δｘを補正誤差として、立体画像の全画素にΔｘを付加する（Ｒ画像およびＬ画像を補正視差Δｘ分だけ水平方向にシフトさせる）。
　本変形例の立体撮像装置において、上記視差補正方法を実行することにより、主被写体を、立体撮像装置の光学系の精度に影響されず、所望の距離に定位させる立体画像を取得することが出来る。本変形例の立体撮像装置により取得される立体画像は、無歪み撮影により取得される立体画像に比べて、遠景の自然さは低下するが、本変形例の立体撮像装置では、主被写体を所望の位置に定位させる立体画像を取得することができるので、撮影者の意図による自由な演出が可能になる。

　また、主被写体の距離Ｒより定位させる距離Ｒ３が小さい場合、即ち、実際の位置よりも主被写体を手前に定位させる場合、本変形例の立体撮像装置により取得される立体画像は、遠方が極端に手前に圧縮されるため、無歪み撮影により取得される立体画像に比べて、遠景の自然さが劣化する。しかし、本変形例の立体撮像装置により取得される立体画像は、遠近感が圧縮されるため、見やすい映像になる効果がある。
　また、本変形例の立体撮像装置により取得される立体画像では、主被写体よりも手前の被写体は、大きく手前に近づくため、遠近感が強調され不自然な画像になりがちである。しかし、主被写体よりも前方の被写体があまりないシーンに限れば、本変形例の立体撮像装置を使用することができるため、視差検出部１０４により作成される視差マップメモリ１８１中の最近点の視差（最小視差検出部１０５により取得される最小視差）に応じて、主被写体を前方に定位させる限度（範囲）を決めることが出来る。そして、本変形例の立体撮像装置において、決定した限度（範囲）内において、撮影者に、主被写体を自由に定位させることで、破綻がない範囲で安全に主被写体を前方に定位させる演出を実現することができる。

　また、本変形例の立体撮像装置は、最近点が不自然になる限度を超える場合、撮影者に対して、音や映像などによるアラートを表示して撮影者をアシストする機能を備えるものであってもよい。
　また、主被写体の距離Ｒより定位させる距離Ｒ３が大きい場合、即ち、実際の位置よりも主被写体を後方に定位させる場合、本変形例の立体撮像装置により取得される立体画像において、主被写体より後方の被写体は、極端に遠方に遠ざけられ、遠近感が誇張されがちである。さらに、ある距離より遠い被写体は、後方発散（幾何学的には無限遠より遠ざかり、二重像になり立体視できなくなる現象）が起こる。しかし、主被写体よりも後方の被写体があまりないシーンに限れば、本変形例の立体撮像装置を使用することができるため、視差検出部１０４により作成される視差マップメモリ１８１中の最遠点の視差（最大視差検出部１０６により取得される最大視差）に応じて、主被写体を後方に定位させる限度（範囲）を決めることが出来る。そして、本変形例の立体撮像装置において、決定した限度（範囲）内において、撮影者に、主被写体を自由に定位させることで、破綻がない範囲で安全に主被写体を後方に定位させる演出を実現することができる。

　また、本変形例の立体撮像装置は、最遠点が不自然になる限度を超える場合、撮影者に対して、音や映像などによるアラートを表示して撮影者をアシストする機能を備えるものであってもよい。
　≪第２変形例（２回撮り）≫
　次に、本実施形態の第２変形例について説明する。
　本変形例の立体撮像装置は、静止画カメラの手持ちによる二回撮りで立体撮影を行うものである。
　従来、このような撮影では、縦方向も横方向も極めて大きな誤差の発生が避けられないため、カメラ単独での立体画像作成は難しく、ＰＣ（パーソナルコンピュータ）を用いたレタッチソフトなどにより、取得した立体画像を手作業で調整する必要があった。

　立体画像の縦方向のずれについては、ずれ量が目視でも容易に見積もれるため、比較的簡単に補正が可能である。
　しかし、立体画像の左右方向のずれについては、本来の両眼視差と誤差とが区別できないため、手作業による調整であっても、左右方向のずれを修正することは困難である。たとえば、立体画像に、山や雲のように無限遠と見なせる遠景があれば、その遠景の被写体を無限遠の被写体であると判断し、その無限遠の被写体を基準にして、手作業で視差を調整することが可能である。しかし、無限遠の被写体が無いシーンでは、たとえ手作業によっても視差を正しく調整することは出来ず、何度も立体表示させながら良好な表示になるよう調整せざるを得ない。
　本変形例の立体撮像装置は、主被写体が存在するシーンであればどんなシーンであっても、適切な視差補正を可能にするものである。

　図８に本変形例の立体撮像装置１０００Ａの概略構成図を示す。
　図１に示す第１実施形態の立体撮像装置１０００は、２つの光学系を有しており、信号処理系も２系統備えた２眼式カメラであるが、本変形例の立体撮像装置１０００Ａは、単眼のカメラによる２回撮りにより立体画像を取得するものである。
　立体撮像装置１０００Ａは、単眼式の静止画カメラの構成を有しており、二回撮りにより立体撮影を行う。二眼式カメラである第１実施形態の立体撮像装置１０００との相違点について説明する。
　立体撮像装置１０００Ａは、輻輳制御部１２４が無く、画像メモリ部１２５が追加された構成となっている。
　また、立体撮像装置１０００Ａは、単眼式であるので、１つの撮像部１００（光学系１０１および撮像素子部１０２）と、１つのＡ／Ｄ変換部１０３と、を備える。

　また、ユーザは、図示しないユーザＩＦ用表示部に表示される撮影手順に従い、立体撮像装置１０００Ａにより立体撮影を行う。
　撮像部１００は、第１撮像部Ｒ（または第２撮像部１００Ｌ）と同様のものである。
　Ａ／Ｄ変換部１０３は、第１Ａ／Ｄ変換部１０３Ｒ（または第２Ａ／Ｄ変換部１０３Ｌ）と同様のものである。
　画像メモリ部１２５は、撮像部１００により取得され、Ａ／Ｄ変換部１０３によりＡ／Ｄ変換されたＲ画像またはＬ画像を、記憶する。そして、画像メモリ部１２５は、制御部の指示に従い、所定のタイミングで、記憶しているＲ画像を視差検出部１０４および第１視差付加部１１１Ｒに出力する。また、画像メモリ部１２５は、制御部の指示に従い、所定のタイミングで、記憶しているＬ画像を視差検出部１０４および第２視差付加部１１１Ｌに出力する。

　次に、立体撮像装置１０００Ａを用いた二回撮りによる立体撮影について、図１２の処理フローを用いて、説明する。
（ステップ４２１）：
　ユーザは、ユーザＩＦ用表示部からの指示に従い、シャッタを半押しし主被写体にフォーカスを合わせる。制御部１１０は、フォーカス制御部１２３の制御量からピントを合わせた主被写体の被写体距離Ｒ、および、ピントを合わせた状態における、当該主被写体の画面上（カメラスルー画像上）の概略位置を検出する。
（ステップ４２２）：
　次に、ユーザは、そのままシャッタを押し（半押し状態から全押し状態にし）、左眼用画像（Ｌ画像）を撮影する。撮影された左眼用画像（Ｌ画像）は、画像メモリ部１２５に格納される。
（ステップ４２３）：
　ユーザは、ユーザＩＦ用表示部から指示された距離だけ撮影位置を右に移動させ、立体撮像装置１０００Ａにより、右眼用画像（Ｒ画像）を撮影する。撮影された右眼用画像（Ｒ画像）は、画像メモリ部１２５に格納される。
（ステップ４２４）：
　主被写体視差検出部１０７は、視差検出部１０４により生成された視差マップメモリ１８１（例えば、図３の視差マップメモリ１８１）を用いて、ピントを合わせた主被写体位置（例えば、図３中の太線で囲んだブロック）の視差ｘ２（現実視差ｘ２）を取得する。
（ステップ４２５）：
　制御部１１０は、主被写体までの距離Ｒを用いて、主被写体が取るべき視差ｘ１（理想視差ｘ１）を推定（算出）する。
（ステップ４２６）：
　制御部１１０は、ステップ４２５により「推定した主被写体の視差ｘ１（理想視差ｘ１）」と、ステップ４２４により取得した「実際に得られた主被写体の視差ｘ２（現実視差ｘ２）」とから視差の誤差Δｘを次式により算出する。

（ステップ４２７）：
　Δｘは、立体撮像装置１０００Ａの光学系の精度による視差誤差とみなすことができるので、主被写体だけでなく全ての被写体に対して同じ誤差が重畳されていると考えられる。したがって、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌにより、視差誤差Δｘを補正誤差として、立体画像の全画素にΔｘを付加する（Ｒ画像およびＬ画像を補正視差Δｘ分だけ水平方向にシフトさせる）。
　立体撮像装置１０００Ａにおいて、上記視差補正方法を実行することにより、視差補正後の立体画像は、理想視差を有する立体画像となる。つまり、視差補正後の立体画像は、無歪み撮影により取得された立体画像とほぼ等価となる。
　このように、立体撮像装置１０００Ａにより、上記視差補正方法を実行することで、図４（ａ）に示した理想的な光学系によるものと同じ視差を得ることができ、無歪み撮影と等価な立体撮影を実現することができる。

　さらに、立体撮像装置１０００Ａでは、主被写体を基準に理想視差ｘ１を求めるので、撮像シーンに主被写体があれば、どんなシーンであっても、上記視差補正方法を実行することで、適切な視差補正を施した立体画像を取得することができる。
　したがって、本変形例は、極めて有効な応用例を示すものである。上記では、無歪み撮影を例に説明したが、本変形例はこれに限定されることはなく、例えば、本変形例の立体撮像装置１０００Ａにより、第１変形例で説明した処理と同様の処理を行うことで、主被写体の演出的な定位を実現する立体撮影を行うことも可能である。
　なお、本変形例の立体撮像装置１０００Ａによる立体撮影では、上下方向にも当然大きな誤差が存在する可能性が高いが、視差マッチングにより、上下方向の誤差（ずれ量）は、容易に検出し補正することができる。そのため、本変形例の立体撮像装置１０００Ａにより、高精度な立体画像を取得することができる。

　≪第３変形例（単眼式立体カメラへの応用例）≫
　次に、本実施形態の第３変形例について説明する。
　単眼式立体カメラにより立体撮影を行う従来技術として、単眼レンズの左半分と右半分を実質的に隠して２枚の画像を撮影し、撮影した２枚の画像を立体画像（左眼用画像および右眼用画像）とすることで、比較的狭い基線長（撮影ＳＢ）での立体撮影を行う技術がある。
　この従来の単眼式立体カメラにより撮像された立体画像では、ピントの合った主被写体については、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）とが同一になるため、当該主被写体は仮想スクリーン上に定位し、当該主被写体の後方の被写体がぼけながら仮想スクリーン後方に定位し、当該主被写体の前方の被写体が同じくぼけながら仮想スクリーン前方に定位する。この単眼式立体カメラにより立体撮影を行う従来技術では、仮想スクリーン前後の被写体に対して大きなぼけを発生させる必要があるため、単眼式立体カメラに大きなレンズ口径のレンズを装着する必要があるが、簡単に立体撮影ができるというメリットがある。

　しかし、この単眼式立体カメラにより立体撮影を行う従来技術では、フォーカスを合わせた主被写体が自動的に仮想スクリーン面上に配置されるという特性があり、立体撮影の経験の少ないカメラマンでも簡単に立体撮影ができるという特長をもつが、前述のような無歪み撮影や自由な演出（主被写体を所望の位置に定位させる演出）が出来ないという課題がある。
　本変形例では、上記単眼式立体カメラにより取得される立体画像に所定の視差を付加することで、無歪み撮影により取得される立体画像または自由定位撮影により取得される立体画像を取得する方法について説明する。
　なお、本変形例の立体撮像装置（上記単眼式立体カメラと同様の光学系および撮像部を有し、それ以外の部分については、立体撮像装置１０００と同様の構成の立体撮像装置）の構成図は省略するが、構成要件とその番号は、図１に準ずるものとする。

　以下、本変形例に係る立体画像取得方法について、図９、図１０を用いて、説明する。
　図９は、本変形例に係る立体撮像装置の撮影時および表示時における要素の幾何学的関係（位置関係）を示した図である。
　図１０は、本変形例に係る立体撮像装置で実行される立体画像取得方法（視差補正方法）の処理フローを示すフローチャートである。
　以下では、図１０のフローチャートに示した手順にしたがって、説明する。
（ステップ４３１）：
　制御部１１０は、フォーカス制御部１２３の制御量からピントを合わせた主被写体の被写体距離Ｒを求める。
（ステップ４３２）：
　本変形例の立体撮像装置では、主被写体の位置が仮想スクリーンＶＳ上となり、かつ、輻輳点が主被写体の位置と一致する。したがって、フォーカスを合わせた主被写体の視差は、「０」になるので、現実視差ｘ２は、ｘ２＝０になる。よって、制御部１１０は、ｘ２＝０に設定する。
（ステップ４３３）：
　定位情報設定部１２２により「無歪み撮影」が指示されているか否かを判定する。
（ステップ４３４）：
　定位情報設定部１２２により「無歪み撮影」が指示されている場合、制御部１１０は、主被写体の定位位置までの距離Ｒ４（左視点と右視点とを含む線分から主被写体の定位位置までの距離Ｒ４）をＲに設定する、すなわち、Ｒ４＝Ｒに設定する。
（ステップ４３５）：
　定位情報設定部１２２により「無歪み撮影」が指示されていない場合、制御部１１０は、演出として主被写体を定位させたい定位位置までの距離Ｒ３を定位情報設定部１２２から読み取り、Ｒ４をＲ３に設定、すなわち、Ｒ４＝Ｒ３に設定する。
（ステップ４３６）：
　制御部１１０は、本変形例の立体撮像装置において、主被写体をＲ４の距離に定位させるための視差ｘ４を次式で決定する。

　（無歪み撮影の場合：Ｒ４＝Ｒ）
　（自由定位撮影の場合：Ｒ４＝Ｒ３）
（ステップ４３４）：
　制御部１１０は、次式により、補正視差Δｘを算出する。

　なお、主被写体の視差ｘ２は、「０」であるから、
　　Δｘ＝ｘ４－ｘ２＝ｘ４
により、視差の補正量Δｘは、「主被写体をＲ４の距離に定位させるための視差ｘ４」と一致する。
（ステップ４３５）：
　Δｘは、本変形例の立体撮像装置（単眼式立体カメラ）の原理的な定位との視差の差であるため、主被写体だけでなく全ての被写体に対して同じ視差補正が必要である。したがって、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌにより、本変形例の立体撮像装置の撮像部により撮像した立体画像の全画素にΔｘを付加する（Ｒ画像およびＬ画像を補正視差Δｘ分だけ水平方向にシフトさせる）。

　これにより、本変形例の立体撮像装置では、Ｒ４＝Ｒとすることで、無歪み撮影を行った場合と同様の立体画像を取得することができる。つまり、図９に示すように、Ｒ４＝Ｒの場合、図９（ａ）の三角形ＡＢＣと図９（ｂ）の三角形ＤＥＦとは合同となるので、本変形例の立体撮像装置により、仮想スクリーン位置と表示スクリーン位置とが一致しない場合であっても、無歪み撮影を行った場合と同様の立体画像を取得することができる。
　さらに、本変形例の立体撮像装置では、Ｒ４＝Ｒ３とすることで、自由定位撮影（主被写体位置を所望の位置に定位させる立体画像を取得する立体撮影）を行った場合と同様の立体画像を取得することができる。
　以上のように、本変形例を、単眼式立体カメラに応用することで、無歪み撮影や主被写体の自由な定位などの演出が自由にできる。

　なお、本実施形態および本実施形態の変形例では、輻輳制御部１２４を用いて物理的に光学系の輻輳角を変化させる動作について説明したが、これに限定されることはない。立体撮像装置において、輻輳角を変化させることと、電気的な視差を変化させること（例えば、立体画像上で視差を付加すること）とは近似的に等価である（「光学的シフト」と「電気的シフト」とは等価の関係である）。
　したがって、本実施形態および本実施形態の変形例で説明した輻輳制御を、それと等価な電気的処理により実現してもよい。例えば、
（１）輻輳制御に相当する処理を、物理的な輻輳は付けずに電気的な視差を付加することで行う。
（２）輻輳制御に相当する処理を、固定の輻輳を用い（輻輳角を固定し）、輻輳制御部１２４が行う輻輳制御と等価な電気的処理（電気的に視差を付加する処理）に実現する。

　なお、上記（１）、（２）の処理を実行する際、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌにおいて、上記（１）、（２）の処理で発生する視差分も含めて付加させることにより、上記（１）、（２）の処理を実現するようにしてもよい。
　また、第１視差付加部１１１Ｒおよび第２視差付加部１１１Ｌによる視差の付加は、左画像（Ｌ画像）および右画像（Ｒ画像）のどちらか一方に対してのみ行ってもよいし、左画像（Ｌ画像）および右画像（Ｒ画像）の両方に任意のバランスで視差を付加することで実現させてもよい。ただし、この場合、左画像（Ｌ画像）と右画像（Ｒ画像）とでは付加する視差の極性を反転させる必要がある。
　なお、光学系の精度不足によるずれや２回撮り技法によるずれは、縦方向のずれ、横方向のずれ、回転方向のずれなどが含まれるが、縦方向のずれ、回転方向のずれなどは、マッチング技術により必要な精度で、ずれを検出し補正することが可能である。したがって、本発明の立体撮像装置においてもマッチング技術により、縦方向のずれ、回転方向のずれなどを検出・補正するようにしてもよい。なお、横方向のずれについては、本来視差としてのずれに重畳されたずれであるため、通常のマッチング処理では、視差なのか、横方向のずれなのかの判別が付かず、適切に横方向のずれを検出・補正することはできない。

　回転方向のずれについては、撮像した立体画像の画面全体に対する平均的なマッチング結果により、実用的な補正ができるので、このような補正処理を行い、立体撮像装置において、回転方向のずれを補正するようにしてもよい。
　また、本実施形態および本実施形態の変形例では、説明を簡単にするため、撮影ＳＢ（基線長）を人間の両眼間隔に一致している例について説明した。しかし、本発明は、それに限るものではない。図４を例に取ると、撮影ステレオベースが両眼より狭い場合には、同じ比率で仮想スクリーンを近づけるように輻輳を設定することにより、前述の三角形（例えば、図４（ａ）の三角形ＡＢＣ）を相似形にすることができる。したがって、この状態で、本発明の立体撮像装置により立体撮影を行うことで、やはり無歪み撮影を実現させることができる。この場合、主被写体を上記比率（上記三角形の相似比に相当）の逆数で遠ざけた演出が可能である。すなわち、撮影ＳＢが小さくなれば、仮想スクリーンが同じ比率（撮影ＳＢの縮小比率）で近づき、撮影ＳＢが大きくなれば、仮想スクリーンが同じ比率（撮影ＳＢの拡大比率）で遠ざかることを考慮することで、本発明の立体撮像装置により、遠近演出（主被写体を遠ざけたり近づけたりする演出）を実現させることができる。

　また、撮影ＳＢを可変出来る立体撮像装置では、これらの撮影パラメータ（撮影ＳＢを調整するための撮影パラメータ）も変更して、良好な立体画像を得ることが出来る。具体的には、主被写体が近景のマクロの場合、立体撮像装置において、撮影ＳＢを狭めることにより自然で見やすい立体画像が撮影でき、また、屋上からビル街を撮影するような広範囲の遠景撮影では、立体撮像装置において、撮影ＳＢを広げることにより、立体感のある良好な画像（立体画像）を撮影することができる。
　また、ズーム倍率が可変出来る立体撮像装置を用いる場合、ズーム倍率を考慮して、無歪み撮影や演出（自由定位撮影）を行うことができる。
　図４、図５、図７の説明では、説明を簡単にするため、撮影ＳＢが両眼間隔に一致し、かつ、ズームも用いない場合について説明したが、これに限定されることはなく、撮影ＳＢが両眼間隔に一致しない場合や、ズームを用いる場合においても、撮影ＳＢおよび／またはズームに関する撮影パラメータを考慮することで、本発明の立体撮像装置による立体撮影を実行できることは言うまでもない。

　また、主被写体に合わせたピントから距離を得る方法として、上記では、画像のコントラストを最大にする方法（コントラスト検出方式）による場合を例に説明したが、これに限定されることはなく例えば、位相差を用いて三角測量から距離を求める方法や、ＴＯＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）法のように光の到達時間から距離を求める方法や、超音波の反射到達時間から距離を求める方法を用いて主被写体までの距離を測定し、本発明を適用させるようにしてもよい。
　［第２実施形態］
　第２実施形態について、図面を参照しながら、説明する。
　第２実施形態では、撮影時に、立体撮像装置により撮影するシーンが、人間が立体視可能にできるかどうか（立体視し易いか否か）を判定し調整する装置、方法について、説明する。

　図１３に、第２実施形態の立体撮像装置２０００の概略構成図を示す。
　図１３に示すように、本実施形態の立体撮像装置２０００の基本構成は、第１実施形態の立体撮像装置１０００と同様であり、本実施形態の立体撮像装置２０００では、制御部１１０により実行される処理が、第１実施形態と異なる。
　なお、本実施形態において、第１実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
　なお、表示パラメータ取得部は、表示情報設定部１２１および制御部１１０により、その機能が実現される。
　視差調整部は、制御部１１０により、その機能が実現される。
　立体視可否判定部は、制御部１１０により、その機能が実現される。

　撮影パラメータ調整部は、制御部１１０により、フォーカス制御部１２３、輻輳制御部１２４、および、撮像部（第１撮像部１００Ｒ、第２撮像部１００Ｌ）等が制御されることにより、その機能が実現される。
　視差マップ画像生成部は、視差検出部１０４および制御部１１０により、その機能が実現される。
　視差角取得部は、制御部１１０により、その機能が実現される。
　補正視差角算出部は、制御部１１０により、その機能が実現される。
　補正視差角最大値取得部は、制御部１１０により、その機能が実現される。
　視差ヒストグラム作成部は、制御部１１０により、その機能が実現される。
　（２．１：立体視可能条件（融像可能条件））
　一般に、視差の絶対値が大きいときに融像しにくいことが知られている。このことは「パナムの融合域」と呼ばれており、「パナムの融合域」により、輻輳を合わせた距離（輻輳点までの距離）の前後の物体に対して、視差角を基準として融像出来る限界（範囲）を決めることができるとされている。視差角は、正の角度が手前側、負の角度が奥側であり、一般に、人間が立体画像（立体映像）を見たときに融像できる範囲は、視差角が、輻輳点の視差角（輻輳角）±１度程度となる領域（範囲）であると言われている。

　このことから、撮影するシーンの被写体群が狭い奥行きの範囲（仮想スクリーン前後の狭い範囲）に存在する場合には、視差が少なく融像しやすい、即ち、見やすい立体画像が撮影されるのに対し、遠景と近景の差が大きい場合には、融像出来ない場合が生じることが分かる。
　これについて、図１８を用いて詳しく説明する。
　図１８は、前述の図３と同じシーンをディスプレイに表示したときの視差角について説明するための図である。
　角度αsは、輻輳角であり、図１８では、両眼の光軸が仮想スクリーンＶＳ上で交差している状態を示している。このとき、仮想スクリーンＶＳと同じ距離にある物体（仮想スクリーンＶＳ上に位置する物体）は、左右の視差が「０」になるため、このような物体（被写体）を撮像した立体画像を見たとき、当該物体（被写体）は、２重像にならず左右の画像が重なることになり（表示スクリーン上に定位することになり）、視聴時には、当該物体（被写体）は、表示スクリーン上にあるように見える。なお、図１８において、最遠点である山は、視差角αf（αf＜αs）であり、最近点である草花は、αn（αn＞αs）であるとする。

　前述したパナムの融合域による融像範囲をδとすると、|αf－αs|＜δを満たすと遠景が融像でき、立体視できることになる。同様に|αn－αs|＜δを満たすと、近景が融像できることになる。
　このように、立体視出来るかどうかは、立体撮影した立体画像をディスプレイ（表示スクリーン）に表示したときにはじめて決定されるものである。表示時には、上記従来の手法を用いて立体視の可否を判定することができるが、これを撮影時に、正確に推定することは困難である。
　図１４は、図４のように、撮影時の撮影要素（被写体、仮想スクリーン、左右視点（撮像点））と表示時の表示要素（被写体、表示スクリーン、左右視点）との間に完全な幾何学的合同関係のある無歪み撮影の場合に限った条件ではなく、より一般的に、歪みを伴う場合を含んだ撮影時の撮影要素と表示時の表示要素との間の幾何学条件を説明するための図である。

　図１４（ａ）は、撮影時の状態を表している。図１４（ａ）に示すように、撮像時には、基線（左眼用画像の撮像点および右眼用画像の撮像点を結ぶ線）からＬ１の距離に幅Ｗ１のスクリーン（仮想スクリーンＶＳ）を置くことを想定し、輻輳角α１をその仮想スクリーンＶＳ面上に設定する。このとき、基線から距離Ｒ１にある被写体の視差角をβ１とすると仮想スクリーンＶＳ上では、ｘ１の視差が発生する。
　この視差ｘ１は、
　ｘ１＝Ｌ１・（α１－β１）
により求められる。
　なお、上記は、近似解である。つまり、厳密には、
　　ｘ１＝２・Ｌ１・（ｔａｎ（α１／２）－ｔａｎ（β１／２））
であるが、α１およびβ１は、微小であるので、
　　ｔａｎ（α１）＝α１
　　ｔａｎ（β１）＝β１
と近似することができる。したがって、視差ｘ１は、
　　ｘ１＝Ｌ１・（α１－β１）
と近似により求めることができる。

　また、図１４（ｂ）は、表示時の状態を表している。図１４（ｂ）に示すように、表示時には、幅Ｗ２のディスプレイ（表示スクリーンＤＳ）を基線（右眼視点および左目始点を結ぶ線）からＬ２の距離で見ることとすると、このときの視差ｘ２は、
　ｘ２＝Ｌ２・（α２－β２）
により算出される。
　また、仮想スクリーンＶＳのサイズＷ１と表示スクリーンＤＳのサイズＤＳとが異なる場合、表示される視差も両スクリーンサイズの比率で変化する。すなわち、視差ｘ２は、
　ｘ２＝Ｗ２／Ｗ１・ｘ１
となる。
　以上より、表示時に融像出来るかどうかを定める相対視差角（α２－β２）は、
　　（α２－β２）＝（Ｗ２／Ｗ１）・（Ｌ１／Ｌ２）・（α１－β１）
となる。

　さらに、図示していないが、撮影時にズームを用いた場合、そのズーム倍率をｚとすると、相対視差角（α２－β２）は、
　　（α２－β２）＝ｚ・（Ｗ２／Ｗ１）・（Ｌ１／Ｌ２）・（α１－β１）
となる。
　さらに、図示していないが、表示時に画像のシフトによる視差調整を行った場合、視差調整量を角度Δαで表すと、相対視差角（α２－β２）は、
　（α２－β２）＝ｚ・（Ｗ２／Ｗ１）・（Ｌ１／Ｌ２）・（α１－β１）－Δα
となる。
　したがって、現実の撮影時の状態と表示時の状態との間には、多くの撮影パラメータ、表示パラメータ、調整パラメータが介在することが分かる。

　上式の左辺が、融像出来るかどうかに直接影響する相対視差角を表しており、通常、この値が、±１度の範囲になければ、融像できずに二重像になり立体視できないことになる。また、この値が±０．５度の範囲にあれば、比較的楽に融像出来る見やすい立体像になると言われている。
　この融像範囲（相対視差角が±０．５度の範囲、または、±１度の範囲）をδとすると、
　　｜α２－β２｜＜δ
　　｜ｚ・（Ｗ２／Ｗ１）・（Ｌ１／Ｌ２）・（α１－β１）－Δα｜＜δ
　したがって、

により決定される範囲にある被写体（上式を満たす視差角β１を有する被写体）が融像出来るということがわかる。
　（２．２：撮影時の立体視可否判定処理）
　以上に基づいて、本実施形態の立体撮像装置２０００により実行される撮影時の立体視可否判定処理について、説明する。
　図１５は、撮影時の立体視可否判定処理について説明するためのフローチャート図である。
　まず、図１５のフローチャートを用いて、立体撮像装置２０００における撮影時の立体視可否判定処理の準備処理について、説明する。
　（Ｓ１０１～Ｓ１０４）：
　立体撮像装置２０００において、第１実施形態と同様の処理により、補正視差Δｘを算出する。

　（Ｓ２０１）：
　最小視差検出部１０５は、視差検出部１０４により作成された視差マップメモリ１８１から最小視差ｘ２＿ｎｅａｒを検出する。なお、この最小視差ｘ２＿ｎｅａｒが最近点の視差に対応する。
　また、最大視差検出部１０６は、視差検出部１０４により作成された視差マップメモリ１８１から最大視差ｘ２＿ｆａｒを検出する。なお、この最大視差ｘ２＿ｆａｒが最遠点の視差に対応する。
　（Ｓ２０２）：
　制御部１１０は、Ｓ２０１で算出された最大視差ｘ２＿ｆａｒおよび最小視差ｘ２＿ｎｅａから、最遠点の補正後の視差ｘ３＿ｆａｒおよび最近点の補正後の視差ｘ３＿ｎｅａｒを下式により、算出する。

　　ｘ３＿ｆａｒ＝ｘ２＿ｆａｒ＋Δｘ
　　ｘ３＿ｎｅａｒ＝ｘ２＿ｎｅａｒ＋Δｘ
　（Ｓ２０３）：
　制御部１１０は、Ｓ２０２で算出した最遠点の補正後の視差ｘ３＿ｆａｒおよび最近点の補正後の視差ｘ３＿ｎｅａｒから、撮影時の最遠点の視差角β１＿ｆａｒおよび撮影時の最遠点の視差角β１＿ｎｅａｒを算出する。
　なお、制御部１１０は、図１４に示したように、撮影時の撮影要素（被写体位置、仮想スクリーンのサイズおよび位置、ＳＢ、右眼画像用撮像点、左眼画像用撮像点）の位置関係から、幾何学的計算により、最遠点の補正後の視差ｘ３＿ｆａｒおよび最近点の補正後の視差ｘ３＿ｎｅａｒから、撮影時の最遠点の視差角β１＿ｆａｒおよび撮影時の最遠点の視差角β１＿ｎｅａｒを算出する。

　（Ｓ２０４）：
　立体撮像装置２０００において、立体撮影可否判定処理を実行する。
　次に、図１６のフローチャートを用いて、立体撮像装置２０００における撮影時の立体視可否判定処理について、説明する。
　（Ｓ２０５）：
　制御部１１０は、Ｓ２０３で算出した最遠点の視差角β１＿ｆａｒおよび最遠点の視差角β１＿ｎｅａｒが、上記（数式７）の条件を満たすか否かを判定する。
　（Ｓ２０６）：
　Ｓ２０５の判定の結果、最遠点および最近点が、両方とも、上記（数式７）の条件を満たさない場合（ケース１の場合）、視差調整により、最遠点および最近点を、立体視可能範囲（範囲δ）に入れることはできないと判断し、立体撮像装置２０００の画角調整等の撮影パラメータ調整処理を行い、例えば、ズーム倍率ｚや撮影ＳＢを変更する。

　（Ｓ２０７～Ｓ２０９）：
　Ｓ２０６で画角調整（撮影パラメータ調整）を行った後の状態において、制御部１１０は、最遠点の視差角β１＿ｆａｒおよび最遠点の視差角β１＿ｎｅａｒが、上記（数式７）の条件を満たすか否かを判定する（Ｓ２０７）。
　Ｓ２０７での判定の結果、上記（数式７）の条件を満たす場合、制御部１１０は、「撮影ＯＫ」の判定を行い、処理を終了する（Ｓ２０８）。
　一方、Ｓ２０７での判定の結果、上記（数式７）の条件を満たさない場合、制御部１１０は、「撮影ＮＧ」の判定を行い、処理を終了する（Ｓ２０９）。
　（Ｓ２１０）：
　Ｓ２０５の判定の結果、最遠点については、上記（数式７）の条件を満たさないが、最近点については、上記（数式７）の条件を満たす場合（ケース２の場合）、制御部１１０は、視差調整により、最遠点を、立体視可能範囲（範囲δ）に入れる処理を行う。具体的には、制御部１１０は、最遠点が、範囲δ内となる視差調整量Δα１を算出する。

　そして、その算出した視差調整量Δα１により、視差調整を行う（最遠点および最近点について、当該視差調整量Δα１分ずらす）。
　（Ｓ２１１～Ｓ２１５）：
　Ｓ２１０で算出したΔα１に相当する視差をずらした場合、最近点が依然として、立体視可能範囲（範囲δ）内であるか否かを、制御部１１０が判定する（Ｓ２１１）。
　そして、その判定の結果、最近点が依然として、立体視可能範囲（範囲δ）内である場合、制御部１１０は、「撮影ＯＫ」の判定を行い、処理を終了する（Ｓ２１４）。
　一方、判定の結果、最近点が立体視可能範囲（範囲δ）内ではない場合、制御部１１０は、Ｓ２０６と同様の撮影パラメータ調整処理を行う（Ｓ２１２）。
　そして、Ｓ２１２の撮影パラメータ調整処理を実行した後、Ｓ２０７と同様に、Ｓ２１２で画角調整（撮影パラメータの調整）を行った後の状態において、制御部１１０は、最遠点の視差角β１＿ｆａｒおよび最遠点の視差角β１＿ｎｅａｒが、上記（数式７）の条件を満たすか否かを判定する（Ｓ２１３）。

　Ｓ２１３での判定の結果、上記（数式７）の条件を満たす場合、制御部１１０は、「撮影ＯＫ」の判定を行い、処理を終了する（Ｓ２１４）。
　一方、Ｓ２１３での判定の結果、上記（数式７）の条件を満たさない場合、制御部１１０は、「撮影ＮＧ」の判定を行い、処理を終了する（Ｓ２１５）。
　（Ｓ２１６）：
　Ｓ２０５の判定の結果、最近点については、上記（数式７）の条件を満たさないが、最遠点については、上記（数式７）の条件を満たす場合（ケース３の場合）、制御部１１０は、視差調整により、最遠点を、立体視可能範囲（範囲δ）内の限界（境界）点に移動させる処理を行う。具体的には、制御部１１０は、最遠点が、範囲δ内の限界（境界）点となる視差調整量Δα１を算出する。

　そして、その算出した視差調整量Δα１により、視差調整を行う（最遠点および最近点について、当該視差調整量Δα１分ずらす）。
　（Ｓ２１７～Ｓ２２１）：
　Ｓ２１６で算出したΔα１に相当する視差をずらした場合、最近点が、立体視可能範囲（範囲δ）内であるか否かを、制御部１１０が判定する（Ｓ２１７）。
　そして、その判定の結果、最近点が、立体視可能範囲（範囲δ）内である場合、制御部１１０は、「撮影ＯＫ」の判定を行い、処理を終了する（Ｓ２２０）。
　一方、判定の結果、最近点が立体視可能範囲（範囲δ）内ではない場合、制御部１１０は、Ｓ２０６と同様の撮影パラメータ調整処理を行う（Ｓ２１８）。
　そして、Ｓ２１８の撮影パラメータ調整処理を実行した後、Ｓ２０７と同様に、Ｓ２１８で画角調整（撮影パラメータの調整）を行った後の状態において、制御部１１０は、最遠点の視差角β１＿ｆａｒおよび最近点の視差角β１＿ｎｅａｒが、上記（数式７）の条件を満たすか否かを判定する（Ｓ２１９）。

　Ｓ２１９での判定の結果、上記（数式７）の条件を満たす場合、制御部１１０は、「撮影ＯＫ」の判定を行い、処理を終了する（Ｓ２２０）。
　一方、Ｓ２１９での判定の結果、上記（数式７）の条件を満たさない場合、制御部１１０は、「撮影ＮＧ」の判定を行い、処理を終了する（Ｓ２２１）。
　なお、ケース３の場合、立体撮像装置２０００において、上記のように、まず、最遠点を融合域内の限界（境界）点となるように視差調整し、その後、最近点についての調整を行うのは、最遠点が融合域内となることを、優先的に、確保（保証）するためである。言い換えれば、立体撮像装置２０００において、最遠点が融合域内となるようにした状態で、撮影パラメータを調整することにより、最近点も融合域内となるように処理を行うことは、比較的容易であるが、撮影パラメータの調整のみで、融合域外の最遠点を融合域内に入れるように調整することは難しい。したがって、立体撮像装置２０００では、上記のように、処理を行う。

　（Ｓ２２２）：
　Ｓ２０５の判定の結果、最遠点および最近点が、両方とも、上記（数式７）の条件を満たす場合（ケース４の場合）、制御部１１０は、「撮影ＯＫ」の判定を行い、処理を終了する（Ｓ２２２）。
　以上により、立体撮像装置２０００では、上記（数式７）に基づいて、撮影時に、立体視可否判定処理を行うことができる。
　なお、上記（数式７）から、立体撮像装置２０００により撮像できる被写体の範囲は、以下の特性を有することが分かる。
（１）撮像できる被写体の範囲は、ズーム倍率に反比例する（拡大すると撮影できる範囲が狭くなる）。
（２）撮像できる被写体の範囲は、スクリーンサイズ比に反比例する（小さいスクリーンで見るときは広くなる）。なお、想定スクリーンサイズを大きく設定することと、小さなスクリーンで立体画像を見ることとは等価の関係にある。
（３）撮像できる被写体の範囲は、視聴距離に比例する（離れてみると広くなる）。なお、想定視聴距離を近くに設定することと、想定視聴距離より離れて立体画像をみることとは等価の関係にある。
（４）撮像できる被写体の範囲は、視差調整で正の視差をあたえると、遠景の範囲が広くなり、近景の範囲が狭くなる。

　したがって、人間の視覚によって定まる融像域に対して、撮影時には、
（１）ズーム倍率、
（２）想定スクリーンと実スクリーンのサイズ、
（３）想定視聴距離と実視聴距離、
（４）視差調整量、
に応じて、融像出来る被写体の距離が変わるため、これらの関係を用いることにより、立体撮像装置２０００において、撮影時に予め、見やすいシーンか見にくいシーンかの判定が可能になる。
　このように、本実施形態の判定法（立体視可否判定処理）を用いることで、表示した時に被写体の遠景や近景が立体視できるかどうかを、撮影時に知ることができる。したがって、本実施形態の立体撮像装置２０００により、撮影時に、立体視可否判定処理を行うことで、立体視できないような失敗撮影を事前に無くすことができる。

　なお、撮影時において、最遠点が融像できない場合、正の視差（上記Δα１＞０）を与え（付加し）、逆に、最近点が融像できない場合、負の視差（上記Δα１＜０）を与える（付加する）ことにより、撮像しようとしているシーン全体が融像可能な状態となるように調整すればよいことは言うまでもない。
　また、最遠点や最近点あるいは両方が融像出来ないときは、カメラのユーザーインタフェースを用いてアラートを出し、撮影者に撮影シーンの再検討を促すことにより、失敗撮影を回避することが可能である。
　また、視差の方向として、いずれの方向を正と表現するかは、自由であり、上記実施形態において設定した正方向と逆の場合であっても、本発明を適用することができることは、言うまでもない。なお、視差の方向を、上記実施形態において設定した正方向と逆にする場合、上記実施形態（本明細書および図面）の表現（あるいは図示）について、正と負を逆にして読み替えればよい。

　（２．３：第１変形例（高精度立体視可否判定））
　次に、本実施形態に係る第１変形例について、説明する。
　第１変形例に係る立体撮像装置では、より高精度な立体視可否判定（高精度立体視可否判定）処理を実行する。なお、第１変形例に係る立体撮像装置の構成は、第２実施形態の立体撮像装置２０００の構成と同様である。
　上記で説明した技術により、撮影時に立体視可能か否か（立体視し易いか否か）を判定することが可能になった。しかし、本願発明者らは、さらに、撮影時の立体視可否判定の精度を上げることを目的として、多数のシーンによる立体撮影・表示を行い、多くの被験者による評価実験を行った結果、上記条件だけでは判断できないシーンを多々発見し、立体視の判定基準は、最遠点と最近点に対する視差だけで決まるのではないことを発見した。

　つまり、本願発明者らは、立体視可否判定を行う場合、奥行きが前後に異なる被写体の２次元の画面上（仮想スクリーン上あるいは表示スクリーン上）での距離を考慮して立体視可否判定を行うことで、より高精度の立体視可否判定を行うことができることを見出した。
　これに基づく、本変形例の立体撮像装置での処理について、以下、説明する。
　（２．３．１：被写体の２次元画面上での距離を考慮した高精度立体視可否判定）
　奥行きが前後に異なる被写体の２次元の画面（仮想スクリーンあるいは表示スクリーン）上での距離を考慮した撮影時の立体視可否判定についての条件は、以下の（１）、（２）の評価結果から見出した。
（１）遠景と近景が画面上で離れた位置にある場合には、遠景と近景の視差の差が比較的大きくても見やすい（立体視しやすい）ことが多い。
（２）逆に、遠景と中景、や中景と近景のように視差の差が比較的小さくても、それらが画面上で近い位置にある場合には、融像が難しくなる（立体視が困難になる）ことが多い。

　したがって、撮影シーン中の最遠点Ｆ（最遠点の被写体距離をＲ（Ｆ）とする。）と最近点Ｎ（最近点Ｎの被写体距離をＲ（Ｎ）とする。）は、どちらも立体視可能である場合（立体視し易い場合）であっても、最遠点より近い遠景Ａ（遠景Ａの被写体距離Ｒ（Ａ）とすると、Ｒ（Ａ）＜Ｒ（Ｆ））と最近点より遠い近景Ｂ（近景Ｂの被写体距離Ｒ（Ｂ）とすると、Ｒ（Ｂ）＞Ｒ（Ｎ））とが画面上で隣接していると、その遠景Ａと近景Ｂとが隣接している部分（領域）が融像出来ずに見づらい画像になるということが生じる。
　そこで、本変形例の立体撮像装置では、２次元画面（仮想スクリーンあるいは表示スクリーン）上での２つの被写体の視差角α１、α２と、その２つの被写体の２次元画面中での距離ｈとを変数とする関数ｆ（α１，α２，ｈ）により、視覚に合わせた（人間の視覚特性を考慮した）補正視差角γを求め、その補正視差角γに基づいて、撮影シーンの被写体が融合域に入るかどうかを判定する。

　ここで、補正視差角γを求める関数の例を示す。
　　ｆ（α１，α２，ｈ）＝ｇ（ｈ）＊｜α１－α２｜
　ｇ（ｈ）は、ｈの絶対値が「０」に近いほど大きな値をとる単調減少関数である。
　なお、関数ｇ（ｈ）は、所定の値ｔｈ１から所定の値ｔｈ２まで単調減少する関数であってもよい（つまり、ｔｈ１＞ｇ（ｈ）＞ｔｈ２）。また、関数ｇ（ｈ）は、表示画面サイズ（表示スクリーンサイズ）や視聴距離等により、変化するものであってもよい。
　上記評価値（関数ｆの値）が、融像限界δに対して、
　　ｆ（α１，α２，ｈ）＜δ
であれば、この２つの被写体（視差角α１の被写体と視差角α２の被写体）については、融像でき立体視できると判定することができる。

　そして、上記条件が、撮影しようとしているシーン中の全ての被写体の間で成立すれば、シーン全体として見やすい（立体視可能）と判定できることになる。つまり、上記条件が、撮影しようとしているシーン中の全ての被写体について成立する場合、当該シーンを立体撮影することで取得される立体画像（立体映像）は、人間にとって見やすい（適切に融像できる）立体画像（立体映像）となる。
　≪高精度立体視可否判定処理の処理フロー≫
　次に、本変形例の立体撮像装置により実行される高精度立体視可否判定処理について、図１７のフローチャートを用いて、説明する。この高精度立体視可否判定処理は、上記関数ｆを用いて、撮影時に、撮影シーンが融像可能（立体視可能）か否か（立体視し易いか否か）を判定する処理である。
（Ｓ５０１）：
　制御部１１０は、視差マップメモリ１８１から、異なる２つのブロック（視差マップメモリ１８１の構成するブロック。図３のＢＫ１やＢＫ２がこれに相当。）を選択する。
（Ｓ５０２）：
　制御部１１０は、Ｓ５０１で選んだ２つのブロックの視差を、視差マップメモリ１８１から求め、所定の条件を用いて、当該２つのブロックの視差を、それぞれ、視差角α１，α２に変換する。なお、「所定の条件」とは、撮影時の撮影要素（被写体位置、仮想スクリーンのサイズおよび位置、ＳＢ、右眼画像用撮像点、左眼画像用撮像点）や、表示時における表示要素（左眼の位置、右眼の位置、表示スクリーン、主被写体の定位位置）や、撮影パラメータ（画角、ズーム倍率、撮影ＳＢ等）により決定される条件である。そして、視差角α１、α２は、上記条件により視差補正された視差角であってもよい。
（Ｓ５０３）：
　選んだ２つのブロック間の２次元画面上の距離ｈを求める。なお、距離ｈは、視差マップメモリ１８１上のブロック間の距離により求め、例えば、隣接ブロックの場合は、ｈ＝１とする。
（Ｓ５０４）：
　選んだ２つのブロックに関する補正視差角ｆ（α１，α２，ｈ）を算出する。
（Ｓ５０５）：
　制御部１１０は、Ｓ５０４で算出した補正視差角ｆ（α１，α２，ｈ）の値（この値をｆ０とする）と、ｆの最大値として保持されているｆｍａｘとを比較し、
　ｆ＿ｍａｘ＜ｆ０であれば、ｆｍａｘ＝ｆ０とし、
　ｆ＿ｍａｘ≧ｆ０であれば、そのまま、ｆｍａｘを保持する。

　なお、最初に、Ｓ５０５の処理が実行される場合、制御部１１０は、ｆｍａｘ＝ｆ０とする。
（Ｓ５０６）：
　制御部１１０は、全てのブロックの組み合わせについて、上記処理が終了したか否かを判定する。そして、判定の結果、全てのブロックの組み合わせについて終了していなければ、ステップＳ５０１に戻り、全てのブロックの組み合わせについて終了していれば、ステップＳ５０７に進む。
（Ｓ５０７）：
　制御部１１０は、ｆｍａｘとδを比較し、
　　ｆｍａｘ＜δ
であれば、本変形例の立体撮像装置により立体撮影しようとしているシーンが、立体視可能である（立体視し易い）と判断する。

　なお、高精度立体視可否判定処理では、必ずしも、上記のように、視差マップメモリ１８１を構成する全ブロック中の全ての２ブロックの組み合わせに対して、上記処理を実施せねばならないものではなく、例えば、視差の差が所定のレベル以上あるブロックについてのみ、上記処理を実施するようにしてもよい。
　また、補正視差角を求める関数は、上記の関数に限られるものではなく、例えば、定性的に視差の差が大きいほど大きな値を出力し、および／または、２次元画面上の距離が大きいほど小さな値を出力する関数であれば、上記で示した関数以外の関数であってもよい。また、補正視差角を求める関数は、完全に単調関数でなくてもよく、所定の範囲において、一定値をとるものであってもよい。
　（２．３．２：画面サイズと視聴距離を考慮した高精度立体視可否判定）
　本願発明者らは、立体視する場合において、立体画像（立体映像）の見やすさに影響を与える要素として、上記以外に、ディスプレイのサイズと、視聴距離によるものがあることを見出した。

　前述の説明では、眼球の輻輳（輻輳点）をスクリーン面に合わせることを前提として説明した。しかし、眼球の輻輳は、常にスクリーン面上から離れないかと言えば、そうではない。人間は、遠景が見にくければ、眼球の輻輳を変化させて遠景を見やすくするよう見方をすることを自然にしている。
　これについて、図１８を用いて、説明する。
　例えば、図１８の場合において、人間が、人物９００を注視し輻輳（輻輳点）を人物９００に合わせて見た（立体視した）場合について考える。この場合、山９０１の融像の条件は、|αf－αs|＜δから|αf－αc|＜δに変わるため、山９０１は見やすくなる（立体視しやすくなる）ことになる。
　したがって、この場合、現実の融像範囲は、その分だけ広いと言える。

　ところが、輻輳（輻輳点）を人物９００に合わそうとして、人物９００を注視するとピントも人物９００に合わしてしまい、表示スクリーン上の立体画像（立体映像）を、くっきりと見ることが出来なくなる。うまく見るためには、ピントはスクリーン面に合わせ、かつ、輻輳（輻輳点）は人物９００に合わせるという無理な見方が要求される（ピントと輻輳の不一致）。
　人間は、眼球のレンズ（水晶体）の厚みを毛様体筋の収縮により変化させてピントを調節する。この際、ピント調節に要する収縮の変化幅は近距離の物体を見るときは大きく、遠距離の物体を見るときは小さいため、ピント調節による距離感を強く感じるのは、近距離の物体を見るときであり、遠距離の物体を見るとき、人間は、ピント調節によって距離を認識できない。

　したがって、近距離で見る小サイズのディスプレイ（表示スクリーン）では、ピントによるスクリーンの距離感が強固であるため、輻輳（輻輳点）もスクリーン面に固定されがちになる。特に、２ｍ以下では、その傾向が強い。
　逆に、遠距離で見る大サイズのディスプレイでは、ピントによるスクリーンの距離感が希薄であるため、輻輳（輻輳点）は、スクリーン面に固定されず、前後に動きやすいことになる。
　したがって、画面サイズが小さいディスプレイ（表示スクリーン）または近距離で見る視聴条件の場合は、相対的に融像条件を厳しく設定し、画面サイズが大きいディスプレイ（表示スクリーン）または遠距離で見る視聴条件の場合は、相対的に融像条件を広く（緩く）設定することが可能である。

　これに基づいて、本変形例の立体撮像装置では、表示スクリーンのサイズを撮影時に把握しておき、表示スクリーンのサイズが小さい（小画面である）ほど、上記δ（融像範囲δ）を小さく設定し、表示スクリーンのサイズが大きい（画面サイズが大きい）ほど、δを大きく設定する。そして、本変形例の立体撮像装置では、このように設定したδを用いて、実際の処理（例えば、「２．２」で説明した撮影時の立体視可否判定処理や、「２．３．１」で説明した被写体の２次元画面上での距離を考慮した高精度立体視可否判定処理）を行う。これにより、本変形例の立体撮像装置では、撮影時において、より精度の高い立体視可否判定処理を実現することができる。
　また、上記の他にも以下のような場合に、融像条件を緩める（広げる）ことが可能である。
（１）最遠点や最近点の被写体がスクリーン上で占める面積が小面積である場合。
（２）最遠点や最近点の被写体が画面（スクリーン）の端にある場合。
（３）最遠点や最近点の被写体のピントがはずれてぼけている場合。

　上記何れの場合においても、最遠点や最近点の被写体がそのシーンにとって重要でない可能性が高いと判断でき、したがって、人間は、当該最遠点や最近点の被写体を注視することが少ない。つまり、注視されにくい当該最遠点や最近点の被写体の融像状態による影響は少ないので、上記の場合、融像条件を緩める（広げる）ことができる。
　なお、融像範囲を調整するための方法として、例えば、以下のような方法がある。
（１）立体画像（立体映像）を構成する右眼用画像および／または左眼用画像を電気的にシフトさせることで視差を調整することで、融像範囲を調整する。
（２）立体撮像装置の撮影ＳＢの調整（縮める調整）を行うことで、融像範囲の調整をする。
（３）２回撮りにより立体画像（立体映像）を取得する場合、２回撮りを実行する際の立体撮像装置の移動量を調整する。
（４）立体画像（映像）において、オブジェクト（被写体）のデプス（Ｄｅｐｔｈ、奥行き情報）を作成（算出あるいは推定）し、電気的に撮影ＳＢの調整を行う。

　これらの様々な要素を加味して融像域を変化させることにより、本変形例の立体撮像装置において、実際の見やすさに近い評価値を取得することができ、この取得した評価値に基づいて、撮影時に立体視可否判定処理を行うことで、本変形例の立体撮像装置において、より良い立体撮影を行うことができる。つまり、本変形例の立体撮像装置では、様々な要素を加味して融像域を変化させることにより、実際の見やすさに近い評価値を取得し、当該評価値に基づく立体視可否判定処理を行うことで、撮影時に立体視ができ疲れないで見ることかどうかを、実際に人間が見たときの感覚に近づけて判定することができる。
　（２．３．３：視差ヒストグラムを用いた処理）
　なお、立体視可否判定を行うために、上記のように融像範囲δの大きさを変化させる方法（融像条件を緩和させる方法）以外に、視差ヒストグラムを用いた方法を採用してもよい。視差ヒストグラムを用いた撮影時の立体視可否判定処理について、以下、説明する。

　≪図１９の場合≫
　まず、図１９に示す場合について、説明する。
　本変形例の立体撮像装置において、制御部１１０は、視差マップメモリ１８１から、図１９に示すような、視差のヒストグラム（視差ヒストグラム）を作成する。そして、制御部１１０は、作成した視差ヒストグラムにおいて、図１９に示す所定の度数Ａ以下の遠景および近景を除外し、立体視可否判定処理の対象領域ＡＲ１を近景Ｂ２から遠景Ｃ２の領域に設定する。
　そして、制御部１１０は、設定した立体視可否判定処理の対象領域ＡＲ１（Ｂ２～Ｃ２の領域）を、立体可能領域（例えば、図１９に示す立体可能領域ＡＲ０）と比較し、撮影しようとしているシーンが、立体視可能か否か（立体視し易いか否か）を判定する。つまり、対象領域ＡＲ１が立体視可能領域ＡＲ０に含まれていれば、立体視可能（立体視し易い）と判定する。なお、図１９の場合、立体可能領域ＡＲ０は、仮想スクリーン位置を中心とした対称領域（遠景側の領域の大きさと近景側の領域の大きさが等しい領域）である。

　≪図２０の場合（遠景ＴＨと近景ＴＨとが同じ場合）≫
　次に、図２０に示す場合について、説明する。
　本変形例の立体撮像装置において、制御部１１０は、視差マップメモリ１８１から、図２０に示すような、視差のヒストグラム（視差ヒストグラム）を作成する。そして、制御部１１０は、作成した視差ヒストグラムにおいて、図２０に示す所定の度数ＴＨ以下の遠景および近景を除外し、立体視可否判定処理の対象領域ＡＲ２を近景Ｂ２から遠景Ｃ２の領域に設定する。
　そして、制御部１１０は、図２０に示すように、立体可能領域を、上記で設定した立体視可否判定処理の対象領域ＡＲ２の遠景側の限界点Ｃ２を基準とした領域ＡＮ１に設定する。つまり、遠景を重視して立体視可否判定を行うために、仮想スクリーンを中心として設定される立体視可能領域ＡＲ０を、対象領域ＡＲ２の遠景側の限界点Ｃ２を基準とした領域ＡＮ１にシフトさせる。このようにして、制御部１１０は、立体視可否判定処理に使用する立体視可能領域ＡＮ１を設定する。

　そして、制御部１１０は、立体視可否判定処理の対象領域ＡＲ２と、立体視可能領域ＡＮ１とを比較し、撮影しようとしているシーンが、立体視可能か否か（立体視し易いか否か）を判定する。つまり、対象領域ＡＲ２が遠景を重視して設定した立体視可能領域ＡＮ１に含まれていれば、立体視可能（立体視し易い）と判定する。
　≪図２１の場合（遠景ＴＨと近景ＴＨとが異なる場合（その１））≫
　次に、図２１に示す場合について、説明する。
　本変形例の立体撮像装置において、制御部１１０は、視差マップメモリ１８１から、図２１に示すような、視差のヒストグラム（視差ヒストグラム）を作成する。そして、制御部１１０は、作成した視差ヒストグラムにおいて、
（１）遠景側において、図２１に示す所定の度数ＴＨ＿ｆａｒ以下の遠景を除外し、
（２）近景側において、図２１に示す所定の度数ＴＨ＿ｎｅａｒ以下の近景を除外する。

　そして、制御部１１０は、立体視可否判定処理の対象領域ＡＲ３を近景Ｂ２から遠景Ｃ２の領域に設定する。
　なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部１１０は、遠景側を除外するための所定の度数ＴＨ＿ｆａｒと、近景側を除外するための所定の度数ＴＨ＿ｎｅａｒとが、
　　ＴＨ＿ｆａｒ＜ＴＨ＿ｎｅａｒ
の関係を満たすように、所定の度数ＴＨ＿ｆａｒおよびＴＨ＿ｎｅａｒを設定することが好ましい。
　制御部１１０は、図２１に示すように、立体可能領域を、上記で設定した立体視可否判定処理の対象領域ＡＲ３の遠景側の限界点Ｃ２を基準とした領域ＡＮ２に設定する。つまり、遠景を重視して立体視可否判定を行うために、仮想スクリーンを中心として設定される立体視可能領域ＡＲ０を、対象領域ＡＲ３の遠景側の限界点Ｃ２を基準とした領域ＡＮ２にシフトさせる。このようにして、制御部１１０は、立体視可否判定処理に使用する立体視可能領域ＡＮ２を設定する。

　そして、制御部１１０は、立体視可否判定処理の対象領域ＡＲ３と、立体視可能領域ＡＮ２とを比較し、撮影しようとしているシーンが、立体視可能か否か（立体視し易いか否か）を判定する。つまり、対象領域ＡＲ３が遠景を重視して設定した立体視可能領域ＡＮ２に含まれていれば、立体視可能（立体視し易い）と判定する。
　≪図２２の場合（遠景ＴＨと近景ＴＨとが異なる場合（その２））≫
　次に、図２２に示す場合について、説明する。
　本変形例の立体撮像装置において、制御部１１０は、視差マップメモリ１８１から、図２２に示すような、視差のヒストグラム（視差ヒストグラム）を作成する。そして、制御部１１０は、作成した視差ヒストグラムにおいて、
（１）遠景側において、図２２に示す所定の度数ＴＨ＿ｆａｒ以下の遠景を除外し、
（２）近景側において、図２１に示す所定の度数ＴＨ＿ｎｅａｒ以下の近景を除外する。

　そして、制御部１１０は、立体視可否判定処理の対象領域ＡＲ４を近景Ｂ２から遠景Ｃ２の領域に設定する。
　なお、上記において、遠景を重視して、立体視可否判定処理を行うために、制御部１１０は、遠景側を除外するための所定の度数ＴＨ＿ｆａｒと、近景側を除外するための所定の度数ＴＨ＿ｎｅａｒとが、
　　ＴＨ＿ｆａｒ＜ＴＨ＿ｎｅａｒ
の関係を満たすように、所定の度数ＴＨ＿ｆａｒおよびＴＨ＿ｎｅａｒを設定することが好ましい。
　また、制御部１１０は、立体視可否判定処理に用いる立体視可能領域を以下のようにして、求める。
（１）所定の度数ＴＨ０（＞ＴＨ＿ｆａｒ）を設定する。
（２）視差ヒストグラムにおいて、その度数が、遠景側から近景側へ向かってトレースしたときに最初に度数ＴＨ０を超える点（図２２のＣ３点がこれに相当）を求める。
（３）（２）で求めたＣ３点を基準として、立体視可能領域ＡＮ３を設定する。なお、立体視可能領域ＡＮ３は、例えば、仮想スクリーンを中心として設定される立体視可能領域ＡＲ０を、Ｃ３点を基準としてシフトさせた領域である。

　制御部１１０は、以上のようにして設定した立体視可能領域ＡＮ３と、立体視可否判定処理の対象領域ＡＲ４とを比較し、撮影しようとしているシーンが、立体視可能か否か（立体視し易いか否か）を判定する。つまり、対象領域ＡＲ４が遠景を重視して設定した立体視可能領域ＡＮ３に含まれていれば、立体視可能（立体視し易い）と判定する。
　≪図２３の場合（クラスタリング処理を行う場合）≫
　次に、図２３に示す場合について、説明する。
　本変形例の立体撮像装置において、制御部１１０は、視差マップメモリ１８１を構成する各ブロック（このブロックは、例えば、８×８画素から構成されるブロックであるが、単独画素から構成されるものであってもよい。）に対して、クラスタリング処理を行う。これにより、例えば、図１．４（ａ）に示すようにクラスタリングされたとする。なお、図１．４（ａ）では、クラスタＣＬ１～ＣＬ６を模式的に示している。

　そして、制御部１１０は、例えば、クラスタごとに代表値を設定して、視差ヒストグラムを生成する。具体的には、例えば、クラスタＣＬ１が、視差がＣ４～Ｃ５である視差マップメモリ１８１のブロックを含むものである場合、制御部１１０は、当該クラスタＣＬ１の代表値を平均値（＝（Ｃ４＋Ｃ５）／２）として、視差ヒストグラムを生成する。
　そして、制御部１１０は、上記で説明したのと同様の処理により立体視可否判定処理を行う。例えば、図２３に示すように、制御部１１０は、視差ヒストグラムにおいて、遠景側から近景側にトレースしたときに、はじめてしきい値ＴＨ＿ｆａｒを超えるＣ４点を基準として立体視可能領域ＡＮ４を設定する。そして、制御部１１０は、立体視可能領域ＡＮ４と立体視可否判定の対象領域ＡＲ５とを比較し、立体視可否判定を行う。
　なお、本変形例の立体撮像装置において、上記クラスタリング処理の後、重み付けを行い、立体視可否判定を行うようにしてもよい。これについて、説明する。

　制御部１１０は、例えば、図２３に示すように、各クラスタに対して、以下のような関数Ｗｅｉｇｈｔによる重み付けを行う。
　　Ｗｅｉｇｈｔ（ｘ，ｙ，ｚ）＝Ｃｅｎｔ（ｘ）・Ｓｉｚｅ（ｙ）・Ｂｌｕｒ（ｚ）
　　Ｃｅｎｔ（ｘ）：クラスタの位置が、視差マップメモリ１８１上の中心位置（視差マップメモリ１８１の各ブロックにより構成される２次元画像（画面）の中心位置）から近い程、大きな値となる関数。なお、ｘは、例えば、クラスタの２次元画面上の位置を示す２次元ベクトルである。なお、Ｃｅｎｔ（ｘ）＝１として、クラスタ位置による重み付けをしないようにしてもよい。
　　Ｓｉｚｅ（ｙ）：クラスタの、視差マップメモリ１８１の各ブロックにより構成される２次元画像（画面）上の面積が大きい程、大きな値となる関数。なお、ｙは、例えば、クラスタの、視差マップメモリ１８１の各ブロックにより構成される２次元画像（画面）上の面積である。また、Ｓｉｚｅ（ｙ）＝１として、クラスタの面積による重み付けをしないようにしてもよい。

　　Ｂｌｕｒ（ｚ）：クラスタのボケ度合い（例えば、平均のボケ度合い）が大きい程、小さな値となる関数。なお、ｚは、例えば、クラスタのボケ度合い（例えば、平均のボケ度合い）を表す値である。また、Ｓｉｚｅ（ｙ）＝１として、クラスタのボケ度合いによる重み付けをしないようにしてもよい。
　制御部１１０は、上記のような重み付け関数Ｗｅｉｇｈｔ（ｘ，ｙ，ｚ）を用いて、重み付け後の視差ヒストグラムを生成する。
　例えば、図２３（ａ）に示したクラスタＣＬ１が遠景のクラスタであり、その視差の範囲が図２３（ｂ）のＣ４～Ｃ５であり、その度数がＨ（ＣＬ１）であるとき、制御部１１０は、クラスタＣＬ１について、重み付け関数Ｗｅｉｇｈｔ（ｘ，ｙ，ｚ）の値を求める（これをＷｅｉｇｈｔ（ＣＬ１）とする）。そして、制御部１１０は、クラスタＣＬ１の重み付け後の度数ＨＡ（ＣＬ１）を、
　　ＨＡ（ＣＬ１）＝Ｗｅｉｇｈｔ（ＣＬ１）・Ｈ（ＣＬ１）
として求め、重み付け後の度数ＨＡ（ＣＬ１）により視差ヒストグラムを生成する。

　そして、制御部１１０は、これを全てのクラスタについて行う。
　このようにして、重み付けして生成された視差ヒストグラムの一例を、図２３（ｃ）に示す。
　図２３（ｂ）に示す視差ヒストグラムでは、Ｃ４点を基準にして、立体視可能領域ＡＮ４および立体視可否判定処理の対象領域ＡＲ５が設定されている。
　図２３（ａ）に示すように、クラスタＣＬ１は、遠景領域のクラスタであり、視差マップメモリ１８１の各ブロックにより構成される２次元画像（画面）上に占める面積は大きくないが、その位置が中心付近であるため、立体視可否判定処理において、重要である。したがって、クラスタＣＬ１のＷｅｉｇｈｔ（ＣＬ１）の値は大きな値となり、
　　ＨＡ（ＣＬ１）＝Ｗｅｉｇｈｔ（ＣＬ１）・Ｈ（ＣＬ１）
の値も大きな値となる。

　つまり、図２３（ｃ）に示すように、図２３（ｃ）の視差Ｃ４～Ｃ５の度数が多くなり、しきい値ＴＨ＿ｆａｒを超えるので、制御部１１０は、Ｃ５点を基準にして、図２３（ｃ）に示すように、立体視可能領域ＡＮ５および立体視可否判定処理の対象領域ＡＲ６を設定する。
　これにより、本変形例の立体撮像装置では、ＣＬ１のような画面中心付近に存在する小さい面積の遠景部分の影響を考慮した立体視可否判定処理を行うことができる。
　なお、上記は一例であり、上記に限定されないことは言うまでもない。
　また、クラスタの占める面積、クラスタのボケ程度に関しても、上記と同様の処理を行うことで、本変形例の立体撮像装置において、クラスタの占める面積、クラスタのボケ程度を考慮した、より適切な立体視可否判定処理を行うことができる。

　［第３実施形態］
　次に、第３実施形態について、説明する。
　第３実施形態では、撮影すべきシーンが、人間が立体視できないシーンに対しするカメラのアシスト機能に関する。
　第２実施形態およびその変形例では、人間の視覚が感じる見やすさに近い判定基準で見やすさ（立体視のしやすさ）を判定できるようにする立体撮像装置および立体視可否判定方法について説明した。前述の実施形態の立体撮像装置を用いることで、遠景が見にくいときには視差調節あるいは輻輳の調節により遠景を近づけることにより立体視しやすい立体画像（立体映像）を取得（撮像）することができる、また、近景が見にくいときには視差調節あるいは輻輳の調節により近景を遠ざけることにより立体視しやすい立体画像（立体映像）を取得（撮像）することができる。

　しかし、視差調節や輻輳の調節をむやみに行うと、奥行きのリニアリティーが低下し、取得される立体画像（立体映像）の画質が低下する。また、遠景と近景の融像が両立出来ない撮影条件は、視差調節や輻輳の調節では解決できないことも多い。
　本実施形態では、遠景と近景が両方とも融像出来ない場合に、撮影条件を変更して見やすい撮影ができるように、撮影者に対してアシストする機能に関するものである。
　図２４は、本実施形態の原理を説明する図である。
　図２４（ａ）は、撮影シーンの位置関係（撮影時の撮影パラメータの位置関係）を表している。最遠点は、距離Ｒｆにある山９０１であり、最近点は距離Ｒｎにある草花９０２である。また、このシーンでの主被写体は、距離Ｒｃにいる人物９００である。図２４（ａ）のカメラ（立体撮像装置）で撮影する際の視差角は、山９０１がαｆ、草花９０２がαｎ、人物９００がαｃとする。

　ここで前述の実施形態の発明により、パナムの融合域による融像範囲δを撮影側に変換した融像範囲をδｘとすると、
　　｜αｎ－αｆ｜＜２δｘ
を満たしていれば、適切な視差調整により遠景と近景の両方を見やすい融像域に入れることが可能である。しかし、上記を満たしていなければ、如何に視差調整をしようとも双方（遠景および近景）を融像させることは困難である。
　本実施形態の立体撮像装置では、このように遠景と近景の融像が両立しないことを撮影直前に前述の実施形態の技術により検出し、撮影者に対して、後方に下がって撮影するようにアシストする。
　図２５に、本実施形態の立体撮像装置３０００の概略構成を示す。

　図２５に示すように、本実施形態の立体撮像装置３０００は、第２実施形態の立体撮像装置２０００に警告部１２６を追加した構成である。それ以外については、本実施形態の立体撮像装置３０００は、第２実施形態の立体撮像装置２０００と同様である。
　なお、アシストの方法は、制御部１１０が警告部１２６を制御し、警告部１２６が撮影者に対して警告を出すことにより実現される。例えば、警告部１２６は、ディスプレイ表示を行う機能部や音声ガイドを行う機能部であり、警告部１２６により、ディスプレイ表示や音声ガイド等を行うことで、立体撮像装置３０００において、アシスト機能を実行させる。このアシストの方法として、例えば、以下の方法がある。
（１）何処まで下がればよいかを伝える方法（現在の立体撮像装置の位置から、被写体から遠ざかる方向に立体撮像装置を移動させるべき距離（遠ざかるべき距離）を指示する方法）。
（２）撮影者がカメラ（立体撮像装置）を構え、仮撮影をしながら後方にさがり、立体撮像装置が、撮影画像から遠景と近景の融像が両立することを判断して、その判断結果を撮影者に伝えることで、カメラ位置（立体撮像装置の位置）を決める方法。

　なお、立体撮像装置３０００により上記アシスト機能が実現されている場合であって、立体撮像装置３０００により、撮像しようとしているシーンが立体視可能である（立体視し易い）と判定されるまでは、立体撮像装置３０００による立体撮影を禁止するようにしてもよい（例えば、立体撮像装置３０００のシャッター（不図示）を撮影者が押すことができないように（全押しすることができないように）、シャッターをロックしてもよい）。
　図２４（ｂ）は、カメラ位置（立体撮像装置の位置）をΔＲだけ後方に下げた状況を図示している。この場合の視差角は、山９０１がαｆ‘、草花９０２がαｎ’、人物９００がαｃ‘である。
　ここで、遠景の視差角はほとんど変化しない、即ち、αｆ－αｆ‘≒０にかかわらず、近景の視差角は大きく減少する。

　したがって、｜αｎ‘－αｆ’｜＜｜αｎ－αｆ｜となるため、
　　｜αｎ‘－αｆ’｜＜２δｘ
を満たせば、遠景と近景の融像が両立できることになる。

　上式を満たす、ΔＲは事前に計算することが可能であり、ΔＲを立体撮像装置により算出し、立体撮像装置が、撮影者に対して、ΔＲだけ後方に下がって撮影するように指示することができる。
　また、本実施形態では、後方に下がって撮影することにより遠景と近景がともに見やすくなる立体画像（立体映像）が取得できる代わりに、被写体に対するパースペクティブは、次のように変化する。すなわち、近景の草花９０２は小さくなり、中景の人物９００は、少し小さくなり、遠景の山９０１は、ほとんど変化しない。
　通常、この変化が問題になるのは、主被写体である人物９００が望む大きさよりも小さく撮影される場合であり、近景や遠景の大きさ変化はあまり問題にならない。
　そこで、本実施形態の立体撮像装置では、主被写体の大きさ変化を抑えるため、後方に下がるのと連動するズーム処理を行う。

　主被写体の大きさは、後方に下がるとＲｃ／（Ｒｃ＋ΔＲ）の比率で小さくなる。
　したがって、本実施形態の立体撮像装置では、後方に下がったことによる影響を補償するために、ズーム倍率を（Ｒｃ＋ΔＲ）／Ｒｃ倍にする。つまり、本実施形態の立体撮像装置では、焦点距離を伸ばすことにより、主被写体の大きさが変化しないように制御する。
　その結果、本実施形態の立体撮像装置で取得される立体画像（立体映像）において、遠景は大きい目、近景は小さい目になるが、主被写体が所望の大きさになれば多くのシーンでは良好な撮影（立体撮影）ができることになる。
　≪第１変形例≫
　次に、本実施形態の第１変形例について説明する。

　本変形例の立体撮像装置では、図２４（ａ）の位置で撮影をしようとした場合、前述の関係式から得られる主被写体の焦点距離をズーム変化範囲の広角端に設定するものである。そうすると、ズームを最も広角にしても主被写体が大きすぎることになり、その結果、撮影者は自発的に後方に下がり図２４（ｂ）の位置から撮影することになる。したがって、本変形例の立体撮像装置では、撮影者に対して、ズーム可動域の広角端を制限することによるアシストを行う。
　また、主被写体が人物であることをカメラ（立体撮像装置）が標準的に搭載する顔検出機能により認識し、主被写体が人物である場合、本変形例の立体撮像装置において、上記動作を行うと良い。
　≪第２変形例≫
　次に、本実施形態の第２変形例について説明する。

　撮影すべきシーンの内、重要な被写体が、主被写体と遠景である場合についての変形例（第２変形例）を説明する。
　遠景と近景の融像が両立しないが、その際、近景の被写体が画面上の端（スクリーンの枠の近く）に位置している場合、その被写体は撮影シーンの中で重要度が低い場合が多い。
　したがって、前述のように撮影者が後方に下がるのではなく、撮影者が撮影位置を少し横に移動することにより、重要でない近景を撮影範囲外に追い出すことが可能である。
　本変形例の立体撮像装置では、上記判断基準により近景の重要度が低いと判断した場合に、撮影者に対して、近景を撮影範囲から外すように横に移動して撮影するように、表示や音声でアシストする。

　本変形例の技術では、遠景と主被写体の間の大きさの比率は維持されるため、当初のパースペクティブからの変化が少ない撮影（立体撮影）ができる。
　［他の実施形態］
　なお、上記実施形態で説明した立体撮像装置において、各ブロックは、ＬＳＩなどの半導体装置により個別に１チップ化されても良いし、一部又は全部を含むように１チップ化されても良い。
　なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。

　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてあり得る。
　また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置（ＣＰＵ）により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ＲＯＭなどの記憶装置に格納されており、ＲＯＭにおいて、あるいはＲＡＭに読み出されて実行される。
　また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア（ＯＳ（オペレーティングシステム）、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。）により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。なお、上記実施形態に係る立体撮像装置をハードウェアにより実現する場合、各処理を行うためのタイミング調整を行う必要があるのは言うまでもない。上記実施形態においては、説明便宜のため、実際のハードウェア設計で生じる各種信号のタイミング調整の詳細については省略している。

　また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
　前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕｅ－ｒａｙ　Ｄｉｓｃ）、半導体メモリを挙げることができる。
　上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。

　また、上記実施形態では、２つの撮像部により、ステレオ画像（左眼用画像および右眼用画像）を取得（撮像）している場合について説明した。しかし、これに限定されることはなく、例えば、１つの撮像素子により、左眼用画像と右眼用画像とを時分割で交互に取得するようにしてもよいし、また、１つの撮像素子の撮像素子面を２分割して、左眼用画像と右眼用画像とを取得するようにしてもよい。
　なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。

　本発明に係る立体撮像装置、立体撮像方法およびプログラムは、自然で見やすく安全な立体撮像と立体表示を可能にするものであり、映像機器関連産業分野において、有用であり、本発明は、当該分野において実施することができる。

１０００、１０００Ａ、２０００、３０００　立体撮像装置
１００Ｒ　第１撮像部
１００Ｌ　第２撮像部
１０１Ｒ　第１光学系
１０１Ｌ　第２光学系
１０２Ｒ　第１撮像素子部
１０２Ｌ　第２撮像素子部
１０４　視差検出部
１０５　最小視差検出部
１０６　最大視差検出部
１０７　主被写体視差検出部
１１０　制御部
１１１Ｒ　第１視差付加部
１１１Ｌ　第２視差付加部
１１２Ｒ　第１トリミング部
１１２Ｌ　第２トリミング部
１２１　表示情報設定部
１２２　定位情報設定部
１２３　フォーカス制御部
１２４　輻輳制御部
１８１　視差マップメモリ

Claims (9)

1. 　被写体像を立体撮影し、第１視点映像及び第２視点映像により形成される立体映像を撮像する立体撮像装置であって、
   　前記被写体の光学像を形成する光学系と、
   　前記形成した光学像に基づいて、前記立体映像を生成する撮像部と、
   　前記立体映像の視差を検出する視差検出部と、
   　前記立体映像を視聴する環境に関するパラメータである表示パラメータを取得する表示パラメータ取得部と、
   　前記検出した視差および前記取得した表示パラメータに基づいて、前記立体映像の撮影時に、前記生成する立体映像が立体視し易いか否かを判定する立体視可否判定部と、
   　前記立体映像が立体視しにくいと判定した場合、自装置と前記被写体との位置関係を変更する制御モードを設定する制御部と、
   を備える立体撮像装置。
2. 　前記制御部は、前記制御モードが前記距離変更モードである場合、立体撮影を実行させない、
   　請求項１に記載の立体撮像装置。
3. 　前記制御部は、
   　自装置と前記被写体との距離の変更が実行され、立体視可否判定部により、立体撮影しようとしているシーンが立体視し易いと判定された場合、制御モードを、立体撮影ができる立体撮影可能モードに移行させる、
   　請求項１または２に記載の立体撮像装置。
4. 　前記立体視可否判定部は、
   　前記視差検出部により検出された視差に基づいて、立体撮影しようとしているシーンに含まれる被写体距離が最大である最遠被写体の被写体距離である最大被写体距離Ｒｆと、立体撮影しようとしているシーンに含まれる被写体距離が最小である最近被写体の被写体距離である最小被写体距離Ｒｎと、を算出し、
   　自装置の現在位置と、被写体から遠ざかる方向へ自装置を移動させたときの位置である移動後後方位置との距離をΔＲとし、
   　自装置の現在位置における前記最遠被写体の視差角をαｆとし、自装置の現在位置における前記最近被写体の視差角をαｎとし、
   　自装置の前記移動後後方位置における前記最遠被写体の視差角をαｆ’とし、自装置の前記移動後後方位置における前記最近被写体の視差角をαｎとし、
   　立体視可能範囲を示す相対視差角をδｘとしたとき、
   

   

   を満たすか否かにより、前記移動後後方位置において、立体撮影時に、立体撮影しようとしているシーンが立体視し易いか否かを判定する、
   　請求項１から３のいずれかに記載の立体撮像装置。
5. 　撮像者に対して警告を行う警告部をさらに備え、
   　前記立体視可否判定部は、
   

   

   を満たす最小のΔＲを最小後方移動距離ΔＲ＿ｍｉｎとして算出し、
   　前記警告部は、前記撮影者に対して、前記立体視可否判定部により算出された前記最小後方移動距離ΔＲ＿ｍｉｎ以上の所定の距離だけ、被写体から離れるように警告を行う、
   　請求項４に記載の立体撮像装置。
6. 　前記制御部は、
   　自装置を、前記現在位置から前記移動後後方位置に移動させたことにより、立体撮影される被写体の大きさが小さくなった分を補償する前記撮像部におけるズーム倍率を算出し、前記撮像部におけるズーム倍率が、算出した当該ズーム倍率となるようにズーム処理を行う、
   　請求項１から５のいずれかに記載の立体撮像装置。
7. 　前記制御部は、前記制御モードが前記距離変更モードである場合、前記撮像部におけるズームの広角端を制限する、
   　請求項１から６のいずれかに記載の立体撮像装置。
8. 　撮像者に対して警告を行う警告部をさらに備え、
   　立体視可否判定部により、立体撮影しようとしているシーンが立体視不可能と判定された場合であって、立体撮影しようとしているシーンにおいて、仮想スクリーン端付近に近景の被写体があると判定された場合、
   　前記警告部は、前記当該近景の被写体が仮想スクリーンから除外されるように、自装置を横方向に移動させるように、前記撮影者に対して、警告する、
   　請求項１から３のいずれかに記載の立体撮像装置。
9. 　被写体像を立体撮影し、第１視点映像及び第２視点映像により形成される立体映像を撮像する立体撮像方法であって、
   　第１視点から見た被写体像を前記第１視点映像として撮像し、前記第１視点映像を形成する第１映像信号を生成するとともに、前記第１視点とは異なる第２視点から見た被写体像を前記第２視点映像として撮像し、前記第２視点影像を形成する第２映像信号を生成する撮像ステップと、
   　前記第１視点映像および前記第２視点映像から、１または複数の画素から構成される画素ブロックごとに、視差を検出する視差検出ステップと、
   　前記視差検出ステップが検出した視差および前記表示パラメータに基づいて、立体撮影時に、立体撮影しようとしているシーンが立体視し易いか否かを判定する立体視可否判定ステップと、
   　立体視可否判定ステップにより、立体撮影しようとしているシーンが立体視不可能と判定された場合、制御モードを、自装置と前記被写体との位置関係の変更を行うための制御モードである距離変更モードに設定する制御ステップと、
   を備える立体撮像方法。

Images