JP5641200B2 - 画像処理装置、画像処理方法および画像処理プログラムならびに記録媒体 - Google Patents

Description

本発明は、立体視に対応した複数の視点画像に対して所定の画像処理を行う画像処理装置、および画像処理方法、並びにプログラムに関する。

近年、立体視用の視点画像、即ち左右の視点画像（左視点画像，右視点画像）間における視差量を変更（拡大、縮小）する処理を行う画像処理装置が開発されている（例えば、特許文献１参照）。尚、ここでの視差量は、左右の視点画像における画像の水平方向の位置のずれ量に相当するものであり、この視差量の大きさに応じて立体感が異なってくる。特許文献１では、左右の視点画像から視差に相当する網膜像差（ディスパリティ）を検出し、そのディスパリティ（具体的にはディスパリティの平均値）に基づいて画像全体を水平シフトさせて視差量を変更する画像処理を行っている。このような視差量の変更制御により、映像表示の際の立体感を変化させることが可能となる。

特開平０７−１６７６３３号公報

しかしながら、上記特許文献１の画像処理手法では、視差量の変更制御量を決定する手段がなく、その変更制御量は固定値（一定の値）とされるか、あるいは観察者（ユーザ）によって手動で調整される。ここで、視差量は、ある被写体を、望遠で撮影した場合には比較的大きくなるが、広角で撮影した場合には比較的小さなものとなる。同様に、近くにある被写体を撮影した場合と、遠方にある被写体を撮影した場合とでは、それぞれ視差量が異なってくる。

このため、例えばいわゆるズーミングにより撮影条件（焦点距離等）が時系列的に変化すると、視差量自体も変化することとなる。従って、ズーミングにより動画撮影した場合の視点画像の各々に対し、一定の制御量で視差量を変更すると、次のような問題が生じる。即ち、変更制御後の各視点画像を動画表示した場合、動き（ズーミング）の途中で立体感が変化し、不自然な映像となってしまう。

本発明はかかる問題点に鑑みてなされたもので、その目的は、特に立体視用の動画として撮影された視点画像において、所望の立体感を保ちつつ視差制御を行うことが可能な画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体を提供することにある。

本発明の画像処理装置は、互いに異なる視点方向から撮影された複数の視点画像の各々に対し、各視点画像を撮影する際の撮像レンズの焦点距離および被写体距離を用いて、各視点画像間における視差量を変更制御する視差制御処理部を備えたものである。

本発明の画像処理方法および画像処理プログラムは、互いに異なる視点方向から撮影された複数の視点画像の各々に対し、各視点画像を撮影する際の撮像レンズの焦点距離および被写体距離を用いて、各視点画像間における視差量を変更制御するステップを含むものである。

本発明の記録媒体は、上記本発明の画像処理プログラムが記録されている、コンピュータ読み取り可能なものである。

本発明の画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体では、複数の視点画像の各々に対し、その撮影条件に関する撮影情報を用いて、各視点画像間の視差量を変更制御する。視差量は焦点距離等の撮影条件によって変化するものであるが、そのように、撮影情報を利用することで、ズーミングを行いながら撮影した場合等、撮影条件を時系列的に変化させて撮影した場合であっても、その変化に応じた適切な視差制御がなされる。

本発明の画像処理装置、画像処理方法、画像処理プログラムおよび記録媒体によれば、各視点画像の撮影条件に関する撮影情報を用いて各視点画像間の視差量を変更制御するようにしたので、動画等の撮影条件を時系列的に変化させて取得した各視点画像に対しても、その変化に応じた適切な視差制御が可能となる。よって、特に立体視用の動画として撮影された視点画像において、所望の立体感を保ちつつ視差制御を行うことが可能となる。

本発明の第１の実施形態に係る撮像装置の全体構成を表す図である。 図１に示した画像処理部の詳細構成を表す機能ブロック図である。 図１に示した撮像装置における左視点画像取得時の被写体の結像位置を説明するための模式図である。 図１に示した撮像装置における右視点画像取得時の被写体の結像位置を説明するための模式図である。 図１に示した撮像装置を用いて取得した左右の視点画像間の視差について説明するための模式図である。 視差制御処理動作の一例（視差拡大処理）を説明するための模式図である。 視差制御処理前の画像における視差量および視差範囲を表す模式図である。 視差制御処理後の画像における視差量および視差範囲を表す模式図である。 本発明の第２の実施形態に係る撮像装置の全体構成を表す図である。 ２Ｄ撮影（光路切り替えなし）の場合の受光像を説明するための模式図である。 図９に示した撮像装置における左視点画像取得の原理を説明するための模式図である。 図９に示した撮像装置における右視点画像取得の原理を説明するための模式図である。 図９に示した撮像装置を用いて取得した左右の視点画像間の視差について説明するための模式図である。 図９に示した撮像装置の撮影条件と重心間距離を説明するための模式図である。 変形例１係る視差制御処理（視差縮小処理）を説明するための模式図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。

１．第１の実施の形態（２眼式カメラを用いた場合の撮影情報に基づく視差制御処理の例）
２．第２の実施の形態（単眼式カメラを用いた場合の例）
３．変形例１（視差縮小処理の例）
４．変形例２（焦点距離のみを撮影情報として用いる場合の例）

＜第１の実施の形態＞
［撮像装置１の全体構成］
図１は、本発明の第１の実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。撮像装置１は、被写体を互いに異なる複数の視点方向から撮影し、動画（または静止画）として、複数の視点画像（ここでは、左右２つの視点画像）を時系列的に取得するものである。撮像装置１は、左右の各視点方向からの光線ＬＬ，ＬＲを取得するための光路毎に、撮像レンズ１０ａ１，１０ｂ、および撮像レンズ１０ａ２，１０ｂを有する、いわゆる２眼式カメラを用いたものである。尚、撮像レンズ１０ｂは、各光路に共通の構成要素となっている。この撮像装置１は、また、光路毎にシャッター１１ａ，１１ｂを有すると共に、各光路に共通の構成要素としてイメージセンサ１２を備え、更に画像処理部１３、レンズ駆動部１４、シャッター駆動部１５、イメージセンサ駆動部１６および制御部１７を備えている。

尚、画像処理部１３が本発明の画像処理装置に対応している。また、本発明の画像処理プログラムは、画像処理部１３における各画像処理機能をソフトウェア的に実現したものである。この場合、そのソフトウェアは、各画像処理機能をコンピュータにより実行させるためのプログラム群で構成される。各プログラムは、例えば、専用のハードウェアに予め組み込まれて用いられてもよいし、汎用のパーソナルコンピュータなどにネットワークや記録媒体からインストールして用いられてもよい。

撮像レンズ１０ａ１，１０ｂは、左視点方向の光線ＬＬを、撮像レンズ１０ａ２，１０ｂは、右視点方向の光線ＬＲをそれぞれ取得するためのレンズ群である。撮像レンズ１０ａ１，１０ｂ間にはシャッター１１ａ、撮像レンズ１０ａ２，１０ｂ間にはシャッター１１ｂがそれぞれ配設されている。尚、シャッター１１ａ，１１ｂの配置は特に限定されるものではないが、理想的には撮像レンズ群の瞳面あるいは図示しない絞りの位置に配置されることが望ましい。

これらの撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）は、全体としていわゆるズームレンズとして機能するものである。撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）では、レンズ駆動部１４によってレンズ間隔等が調整されることにより、焦点距離を可変となっている。また、各レンズ群はそれぞれ１または複数枚のレンズによって構成されている。これらの撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）におけるズーミングに関する情報（例えば、焦点距離、被写体距離等）は、撮影情報Ｄｆとして制御部１７を介して画像処理部１３へ入力されるようになっている。

そのような撮像レンズ１０ａ１とシャッター１１ａとの間にはミラー１１０、撮像レンズ１０ａ２とシャッター１１ｂとの間にはミラー１１１、シャッター１１ａ，１１ｂ間にはミラー１１２がそれぞれ配置されている。これらのミラー１１０〜１１２によって、光線ＬＬ，ＬＲはそれぞれ、シャッター１１ａ，１１ｂを通過した後、撮像レンズ１０ｂへ入射するようになっている。

シャッター１１ａ，１１ｂは、左右の各光路における透過および遮断を切り替えるためのものであり、シャッター１１ａ，１１ｂ毎に開状態（透光状態）および閉状態（遮光状態）が切り替え制御されるようになっている。シャッター１１ａ，１１ｂとしては、上記のような光路切り替えが可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。

イメージセンサ１２は、撮像レンズ１０ａ１，１０ｂおよびシャッター１１ａを通過した光線ＬＬまたは撮像レンズ１０ａ２，１０ｂおよびシャッター１１ｂを通過した光線ＬＲに基づいて受光信号を出力する光電変換素子である。このイメージセンサ１２は、例えばマトリクス状に配置された複数のフォトダイオード（受光画素）を有し、これら複数のフォトダイオードから線順次で信号の読み出しを行う、ローリングシャッタータイプの撮像素子（例えば、ＣＭＯＳ）である。尚、このイメージセンサ１２の受光面側には、例えば所定のカラー配列を有するＲ，Ｇ，Ｂのカラーフィルタ（図示せず）が配設されていてもよい。

（画像処理部１３の構成）
画像処理部１３は、イメージセンサ１２から出力された撮像データに基づく撮像画像（左右の視点画像）に対し、所定の画像処理を施すと共に、画像処理前あるいは画像処理後の撮像データを記憶する各種メモリを含むものである。但し、画像処理後の画像データは、記録せずに外部のディスプレイ等に出力するようにしてもよい。

図２は、画像処理部１３の詳細構成について表したものである。画像処理部１３は、視差制御処理部１３１およびディスパリティマップ生成部１３３を備えており、視差制御処理部１３１の前段および後段には、画像補正処理部１３０，１３２が設けられている。視差制御処理部１３１は、イメージセンサ１２から入力される撮像データ（左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒ）に基づく画像（左視点画像Ｌ１，右視点画像Ｒ１）に対し、視差量を変更制御するものである。

ディスパリティマップ生成部１３３は、撮像データ（左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒ）に基づいて、いわゆるディスパリティマップを生成するものである。具体的には、左右の視点画像間のディスパリティ（disparity：位相差、位相ずれ）を画素毎に算出し、算出したディスパリティを各画素に対応づけたマップを生成する。但し、ディスパリティマップとしては、上記のように画素毎にディスパリティを求めて画素毎に保持してもよいが、所定数の画素からなる画素ブロック毎にディスパリティを求め、求めたディスパリティを各画素ブロックに対応付けて保持するようにしてもよい。ディスパリティマップ生成部１３３において生成されたディスパリティマップは、マップデータＤＤとして、視差制御処理部１３１へ出力されるようになっている。

詳細は後述するが、本実施の形態では、視差制御処理部１３１が、撮影情報Ｄｆに基づいて、入力された左右の視点画像間における視差量を所望の値に変更制御するようになっている。例えば、ズーミングの撮影条件に応じて、視差量が変化する場合にも適切な視差制御を施す。視差量を変更（拡大または縮小）することにより、被写体像がより手前（観察者に近い側）側で観察されるようにしたり、逆により奥側（観察者から遠い側）で観察されるように立体感を変更できる。特に、視差量を変更（本実施の形態では拡大）する際、マップデータＤＤを用いることにより、視差量だけでなく視差範囲をも拡大することが可能となる。

尚、本明細書において、「視差量」は画面水平方向における位置ずれ量（位相ずれ量）を表し、「視差範囲」は画面奥行き方向における最も手前の観察点から、最も奥側の観察点までのダイナミックレンジを表すものとする。

画像補正処理部１３０は、例えばノイズリダクションやデモザイク処理等の補正処理、画像補正処理部１３２は、例えばガンマ補正処理等の補正処理をそれぞれ行うものである。

レンズ駆動部１４は、撮像レンズ１０ａ１，１０ａ２，１０ｂにおける所定のレンズを光軸に沿ってシフトさせ、焦点距離を変化させるためのアクチュエータである。

シャッター駆動部１５は、シャッター１１ａ，１１ｂ毎の開閉切り替え駆動を行うものである。具体的には、シャッター１１ａが開状態のときには、シャッター１１ｂが閉状態となるように、シャッター１１ａが閉状態のときには、シャッター１１ｂが開状態となるようにそれぞれ駆動する。また、動画として各視点画像を取得する際には、シャッター１１ａ，１１ｂ毎に開状態および閉状態が時分割で交互に入れ替わるように駆動するようになっている。

イメージセンサ駆動部１６は、イメージセンサ１２を駆動してその受光動作を制御するものである。例えば、イメージセンサ１２が上述のようなローリングシャッター型のＣＭＯＳイメージセンサである場合には、露光動作および信号読み出し動作をそれぞれ線順次に行うようにイメージセンサ１２を駆動する。

制御部１７は、画像処理部１３、レンズ駆動部１４、シャッター駆動部１５およびイメージセンサ駆動部１６の各動作を所定のタイミングで制御するものであり、この制御部１７としては例えばマイクロコンピュータ等が用いられる。

［撮像装置１の作用、効果］
（１．基本動作）
上記のような撮像装置１では、制御部１７の制御に基づき、レンズ駆動部１４が所定のズーミングによる撮影条件で撮像レンズ１０ａ１，１０ｂを駆動すると共に、シャッター駆動部１５がシャッター１１ａを開状態、シャッター１１ｂを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、左視点方向に対応する左光路が選択され（左光路に切り替えられ）、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＬに基づく受光がなされ、左視点画像データＤ０Ｌが取得される。

続いて、レンズ駆動部１４が所定のズーミングによる撮影条件で撮像レンズ１０ａ２，１０ｂを駆動すると共に、シャッター駆動部１５がシャッター１１ｂを開状態、シャッター１１ａを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、右視点方向に対応する右光路が選択され（右光路に切り替えられ）、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＲに基づく受光がなされ、右視点画像データＤ０Ｒが取得される。

これらの各視点画像取得時のズーミングによる撮影条件（焦点距離ｆ、被写体距離Ｓ等）は、撮影情報Ｄｆとして、制御部１７を介して画像処理部１３（詳細には視差制御処理部１３１）へ入力される。

上記のような撮像レンズ１０ａ１，１０ａ２およびシャッター１１ａ，１１ｂの切り替え駆動を時分割で交互に行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それら左右の視点画像の組が順次画像処理部１３へ入力される。

画像処理部１３は、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像（後述の左視点画像Ｌ１，右視点画像Ｒ１）に対し、所定の画像処理を施し、例えば立体視用の左右の視点画像（後述の左視点画像Ｌ２，右視点画像Ｒ２）を生成する。生成した左視点画像Ｌ２，右視点画像Ｒ２は画像処理部１３内に記録されるか、あるいは外部へ出力される。

（視点画像取得の原理）
ここで、図３〜図５を参照して、左右の視点画像取得の原理について詳細に説明する。図３および図４は、撮像装置１を上方からみた図に等価であるが、簡便化のため、被写体からイメージセンサ１２のセンサ面（受光面）Ｓ２までの光線を、ミラー等による光路変更を考慮せずに示してある。また、撮像レンズ１０ａ１，１０ａ２以外の構成要素の図示を省略しており、撮像レンズ１０ａ１，１０ａ２についても簡略化してある。尚、被写体としては、奥行き方向において互いに異なる位置に配置された２つの被写体、具体的には、撮像レンズ１０ａ１，１０ａ２のピント面Ｓ１にある被写体Ａ（人物）と、被写体Ａよりも奥側（撮像レンズと反対側）に位置する被写体Ｂ（山）を例に挙げる。

（左視点画像）
そのような位置関係にある２つの被写体Ａ，Ｂに対し、光路を左右で切り替えた場合、センサ面Ｓ２への映り方は、次のようになる。例えば、図３に示したように、左視点方向に対応する左側の光路（撮像レンズ１０ａ１への入射光を通過させる光路）が透過である場合には、右視点方向に対応する右側の光路は遮光される。この場合、センサ面Ｓ２上では、被写体Ａは、位置Ａ１_Lにフォーカスした（ピントの合った）像として結像し、被写体Ｂは、位置Ｂ１_Lにデフォーカスした（ぼやけた）像となって結像する。尚、各被写体の結像位置としては、各被写体像の重心位置を用いるものとする（以下、同様）。

（右視点画像）
一方、図４に示したように、右視点方向に対応する右側の光路（撮像レンズ１０ａ２への入射光を通過させる光路）が透過である場合には、左側の光路は遮光される。この場合、センサ面Ｓ２上では、被写体Ａは、位置Ａ１_Rにフォーカスした像として結像するが、被写体Ｂは位置Ｂ１_Rにデフォーカスした像となって結像する。

（左右の視点画像間の視差）
上記のように、撮像装置１では、左視点方向および右視点方向のそれぞれに対応する２つの光路が切り替えられることにより、左視点画像および右視点画像を取得することができる。また、図５（Ａ），（Ｂ）に模式的に示したように、得られた左視点画像Ｌ１および右視点画像Ｒ１では、デフォーカスした像（被写体Ｂの像）が、フォーカスした像（被写体Ａの像）に対し、互いに水平方向逆向きにシフトした位置に配置される。

そして、これらの左視点画像Ｌ１，右視点画像Ｒ１に基づく左視点画像Ｌ２，右視点画像Ｒ２を、例えば偏光方式、フレームシーケンシャル方式、プロジェクタ方式等の所定の３Ｄ表示手法を用いて表示することにより、観察者は、その観察映像において、以下のような視差に応じた立体感を感じることができる。但し、この際、被写体Ａの位置Ａ１_L，Ａ１_Rが水平方向で同位置になる（重なる）ようにして表示を行う。これにより、被写体Ｂの位置Ｂ１_L，Ｂ１_R間では水平方向に沿って位置ずれ（位相差）が生じ、この位置ずれが、左右の視差となる。このようにして表示した場合、被写体Ａ（人物）については視差がないため、表示画面（基準面）上で観察されるが、被写体Ｂ（山）については、上記のように視差があるため、その視差量に応じた立体感（ここでは、基準面よりも奥まって存在しているかのような立体感）をもって観察される。

（視差量と撮影条件との関係）
ここで、２眼式の撮像装置１では、上述のような被写体Ａが基準面で観察されるように表示を行った場合の被写体Ｂの視差量Ｗｂ１は、位置Ｂ１_L，Ｂ１_R間の水平方向に沿った距離に相当する。この視差量Ｗｂ１は、撮影条件を用いて以下の式（１）のように定義できる。但し、基線長（撮像レンズ１０ａ１，１０ａ２間の光軸間距離）をＬ、撮像レンズ１０ａ１，１０ａ２の各焦点距離（詳細には撮像レンズ１０ａ１，１０ｂおよび撮像レンズ１０ａ２，１０ｂの各焦点距離）をｆ、被写体距離をＳ、被写体Ａ，Ｂ間の距離をdepとする。実際の被写体Ｂについての立体感は、表示画面サイズ、観察者と表示画面との間の距離等に影響を受けるが、同一画面における被写体Ｂの被写体Ａに対する相対的な立体感は、式（１）によって定まる。

（２．視差制御処理：撮影情報を用いた視差制御）
本実施の形態では、画像処理部１３が、上記のような左視点画像Ｌ１，右視点画像Ｒ１間の視差量を変更制御（ここでは拡大）する。具体的には、画像処理部１３では、イメージセンサ１２から入力された左視点画像データＤ０Ｌ，Ｄ０Ｒに対し、画像補正処理部１３０が、上述のようなノイズリダクション等の処理を施す。この後、画像補正処理部１３０による画像補正処理後の画像データＤ１（左視点画像データＤ１Ｌ，右視点画像データＤ１Ｒ）に対し、視差制御処理部１３１は、撮影情報Ｄｆを用いて、視差量が所望の値に拡大されるように制御する。

他方、ディスパリティマップ生成部１３３は、入力された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づいて、後述の視差量および視差範囲を変更する際に利用するディスパリティマップを生成する。具体的には、左右の視点画像間のディスパリティを画素毎に算出し、算出したディスパリティを各画素に対応づけて保持されたマップを生成する。但し、ディスパリティマップとしては、上記のように画素毎にそれぞれのディスパリティを求めて保持するようにしてもよいが、所定数の画素ブロック毎にディスパリティを求め、求めたディスパリティを各画素ブロックに対応付けて保持するようにしてもよい。ディスパリティマップ生成部１３３において生成されたディスパリティマップは、マップデータＤＤとして、視差制御処理部１３１へ出力される。

（比較例）
ここで、本実施の形態の比較例に係る視差制御処理について説明する。比較例では、例えば被写体Ｂについての視差制御後の視差量をＷｂ₁₀₀とした場合、この視差量Ｗｂ₁₀₀が、定数αを用いて以下の式（２）のように表される。但し、αは視差変更制御のために予め設定された固定値（定数）、または観察者によって手動で設定された値である。即ち、比較例では、被写体Ｂについての視差量Ｗｂ１の変更制御量（例えば拡大量）が、定数αによって一意的に設定される。

ところが、左右の視差量は、複数の被写体を撮影した場合には、手前にある被写体を撮影した場合と、遠方にある被写体を撮影した場合との各場合において、それぞれ視差量は異なるものとなる。また、同一の被写体に対するものであっても、望遠で撮影した場合には比較的大きく、広角で撮影した場合には比較的小さなものとなる。即ち、ズーミング等により、焦点距離や被写体距離等の撮影条件が変化すると、それに伴って視差量も変化することとなる。

このため、例えばズーミングを行いながら動画撮影を行った場合、同一の被写体であっても視差量が時系列的に変化する。従って、そのような動画を構成する視点画像の各々に対し、一意的に（一定の変更制御量で）視差量を変更制御すると、次のような不具合が生じる。即ち、変更制御後の各視点画像を動画表示すると、その動き（ズーミング）の途中で視差量（立体感）が変化してしまい、観察者が不自然な立体感を感じ易い。例えば、ある被写体像に対し徐々にズームアップしていくような動画に対して、一定の制御量で視差量を拡大すると、被写体像が奥側にある間は接近感を物足りなく感じたり、逆に手前側では、必要以上に飛び出し感が大きくなったりする。従って、観察者の疲労感が増したり、臨場感や迫力に欠ける映像表示となってしまうことがある。

（撮影条件を考慮した視差拡大処理）
そこで、本実施の形態では、視差制御処理部１３１が、そのようなズーミングによる撮影条件を考慮して、各視点画像間の視差量の変更制御を行う。具体的には、上述の視差変更用の定数αと、例えば焦点距離ｆおよび被写体距離Ｓ等をパラメータとして含む係数α（Ｓ，ｆ）を用いた以下の式（３）に基づいて、視差量を変更（拡大）制御する。即ち、変更制御後の視差量（出力画像の視差量）をＷｂ２とした場合、この視差量Ｗｂ２が所望の値に拡大されるように、係数α（Ｓ，ｆ）を設定する。

例えば、視差量の値が撮影条件（例えば焦点距離ｆ）に起因して変化しないように、視差量を拡大したい場合には、係数α（Ｓ，ｆ）として、以下の式（４）によって表されるものを用いる。これを式（３）に代入すると、式（５）が得られる。この式（５）に基づいて視差制御を行うことにより、焦点距離ｆの大きさによらず視差量Ｗｂ２を拡大制御することが可能となる。即ち、上記のようなズーミングの途中で不自然に視差量（立体感）が変化することを抑制して、観察者にとって観察し易い画像を生成することができる。但し、係数α（Ｓ，ｆ）としては、これに限らず、所望とする視差量に対応できるように選定された他のパラメータを含んでいてもよい。

そして、視差制御処理部１３１は、被写体Ｂについての視差量がＷｂ１から上記Ｗｂ２まで拡大されるように、左視点画像Ｌ１，右視点画像Ｒ１における被写体Ｂの像の各位置（位相、重心位置）を水平方向に沿ってシフトさせる。この際、以下に説明するように、ディスパリティマップを利用した処理を行うことが望ましい。尚、上記説明では、被写体Ｂにおける視差制御について説明したが、他の被写体についても同様である。即ち、被写体毎に（ここでは被写体Ｂ，Ｃ毎に）、所望の視差量となるように係数α（Ｓ，ｆ）を設定すればよい。

（ディスパリティマップを利用した視差拡大動作）
更に、本実施の形態では、上記のような撮影条件を考慮した視差制御処理に際し、上記ディスパリティマップ生成部１３３より供給されたマップデータＤＤを使用する。尚、以下では、上記被写体Ａ（人物）および被写体Ｂ（山）の他、被写体Ａよりも手前側（撮像レンズ１０側）に配置された被写体Ｃ（花）の計３つの被写体を撮影した視点画像を例に挙げて説明する。即ち、図６（Ａ），（Ｂ）に示したように、被写体Ｂ，Ｃの各視差量が拡大するように、左視点画像Ｌ１，右視点画像Ｒ１のそれぞれにおいて、被写体Ｂ，Ｃの像位置を水平方向（Ｘ方向）に沿ってシフトさせる。但し、ここでは、視差のない被写体Ａの位置Ａ１_L，Ａ１_Rは変更せず（視差量０のまま変更せず）、左視点画像Ｌ２，右視点画像Ｒ２においても同位置に配置されるようにする。

具体的には、被写体Ｂについては、左視点画像Ｌ１での位置Ｂ１_Lから左視点画像Ｌ２における位置Ｂ２_Lへ、Ｘ方向負（−）の向きにシフトさせる（実線矢印）。一方、右視点画像Ｒ１での位置Ｂ１_Rから右視点画像Ｒ２における位置Ｂ２_Rへ、Ｘ方向正（＋）の向きにシフトさせる（破線矢印）。これにより、被写体Ｂについての視差量は、視差量Ｗｂ１から、上述のように撮影条件を考慮して設定された視差量Ｗｂ２へ拡大することができる。他方、被写体Ｃについても同様にして視差量を拡大する。但し、被写体Ｃについては、左視点画像Ｌ１での位置Ｃ１_Lから左視点画像Ｌ２における位置Ｃ２_Lへ、Ｘ方向正（＋）の向きにシフトさせる（破線矢印）。一方、右視点画像Ｒ１での位置Ｃ１_Rから右視点画像Ｒ２における位置Ｃ２_Rへ、Ｘ方向負（−）の向きにシフトさせる（実線矢印）。

このように、本実施の形態では、ディパリティマップを用いることで、被写体毎にその視差量を拡大制御可能となる。例えば、上記のように、被写体Ａ〜Ｃのうち特定の被写体Ｂ，Ｃの各位置を互いに異なる向きにシフトさせることにより、被写体Ｂ，Ｃのみの視差量を拡大する、といった被写体毎の視差制御が可能となる。また、これにより、水平方向の視差量だけでなく、以下に説明するように、奥行き方向における視差範囲についても拡大することができる。

（視差範囲の拡大）
図７は、左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに対応する左視点画像Ｌ１，Ｒ１における視差量および視差範囲を表す模式図であり、図８は、左視点画像Ｌ２，Ｒ２における視差量および視差範囲を表す模式図である。図７に示したように、左視点画像Ｌ１，右視点画像Ｒ１間において、被写体Ｂの視差量がＷｂ１、被写体Ｃの視差量がＷｃ１である場合、被写体Ａ〜Ｃの各像の奥行き方向における観察位置は次のようになる。即ち、被写体Ａの像は表示画面（基準面）Ｓ３上の位置Ａ１’、被写体Ｂの像は、被写体Ａより距離Ｄａｂ１分だけ奥側の位置Ｂ１’、被写体Ｃの像は、被写体Ａより距離Ｄａｃ１分だけ手前側の位置Ｃ１’においてそれぞれ観察される。従って、拡大制御処理前の左視点画像Ｌ１，右視点画像Ｒ１間の視差範囲は、それらの距離Ｄａｂ１，Ｄａｃ１とを合計した距離Ｄ１となる。

一方、上述のような拡大制御処理を行うと、図８に示したように、左視点画像Ｌ２，右視点画像Ｒ２間において、被写体Ｂの視差量がＷｂ２、被写体Ｃの視差量がＷｃ２となり、また、被写体Ａ〜Ｃの奥行き方向における各観察位置は次のように変化する。即ち、被写体Ａの像は表示画面（基準面）Ｓ３上の位置Ａ２’（＝Ａ１’）、被写体Ｂの像は、位置Ａ２’より距離Ｄａｂ２（＞Ｄａｂ１）分だけ奥側の位置Ｂ２’、被写体Ｃの像は、位置Ａ２’より距離Ｄａｃ２（＞Ｄａｃ１）分だけ手前側の位置Ｃ２’においてそれぞれ観察される。従って、視差拡大処理後の左視点画像Ｌ２，右視点画像Ｒ２間の視差範囲は、それらの距離Ｄａｂ２，Ｄａｃ２との合計した距離Ｄ２となり、かつ、この視差範囲Ｄ２は、視差範囲Ｄ１よりも拡大される。

このように、ディスパリティマップを用いることで、水平方向における視差量だけでなく、奥行き方向における視差範囲をも拡大することができる。これにより、例えば上記のように、基準面Ｓ３よりも奥側にある被写体Ｂはより奥まって、手前側にある被写体Ｃはより手前側に飛び出して各々観察されるような、即ち被写体毎の各立体感をより強調するような視差制御を行うことができる。換言すると、１つの画面内において観察される被写体Ｂ，Ｃ間の奥行き方向における距離感を拡げることができる。仮に、ディスパリティマップを用いなかった場合には、上記のような被写体毎（画素毎、画素ブロック毎）の位相シフトができないため、視差範囲を拡大できず、各被写体間の奥行き方向の距離を一定に保ったまま、各被写体像をシフトさせることとなる。このような視差制御では、全ての被写体像を、奥側および手前側のどちらか一方に一括してシフトすることしかできず、立体感の変化が単調となり易い（視差制御の自由度が乏しい）。

上記のようにして視差拡大処理が施された後の左視点画像Ｌ２，右視点画像Ｒ２は、画像データＤ２として画像補正処理部１３２へ入力される。画像補正処理部１３２は、入力された画像データＤ２に対し、上述のガンマ補正処理等を施し、画像データＤoutとして、図示しない記憶部へ出力するか、外部のディスプレイ装置等へ送信される。

以上のように、本実施の形態では、左視点画像Ｌ１，右視点画像Ｒ１に対し、その撮影条件に関する撮影情報Ｄｆを用いて、視差量の拡大制御処理を施すことにより、上述のように焦点距離等の撮影条件が変化した場合であっても、その変化に応じた適切な視差制御処理を行うことができる。よって、視差量の変更制御量を一定とする場合と異なり、立体視用の動画として撮影された視点画像に対しても、所望の立体感を保ちつつ視差制御を行うことが可能となる。

＜第２の実施の形態＞
［撮像装置３の全体構成］
図９は、本発明の第２の実施の形態に係る撮像装置（撮像装置３）の全体構成を表したものである。撮像装置３は、上記第１の実施の形態の撮像装置１と同様、被写体を複数（ここでは左右）の視点方向から撮影し、動画（または静止画）として、左右の視点画像を時系列的に取得するものである。但し、本実施の形態の撮像装置３は、いわゆる単眼式カメラを用いたものであり、シャッター制御によって左右の光路を切り替え可能となっている。この撮像装置３は、撮像レンズ１０ａ，１０ｂ、シャッター１１、イメージセンサ１２、画像処理部１３、レンズ駆動部１８，シャッター駆動部１９、イメージセンサ駆動部１６および制御部１７を備えている。以下では、上記第１の実施の形態と同様の構成要素については同一の符号を付し、適宜説明を省略する。

撮像レンズ１０ａ，１０ｂは、被写体からの光線を取得するためのレンズ群であり、これらの撮像レンズ１０ａ，１０ｂ間に、シャッター１１が配設されている。尚、シャッター１１の配置は特に限定されるものではないが、理想的には、撮像レンズ１０ａ，１０ｂの瞳面あるいは図示しない絞りの位置に配置されることが望ましい。撮像レンズ１０ａ，１０ｂは、上記第１の実施の形態における撮像レンズと同様、いわゆるズームレンズとして機能し、レンズ駆動部１８によってレンズ間隔等が調整されることにより、焦点距離を変更可能となっている。これらの撮像レンズ１０ａ，１０ｂにおけるズーミングに関する情報は、撮影情報Ｄｆとして制御部１７を介して画像処理部１３へ入力されるようになっている。

シャッター１１は、左右２つの領域に分割されており、その分割された領域毎に透過および遮断を切り替え制御されるようになっている。シャッター１１としては、そのような左右の領域毎に開閉を切り替え可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。

画像処理部１３は、上記第１の実施の形態と同様、入力された左右の視点画像に対し、所定の画像処理を施すものであり、画像補正処理部１３０，１３２、視差制御処理部１３１およびディスパリティマップ生成部１３３を備えたものである。また、視差制御処理部１３１は、左視点画像Ｌ１，右視点画像Ｒ１に対し、視差量の変更制御処理を行うものである。但し、本実施の形態では、詳細は後述するが、この画像処理部１３における視差制御処理部１３１が、単眼式カメラにおける撮影条件を用いて視差量を制御するようになっている。

レンズ駆動部１８は、撮像レンズ１０ａ，１０ｂにおける所定のレンズを光軸に沿ってシフトさせるアクチュエータである。

シャッター駆動部１９は、シャッター１１における各領域の開閉切り替え駆動を行うものである。具体的には、シャッター１１の左側領域が開状態のときには、右側領域が閉状態となるように、逆に左側領域が閉状態のときには、右側領域が開状態となるようにそれぞれ駆動する。動画撮影の際には、シャッター１１において左右の各領域の開閉が時分割で交互に切り替わるように駆動するようになっている。

［撮像装置３の作用、効果］
（１．基本動作）
撮像装置３では、制御部１７の制御に基づき、レンズ駆動部１８が撮像レンズ１０ａ，１０ｂを所定のズーミングによる撮影条件で駆動すると共に、シャッター駆動部１９がシャッター１１における左側領域を開状態、右側領域を閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、左光路への切り替えがなされ、イメージセンサ１２では、左視点方向から入射した光線に基づく左視点画像データＤ０Ｌが取得される。

続いて、シャッター駆動部１９がシャッター１１の右側領域を開状態、左側領域を閉状態にそれぞれ切り替え、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、右光路への切り替えがなされ、イメージセンサ１２では、右視点方向から入射した光線に基づく右視点画像データＤ０Ｒが取得される。

これらの各視点画像取得時のズーミングの条件（焦点距離ｆ、被写体距離Ｓ等）は、上記第１の実施の形態と同様、撮影情報Ｄｆとして、制御部１７を介して画像処置部１３（詳細には視差制御処理部１３１）へ入力される。

そして、上記のシャッター１１における開閉切り替え動作およびイメージセンサ１２における受光動作を時分割で行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それらの組が順次画像処理部１３へ入力される。

画像処理部１３は、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像（左視点画像Ｌ１，右視点画像Ｒ１）に対し、所定の画像処理を施し、例えば立体視用の左視点画像Ｌ２，右視点画像Ｒ２を生成する。生成した左視点画像Ｌ２，右視点画像Ｒ２は画像処理部１３内に記録されるか、あるいは外部へ出力される。

（視点画像取得の原理）
ここで、図１０〜図１２を参照して、単眼式カメラを用いた場合の左右の視点画像取得の原理について説明する。図１０〜図１２は、撮像装置３を上方からみた図に等価であるが、簡便化のため、撮像レンズ１０ａ，１０ｂ、シャッター１１およびイメージセンサ１２以外の構成要素の図示を省略しており、撮像レンズ１０ａ，１０ｂについても簡略化してある。

まず、図１０に示したように、左右の光路切り替えをしない場合（通常の２Ｄ撮影の場合）の受光像（イメージセンサ１２への映り方）について説明する。ここでは、被写体の一例として、奥行き方向において互いに異なる位置に配置された３つの被写体（上記被写体Ａ〜Ｃ）について述べる。前述のように、被写体Ａ（人物）は、撮影レンズ１０ａ，１０ｂのピント面Ｓ１に、被写体Ｂ（山）は被写体Ａよりも奥側に、被写体Ｃ（花）は被写体Ａよりも手前側にそれぞれ配置されている。この場合、被写体Ａが、例えばセンサ面Ｓ２上の中央付近に結像する。一方、ピント面Ｓ１よりも奥側に位置する被写体Ｂは、センサ面Ｓ２の手前（撮像レンズ１０ｂ側）に結像し、被写体Ｃは、センサ面Ｓ２の奥側（撮像レンズ１０ｂと反対側）に結像する。即ち、センサ面Ｓ２には、被写体Ａがフォーカスした（ピントの合った）像（Ａ０）、被写体Ｂおよび被写体Ｃはデフォーカスした（ぼやけた）像（Ｂ０，Ｃ０）となって映る。

（左視点画像）
このような位置関係にある３つの被写体Ａ〜Ｃに対し、光路を左右で切り替えた場合、センサ面Ｓ２への映り方は、次のように変化する。例えば、シャッター駆動部１９が、シャッター１１の左側領域ＳＬを開状態、右側領域ＳＲを閉状態となるように駆動した場合には、図１１に示したように、左側の光路が透過となり、右側の光路は遮光される。この場合、ピント面Ｓ１にある被写体Ａに関しては、右側の光路を遮光されていても、光路切り替えのない上記場合と同様、センサ面Ｓ２上にフォーカスして結像する（Ａ０）。ところが、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃについては、センサ面Ｓ２上においてデフォーカスしたそれぞれの像が、水平方向において互いに逆の方向（ｄ１，ｄ２）に移動したような像（Ｂ０'，Ｃ０'）として映る。

（右視点画像）
一方、シャッター駆動部１９が、シャッター１１の右側領域ＳＲを開状態、左側領域ＳＬを閉状態となるように駆動した場合には、図１２に示したように、右側の光路が透過となり、左側の光路は遮光される。この場合も、ピント面Ｓ１にある被写体Ａは、センサ面Ｓ２上に結像し、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃは、センサ面Ｓ２上において互いに逆の方向（ｄ３，ｄ４）に移動したような像（Ｂ０"，Ｃ０"）として映る。但し、これらの移動方向ｄ３，ｄ４は、上記左視点画像における移動方向ｄ１，ｄ２とそれぞれ逆向きとなる。

（左右の視点画像間の視差）
上記のように、撮像装置３においても、シャッター１１における各領域の開閉を切り替えることにより、上記第１の実施の形態の撮像装置１と同様、左右の各視点方向に対応する光路が切り替えられ、左視点画像Ｌ１，右視点画像Ｒ１を取得することができる。また、上述のようにデフォーカスした被写体像は、左右の視点画像間で互いに水平方向逆向きにシフトするため、その水平方向に沿った位置ずれ量（位相差）が視差量となる。例えば図１４（Ａ），（Ｂ）に示したように、被写体Ｂに注目した場合、左視点画像Ｌ１における像Ｂ０’の位置（Ｂ１_L）と右視点画像Ｒ１における像Ｂ０”の位置（Ｂ１_R）との水平方向の位置ずれ量Ｗｂ１が、被写体Ｂについての視差量となる。同様に、被写体Ｃに注目した場合、左視点画像Ｌ１における像Ｃ０’の位置（Ｃ１_L）と右視点画像Ｒ１における像Ｃ０”の位置（Ｃ１_R）との水平方向の位置ずれ量Ｗｃ１が、被写体Ｃについての視差量となる。

従って、本実施の形態においても、上記第１の実施の形態と同様、このような左右の視点画像を、所定の３Ｄ表示手法を用いて観察者に向けて表示することにより、観察者は、その観察映像において各被写体像の視差量に応じた立体感を感じることができる。例えば、上述の例では、視差のない被写体Ａ（人物）は表示画面（基準面）上で観察される一方、被写体Ｂ（山）はその基準面よりも奥まって見え、被写体Ｃ（花）は基準面から飛び出したような立体感で観察される。

（視差量と撮影条件との関係）
ここで、左視点画像Ｌ１，右視点画像Ｒ１間の被写体Ｂの視差量Ｗｂ１について注目した場合、単眼式の撮像装置３では、視差量Ｗｂ１は、撮影条件を用いて以下の式（６）のように定義できる。但し、図１４（Ａ）に示したように、撮像レンズ１０ａ，１０ｂの焦点距離をｆ、被写体距離をＳ、被写体Ａ，Ｂ間の距離をdepとする。また、図１４（Ｂ）に示したように、瞳面における左右の各領域の重心ＧＬ，ＧＲ間の距離をＧ（重心間距離）、瞳直径をＤとする。このように、本実施の形態（単眼式）においても、視差量Ｗｂ１は、上記第１の実施の形態（２眼式）と同様の撮影条件を用いた式によって表され、上述の式（１）における基線長Ｌを重心間距離Ｇに置き換えたものに等価である。また、実際の被写体Ｂについての被写体Ａに対する相対的な立体感は、式（６）によって定まる。

（２．視差制御処理）
本実施の形態では、上記第１の実施の形態と同様、画像処理部１３が、左視点画像Ｌ１，右視点画像Ｒ１間の視差量を変更制御する。具体的には、画像処理部１３における視差制御処理部１３１が、左視点画像Ｌ１，右視点画像Ｒ１に対し、撮影情報Ｄｆを用いて視差量および視差範囲を拡大制御する。

（撮影条件を考慮した視差拡大処理）
そして、本実施の形態においても、視差制御処理部１３１が、上述のようなズーミングによる撮影条件を考慮して、各視点画像間における視差量の拡大制御を行う。具体的には、例えば焦点距離ｆおよび被写体距離Ｓ等をパラメータとして含む係数α（Ｓ，ｆ）を用いた以下の式（７）に基づいて、視差量を拡大制御する。即ち、例えば被写体Ｂに注目した場合、拡大制御後の視差量Ｗｂ２が、所望の値となるように係数α（Ｓ，ｆ）を設定する。尚、この係数α（Ｓ，ｆ）としては、上記第１の実施の形態と同様、視差量の値が撮影条件に起因して変化しないように、視差量を拡大したい場合、前述の式（４）によって表されるものを用いることができる。これにより、本実施の形態においても、上記のようなズーミングの途中で視差量（立体感）が不自然に変化することを抑制することができる。但し、重心間距離Ｇは瞳直径Ｄを用いて、以下の式（８）のように表され、更にこの瞳直径Ｄは焦点距離ｆとＦナンバーＦを用いて表されることから、式（９）のように表すこともできる。即ち、焦点距離ｆ，被写体距離Ｓ以外にも、瞳直径ＤやＦナンバーＦをパラメータとして用いるようにしてもよい。

（ディスパリティマップの利用）
また、このような視差制御処理に際しては、上記第１の実施の形態と同様、マップデータＤＤを使用することにより、被写体毎にその視差量を拡大することができる。また、これにより、水平方向の視差量だけでなく、奥行き方向における視差範囲についても拡大することができる。よって、上記第１の実施の形態と同様、奥側にある被写体Ｂはより奥まって、手前側にある被写体Ｃはより飛び出して各々観察されるような、即ち被写体毎の立体感をより強調するような視差制御が可能となる。

このようにして視差拡大処理が施された後の左視点画像Ｌ２，右視点画像Ｒ２は、画像補正処理部１３２により所定の画像補正処理が施された後、画像データＤoutとして、図示しない記憶部、または外部のディスプレイ装置等へ出力される。

以上のように、本実施の形態においても、上記第１の実施の形態と同様、左視点画像Ｌ１，右視点画像Ｒ１に対し、その撮影条件に関する撮影情報Ｄｆを用いて、視差量の拡大制御を行うことにより、撮影条件が変化した場合であっても、その変化に応じた適切な視差量制御処理を行うことができる。よって、上記第１の実施の形態と同等の効果を得ることができる。

以下、上記第１，第２の実施の形態に係る撮像装置の変形例（変形例１，２）について説明する。尚、以下では、上記第１，第２の実施の形態の撮像装置と同様の構成要素については同一の符号を付し、適宜説明を省略する。

＜変形例１＞
上記第１，第２の実施の形態では、視差量の変更制御処理の一例として拡大制御処理を例に挙げて説明したが、逆に視差量を縮小するような変更制御を行うこともできる。即ち、上記と同様にして取得した左視点画像Ｌ１，右視点画像Ｒ１に対し、撮影情報Ｄｆを用いた視差制御の際に、ディスパリティマップを利用して、次のような縮小制御を行ってもよい。即ち、図１５（Ａ），（Ｂ）に示したように、左視点画像Ｌ１，右視点画像Ｒ１において、それらの被写体Ｂ，Ｃの各視差量が縮小するように、被写体Ｂ，Ｃの像の位置を水平方向（Ｘ方向）に沿ってシフトさせる。但し、ここでも、視差のない被写体Ａの位置Ａ１_L，Ａ１_Rは変更せず（視差量０のまま保持し）、左視点画像Ｌ２，右視点画像Ｒ２においても同位置に配置されるようにする。

具体的には、被写体Ｂについては、左視点画像Ｌ１での位置Ｂ１_Lから左視点画像Ｌ２における位置Ｂ２_Lへ、Ｘ方向正（＋）の向きにシフトさせる（破線矢印）。一方、右視点画像Ｒ１での位置Ｂ１_Rから右視点画像Ｒ２における位置Ｂ２_Rへ、Ｘ方向負（−）の向きにシフトさせる（実線矢印）。これにより、被写体Ｂについての視差量は、視差量Ｗｂ１から、この視差量Ｗｂ１よりも小さな視差量Ｗｂ３へ縮小することができる。尚、本変形例においても、視差量Ｗｂ３は、撮影情報Ｄｆ（焦点距離ｆ，被写体距離Ｓ等）を用いて設定される。他方、被写体Ｃについても同様にして視差量を縮小する。但し、被写体Ｃについては、左視点画像Ｌ１での位置Ｃ１_Lから左視点画像Ｌ２における位置Ｃ２_Lへ、Ｘ方向負（−）の向きにシフトさせる（実線矢印）。一方、右視点画像Ｒ１での位置Ｃ１_Rから右視点画像Ｒ２における位置Ｃ２_Rへ、Ｘ方向正（＋）の向きにシフトさせる（破線矢印）。

このように、本変形例においても、ディスパリティマップを用いることで、被写体毎にその視差量を縮小可能となる。例えば、上記のように、被写体Ａ〜Ｃのうち特定の被写体Ｂ，Ｃの各位置を互いに異なる向きにシフトさせて、被写体Ｂ，Ｃの視差量のみを縮小する、といった被写体毎の視差制御が可能となる。これにより、上記と同様の理由から、水平方向の視差量だけでなく、奥行き方向における視差範囲についても縮小することができる。よって、例えば奥側，手前側に観察される各被写体像を基準面により近づけて観察されるようにする、即ち被写体毎の立体感を緩和することが可能である。

＜変形例２＞
また、上記第１，第２の実施の形態では、撮影情報Ｄｆとして焦点距離ｆおよび被写体距離Ｓを使用し、これらＳ，ｆをパラメータとする係数α（Ｓ，ｆ）を用いて、視差制御処理を行うようにしたが、撮影情報Ｄｆとして使用するパラメータは、これらに限定されない。撮影情報Ｄｆとしては、例えば、上述のように、他のパラメータを用いてもよいし、本変形例のように、焦点距離ｆのみを用いてもよい。

即ち、一般的なカメラにおいて焦点の合う範囲では、Ｓ＞＞ｆとなるので、このことを考慮すると、視差量Ｗｂ２は以下の式（１０）のように表すことができる。従って、上記第１，第２の実施の形態と同様、視差量の値が撮影条件に起因して変化しないように、視差量を変更（拡大、縮小）したい場合、その係数α（Ｓ，ｆ）として、以下の式（１１）により表されるものを用いればよい。これにより、上記第１，第２の実施の形態と同様、ズーミングの途中で視差量（立体感）が不自然に変化することを抑制することができる。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、左右２つの光路を切り替えて取得した左右の視点画像に対して所定の画像処理を施す場合を例に挙げて説明したが、視点方向は左右（水平方向）に限らず上下（垂直方向）であってもよい。また、光路を３つ以上に切り替え可能とし、３つ以上の多視点画像が取得されるようにしてもよい。

また、上記実施の形態等では、画像処理部１３において、撮影情報Ｄｆを撮像レンズ側から制御部１７を介して取得するようにしたが、例えばカメラ本体（撮像レンズ，イメージセンサ含む）と別機器において、視差制御処理を含む画像処理が実行される場合には、次のようにしてもよい。即ち、カメラ本体から撮影情報Ｄｆを直接取得してもよいし、あるいは各視点画像のある画素（例えばイメージセンサの隅に配置された通常は画像表示に影響しない画素）の画素データとして、撮影情報Ｄｆを格納しておくようにしてもよい。更には、ラインメモリーのヘッダーに保持しておき、撮影時とは異なる機会に視差制御処理が行えるようにしてもよい。

更に、上記実施の形態等では、被写体Ａよりも奥側の被写体Ｂをより奥側、手前側の被写体Ｃをより手前側（あるいはそれらの逆）で観察されるように、即ち各被写体の立体感を強調（あるいは緩和）するように視差制御したが、これに限らず、所望とされる立体感に応じて様々な見え方となるように制御可能である。また、被写体Ａの像位置については基準位置からシフトしなかったが、この被写体Ａについても基準面から奥側（あるいは手前側）で観察されるようにシフトしてもよい。更に、視差制御の対象となる被写体の数も上述した３つに限定されず、２つ以下あるいは４つ以上であってもよい。

また、画像処理部１３における一連の画像処理は、ハードウェア、またはソフトウェア、あるいは両者が複合したものにおいて実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることもできる。

１，３…撮像装置、１０ａ，１０ａ１，１０ａ２，１０ｂ…撮像レンズ（群）、１１，１１ａ，１１ｂ…シャッター、１２…イメージセンサ、１３…画像処理部、１４，１８…レンズ駆動部、１５，１９…シャッター駆動部、１６…イメージセンサ駆動部、１７…制御部、Ｌ１，Ｌ２…左視点画像、Ｒ１，Ｒ２…右視点画像、Ｄｆ…撮影情報。

Claims (8)

1. 互いに異なる視点方向から撮影された複数の視点画像の各々に対し、各視点画像を撮影する際の撮像レンズの焦点距離および被写体距離を用いて、各視点画像間における視差量を変更制御する視差制御処理部
   を備えた画像処理装置。
2. 前記複数の視点画像に基づき、前記視差量として各視点画像間における位相差（ディスパリティ：disparity）を検出する位相差検出部を備えた
   請求項１に記載の画像処理装置。
3. 前記視差制御処理部は、前記位相差検出部により検出された位相差に基づいて、各視点画像間の水平方向における視差量を拡大または縮小する
   請求項２に記載の画像処理装置。
4. 前記位相差検出部は、
   画素毎または複数の画素からなる画素ブロック毎に検出した位相差を各画素または各画素ブロックに対応づけたディスパリティマップを生成する
   請求項２に記載の画像処理装置。
5. 前記視差制御処理部は、前記位相差検出部により生成されたディスパリティマップに基づいて、各視点画像間の奥行き方向における視差範囲を拡大または縮小する
   請求項４に記載の画像処理装置。
6. 互いに異なる視点方向から撮影された複数の視点画像の各々に対し、各視点画像を撮影する際の撮像レンズの焦点距離および被写体距離を用いて各視点画像間における視差量を変更制御するステップ
   を含む
   画像処理方法。
7. 互いに異なる視点方向から撮影された複数の視点画像の各々に対し、各視点画像を撮影する際の撮像レンズの焦点距離および被写体距離を用いて各視点画像間における視差量を変更制御するステップ
   をコンピュータに実行させる
   画像処理プログラム。
8. 互いに異なる視点方向から撮影された複数の視点画像の各々に対し、各視点画像を撮影する際の撮像レンズの焦点距離および被写体距離を用いて各視点画像間における視差量を変更制御するステップをコンピュータに実行させる画像処理プログラムが記録されている、
   コンピュータ読み取り可能な記録媒体。

Images