以下、本技術を実施するための形態(以下、実施の形態と称する)について説明する。説明は以下の順序により行う。
1.第1の実施の形態(撮像制御:視差検出画素により視差を検出して3D画像を生成する例)
2.第2の実施の形態(撮像制御:視差検出画素の画素値を用いて位相差検出を行う例)
3.変形例
4.第3の実施の形態(絞り制御:横位置撮影において明るさと基線長を独立して制御する例)
5.第4の実施の形態(絞り制御:横位置撮影および縦位置撮影の両方において明るさと基線長とを独立して制御する例)
6.変形例
<1.第1の実施の形態>
[撮像装置の機能構成例]
図1は、本技術の第1の実施の形態における撮像装置100の機能構成の一例を示すブロック図である。撮像装置100は、単眼で3Dの画像を生成する撮像装置である。この撮像装置100は、被写体を撮像して画像データ(撮像画像)を生成し、生成された画像データを2Dまたは3Dの画像コンテンツ(静止画コンテンツまたは動画コンテンツ)として記録する撮像装置である。なお、以下では、画像コンテンツ(画像ファイル)として静止画コンテンツ(静止画ファイル)を記録する例を主に示す。
撮像装置100は、レンズ部110と、操作受付部120と、制御部130と、撮像素子200と、信号処理部300と、姿勢検出部140と、表示部151と、記憶部152と、駆動部170とを備える。
レンズ部110は、被写体からの光(被写体光)を集光するためのものである。このレンズ部110は、ズームレンズ111と、絞り112と、フォーカスレンズ113とを備える。
ズームレンズ111は、駆動部170の駆動により光軸方向に移動することにより焦点距離を変動させて、撮像画像に含まれる被写体の倍率を調整するものである。
絞り112は、駆動部170の駆動により開口の度合いを変化させて、撮像素子200に入射する被写体光の光量を調整するための遮蔽物である。
フォーカスレンズ113は、駆動部170の駆動により光軸方向に移動することによりフォーカスを調整するものである。
操作受付部120は、ユーザからの操作を受け付けるものである。この操作受付部120は、例えば、シャッターボタン(図示せず)が押下された場合には、その押下に関する信号を、操作信号として制御部130に供給する。
制御部130は、撮像装置100における各部動作を制御するものである。なお、図1では、主要な信号線のみを示し、他は省略する。例えば、この制御部130は、シャッターボタンが押下されて、静止画像の記録を開始するための操作信号を受け付けた場合には、静止画像の記録実行に関する信号を、信号処理部300に供給する。
撮像素子200は、受光した被写体光を電気信号に光電変換するイメージセンサである。この撮像素子200は、例えば、CMOS(Complementary Metal Oxide Semiconductor)センサなどのx−yアドレス型のセンサや、CCD(Charge Coupled Device)センサなどにより実現される。撮像素子200には、受光した被写体光に基づいて撮像画像を生成するための信号を生成する画素(画像生成画素)と、3D画像を生成するための視差を検出するための画素(視差検出画素)とが配置される。なお、撮像素子200については、図2を参照して説明する。また、画像生成画素および視差検出画素については、図3乃至図6を参照して説明する。撮像素子200は、光電変換により発生した電気信号(画像信号)を、フレーム(画像データ)ごとに信号処理部300に供給する。
信号処理部300は、撮像素子200から供給された電気信号に所定の信号処理を施すものである。この信号処理部300は、例えば、撮像素子200から供給された電気信号をデジタルの電気信号(画素値)に変換した後に、黒レベル補正、欠陥補正、シェーディング補正、混色補正等を行う。また、この信号処理部300は、各補正を行った電気信号に基づいて、3D画像(立体画像)を生成する。この信号処理部300は、3D画像を生成するための機能構成として、2D画像生成部310と、視差検出部320と、3D画像生成部330とを備える。
2D画像生成部310は、画像生成画素の電気信号(画素値)に基づいて、2D画像(平面画像)を生成するものである。この2D画像生成部310は、視差検出画素の位置に対応する電気信号(画素値)を、画像生成画素の電気信号(画素値)に基づいて補間し、そしてデモザイク処理を行うことにより平面画像を生成する。2D画像生成部310は、生成した平面画像を3D画像生成部330に供給する。
視差検出部320は、視差検出画素の電気信号(画素値)に基づいて、視差情報画像を生成するものである。ここで、視差情報画像とは、左眼画像と右眼画像との間の差(視差)に関する情報(視差情報)を含む画像である。視差検出部320は、生成した視差情報画像を3D画像生成部330に供給する。
3D画像生成部330は、視差情報画像および2D画像に基づいて、3D画像(立体画像)を生成するものである。この3D画像生成部330は、3D画像として、左眼画像および右眼画像を生成する。3D画像生成部330は、例えば、視差情報画像が示す視差情報に基づいて2D画像における撮像された各撮像物体の像の位置をずらすことにより3D画像を生成する。3D画像生成部330は、生成した左眼画像のデータ(左眼画像データ)および右眼画像のデータ(右眼画像データ)を、立体画像コンテンツとして記憶部152に記憶させる。また、画像生成部330は、左眼画像データおよび右眼画像データを、立体画像コンテンツとして表示部151に表示させる。
姿勢検出部140は、撮像装置100の姿勢(傾き)を検出するものである。この姿勢検出部140は、例えば、ジャイロセンサーや加速度センサにより実現される。姿勢検出部140は、検出した撮像装置100の姿勢に関する情報(姿勢情報)を視差検出部320に供給する。
表示部151は、3D画像生成部330から供給された立体画像コンテンツに基づいて、画像を表示するものである。この表示部151は、例えば、カラー液晶パネルにより実現される。
記憶部152は、3D画像生成部330から供給された立体画像コンテンツを記録するものである。例えば、この記憶部152として、DVD(Digital Versatile Disk)等のディスクやメモリカード等の半導体メモリ等のリムーバブルな記録媒体(1または複数の記録媒体)を用いることができる。また、これらの記録媒体は、撮像装置100に内蔵するようにしてもよく、撮像装置100から着脱可能とするようにしてもよい。
駆動部170は、ズームレンズ111、絞り112およびフォーカスレンズ113を駆動させるものである。例えば、駆動部170は、制御部130からフォーカスレンズ113を移動させるための命令が供給された場合には、その命令に基づいて、フォーカスレンズ113を移動させる。
[撮像素子における画素の配置例]
図2は、本技術の第1の実施の形態における撮像素子200に備えられる画素の配置の一例を示す模式図である。なお、本技術の実施の形態では、撮像素子における受光面上の画素配置を説明する場合(例えば、図2、図3、図7)には、説明の便宜上、撮像素子における受光面の裏側から見た場合を模式的に図示して説明する。
同図では、上下方向をY軸とし、左右方向をX軸とするXY軸を想定して説明する。また、同図において、左下隅をXY軸における原点とし、下から上へ向かう方向をY軸の+側とし、左から右へ向かう方向をX軸の+側とする。なお、同図では、撮像素子200における特定方向(撮像画像の水平方向(左右方向)に対応する方向)をX軸方向とし、特定方向と直交する直交方向(撮像画像の垂直方向(上下方向)に対応する方向)をY軸方向とする。また、同図では、奥から手前へ向かう方向をZ軸の+側とする。なおZ軸は、光軸と平行な軸であり、Z軸のプラス方向は、被写体から撮像素子に向かう被写体光の進行方向とする。また、この撮像素子200における信号の読み出し方向は、X軸方向(行単位で読み出される)であり、また、撮像素子200の長辺方向はX軸方向であり、短辺方向はY軸方向であるものとする。
同図(a)では、説明の便宜上、撮像素子200を構成する各画素のうちの一部の画素の領域(領域210)を用いて画素配置を説明する。なお、撮像素子200における画素の配置は、領域210において示す画素配置を1つの単位として、この単位に対応する画素配置(領域210に対応する画素配置)が、X軸方向およびY軸方向に繰り返される配置である。なお、同図(b)では、領域210に示す画素配置がX軸方向およびY軸方向に繰り返された領域(領域250)が模式的に示されている。
同図(a)には、撮像素子200における一部の領域(領域210)における画像生成画素および視差検出画素の画素配置が示されている。
同図では、1つの画素回路を1つの正方形(同図(a)における最も小さい正方形)で示す。なお、本技術の第1の実施の形態において、画像生成画素については、1つの画素回路が1つの画素を構成するため、1つの正方形が1つの画像生成画素を示す。
撮像素子200には、画像生成画素として、赤色(R)の光を透過するカラーフィルタにより赤色の光を受光する画素(R画素)と、緑色(G)の光を透過するカラーフィルタにより緑色の光を受光する画素(G画素)とが配置される。また、撮像素子200には、R画素およびG画素の他に、画像生成画素として、青色(B)の光を透過するカラーフィルタにより青色の光を受光する画素(B画素)が配置される。領域210において、R画素、G画素およびB画素は、点が付された正方形、白が付された正方形、グレーが付された正方形により示されている(例えば、領域220内の画素を参照)。
視差検出画素230は、3D画像を生成するための視差を検出する画素である。この視差検出画素230は、9つの画素回路により構成される。この視差検出画素230には、9つの画素回路を覆う1つのマイクロレンズが備えられる。なお、画像生成画素にはこの9つの画素を覆うマイクロレンズは備えられない。視差検出画素230は、緑色(G)の光を透過するカラーフィルタにより9つの画素回路が均一に覆われている。領域210において、視差検出画素230は、9つの画素回路(9つの最も小さい正方形)を太線の正方形で囲み、さらに、太線の正方形の中に太線の1つの円形(マイクロレンズを表す)を付して示されている。すなわち、領域210における画素回路の行のうちの真ん中の3行(同図(a)の行R1)と、画素回路の列のうちの真ん中の3行(同図(a)の列C1参照)とに視差検出画素230が配置される。
なお、画層生成画素については、同図(a)における領域225を用いて、図3(a)を参照して説明する。また、視差検出画素については、図3(b)を参照して説明する。また、画層生成画素および視差検出画素の断面構成については、図4(b)を参照して説明する。
図2(b)には、同図(a)において示した領域210がX軸方向およびY軸方向に繰り返された領域が示されている。撮像素子200における画素配置は、同図(a)において示した領域が、X軸方向およびY軸方向に繰り返される画素配置である。これにより、視差検出画素230は、同図(b)の領域250における太線(視差検出画素ライン234)に示すように、撮像素子200の行方向および列方向に対して任意の画素周期でライン状(格子模様状)に配置される。
[画像生成画素および視差検出画素の一例]
図3は、本技術の第1の実施の形態における撮像素子200に備えられる画像生成画素および視差検出画素の一例を示す模式図である。
同図(a)には、図2(a)の領域225における9つの画像生成画素が示されている。同図(a)では、画像生成画素(R画素、G画素、B画素)が、符号(R、G、B)および模様(R画素はグレーを付した領域、G画素は白を付した領域、B画素は点を付した領域)により示されている。なお、G画素については、R画素(R画素226)を含む行(ライン)におけるG画素がGr画素227として示され、B画素(B画素229)を含む行(ライン)におけるG画素がGb画素228として示されている。
また、同図(a)では、各画像生成画素に配置されるマイクロレンズが、破線の円(マイクロレンズ261)により示されている。撮像素子200には、2種類のマイクロレンズを形成するため2つのマイクロレンズの層が設けられるが、マイクロレンズ261は、カラーフィルタの層に近いマイクロレンズの層により形成される。なお、画像生成画素の断面図を図4(b)において説明するため、ここでの詳細な説明を省略する。
領域225(図2(a)も参照)に示すように、画像生成画素は、ベイヤー配列により配置される。また、各画像生成画素には、それぞれの画素をそれぞれ覆うマイクロレンズが1つずつ備えられる。
図3(b)には、視差検出画素(視差検出画素230)が示されている。同図(b)において示す視差検出画素230では、視差検出画素230における9つの画素回路を、1乃至9の符号を付した正方形(画素回路1乃至9と称する)により示す。この画素回路1乃至9は、緑色(G)の光を透過するカラーフィルタにより全ての画素回路が均一に覆われている。
また、視差検出画素230には、各画素回路に備えられるマイクロレンズが、破線の円(マイクロレンズ261)により示されている。視差検出画素230におけるマイクロレンズ261は、画像生成画素におけるマイクロレンズ(マイクロレンズ261)と同様のものであり、カラーフィルタの層に近いマイクロレンズの層により形成される。
さらに、視差検出画素230には、視差検出画素230における9つのマイクロレンズ261を全て覆うように(画素回路1乃至9を全て覆うように)、1つの大きなマイクロレンズが備えられる。同図(b)では、この大きなマイクロレンズが、太い円(視差検出用マイクロレンズ231)により示されている。
同図(b)に示すように、視差検出画素230では、1つの大きなマイクロレンズが、9つの画素回路を覆うように配置される。また、視差検出画素230では、緑色(G)の光を透過するカラーフィルタにより9つの画素回路が均一に覆われている。
[画像生成画素および視差検出画素の断面構成例]
図4は、本技術の第1の実施の形態における画像生成画素および視差検出画素の断面構成の一例を示す模式図である。
同図(a)には、同図(b)において示す断面構成の断面位置を説明するため、撮像素子200の受光面の裏側から見た3行×9列の画素回路と、同図(b)の断面位置(a−b線)とが示されている。同図(b)では、同図(a)に示すように、3行×9列の画素回路のうち、真ん中の3列における画素回路が視差検出画素であることを想定して説明する。
同図(b)には、同図(a)におけるa−b線に沿った断面構成が示されている。同図(b)では、マイクロレンズ261と、Rフィルタ262と、Gフィルタ263と、受光素子264と、配線269と、視差検出画素230と、視差検出用マイクロレンズ231と、Gフィルタ232とが示されている。また、同図(b)には、マイクロレンズ層S1および視差検出用マイクロレンズ層S2とが示されている。
マイクロレンズ261は、被写体光を受光素子に集光するためのレンズである。このマイクロレンズ261は、各画素回路に1つずつ設けられる。また、マイクロレンズ261は、撮像素子に設けられる2つのマイクロレンズの層(マイクロレンズ層S1および視差検出用マイクロレンズ層S2)のうちの、マイクロレンズ層S1(受光素子264に近い方の層)に設けられる。
受光素子264は、受けた光を電気信号に変換(光電変換)することによって、受けた光の量に応じた強さの電気信号を生成するものである。この受光素子264は、例えば、フォトダイオード(PD:Photo Diode)により構成される。受光素子264は、各画素回路に1つずつ設けられる。すなわち、9つの画素回路から構成される視差検出画素230には、9つの受光素子が設けられている。
Rフィルタ262、Gフィルタ263およびGフィルタ232は、特定の波長域の光を透過するカラーフィルタである。Rフィルタ262は、赤色(R)を示す波長域の光を透過するカラーフィルタであり、R画素の受光素子に赤色を示す波長域の光を受光させる。また、Gフィルタ263およびGフィルタ232は、緑色(G)を示す波長域の光を透過するカラーフィルタである。Gフィルタ263はG画素の受光素子に緑色を示す波長域の光を受光させ、Gフィルタ232は視差検出画素230の受光素子に緑色を示す波長域の光を受光させる。カラーフィルタは、画像生成画素においては、画像生成画素が受光する波長域(R、GまたはB)の光に応じたフィルタ(Rフィルタ262、Gフィルタ263、またはBフィルタ)が設けられる。また、視差検出画素においては、Gフィルタ263により、視差検出画素における9つの画素回路全てが覆われる。
配線269は、各画素回路における各回路を接続するための配線である。この各回路を接続するための配線は、例えば、同図(b)に示す配線269のように、3本の配線が光軸に対して層状に配置される。また、配線269は、メタルであるため、隣接する画素へ洩れ込む被写体光を遮光する遮光層としても機能する。また、配線269は、各画素回路の端において、受光素子に入射する光を妨げないように配置される。
視差検出用マイクロレンズ231は、視差を検出するために被写体光を集光するレンズである。この視差検出用マイクロレンズ231は、2つのマイクロレンズの層のうちの、受光素子から遠い方の層(視差検出用マイクロレンズ層S2)において形成される。すなわち、視差検出画素230において、視差検出用マイクロレンズ231は、視差検出画素230のマイクロレンズ(マイクロレンズ261)の上(Z軸方向においてマイナス側)に、マイクロレンズ261を覆うように配置される。なお、視差検出用マイクロレンズ層S2における画像生成画素の位置には、マイクロレンズは形成されずに、光の通過を妨げない平坦な面となる。
次に、視差検出画素の視差検出用マイクロレンズに入射する被写体光と画素回路との関係について、図5を参照して説明する。
[視差検出画素へ入射する被写体光の例]
図5は、本技術の第1の実施の形態における視差検出画素が受光する被写体光を模式的に示す図である。
同図では、視差検出画素230の断面構成が同図(b)に示され、この視差検出画素230からみた絞りの形状である射出瞳(射出瞳E1)が同図(a)に模式的に示されている。なお、射出瞳は、本来は円形に近い形であるが、説明の便宜上、同図(a)では、Y軸方向を短くした射出瞳(楕円形)を示す。また、射出瞳については、撮像素子200側から見た場合の図を示す。
なお、同図(b)において示す視差検出画素230の断面構成は、図4(b)における視差検出画素230の断面構成と同じである。また、図4(b)では、画素回路4(図3(b)参照)の受光素子が受光素子(4)291として示され、画素回路5の受光素子が受光素子(5)292として示され、画素回路6の受光素子が受光素子(6)293として示されている。
さらに、同図(b)には、受光素子(4)291が受光する被写体光の一部が、点を多く付した領域(領域R23)により示されている。また、受光素子(5)292が受光する被写体光の一部が、グレーを付した領域(領域R22)により示されている。さらに、受光素子(6)293が受光する被写体光の一部が、点を少なく付した領域(領域R21)により示されている。
また、同図(a)の射出瞳E1には、同図(b)の領域21により示した被写体光(画素回路6が受光する被写体光)が通過する領域が、射出瞳E1における点を少なく付した領域(領域R11)により示されている。同様に、領域22により示した被写体光(画素回路5が受光する被写体光)が通過する領域が、射出瞳E1におけるグレーを付した領域(領域R12)により示され、領域23により示した被写体光(画素回路4が受光する被写体光)が通過する領域が、射出瞳E1における点を多く付した領域(領域R13)により示されている。さらに射出瞳E1にはその他の画素回路により受光される被写体光が通過する領域が、領域14乃至19により示されている。
ここで、受光素子(4)乃至(6)291乃至293がそれぞれ受光する被写体光と、射出瞳E1における領域R11乃至R13との間の関係について説明する。視差検出用マイクロレンズ231は、射出瞳E1における特定の領域(それぞれの受光素子に対応する領域)を通過した被写体光が画素回路1乃至9のそれぞれの受光素子に受光されるように被写体光を集光する役割を果たす。これにより、画素回路4の受光素子(受光素子(4)291)は、領域R13を通過した被写体光を受光する。また、画素回路5の受光素子(受光素子(5)292)は、領域R12を通過した被写体光を受光し、画素回路6の受光素子(受光素子(6)293)は、領域R11を通過した被写体光を受光する。なお、図示はしていない画素回路1乃至3および画素回路7乃至9についても同様である。画素回路1の受光素子は領域19を通過した被写体光を受光し、画素回路2の受光素子は領域18を通過した被写体光を受光し、画素回路3の受光素子は領域17を通過した被写体光を受光する。また、画素回路7の受光素子は領域16を通過した被写体光を受光し、画素回路8の受光素子は領域15を通過した被写体光を受光し、画素回路9の受光素子は領域14を通過した被写体光を受光する。
[視差検出画素による視差検出の原理の一例]
図6は、本技術の第1の実施の形態における視差検出画素230による視差検出の原理を模式的に示す図である。
同図(a)および(c)では、射出瞳(射出瞳E1)の左側を通過する被写体光(ユーザの左眼が受光する被写体光に相当)の像面における結像位置が模式的に示されている。また、同図(b)および(d)では、射出瞳(射出瞳E1)の右側を通過する被写体光(ユーザの右眼が受光する被写体光に相当)の像面における結像位置が模式的に示されている。
同図(a)および(b)には、フォーカスが合っている物体(合焦物体)が、射出瞳E1の上方(Z軸方向において射出瞳E1よりマイナス側)の黒い矩形(合焦物体271)により示されている。また、合焦物体271より撮像装置100に近い位置にある物体(近位置物体)が、射出瞳E1の上方であって合焦物体271より下の位置の点を付した円形(近位置物体272)により示されている。なお、合焦物体271および近位置物体272は、説明の便宜上、射出瞳E1の中心を通過する線であって、レンズの光軸に平行な線(同図(a)および(b)における鎖線)の上にあることを想定する。
また、合焦物体271および近位置物体272からの光の光路が、射出瞳E1を通過して、像面まで伸びる線(合焦物体271は実線(線L1または線L3)、近位置物体272は破線(線L2または線L4))により示されている。そして、合焦物体271および近位置物体272の像面における結像位置が、線L1乃至L4と像面とが交差する位置の黒い矩形および点を付した円形により示されている。なお、近位置物体272からの光については、この近位置物体272に対して合焦していることを想定した場合の結合位置が、破線(線L2または線L4)と鎖線が交差する位置における破線の円形により模式的に示されている。
また、図6(c)および(d)には、同図(a)および(b)において示した像面を裏側(撮像素子200の受光面の反対側)から見た像(画像281および282)が模式的に示されている。画像281には、黒い矩形および点を付した円形が示され、また、黒い矩形と点を付した円形との間の距離(−ΔX)が示されている。同様に、画像282には、黒い矩形と、点を付した円形と、距離(+ΔX)とが示されている。
ここで、射出瞳E1の左側を通過する被写体光の結像位置および右側を通過する被写体光の結像位置について、同図(a)乃至(d)を用いて説明する。
まず、フォーカスが合っている場合(合焦)の光路を示している合焦物体271からの光の光路(線L1およびL3)について説明する。撮像する物体に対して合焦している場合には、射出瞳E1を通過した被写体光は、射出瞳E1における被写体光の通過する位置にかかわらずに、その物体の位置に対応する像面の位置へ入射(集光)する。すなわち、射出瞳E1の左側を通過する合焦物体271からの光の結像位置と、射出瞳E1の右側を通過する合焦物体271からの光の結像位置とは同じ位置になる。
一方、撮像する物体に対してフォーカスがずれている場合には、射出瞳E1における被写体光の通過する位置の違いに応じて、像面における入射位置が異なる。本来、像面とは異なる面上で集光(同図(a)および(b)の像面の下の点線の円形が集光位置)する光を像面で受光するため、像面においては、フォーカスのずれの度合いに応じて光の入射する位置がずれる。同図(a)および(b)の近位置物体272、線L2および線L4により示すように、前側焦点面(合焦物体271が位置する面)よりレンズ側に撮像物体がある場合には、後側焦点面(点線の円形が位置する面)は、像面の後ろ(Z軸方向のプラス側)となる。すなわち、近位置物体272から射出瞳E1の左側を通過して像面に入射する光(線L2)は、像面において、合焦物体271からの光が入射する位置よりも、左にずれた位置に入射する(同図(a)参照)。また、近位置物体272から射出瞳E1の右側を通過して像面に入射する光(線L4)は、像面において、合焦物体271からの光が入射する位置よりも、右にずれた位置に入射する(同図(b)参照)。
このように、フォーカスがずれている物体を撮像すると、射出瞳の左側を通過したその物体からの光と、右側を通過したその物体からの光との間で、像面における入射位置が、フォーカスのずれの度合いに応じてずれる。このずれにより、画像生成画素の信号から生成される画像では、ピントがずれるとボケが生じる。一方、視差検出画素230では、射出瞳の左側を通過した光は3行×3列(9個)の画素回路のうちの右の列(図3(b)の画素回路3、6、9)の画素回路の受光素子により受光される、また、射出瞳の右側を通過した光は、左の列(図3(b)の画素回路1、4、6)の画素回路の受光素子により受光される。
すなわち、視差検出画素230の右の列(3列目)の画素回路からの信号により、同図(a)および(c)に示すように、左眼の像の情報を生成することができる。また、視差検出画素230の左の列(1列目)の画素回路からの信号により、同図(b)および(d)に示すように、右眼の像の情報を生成することができる。このように、視差検出画素230からの信号に基づいて画像を生成すると、画像281および282に示すように、物体の距離に応じて像がずれている2枚の画像を生成することができる。
[横位置撮影における視差検出方向の例]
図7は、本技術の第1の実施の形態における撮像装置100を用いて横位置撮影を行う場合における視差検出画素230による視差検出の方向の一例を模式的に示す図である。
同図(a)には、同図において想定する撮像装置100の姿勢が示されている。同図では、同図(a)に示すように、撮像装置100を横(左右がX軸方向、上下がY軸方向)にして、画像の長辺が水平方向で短辺が垂直方向になるように撮影(横位置撮影)することを想定する。
なお、撮像装置100を反時計回りに90°回転させて、撮像装置100を縦にして撮影(縦位置撮影)を行う場合については、図8において説明する。
同図(b)には、横位置撮影を行う場合の撮像素子200の姿勢と、この姿勢において視差検出に用いられる視差検出画素230を示すライン(視差検出ライン(行方向)235)とが示されている。なお、同図(b)では、図2(b)において示した領域250をそのまま示して、撮像素子200における画素の配置として示している。
同図(b)では、長辺方向(X軸方向)が左右(水平)であり、短辺方向(Y軸方向)が上下である撮像素子200が示されている。また、撮像素子200には、行および列方向にライン状に配置される視差検出画素230のうち、横位置撮影における視差検出に用いられる視差検出画素230が配置されているラインが、太い実線(視差検出画素ライン(行方向)235)により示されている。
同図(b)に示すように、横位置撮影の場合には、撮像素子200の行方向にライン状に配置された視差検出画素230を用いて視差が検出される。これにより、水平方向(左右)における視差を検出することができる。
同図(c)には、横位置撮影を行う場合における視差検出画素230の姿勢が示されている。また、視差検出画素230では、右眼に関する信号を生成する画素回路を、点を多く付した矩形(画素回路1、4、7)により示している。同様に、左眼に関する情報を生成する画素回路を、点を少なく付した矩形(画素回路3、6、9)により示している。なお、同図(c)では、説明の便宜上、図3(b)において示した破線の円(マイクロレンズ261)は省略して示す。
図7(c)に示すように、横位置撮影を行う場合には、撮像素子200の行方向に配置された視差検出画素230を用いて視差が検出される。
[縦位置撮影における視差検出方向の例]
図8は、本技術の第1の実施の形態における撮像装置100を用いて縦位置撮影を行う場合における視差検出画素230による視差検出の方向の一例を模式的に示す図である。
同図(a)には、同図において想定する撮像装置100の姿勢が示されている。同図(a)における撮像装置100は、図7(a)における撮像装置100を反時計回りに90°回転させた姿勢である。このように、図8では、同図(a)に示すように、撮像装置100を縦(左右がy軸方向、上下がx軸方向)にして撮影(縦位置撮影)することを想定する。
同図(b)には、縦位置撮影を行う場合の撮像素子200の姿勢と、この姿勢において用いられる視差検出画素230を示すライン(視差検出ライン(列方向)236)とが示されている。
同図(b)では、長辺方向(X軸方向)が上下であり、短辺方向(X軸方向)が左右(水平)である撮像素子200が示されている。同図(b)における撮像素子200は、図7(b)における撮像素子200を反時計回りに90°回転させたものである。また、図8(b)の撮像素子200には、行および列方向にライン状に配置される視差検出画素230のうち、縦位置撮影における視差検出に用いられる視差検出画素230が配置されているラインが、太い実線(視差検出画素ライン(列方向)236)により示されている。
同図(b)に示すように、縦位置撮影の場合には、撮像素子200の列方向にライン状に配置された視差検出画素230を用いて視差が検出される。これにより、撮像装置100を縦(画像の長辺が上下、短辺が左右)にして用いている場合においても、水平方向(左右)における視差を検出することができる。
同図(c)には、縦位置撮影を行う場合における視差検出画素230の姿勢が示されている。この同図(c)における視差検出画素230は、図7(c)における視差検出画素230を反時計回りに90°回転させたものである。また、図8(c)の視差検出画素230では、右眼に関する信号を生成する画素回路を、点を多く付した矩形(画素回路1乃至3)により示している。同様に、左眼に関する情報を生成する画素回路を、点を少なく付した矩形(画素回路7乃至9)により示している。
このように、縦位置撮影を行う場合には、撮像素子200の列方向にライン状に配置された視差検出画素230を用いて視差が検出される。これにより、横位置撮影の場合と同様に、人間が直立している場合の左眼および右眼に対応した情報(視差が水平方向の情報)を生成することができる。
[3D画像の生成例]
図9は、本技術の第1の実施の形態の撮像装置100における3D画像の生成例を示す模式図である。
同図では、被写体を撮像した撮像素子200が生成する画像データに基づいて、2D画像生成部310、視差検出部320および3D画像生成部330がそれぞれ生成する画像を示す。また、同図では、これらの画像を用いて、撮像素子200が生成した画像データに基づいて立体画像(左眼画像および右眼画像)が生成されるまでの流れを順に説明する。なお、同図では、図7のように、横位置撮影により撮影したことを想定する。
まず、2D画像生成部310による2D画像(平面画像)の生成について、同図(a)および(b)を参照して説明する。
同図(a)には、撮像素子200における画像生成画素が生成した信号に基づいて2D画像生成部310により生成される平面画像であって、視差検出画素の信号の補間を行う前の平面画像(平面画像311)が示されている。平面画像311には、撮像された物体として、2人の人物(人物351および人物352)が示されている。同図では、人物352に合焦している状態で撮像したことを想定する。また、同図では、人物351は、人物352よりもレンズに近い位置にいることを想定する。すなわち、人物351に対してはフォーカスずれが生じていることを想定する。人物351を4重に囲んでいる破線は、フォーカスずれによる像のぼけを模式的に示されている。
また、平面画像311には、視差検出画素が配置されていた位置において画像生成用の信号が無い(画素値が無い)ことが、平面画像311においてデータ(画素値)が無いことを示す複数の灰色のライン(画素値欠落ライン353)により示されている。
このように、画像生成画素が生成した信号からは、視差検出画素の位置の画素値が欠落した画像(平面画像311)が生成される。そこで、2D画像生成部310は、視差検出画素の位置の画素値を補間して、画素値の欠落が補間された平面画像を生成する。
図9(b)には、同図(a)において示した平面画像311に対して2D画像生成部310が補間処理を行った後の画像(平面画像312)が示されている。平面画像311に対して2D画像生成部310が補間処理を行うことにより、画素値が欠落(同図(a)の画素値欠落ライン353)していたところにおける画素値が補間される。さらに、その他の補間処理やデモザイク処理が行われて、視差検出画素を備えていない画像生成画素のみの撮像素子(一般的な撮像素子)により撮像された画像と同様の平面画像(平面画像312)が生成される。そして、この生成された平面画像312は、3D画像生成部330に供給される。
次に、視差検出部320による視差情報画像の生成について、同図(c)および(d)を参照して説明する。
同図(c)には、撮像素子200における視差検出画素が生成した信号に基づいて視差検出部320により生成される2つの画像であって、視差情報画像の元となる2つの画像(左眼情報画像321および右眼情報画像322)が示されている。
左眼情報画像321は、視差検出画素における9つの画素回路のうち、ユーザの左眼が受光する光に相当する被写体光を受光した画素回路からの信号に基づいて生成される画像である。また、右眼情報画像322は、視差検出画素における9つの画素回路のうち、ユーザの右眼が受光する光に相当する被写体光を受光した画素回路からの信号に基づいて生成される画像である。
また、左眼情報画像321には、同図(a)において示した人物351に対応する人物361と、同図(a)の人物352に対応する人物362が示されている。同様に、右眼情報画像322には、同図(a)の人物351に対応する人物363と、同図(a)の人物352に対応する人物364とが示されている。
ここで、視差検出部320による左眼情報画像321および右眼情報画像322の生成について説明する。
視差検出部320は、姿勢検出部140から供給される姿勢情報に基づいて、左眼情報画像321となる信号を生成した画素回路および右眼情報画像322となる信号を生成した画素回路を決定する。同図では横位置撮影により画像が撮像されるため、視差検出部320は、図7において示したように、右の列の画素回路(図7(b)の画素回路3、6、9)の信号から左眼情報画像321を生成する。また、左の列の画素回路(図7(b)の画素回路1、4、7)の信号から右眼情報画像322を生成する。そして、視差検出部320は、これらの生成した画像(左眼情報画像321、右眼情報画像322)に基づいて、視差情報画像を生成する。
図9(d)には、左眼情報画像321および右眼情報画像322に基づいて生成された視差情報画像(視差情報画像323)が模式的に示されている。
視差情報画像323には、左眼情報画像321における人物361と、右眼情報画像322における人物363とに基づいて検出された視差を含む像(人物371)が示されている。同様に、視差情報画像323には、左眼情報画像321における人物362と、右眼情報画像322における人物364とに基づいて検出された視差を含む像(人物372)が示されている。
ここで、視差情報画像323について、視差情報画像323において示されている2つの像(人物371および人物372)に着目して説明する。
人物371は、左眼情報画像321における人物361と、右眼情報画像322における人物363とが重なり合っているように(2つの人物の像が、左右に少しずれて重なっているように)、視差情報画像323において図示されている。人物371から上下に伸びている2本の点線の間隔(距離373)は、左右に少しずれて重なっている2つの像の間隔を示している。同図において、人物371が示す物体にはフォーカスがずれている(同図(a)および(b)の人物351を参照)。すなわち、図6に示したように視差が発生し、左眼情報画像321における人物361と、右眼情報画像322における人物363との間には、フォーカスのずれ量に応じた位置のずれが生じる。図9(d)の距離373は、この位置のずれ(視差)を模式的に示している。
一方、人物372は、左眼情報画像321における人物362と、右眼情報画像322における人物364とがぴったり一致しているように(1つの人物の像のように)、視差情報画像323において図示されている。同図において、人物372(人物362および人物364)が示す物体には合焦しているため(同図(a)および(b)の人物352を参照)、この人物の像に対する視差は無い(視差が「0」)。すなわち、左眼情報画像321における人物362の位置と、右眼情報画像322における人物364の位置とは一致している。すなわち、同図(d)では、視差情報画像323における人物372の像には視差に関する情報が無いことが示されている。
同図(d)において示した視差情報画像323は、生成された後に、3D画像生成部330に供給される。
次に、3D画像生成部330による立体画像(左眼画像および右眼画像)の生成について、同図(e)を参照して説明する。
同図(e)には、3D画像生成部330において、平面画像312および視差情報画像323に基づいて生成された左眼(L)画像(左眼画像331)および右眼(R)画像(右眼画像332)が模式的に示されている。なお、平面画像と視差情報画像とに基づいて立体画像を生成する方法については、種々の方法が考えられるが、ここでは、一例として、視差情報画像に基づいて平面画像における各物体の位置をずらして左眼画像および右眼画像を生成する例について説明する。
左眼画像331は、撮像した画像を視聴するユーザの左眼に対して表示するための画像である。左眼画像331には、平面画像312の人物352の位置および視差情報画像323の人物372の位置と同じ位置に人物382が示されている。また、左眼画像331には、視差情報画像323の人物371の右側の位置(左眼情報画像321の人物361の位置)と同じ位置に、人物381が示されている。この人物381は、平面画像312の人物351の位置をずらした像である。なお、同図(b)には、人物381の位置を模式的に示すために、人物381の中心から上下に向けて伸びる点線(線L11)が示されている。
右眼画像332は、撮像した画像を視聴するユーザの右眼に対して表示するための画像である。右眼画像332には、平面画像312の人物352の位置および視差情報画像323の人物372の位置と同じ位置に人物384が示されている。また、右眼画像332には、視差情報画像323の人物371の左側の位置(右眼情報画像322の人物363の位置)と同じ位置に、人物383が示されている。この人物383は、平面画像312の人物351の位置をずらした像である。なお、同図(b)には、人物383の位置を模式的に示すために、人物383の中心から上下に向けて伸びる点線(線L12)が示され、さらに、線L11と線L12との間の距離を示す矢印(距離373)が示されている。すなわち、左眼画像331の人物381から距離373ほど左にずれた位置に人物383が示されている。
同図(e)において示す左眼画像331および右眼画像332から構成される立体画像(3D画像)を、3D画像生成部330は、平面画像312および視差情報画像323に基づいて生成する。すなわち、3D画像生成部330は、平面画像312における各物体の位置を視差情報画像323が示す視差に応じてずらして、左眼画像331および右眼画像332を生成する。視差情報画像323における人物372は視差情報が無いため、3D画像生成部330は、平面画像312の人物352の位置をそのままにして(人物382および人物384)、左眼画像331および右眼画像332を生成する。また、3D画像生成部330は、平面画像312の人物351の位置を視差情報画像323における人物371が示す視差に応じてずらして(人物381および人物383)、左眼画像331および右眼画像332を生成する。3D画像生成部330は、生成した立体画像(左眼画像331および右眼画像332)を、立体画像コンテンツとして、表示部151および記憶部152に供給する。
このように、信号処理部300によって、平面画像および視差情報画像に基づいて、立体画像が生成される。
[撮像装置の動作例]
次に、本技術の第1の実施の形態における撮像装置100の動作について図面を参照して説明する。
図10は、本技術の第1の実施の形態における撮像装置100によって立体画像を撮像する際の撮像処理手順例を示すフローチャートである。
まず、立体画像を撮像するための撮像動作の開始指示がユーザによりされたか否かが、制御部130により判断される(ステップS901)。そして、画像を撮像するための撮像動作の開始指示がユーザによりされていないと判断された場合には(ステップS901)、撮像処理手順は終了する。
一方、立体画像を撮像するための撮像動作の開始指示がユーザによりされていると判断された場合には(ステップS901)、立体画像の構図を決定するために、ライブビュー画像が表示部151に表示される(ステップS902)。続いて、立体画像の構図を決定したユーザによりシャッターボタンが半押しされているか否かが、制御部130により判断される(ステップS903)。そして、シャッターボタンが半押しされていないと判断された場合には(ステップS903)、ステップS908に進む。
一方、シャッターボタンが半押しされていると判断された場合には(ステップS903)、フォーカスレンズ113を駆動させてフォーカスを合わせる対象物(合焦対象物)にフォーカスを合わせる合焦処理が行われる(ステップS904)。次に、ユーザによりシャッターボタンが全押しされたか否かが、制御部130により判断される(ステップS903)。そして、シャッターボタンが全押しされていないと判断された場合には(ステップS905)、ステップS902に戻る。
一方、シャッターボタンが全押しされていると判断された場合には(ステップS905)、撮像素子200により被写体が撮像される(ステップS906)。そして、その撮像による画像データに基づいて立体画像(3D画像)を生成する立体画像生成処理が、信号処理部300により行われる(ステップS920)。なお、立体画像生成処理(ステップS920)については、図11を参照して説明する。
続いて、生成された立体画像が、記憶部152により記憶される(ステップS907)。そして、立体画像を撮像するための撮像動作の終了指示がユーザによりされたか否かが、制御部130により判断される(ステップS908)。そして、立体画像を撮像するための撮像動作の終了指示がユーザによりされていないと判断された場合には(ステップS908)、ステップS902に戻る。
一方、立体画像を撮像するための撮像動作の終了指示がユーザによりされていると判断された場合には(ステップS908)、撮像処理手順は終了する。
図11は、本技術の第1の実施の形態の撮像処理手順における立体画像生成処理(ステップS920)の処理手順例を示すフローチャートである。
まず、撮像素子200から供給される画像データにおける画像生成画素の画素値に基づいて、平面画像(2D画像)が2D画像生成部310により生成される(ステップS921)。続いて、生成された平面画像における視差検出画素の位置の画素値が、2D画像生成部310により補間される(ステップS922)。
次に、撮像素子200が被写体を撮像した際の姿勢に関する情報(姿勢情報)が、視差検出部320により姿勢検出部140から取得される(ステップS923)。そして、姿勢情報に基づいて左右方向(水平方向)を検出し、視差検出画素における9つの画素回路のうちから、左眼のデータを生成する画素回路と、右眼のデータを生成する画素回路とが、視差検出部320により決定される(ステップS924)。
続いて、撮像素子200から供給される画像データにおける画素値のうち、左眼のデータを生成する画素回路の画素値に基づいて、左眼情報画像が視差検出部320により生成される(ステップS925)。また、撮像素子200から供給される画像データにおける画素値のうち、右眼のデータを生成する画素回路の画素値に基づいて、右眼情報画像が視差検出部320により生成される(ステップS926)。次に、生成された左眼情報画像および右眼情報画像に基づいて、視差情報画像が視差検出部320により生成される(ステップS927)。
続いて、平面画像および視差情報画像に基づいて、左眼画像および右眼画像が3D画像生成部330により生成される(ステップS928)。そして、ステップS928の後に、立体画像生成処理手順は終了する。
このように、本技術の第1の実施の形態によれば、視差検出画素が検出した視差に基づいて画像生成画素が生成した画像における各物体の位置を移動させることにより、解像度が高い立体画像を生成することができる。特に、本技術の第1の実施の形態によれば、視差検出画素を用いて立体画像を生成する撮像装置において、有効画素数の減少を抑制することができる。例えば、撮像素子における全ての画素が3行×3列の画素回路から構成される視差検出画素である撮像素子では、有効画素数は9分の1になってしまう。それに対して、本技術の第1の実施の形態における撮像素子200では、所定の間隔置きに行方向および列方向にライン上に配置されるため、ライン間の間隔を大きくすればするほど、有効画素数の減少を抑えることができる。また、1つの画素回路で1つの画素を構成する画像生成画素が撮像素子200に配置されるため、平面画像(2D画像)も撮像することができ、ユーザの目的に合わせて、立体画像と平面画像とを選択することができる。
<2.第2の実施の形態>
本技術の第1の実施の形態では、視差検出画素を構成する9つの画素回路が生成する画素値に基づいて立体画像を生成する例について説明した。なお、視差検出画素における9つの画素回路の生成する画素値は、フォーカスのずれに関する情報を含んでいるため、これらの画素値を位相差検出方式による合焦判定に用いることもできる。ここで、位相差検出とは、撮像レンズを通過した光を瞳分割して1対の像を形成し、その形成された像の間隔(像の間のずれ量)を計測(位相差を検出)することによって合焦の度合いを検出する焦点検出の方法である。
そこで、本技術の第2の実施の形態では、立体画像の生成に加えて、視差検出画素を用いて位相差検出による合焦判定を行う撮像装置の例について、図12乃至図16を参照して説明する。
[撮像装置の機能構成例]
図12は、本技術の第2の実施の形態の撮像装置400の機能構成の一例を示すブロック図である。
同図において示す撮像装置400は、図1において示した撮像装置100の各構成に加えて、合焦判定部410を備える。図12における合焦判定部410以外の各構成は、図1において示した各構成と同様のものであるため、ここでは、合焦判定部410に着目して説明する。
合焦判定部410は、視差検出画素からの信号に基づいて、フォーカスが合焦しているか否かを位相差検出により判定するものである。この合焦判定部410は、撮像素子200から供給される撮像データにおける視差検出画素の9つの画素回路の画素値に基づいて、フォーカシングを行う領域(フォーカスエリア)における物体(合焦対象物)に対して合焦しているか否か判定する。合焦判定部410は、合焦していると判定した場合には、合焦していることを示す情報を合焦判定結果情報として、駆動部170に供給する。また、合焦判定部410は、合焦対象物に対してフォーカスがずれていると判定した場合には、フォーカスのずれの量(デフォーカス量)を算出し、その算出したデフォーカス量を示す情報を合焦判定結果情報として、駆動部170に供給する。
なお、駆動部170は、合焦判定部410から出力された合焦判定結果情報に基づいて、フォーカスレンズ113の駆動量を算出し、その算出した駆動量に応じてフォーカスレンズ113を移動させる。駆動部170は、フォーカスが合っている場合には、フォーカスレンズ113の現在の位置を維持させる。また、駆動部170は、フォーカスがずれている場合には、デフォーカス量を示す合焦判定結果情報およびフォーカスレンズ113の位置情報に基づいて駆動量(移動距離)を算出し、その駆動量に応じてフォーカスレンズ113を移動させる。
[視差検出画素を用いたオートフォーカスの概念例]
図13は、本技術の第2の実施の形態において視差検出画素230における9つの画素回路の画素値を用いたオートフォーカスの概念を模式的に示す図である。
なお、同図では、横位置撮影で撮像した際の水平方向(同図の左右方向)に一対の像を生成してフォーカスを検出することを想定する。
同図(a)には、合焦判定のために撮像素子200が撮像した画像データの平面画像(撮像平面画像440)が示されている。この撮像平面画像440には、撮像対象物として、自動車(自動車441)と、人物(人物443)と、木(木444)とが示されている。また、撮像平面画像440には、フォーカスエリアを示す鎖線の矩形(フォーカスエリア442)が示されている。なお、フォーカスのずれを模式的に示すために、人物443が2重の破線により囲まれ、自動車441が4重の破線により囲まれている。
なお、同図では、自動車441、人物443および木444を囲む破線の数は、フォーカスのずれの度合いを示し、数が多いほどフォーカスが大きくずれていることを示している。すなわち、同図では、撮像平面画像440を撮像した際には木444に対して合焦しており、人物443および自動車441はフォーカスがずれている(自動車441の方が大きくずれている)ことを想定する。
同図(b)には、合焦判定部410において生成される一対の像について、同図(a)において示した撮像平面画像440に対応する一対の画像として模式的に示した2つの画像(左眼情報画像450および右眼情報画像460)が示されている。視差検出画素230は撮像素子200において行方向および列方向にライン状に配置されている(図2参照)ため、実際には、左眼情報画像450および右眼情報画像460に示すような像は生成されない。しかしながら、図9では、説明の便宜上、撮像した画像(撮像平面画像440)全面で一対の像を模式的に図示して説明する。
左眼情報画像450は、視差検出画素230における9つの画素回路のうちの左眼に対応する画素の画素値に基づいて生成される画像を示している。左眼情報画像450では、図13(a)の自動車441に対応する自動車451と、同図(a)の人物443に対応する人物453と、同図(a)の木444に対応する木454とが示されている。
また、右眼情報画像460は、視差検出画素230における9つの画素回路のうちの右眼に対応する画素の画素値に基づいて生成される画像を示している。右眼情報画像460では、図13(a)の自動車441に対応する自動車461と、同図(a)の人物443に対応する人物463と、同図(a)の木444に対応する木464とが示されている。
同図(c)には、合焦判定部410による一対の像の間隔(像の間のずれ量)の計測を模式的に示す画像(比較画像470)が示されている。この比較画像470では、同図(b)において示した左眼情報画像450および右眼情報画像460を重ねたような像が図示され、自動車471と、人物473と、木474とが示されている。自動車471は、濃い自動車が薄い自動車の左にあるような像で示されている。また、人物473も、濃い人物が薄い人物の左にあるような像で示されている。一方、木474は、濃い木と薄い木とが一致しているような像で示されている。
比較画像470に示すように、合焦判定部410では、一対の像(同図では、左眼情報画像450および右眼情報画像460)を比較する。
そして、合焦判定部410は、合焦対象物(人物473)における一対の像のずれ量(エッジ間の間隔)からフォーカスのずれ量(デフォーカス量)を算出する。このデフォーカス量に基づいてフォーカスレンズ113が駆動されることにより、合焦対象物に対してフォーカスが一致する。
同図(d)には、同図(c)の比較画像470に基づいてフォーカスレンズ113が駆動された後の撮像画像(レンズ駆動後撮像平面画像490)と、この撮像に基づいて行われる合焦判定(像の比較)を示す画像(レンズ駆動後比較画像480)とが示されている。
レンズ駆動後比較画像480では、比較画像470によりレンズを駆動した後の一対の像の間隔の計測を模式的に示す画像が示されている。この比較画像470では、濃い木が薄い木の右にあるように示されている木484と、濃い人物と薄い人物とが一致しているように示されている人物483と、濃い自動車が薄い自動車の左にあるように示されている自動車481とが示されている。
レンズ駆動後撮像平面画像490には、1重の破線が付された自動車(自動車491)と、破線がない人物(人物493)と、4重の破線が付された木(木494)と、フォーカスエリア492とが示されている。破線は、同図(a)において説明したように、フォーカスのずれの度合いを模式的に示している。すなわち、レンズ駆動後撮像平面画像490では、合焦対象物である人物493に合焦していることが示されている。
このように、撮像装置400では、合焦対象物(人物)において一対の像が一致するようにフォーカスレンズ113が駆動されることにより、オートフォーカスが行われる。
なお、図13では、視差検出画素230における9つの画素回路の画素値を用いたオートフォーカスの概念について説明した。次に、図14では、合焦判定部410により行われる合焦判定の際のデータの比較に着目して説明する。
[合焦判定部による合焦判定の一例]
図14は、本技術の第2の実施の形態における合焦判定部410による位相差検出による合焦判定を模式的に示す図である。
なお、同図では、図13に示した場合における合焦判定部410による合焦判定を説明する。なお、同図では、説明の便宜上、一対の像を形成する際に用いられる視差検出画素230は1ラインであることを想定して説明する。
同図(a)には、図13(b)のように左右(水平方向)に一対の像を形成する場合において、一対の一方(右眼)および他方(左眼)の像に関する信号を生成する画素回路が視差検出画素230にそれぞれ示されている。この視差検出画素230では、一方の像(右眼)に関する信号を生成する画素回路が点を多く付した矩形(画素回路1、4、7)により示され、他方の像(左眼)に関する信号を生成する画素回路が点を少なく付した矩形(画素回路3、6、9)により示されている。
図14(b)には、設定された合焦対象物に対するデフォーカス量を算出するために、合焦判定部410において画素値が用いられる(画素値から一対の像が形成される)視差検出画素230の位置(合焦判定ライン421)が示されている。この合焦判定ライン421における視差検出画素230の各画素回路の画素値を同図(a)のように用いることにより、一対の像が形成される。
ここで、合焦判定部410による位相差を検出する方向(左右または上下)の決定について、簡単に説明する。
合焦判定部410は、撮像素子200から供給された画像データの視差検出画素230に関する画素値に基づいて、一対の像のずれを検出する方向を決定する。合焦対象物の形状や模様によって、左右方向(水平方向)に一対の像を形成すると像のずれを精度よく検出できる場合や、上下方向(重力方向)に一対の像を形成する像のずれを精度よく検出できる場合がある。そこで、合焦判定部410は、像のずれを精度よく検出できる方向にライン状に配置されている視差検出画素230からの画素値に基づいて一対の像を形成する。
同図では、ずれ量を精度よく検出できる方向は左右方向(水平方向)であることを想定しているため、行方向の視差検出画素ラインのうち、合焦対象物が撮像されているラインにおける視差検出画素230からの画素値に基づいて一対の像を形成する。なお、合焦対象物(人物422)のエッジのずれを検出できればデフォーカス量が算出できるため、フォーカスエリア付近に位置する視差検出画素(合焦判定ライン421)の画素値から一対の像は形成される。
同図(c)には、合焦判定部410におけるデフォーカス量の算出を模式的に示すグラフが示されている。同図(c)では、図13のように、フォーカス面よりも合焦対象物はレンズ側に位置している(後ピン)ことを想定して説明する。
図14(c)において示すグラフには、横軸を撮像素子200における視差検出画素230の画素位置とし、縦軸を出力信号の強度を示す出力階調として、合焦判定部410が生成する一対の像を画素値の分布データにより示すグラフが示されている。このグラフには、同図(a)に示す画素回路1、4、7(右眼に対応)の画素値に基づいて生成された画素値の分布データ(右眼信号分布データ431)が示されている。また、このグラフには、同図(a)に示す画素回路3、6、9(左眼に対応)の画素値に基づいて生成された画素値の分布データ(左眼信号分布データ432)が示されている。
合焦判定部410は、合焦判定ライン421における視差検出画素230の画素値から右眼信号分布データ431および左眼信号分布データ432を生成する。そして、合焦判定部410は、右眼信号分布データ431におけるピーク(エッジ)の位置と、左眼信号分布データ432におけるピーク(エッジ)の位置との間の距離(距離A1)からデフォーカス量を算出する。そして、合焦判定部410は、算出したデフォーカス量を、合焦判定結果情報として駆動部170に供給し、デフォーカス量に応じた量ほどフォーカスレンズ113を駆動させる。
同図(d)には、同図(c)に示す分布データ(一対の像)に基づいてフォーカスレンズ113が駆動され、合焦対象物に対して合焦した場合の分布データ(右眼信号分布データ433および左眼信号分布データ434)が示されている。同図(d)のグラフに示すように、合焦対象物に対して合焦すると、右眼信号分布データ433および左眼信号分布データ434のエッジは、同じ位置になる。
このように、撮像装置400では、同図(d)に示すように生成した一対の像(分布データ)のエッジの位置が一致するようにフォーカスレンズ113を駆動することにより、視差検出画素230の画素値を用いて、オートフォーカスを行うことができる。すなわち、撮像装置400では、位相差検出方式の焦点検出方法を実現することができ、これにより、高速で高精度なオートフォーカスが可能となる。
なお、同図では、説明の便宜上により合焦判定ラインは1ラインであることを想定して説明したが、これに限定されるものではなく、複数のラインを用いて精度を向上させるようにしてもよい。
[撮像装置の動作例]
次に、本技術の第2の実施の形態における撮像装置400の動作について図面を参照して説明する。
図15は、本技術の第2の実施の形態における撮像装置400による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。なお、同図において示す撮像処理手順例のフローチャートは、図10において示した本技術の第1の実施の形態の撮像処理手順例のフローチャートの変形例である。図10において示した合焦処理(ステップS904)が、合焦処理(ステップS940)である点のみが異なる。そこで、合焦処理(ステップS940)以外の処理については同一の符号を付して説明を省略し、合焦処理(ステップS940)については図16を参照して説明する。
図16は、本技術の第2の実施の形態の撮像処理手順における合焦処理(ステップS940)の処理手順例を示すフローチャートである。
まず、撮像素子200により被写体が撮像され、合焦判定に用いる画像が撮像される(ステップS941)。続いて、合焦対象物に応じて、一対の像を生成する視差検出画素のラインの方向(行方向または列方向)が、合焦判定部410により決定される(ステップS942)。そして、合焦対象物の位置(フォーカスエリアの位置)に応じて、一対の像を比較する視差検出画素の位置(例えば、図14の合焦判定ライン421)が決定される(ステップS943)。
次に、決定された一対の像を比較する位置の視差検出画素の画素回路の画素値から一対の像が生成される(ステップS944)。そして、生成された一対の像におけるエッジ間の間隔が検出され、その間隔からデフォーカス量が算出される(ステップS945)。続いて、その算出されたデフォーカス量に基づいて、フォーカスレンズ113の駆動量が駆動部170により算出される(ステップS945)。そして、その算出された駆動量に基づいてフォーカスレンズ113が駆動され(ステップS947)、合焦処理手順は終了する。
このように、本技術の第2の実施の形態によれば、視差検出画素を構成する9つの画素回路の画素値に基づいて、位相差検出による合焦判定を行うことができる。すなわち、本技術の第2の実施の形態によれば、高い画素数の3D画像を生成するとともに、位相差検出による高速で高精度なオートフォーカスを行う撮像装置を実現することができる。
<3.変形例>
本技術の第1および第2の実施の形態では、視差検出画素230が行方向および列方向にライン状に配置される撮像素子200の例について説明した。しかしながら、視差検出画素230の配置はこれに限定されるものではなく、被写体の視差が取得できるように配置すればよい。そこで、第1および第2の実施の形態とは異なる視差検出画素の配置の一例について、第1および第2の変形例として、図17および図18を参照して説明する。
また、本技術の第1および第2の実施の形態では、図4(b)に示すように、マイクロレンズの層は2層あり、各画素回路に光を集光するマイクロレンズはカラーフィルタに近い方(受光素子に近い方)のマイクロレンズ層において形成される例を説明した。しかしながら、本技術はこれに限定されるものではなく、マイクロレンズの配置の仕方については種々の例が考えられる。例えば、各画素回路に光を集光するマイクロレンズは、視差検出用マイクロレンズと同じ層に形成する場合が考えられる。また、視差検出用マイクロレンズと、視差検出画素の9つの受光素子との間の距離を可変にすることにより、撮像レンズが交換式の撮像装置(例えば、一眼カメラ)において様々なF値の撮像レンズに対応することができる。そこで、第1および第2の実施の形態とは異なるマイクロレンズの配置の一例について、第3乃至第5の変形例として、図19を参照して説明する。
また、本技術の第1および第2の実施の形態では、視差検出画素は、Gフィルタが備えられた9つの画素回路の例について説明したが、これに限定されるものではない。第1および第2の実施の形態とは異なる視差検出画素について、第6乃至第9の変形例として、図20を参照して説明する。
[撮像素子における画素の配置の変形例]
図17は、本技術の第1および第2の実施の形態の第1の変形例として、視差検出画素が行方向にのみライン状に配置される撮像素子の一例を模式的に示す図である。
同図(a)には、図2(b)の領域250に対応する領域(領域810)が示されている。すなわち、領域810における太線(視差検出画素ライン811)は、視差検出画素が配置されるラインを示している。視差検出画素ライン811が示すように、この変形例では、視差検出画素は任意の画素周期で行方向にのみライン状に配置される。
図17(b)には、同図(a)において示されている領域815の拡大図であって、図2(a)の領域210に対応する領域が示されており、視差検出画素が行方向にのみライン状に配置されることが示されている。
縦位置撮影に用いることがほとんどないような撮像装置(例えば、カムコーダ)においては、列方向に視差検出画素をライン状に配置しても、視差検出に用いることは殆どない。そこで、視差検出画素のラインを行方向の配置のみとすることにより、視差検出画素の数を少なくして画像生成画素の数を増やし、これにより、撮像画像の画質を向上させることができ、かつ、視差検出画素の位置の画素値の補間処理を軽くすることができる。
図18は、本技術の第2の変形例として、視差検出画素が、行方向および列方向に所定の間隔ずつ離れて配置(アイランド状に配置)される撮像素子の一例を模式的に示す図である。
同図(a)には、図2(b)の領域250に対応する領域(領域820)が示されている。この領域820において、黒い点(点821)は、それぞれが1つの視差検出画素の配置される位置を示している。すなわち、点821により示すように、この変形例では、視差検出画素が行方向および列方向に所定の間隔ずつ離れて配置(アイランド状に配置)される。
図18(b)には、同図(a)において示されている領域825の拡大図であって、図2(a)の領域210に対応する領域が示されている。この領域825には、1つの視差検出画素がアイランド状に配置されることが示されている。
図18に示すように、視差検出画素を行方向および列方向に所定の間隔ずつ離して配置することにより、第1の変形例以上に視差検出画素の数を少なくして画像生成画素の数を増やし、これにより、撮像画像の画質を向上させることができ、かつ、視差検出画素の位置の画素値の補間処理を軽くすることができる。
これらのように、撮像素子における視差検出画素の配置については、種々のパターンが考えられる。
[画像生成画素および視差検出画素の断面構成の変形例]
図19は、本技術の第3乃至第5の変形例として、画像生成画素および視差検出画素の断面構成の変形例を模式的に示す図である。
同図(a)には、本技術の第3の変形例として、視差検出用マイクロレンズと、視差検出画素の9つの画素回路との間の距離を可変にすることができる撮像素子の断面構成の一例が示されている。なお、同図(a)は、図4(b)において示した断面構成の変形例であり、図4(b)の視差検出用マイクロレンズ層S2に代えて、マイクロレンズの光軸方向に移動可能なマイクロレンズ層(視差検出用マイクロレンズ配置部831)を備えている点のみが異なる。そこで、図19(a)では、図4(b)と同一のものについては同一の符号を付してここでの説明を省略し、視差検出用マイクロレンズ配置部831についてのみ説明する。
視差検出用マイクロレンズ配置部831は、マイクロレンズの光軸方向に移動することにより、視差検出用マイクロレンズ231と、視差検出画素の画素回路の受光素子との間の距離を可変可能なマイクロレンズの層である。すなわち、撮像素子との間には、空気の層(空気層832)がある。このように、視差検出用マイクロレンズ231と、視差検出画素の画素回路の受光素子との間の距離を変更可能とすることにより、F値や焦点距離が異なる交換レンズに対応できるようになる。
図19(b)には、本技術の第4の変形例として、画像生成画素の受光素子に被写体光を集光するマイクロレンズが、視差検出用マイクロレンズの層にも備えられる撮像素子の断面構成の一例が示されている。画像生成画素の受光素子に被写体光を集光するために視差検出用マイクロレンズ層に備えられるマイクロレンズ(マイクロレンズ833)以外の構成は、図4(b)と同一のものであるため、図19(b)では説明を省略する。
マイクロレンズ833は、視差検出用マイクロレンズとは曲率が異なるマイクロレンズである。このマイクロレンズ833を備えることにより、視差検出画素における結像を優先させてフォーカスを調整した場合においても、画像生成画素のマイクロレンズ261に被写体光を適切に集光することができる。すなわち、このマイクロレンズ833を備えることにより、マイクロレンズ261が受光素子に被写体光を適切に集光することができ、画像生成画素の集光効率の劣化を防ぐことができる。これにより、画質を向上させることができる。
図19(c)には、本技術の第5の変形例として、同図(b)の撮像素子におけるマイクロレンズ層S1を備えていない撮像素子の断面構成の一例が示されている。視差検出用マイクロレンズ231のみにより視差が検出できるとともに、マイクロレンズ833のみにより画像生成画素の受光素子に被写体光を集光できる場合には、マイクロレンズ層S1を省くことができる。
これらのように、撮像素子におけるマイクロレンズの配置については、種々のパターンが考えられる。
[視差検出画素の一例]
図20は、本技術の第6乃至第9の変形例として、視差検出画素の変形例を示す模式図である。
同図(a)には、本技術の第6の変形例として、カラーフィルタの層に可視光領域の光は全て透過するもの(例えば、透明層やWフィルタなど)が備えられる視差検出画素(視差検出画素841)が示されている。
同図(b)には、本技術の第7の変形例として、Rフィルタが備えられる視差検出画素(視差検出画素842)が示されている。
視差検出画素は、視差が検出できればよいため、視差検出画素のフィルタは目的に応じて設定すればよい。例えば、同図(a)のように、可視光領域の光は全て透過するものを設けることにより、色依存の少ない視差情報を得るようにすることができる。また、この可視光領域の光を全て透過する場合は、画像生成画素と比較すると光量が多すぎることがあるため、露光調整のために減光フィルタを設けるようにしてもよい。
また、同図(b)に示すように、視差検出画素にGフィルタ以外のカラーフィルタを設けるようにしてもよい。
同図(c)には、本技術の第8の変形例として、数多くの画素回路から構成される視差検出画素(視差検出画素843)が示されている。この視差検出画素843は、5行×5列の画素回路(画素回路1乃至25)から構成される。また、画素回路1乃至25には、3原色のカラーフィルタ(Rフィルタ、Gフィルタ、Bフィルタ)が、ベイヤー配列により配置されている。
同図(c)に示すように、1つの視差検出画素を数多くの画素回路で構成し、さらに、3原色のカラーフィルタをベイヤー配列により配置することにより、色情報を含めて視差情報を得ることができる。
同図(d)には、本技術の第9の変形例として、2行×2列の画素回路から構成される視差検出画素(視差検出画素844)が示されている。このように、視差検出画素844を2行×2列の画素回路から構成することもできる。この場合には、3行×3列の画素回路から構成する場合と比較して、視差検出画素1個に用いられる画素回路の数を減らすことができ、画像生成画素や視差検出画素の数を増やすことができる。すなわち、画像生成画素の数を増やすことによる画質の向上や、視差検出画素の数を増やすことによる視差検出の精度の向上などをすることができる。
<4.第3の実施の形態>
本技術の第1および第2の実施の形態では、撮像素子においてライン状に配置される視差検出画素を用いて立体画像を生成する撮像装置について説明した。第1および第2の実施の形態において説明した撮像装置は、単眼の撮像装置である。
この単眼の撮像装置において、立体画像の立体感は、射出瞳における左眼の光が通過する領域の重心位置と、射出瞳における右眼の光が通過する領域の重心位置との間の重心間距離(基線長)に依存する。この基線長が長いほど視差量が増加し、その結果、立体画像の立体感が増加する。
第1および第2の実施の形態において示した視差検出画素では、3行×3列の画素回路から構成されている。左右に視差を検出する場合には、左側の画素回路が受光する被写体光の射出瞳における重心位置と、右側の画素回路が受光する被写体光の射出瞳における重心位置との間の距離が基線長となる。すなわち、基線長を長くするためには、F値が低い(射出瞳が大きい)撮像レンズを備えるか、焦点距離が長い撮像レンズを備える必要がある。F値は、明るさを設定するパラメータであり、焦点距離は画角を設定するパラメータであるため、基線長のため(立体感のため)だけに自由に設定できるものではない。
例えば、明るいシーンを撮像する際に、絞りを絞ることによりF値を大きくして(射出瞳を小さくして)撮像すると、白トビがない良好な画像が得られるものの、基線長が小さくなり、立体感が得られなくなる。また、この明るいシーンを撮像する際に、基線長のために絞りを開いてF値を小さくして撮像すると、基線長が長くなり立体感が増すものの、白トビが発生して画質が劣化する。
すなわち、基線長の自由な変更と明るさの自由な変更とが両立できる単眼撮像装置が求められる。そこで、本技術の第3の実施の形態では、横位置撮影において視差を検出する単眼撮像装置において、基線長および明るさを調整することができる絞りを備える例について図21乃至図29を参照して説明する。
[撮像装置の機能構成例]
図21は、本技術の第3の実施の形態の撮像装置500の機能構成の一例を示すブロック図である。
同図において示す撮像装置500は、図1において示した撮像装置100の絞り112に代えて、絞り510を備える。また、撮像装置500は、撮像装置100の各構成に加えて、さらに、基線長設定部520および絞り駆動設定部530を備える。また、撮像装置500は、撮像装置100の姿勢検出部140を備えていない。図21では、絞り510、基線長設定部520および絞り駆動設定部530について説明する。
なお、撮像装置500は、横位置撮影にのみ用いられることを想定する。そのため、撮像装置500の撮像素子200における視差検出画素は、図17(b)に示すように、撮像素子200の行方向のみにライン状に配置されていることを想定する。さらに、撮像装置500の撮像素子200の視差検出画素は、図20(d)に示すように、2行×2列の画素回路から構成されていることを想定する。すなわち、視差検出画素は、射出瞳を左右に2分割することができることを想定する。
また、この第3の実施の形態において説明する絞り510は、射出瞳を何らかの手段(例えば、偏光素子、シャッター、ミラー、光ベクトル情報など)により左右に分離することで立体画像を生成する撮像装置であれば適用することができる。すなわち、第3の実施の形態は、本技術の第1および第2の実施の形態において説明した視差検出画素により立体画像を生成する撮像装置に限定されるものではない。しかしながら、本技術の第3の実施の形態では、視差検出画素により立体画像を生成する撮像装置において備えられた絞り510について説明する。
絞り510は、駆動部170の駆動により開口の度合いを変化させて、撮像素子200に入射する被写体光の光量および基線長を調整するための遮蔽物である。この絞り510は、開口の位置を調整して基線長を設定することができるとともに、それぞれ設定された基線長における開口の度合いを変化させて被写体光の光量を調整することができる。すなわち、絞り510は、被写体光の光量の増減と、基線長の長さとを独立して設定することができる。なお、絞り510については、図22乃至図25を参照して説明する。
基線長設定部520は、絞り510により調整される基線長を設定するものである。例えば、基線長設定部520は、ユーザが操作受付部120を介して指定した立体感の強度に応じて基線長を算出し、その算出した基線長に関する情報(基線長情報)を絞り駆動設定部530に供給する。
絞り駆動設定部530は、絞り510の開口状態を設定するものである。この絞り駆動設定部530は、例えば、撮像素子200から供給された画像データに基づいて、適切な光量を算出(自動露光(AE:Automatic Exposure))する。そして、絞り駆動設定部530は、基線長設定部520から供給された基線長情報と、算出した光量とに基づいて、絞り510の開口状態を決定する。すなわち、絞り駆動設定部530は、絞り510の開口状態を設定することにより、被写体光の光量の増減と、基線長の長さとを独立して制御する。絞り駆動設定部530は、その決定した開口状態に関する情報(絞り開口状態情報)を、駆動部170に供給し、駆動部170に絞り510を駆動させる。なお、制御部130、基線長設定部520および絞り駆動設定部530は、特許請求の範囲に記載の制御部および調整部の一例である。
[絞りの一例]
図22は、本技術の第3の実施の形態の絞り510の一例を模式的に示す図である。
絞り510は、絞りにおける開口領域の外枠を形成する2枚の羽根から構成される第1絞りと、左右の開口領域を生成するために絞りの中心付近を上下方向に向けて遮光する第2絞りとを備える。同図(a)では、第1絞りおよび第2絞りにより2つの開口部分が形成されている状態の絞り510を示す。また、同図(b)では、第1絞り(第1絞り511)のみを示して第1絞りの2枚の羽根の形状を示す。そして、同図(c)では、第2絞り(第2絞り515)のみを示して第2絞りの2枚の羽根の形状を示す。
図22(a)には、絞り510を構成する4枚の羽根(第1絞り上側羽根512、第1絞り下側羽根513、第2絞り上側羽根516、第2絞り下側羽根517)により2つの開口部分が形成されている状態の絞り510が示されている。また、同図(a)には、4枚の羽根により生成された2つの開口部分の重心位置(重心P1およびP2)と、この2つの重心間の距離(基線長L21)とが示されている。
同図(b)には、第1絞り(第1絞り511)を構成する2枚の羽根(第1絞り上側羽根512および第1絞り下側羽根513)のみが示されている。第1絞り上側羽根512および第1絞り下側羽根513は、三角形(山形)の凹形状の切欠部が互いに対向するように配置される。なお、この三角形の凹形状の切欠部は、視差方向(左右方向)に垂直な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。同図(b)に示すように、第1絞り511の一対の羽根(第1絞り上側羽根512および第1絞り下側羽根513)は、絞りの開口面が45度斜めの正方形になるような平板状の遮光部材である。なお、第1絞り511は、特許請求の範囲に記載の第1部材の一例である。
また、同図(c)には、第2絞り(第2絞り515)を構成する2枚の羽根(第2絞り上側羽根516および第2絞り下側羽根517)のみが示されている。同図(c)に示すように、第2絞り515の一対の羽根(第2絞り上側羽根516および第2絞り下側羽根517)は、上下から突出することにより絞り510の中心付近から遮光できるような平板状の遮光部材である。第2絞り上側羽根516および第2絞り下側羽根517は、三角形(山形)の凸形状の突出部が互いに対向するように配置される。なお、この三角形の三角形の凸形状の突出部は、視差方向に垂直(直交)な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。この第2絞り515の一対の羽根は、突出するにつれて、絞り510の中心付近から左右の両端に向けて遮光部分が増加するような形状である。同図では、一例として、45度斜めの正方形の遮光部材が示されている。なお、第2絞り515は、特許請求の範囲に記載の第2部材の一例である。
同図(a)乃至(c)に示すように、絞り510は、第1絞り511の2枚の羽根(第1絞り上側羽根512および第1絞り下側羽根513)と、第2絞り515の2枚の羽根(第2絞り上側羽根516および第2絞り下側羽根517)とから構成される。これにより、絞り510は、視差方向に隣接する一対の開口領域を形成する。また、第1絞り511は、一対の開口領域の縁(周縁)のうち、両方の開口領域の視差方向における両側(両端)に対応する半分の縁(左の開口領域は左半分の縁、右の開口領域は右半分の縁)を形成する。第2絞り515は、一対の開口領域の縁のうち、両方の開口領域の視差方向における内側(一対の開口領域が近接する側)に対応する半分の縁(左の開口領域は右半分の縁、右の開口領域は左半分の縁)を形成する。すなわち、第1絞り511は、一対の開口領域のそれぞれの周縁のうち、前記視差方向における両端に対応する周縁の位置を形成し、第2絞り515は、一対の開口領域間で近接する周縁の位置を形成する。なお、第1絞り511の切り欠けおよび第2絞り515の突出の両方ともが、視差方向に垂直(直交)な直線であって基線長の中止位置を通過する線の上に頂点が位置する三角形であるため、一対の開口領域の形状が同じになる。
次に、絞り510の第1絞り511および第2絞り515を駆動することによる開口形状の変化について、図23乃至図25を参照して説明する。
[基線長を一定にして開口面積を変化させる例]
図23は、本技術の第3の実施の形態の絞り510を、基線長は一定にして開口面積のみが変化するように駆動する場合の第1絞り511および第2絞り515の駆動方向を模式的に示す図である。
同図(a)には、駆動前(標準状態と称する)の絞り510が示されている。
同図(b)には、基線長を一定にして開口面積が小さくなるように駆動された絞り510が示されている。同図(b)に示すように、基線長(基線長L31)を一定にして開口面積を小さくする絞り510の駆動は、第1絞りを絞る(第1絞り動作方向551)とともに、第2絞りを絞る(第2絞り動作方向552)ことにより行うことができる。
同図(c)には、基線長を一定にして開口面積が大きくなるように駆動された絞り510が示されている。同図(c)に示すように、基線長(基線長L31)を一定にして開口面積を大きくする絞り510の駆動は、第1絞りを開く(第1絞り動作方向553)とともに、第2絞りを開く(第2絞り動作方向554)ことにより行うことができる。
すなわち、同図(b)および(c)に示すように、基線長を一定にして光量を増減させる場合には、第1絞りが形成する視差方向の縁の位置の移動に応じて、第2絞りが形成する視差方向の縁の位置を、第1絞りの縁の位置の移動方向と反対方向に同量移動させる。これにより、左の開口領域の左端の移動に応じて左の開口領域の右端が左の開口領域の左端と反対方向に同量ほど移動し、また、右の開口領域の右端の移動に応じて右の開口領域の左端が右の開口領域の右端と反対方向に同量ほど移動する。この開口領域の縁の設定は、同図(b)および(c)に示すように、第1絞りと第2絞りとを同じ方向に駆動させることにより実現することができる。このように絞り510の開口面を設定することにより、開口領域の重心位置を変化させずに、光量を増減させることができる。
[開口面積を一定にして基線長を変化させる例]
図24は、本技術の第3の実施の形態の絞り510を、開口面積を一定にして基線長のみが変化するように駆動する場合の第1絞り511および第2絞り515の駆動方向を模式的に示す図である。
同図(a)には、標準状態の絞り510が示されている。
同図(b)には、開口面積を一定にして、標準状態から基線長が短くなる(基線長L31から基線長L32へ)ように駆動された絞り510が示されている。同図(b)に示すように、開口面積を一定にして基線長を短くする絞り510の駆動は、第1絞りを絞る(第1絞り動作方向561)とともに、第2絞りを開く(第2絞り動作方向562)ことにより行うことができる。
同図(c)には、開口面積を一定にして、標準状態から基線長が長くなる(基線長L31から基線長L33へ)ように駆動された絞り510が示されている。同図(c)に示すように、開口面積を一定にして基線長を長くする絞り510の駆動は、第1絞りを開く(第1絞り動作方向563)とともに、第2絞りを絞る(第2絞り動作方向564)ことにより行うことができる。
すなわち、同図(b)および(c)に示すように、光量を一定にして基線長を変更する場合には、第1絞りが形成する視差方向の縁の位置の移動に応じて、第2絞りが形成する視差方向の縁の位置を、第1絞りの縁の位置の移動方向と同じ方向に同量ほど移動させる。これにより、左の開口領域の左端の移動に応じて左の開口領域の右端が左の開口領域の左端と同じ方向に同量ほど移動し、また、右の開口領域の右端の移動に応じて右の開口領域の左端が右の開口領域の右端と同じ方向に同量ほど移動する。この開口領域の縁の設定は、同図(b)および(c)に示すように、第1絞りと第2絞りとを反対方向に駆動させることにより実現することができる。これにより、左の開口領域における右端とこの領域の左端との間の長さ、および、右の開口領域における右端とこの領域の左端との間の長さを一定にすることができ、開口領域の開口面積を一定にすることができる。このように絞り510の開口面を設定することにより、開口領域の開口面積を変化させずに、重心位置を変化させることができる。
[第2絞りを開いて開口部分を1つにする例]
図25は、本技術の第3の実施の形態の絞り510における開口部分の形状を平面画像を撮像するのに適した形状にする場合を模式的に示す図である。
同図(a)には、標準状態の絞り510が示されている。
同図(b)には、平面画像を撮像するのに適した開口部分の形状となるように駆動された絞り510が示されている。同図(b)に示すように、第2絞りを開放する(第2絞り駆動方向571)ことで、従来の絞りと同様に、1つの開口部分の絞りとすることができる。
すなわち、図23および図24に示したように、絞り510は、第1絞りと第2絞りを個別に動かすことにより、開口部分の開口面積(F値)と、基線長(立体感)とを独立に設定することができる。例えば、非常に明るいシーンの撮影において、基線長を一定にしながら明るさを減少させたい場合には、図23(b)に示したように、第1絞りを絞るとともに第2絞りを絞ることにより達成できる。また、明るさを維持して立体感を強調したい場合には、図24(c)に示したように、第1絞りを開くとともに、第2絞りを絞ることにより達成できる。
さらに、図25に示したように、立体画像ではなく平面画像を撮像する場合には、第2絞りを開放して1つの開口部分にして、第1絞りにより開口面積を制御することにより、従来の絞りと同様に用いることができる。
このように、絞り510によって立体感(3D強度)の設定を行うことができる。また、視差検出画素および画像生成画素が撮像素子200に配置される本技術の第3の実施の形態によれば、画像生成画素の画素値に基づいて、2D画像(平面画像)を生成することができる。すなわち、絞り510を撮像装置に備えることにより、ユーザが、撮像する画像の選択(2D画像か3D画像か)や、立体感の設定を行うことができる。
そこで、画像や3D強度をユーザが設定する際の設定画面(ユーザインターフェース)の例について、図26を参照して説明する。
[表示部における設定画面例]
図26は、本技術の第3の実施の形態において表示部151に表示される撮像画像の設定画面および3D強度の設定画面を模式的に示す図である。
同図(a)には、2D画像または3D画像のどちらを撮像するかをユーザが設定する設定画面(設定画面580)が示されている。この設定画面580では、3D画像を撮像する3D画像モードを選択するラジオボタン(ラジオボタン582)と、2D画像を撮像する2D画像モードを選択するラジオボタン(ラジオボタン583)とが示されている。さらに、選択を決定する決定ボタン(決定ボタン584)と、選択の変更を辞めるボタン(戻るボタン585)とが示されている。
設定画面580において、3D画像モードがユーザにより選択されると、図23および図24に示したように、3D画像の撮像に適した絞りの制御が行われる。一方、2D画像モードがユーザにより選択されると、図25に示したように第2絞りは開放され、2D画像の撮像に適した絞りの制御(従来の絞りと同様の制御)が行われる。
このように、撮像装置500では、撮像する画像が2D画像であるか3D画像であるかをユーザに選択させることができる。
図26(b)には、3D強度(3Dレベル)をユーザが設定する設定画面(設定画面590)が示されている。この設定画面590では、3Dレベルを示すスライドバー(スライドバー591)と、選択を決定する決定ボタン(決定ボタン594)と、選択の変更を辞めるボタン(戻るボタン595)とが示されている。また、スライドバー591には、現在の設定3Dレベルを示すバー(バー592)が示されている。
設定画面590において、バー592をスライドさせることにより、ユーザは3Dレベルを選択することができる。3Dレベルを弱める(バー592をスライドバー591の「弱」に近づける)と、図24(b)に示したように、基線長が短くなるように絞り510が制御される。一方、3Dレベルを強める(バー592をスライドバー591の「強」に近づける)と、図24(c)に示したように、基線長が長くなるように絞り510が制御される。
このように、撮像装置500では、3Dレベルをユーザに選択させることができる。
[基線長の変更による3Dレベルの変化例]
図27は、本技術の第3の実施の形態における絞り510による基線長の変化による像の変化を模式的に示す図である。
同図(a)および(b)には、基線長が長くなるように絞り510が制御された場合の撮像対象物からの光路および撮像対象物の像面における結像位置が模式的に示されている。また、同図(c)および(d)には、基線長が短くなるように絞り510が制御された場合の撮像対象物からの光路および撮像対象物の像面における結像位置が模式的に示されている。
なお、同図(a)および(c)は、図6(a)に対応し、撮像対象物からの被写体光のうち、絞り510の左眼に相当する開口面(左眼開口面)を通過する被写体光の光路および像面における結像位置が模式的に示されている。同様に、図27(b)および(d)は、図6(b)に対応し、撮像対象物からの被写体光のうち、絞り510の右眼に相当する開口面(右眼開口面)を通過する被写体光の光路および像面における結像位置が模式的に示されている。そこで、図6(a)および(b)と同様のものには、同一の符号を付してここでの説明を省略する。
図27(a)乃至(d)において示す瞳E21は、絞り510の第1絞りおよび第2絞りを両方とも開放にした時の射出瞳の形状(すなわち撮像レンズの形状)を模式的に示し、図6の射出瞳E1に相当する。図27(a)および(b)の射出瞳E31およびE32は、基線長が長くなるように絞り510が制御された場合の一対の射出瞳(射出瞳E31は左眼開口面の射出瞳、射出瞳E32は右眼開口面の射出瞳)を示している。同様に、同図(c)および(d)の射出瞳E41およびE42は、基線長が短くなるように絞り510が制御された場合の一対の射出瞳(射出瞳E41は左眼開口面の射出瞳、射出瞳E42は右眼開口面の射出瞳)を示している。そして、同図(a)乃至(d)には、図6と同様に、合焦物体271および近位置物体272からの光の光路が、各物体から伸びる破線および実線(線L51乃至L58)により示されている。
図27(a)および(b)に示すように、基線長が長くなると(左側開口面および右側開口面がお互いに離れると)、デフォーカス量に応じてずれる結像位置のずれ量が大きくなり、立体感が大きくなる。一方、同図(c)および(d)に示すように、基線長が短くなると(左側開口面および右側開口面がお互いに近づくと)、デフォーカス量に応じてずれる結像位置のずれ量が小さくなり、立体感が小さくなる。
このように、絞り510を設けることにより、立体感を調整することができる。
[絞りにおける開口面の変化例]
図28は、本技術の第3の実施の形態における絞り510における開口面と、従来の絞りにおける開口面との違いを模式的に示す図である。
同図(a)には、従来の撮像装置に備えられる絞り(絞り190)の開閉による開口面の変化が示されている。絞り190は、一組の羽根(絞り上側羽根191および絞り下側羽根192)から構成され、この一組の羽根(遮光部材)を互いに逆方向に移動させることにより開口面の面積を調整する。この従来の絞り190は、開口面積が広い時は基線長が長くなる(同図(a)において示す基線長L91を参照)が、開口面積が小さくになると基線長が短くなる(同図(a)の基線長L92を参照)。
同図(b)には、本技術の第3の実施の形態における絞り510の開閉による開口面の変化が示されている。なお、同図(b)において示す図は、図23および図24をまとめた図である。そこで、図28(b)では、図23および図24と同一の符号を付して、ここでの詳細な説明を省略する。
図28(b)に示すように、絞り510によって、明るさ(開口面積の大きさ)と、基線長(一対の開口面の重心間距離)とを独立に制御することができる。
[撮像装置の動作例]
次に、本技術の第3の実施の形態における撮像装置500の動作について図面を参照して説明する。
図29は、本技術の第3の実施の形態における撮像装置500による立体画像を撮像する際の撮像処理手順例を示すフローチャートである。なお、同図において示す撮像処理手順例のフローチャートは、図10において示した本技術の第1の実施の形態の撮像処理手順例のフローチャートの変形例である。そこで、同一の処理については同一の符号を付して説明を省略し、新たに追加した自動露光に関する処理手順例についてのみ説明する。
立体画像の撮像動作の開始指示がユーザによりされたと判断されると(ステップS901)、ユーザが予め指定した立体感の強度に基づいて基線長の長さが設定され、その設定された基線長の長さに応じて絞り510が駆動される(ステップS961)。そして、ステップS902に進み、ライブビューの表示が行われる。
また、合焦処理が行われた後に(ステップS904)、その合焦処理の際に撮像された画像に基づいて露光の調整が絞り駆動設定部530により行われて、絞り510が制御される自動露光処理が行われる(ステップS962)。そして、ステップS962の後に、ステップS905に進み、シャッターボタンが全押しされたか否かが判断される。なお、ステップS961およびステップS962は、特許請求の範囲に記載の第1制御手順および第2制御手順の一例である。
このように、本技術の第3の実施の形態によれば、明るさ(開口面積の大きさ)と、基線長(一対の開口面の重心間距離)とを独立に制御することができる。なお、本技術の第3の実施の形態では、2枚の羽根(遮光部材)を備える第1絞りと、2枚の羽根を備える第2絞りとを想定して説明したがこれに限定されるものではない。第1絞りは、従来の絞りと同様に、絞りの外周から中心に向けて開口面積が狭くなるように(F値が小さくなるように)開閉するものであればよい。羽根の枚数を増やすことにより、45度回転した正方形の開口形状から円形に近い開口形状に近づけることができる。また、第2絞りも、絞りの中心付近を遮光して一対の開口部分を形成するものであればよく、2枚以上の羽根を用いることにより、一対の開口部分の形状を円形に近づけることができることも考えられる。
<5.第4の実施の形態>
本技術の第3の実施の形態では、撮像装置を用いて横位置撮影を撮影した際に明るさおよび基線長を自由に設定できる絞り(絞り510)について説明した。しかしながら、この絞り510では、本技術の第1の実施において示したように縦位置撮影をする場合には、第2絞りを開放して第1絞りのみにしないと(従来の絞りと同じ使用方法にする)、水平方向の視差を取得することが出ない。
そこで、本技術の第4の実施の形態では、横位置撮影および縦位置撮影の両方において明るさおよび基線長を自由に設定できる絞りについて、図30乃至図32を参照して説明する。
[撮像装置の機能構成例]
図30は、本技術の第4の実施の形態の撮像装置600の機能構成の一例を示すブロック図である。
同図において示す撮像装置600は、図21において示した撮像装置500の絞り510に代えて、絞り610を備える。また、撮像装置600は、撮像装置500の各構成に加えて、さらに、図1において示した姿勢検出部140を備える。なお、絞り610については、図31および図32において説明する。
姿勢検出部140は、図1において示した姿勢検出部140と同様に、撮像装置600の姿勢を検出し、検出した撮像装置600の姿勢に関する情報(姿勢情報)を、視差検出部320および絞り駆動設定部530に供給する。
なお、図30において示す絞り駆動設定部530では、姿勢検出部140から供給された姿勢情報に基づいて、縦位置撮影および横位置撮影のどちらであるか(撮像装置600の姿勢)を検出し、その検出した姿勢に応じて絞り610の駆動を設定する。
[絞りの一例]
図31は、本技術の第4の実施の形態の絞り610の一例を模式的に示す図である。
絞り610は、図22において示した絞り510と同じものである第1絞りおよび第2絞りに加えて、上下に一対の開口部分を生成するために、左右方向から突出することにより絞りの中心付近を遮光する第3絞りを備える。図31(a)では、上下に2つの開口部分が形成されている状態の絞り610を示す。
また、同図(b)では第1絞り(第1絞り511)のみを示して第1絞りの2枚の羽根の形状を示し、同図(c)では第2絞り(第2絞り515)のみを示して第2絞りの2枚の羽根の形状を示す。さらに、同図(d)では、第3絞り(第3絞り611)のみを示して第3絞りの2枚の羽根の形状を示す。
なお、同図(b)および(c)は、図22において示した(b)および(c)と同様のものであるため、ここでは、図31(a)および(d)について説明する。
同図(a)には、上下方向に一対の開口部分が形成されている状態の絞り610が示されている。この絞り610では、第3絞り左側羽根612の右端と第3絞り右側羽根613の左端とが絞り610の中心付近でお互いに接するように第3絞りが配置されている。一方、第2絞り上側羽根516および第2絞り下側羽根517は、開放状態となり、被写体光を遮光しないように配置される。このように、第3絞り611により絞り610の中心付近を左右方向から遮光することにより、絞り610の上下方向に一対の開口部分を形成することができる。
同図(d)には、第3絞り(第3絞り611)を構成する2枚の羽根(第3絞り左側羽根612および第3絞り右側羽根613)のみが示されている。同図(d)に示すように、第3絞り611は、第2絞り515(同図(c)を参照)の配置方向を、90度時計回りに回転させたもの(駆動方向が直交するもの)となる。すなわち、第3絞り左側羽根612および第3絞り右側羽根613は、三角形(山形)の凸形状の突出部が互いに対向するように配置される。なお、この三角形(山形)の凸形状の突出部は、視差方向に平行な直線であって、基線長の中止位置を通過する線の上に三角形の切り込みの頂点が位置するように形成される。なお、第3絞り左側羽根612および第3絞り右側羽根613は、特許請求の範囲に記載の第3部材の一例である。
このように、左右方向から絞り610の中心付近を遮光する第3絞り611を設けることにより、上下方向に一対の開口部分を設けることができる。
[絞りにおける開口面の変化例]
図32は、本技術の第4の実施の形態の絞り610が形成する開口部分の形状の一例を模式的に示す図である。
同図(a)には、撮像装置600を用いて横位置撮影をする場合における絞り610の各羽根の位置が模式的に示されている。横位置撮影をする場合には、同図(a)に示すように、第3絞り(第3絞り左側羽根612および第3絞り右側羽根613)を開放状態にする。また、第2絞り(第2絞り上側羽根516および第2絞り下側羽根517)を、図22乃至図24において示したように、一対の開口部分が形成されるように絞る(閉じる)。そして、第3絞りを開いたまま第2絞りおよび第1絞りを開閉することにより、図22乃至図24において示した絞り510と同様に、横位置撮影において明るさと基線長とを別々に制御することが出来る。
図32(b)には、撮像装置600を用いて縦位置撮影をする場合における絞り610の各羽根の位置が模式的に示されている。縦位置撮影をする場合には、同図(b)に示すように、第2絞りを開放状態にし、第3絞りを、一対の開口部分が形成されるように絞る(閉じる)。そして、第2絞りを開いたまま第3絞りおよび第1絞りを開閉することにより、一対の開口部分の方向が異なる以外は同図(a)と同様の開閉をすることが出来る。すなわち、同図(b)に示すように、第2絞りを開放状態にして第3絞りおよび第1絞りを開閉することにより、縦位置撮影において明るさと基線長とを別々に制御することが出来る。
同図(c)には、撮像装置600を用いて2D画像を撮像する場合における絞り610の各羽根の位置が模式的に示されている。2D画像を撮像する場合には、同図(c)に示すように、第2絞りおよび第3絞りを開放状態にする。そして、第1絞りのみを開閉させる。これにより、不要な被写体光の遮光を行わずに2D画像を撮像することができる。
このように、本技術の第4の実施の形態によれば、横位置撮影および縦位置撮影のいずれにおいても明るさと基線長とを独立して制御することができる。
<6.絞りの変形例>
本技術の第3および第4の実施の形態では、一対の開口部分を形成するとともに、明るさおよび基線長を自由に設定できる絞りについて説明した。なお、第3および第4の実施の形態において示した絞りは、明るさと基線長とを自由に組み合わせることができるが、簡便な3D撮像装置においては、そこまでの性能を必要としない場合が考えられる。この場合には、3D画像の撮像に適したより簡単な構成の絞りが求められる。
そこで、第3および第4の実施の形態より簡単な構成の絞りを、図33を参照して説明する。
[絞りの一例]
図33は、本技術の第3および第4の実施の形態の変形例として、3D画像の撮像に適した簡単な構成の絞りの例を模式的に示す図である。
同図(a)および(b)には、基線長を保持したまま明るさを制御することができる絞りが示されている。同図(a)には、2枚の羽根を備え、視差検出方向(左右)における両端の突出(中側は矩形の切り込み)により視差検出方向に長い長方形の開口面を形成する絞りが示されている。この絞りの長方形の開口面は、視差方向を長辺とする矩形の切欠部が互いに対向する2枚の羽根により形成される。また、同図(b)には、2枚の羽根を備え、山切り状の突出(谷が2つ(隣接する一対の切欠部))により視差検出方向(左右)に一対の開口部分(45度回転した正方形)を形成する絞りが示されている。同図(a)および(b)に示すような絞りを、上下方向(視差検出方向に対して垂直方向)に開閉することにより、基線長を維持しながら明るさを制御することができる。
同図(c)および(d)には、従来の絞りよりも基線長を長くすることができる絞りが示されている。同図(c)には、左右方向(視差検出方向)に長く、上下方向に短い楕円形の開口部分を形成する絞りが示されている。この絞りの楕円形の開口部分は、視差方向を一辺(長い直径)とする半円形の切欠部が互いに対向する2枚の羽根により形成される。また、同図(d)には、左右方向(視差検出方向)に長く、上下方向に短い菱形の開口部分を形成する絞りが示されている。この絞りの菱形の開口部分は、視差方向を底辺とする三角形の切欠部が互いに対向する2枚の羽根により形成される。同図(c)および(d)に示すような絞りを、上下方向に開閉することにより、従来の円形状の開口部分の絞りや、45度回転した正方形状の開口部分の絞りと比較して、基線長を長くすることができる。
同図(e)には、本技術の第3および第4の実施の形態と同様に、明るさと基線長とを独立に制御できる絞りであって、第3および第4の実施の形態の絞りよりも制御が簡単な絞りが示されている。この同図(e)では、視差検出方向(左右)の両端(左端および右端)から絞りの中心に向かって閉じる2枚の羽根と、上下の両端(上端および下端)から絞りの中心に向かって閉じる2枚の羽根とが示されている。なお、左端および右端から絞りの中心に向かって閉じる2枚の羽根は、視差方向に直交する直交方向に平行な辺が対向する一対の羽根である。また、上端および下端から絞りの中心に向かって閉じる2枚の羽根は、視差方向に平行な辺が対向する一対の羽根である。同図(e)で示す絞りは、左右の絞りを開くと基線長が広がり、上下の絞りを開くと明るさが大きくなる。
このような3D画像の撮像に適した絞りを撮像装置に設けることにより、良好な立体感の3D画像を撮像することができる。
このように、本技術の実施の形態によれば、良好な3D画像を撮像することができる。なお、本技術の実施の形態においては、静止画を撮像する撮像装置を想定して説明したが、動画を撮像する撮像装置においても同様に実施することができる。
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、CD(Compact Disc)、MD(MiniDisc)、DVD(Digital Versatile Disk)、メモリカード、ブルーレイディスク(Blu-ray Disc(登録商標))等を用いることができる。
なお、本技術は以下のような構成もとることができる。
(1) 立体視画像を生成するための一対の開口領域を形成する絞りと、
前記一対の開口領域を通過する被写体光をそれぞれ受光して前記立体視画像を生成するための信号を生成する撮像素子と、
前記一対の開口領域の重心間の距離と、前記一対の開口領域を通過する前記被写体光の光量の増減とをそれぞれ独立して制御する制御部と
を具備する撮像装置。
(2) 前記絞りには、前記立体視画像における視差方向において前記一対の開口領域が隣接して形成され、
前記制御部は、前記一対の開口領域のそれぞれの周縁のうち、前記視差方向における両端に対応する周縁の位置と、前記一対の開口領域間で近接する周縁の位置とをそれぞれ変更して制御する
前記(1)に記載の撮像装置。
(3) 前記制御部は、前記光量を増減させる場合には、前記重心間の距離を一定にした状態で、前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さと、他の開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さとを変更させる前記(2)に記載の撮像装置。
(4) 前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さは、前記他の開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さと同一である前記(3)に記載の撮像装置。
(5) 前記制御部は、前記重心間の距離を変更させる場合には、前記一対の開口領域のうちの1つの開口領域に係る前記両端に対応する周縁と前記近接する周縁との間の長さを一定にした状態で、前記重心間の距離を変更させる前記(2)から(4)のいずれかに記載の撮像装置。
(6) 前記重心間の距離を調整する調整部をさらに具備し、
前記制御部は、前記調整部による調整後の前記重心間の距離となるように前記一対の開口領域を制御する
前記(2)から(5)のいずれかに記載の撮像装置。
(7) 前記絞りは、
切欠部を備える一対の部材が前記切欠部が互いに対向するように配置される第1部材と、
突出部を備える一対の部材が前記突出部が互いに対向するように配置される第2部材と
を備える前記(1)から(6)のいずれかに記載の撮像装置。
(8) 前記第1部材および前記第2部材は、前記視差方向に対して直交する直交方向に駆動される前記(7)に記載の撮像装置。
(9) 前記切欠部は、前記重心間の距離の中心を通過して前記第1部材の駆動方向に平行な直線上の1点を山形の頂点とする凹形状であり、
前記突出部は、前記重心間の距離の中心を通過して前記第2部材の駆動方向に平行な直線上の1点を山形の頂点とする凸形状である
前記(8)に記載の撮像装置。
(10) 前記撮像装置の姿勢を検出する姿勢検出部をさらに具備し、
前記絞りは、
切欠部を備える一対の部材が前記切欠部が互いに対向するように配置される第1部材と、
横位置撮影の場合において前記被写体光の一部を遮光する第2部材であって、突出部を備える一対の部材が当該突出部が互いに対向するように配置される第2部材と、
縦位置撮影の場合において前記被写体光の一部を遮光する第3部材であって、突出部を備える一対の部材が当該突出部が互いに対向するように配置される第3部材と
を備え、
前記第2部材の駆動方向と、前記第3部材の駆動方向とは直交し、
前記制御部は、前記検出された姿勢に基づいて前記横位置撮影または前記縦位置撮影のいずれであるかを決定して前記一対の開口領域を制御する
前記(1)から(6)のいずれかに記載の撮像装置。
(11) 前記絞りは、単眼のレンズ系により集光される前記被写体光の光路に配置される前記(1)から(10)のいずれかに記載の撮像装置。
(12) 立体視画像における視差方向において隣接する一対の切欠部をそれぞれ備える一対の部材からなる絞りであって、前記切欠部が互いに対向することにより一対の開口領域を形成する絞りと、
前記一対の開口領域を通過する被写体光をそれぞれ受光して前記立体視画像を生成するための信号を生成する撮像素子と、
前記一対の開口領域の重心間の距離が一定となるように、前記視差方向と直交する直交方向に前記一対の部材をそれぞれ駆動させて前記絞りを制御する制御部と
を具備する撮像装置。
(13) 立体視画像における視差方向を長手方向とする開口領域を形成する絞りと、
前記開口領域を通過する被写体光を受光して前記立体視画像を生成するための信号を生成する撮像素子と、
前記視差方向における前記開口領域の長さが、前記視差方向と直交する直交方向における前記開口領域の長さよりも長くなるように前記絞りを制御する制御部と
を具備する撮像装置。
(14) 前記絞りは、切欠部を備える一対の部材が前記切欠部が互いに対向することにより前記開口領域を形成し、
前記制御部は、前記一対の部材を前記直交方向へそれぞれ駆動させて前記絞りを制御する
前記(13)に記載の撮像装置。
(15) 前記切欠部は、前記視差方向を長辺とする矩形、前記視差方向を底辺とする三角形、または、前記視差方向を一辺とする半円形である前記(13)に記載の撮像装置。
(16) 前記絞りは、前記視差方向に平行な辺を備え、当該辺が対向する一対の第1部材と、前記直交方向に平行な辺を備え、当該辺が対向する一対の第2部材とにより前記開口領域を形成する前記(13)に記載の撮像装置。
(17) 立体視画像を生成するための一対の開口領域を形成する絞りにおける前記一対の開口領域の重心間の距離を制御する第1制御手順と、
前記一対の開口領域を通過する前記被写体光の光量の増減を、前記重心間の距離とは独立して制御する第2制御手順と、
を具備する絞り制御方法。
(18) 立体視画像を生成するための一対の開口領域を形成する絞りにおける前記一対の開口領域の重心間の距離を制御する第1制御手順と、
前記一対の開口領域を通過する前記被写体光の光量の増減を、前記重心間の距離とは独立して制御する第2制御手順と、
をコンピュータに実行させるプログラム。