JPWO2012002070A1 - 単眼立体撮像装置 - Google Patents

Abstract

本発明の一態様に係る単眼立体撮像装置は、ズームレンズ及び絞りを含む撮影光学系と、前記撮影光学系を通過した光束を複数の光束に分割する瞳分割部と、前記複数の光束をそれぞれ受光して左眼用の画像及び右眼用の画像を連続的に取得する撮像部と、ズームレンズ駆動部と、前記絞りを駆動して、該絞りの開口部の開口量を変更する絞り駆動部と、前記左眼用の画像及び前記右眼用の画像を立体画像として認識可能に表示させる表示部と、前記左眼用の画像及び右眼用の画像を前記表示部に立体表示させる表示制御部と、焦点距離の変更指示を入力する入力部と、前記焦点距離の変更指示に応じて前記ズームレンズを移動させるように前記ズームレンズ駆動部を制御するとともに、前記ズームレンズの移動前後で前記表示部に立体表示された左眼用の画像と右眼用の画像との立体感が略一定に保たれるように前記絞り駆動部を制御する制御部とを備える。

Description

本発明は単眼立体撮像装置に係り、特に撮影レンズの左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左眼用の画像及び右眼用の画像を取得する技術に関する。

特許文献１には、単一の撮影レンズ及び撮像素子を用いて視差画像を撮影することができる視差画像入力装置が開示されている。

このように単一の撮影レンズを用い、単一の撮影レンズを通過した光束を複数の光束に分離すること（瞳分割）により視差画像を撮影する（以下、瞳分割方式という）単眼３Ｄカメラにおいては、合焦位置の視差が０となり、非合焦位置はデフォーカス量に応じて視差が生じる。そのため、フォーカスレンズが移動され、フォーカスポイントが変更されると、デフォーカス量に応じて付けられた視差（以下、視差量という）が変更される。

特開平１０−４２３１４号公報

単眼３Ｄカメラを用いて立体表示用の画像を撮影する時には、撮影された左眼用の画像（以下、左眼用画像という）及び右眼用の画像（以下、右眼用画像という）を立体表示して、どのような画像が撮影されているかを確認できるようになっている。

瞳分割方式の単眼３Ｄカメラでは、ピントの合っていない位置（通常の２Ｄカメラでボケる位置）にある被写体には視差が生じる。瞳分割方式の単眼３Ｄカメラでは、合焦している被写体の視差は０となる。一方、合焦している被写体より手前（３Ｄカメラに近い側）にある被写体は表示面から観察者（ユーザー）側に飛び出すように見え、合焦している被写体より奥（３Ｄカメラから遠い側）にある被写体はユーザーから見て表示面よりも遠い位置にあるように見える。

２Ｄカメラにおいてボケる量が大きくなる条件の下では、単眼３Ｄカメラにおいては視差量が大きくなる。ピントの合わない位置にある被写体を２Ｄカメラで撮影した場合には、焦点距離が短い（ワイド側）場合には、被写界深度は深くなるためボケる量は小さくなり、焦点距離が長い（テレ側）場合には被写界深度は浅くなるためボケる量は大きくなる。すなわち、単眼３Ｄカメラにおいて、ズームレンズを移動させて焦点距離が短くなる方向（テレ端→ワイド端への方向）にズーム操作を行うと、開散方向視差（表示面から引っ込む方向）及び過大視差（表示面から飛び出す方向）（以下、立体感という）が小さくなり、焦点距離が長くなる方向（ワイド端→テレ端への方向）にズーム操作を行うと、立体感が大きくなる。

したがって、動画やライブビュー画像（スルー画像）撮影時にズーム操作が行われると、立体感の変化により撮影者が不快感を引き起こす可能性がある。これは、瞳分割方式の単眼３Ｄカメラに特有の現象である。

しかしながら、特許文献１には、視差の調整に関する記載はない。

特開２０１０−８１０１０号公報には、ズーム操作中には視差を小さくした３次元表示又は２次元表示を行うことが記載されている。しかしながら、これは２つの撮像系を用いて視差画像を撮影する複眼３Ｄカメラの場合に、撮影部毎のモータ及び機構の差異に起因する立体感の変化を防止するためのものである。したがって、撮影部が１つの単眼３Ｄカメラにそのまま適用することはできないし、単眼３Ｄカメラに特有の現象によって生じる問題点を解決することはできない。

本発明はこのような事情に鑑みてなされたもので、単眼３Ｄカメラを用いてスルー画像、動画の撮影中にズームレンズが移動された場合においても、立体表示された左眼用画像及び右眼用画像の立体感を略一定に保つことで撮影者の不快感を軽減することができる単眼立体撮像装置を提供することを目的とする。

本発明の第１の態様に係る単眼立体撮像装置は、ズームレンズ及び絞りを含む撮影光学系と、前記撮影光学系を通過した光束を複数の光束に分割する瞳分割部と、前記瞳分割部により分割された複数の光束をそれぞれ受光して左眼用の画像及び右眼用の画像を連続的に取得する撮像部と、前記ズームレンズを移動させるズームレンズ駆動部と、前記絞りを駆動して、該絞りの開口部の開口量を変更する絞り駆動部と、前記左眼用の画像及び前記右眼用の画像を立体画像として認識可能に表示させる表示部と、前記連続的に取得された左眼用の画像及び右眼用の画像を前記表示部に立体表示させる表示制御部と、焦点距離の変更指示を入力する入力部と、前記入力部により入力された焦点距離の変更指示に応じて前記ズームレンズを移動させるように前記ズームレンズ駆動部を制御するとともに、前記ズームレンズの移動前後で前記表示部に立体表示された左眼用の画像と右眼用の画像との立体感が略一定に保たれるように前記絞り駆動部を制御する制御部とを備える。

上記第１の態様に係る単眼立体撮像装置によれば、焦点距離の変更指示に応じてズームレンズを移動させるとともに、ズームレンズの移動前後で表示部に立体表示された左眼用の画像と右眼用の画像との立体感が略一定に保たれるように絞りを駆動して開口部の開口量を変更させる。これにより、動画の撮影中にズームレンズが移動された場合においても、立体表示された左眼用画像及び右眼用画像の立体感を略一定に保つことで撮影者の不快感を軽減することができる。なお、略一定とは、絞り駆動段数が制限されている場合（連続的に絞りを駆動できない場合）には立体感を完全に一定に保つことができず、立体感が微小量だけ移動してしまうことを含む概念である。

本発明の第２の態様に係る単眼立体撮像装置は、上記第１の態様において、前記制御部は、前記ズームレンズ駆動部により焦点距離が大きくなる方向に前記ズームレンズが移動されると、前記開口量が小さくなるように前記絞り駆動部により前記絞りを駆動するように構成したものである。

上記第２の態様に係る単眼立体撮像装置によれば、焦点距離が大きくなる方向にズームレンズが移動されると、立体感が大きくなるため、絞りの開口量を小さくして立体感を小さくする。これにより、焦点距離の変化によらず立体感を略一定に保つことができる。

本発明の第３の態様に係る単眼立体撮像装置は、上記第１又は第２の態様において、前記制御部は、前記ズームレンズ駆動部により焦点距離が小さくなる方向に前記ズームレンズが移動されると、前記開口量が大きくなるように前記絞り駆動部により前記絞りを駆動するように構成したものである。

上記第３の態様に係る単眼立体撮像装置によれば、焦点距離が小さくなる方向にズームレンズが移動されると、立体感が小さくなるため、絞りの開口量を大きくして立体感を大きくする。これにより、焦点距離の変化によらず立体感を略一定に保つことができる。

本発明の第４の態様に係る単眼立体撮像装置は、上記第１から第３のいずれかの態様において、前記制御部は、前記ズームレンズの位置がテレ端にある場合に、前記開口量が最も小さくなるように前記絞り駆動部を制御するように構成したものである。

上記第４の態様に係る単眼立体撮像装置によれば、ズームレンズの位置がテレ端にある場合には、焦点距離が小さくなる方向にしかズームレンズは移動されないため、開口量が最も小さくなるように絞りが制御される。これにより、絞りにより立体感の調整ができないという事態を避けることができる。

本発明の第５の態様に係る単眼立体撮像装置は、上記第１から第４のいずれかの態様において、前記制御部は、前記ズームレンズの位置がワイド端にある場合に、前記開口量が最も大きくなるように前記絞り駆動部を制御するように構成したものである。

上記第５の態様に係る単眼立体撮像装置によれば、ズームレンズの位置がワイド端にある場合には、焦点距離が大きくなる方向にしかズームレンズは移動されないため、開口量が最も大きくなるように絞りが制御される。これにより、絞りにより立体感の調整ができないという事態を避けることができる。

本発明の第６の態様に係る単眼立体撮像装置は、上記第１から第５のいずれかの態様において、前記絞りは、前記開口量がｎ段（ｎは２以上の自然数）で駆動可能であり、前記ズームレンズは、焦点距離が前記ｎより大きいｍ段（ｍは２以上の自然数）で駆動可能であり、前記制御部は、前記入力部により焦点距離が大きくなる方向への焦点距離の変更指示が入力された場合には、前記ズームレンズの移動前に前記絞りを１段絞り、前記ズームレンズが所定の段数だけ移動されるごとに前記絞りを１段絞るように前記ズームレンズ駆動部及び前記絞り駆動部を制御するように構成したものである。

上記第６の態様に係る単眼立体撮像装置によれば、絞りはの開口量がｎ段（ｎは２以上の自然数）で駆動可能であり、焦点距離がｎより大きいｍ段（ｍは２以上の自然数）で駆動可能である場合、すなわち開口部が連続的に変更できず、ズームレンズの駆動段数が絞りの駆動段数より多い場合に、焦点距離が大きくなる方向への焦点距離の変更指示が入力された場合には、ズームレンズの移動前に絞りを１段絞り、ズームレンズが所定の段数だけ移動される度に絞りを１段絞る。このように、絞り駆動段数が制限されている場合（連続的に絞りを駆動できない場合）には、立体感を完全に一定に保つことができず、立体感が微小量だけ移動してしまうが、このようにズームレンズ及び絞りを制御することにより、ズームレンズの移動前の状態より立体感が大きくなることはない。したがって、撮影者が感じる違和感をできるだけ小さくすることができる。

本発明の第７の態様に係る単眼立体撮像装置は、請求項６に記載の単眼立体撮像装置において、前記制御部は、前記ズームレンズの駆動を前記ｍ段のうちのｎ段に制限し、前記絞りと前記ズームレンズとを同時に駆動するように前記ズームレンズ駆動部及び前記絞り駆動部を制御するように構成したものである。

上記第７の態様に係る単眼立体撮像装置によれば、開口部が連続的に変更できず、ズームレンズの駆動段数が絞りの駆動段数より多い場合には、ズームレンズの駆動段数と絞りの駆動段数とが同じとなるようにズームレンズの駆動を制限し、ズームレンズと絞りとを同時に駆動する。これにより、ズーミングは不連続となるが、立体感の微小量の変化を無くすことができる。

本発明の第８の態様に係る単眼立体撮像装置は、上記第６の態様において、前記左眼用の画像及び前記右眼用の画像の所定の領域を切り出して電子的に焦点距離を変えるデジタルズーム部を更に備え、前記制御部は、前記ズームレンズ駆動部により前記ズームレンズを移動させる代わりに、前記デジタルズーム部により擬似的に焦点距離を変えるように前記デジタルズーム部を制御するように構成したものである。

上記第８の態様に係る単眼立体撮像装置によれば、左眼用の画像及び右眼用の画像の所定の領域を切り出して電子的に焦点距離を変えるデジタルズーム部により擬似的に焦点距離を変える。これにより、（１）入射する光束の変化による立体感の変更、（２）画角の変化による立体感の変更、の２つの立体感を変更する要因のうちに（１）の要因を無くすことができる。したがって、絞りの駆動段数がズームレンズの駆動段数より小さく微小な立体感の変動が避けられない場合において、撮影者の不快感を軽減することができる。

本発明の第９の態様に係る単眼立体撮像装置は、上記第１から第８のいずれかの態様において、前記絞りの開口部の開口量と焦点距離との関係を記憶する記憶部を更に備え、前記制御部は、前記記憶部に記憶された開口量と焦点距離との関係に基づいて前記絞り駆動部を制御するように構成したものである。

本発明の第１０の態様に係る単眼立体撮像装置は、前記左眼用の画像及び前記右眼用の画像の明るさが所定の値以下である場合に、前記左眼用の画像及び前記右眼用の画像を合成して２次元画像を生成する２次元画像生成部を更に備え、前記表示部は、２次元画像が表示可能であり、前記表示制御部は、前記２次元画像生成部により２次元画像が生成された場合には、当該生成された２次元画像を前記表示部に表示させるように構成したものである。

上記第１０の態様に係る単眼立体撮像装置によれば、左眼用の画像及び右眼用の画像の明るさが所定の値以下である場合、すなわち表示される３次元の立体画像が暗く視認性が悪くなる場合には、左眼用の画像及び右眼用の画像を合成して２次元画像を生成し、これを表示する。これにより、視認性を向上させることができる。また、２次元画像は３次元画像より立体感は小さくなる方向であるため、立体感が大きくなることによる撮影者の違和感も軽減することができる。

本発明によれば、単眼３Ｄカメラを用いてスルー画像又は動画の撮影中にズームレンズが移動された場合においても、立体表示された左眼用画像及び右眼用画像の立体感を略一定に保つことで撮影者の不快感を軽減することができる。

本発明の第１の実施の形態に係る単眼立体撮像装置１の正面斜視図 単眼立体撮像装置１の背面斜視図 単眼立体撮像装置１の位相差ＣＣＤの構成例を示す図 単眼立体撮像装置１の位相差ＣＣＤの構成例を示す図（主画素） 単眼立体撮像装置１の位相差ＣＣＤの構成例を示す図（副画素） 撮影レンズ、絞り、及び位相差ＣＣＤの主、副画素の１画素ずつを示した図 図４の要部拡大図（瞳分割が施されていない通常画素） 図４の要部拡大図（瞳分割が施されている位相差画素） 図４の要部拡大図（瞳分割が施されている位相差画素） 前ピン時に撮像素子に結像する像の分離状態を示す図 合焦（ベストフォーカス）時に撮像素子に結像する像の状態を示す図 後ピン時に撮像素子に結像する像の分離状態を示す図 単眼立体撮像装置１内部のブロック図 焦点距離と立体感との関係を示す図 ワイドからテレ方向へズーミングさせる場合の焦点距離と立体感との関係を示す図 テレからワイド方向へズーミングさせる場合の焦点距離と立体感との関係を示す図 開口量が小さい場合において後ピンとなる像についての絞り１６の開口量と視差との関係を説明するための図 開口量が大きい場合において後ピンとなる像についての絞り１６の開口量と視差との関係を説明するための図 単眼立体撮像装置１のスルー画像の撮影処理のフローチャート 絞りの駆動段数がズームレンズの駆動段数より少ない場合に、立体感を一定に保つ場合の焦点距離と立体感との関係を示す図 単眼立体撮像装置２のスルー画像の撮影処理のフローチャート 単眼立体撮像装置３のスルー画像の撮影処理のフローチャート 絞りの駆動段数がズームレンズの駆動段数より少ない場合に、立体感を一定に保つ場合の焦点距離と立体感との関係を示す図

以下、添付図面に従って本発明に係る単眼立体撮像装置の実施の形態について説明する。

＜第１の実施の形態＞
［撮像装置の全体構成］
図１は、本発明の第１の実施の形態に係る単眼立体撮像装置１を示す正面斜視図である。図２は、上記単眼立体撮像装置１の背面斜視図である。この単眼立体撮像装置１は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記憶メディアに記録するデジタルカメラである。

単眼立体撮像装置１のカメラボディ１０は、横長の四角い箱状に形成されている。カメラボディ１０の正面には、図１に示すように、レンズユニット１２、ストロボ２１等が配設されている。また、カメラボディ１０の上面にはシャッタボタン２２、電源／モードスイッチ２４、モードダイヤル２６等が配設されている。一方、カメラボディ１０の背面には、図２に示すように、液晶モニタ２８、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、再生ボタン３６、ＢＡＣＫボタン３８等が配設されている。

なお、図示しないカメラボディ１０の下面には、三脚ネジ穴と、開閉自在なカバーを介してバッテリ挿入部とメモリカードスロットとが設けられており、このバッテリ挿入部とメモリカードスロットにバッテリとメモリカードが装填される。

レンズユニット１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ２４によってカメラのモードを撮影モードに設定することにより、カメラボディ１０から繰り出される。なお、レンズユニット１２のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

ストロボ２１は、主要被写体に向けてストロボ光を照射するものである。

シャッタボタン２２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。単眼立体撮像装置１は、撮影モードで動作しているときは、このシャッタボタン２２が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。また、単眼立体撮像装置１は、投影モードで動作しているときは、このシャッタボタン２２が「全押し」されることにより、投影を実行する。

電源／モードスイッチ２４は、単眼立体撮像装置１の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、単眼立体撮像装置１のモードを設定するモードスイッチとしての機能とを併せ持つ操作部材である。電源／モードスイッチ２４は、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。単眼立体撮像装置１は、電源／モードスイッチ２４をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ２４をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル２６は、単眼立体撮像装置１の撮影モードを設定する撮影モード設定用の操作部材として機能する。このモードダイヤル２６の設定位置により、単眼立体撮像装置１の撮影モードが様々なモードに設定される。単眼立体撮像装置１の撮影モードは、例えば、平面画像の撮影を行う「平面画像撮影モード」、立体視画像（３Ｄ画像）の撮影を行う「立体視画像撮影モード」、動画撮影を行う「動画撮影モード」、立体パノラマ撮影の撮影を行う「立体パノラマ撮影モード」等である。

液晶モニタ２８は、立体視画像（左眼用画像及び右眼用画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示可能な立体表示装置である。立体視画像が液晶モニタ２８に入力された場合には、液晶モニタ２８のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像や使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。なお、液晶モニタ２８の形態はこれに限らず、立体視画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左眼用画像と右眼用画像とを個別に見ることができるものでもよい。なお、液晶モニタの代わりに有機ＥＬ（ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）等を用いてもよい。

ズームボタン３０は、ズームを指示するズーム指示用の操作部材として機能する。ズームボタン３０は、望遠側へのズームを指示するズームテレボタン３０Ｔと、広角側へのズームを指示するズームワイドボタン３０Ｗとからなる。単眼立体撮像装置１においては、撮影モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されると、レンズユニット１２の焦点距離が変化する。また、再生モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されると、再生中の画像が拡大、縮小する。

十字ボタン３２は、上下左右の４方向の指示を入力するための操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作用の操作部材）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン３４は、液晶モニタ２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

再生ボタン３６は、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ２８に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン３８は、入力操作のキャンセルや１つ前の操作状態に戻すことを指示するボタンとして機能する。

［撮影光学系、撮像素子の構成例］
レンズユニット１２は、撮影レンズ１４、絞り１６、位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）」という）１７で構成される。

撮影レンズ１４は、撮影レンズ１４の焦点距離を変化させるズームレンズ、撮影レンズ１４の焦点調整を行うフォーカスレンズを含む多数のレンズから構成される撮像光学系である。ズームレンズ、フォーカスレンズは光軸方向に連続的に移動可能である。

絞り１６は、例えば虹彩絞りで構成されている。絞り１６の開口部は、その開口量が一例で最大絞り値がＦ２．８、最小絞り値がＦ１１となるように構成され、その間で開口量を連続的に又は段階的に変更できるように構成されているものとする。

図３Ａから図３Ｃは、位相差ＣＣＤ１７の構成例を示す図である。

位相差ＣＣＤ１７は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主画素及び副画素によってそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

図３Ｂに示すように、位相差ＣＣＤ１７の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられている。一方、図３Ｃに示すように、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

図４は撮影レンズ１４及び位相差ＣＣＤ１７の主画素、副画素の１画素ずつを示した図であり、図５Ａから図５Ｃは図４の要部拡大図である。

位相差ＣＣＤ１７の主画素の前面側（マイクロレンズＬ側）には、遮光部材１７Ａが配設され、副画素の前面側には、遮光部材１７Ｂが配設される。遮光部材１７Ａ、１７Ｂは瞳分割部材としての機能を有している。図５Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。図５Ｂに示すように遮光部材１７Ａは、主画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、主画素には、射出瞳を通過する光束の光軸の左側のみが受光される。また、図５Ｃに示すように遮光部材１７Ｂは、副画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、副画素には、射出瞳を通過する光束の光軸の右側のみが受光される。

このように位相差ＣＣＤ１７の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで、位相差ＣＣＤ１７で立体視画像を撮影する仕組みについて説明する。

図６Ａから図６Ｃは、フォーカスレンズがそれぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。なお、図６Ａから図６Ｃでは、フォーカスによる分離の違いを比較するために絞り１６を省略している。

図６Ｂに示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）。一方、図６Ａ及び図６Ｃに示すように前ピン及び後ピンとなる像は、撮像素子１７上の異なる位置に結像する（分離する）。

従って、左右方向に瞳分割された被写体像を位相差ＣＣＤ１７を介して取得することにより、フォーカス位置に応じて視差の異なる左眼用画像及び右眼用画像（立体視画像）を取得することができる。

なお、上記構成の位相差ＣＣＤ１７は、主画素と副画素とでは、遮光部材１７Ａ、１７Ｂより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、本発明はこれに限定されるものではない。例えば、遮光部材１７Ａ、１７Ｂを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよい。また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

［撮像装置の内部構成］
図７は本発明の第１の実施の形態に係る単眼立体撮像装置１のブロック図である。この単眼立体撮像装置１は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ：ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）４０によって統括制御される。

単眼立体撮像装置１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部４８が設けられている。この操作部４８からの信号はＣＰＵ４０に入力される。ＣＰＵ４０は、操作部４８からの入力信号に基づいて単眼立体撮像装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ２８の表示制御などを行う。

電源／モードスイッチ２４により単眼立体撮像装置１の電源がＯＮされると、電源部５８から各ブロックへ給電され、単眼立体撮像装置１の駆動が開始される。

撮影レンズ１４、絞り１６等を通過した光束は位相差ＣＣＤ１７に結像され、位相差ＣＣＤ１７には信号電荷が蓄積される。位相差ＣＣＤ１７に蓄積された信号電荷は、タイミングジェネレータ４５から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１７から読み出された電圧信号は、アナログ信号処理部６０に加えられる。

アナログ信号処理部６０は、位相差ＣＣＤ１７から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）を施して、各画素ごとのＲ、Ｇ、Ｂ信号をサンプリングホールドする。上記電圧信号は、増幅されたのちＡ／Ｄ変換器６１に加えられる。Ａ／Ｄ変換器６１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ６２に出力する。

デジタル信号処理部６３は、画像入力コントローラ６２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。ここで、位相差ＣＣＤ１７の奇数ラインの主画素から読み出される主画像データは、左眼用画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右眼用画像データとして処理される。

デジタル信号処理部６３で処理された左眼用画像データ及び右眼用画像データ（３Ｄ画像データ）は、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記憶するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。

ＶＲＡＭ５０から読み出された３Ｄ画像データは、３Ｄ画像信号処理部６４で短冊状の画像断片に加工される。画像断片に加工された３Ｄ画像データは、ビデオエンコーダ６６においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ（３Ｄ画像表示装置）２８に出力される。これにより、３Ｄの被写体像が連続的に液晶モニタ２８の表示画面上に表示される。

撮影者は、この液晶モニタ２８にリアルタイムに表示される画像（スルー画像）を見ることにより、撮影画角を確認することができる。ズームテレボタン３０Ｔ、ズームワイドボタン３０Ｗが操作されると、ＣＰＵ４０はレンズ駆動部２７を介してズームレンズを光軸に沿って移動させて焦点距離を変更させる。

図８は、焦点距離と立体感との関係を示すグラフである。液晶モニタ２８に表示される３Ｄの被写体像は、合焦位置にある被写体が視差０、すなわち表示面上に表示される。合焦位置より奥側（位相差ＣＣＤ１７から遠い側）にある被写体が表示面から引っこむように表示される。合焦位置より手前側（位相差ＣＣＤ１７に近い側）にある被写体が表示面から飛び出すように表示される。この表示面から引っ込む方向の視差（開散方向視差）及び表示面から飛び出す方向の視差（過大視差）の和を立体感と定義する。

図８に示すように、立体感は焦点距離によって変化する。焦点距離が大きくなる、すなわちズーム位置がテレ側に移動されると立体感は大きくなる。一方、焦点距離が小さくなる、すなわちズーム位置がワイド側に移動されると立体感は小さくなる。スルー画像や動画が液晶モニタ２８に表示されている時にズームボタン３０が操作されると、焦点距離の変化により立体感が変わり、撮影者が違和感を感じてしまう。

したがって、ＣＰＵ４０は、図９Ａ及び図９Ｂに示すように焦点距離の変化に応じて絞り１６の開口量を制御することにより、焦点距離の前後で立体感を一定にする。図１０Ａ及び図１０Ｂは、後ピンとなる像についての絞り１６の開口量と視差との関係を説明する図である。図１０Ａは開口量が小さい場合であり、図１０Ｂは開口量が大きい場合である。図６Ｃで説明したように、後ピンとなる像は撮像素子上の異なる位置に結像する（分離する）が、その分離量は図１０Ａに示す開口量が小さい場合には小さく、図１０Ｂに示す開口量が大きい場合には大きい。すなわち、絞り１６の開口量が小さい場合には視差が小さくなり、絞り１６の開口量が大きい場合には視差が大きくなる。

すなわち、ＣＰＵ４０は、図９Ａに示すように、ズームレンズがワイド端からテレ端の方向（焦点距離が大きくなる方向）へ移動された場合には、立体感が大きくなるため、絞り１６の開口部の開口量を小さくして立体感を小さくしていく。これにより、焦点距離が大きくなっても、ワイド端における立体感のまま、立体感が一定に保たれる。また、図９Ｂに示すように、ズームレンズがテレ端からワイド端の方向（焦点距離小さくなる方向）へ移動された場合には、立体感が小さくなるため、絞り１６の開口部の開口量を大きくして立体感を大きくしていく。これにより、焦点距離が小さくなっても、テレ端における立体感のまま、立体感が一定に保たれる。

ＣＰＵ４０の記憶領域には、絞り１６の開口部の大きさと焦点距離との関係が記憶されている。この関係は、被写体の明るさに応じて複数記憶されている。ＣＰＵ４０は、３Ｄ画像データから絞り１６の開口部の大きさを取得し、どの関係を用いればよいかを決定する。ＣＰＵ４０は、ズームレンズの駆動量、すなわち焦点距離の変更量と、決定された開口部の大きさと焦点距離との関係とに基づいて、絞り駆動部４６を介して絞り１６の開口部の大きさを変え、液晶モニタ２８に表示された立体画像の立体感が一定に保たれるようにする。

被写体の明るさによっては絞り１６によっては、立体感の調整が不可能な場合も考えられる。例えば、被写体の明るさが明るく、かつズームレンズがワイド端にない場合である。この場合には、ＣＰＵ４０は、立体感の調整が可能なレベルまで絞り１６の開口部を開き、その後立体感の調整を行えばよい。すなわち、ＣＰＵ４０は、ＣＰＵ４０の記憶領域に記憶された開口部の大きさと焦点距離との関係のうちの絞り１６の開口部の大きさが大きい場合の関係を用いると決定する。そして、ＣＰＵ４０は、この関係を用いて現在の焦点距離に対応する絞り１６の開口部の大きさを取得し、この大きさまで開口部の開口量を大きくする。その後、ＣＰＵ４０は、決定された関係を用いてズームレンズの移動に応じて絞り１６の開口部を駆動すればよい。この場合には、ワイド端での絞り１６の開口部は最も大きく（本実施の形態ではＦ１１）なる。

また、被写体の明るさが暗く、かつズームレンズがテレ端にない場合も考えられる。この場合には、ＣＰＵ４０は、立体感の調整が可能なレベルまで絞り１６の開口部を閉じ、その後立体感の調整を行えばよい。すなわち、ＣＰＵ４０は、ＣＰＵ４０の記憶領域に記憶された開口部の大きさと焦点距離との関係のうちの絞り１６の開口部の大きさが小さい場合の関係を用いると決定する。そして、ＣＰＵ４０は、この関係を用いて現在の焦点距離に対応する絞り１６の開口部の大きさを取得し、この大きさまで開口部の開口量を小さくする。その後、ＣＰＵ４０は、決定された関係を用いてズームレンズの移動に応じて絞り１６の開口部を駆動すればよい。この場合には、テレ端での絞り１６の開口部は最も小さく（本実施の形態ではＦ２．８）となる。

図７の説明に戻る。操作部４８のシャッタボタン２２の第１段階の押下（半押し）があると、ＣＣＤ４０は、ＡＦ（ａｕｔｏｍａｔｉｃ ｆｏｃｕｓ ａｄｊｕｓｔｍｅｎｔ）動作及びＡＥ（ａｕｔｏｍａｔｉｃ ｅｘｐｏｓｕｒｅ）動作を開始させ、レンズ駆動部４７を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置に移動するように制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。ＡＦ処理部４２は、コントラストＡＦ処理を行う場合には、左眼用画像データ及び右眼用画像データの少なくとも一方の画像データから、所定のフォーカス領域内の画像データの高周波成分を抽出する。そして、ＡＦ処理部４２は、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、ＡＦ処理部４２は、位相差ＡＦ処理を行う場合には、左眼用画像データ及び右眼用画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。

なお、ＡＦ動作は、シャッタボタン２２の第１段階の押下（半押し）がある場合のみでなく、右眼用画像データ、左眼用画像データを連続的に撮影する場合にも行われる。右眼用画像データ、左眼用画像データを連続的に撮影する場合とは、例えばライブビュー画像（スルー画像）を撮影する場合や、動画を撮影する場合が挙げられる。この場合には、ＡＦ処理部４２は、連続的に右眼用画像データ、左眼用画像データを撮影している間、常時繰り返しＡＦ評価値の演算を行って、連続的にフォーカスレンズ位置を制御するコンティニュアスＡＦを行う。

ＣＰＵ４０は、必要に応じてレンズ駆動部４７を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

また、シャッタボタン２２の半押し時にＡ／Ｄ変換器６１から出力される画像データは、ＡＥ／ＡＷＢ検出部４４に取り込まれる。

ＡＥ／ＡＷＢ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ／ＡＷＢ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１６の絞り値及び位相差ＣＣＤ１７の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定する。ＣＰＵ４０は、上記決定した絞り値に基づいて絞り駆動部４６を介して絞り１６を制御するとともに、決定したシャッタスピードに基づいてタイミングジェネレータ４５を介して位相差ＣＣＤ１７での電荷蓄積時間を制御する。

ＡＥ動作及びＡＦ動作が終了し、シャッタボタン２２の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器６１から出力される主画素及び副画素に対応する左眼用画像（主画像）及び右眼用画像（副画像）の２枚分の画像データが画像入力コントローラ６２からＶＲＡＭ５０に入力され、一時的に記憶される。

ＶＲＡＭ５０に一時的に記憶された２枚分の画像データは、デジタル信号処理部６３により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びＶＲＡＭ５０に記憶される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部６５に出力され、ＪＰＥＧ（ｊｏｉｎｔ ｐｈｏｔｏｇｒａｐｈｉｃ ｅｘｐｅｒｔｓ ｇｒｏｕｐ）などの所定の圧縮処理が実行されたのち、再びＶＲＡＭ５０に記憶される。

ＶＲＡＭ５０に記憶された２枚分のＹＣデータ（圧縮データ）から、３Ｄ画像信号処理部６４でマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成される。このＭＰファイルは、メディア・コントローラ（メディア記録制御部）５２により読み出され、記録メディア５４に記録される。

単眼立体撮像装置１は、動画、静止画のみでなく、音声の記録再生が可能である。マイクロフォン５７は、外部の音声の入力を受け付ける。スピーカ５６は、記録された音声を出力する。音声入出力処理回路５５は、音声を記録する場合には、マイクロフォン５７から入力された音声の符号化を行い、記録済みの音声の再生を行う場合には、記録された音声の復号化を行って、スピーカ５６に出力する。

［撮像装置の動作の説明］
次に、単眼立体撮像装置１の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記憶されている。

図１１は、ライブビュー画像の撮影、表示処理の流れを示すフローチャートである。

撮影の開始指示が入力される（ステップＳ１０）と、ＣＰＵ４０は、撮影レンズ１４及び絞り１６を初期位置へ駆動し、撮影レンズ１４を通過した被写体光が絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。位相差ＣＣＤ１７の主画素及び副画素に蓄えられた信号電荷は、タイミングジェネレータ４５により出力されるタイミング信号に従って、信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出される。読み出された電圧信号は、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してデジタル信号処理部６３に順次入力され、左眼用画像データ及び右眼用画像データが生成される。生成された左眼用画像データ及び右眼用画像データは順次ＶＲＡＭ５０に入力される。ＶＲＡＭ５０から順次左眼用画像データ及び右眼用画像データが読み出され、３Ｄ画像信号処理部６４は読み出された左眼用画像データ及び右眼用画像データに対して輝度／色差信号を生成し、その輝度／色差信号がビデオエンコーダ６６を介して液晶モニタ２８に出力される。液晶モニタ２８には、パララックスバリアが表示されるとともに、その下層の画像表示面に左眼用画像データと右眼用画像データとの短冊状の画像断片が交互に配列して表示される（ステップＳ１１）。これにより、３Ｄのスルー画像が液晶モニタ２８に表示される。

ＣＰＵ４０は、ズーム操作が行われたか、すなわち操作部４８を介してズーミングの指示が入力されたか否かを判断する（ステップＳ１２）。

ズーム操作が行われた場合（ステップＳ１２でＹＥＳ）は、ＣＰＵ４０は、操作部４８からの入力に応じて、レンズ駆動部４７を介してズームレンズを移動させ、撮影レンズ１４の焦点距離を変更させる。また、ＣＰＵ４０は、左眼用画像データと右眼用画像データに基づいて被写体の明るさを求め、ＣＰＵ４０の記憶領域に記憶された焦点距離と開口部の大きさとの関係の中から、求められた被写体の明るさに応じた関係を選択する。そして、ＣＰＵ４０は、ズーム操作が行われる（ステップＳ１２）前の立体感が保たれるように、決定した関係に基づいて絞り駆動部４６を介して絞り１６を駆動し、開口部の大きさを変更させる（ステップＳ１３）。

ズーム操作が行われた場合には、ＣＰＵ４０は、ズームレンズの移動に伴い合焦位置が変わらないように、レンズ駆動部４７を介してフォーカスレンズを移動させる。したがって、合焦位置が変わることによる視差の変動は発生しない。

ズーム操作に応じて絞り１６の開口部の大きさが変更された（ステップＳ１３）後、及びズーム操作が行われていない場合（ステップＳ１２でＮＯ）には、ＣＰＵ４０は、撮影終了指示が入力されたか否かを判断する（ステップＳ１４）。

撮影終了指示が入力されなかった場合（ステップＳ１４でＮＯ）にはステップＳ１１からＳ１４の処理を再度行う。

撮影終了指示（例えば、シャッタボタンの半押し、撮影モードの終了の操作、電源ＯＦＦの操作等）が入力された場合（ステップＳ１４でＹＥＳ）、スルー画像の撮影処理を終了する。

シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ４０に入力され、ＣＰＵ４０は、ＡＦ処理部４２及びＡＥ／ＡＷＢ検出部４４を介してＡＥ／ＡＦ動作を実施する。立体視画像の撮影処理においては、ＡＦ処理部４２は、位相差ＡＦ処理によりＡＦ動作を行う。

シャッタボタンが全押しされると、ＣＰＵ４０にＳ２ＯＮ信号が入力され、ＣＰＵ４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で位相差ＣＣＤ１７を露光する。

位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力された２枚分の画像データは、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してＶＲＡＭ５０に取り込まれ、３Ｄ画像信号処理部６４において輝度／色差信号に変換されたのち、ＶＲＡＭ５０に格納される。ＶＲＡＭ５０に格納された左眼用画像データは、圧縮伸張処理部６５に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、ＶＲＡＭ５０に格納される。

ＶＲＡＭ５０に記憶された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ５２を介して記録メディア５４に記録される。これにより、立体視画像が撮影、記録される。

なお、本実施の形態では、立体視画像を撮影する場合を例に説明したが、単眼立体撮像装置１は、平面画像、立体視画像の両方が撮影可能である。平面画像を撮影する場合には、位相差ＣＣＤ１７の主画素のみを用いて撮影を行うようにすればよい。撮影処理の詳細については立体視画像を撮影する場合と同様であるため、説明を省略する。

以上のようにして記録メディア５４に記録された画像は、再生ボタンにより単眼立体撮像装置１のモードを再生モードに設定することにより、液晶モニタ２８で再生表示させることができる。

再生モードに設定されると、ＣＰＵ４０は、メディア・コントローラ５２にコマンドを出力し、記録メディア５４に最後に記録された画像ファイルを読み出させる。

読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部６５に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオエンコーダ６６を介して液晶モニタ２８に出力される。

画像のコマ送りは、十字キーの左右のキー操作によって行われる。十字キーの右キーが押されると、次の画像ファイルが記録メディア５４から読み出され、液晶モニタ２８に再生表示される。また、十字キーの左キーが押されると、１つ前の画像ファイルが記録メディア５４から読み出され、液晶モニタ２８に再生表示される。

本実施の形態によれば、ライブビュー画像の表示中において、ズームレンズが移動されたとしても液晶モニタ２８に表示された立体画像の立体感を常に一定にすることができ、撮影者の不快感を軽減することができる。

なお、本実施の形態では、ライブビュー画像の撮影、表示を例に説明したが、右眼用画像データ及び左眼用画像データを連続的に取得する場合、例えば、動画撮影時にも適用することができる。ライブビュー画像の撮影と動画撮影との差異は、ライブビュー画像の場合には連続的に撮影した右眼用画像データ及び左眼用画像データを記録しないのに対し、動画撮影の場合には、図１１に示す処理のほかに、連続的に撮影した右眼用画像データ及び左眼用画像データを記録メディア５４に記録する処理を行う点のみが異なる。なお、連続的に撮影した右眼用画像データ及び左眼用画像データを記録メディア５４に記録する処理は、既に公知であるため説明を省略する。

また、本実施の形態では、ＣＰＵ４０の記憶領域に絞り１６の開口部の大きさの変更量と、焦点距離の変更量との関係がグラフとして記憶され、ＣＰＵ４０は、ズームレンズの駆動量と記憶された関係とに基づいて絞り１６の開口部の大きさを変えたが、絞り１６の開口部の大きさを変える方法はこれに限られない。例えば、ズームレンズ移動前の右眼用画像データと左眼用画像データから開散方向視差の最大値及び過大視差の最大値を取得し、ズームレンズの移動に伴って変更される右眼用画像データと左眼用画像データからリアルタイムに開散方向視差の最大値及び過大視差の最大値を取得し、開散方向視差の最大値及び過大視差の最大値が変更されないように絞り１６の開口部を変えるようにしてもよい。この場合には、ＣＰＵ４０の記憶領域に情報を記憶させる必要はない。また、ＣＰＵ４０の記憶領域に記憶される絞り１６の開口部の大きさの変更量と、焦点距離の変更量との関係は、図９等に示すグラフの形式には限られない。例えば、ズームレンズの位置と絞り１６の開口部の開口量と開散方向視差及び過大視差の最大値との対応マップのような形式でもよい。

また、本実施の形態では、開散方向視差と過大視差との和である立体感が一定となるようにズームレンズの移動に応じて絞り１６を駆動させたが、立体視の視認性に大きく影響を及ぼすのは過大視差である。したがって、過大視差の最大値が略一定となるようにズームレンズの移動に応じて絞り１６を駆動させることで、立体感を略一定とするようにしてもよい。

また、主要被写体（人物の顔、画面中央の被写体等）の視差も立体視の視認性に大きく影響を及ぼす。したがって、主要被写体の視差が略一定となるようにズームレンズの移動に応じて絞り１６を駆動させることで、立体感を略一定とするようにしてもよい。

また、本実施の形態では、絞り１６が絞り値がＦ２．８〜Ｆ１１の間で連続的に変更できるように構成されていたが、虹彩絞りでない絞り等の開口部が連続的に変更できない絞りを用いることもできる。例えば、絞りが段階的に変更されるのに対し、ズームレンズは無段階（連続的）に変更可能である。すなわち絞りの駆動段数に比べてズームレンズの駆動段数が多い場合である。

図１２は、絞り値がＦ２．８〜Ｆ１１の間で１／３ＥＶ（これは一例である）ステップで変更可能な絞り１６’のうち、５段階を立体感変更に用いた場合の焦点距離と立体感との関係を示すグラフである。図１２は、ズームレンズがワイド端からテレ端（焦点距離が大きくなる方向）へ移動された場合の立体感の変化を示す。この場合には、図９に示す場合と異なり、絞りの開口部を連続的に変更できない。

そのため、ＣＰＵ４０は、ズームレンズがワイド端にある状態で絞り１６’を１段絞り（すなわち、開口部の大きさを１段小さくする）、立体感を微少量だけ小さくする。ズームレンズがワイド端にない場合においても同様に、ズームレンズの移動前にまず絞り１６’を１段絞る。

その後、ズームレンズがテレ方向（焦点距離が大きくなる方向）へ移動されると、ズームレンズの移動に伴い立体感が大きくなる。そして、ズームレンズがワイド端にある状態における立体感と同じ立体感となったときに、ＣＰＵ４０は絞り１６’を更に１段絞る。これにより、立体感が微少量だけ小さくなる。これを繰り返すことにより、立体感が段階的に変更され、立体感が略一定に保たれることとなる。

この絞り１６’を１段絞るときの焦点距離をＣＰＵ４０の記憶領域に記憶させておき、ＣＰＵ４０はこれに基づいて絞りの開口部の大きさを変更するようにしてもよい。また、ＣＰＵ４０が左眼用画像データ、右眼用画像データから立体感をリアルタイムで取得し、ズームレンズの移動前の立体感と同じとなった場合に絞り１６’の開口部の大きさを変更するようにしてもよい。

このようにすれば、立体感を略一定（微少量の変化を含む）に保つことができる。また、立体感が微少量だけ変化するとしてもズームレンズの移動前の状態より立体感が大きくなることはない。したがって、撮影者が感じる違和感をできるだけ小さくすることができる。

なお、ズームレンズがテレ端からワイド端（焦点距離が小さくなる方向）へ移動された場合には、まずは絞り１６’を駆動せずにズームレンズを移動させ、微少量だけ立体感が小さくなったら絞り１６’を１段開いて（すなわち、開口部の大きさを１段大きくする）、立体感がズームレンズの移動前の立体感と一致するようにすればよい。

立体感を略一定に保つ場合に変化する「微少量」は、立体感の調整に用いる絞り駆動段数に起因する。すなわち、絞り駆動段数が決めれば微少量が決まり、微少量を決めれば絞り駆動段数が決まる。そのため、ＣＰＵ４０の記憶領域に、絞り駆動段数又は微小量を予め設定しておく必要がある。

開口部が連続的に変更できない絞り１６’を用いる場合には、ズームレンズの駆動段数と絞り１６’の駆動段数とが同じとなるようにズームレンズの駆動を制限するようにしてもよい。この場合には、ズームレンズの駆動と絞り１６’の駆動とが同時となる。したがって、ズーミングは不連続となるが、立体感の微小量の変化を無くすことができる。

また、本実施の形態では、連続的に移動可能なズームレンズを用いたが、段階的に移動可能なズームレンズを用いるようにしてもよい。

＜第２の実施の形態＞
本発明の第１の実施の形態は、ライブビュー画像の表示中において、ズームレンズが移動されたとしても液晶モニタ２８に表示された立体画像の立体感を常に一定にしたが、立体感を調整することにより液晶モニタ２８に表示される画像が暗くなると、それにより視認性が悪くなる可能性がある。

本発明の第２の実施の形態は、表示される画像、すなわち撮影された画像の明るさが暗くなった場合に２次元画像を表示させることにより、表示された画像が暗くなることによる違和感を軽減するものである。以下、第２の実施の形態に係る単眼立体撮像装置２について説明する。なお、撮像装置の全体構成は第１の実施の形態と同一であるため、説明を省略し、撮像装置の動作の説明についてのみ説明する。また、撮像装置の動作の説明において、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

［撮像装置の動作の説明］
次に、単眼立体撮像装置２の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記憶されている。

図１３は、ライブビュー画像の撮影、表示処理の流れを示すフローチャートである。

撮影の開始が入力される（ステップＳ１０）と、ＣＰＵ４０は、撮影レンズ１４、絞り１６を初期位置へ駆動し、撮影レンズ１４を通過した被写体光が絞り１６を介して位相差ＣＣＤ１７の受光面に結像されて左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データから輝度／色差信号が生成され、その信号がビデオエンコーダ６６を介して液晶モニタ２８に出力される。これにより、３Ｄのスルー画像が液晶モニタ２８に表示される（ステップＳ１１）。

ＣＰＵ４０は、ズーム操作が行われたか、すなわち操作部４８を介してズーミングの指示が入力されたか否かを判断する（ステップＳ１２）。

ズーム操作が行われた場合（ステップＳ１２でＹＥＳ）は、ＣＰＵ４０は、操作部４８からの入力に応じて、レンズ駆動部４７を介してズームレンズを移動させ、撮影レンズ１４の焦点距離を変更させる。また、ＣＰＵ４０は、ズーム操作が行われる（ステップＳ１２）前の立体感が保たれるように、ＣＰＵ４０の記憶領域に記憶された焦点距離と開口部の大きさとの関係のうちの被写体の明るさに応じた関係に基づいて絞り駆動部４６を介して絞り１６を駆動し、開口部の大きさを変更させる（ステップＳ１３）。

ズーム操作に応じて絞り１６の開口部の大きさが変更された（ステップＳ１３）後、及びズーム操作が行われていない場合（ステップＳ１２でＮＯ）には、ＣＰＵ４０は、ＡＥ／ＡＷＢ検出部４４から画面全体のＧ信号を積算した積算値、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算した積算値を取得する。ＣＰＵ４０は、この取得した積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、算出された被写体の明るさが所定の閾値より小さいか否かを判断する（ステップＳ２０）。この閾値としては、３Ｄのスルー画像の明るさが暗くなり、視認性が悪くなる値が予めＣＰＵ４０の記憶領域に記憶されている。ＣＰＵ４０は、撮影Ｅｖ値と記憶領域に記憶された閾値と比較することにより判断を行う。撮影Ｅｖ値が閾値より低くなる場合としては、被写体の明るさに対して、絞り１６の開口部の大きさが必要以上に小さくなってしまった場合、例えば撮影対象は明るいが絞り１６の開口部の大きさの変更量が大きくなった場合や、絞り１６の開口部の大きさの変更量は大きくないが撮影対象が暗い場合が考えられる。

撮影Ｅｖ値が所定の閾値以下ではないと判断された場合（ステップＳ２０でＮＯ）には、ステップＳ１１の３Ｄのスルー画像の表示を継続する（ステップＳ２２）。

撮影Ｅｖ値が所定の閾値以下であると判断された場合には、ＣＰＵ４０は、主画素及び副画素のそれぞれから得られた左眼用画像データ及び右眼用画像データを画素混合して１枚の２次元画像データを生成する。これにより、明るい２次元画像データが得られる。生成された２次元画像データは順次ＶＲＡＭ５０に入力される。ＶＲＡＭ５０から順次２次元画像データが読み出され、３Ｄ画像信号処理部６４は読み出された２次元画像データに対して輝度／色差信号を生成する。この輝度／色差信号は、ビデオエンコーダ６６を介して液晶モニタ２８に出力される（ステップＳ２１）。これにより、２Ｄのスルー画像が液晶モニタ２８に表示される。この時、液晶モニタ２８にはパララックスバリアは表示されない。

ステップＳ２１においては、絞り１６の開口部の開口量は、２Ｄのスルー画像の表示が行われる直前の開口量が保持されてもよいし、適正露出となるように開口量が変えられてもよい。

ＣＰＵ４０は、撮影終了指示が入力されたか否かを判断する（ステップＳ１４）。撮影終了指示が入力されなかった場合（ステップＳ１４でＮＯ）にはステップＳ１２からＳ２２の処理を再度行う。一方、撮影終了指示が入力された場合（ステップＳ１４でＹＥＳ）にはスルー画像の撮影処理を終了する。なお、Ｓ１、Ｓ２がＯＮされた場合の処理については第１の実施の形態と同じであるため、説明を省略する。

本実施の形態によれば、表示される画像が暗くなって視認性が悪くなる場合に２次元画像を表示することで、視認性を向上させることができる。また、２次元画像は３次元画像より立体感は小さくなる方向であるため、立体感が大きくなることによる撮影者の違和感も軽減することができる。

なお、本実施の形態では、ライブビュー画像の撮影、表示を例に説明したが、第１の実施の形態と同様、右眼用画像データ及び左眼用画像データを連続的に取得する場合、例えば動画撮影時にも適用することができる。

＜第３の実施の形態＞
本発明の第１の実施の形態の変形例において、開口部が連続的に変更できない絞り１６’を用いるため、絞りの駆動段数がズームレンズの駆動段数より小さくなり、微小な立体感の変動が避けられない場合について説明した。この場合には、ズームレンズがテレ方向（焦点距離が大きくなる方向）へ移動される場合には、ズームレンズの移動前にまず絞りを１段絞り、その後ズームレンズを移動させることを繰り返して立体感を略一定に保ったが、ズームレンズを移動させている間は（１）入射する光束の変化による立体感の変更、（２）画角の変化による立体感の変更の２つの要因により立体感が変更してしまう。

本発明の第３の実施の形態は、絞り１６’の駆動段数がズームレンズの駆動段数より小さくなり、微小な立体感の変動が避けられない場合において、絞り１６’を１段絞った後でズームレンズを移動させる代わりに、デジタルズームにより擬似的にズーミングをすることで立体感の変化を軽減させるものである。以下、第３の実施の形態に係る単眼立体撮像装置３について説明する。なお、撮像装置の全体構成は第１の実施の形態と同一であるため、説明を省略し、撮像装置の動作の説明についてのみ説明する。また、撮像装置の動作の説明において、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

［撮像装置の動作の説明］
次に、単眼立体撮像装置３の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記憶されている。

図１４は、単眼立体撮像装置３のライブビュー画像の撮影、表示処理の流れを示すフローチャートである。

撮影の開始が入力される（ステップＳ１０）と、ＣＰＵ４０は、撮影レンズ１４、絞り１６’を初期位置へ駆動し、撮影レンズ１４を通過した被写体光が絞り１６’を介して位相差ＣＣＤ１７の受光面に結像されて左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データから輝度／色差信号が生成され、その信号がビデオエンコーダ６６を介して液晶モニタ２８に出力されることで、３Ｄのスルー画像が液晶モニタ２８に表示される（ステップＳ１１）。

ＣＰＵ４０は、ズーム操作が行われたか、すなわち操作部４８を介してズーミングの指示が入力されたか否かを判断する（ステップＳ１２）。ズーミングの指示が入力されなかった場合（ステップＳ１２でＮＯ）はステップＳ１４へ進む。

ズーミングの指示が入力された場合（ステップＳ１２でＹＥＳ）は、ＣＰＵ４０は、ズーミングの指示として入力された焦点距離となるまでレンズ駆動部４７を介してズームレンズを移動させる。ＣＰＵ４０は、このズームレンズの移動中における次の移動先のズームレンズの位置が、焦点距離が図１５のａ，ｂ，ｃ，ｄ，ｅのいずれかとなる位置であるか否かを判断する（ステップＳ３０）。

図１５は、絞り１６’の駆動段数がズームレンズの駆動段数より小さくなり、微小な立体感の変動が避けられない場合の立体感と焦点距離と絞り１６’の駆動タイミングとの関係を示すグラフである。図１５のグラフの形状は、図１２のグラフの形状と同じである。

第１の実施の形態の変形例で説明したように、図１２においては、ＣＰＵ４０は、ワイド端にある状態における立体感と同じ立体感となる焦点距離において、絞り１６’を１段絞る制御を行う。焦点距離がａ，ｂ，ｃ，ｄ，ｅの場合とは、このワイド端にある状態における立体感と同じ立体感となる焦点距離である。

焦点距離が図１５のａ，ｂ，ｃ，ｄ，ｅのいずれかでない場合（ステップＳ３０でＮＯ）、すなわち焦点距離がａとｂとの間、ｂとｃとの間、ｃとｄとの間、ｄとｅとの間となるような位置にズームレンズを移動させる場合には、絞り１６’を駆動するタイミングではない（図１５一点鎖線参照）。そのため、ＣＰＵ４０は、ズームレンズが移動された場合と同じ画角となるように、右眼用画像データ及び左眼用画像データから所定の領域を切り出し、擬似的に焦点距離を変更するデジタルズーム処理を行う（ステップＳ３３）。デジタルズーム処理では、ズームレンズの移動（付随するフォーカスレンズの移動を含む）がないため、入射する光束の変化による立体感の変更は発生しない。なお、デジタルズーム処理は既に公知であるため、説明を省略する。

そして、ステップＳ１１と同じ方法により、ステップＳ３３で右眼用画像データ及び左眼用画像データから切り出された領域を液晶モニタ２８にリアルタイムに立体表示させる（ステップＳ３４）。

焦点距離が図１５のａ，ｂ，ｃ，ｄ，ｅのいずれかとなる位置にズームレンズを移動させる場合（ステップＳ３０でＹＥＳ）には、ＣＰＵ４０は、ズームレンズを移動させるとともに絞り１６’を駆動させる（ステップＳ３１）。焦点距離がａとｂとの間、ｂとｃとの間、ｃとｄとの間、ｄとｅとの間となるような位置にズームレンズを移動させる場合にはデジタルズーム処理が行われており（ステップＳ３３）ズームレンズは移動されていない。そのため、ステップＳ３１では、焦点距離がａとなる位置にズームレンズがある場合には、焦点距離がｂとなる位置へとズームレンズを移動させるとともに絞り１６’を１段絞る。同様に、焦点距離がｂとなる位置にズームレンズがある場合には、焦点距離がｃとなる位置へとズームレンズを移動させるとともに絞り１６’を１段絞り、焦点距離がｃとなる位置にズームレンズがある場合には、焦点距離がｄとなる位置へとズームレンズを移動させるとともに絞り１６’を１段絞り、焦点距離がｄとなる位置にズームレンズがある場合には、焦点距離がｅとなる位置へとズームレンズを移動させるとともに絞り１６’を１段絞る。

そして、ＣＰＵ４０は、ステップＳ１１と同じ方法によりズームレンズが移動された後の状態で撮影された右眼用画像データと左眼用画像データとを液晶モニタ２８にリアルタイムに立体表示させる（ステップＳ３２）。

なお、ステップＳ３１からＳ３４の処理を、ズーミングがワイド端からテレ端への方向、すなわち焦点距離が長くなる方向へズームレンズが移動された場合を例に説明したが、ズームレンズがテレ端からワイド端への方向（焦点距離が小さくなる方向）へ移動された場合も同様の処理が行われる。すなわち、焦点距離がａとｂとの間、ｂとｃとの間、ｃとｄとの間、ｄとｅとの間となるような位置にズームレンズを移動させる場合にはデジタルズーム処理（ステップＳ３３）及びデジタルズーム処理後の画像の表示（ステップＳ３４）を行う。

また、焦点距離が図１５のａ，ｂ，ｃ，ｄ，ｅのいずれかとなる位置にズームレンズを移動させる場合（ステップＳ３０でＹＥＳ）には、ＣＰＵ４０は、ズームレンズを移動させるとともに絞り１６’を駆動させ（ステップＳ３１）、撮影された画像の表示（ステップＳ３２）を行う。具体的には、焦点距離がｅとなる位置にズームレンズがある場合には、焦点距離がｄとなる位置へとズームレンズを移動させるとともに絞り１６’を１段開き、焦点距離がｄとなる位置にズームレンズがある場合には、焦点距離がｃとなる位置へとズームレンズを移動させるとともに絞り１６’を１段開き、焦点距離がｃとなる位置にズームレンズがある場合には、焦点距離がｂとなる位置へとズームレンズを移動させるとともに絞り１６’を１段開き、焦点距離がｂとなる位置にズームレンズがある場合には、焦点距離がａとなる位置へとズームレンズを移動させるとともに絞り１６’を１段開く（ステップＳ３１）。

ＣＰＵ４０は、ステップＳ３１からＳ３４が行われた結果、ズーミングの指示として入力された焦点距離となるまでズーミングが行われたか否かを判断する（ステップＳ３５）。ズーミングが完了していない場合（ステップＳ３５でＮＯ）には再度ステップＳ３０からＳ３５を行う。このようにステップＳ３１からＳ３５を繰り返し行うことで、ズーミング指示通りの位置へズーミングを行う。

ズーミングが完了した場合（ステップＳ３５でＹＥＳ）には、ＣＰＵ４０は、撮影終了指示が入力されたか否かを判断する（ステップＳ１４）。撮影終了指示が入力されなかった場合（ステップＳ１４でＮＯ）にはステップＳ１２からＳ３５を再度行い、撮影終了指示が入力された場合（ステップＳ１４でＹＥＳ）にはスルー画像の撮影処理を終了する。なお、Ｓ１、Ｓ２がＯＮされた場合の処理については第１の実施の形態と同じであるため、説明を省略する。

本実施の形態によれば、デジタルズームを用いることで（１）入射する光束の変化による立体感の変更、（２）画角の変化による立体感の変更、の２つの立体感を変更する要因のうち（１）の要因を無くすことができる。したがって、絞りの駆動段数がズームレンズの駆動段数より小さく微小な立体感の変動が避けられない場合において、撮影者の不快感を軽減することができる。

なお、本実施の形態では、ライブビュー画像の撮影、表示を例に説明したが、第１の実施の形態と同様、右眼用画像データ及び左眼用画像データを連続的に取得する場合、例えば動画撮影時にも適用することができる。

第１から第３の実施の形態では、撮像素子にＣＣＤを用いた例で説明したが、ＣＣＤに限定されるものではない。本発明は、ＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ−ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等他のイメージセンサにも適用可能である。

また、第１から第３の実施の形態では、位相差ＣＣＤ１７のマイクロレンズＬ側に設けられた遮光部材１７Ａ、１７Ｂにより光束を分割する単眼立体撮像装置を例に説明したが、光束を分割するリレーレンズを含む撮影レンズ１２’を用いた単眼立体撮像装置にも適用可能である。また、２つの画素（主画素、副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

１、２、３：単眼立体撮像装置、１４：撮影レンズ、１６、１６’：絞り、１７Ａ、１７Ｂ：遮光部材、１７：位相差ＣＣＤ、４０：ＣＰＵ、４５：タイミングジェネレータ、４６：絞り駆動部、４７：レンズ駆動部、５４：記録メディア

Claims (10)

1. ズームレンズ及び絞りを含む撮影光学系と、
   前記撮影光学系を通過した光束を複数の光束に分割する瞳分割部と、
   前記瞳分割部により分割された複数の光束をそれぞれ受光して左眼用の画像及び右眼用の画像を連続的に取得する撮像部と、
   前記ズームレンズを移動させるズームレンズ駆動部と、
   前記絞りを駆動して、該絞りの開口部の開口量を変更する絞り駆動部と、
   前記左眼用の画像及び前記右眼用の画像を立体画像として認識可能に表示させる表示部と、
   前記連続的に取得された左眼用の画像及び右眼用の画像を前記表示部に立体表示させる表示制御部と、
   焦点距離の変更指示を入力する入力部と、
   前記入力部により入力された焦点距離の変更指示に応じて前記ズームレンズを移動させるように前記ズームレンズ駆動部を制御するとともに、前記ズームレンズの移動前後で前記表示部に立体表示された左眼用の画像と右眼用の画像との立体感が略一定に保たれるように前記絞り駆動部を制御する制御部と、
   を備える単眼立体撮像装置。
2. 前記制御部は、前記ズームレンズ駆動部により焦点距離が大きくなる方向に前記ズームレンズが移動されると、前記開口量が小さくなるように前記絞り駆動部により前記絞りを駆動する、請求項１に記載の単眼立体撮像装置。
3. 前記制御部は、前記ズームレンズ駆動部により焦点距離が小さくなる方向に前記ズームレンズが移動されると、前記開口量が大きくなるように前記絞り駆動部により前記絞りを駆動する、請求項１又は２に記載の単眼立体撮像装置。
4. 前記制御部は、前記ズームレンズの位置がテレ端にある場合に、前記開口量が最も小さくなるように前記絞り駆動部を制御する、請求項１から３のいずれかに記載の単眼立体撮像装置。
5. 前記制御部は、前記ズームレンズの位置がワイド端にある場合に、前記開口量が最も大きくなるように前記絞り駆動部を制御する、請求項１から４のいずれかに記載の単眼立体撮像装置。
6. 前記絞りは、前記開口量がｎ段（ｎは２以上の自然数）で駆動可能であり、
   前記ズームレンズは、焦点距離が前記ｎより大きいｍ段（ｍは２以上の自然数）で駆動可能であり、
   前記制御部は、前記入力部により焦点距離が大きくなる方向への焦点距離の変更指示が入力された場合には、前記ズームレンズの移動前に前記絞りを１段絞り、前記ズームレンズが所定の段数だけ移動されるごとに前記絞りを１段絞るように前記ズームレンズ駆動部及び前記絞り駆動部を制御する、請求項１から５のいずれかに記載の単眼立体撮像装置。
7. 前記制御部は、前記ズームレンズの駆動を前記ｍ段のうちのｎ段に制限し、前記絞りと前記ズームレンズとを同時に駆動するように前記ズームレンズ駆動部及び前記絞り駆動部を制御する、請求項６に記載の単眼立体撮像装置。
8. 前記左眼用の画像及び前記右眼用の画像の所定の領域を切り出して電子的に焦点距離を変えるデジタルズーム部を更に備え、
   前記制御部は、前記ズームレンズ駆動部により前記ズームレンズを移動させる代わりに、前記デジタルズーム部により擬似的に焦点距離を変えるように前記デジタルズーム部を制御する、請求項６に記載の単眼立体撮像装置。
9. 前記絞りの開口部の開口量と焦点距離との関係を記憶する記憶部を更に備え、
   前記制御部は、前記記憶部に記憶された開口量と焦点距離との関係に基づいて前記絞り駆動部を制御する、請求項１から８のいずれかに記載の単眼立体撮像装置。
10. 前記左眼用の画像及び前記右眼用の画像の明るさが所定の値以下である場合に、前記左眼用の画像及び前記右眼用の画像を合成して２次元画像を生成する２次元画像生成部を更に備え、
    前記表示部は、２次元画像が表示可能であり、
    前記表示制御部は、前記２次元画像生成部により２次元画像が生成された場合には、当該生成された２次元画像を前記表示部に表示させる、請求項１から９のいずれかに記載の単眼立体撮像装置。

Images