WO2012002307A1

WO2012002307A1 - 単眼立体撮像装置

Info

Publication number: WO2012002307A1
Application number: PCT/JP2011/064639
Authority: WO
Inventors: 洋史堀井
Original assignee: 富士フイルム株式会社
Priority date: 2010-06-29
Filing date: 2011-06-27
Publication date: 2012-01-05
Also published as: CN102959969B; US9077976B2; TW201200959A; EP2590421B1; CN102959969A; EP2590421A4; JP5595499B2; US20130135449A1; EP2590421A1; JPWO2012002307A1

Abstract

本発明は、フォーカスレンズが移動された場合においても、立体表示された左眼用画像９及び右眼用画像の視差量を一定に保つことで撮影者の不快感を軽減することができる。コンティニュアスＡＦにより合焦位置が変化した場合（ステップＳ１６でＹＥＳ）には、視差補正量算出部６７は左眼用画像データ及び右眼用画像データから視差補正量を算出（ステップＳ１７）し、視差補正部６８は視差補正量算出部６７が算出した視差補正量に基づいて左眼用画像データ及び右眼用画像データの少なくとも一方を左右方向に移動させる（ステップＳ１８）。合焦位置が変化していない場合（ステップＳ１６でＮＯ）には、直前のフレームの視差補正量に基づいて左眼用画像データ及び右眼用画像データの少なくとも一方を左右方向に移動させる（ステップＳ１９）。これにより、リアルタイムに表示される画像の主要被写体の視差量が一定となるように視差量が補正される。

Description

単眼立体撮像装置

　本発明は単眼立体撮像装置に係り、特に撮影レンズの左右方向の異なる領域を通過した被写体像をそれぞれ撮像素子に結像させ、左眼用の画像及び右眼用の画像を取得する技術に関する。

　特許文献１には、単一の撮影レンズ及び撮像素子を用いて視差画像を撮影することができる視差画像入力装置が開示されている。

　このように単一の撮影レンズを用い、単一の撮影レンズを通過した光束を複数の光束に分離すること（瞳分割）により視差画像を撮影する（以下、瞳分割方式という）単眼３Ｄカメラ（単眼立体撮像装置）では、合焦位置において視差が０となり、また、非合焦位置においてデフォーカス量に応じた視差となる。そのため、フォーカスレンズが移動し、フォーカスポイントが変更すると、デフォーカス量に応じて視差（以下、視差量という）が変更することとなる。

特開平１０－４２３１４号公報

　一般的に単眼３Ｄカメラによる撮影時には、撮影された左眼用の画像（以下、左眼用画像という）及び右眼用の画像（以下、右眼用画像という）を立体表示して、どのような画像が撮影されているかを確認できるようになっている。

　瞳分割方式の単眼３Ｄカメラでは、手前にある被写体に合焦すると、合焦している被写体（手前にある被写体）の視差量は０となり、３Ｄ再生像の位置（虚像の位置）は表示面と一致する。合焦位置を奥にずらしていくにつれて、視差量が０となる位置が奥にずれ、手前にある被写体が表示面から飛びだしてくるように見える。

　図２０は、フォーカスポイントと視差量との関係を示す図であり、図２０Ａから図２０Ｃの順で合焦位置が奥側にずれている。図２０Ａは木に合焦している（すなわち、木がフォーカスポイントに設定されている）場合、図２０Ｂは車に合焦している（すなわち、車がフォーカスポイントに設定されている）場合、図２０Ｃは家に合焦している（すなわち、家がフォーカスポイントに設定されている）場合である。

　図２０Ａの場合には木の右眼用画像と左眼用画像との視差量は０であり、右眼用画像の車の位置は左眼用画像に対して少し奥側に位置し、右眼用画像の家の位置は左眼用画像に対して車より大きな視差量で奥側に位置している。図２０Ｂの場合には車の右眼用画像と左眼用画像との視差量は０であり、右眼用画像の木の位置は左眼用画像に対して手前側に位置し、右眼用画像の家の位置は左眼用画像に対して奥側に位置している。図２０Ｃの場合には家の右眼用画像と左眼用画像との視差量は０であり、右眼用画像の車の位置は左眼用画像に対して少し手前側に位置し、右眼用画像の木の位置は左眼用画像に対して車より大きな視差量で手前側に位置している。

　撮像素子ＡＦや動画のコンティニュアスフォーカス動作のように、頻繁に合焦位置が変わる、すなわちフォーカスポイントが変わる動作をすると、被写体の飛出し量が頻繁に前後に動くことになる。例えば、撮影者が車に注目しているとすると、図２０Ａ～２０Ｃのようにフォーカスポイントが変わることにより車の視差量が手前側から奥側へと変わることとなる。そのため、視差量の変化により撮影者が不快感を引き起こす可能性がある。これは、瞳分割方式の単眼３Ｄカメラに特有の現象である。

　しがしながら、特許文献１には、視差量の調整に関する記載はない。

　また、特開２００２－９０９２１号公報には、被写体距離に応じて輻輳角を自動的に制御して視差量を調整することが記載され、特開２００３－１０７６０１号公報には、ズーム変更に伴い基線長、輻輳角を変化させて視差量を調整することが記載されている。しかしながら、これらは少なくとも２つの撮像系を用いて視差画像を撮影する２眼以上の多眼３Ｄカメラに特有の方法であり、単眼３Ｄカメラに適用することはできない。

　さらに、特開平８－３１７４２９号公報には、電子ズームによる拡大を行う時に切り出し位置を変えることで視差量を調整する発明が記載されているが、フォーカスレンズの移動に伴う視差量の変更には対応できない。

　本発明はこのような事情に鑑みてなされたもので、フォーカスレンズが移動された場合においても、立体表示された左眼用画像及び右眼用画像の視差量を一定に保つことで撮影者の不快感を軽減することができる単眼立体撮像装置を提供することを目的とする。

　上記目的を達成するため、本発明の単眼立体撮像装置は、フォーカスレンズを含む撮影光学系と、撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、瞳分割手段により分割された複数の光束をそれぞれ受光して左眼用画像及び右眼用画像を取得する撮像手段と、フォーカスレンズの合焦位置を移動させるフォーカスレンズ駆動手段と、フォーカスレンズ駆動手段によりフォーカスレンズの合焦位置が移動した際に、左眼用画像及び右眼用画像の主要被写体の視差量を一定に保つ視差補正量を算出する視差補正量算出手段と、視差補正量算出手段により視差補正量が算出されると、算出された視差補正量だけ左眼用画像及び右眼用画像の少なくとも一方を左右方向に移動させて左眼用画像及び右眼用画像の視差補正を行う視差補正手段と、左眼用画像及び右眼用画像を立体画像として認識可能に表示させる表示手段と、撮像手段により取得された左眼用画像及び右眼用画像、又は視差補正手段により視差補正が行われた左眼用の画像及び右眼用の画像を出力する出力手段と、を備えたことを特徴とする。なお、ここでいう「主要被写体の視差量」とは、例えば、画像内の主要被写体の中心位置における視差量であったり、主要被写体の平均的な視差量を言うものである。

　上述の単眼立体撮像装置によれば、瞳分割により左眼用画像と右眼用画像とが撮影される場合に、フォーカスレンズの合焦位置が移動されると、左眼用画像及び右眼用画像の主要被写体の視差量が一定に保たれるような視差補正量が算出され、算出された視差補正量だけ左眼用画像及び右眼用画像の少なくとも一方を左右方向に移動させて視差補正が行われる。これにより、フォーカスレンズの合焦位置が移動された場合においても、左眼用画像及び右眼用画像の視差量を一定に保つようにすることができる。なお、本発明でいう主要被写体は、画面中央にある被写体や顔検出により検出される人物等様々な場合に適用できる。

　また、本発明の単眼立体撮像装置は、左眼用画像及び右眼用画像を立体画像として認識可能に表示させる表示手段を備え、出力手段は、撮像手段により取得された左眼用画像及び右眼用画像、又は視差補正手段により視差補正が行われた左眼用画像及び右眼用画像を表示手段に出力することが好ましい。

　かかる単眼立体撮像装置によれば、視差補正後の右目用画像、左眼用画像が立体表示される。これにより、フォーカスレンズが移動された場合においても、立体表示された左眼用画像及び右眼用画像の視差量を一定に保ち、撮影者の不快感を軽減することができる。

　更に、本発明の単眼立体撮像装置は、左眼用画像及び右眼用画像を記録する第１の記録手段を備え、出力手段は、撮像手段により取得された左眼用画像及び右眼用画像、又は視差補正手段により視差補正が行われた左眼用画像及び右眼用画像を第１の記録手段に出力することが好ましい。

　かかる単眼立体撮像装置によれば、視差補正後の右目用画像、左眼用画像が記録される。これにより、左眼用画像及び右眼用画像の視差量を一定に保つような処理が行なわれた画像を後で立体表示させたり、他の立体表示装置で閲覧したりすることができる。

　更にまた、本発明の単眼立体撮像装置において、視差補正量算出手段は、主要被写体の視差量が常に０となるような視差補正量を算出することが好ましい。

　かかる単眼立体撮像装置によれば、フォーカスレンズが移動されると、左眼用画像及び右眼用画像の主要被写体の視差量を０とする視差補正量が算出される。これにより、撮影者が通常の目の動きと異なる動きをすることがなくなり、撮影者の不快感をより確実に軽減することができる。

　加えて、本発明の単眼立体撮像装置において、視差補正量算出手段は、左眼用画像及び右眼用画像のそれぞれから主要被写体の対応点を検出し、当該検出された左眼用画像の対応点と右眼用画像の対応点とのずれ量を一定に保つ視差補正量を算出することが好ましい。

　かかる単眼立体撮像装置によれば、主要被写体の対応点が左眼用画像及び右眼用画像のそれぞれから検出され、左眼用画像の対応点と右眼用画像の対応点とのずれ量を一定に保つ視差補正量が算出される。これにより、合焦位置が求まっていない場合、例えばＡＦ処理が行われる前においても視差補正量を算出することができる。

　加えてまた、本発明の単眼立体撮像装置において、フォーカスレンズ駆動手段によりフォーカスレンズの合焦位置を移動した際に、フォーカスレンズの合焦位置の移動量を算出する移動量算出手段を更に備え、視差補正量算出手段は、移動量算出手段により算出されたフォーカスレンズの合焦位置の移動量に基づいて視差補正量を算出することが好ましい。

　かかる単眼立体撮像装置によれば、フォーカスレンズの合焦位置が移動されると、フォーカスレンズの合焦位置の移動量が算出され、フォーカスレンズの合焦位置の移動量に基づいて視差補正量が算出される。これにより、フォーカスレンズの合焦位置が移動することにより発生する視差補正量を確実に算出することができる。

　また、本発明の単眼立体撮像装置において、フォーカスレンズの位置に基づいて合焦位置を取得する合焦位置取得手段と、合焦位置と視差補正量との相関が記録された第２の記録手段と、を備え、視差補正量算出手段は、合焦位置取得手段により取得された合焦位置と、第２の記録手段に記録された合焦位置と視差補正量との相関とに基づいて視差補正量を算出することが好ましい。

　かかる単眼立体撮像装置によれば、合焦位置と視差補正量との関係が記録されており、フォーカスレンズの合焦位置より算出された合焦位置と、記録された合焦位置と視差補正量との相関とに基づいて視差補正量が算出される。これにより、合焦位置が変化（フォーカスポイントが変化）することにより発生する視差補正量を確実に算出することができる。

　更に、本発明の単眼立体撮像装置において、撮影光学系を介して撮像手段に入射する光量を調整する絞りと、絞りの絞り値を検出する絞り値検出手段と、を備え、第２の記録手段には、合焦位置と視差補正量との相関が絞りの絞り値に応じて複数記録され、視差補正量算出手段は、絞り値検出手段により検出された絞りの絞り値に基づいて、第２の記録手段に複数記録された合焦位置と視差補正量との相関のなかから視差補正量の算出に用いる合焦位置と視差補正量との相関を決定することが好ましい。

　かかる単眼立体撮像装置によれば、合焦位置と視差補正量との相関が絞りの絞り値に応じて複数記録されている。絞りの絞り値が検出され、検出された絞り値に基づいて、複数記録された合焦位置と視差補正量との相関のなかから視差補正量の算出に用いる合焦位置と視差補正量との相関が決定される。瞳分割方式の単眼立体撮像装置では、被写体が明るいほど被写界深度が浅くなり視差量がつきやすいが、これにより絞り値に基づいて視差補正量の算出に用いる合焦位置と視差補正量との相関を変えることができる。したがって、被写体の明るさに応じて適切な視差補正量を算出することができる。

　更にまた、本発明の単眼立体撮像装置において、撮影光学系はズームレンズを有し、ズームレンズの位置より焦点距離を検出する焦点距離検出手段を備え、第２の記録手段には、合焦位置と視差補正量との相関が焦点距離に応じて複数記録され、視差補正量算出手段は、焦点距離検出手段より検出された焦点距離に基づいて、第２の記録手段に複数記録された合焦位置と視差補正量との相関のなかから視差補正量の算出に用いる合焦位置と視差補正量との相関を決定することが好ましい。

　かかる単眼立体撮像装置によれば、合焦位置と視差補正量との相関が焦点距離に応じて複数記録されている。ズームレンズの位置より焦点距離が検出され、検出された焦点距離に基づいて、複数記録された合焦位置と視差補正量との相関のなかから視差補正量の算出に用いる合焦位置と視差補正量との相関が決定される。瞳分割方式の単眼立体撮像装置では、ズーム位置が望遠側にいくほど被写界深度が浅くなり視差量がつきやすいが、これにより焦点距離に基づいて視差補正量の算出に用いる合焦位置と視差補正量との相関を変えることができる。したがって、焦点距離に応じて適切な視差補正量を算出することができる。

　加えて、本発明の単眼立体撮像装置において、撮像手段により取得された左眼用画像及び右眼用画像に基づいて、主要被写体が合焦するようにフォーカスレンズ駆動手段を介してフォーカスレンズの合焦位置を移動させる自動合焦手段を備え、撮像手段は、左眼用画像及び右眼用画像を連続的に取得し、自動合焦手段は、撮像手段により左眼用画像及び右眼用画像が連続的に取得されている間、連続的にフォーカスレンズの合焦位置を移動させることが好ましい。

　かかる単眼立体撮像装置によれば、左眼用画像及び右眼用画像が連続的に取得されている間、主要被写体が合焦するように連続的にフォーカスレンズの合焦位置を移動させる。これにより、液晶モニタにリアルタイムに表示される動画像であるライブビュー画像や動画の撮影中において、立体表示された左眼用画像及び右眼用画像の視差量を一定に保ち、撮影者の不快感を軽減することができる。

　加えてまた、本発明の単眼立体撮像装置において、撮像手段により取得された左眼用画像及び右眼用画像に基づいて、主要被写体が合焦するようにフォーカスレンズ駆動手段を介してフォーカスレンズの合焦位置を移動させる自動合焦手段と、撮影指示を入力する撮影指示入力手段と、を備え、撮像手段は、撮影指示入力手段により撮影指示が入力されると左眼用画像及び右眼用画像をそれぞれ１枚ずつ取得し、自動合焦手段は、撮像手段が左眼用画像及び右眼用画像をそれぞれ１枚ずつ取得する前にフォーカスレンズの合焦位置を移動させることが好ましい。

　かかる単眼立体撮像装置によれば、撮影指示入力手段により撮影指示が入力されると、主要被写体が合焦するようにフォーカスレンズを移動させ、その後左眼用画像及び右眼用画像がそれぞれ１枚ずつ取得される。これにより、静止画の撮影前のＡＦ処理において、立体表示された左眼用画像及び右眼用画像の視差量を一定に保ち、撮影者の不快感を軽減することができる。

　また、本発明の単眼立体撮像装置において、視差補正手段は、フォーカスレンズ駆動手段により合焦位置が近くなる方向にフォーカスレンズが移動されると、左眼用画像を右側に移動させる、右眼用画像を左側に移動させる、又は左眼用画像を右側に移動させ、かつ右眼用画像を左側に移動させることにより視差補正を行い、フォーカスレンズ駆動手段により合焦位置が遠くなる方向にフォーカスレンズが移動されると、左眼用画像を左側に移動させる、右眼用画像を右側に移動させる、又は左眼用画像を左側に移動させ、かつ右眼用画像を右側に移動させることにより視差補正を行うことが好ましい。

　かかる単眼立体撮像装置によれば、合焦位置が近くなる方向にフォーカスレンズが移動された場合には、（１）左眼用画像を右側に移動させる、（２）右眼用画像を左側に移動させる、又は（３）左眼用画像を右側に移動させ、かつ右眼用画像を左側に移動させる、ことにより視差補正が行われる。また、合焦位置が遠くなる方向にフォーカスレンズが移動されると、（１）左眼用画像を左側に移動させる、（２）右眼用画像を右側に移動させる、又は（３）左眼用画像を左側に移動させ、かつ右眼用画像を右側に移動させることにより視差補正が行われる。これにより、視差量の変化を打ち消すように右眼用画像、左眼用画像を移動させることができる。

　本発明によれば、フォーカスレンズが移動された場合においても、立体表示された左眼用画像及び右眼用画像の視差量を一定に保つことで撮影者の不快感を軽減することが可能となる。

本発明の第１の実施の形態に係る単眼立体撮像装置１の正面斜視図単眼立体撮像装置１の背面図単眼立体撮像装置１の位相差ＣＣＤの構成例を示す図撮影レンズ、絞り、及び位相差ＣＣＤの主、副画素の１画素ずつを示した図図４の部分拡大図であり、図５Ａは瞳分割が無い場合であり、図５Ｂ及び５Ｃはそれぞれ瞳分割がある場合である。図６Ａ～６Ｃはそれぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図単眼立体撮像装置１内部のブロック図単眼立体撮像装置１のライブビュー画像撮影処理のフローチャート視差量が一定に保たれる場合の表示例であり、図９Ａ～９Ｃの順で合焦位置が奥側へ移動している。単眼立体撮像装置２の撮影準備処理のフローチャート単眼立体撮像装置２の撮影準備処理の別の例のフローチャート単眼立体撮像装置３内部のブロック図合焦位置と視差補正量との相関を示すグラフの一例合焦位置が手前側から奥側へ移動したときの視差量を示すグラフ図１４に示すグラフに図１３に示すグラフを適用すると視差量が一定になることを説明する図合焦位置と視差補正量との相関を示すグラフの一例合焦位置と視差補正量との相関を示すグラフの一例単眼立体撮像装置３のライブビュー画像撮影処理のフローチャート単眼立体撮像装置の変形例の内部のブロック図合焦位置が手前側から奥側へ移動したときの視差量の変化を示す表示例であり、図２０Ａ～図２０Ｃの順で合焦位置が奥側へ移動している。

　以下、図面を参照しつつ、本発明に係る単眼立体撮像装置の実施の形態について説明する。

　＜第１の実施の形態＞
　［撮像装置の全体構成］
　図１は本発明に係る第１の実施の形態の撮像装置である単眼立体撮像装置１の一実施形態を示す斜視図である。図２は、上記単眼立体撮像装置１の一実施形態を示す背面図である。この単眼立体撮像装置１は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラである。

　単眼立体撮像装置１のカメラボディ１０は、横長の四角い箱状に形成されており、その正面には、図１に示すように、レンズユニット１２、ストロボ２１等が配設されている。また、カメラボディ１０の上面にはシャッタボタン２２、電源／モードスイッチ２４、モードダイヤル２６等が配設されている。一方、カメラボディ１０の背面には、図２に示すように、液晶モニタ２８、ズームボタン３０、十字ボタン３２、ＭＥＮＵ／ＯＫボタン３４、再生ボタン３６、ＢＡＣＫボタン３８等が配設されている。

　なお、図示しないカメラボディ１０の下面には、三脚ネジ穴と、開閉自在なカバーを有するバッテリ挿入部とメモリカードスロットとが設けられている。バッテリ挿入部とメモリカードスロットには、夫々バッテリとメモリカードが装填される。

　レンズユニット１２は、沈胴式のズームレンズで構成されている。また、レンズユニット１２は、電源／モードスイッチ２４によってカメラのモードを撮影モードに設定することにより、カメラボディ１０から繰り出される。なお、レンズユニット１２のズーム機構や沈胴機構については、公知の技術なので、ここでは、その具体的な構成についての説明は省略する。

　ストロボ２１は、主要被写体に向けてストロボ光を照射するためのものである。

　シャッタボタン２２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。単眼立体撮像装置１は、撮影モードで駆動しているときは、このシャッタボタン２２が「半押し」されることにより、ＡＥ／ＡＦが作動し、「全押し」されることにより、撮影を実行する。また、単眼立体撮像装置１は、投影モードで駆動しているときは、このシャッタボタン２２が「全押し」されることにより、投影を実行する。

　電源／モードスイッチ２４は、単眼立体撮像装置１の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、単眼立体撮像装置１のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。単眼立体撮像装置１は、電源／モードスイッチ２４をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ２４をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

　モードダイヤル２６は、単眼立体撮像装置１の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、単眼立体撮像装置１の撮影モードが様々なモードに設定される。例えば、平面画像の撮影を行う「平面画像撮影モード」、立体視画像（３Ｄ画像）の撮影を行う「立体視画像撮影モード」、動画撮影を行う「動画撮影モード」、立体パノラマ撮影を行う「立体パノラマ撮影モード」等である。

　液晶モニタ２８は、左眼用画像及び右眼用画像をパララックスバリアによりそれぞれ所定の指向性をもった立体視画像として表示できる立体表示手段である。立体視画像が液晶モニタ２８に入力された場合には、液晶モニタ２８のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像や使用者インターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。なお、液晶モニタ２８の形態はこれに限らず、立体視画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左眼用画像と右眼用画像とを個別に見ることができるものでもよい。なお、液晶モニタの代わりに有機ＥＬモニタ等を用いてもよい。

　ズームボタン３０は、ズームを指示するズーム指示手段として機能し、望遠側へのズームを指示するズームテレボタン３０Ｔと、広角側へのズームを指示するズームワイドボタン３０Ｗとからなる。単眼立体撮像装置１は、撮影モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、レンズユニット１２の焦点距離が変化する。また、再生モード時に、このズームテレボタン３０Ｔとズームワイドボタン３０Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

　十字ボタン３２は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

　ＭＥＮＵ／ＯＫボタン３４は、液晶モニタ２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

　再生ボタン３６は、撮影記録した立体視画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を液晶モニタ２８に表示させる再生モードに切り替えるためのボタンである。

　ＢＡＣＫボタン３８は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

　［撮影光学系、撮像素子の構成例］
　レンズユニット１２は、主として撮影レンズ１４、絞り１６、位相差イメージセンサである固体撮像素子（以下、「位相差ＣＣＤ」という）１７で構成される。

　撮影レンズ１４は、フォーカスレンズ、ズームレンズを含む多数のレンズから構成される撮像光学系である。絞り１６は、例えば、５枚の絞り羽根からなり、例えば、絞り値Ｆ2.8 ～Ｆ11まで１ＡＶ刻みで５段階に絞り制御される。撮影モード時において、被写体を示す画像光は、撮影レンズ１４、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。

　図３は位相差ＣＣＤ１７の構成例を示す図である。

　位相差ＣＣＤ１７は、それぞれマトリクス状に配列された奇数ラインの画素（主画素）と、偶数ラインの画素（副画素）とを有しており、これらの主、副画素にてそれぞれ光電変換された２面分の画像信号は、独立して読み出すことができるようになっている。

　図３に示すように位相差ＣＣＤ１７の奇数ライン（１、３、５、…）には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）のカラーフィルタを備えた画素のうち、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられ、一方、偶数ライン（２、４、６、…）の画素は、奇数ラインと同様に、ＧＲＧＲ…の画素配列のラインと、ＢＧＢＧ…の画素配列のラインとが交互に設けられるとともに、偶数ラインの画素に対して画素同士が２分の１ピッチだけライン方向にずれて配置されている。

　図４は撮影レンズ１４、及び位相差ＣＣＤ１７の主、副画素の１画素ずつを示した図であり、図５は図４の要部拡大図である。

　位相差ＣＣＤ１７の主画素の前面側（マイクロレンズＬ側）には、遮光部材１７Ａが配設され、副画素の前面側には、遮光部材１７Ｂが配設される。遮光部材１７Ａ、１７Ｂは瞳分割部材としての機能を有している。図５Ａに示すように通常のＣＣＤの画素（フォトダイオードＰＤ）には、射出瞳を通過する光束が、マイクロレンズＬを介して制限を受けずに入射する。図５Ｂに示すように遮光部材１７Ａは、主画素（フォトダイオードＰＤ）の受光面の右半分を遮光する。そのため、主画素には、射出瞳を通過する光束の光軸の左側のみが受光される。また、図５Ｃに示すように遮光部材１７Ｂは、副画素（フォトダイオードＰＤ）の受光面の左半分を遮光する。そのため、副画素には、射出瞳を通過する光束の光軸の右側のみが受光される。

　このように位相差ＣＣＤ１７の主画素に射出瞳を通過する光束の光軸の左側のみを受光させ、副画素に射出瞳を通過する光束の光軸の右側のみを受光させるようにすることで、位相差ＣＣＤ１７で立体視画像を撮影する仕組みについて説明する。

　図６Ａ～６Ｃは、フォーカスレンズがそれぞれ前ピン、合焦（ベストフォーカス）、及び後ピンの違いによる撮像素子に結像する像の分離状態を示す図である。尚、図７では、フォーカスによる分離の違いを比較するために絞り１６を省略している。

　図６Ｂに示すように瞳分割された像のうちの合焦している像は、撮像素子上の同一位置に結像する（一致する）が、図６Ａ及び６Ｃに示すように前ピン及び後ピンとなる像は、撮像素子上の異なる位置に結像する（分離する）。

　従って、左右方向に瞳分割された被写体像を位相差ＣＣＤ１７を介して取得することにより、フォーカス位置に応じて視差量の異なる左眼用画像及び右眼用画像（立体視画像）を取得することができる。

　尚、上記構成の位相差ＣＣＤ１７は、主画素と副画素とでは、遮光部材１７Ａ、１７Ｂにより光束が制限されている領域（右半分、左半分）が異なるように構成されているが、これに限らず、遮光部材１７Ａ、１７Ｂを設けずに、マイクロレンズＬとフォトダイオードＰＤとを相対的に左右方向にずらし、そのずらす方向によりフォトダイオードＰＤに入射する光束が制限されるものでもよいし、また、２つの画素（主画素と副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

　［撮像装置の内部構成］
　図７は本発明の第１の実施の形態に係る単眼立体撮像装置１のブロック図である。この単眼立体撮像装置１は、撮像した画像を記録メディア５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

　単眼立体撮像装置１には、シャッタボタン、モードダイヤル、再生ボタン、ＭＥＮＵ／ＯＫキー、十字キー、ＢＡＣＫキー等の操作部４８が設けられている。この操作部４８からの信号はＣＰＵ４０に入力され、ＣＰＵ４０は入力信号に基づいて単眼立体撮像装置１の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、立体表示用の液晶モニタ２８の表示制御などを行う。

　電源／モードスイッチ２４により単眼立体撮像装置１の電源がＯＮされると、電源部５８から各ブロックへ給電され、単眼立体撮像装置１の駆動が開始される。

　撮影レンズ１４、絞り１６等を通過した光束は位相差ＣＣＤ１７に結像され、位相差ＣＣＤ１７には信号電荷が蓄積される。位相差ＣＣＤ１７に蓄積された信号電荷は、タイミングジェネレータ４５から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。位相差ＣＣＤ１７から読み出された電圧信号は、アナログ信号処理部６０に加えられる。

　アナログ信号処理部６０は、位相差ＣＣＤ１７から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素のＲ、Ｇ、Ｂ信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器６１に加えられる。Ａ／Ｄ変換器６１は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ６２に出力する。

　デジタル信号処理部６３は、画像入力コントローラ６２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正及び感度補正を含むゲイン・コントロール処理、ガンマ補正処理、ＹＣ処理等の所定の信号処理を行う。ここで、位相差ＣＣＤ１７の奇数ラインの主画素から読み出される主画像データは、左眼用画像データとして処理され、偶数ラインの副画素から読み出される副画像データは、右眼用画像データとして処理される。

　デジタル信号処理部６３で処理された左眼用画像データ及び右眼用画像データ（３Ｄ画像データ）は、ＶＲＡＭ５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の３Ｄ画像を表す３Ｄ画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の３Ｄ画像を表す３Ｄ画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、３Ｄ画像データが書き換えられている方の領域以外の領域から、書き込まれている３Ｄ画像データが読み出される。

　ＶＲＡＭ５０から読み出された３Ｄ画像データは、３Ｄ画像信号処理部６４で短冊状の画像断片に加工され、ビデオエンコーダ６６においてエンコーディングされ、カメラ背面に設けられている立体表示用の液晶モニタ２８に出力され、これにより３Ｄの被写体像が連続的に液晶モニタ２８の表示画面上に表示される。

　操作部４８のシャッタボタン２２の第１段階の押下（半押し）があると、ＣＣＤ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部４７を介してフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

　ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左眼用画像データ及び右眼用画像データの少なくとも一方の画像データのうちの所定のフォーカス領域内の画像データの高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。また、位相差ＡＦ処理を行う場合には、左眼用画像データ及び右眼用画像データのうちの所定のフォーカス領域内の主画素、副画素に対応する画像データの位相差を検出し、この位相差を示す情報に基づいてデフォーカス量を求める。このデフォーカス量が０になるように撮影レンズ１４内のフォーカスレンズを制御することによりＡＦ制御が行われる。

　ＣＰＵ４０は、必要に応じてレンズ駆動部４７を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

　また、シャッタボタン２２の半押し時にＡ／Ｄ変換器６１から出力される画像データは、ＡＥ／ＡＷＢ検出部４４に取り込まれる。

　ＡＥ／ＡＷＢ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ／ＡＷＢ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出し、この撮影Ｅｖ値に基づいて絞り１６の絞り値及び位相差ＣＣＤ１７の電子シャッタ（シャッタスピード）を所定のプログラム線図に従って決定し、その決定した絞り値に基づいて絞り駆動部４６を介して絞り１６を制御するとともに、決定したシャッタスピードに基づいてタイミングジェネレータ４５を介して位相差ＣＣＤ１７での電荷蓄積時間を制御する。

　ＡＥ動作及びＡＦ動作が終了し、シャッタボタン２２の第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器６１から出力される主画素及び副画素に対応する左眼用画像（主画像）及び右眼用画像（副画像）の２枚分の画像データが画像入力コントローラ６２からＶＲＡＭ５０に入力され、一時的に記録される。

　ＶＲＡＭ５０に一時的に記録された２枚分の画像データは、デジタル信号処理部６３により適宜読み出され、ここで画像データの輝度データ及び色差データの生成処理（ＹＣ処理）を含む所定の信号処理が行われる。ＹＣ処理された画像データ（ＹＣデータ）は、再びＶＲＡＭ５０に記録される。続いて、２枚分のＹＣデータは、それぞれ圧縮伸張処理部６５に出力され、JPEG (Joint Photographic Experts Group)などの所定の圧縮処理が実行されたのち、再びＶＲＡＭ５０に記録される。

　ＶＲＡＭ５０に記録された２枚分のＹＣデータ（圧縮データ）から、３Ｄ画像信号処理部６４でマルチピクチャファイル（ＭＰファイル：複数の画像が連結された形式のファイル）が生成され、そのＭＰファイルは、メディア・コントローラ５２により読み出され、記録メディア５４に記録される。

　なお、ＡＦ動作は、シャッタボタン２２の第１段階の押下（半押し）がある場合のみでなく、右眼用画像データ、左眼用画像データを連続的に撮影する場合にも行われる。右眼用画像データ、左眼用画像データを連続的に撮影する場合とは、例えばライブビュー画像を撮影する場合や、動画を撮影する場合が挙げられる。この場合には、ＡＦ処理部４２は、連続的に右眼用画像データ、左眼用画像データを撮影している間、常時繰り返しＡＦ評価値の演算を行って、連続的にフォーカスレンズ位置を制御するコンティニュアスＡＦを行う。この場合には、フォーカスレンズ位置の移動に応じて、連続的に液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像の視差量が変化することとなる。

　視差補正量算出部６７は、連続的に液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像及び位相差ＡＦ中に液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像の視差量の変化を算出する。この時の基準となるのは、主要被写体の視差量が０の場合である。すなわち、視差補正量算出部６７は、液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像の主要被写体の視差量を求め、この視差量を０とするのに必要な視差補正量を算出する。ここで、主要被写体とは、ＡＦエリア中央にある被写体、画面中央にある被写体、顔検出部（図示せず）で検出された人間やペットの顔、操作部４８からの入力により指定された被写体等を指す。なお、顔検出部が人間やペットの顔を検出する方法は既に公知であるため、説明を省略する。

　液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像の主要被写体の視差量の算出は、右眼用画像データと左眼用画像データとの対応点のずれ量に基づいて算出される。例えば、図２０に示すような画像が撮影され、主要被写体が車である場合には、まず、視差補正量算出部６７は、左眼用画像又は右眼用画像のどちらかから主要被写体の特徴点（例えば、車の後端の位置）を検出し、他方の画像からその特徴点に対応する対応点を検出する。これにより、右眼用画像データと左眼用画像データとのそれぞれから対応点が検出される。そして、視差補正量算出部６７は、右眼用画像データと左眼用画像データとのそれぞれから検出された対応点（ここでは右眼用画像データの特徴点（ここでは、車の後端の位置）と左眼用画像データの車の後端の位置）の左右方向のずれ量を算出し、これが０となる量を視差補正量として算出する。視差補正量算出部６７で算出された視差補正量は、視差補正部６８に出力される。

　なお、本実施の形態では、視差補正量算出部６７は、主要被写体の視差量が０に保たれるように必要な視差補正量を算出したが、フォーカスレンズの移動による視差量の変動が引き起こす不快感の軽減という目的を達成するためには主要被写体の視差量が一定に保たれるのであればよく、主要被写体の視差量は０に限定されない。

　しかしながら、主要被写体の視差量を０でない場合、例えば表示面から飛び出る方向の視差量を有する状態で主要被写体の視差量が一定に保たれる場合には、撮影者は自然と両目が同時に内側を向く目の動き（輻輳眼球運動）をする（寄り目になる）こととなる。しかしながら、実際には、画像は表示面上に表示されるので、目のピントは表示面上に合わせる必要がある。つまり、撮影者は、手前に飛び出したものを見るために目の内寄せを行うと共に、手前に飛び出していない表示面にピントを合わせるという、近くの物を見ようとするときの通常の目の動き（近くにピントを合わせると同時に目の内寄せを行う）とは異なる動作をおこなうこととなる。したがって、主要被写体の視差量が一定に保たれていても、主要被写体の視差量が０でない場合には、撮影者に疲労感を与えることとなる。

　したがって、より撮影者の目にかかる負担を軽減するためには、視差補正量算出部６７は、主要被写体の視差量が０に保たれるように必要な視差補正量を算出するようにすることが望ましい。

　視差補正部６８は、視差補正量算出部６７で算出された視差補正量だけ右眼用画像データ及び左眼用画像データの少なくとも１方を左右方向に移動させる。これにより、右眼用画像の主要被写体と左眼用画像の主要被写体との距離が変更され、その結果、右眼用画像の主要被写体と左眼用画像の主要被写体との距離が一定に保たれ（本実施の形態では０に保たれる）、視差補正が行われる。

　視差補正量は、大きさのみでなく、方向の情報も有している。方向の情報とは、右眼用画像データと左眼用画像データとを近づける方向、又は右眼用画像データと左眼用画像データとを遠ざける方向である。ここで、視差補正量の方向の情報とフォーカスレンズの移動方向との関係、視差補正量の方向の情報と視差補正の方法について説明する。

　合焦位置が遠くなる（奥にずれる）ようにフォーカスレンズが移動された場合には、視差量が０となる位置が遠くなる（奥にずれる）。したがって、被写体は手前に飛びだす方向、すなわち右眼用画像データの被写体は左側、左眼用画像データの主要被写体は右側に移動する。そのため、右眼用画像データを右側、左眼用画像データを左側、すなわち右眼用画像データと左眼用画像データとを遠ざける方向の視差補正量が算出される。

　合焦位置が近くなる（手前にずれる）ようにフォーカスレンズが移動された場合には、視差量が０となる位置が近くなる（手前にずれる）。したがって、被写体は奥に引っこむ方向、すなわち右眼用画像データの被写体は左側、左眼用画像データの主要被写体は右側に移動する。そのため、右眼用画像データを左側、左眼用画像データを右側、すなわち右眼用画像データと左眼用画像データとを近づける方向の視差補正量が算出される。
　視差補正量として右眼用画像データと左眼用画像データとを遠ざける方向にＡだけ移動することが算出された場合には、視差補正部６８は、（１）左眼用画像データを左方向にＡだけ移動させる、（２）右眼用画像データを右方向にＡだけ移動させる、（３）右眼用画像データを右側に、左眼用画像データを左側にそれぞれＡ／２だけ移動させる、のいずれかの方法で視差量が０となるように右眼用画像データ、左眼用画像データの視差補正を行う。また、視差補正量として右眼用画像データと左眼用画像データとを近づける方向にＢだけ移動することが算出された場合には、視差補正部６８は、（１）左眼用画像データを右方向にＢだけ移動させる、（２）右眼用画像データを左方向にＢだけ移動させる、（３）右眼用画像データを右側に、左眼用画像データを左側にそれぞれＢ／２だけ移動させる、のいずれかの方法で視差量が０となるように右眼用画像データ、左眼用画像データの視差補正を行う。

　単眼立体撮像装置１は、動画、静止画のみでなく、音声の記録再生が可能である。マイクロフォン５７は送話音声を入力し、スピーカ５６は受話音声を出力し、音声入出力回路５５はマイクロフォンから入力された音声の符号化及び受信した音声の復号化などを行う。

　［撮像装置の動作の説明］
　次に、単眼立体撮像装置１の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記録されている。

　図８は、ライブビュー画像の撮影、表示処理の流れを示すフローチャートである。

　撮影が開始されると、ＣＰＵ４０は、撮影レンズ１４、絞り１６を初期位置へ駆動し（ステップＳ１０）、この時の視差補正量を０と初期設定する（ステップＳ１１）。

　ＣＰＵ４０は、操作部４８からライブビュー画像の撮影開始の指示が入力されたか否かを判断する（ステップＳ１２）。ライブビュー画像の撮影開始の指示が入力されていない場合（ステップＳ１２でＮＯ）には、ＣＰＵ４０は、液晶モニタ２８をＯＦＦにする（ステップＳ１３）。

　ライブビュー画像の撮影開始の指示が入力された場合（ステップＳ１２でＹＥＳ）には、撮影レンズ１４を通過した被写体光は、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。タイミングジェネレータ４５により、位相差ＣＣＤ１７の主画素及び副画素に蓄えられた信号電荷は、信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出され、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してデジタル信号処理部６３に順次入力され、左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データは順次ＶＲＡＭ５０に入力される。

　ＣＰＵ４０は、左眼用画像データ及び右眼用画像データにもとづいて、絞り駆動部４６を介して絞り１６の開口量（Ｆ値）を変更する。また、ＣＰＵ４０は、操作部４８からの入力に応じて、レンズ駆動部４７を介してズーミングをおこなう。

　ＣＰＵ４０は、コンティニュアスＡＦを行うか否かを判断する（ステップＳ１４）。コンティニュアスＡＦを行うか否かは、操作部４８を介して設定され、ＣＰＵ４０内の記録手段に記録されている。ＣＰＵ４０は、この設定情報に基づいて判断する。

　コンティニュアスＡＦを行わないと判断された場合（ステップＳ１４でＮＯ）は、フォーカスレンズが移動されない場合であるため、左眼用画像データ及び右眼用画像データの視差量は常に一定である。したがって、ＣＰＵ４０は、左眼用画像データ及び右眼用画像データをＶＲＡＭ５０から順次出力し、３Ｄ画像信号処理部６４へ入力する。画像信号処理部６４では輝度／色差信号が生成され、その信号がビデオエンコーダ６６を介して液晶モニタ２８に出力される。液晶モニタ２８には、パララックスバリアが発生されるとともに、その下層の画像表示面に左眼用画像データと右眼用画像データとの短冊状の画像断片が交互に配列して表示される（ステップＳ２２）。この処理を順次行うことにより、位相差ＣＣＤ１７の主画素、副画素で撮像される画像がリアルタイムに表示される。

　コンティニュアスＡＦを行うと判断された場合（ステップＳ１４でＹＥＳ）には、ＡＦ処理部４２は左眼用画像データ及び右眼用画像データに基づいてコンティニュアスＡＦを行う（ステップＳ１５）。

　視差補正量算出部６７は、コンティニュアスＡＦにより合焦位置が変化したか否かを判断する（ステップＳ１６）。

　合焦位置が変化した場合（ステップＳ１６でＹＥＳ）は、フォーカスレンズが移動され、合焦している被写体、すなわちフォーカスポイントが変化した場合である。この場合には、視差補正量算出部６７は、左眼用画像データ及び右眼用画像データから視差補正量を算出する（ステップＳ１７）。

　視差補正部６８は、左眼用画像データ及び右眼用画像データをＶＲＡＭ５０から出力させ、視差補正量算出部６７が算出した視差補正量に基づいて左眼用画像データ及び右眼用画像データの少なくとも一方を左右方向に移動させ、３Ｄ画像信号処理部６４へ出力する（ステップＳ１８）。

　合焦位置が変化していない場合（ステップＳ１６でＮＯ）は、フォーカスレンズが移動されていない場合、すなわち合焦している被写体（フォーカスポイント）が変化していない場合である。この場合には、視差補正部６８は、左眼用画像データ及び右眼用画像データをＶＲＡＭ５０から出力させ、直前のフレームの視差補正量（視差補正量算出部６７が直前に算出した視差補正量、又は視差補正量算出部６７が視差補正量を算出していない場合には、ステップＳ１１で初期設定された視差補正量）に基づいて左眼用画像データ及び右眼用画像データの少なくとも一方を左右方向に移動させ、３Ｄ画像信号処理部６４へ入力する（ステップＳ１９）。なお、視差補正量が０の場合には、結果的に左眼用画像データ及び右眼用画像データは移動されない。

　画像信号処理部６４は、視差補正部６８により左右方向に移動された後の左眼用画像データ及び右眼用画像データについて輝度／色差信号を生成し、その信号がビデオエンコーダ６６を介して液晶モニタ２８に出力される。液晶モニタ２８には、パララックスバリアが発生されるとともに、その下層の画像表示面に左眼用画像データと右眼用画像データとの短冊状の画像断片が交互に配列して表示される（ステップＳ２０）。

　ＣＰＵ４０は、操作部４８からライブビュー画像の撮影動作の終了指示が入力されたか否かを判断する（ステップＳ２１）。ライブビュー画像の撮影動作の終了指示が入力されなかった場合（ステップＳ２１でＮＯ）には、ステップＳ１５～Ｓ２１の処理を繰り返し行う。ライブビュー画像の撮影動作の終了指示が入力された場合（ステップＳ２１でＹＥＳ）には、この処理が終了される。

　これにより、位相差ＣＣＤ１７の主画素、副画素で撮像される画像が、主要被写体の視差量が一定となるように視差量が補正され、リアルタイムに表示される。

　図９は、視差量の補正が行われた場合の表示画像の一例であり、図９Ａは木にフォーカスポイントがある場合、図９Ｂは車にフォーカスポイントがある場合、図９Ｃは家にフォーカスポイントがある場合である。本実施の形態では、主要被写体、すなわち車の視差量が０となるように視差量が補正されるため、実際のフォーカスポイントに関わらず（図９Ａ～９Ｃの全てにおいて）液晶モニタ２８には、車の視差量が０となる画像が表示される。したがって、視差量が急激に変化せず、撮影者が快適に立体視画像を視聴することができる。

　撮影者は、この液晶モニタ２８にリアルタイムに表示される動画像（ライブビュー画像）を見ることにより、撮影画角を確認することができる。

　シャッタボタンが半押しされると、Ｓ１ＯＮ信号がＣＰＵ４０に入力され、ＣＰＵ４０はＡＦ処理部４２及びＡＥ／ＡＷＢ検出部４４を介してＡＥ／ＡＦ動作を実施する。立体視画像の撮影処理においては、ＡＦ処理部４２は、位相差ＡＦ処理によりＡＦ動作を行う。

　シャッタボタンが全押しされると、ＣＰＵ４０にＳ２ＯＮ信号が入力され、ＣＰＵ４０は、撮影、記録処理を開始する。すなわち、測光結果に基づき決定されたシャッター速度、絞り値で位相差ＣＣＤ１７を露光する。

　位相差ＣＣＤ１７の主画素、副画素からそれぞれ出力された２枚分の画像データは、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してＶＲＡＭ５０に取り込まれ、３Ｄ画像信号処理部６４において輝度／色差信号に変換されたのち、ＶＲＡＭ５０に格納される。ＶＲＡＭ５０に格納された左眼用画像データは、圧縮伸張処理部６５に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、ＶＲＡＭ５０に格納される。

　ＶＲＡＭ５０に記録された２枚分の圧縮データからＭＰファイルが生成され、そのＭＰファイルはメディア・コントローラ５２を介して記録メディア５４に記録される。これにより、立体視画像が撮影、記録される。

　なお、本実施の形態では、立体視画像を撮影する場合を例に説明したが、単眼立体撮像装置１は、平面画像、立体視画像の両方が撮影可能である。平面画像を撮影する場合には、位相差ＣＣＤ１７の主画素のみを用いて撮影を行うようにすればよい。撮影処理の詳細については立体視画像を撮影する場合と同様であるため、説明を省略する。

　以上のようにして記録メディア５４に記録された画像は、再生ボタンにより単眼立体撮像装置１のモードを再生モードに設定することにより、液晶モニタ２８で再生表示させることができる。

　再生モードに設定されると、ＣＰＵ４０は、メディア・コントローラ５２にコマンドを出力し、記録メディア５４に最後に記録された画像ファイルを読み出させる。

　読み出された画像ファイルの圧縮画像データは、圧縮伸張処理部６５に加えられ、非圧縮の輝度／色差信号に伸張されたのち、ビデオエンコーダ６６を介して液晶モニタ２８に出力される。

　画像のコマ送りは、十字キーの左右のキー操作によって行われ、十字キーの右キーが押されると、次の画像ファイルが記録メディア５４から読み出され、液晶モニタ２８に再生表示される。また、十字キーの左キーが押されると、一つ前の画像ファイルが記録メディア５４から読み出され、液晶モニタ２８に再生表示される。

　本実施の形態によれば、ライブビュー画像の表示中においても、フォーカスレンズの移動に関わらず右眼用画像と左眼用画像との視差量を常に一定にすることができ、撮影者の不快感を軽減することができる。

　なお、本実施の形態では、ライブビュー画像の撮影、表示を例に説明したが、右眼用画像データ及び左眼用画像データを連続的に取得し、コンティニュアスＡＦを行う場合、例えば動画撮影時にも適用することができる。ライブビュー画像の撮影と動画撮影との差異は、ライブビュー画像の撮影の場合には連続的に撮影した右眼用画像データ及び左眼用画像データを記録しないのに対し、動画撮影の場合には、図８に示す処理のほかに、連続的に撮影した右眼用画像データ及び左眼用画像データを記録メディア５４等に記録する処理を行なう点のみが異なる。なお、連続的に撮影した右眼用画像データ及び左眼用画像データを記録メディア５４に記録する処理は、既に公知であるため説明を省略する。動画は記録メディア５４等に記録されているため、動画撮影中のみでなく、動画撮影後に立体表示させる場合にも、右眼用画像と左眼用画像との視差量を常に一定にすることができ、視聴者の不快感を軽減することができる。

　＜第２の実施の形態＞
　本発明の第１の実施の形態は、ライブビュー画像の撮影中に視差量を一定にしたが、視差量が変化する場合はライブビュー画像撮影中に限られない。フォーカスレンズが移動する場合には、常に視差量が変化する可能性がある。

　本発明の第２の実施の形態は、静止画撮影の撮影準備段階におけるＡＦ処理時に視差量を調整するものである。以下、第２の実施の形態に係る単眼立体撮像装置２について説明する。なお、撮像装置の全体構成は第１の実施の形態と同一であるため、説明を省略し、撮像装置の動作の説明についてのみ説明する。また、撮像装置の動作の説明において、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

　［撮像装置の動作の説明］
　次に、単眼立体撮像装置２の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記録されている。

　撮影レンズ１４を通過した被写体光は、絞り１６を介して位相差ＣＣＤ１７の受光面に結像される。タイミングジェネレータ４５により、位相差ＣＣＤ１７に蓄えられた信号電荷は信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出され、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してデジタル信号処理部６３に順次入力され、左眼用画像データ及び右眼用画像データが順次生成される。生成された左眼用画像データ及び右眼用画像データは順次ＶＲＡＭ５０に入力される。この場合には、標準的な合焦位置（本実施の形態では、初期位置）にフォーカスレンズを移動させたままのいわゆるパンフォーカスが行われる。

　左眼用画像データ及び右眼用画像データはＶＲＡＭ５０から順次出力され、３Ｄ画像信号処理部６４で輝度／色差信号が生成され、その信号がビデオエンコーダ６６を介して液晶モニタ２８に出力される。液晶モニタ２８には、パララックスバリアが発生されるとともに、その下層の画像表示面に左眼用画像データと右眼用画像データとの短冊状の画像断片が交互に配列して表示される。

　この処理を順次行うことにより、位相差ＣＣＤ１７の主画素、副画素で撮像される画像がリアルタイムに表示される。撮影者は、この液晶モニタ２８にリアルタイムに表示される画像を見ることにより、撮影画角を確認することができる。

　図１０は、静止画撮影の撮影準備処理の流れを示すフローチャートである。この処理は、シャッタボタンが半押しされ、Ｓ１ＯＮ信号がＣＰＵ４０に入力された後で行なわれる。この場合においても、位相差ＣＣＤ１７に蓄えられた信号電荷は信号電荷に応じた電圧信号（画像信号）として所定のフレームレートで順次読み出され、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してデジタル信号処理部６３に順次入力され、左眼用画像データ及び右眼用画像データが順次生成される。

　ＣＰＵ４０は、撮影レンズ１４、絞り１６をライブビュー画像撮影時と同様の位置へ駆動したまま停止させ（ステップＳ３０）、この時の視差補正量を０と初期設定する（ステップＳ３１）。

　ＣＰＵ４０は、フォーカスレンズを移動させて合焦位置を取得する位相差ＡＦを行う。視差補正量算出部６７は、位相差ＡＦ処理において、フォーカスレンズが移動されたか否かを判断する（ステップＳ３２）。

　フォーカスレンズが移動された場合（ステップＳ３２でＹＥＳ）には、合焦する被写体が変化する場合である。この場合には、視差補正量算出部６７は、左眼用画像データ及び右眼用画像データから視差補正量を算出する（ステップＳ３３）。

　視差補正部６８は、左眼用画像データ及び右眼用画像データをＶＲＡＭ５０から出力させ、視差補正量算出部６７が算出した視差補正量に基づいて左眼用画像データ及び右眼用画像データの少なくとも一方を左右方向に移動させ、３Ｄ画像信号処理部６４へ入力する（ステップＳ３４）。

　フォーカスレンズが移動されていない場合（ステップＳ３２でＮＯ）には、合焦する被写体が変化しない場合である。この場合には、視差補正部６８は、左眼用画像データ及び右眼用画像データをＶＲＡＭ５０から出力させ、直前のフレームの視差補正量（視差補正量算出部６７が直前に算出した視差補正量、又は視差補正量算出部６７が視差補正量を算出していない場合には、ステップＳ３１で初期設定された視差補正量）に基づいて左眼用画像データ及び右眼用画像データの少なくとも一方を左右方向に移動させ、３Ｄ画像信号処理部６４へ入力する（ステップＳ３５）。なお、視差補正量が０の場合には、結果的に左眼用画像データ及び右眼用画像データは移動されない。

　３Ｄ画像信号処理部６４は、視差補正部６８により左右方向に移動された後の左眼用画像データ及び右眼用画像データについて輝度／色差信号を生成し、その信号がビデオエンコーダ６６を介して液晶モニタ２８に出力される。液晶モニタ２８には、パララックスバリアが発生されるとともに、その下層の画像表示面に左眼用画像データと右眼用画像データとの短冊状の画像断片が交互に配列して表示される（ステップＳ３６）。

　ＣＰＵ４０は、操作部４８からＡＦが終了したか否か、すなわち合焦位置が決定したか否かを判断する（ステップＳ３７）。合焦位置が決定しなかった場合（ステップＳ３７でＮＯ）には、ステップＳ３２～Ｓ３６の処理を繰り返し行う。合焦位置が決定した場合（ステップＳ３７でＹＥＳ）には、この処理が終了される。

　これにより、ＡＦ動作中においても、位相差ＣＣＤ１７の主画素、副画素で撮像される画像が、主要被写体の視差量が一定となるように視差量が補正され、リアルタイムに表示される。

　ＣＰＵ４０は、決定された合焦位置へフォーカスレンズの合焦位置を移動させる。同時にＡＥ／ＡＷＢ検出部４４はＡＥ処理を行う。

　ＣＰＵ４０は、ＣＣＤ駆動部３３を介して画素Ａ～Ｄのうちの選択された画素から信号電荷を読み出す。位相差ＣＣＤ１７の主画素のうちの選択された画素、副画素のうちの選択された画素からそれぞれ出力された２枚分の画像データは、アナログ信号処理部６０、Ａ／Ｄ変換器６１、画像入力コントローラ６２を介してＶＲＡＭ５０に取り込まれ、３Ｄ画像信号処理部６４において輝度／色差信号に変換されたのち、ＶＲＡＭ５０に格納される。ＶＲＡＭ５０に格納された左眼用画像データは、圧縮伸張処理部６５に加えられ、所定の圧縮フォーマット（たとえばＪＰＥＧ形式）に従って圧縮された後、ＶＲＡＭ５０に格納される。

　本実施の形態によれば、フォーカスレンズが移動するＡＦ動作中の表示においても、フォーカスレンズが移動して合焦位置、フォーカスポイントが変化した場合においても、主要被写体の右眼用画像と左眼用画像との視差量を常に一定にすることができ、撮影者の不快感を軽減し快適な立体画像の視聴を実現することができる。

　また、本実施の形態によれば、対応点の距離に基づいて視差補正量を算出するため、合焦位置が判明していない段階（すなわち、ＡＦ処理が終了する前）においても視差補正量を算出することができる。

　なお、本実施の形態では、撮影レンズ１４が初期位置にある時の視差補正量を０と初期設定した（ステップＳ３１）が、視差補正量の初期設定値はこれに限られない。図１１は、視差補正量の初期設定値を、主要被写体の視差量が０となる値とする場合のＡＦ処理の流れを示すフローチャートである。図１０と同一の処理を行う場合には、同一の符号を付し、詳細な説明を省略する。

　ＣＰＵ４０は、撮影レンズ１４、絞り１６をライブビュー画像撮影時と同様の位置へ駆動したまま停止させる（ステップＳ３０）。

　ＣＰＵ４０は、主要被写体（本実施の形態では、画面中央に位置する被写体）を検出する。視差補正量算出部６７は、右眼用画像データと左眼用画像データとの主要被写体の視差量が０となる値を算出し、算出された視差補正量を初期設定された視差補正量とする（ステップＳ４０）。したがって、この場合には、フォーカスレンズの移動の前から、主要被写体が０となるような視差量の補正が行われることとなる。

　フォーカスレンズが移動された場合（ステップＳ３２でＹＥＳ）には、視差補正量算出部６７は、左眼用画像データ及び右眼用画像データから視差補正量を算出する。そして、視差補正量算出部６７は、算出された視差補正量とステップＳ４０で初期設定された視差補正量とを加算して最終的な視差補正量を算出する（ステップＳ４１）。

　視差補正部６８は、ＶＲＡＭ５０から取得した左眼用画像データ及び右眼用画像データの少なくとも一方を、ステップＳ４１で視差補正量算出部６７が算出した視差補正量に基づいて左右方向に移動させ、３Ｄ画像信号処理部６４へ入力する（ステップＳ４２）。

　フォーカスレンズが移動されていない場合（ステップＳ３２でＮＯ）には、ＶＲＡＭ５０から取得した左眼用画像データ及び右眼用画像データの少なくとも一方を、直前のフレームの視差補正量（視差補正量算出部６７が直前に算出した視差補正量、又は視差補正量算出部６７が視差補正量を算出していない場合には、ステップＳ４０で初期設定された視差補正量）に基づいて左右方向に移動させ、３Ｄ画像信号処理部６４へ入力する（ステップＳ４３）。

　視差補正部６８により左右方向に移動された後の左眼用画像データ及び右眼用画像データから輝度／色差信号が生成され、液晶モニタ２８に出力される。液晶モニタ２８には、パララックスバリアが発生されるとともに、その下層の画像表示面に左眼用画像データと右眼用画像データとの短冊状の画像断片が交互に配列して表示される（ステップＳ３６）。

　これにより、ＡＦ動作前、ＡＦ動作中において、常に右眼用画像と左眼用画像との視差量を一定にすることができる。

　なお、本実施の形態では、静止画の撮影準備処理で位相差ＡＦが行われる場合を例に説明したが、動画（ライブビュー画像を含む）撮影前に撮影準備処理として位相差ＡＦを行い、動画撮影中にはフォーカスレンズを移動させない場合にも適用することができる。

　＜第３の実施の形態＞
　本発明の第１の実施の形態は、右眼用画像データと左眼用画像データとの対応点のずれ量に基づいて右眼用画像、左眼用画像の主要被写体の視差量を算出したが、右眼用画像、左眼用画像の主要被写体の視差量を算出する方法はこれに限られない。

　本発明の第３の実施の形態は、フォーカスレンズの移動量から右眼用画像、左眼用画像の主要被写体の視差量を算出するものである。以下、第３の実施の形態に係る単眼立体撮像装置３について説明する。なお、第１の実施の形態と同一の部分については、同一の符号を付し、説明を省略する。

　［撮像装置の全体構成］
　図１２は本発明の第３の実施の形態に係る単眼立体撮像装置３の実施の形態を示すブロック図である。

　視差補正量算出部６７Ａは、連続的に液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像及び位相差ＡＦ中に液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像の視差量の変化を算出する。この時の基準となるのは、主要被写体の視差量が０の場合である。すなわち、視差補正量算出部６７Ａは、液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像の主要被写体の視差量を求め、この視差量を０とするのに必要な視差補正量を算出する。ここで、主要被写体とは、ＡＦエリア中央にある被写体、顔検出部（図示せず）で検出された人間やペットの顔、操作部４８からの入力により指定された被写体等を指す。なお、顔検出部が人間やペットの顔を検出する方法は既に公知であるため、説明を省略する。算出された視差補正量は、視差補正部６８に出力される。

　液晶モニタ２８の表示画面上に表示された右眼用画像、左眼用画像の主要被写体の視差量の算出は、フォーカスレンズの移動量に基づいて算出される。視差補正量算出部６７Ａの記録領域には、フォーカスレンズの初期位置からの移動量と、合焦位置の変化量との相関が記録されている。したがって、視差補正量算出部６７Ａは、フォーカスレンズの初期位置からの移動量から合焦位置がどのように、どの程度変化したか（以下、合焦位置の変化量という）を算出することができる。

　また、視差補正量算出部６７Ａの記録領域には、合焦位置と視差補正量との相関（図１３、１６、１７参照）が記録されている。視差補正量算出部６７Ａは、フォーカスレンズの初期位置からの移動量から算出された合焦位置の変化量と、合焦位置と視差補正量との相関を示すグラフとに基づいて視差補正量を決定する。例えば、合焦位置と視差補正量との相関として図１３を用いる場合において、合焦位置が手前側にａだけ移動した場合には、視差補正量算出部６７Ａは、「手前側にｂ」を視差補正量として決定する。

　図１３は、合焦位置と視差補正量との相関を示すグラフの一例であり、焦点距離が中間近傍の所定の範囲内にあり、Ｆ値が適切な撮影範囲とされる所定の範囲内にある場合（すなわち、図１３のグラフの適用範囲は焦点距離、Ｆ値が所定の値を中心としたある範囲内にある場合である）の合焦位置と視差補正量との相関を示すグラフである。合焦位置と視差補正量との相関は比例関係にあり、合焦位置が手前側から奥側へ移動するのに伴い、手前側から奥側への視差補正量は一定の傾きで増加する。

　図１３に示すグラフは、合焦位置の変化による右眼用画像、左眼用画像の視差量を打ち消すように設定されている。図２０Ａ～２０Ｃのように合焦位置が手前側から奥側へ移動すると、視差量が０となる位置が奥にずれていくため、右眼用画像、左眼用画像の木の視差量は一定の割合で手前側へ移動する。すなわち、液晶モニタ２８に表示される木は、一定の割合で手前に飛び出してくる。この相関をグラフで示したものが図１４である。図１４においては、被写体がどこにあるかに関わらず、合焦位置が手前側から奥側へ移動すると、右眼用画像、左眼用画像の主要被写体の視差量は、手前側への視差量が一定の割合で大きくなる。

　図１３に示すグラフと、図１４に示すグラフとは、符合が異なるだけで傾きは同じである。そのため、図１４に示すグラフに、図１３に示すグラフを適用すると、図１５に示すグラフとなる。すなわち、被写体がどこにあるかに関わらず、合焦位置が手前側から奥側へ移動しても、右眼用画像、左眼用画像の視差量は常に一定となる。また、合焦位置にある被写体、すなわち主要被写体の右眼用画像、左眼用画像の主要被写体の視差量は常に０となる。

　これにより、主要被写体の視差量が常に０となるような視差補正量を算出することができる。

　今までの説明では、理解を容易にするため、焦点距離が中間近傍の所定の範囲内にあり、Ｆ値が適切な撮影範囲とされる所定の範囲内にある場合の合焦位置と視差補正量との相関を示すグラフ（図１３）を用いて説明したが、合焦位置と視差補正量との相関は、実際には焦点距離やＦ値によって変化する。図１６は、様々な焦点距離における合焦位置と視差補正量との相関を示すグラフであり、図１７は、様々なＦ値における合焦位置と視差補正量との相関を示すグラフである。なお、図１３と同様、図１６、１７についても、各グラフの適用範囲は焦点距離、Ｆ値がある値を中心としたある範囲内にある場合である。

　ズームレンズが移動され、ズームレンズの位置（ズーム位置）、すなわち焦点距離が望遠側になるほど被写界深度が浅くなり、視差量がつきやすい。したがって、焦点距離に応じて適切な視差補正量を算出するためには、焦点距離が望遠側になるにつれて、合焦位置が変化したときの変化量に対する視差補正量の変化量（グラフの傾き）を大きくする必要がある。したがって、合焦位置と視差補正量との相関を示すグラフの傾きは、焦点距離によって図１６に示すように変化する。

　Ｆ値が小さい、すなわち被写体が明るいほど被写界深度が浅くなり、視差量がつきやすい。したがって、被写体の明るさに応じて適切な視差補正量を算出するためには、Ｆ値が小さくなるにつれて、合焦位置が変化したときの変化量に対する視差補正量の変化量（グラフの傾き）を大きくする必要がある。したがって、合焦位置と視差補正量との相関を示すグラフの傾きは、Ｆ値によって図１７に示すように変化する。

　図１６や図１７に示す合焦位置と視差補正量との相関を示すグラフも、視差補正量算出部６７Ａの記録領域に記録されている。なお、図１６、図１７では３本のグラフの場合を例示したが、焦点距離やＦ値の異なる更に多くのグラフが記録されているようにしてもよい。

　視差補正量算出部６７Ａは、焦点距離や被写体の明るさを取得し、合焦位置と視差補正量との相関を示すグラフとして記録領域に記録された複数のグラフのうちのどのグラフを用いるかを決定する。これにより、被写体の条件や光学条件等にかかわらず、被写体の視差量が常に０となるような視差補正量を算出することができる。

　なお、合焦位置と視差補正量との相関として、図１３、１６、１７に示すようなグラフに限らず、合焦位置と視差補正量との相関が一覧形式であらわされたテーブルを記録させるようにしてもよい。

　［撮像装置の動作の説明］
　次に、単眼立体撮像装置３の動作について説明する。この撮像処理はＣＰＵ４０によって制御される。この撮像処理をＣＰＵ４０に実行させるためのプログラムはＣＰＵ４０内のプログラム格納部に記録されている。

　図１８は、単眼立体撮像装置３のライブビュー画像の撮影、表示処理の流れを示すフローチャートである。単眼立体撮像装置１のライブビュー画像の撮影処理との差異は、ステップＳ５０のみであるため、ステップＳ５０について説明する。

　視差補正量算出部６７がコンティニュアスＡＦにより合焦位置が変化したか否かを判断した（ステップＳ１６）結果、合焦位置が変化した場合（ステップＳ１６でＹＥＳ）は、フォーカスレンズが移動され、合焦している被写体、すなわちフォーカスポイントが変化した場合である。

　この場合には、視差補正量算出部６７は、フォーカスレンズの移動量にもとづいて視差補正量を算出する（ステップＳ５０）。以下、ステップＳ５０の処理について詳細に説明する。

　まず、視差補正量算出部６７は、ＣＰＵ４０を介してフォーカスレンズの初期位置からの移動量、焦点距離（これはズーム位置より算出される）及びＦ値を取得する。

　次に、視差補正量算出部６７は、焦点距離及びＦ値にもとづいて、記録領域に記録された複数の合焦位置と視差補正量との相関を示すグラフのうち、どのグラフを用いるかを決定する。

　そして、視差補正量算出部６７は、フォーカスレンズの初期位置からの移動量にもとづいて合焦位置の変化量を算出する。この合焦位置の変化量は、ステップＳ５０が行われる前の合焦位置と、フォーカスレンズ移動後の合焦位置との変化量である。この算出結果と、決定された合焦位置と視差補正量との相関を示すグラフとにもとづいて、視差補正量を算出する。

　なお、ステップＳ５０において、既にフォーカスレンズが初期位置から移動されている場合には、合焦位置の変化量が求められるのであれば、直前のフォーカスレンズの位置からの移動量を算出してもよいし、初期位置からの移動量を算出してもよい。

　これにより、位相差ＣＣＤ１７の主画素、副画素で撮像される画像が、被写体の条件や光学条件に応じて、主要被写体の視差量が一定となるように視差量が補正され、リアルタイムに表示される。

　本実施の形態では、被写体の条件や光学条件等にかかわらず、フォーカスレンズの移動に関わらず右眼用画像と左眼用画像との視差量を常に一定にすることができ、撮影者の不快感を軽減することができる。

　なお、本実施の形態では、ライブビュー画像の撮影、表示を例に説明したが、第１の実施の形態と同様、右眼用画像データ及び左眼用画像データを連続的に取得し、コンティニュアスＡＦを行う場合、例えば動画撮影時にも適用することができる。

　また、本実施の形態では、合焦位置と視差補正量との相関を示すグラフを記録したが、フォーカスレンズの移動量と視差補正量との関係を示すグラフを記録するようにし、フォーカスレンズの移動量より視差補正量を直接求めるようにしてもよい。

　また、本実施の形態では、フォーカスレンズの移動量より合焦位置の変化量を求め、合焦位置の変化量より視差補正量を算出したが、合焦位置の変化量を算出できるのであればフォーカスレンズの移動量の算出は必須ではない。

　なお、第１～３の実施の形態では、視差補正部６８により左右方向に移動された後の左眼用画像データ及び右目用画像データを、３Ｄ画像信号処理部６４及びビデオエンコーダを介して液晶モニタ２８に出力したが、視差補正部６８により左右方向に移動された後の左眼用画像データ及び右目用画像データを記録メディア５４、単眼立体撮像装置内部の図示しない記録手段、単眼立体撮像装置に接続された外部の記録手段等に出力し、記録させるようにしてもよい。これにより、単眼立体撮像装置やその他の表示手段で立体表示する場合にもフォーカスレンズの移動によらず左眼用画像及び右眼用画像の視差量を一定に保つことができ、視聴者の不快感を軽減することができる。

　また、第１～３の実施の形態では、撮像素子にＣＣＤを用いた例で説明したが、ＣＣＤに限定されるものではない。本発明は、ＣＭＯＳ等他のイメージセンサにも適用可能である。

　また、第１～３の実施の形態では、位相差ＣＣＤ１７のマイクロレンズＬ側に設けられた遮光部材１７Ａ、１７Ｂにより光束を分割する単眼立体撮像装置を例に説明したが、図１９に示すように光束を分割するリレーレンズを含む撮影レンズ１２’を用いた単眼立体撮像装置にも適用可能である。また、２つの画素（主画素、副画素）に対して１つのマイクロレンズを設けることにより、各画素に入射する光束が制限されるものでもよい。

　１、２、３：単眼立体撮像装置、１４：撮影レンズ、１６：絞り、１７Ａ、１７Ｂ：遮光部材、１７：位相差ＣＣＤ、４０：ＣＰＵ、４５：タイミングジェネレータ、４６：絞り駆動部、４７：レンズ駆動部、５４：記録メディア、６７、６７Ａ：視差補正量算出部、６８：視差補正部

Claims

　フォーカスレンズを含む撮影光学系と、
　前記撮影光学系を通過した光束を複数の光束に分割する瞳分割手段と、
　前記瞳分割手段により分割された複数の光束をそれぞれ受光して左眼用の画像及び右眼用の画像を取得する撮像手段と、
　前記フォーカスレンズの合焦位置を移動させるフォーカスレンズ駆動手段と、
　前記フォーカスレンズ駆動手段によりフォーカスレンズの合焦位置が移動した際に、前記左眼用の画像及び前記右眼用の画像の主要被写体の視差量を一定に保つ視差補正量を算出する視差補正量算出手段と、
　前記視差補正量算出手段により視差補正量が算出されると、算出された視差補正量だけ前記左眼用の画像及び前記右眼用の画像の少なくとも一方を左右方向に移動させて前記左眼用の画像及び前記右眼用の画像の視差補正を行う視差補正手段と、
　前記撮像手段により取得された左眼用の画像及び右眼用の画像、又は前記視差補正手段により視差補正が行われた左眼用の画像及び右眼用の画像を出力する出力手段と、
　を備えたことを特徴とする単眼立体撮像装置。
　前記左眼用の画像及び前記右眼用の画像を立体画像として認識可能に表示させる表示手段を備え、
　前記出力手段は、前記撮像手段により取得された左眼用の画像及び右眼用の画像、又は前記視差補正手段により視差補正が行われた左眼用の画像及び右眼用の画像を前記表示手段に出力することを特徴とする請求項１に記載の単眼立体撮像装置。
　前記左眼用の画像及び前記右眼用の画像を記録する第１の記録手段を備え、
　前記出力手段は、前記撮像手段により取得された左眼用の画像及び右眼用の画像、又は前記視差補正手段により視差補正が行われた左眼用の画像及び右眼用の画像を前記第１の記録手段に出力することを特徴とする請求項１又は２に記載の単眼立体撮像装置。
　前記視差補正量算出手段は、前記主要被写体の視差量を常に０とする視差補正量を算出することを特徴とする請求項１から３のいずれかに記載の単眼立体撮像装置。
　前記視差補正量算出手段は、前記左眼用の画像及び前記右眼用の画像のそれぞれから前記主要被写体の対応点を検出し、当該検出された左眼用の画像の対応点と右眼用の画像の対応点とのずれ量を一定に保つ視差補正量を算出することを特徴とする請求項１から４のいずれかに記載の単眼立体撮像装置。
　前記フォーカスレンズ駆動手段により前記フォーカスレンズの合焦位置を移動した際に、前記フォーカスレンズの合焦位置の移動量を算出する移動量算出手段を更に備え、
　前記視差補正量算出手段は、前記移動量算出手段により算出されたフォーカスレンズの合焦位置の移動量に基づいて視差補正量を算出することを特徴とする請求項１から４のいずれかに記載の単眼立体撮像装置。
　前記フォーカスレンズの位置に基づいて合焦位置を取得する合焦位置取得手段と、
　合焦位置と視差補正量との相関が記録された第２の記録手段と、を備え、
　前記視差補正量算出手段は、前記合焦位置取得手段により取得された合焦位置と、前記第２の記録手段に記録された合焦位置と視差補正量との相関とに基づいて視差補正量を算出することを特徴とする請求項１から６のいずれかに記載の単眼立体撮像装置。
　前記撮影光学系を介して前記撮像手段に入射する光量を調整する絞りと、
　前記絞りの絞り値を検出する絞り値検出手段と、を備え、
　前記第２の記録手段には、合焦位置と視差補正量との相関が前記絞りの絞り値に応じて複数記録され、
　前記視差補正量算出手段は、前記絞り値検出手段により検出された絞りの絞り値に基づいて、前記第２の記録手段に複数記録された合焦位置と視差補正量との相関のなかから視差補正量の算出に用いる合焦位置と視差補正量との相関を決定することを特徴とする請求項７に記載の単眼立体撮像装置。
　前記撮影光学系はズームレンズを有し、
　前記ズームレンズの位置より焦点距離を検出する焦点距離検出手段を備え、
　前記第２の記録手段には、合焦位置と視差補正量との相関が焦点距離に応じて複数記録され、
　前記視差補正量算出手段は、前記焦点距離検出手段より検出された焦点距離に基づいて、前記第２の記録手段に複数記録された合焦位置と視差補正量との相関のなかから視差補正量の算出に用いる合焦位置と視差補正量との相関を決定することを特徴とする請求項７に記載の単眼立体撮像装置。
　前記撮像手段により取得された左眼用の画像及び右眼用の画像に基づいて、前記主要被写体が合焦するように前記フォーカスレンズ駆動手段を介して前記フォーカスレンズの合焦位置を移動させる自動合焦手段を備え、
　前記撮像手段は、前記左眼用の画像及び前記右眼用の画像を連続的に取得し、
　前記自動合焦手段は、前記撮像手段により前記左眼用の画像及び前記右眼用の画像が連続的に取得されている間、連続的に前記フォーカスレンズの合焦位置を移動させることを特徴とする請求項１から９のいずれかに記載の単眼立体撮像装置。
　前記撮像手段により取得された左眼用の画像及び右眼用の画像に基づいて、前記主要被写体が合焦するように前記フォーカスレンズ駆動手段を介して前記フォーカスレンズの合焦位置を移動させる自動合焦手段と、
　撮影指示を入力する撮影指示入力手段と、を備え、
　前記撮像手段は、前記撮影指示入力手段により撮影指示が入力されると前記左眼用の画像及び前記右眼用の画像をそれぞれ１枚ずつ取得し、
　前記自動合焦手段は、前記撮像手段が前記左眼用の画像及び前記右眼用の画像をそれぞれ１枚ずつ取得する前に前記フォーカスレンズの合焦位置を移動させることを特徴とする請求項６から９のいずれかに記載の単眼立体撮像装置。
　前記視差補正手段は、前記フォーカスレンズ駆動手段により合焦位置が近くなる方向に前記フォーカスレンズの合焦位置が移動した場合には、前記左眼用の画像を右側に移動させる、前記右眼用の画像を左側に移動させる、又は、前記左眼用の画像を右側に移動させ、かつ、前記右眼用の画像を左側に移動させ、視差補正を行い、
前記フォーカスレンズ駆動手段により合焦位置が遠くなる方向に前記フォーカスレンズの合焦位置が移動した場合には、前記左眼用の画像を左側に移動させる、前記右眼用の画像を右側に移動させる、又は、前記左眼用の画像を左側に移動させ、かつ、前記右眼用の画像を右側に移動させ、視差補正を行うことを特徴とする請求項１から１１のいずれかに記載の単眼立体撮像装置。