JP5584677B2

JP5584677B2 - 立体撮像装置及び画像補正方法

Info

Publication number: JP5584677B2
Application number: JP2011281587A
Authority: JP
Inventors: 謙治星野
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2010-03-31
Filing date: 2011-12-22
Publication date: 2014-09-03
Anticipated expiration: 2030-11-22
Also published as: US20120038753A1; WO2011121841A1; EP2391119A1; US8502863B2; EP2391119B1; CN102362487A; JP2012093779A; EP2391119A4; CN102362487B; JP4897940B2; BRPI1008318A2; JPWO2011121841A1

Description

本発明は立体撮像装置及び画像補正方法に係り、特に互いに視差を有する複数の画像を撮影する立体撮像装置及びそれら画像を補正する画像補正方法に関する。

立体撮像装置は、左右に視差をもって並べられた２つの撮像部を使って同一被写体を左右の視点から撮影し、左目用の画像と右目用の画像とをそれぞれ取得するようにしている。このようにして取得された左右の画像は、３次元（３Ｄ）表示が可能な３Ｄディスプレイに入力され、左右の目で別々に視認できるように表示されることにより、立体画像として認識できるようになる。

２つの撮像部の撮影光学系は、通常、同じ性能、特性を有するものが使用され、また、各撮影光学系の光軸が一致するように装置本体に対して調整されて組み込まれている。

しかしながら、２つの撮影光学系には個体差があるため、レンズ移動を伴うズーム倍率の変更等が行われると、２つの撮影光学系の光軸がズーム位置に応じてずれるという問題があり、また、全てのズーム範囲にわたった光軸ずれが生じないようにメカ的に光軸を調整することは極めて困難である。

従来、この問題を解決するために、２つの撮影光学系の光軸ずれをズーム位置毎に記憶した記憶手段を設け、撮影時の撮影光学系のズーム位置に応じて前記記憶手段から対応する光軸ずれを読み出し、この光軸ずれに基づいて撮影された左右の画像のうちの一方の画像の座標を変換し、これにより左右の画像の光軸座標を一致させるようにした立体撮像装置が提案されている（特許文献１）。

また、特許文献２には、右眼用の撮影情報を得るためのＣＣＤを有する第１レンズ鏡筒と、左眼用の撮影情報を得るためのＣＣＤを有する第２レンズ鏡筒と、これら第１レンズ鏡筒と第２レンズ鏡筒の焦点距離を検出するカメラ検出回路と、各焦点距離における上記第１レンズ鏡筒と第２レンズ鏡筒のそれぞれの光軸中心のずれ量を予め記憶したＥＥＰＲＯＭ等からなるＲＯＭと、このＲＯＭからの出力に基づき各焦点距離における上記左右一対のＣＣＤの内の少なくとも一方における画像切り出しエリアを制御するＣＰＵと、を備えた立体撮像装置が開示されている。

特開２００６−１６２９９１号公報特開平８−３１７４２４号公報

上記特許文献１、２には、２つの撮影光学系の個体差による光軸ずれを、ズーム位置毎に予め取得されている光軸ずれ量に基づいて、左右の画像のうちの一方の画像の座標を変換し、又は画像の切り出し範囲を変更することにより補正する技術が開示されている。

しかしながら、特許文献１、２に記載の発明のように、２つの撮影光学系の光軸ずれを、撮影した画像の座標変換、又は画像の切り出し範囲の調整により補正しても、フォーカスレンズのフォーカス位置が変化すると、２つの撮影光学系の光軸がずれるという問題がある。

本発明はこのような事情に鑑みてなされたもので、被写体距離（フォーカス位置）にかかわらず、複数の撮影光学系の光軸ずれを良好に補正することができ、立体視しやすい複数の画像を得ることができる立体撮像装置、及び画像補正方法を提供することを目的とする。

前記目的を達成するために第１の態様に係る立体撮像装置は、撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像手段であって、互いに視差を有する複数の画像を撮像する複数の撮像手段と、予め検出した複数のフォーカス位置に対する各撮影光学系の光軸ずれ量を記憶する記憶手段と、前記複数の撮影光学系の現在のフォーカス位置を検出するフォーカス位置検出手段と、前記各撮影光学系の光軸ずれ量に基づき、前記フォーカス位置検出手段により検出された前記撮影光学系の現在のフォーカス位置に対応する光軸ずれ量を取得する光軸ずれ量取得手段と、前記複数の撮像手段から立体画像用の複数の画像を取得する撮像制御手段と、前記光軸ずれ量取得手段により現在のフォーカス位置に対応して取得された光軸ずれ量に基づいて前記撮像制御手段により取得された複数の画像に対して立体表示用の画像の切り出し処理を行う画像切り出し手段と、を備えたことを特徴としている。

第１の態様に係る発明によれば、前記光軸ずれ量取得手段により現在のフォーカス位置に対応する光軸ずれ量を取得し、この取得した光軸ずれ量に基づいて複数の画像に対して立体表示用の画像の切り出し処理を行うようにしたため、フォーカス位置（被写体距離）にかかわらず、複数の撮影光学系の光軸ずれを良好に補正することができ、立体視しやすい複数の画像を得ることができる。

第２の態様によれば第１の態様に係る立体撮像装置において、前記記憶手段は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を、フォーカス位置に応じて記憶し、前記光軸ずれ量取得手段は、現在のフォーカス位置に応じて前記記憶手段から対応する光軸ずれ量を読み出す読出手段を有することを特徴としている。

第３の態様によれば第１の態様に係る立体撮像装置において、前記記憶手段は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を算出するための２以上のフォーカス位置における光軸ずれ量又は計算式を示す情報を記憶し、前記光軸ずれ量取得手段は、前記記憶手段に記憶された情報と現在のフォーカス位置とに基づいて光軸ずれ量を算出する算出手段を有することを特徴としている。

第２の態様に係る発明は、前記記憶手段から現在のフォーカス位置に対応する光軸ずれ量を読み出すようにしているが、第３の態様に係る発明は、前記光軸ずれ量を計算により算出するようにしている。

第４の態様によれば第１の態様に係る立体撮像装置において、前記複数の撮影光学系の現在のズーム位置を検出するズーム位置検出手段を更に有し、前記記憶手段は更に、予め検出した複数のズーム位置に対する各撮影光学系の光軸ずれ量を記憶することを特徴としている。

複数の撮影光学系の光軸ずれは、各撮影光学系のフォーカス位置の他に、ズーム位置によっても発生するため、予めフォーカス位置及びズーム位置に応じて光軸ずれ量を記憶手段に記憶させておき、撮影時の現在のズーム位置及びフォーカス位置に応じて前記記憶手段から対応する光軸ずれ量を読み出すようにしている。これによれば、フォーカス位置（被写体距離）、ズーム位置（撮影倍率）にかかわらず、複数の撮影光学系の光軸ずれを良好に補正することができ、立体視しやすい複数の画像を得ることができる。

第５の態様によれば第４の態様に係る立体撮像装置において、前記記憶手段は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置及びズーム位置の光軸ずれ量を、ズーム位置及びフォーカス位置に応じて記憶し、前記光軸ずれ量取得手段は、現在のズーム位置及びフォーカス位置に応じて前記記憶手段から対応する光軸ずれ量を読み出す読出手段を有することを特徴としている。

第６の態様によれば第４の態様に係る立体撮像装置において、前記記憶手段は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を算出するための２以上のフォーカス位置における光軸ずれ量又は計算式を示す情報を、前記撮影光学系のズーム位置に応じて記憶し、前記光軸ずれ量取得手段は、前記撮影光学系の現在のズーム位置に基づいて前記記憶手段から読み出した情報と現在のフォーカスとに基づいて光軸ずれ量を算出する算出手段を有することを特徴としている。

第７の態様によれば第１から第６の態様のいずれかに係る立体撮像装置において、所定のディストーション補正式に基づいて前記撮像制御手段により取得された複数の画像に対してディストーション補正を行うディストーション補正手段を備え、前記光軸ずれ量取得手段は、前記所定のディストーション補正式によりディストーション補正された後の光軸ずれ量を取得することを特徴としている。

複数の撮像手段から取得した各画像に対して、それぞれディストーション補正が行われると、そのディストーション補正により光軸中心がずれる。そこで、ディストーション補正後の光軸ずれ量を取得し、この取得した光軸ずれ量に基づいて複数の画像に対して立体表示用の画像の切り出し処理を行うことで、ディストーション補正を行っても、そのディストーション補正の影響を受けない光軸ずれの補正を行うことができる。

第８の態様によれば第７の態様に係る立体撮像装置において、前記撮影光学系の各ズーム位置に対応するディストーション補正式のうちから現在のズーム位置に対応する、前記所定のディストーション補正式を取得するディストーション補正式取得手段を備えたことを特徴としている。即ち、ディストーションは、撮影光学系の各ズーム位置により変化するため、現在のズーム位置に対応するディストーションを補正するためのディストーション補正式を取得するようにしている。

第９の態様によれば第８の態様に係る立体撮像装置において、前記複数の撮影光学系の現在のズーム位置を検出するズーム位置検出手段を更に有し、前記ディストーション補正式取得手段は、前記撮影光学系のズーム位置に対応するディストーション補正式をズーム位置に応じて記憶する記憶手段と、現在のズーム位置に応じて前記記憶手段から対応するディストーション補正式を読み出す読出手段と、を有することを特徴としている。

第１０の態様によれば第７から第９の態様のいずれかに係る立体撮像装置において、前記光軸ずれ量取得手段は、ディストーション補正前の光軸ずれ量を記憶する記憶手段と、前記記憶手段から読み出した光軸ずれ量を、前記所定のディストーション補正式に代入してディストーション補正後の光軸ずれ量を算出する算出手段と、を有することを特徴としている。

第１１の態様によれば第７から第１０の態様のいずれかに係る立体撮像装置において、前記撮像制御手段により取得された複数の画像のシェーディング補正を行うシェーディング補正手段を更に備え、前記画像切り出し手段は、前記シェーディング補正手段によるシェーディング補正された画像に対して前記画像の切り出し処理を行うことを特徴としている。複数の画像の明るさをシェーディング補正により均一にしてから画像の切り出し処理が行われるため、切り出される複数の画像間で明るさの差のない画像にすることができる。

第１２の態様によれば第７から第１１の態様のいずれかに係る立体撮像装置において、前記画像切り出し手段は、前記ディストーション補正手段によるディストーション補正後の画像に対して画像の切り出し処理を行うことを特徴としている。各画像の切り出し範囲によらず、切り出される画像間でディストーションによるずれのない画像の切り出しが可能になる。

第１３の態様によれば第１１又は第１２の態様に係る立体撮像装置において、予め設定した枚数又は撮影指示期間中、前記複数の撮像手段から時系列の複数の画像を取得する連写モードを選択する手段と、前記連写モードにより撮影中の画像を一時記憶する内部記憶手段と、を備え、前記シェーディング補正手段は、前記連写モードによる撮影終了後に前記内部記憶手段に記憶された複数の画像を読み出してシェーディング補正を行うことを特徴としている。連写終了後にシェーディング補正を行うことにより、連写速度の低下を防止することができる。

第１４の態様によれば第７から第１０の態様のいずれかに係る立体撮像装置において、撮影モード又は再生モードを選択するモード選択手段と、前記モード選択手段により選択された撮影モード時に前記撮像制御手段により取得された複数の画像とともに、前記ディストーション補正式取得手段により取得したディストーション補正式及び前記光軸ずれ量取得手段により取得された光軸ずれ量を、前記取得された複数の画像に関連付けて記録媒体に記録する記録手段と、を備え、前記ディストーション補正手段及び画像切り出し手段は、前記モード選択手段により選択された再生モード時に前記記録媒体から前記複数の画像とともに、該画像に関連付けて記憶された前記ディストーション補正式及び光軸ずれ量を読み出し、該読み出した複数の画像に対してそれぞれ前記ディストーション補正式及び光軸ずれ量に基づいてディストーション補正及び画像の切り出し処理を行うことを特徴としている。撮影時にディストーション補正及び画像の切り出し処理を行わずに、再生時に行うことにより、撮影時の処理量を低減することができ、特に３次元（３Ｄ）動画の撮影時に高精細な３Ｄ動画を高フレームレートで撮影記録することができる。

第１５の態様によれば第１４の態様に係る立体撮像装置において、前記記録手段は、前記再生モード時に前記ディストーション補正及び画像の切り出し処理された画像を、前記記録媒体に記録することを特徴としている。

第１６の態様によれば第１から第１５の態様のいずれかに係る立体撮像装置において、前記複数の撮像手段から出力される複数の画像間の視差量を調整する視差量調整手段を備え、前記画像切り出し手段は、前記立体表示用の画像の切り出し処理時に前記視差量調整手段により調整された視差量に基づいて更に切り出し位置を調整した画像の切り出し処理を行うことを特徴としている。これにより、ユーザの好みの視差量をもった複数の画像の切り出し処理を行うことができる。

本発明によれば、複数の撮影光学系のフォーカス位置（被写体距離）に対応する、予め光軸調整時に登録された光軸ずれ量を取得し、この光軸ずれ量に基づいて各画像から立体視用の画像を切り出すようにしたため、フォーカス位置（被写体距離）にかかわらず、立体視用の画像間で、光軸ずれのない立体視しやすい複数の画像を得ることができる。

本発明に係る立体撮像装置の外観を示す図本発明に係る立体撮像装置の実施形態を示すブロック図本発明に係る出荷前の光軸調整時の処理の第１の実施形態を示すフローチャート出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第１の例を示す図本発明に係る立体撮像装置の第１の実施形態の撮影動作を示すフローチャート出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第２の例を示す図出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第３の例を示す図ディストーション補正の前後で左右の画像の光軸中心がずれる様子を示す図出荷前の光軸調整時の処理の第２の実施形態を示すフローチャート出荷前の光軸調整時にＥＥＰＲＯＭに記録されるテーブルの第４の例を示す図本発明に係る立体撮像装置の各撮像モードに応じた撮影動作を示すフローチャート図１１に示した画像処理の第１の実施形態を示すフローチャート出荷前の光軸調整時の処理の第３の実施形態を示すフローチャート計算によりディストーション補正後の光軸ずれ量を算出する実施形態を示すフローチャート図１１における画像処理の第２の実施形態を示すフローチャート連写撮影時の画像処理の第１の実施形態を示すフローチャート連写撮影時の画像処理の第２の実施形態を示すフローチャート写撮影時の画像処理の第３の実施形態を示すフローチャート本発明に係る立体撮像装置の撮影処理の第１の実施形態を示すフローチャート本発明に係る立体撮像装置の再生処理の第１の実施形態を示すフローチャート本発明に係る立体撮像装置の撮影処理の第２の実施形態を示すフローチャート本発明に係る立体撮像装置の再生処理の第２の実施形態を示すフローチャート図１７及び図１８に示した撮影／再生時の第２の実施形態の画像の切り出し処理を説明するために使用した図

以下、添付図面に従って本発明に係る立体撮像装置の実施の形態について説明する。

［立体撮像装置の外観］
図１は本発明に係る立体撮像装置の外観を示す図であり、図１（ａ）は立体撮像装置を前面側から見た斜視図であり、図１（ｂ）は背面図である。

この立体撮像装置（複眼カメラ）１０は、２Ｄ／３Ｄの静止画、及び２Ｄ／３Ｄの動画の記録再生が可能なデジタルカメラであり、図１に示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン１１、ズームボタン１２が配設されている。

カメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア１３が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア１３を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1，14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1，14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア１３によるレンズ前面の開閉動作に連動して、カメラ電源をＯＮ／ＯＦＦさせることができるようになっている。

図１（ｂ）に示すようにカメラ本体の背面には、その中央部に３Ｄ用の液晶モニタ１６が配設されている。液晶モニタ１６は、複数の視差画像（右目用画像、左目用画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものである。尚、３Ｄ用の液晶モニタ１６としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右目用画像と左目用画像とを個別に見ることができるものなどが適用できる。

上記液晶モニタ１６の左右には、各種の操作スイッチが配設されている。操作スイッチ１８Ａは、静止画撮影と動画撮影とを切り替える切り替えスイッチであり、操作スイッチ１８Ｂは、右目用画像と左目用画像の視差量を調整する視差調整スイッチであり、操作スイッチ１８Ｃは２Ｄ撮影と３Ｄ撮影とを切り替える切り替えスイッチである。また、操作スイッチ１８Ｄは、MENU／OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイッチ１８Ｅは、マルチファンクションの十字キーであり、操作スイッチ１８Ｆは、DISP／BACKキーである。

MENU／OKボタンは、液晶モニタ１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の４方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられており、また、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作手段）として機能する。また、十字キーの左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。DISP／BACKキーは、液晶モニタ１６の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

尚、図１（ａ）上で、１５はステレオマイクである。

［立体撮像装置の内部構成］
図２は上記立体撮像装置１０の実施形態を示すブロック図である。

図２に示すように、この立体撮像装置１０は、主として複数の撮像部20-1,20-2、中央処理装置（ＣＰＵ）３２、前述したシャッタボタン１１、ズームボタン１２、及び各種の操作スイッチを含む操作部３４、表示制御部３６、液晶モニタ１６、記録制御部３８、圧縮／伸張処理部４２、デジタル信号処理部４４、ＡＥ（Automatic Exposure：自動露出）検出部４６、ＡＦ（Auto Focus：自動焦点）検出部４８、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）検出部５０、ＶＲＡＭ５２、ＲＡＭ５４、ＲＯＭ５６、及びＥＥＰＲＯＭ５８等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の２枚の視差画像を撮像するが、撮像部２０は、３つ以上あってもよい。

左眼用画像を撮像する撮像部20-1は、プリズム（図示せず）、フォーカスレンズ及びズームレンズ２１からなる撮影光学系14-1(図１)、絞り２２及びメカシャッタ２３からなる光学ユニットと、固体撮像素子（ＣＣＤ）２４と、アナログ信号処理部２５と、Ａ／Ｄ変換器２６と、画像入力コントローラ２７と、前記光学ユニットを駆動するレンズ駆動部２８、絞り駆動部２９及びシャッタ制御部３０と、ＣＣＤ２４を制御するＣＣＤ制御部３１とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。

ＣＰＵ３２は、操作部３４からの入力に基づき所定の制御プログラムに従ってカメラ全体の動作を統括制御する。尚、ＲＯＭ５６には、ＣＰＵ３２が実行する制御プログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ５８には、製品出荷前の調整時の調整結果を示す各種の情報、例えばＣＣＤ２４の画素欠陥情報、画像処理等に使用する補正パラメータやテーブル等が記憶されている。尚、ここに記憶される各種の情報の詳細については後述する。

また、ＶＲＡＭ５２は、液晶モニタ１６に表示する表示用の画像データを一時記憶するメモリであり、ＲＡＭ５４は、ＣＰＵ３２の演算作業用領域及び画像データの一時記憶領域を含んでいる。

撮影光学系に含まれるフォーカスレンズ及びズームレンズ２１は、レンズ駆動部２８により駆動されて光軸に沿って前後に移動する。ＣＰＵ３２は、レンズ駆動部２８の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部３４中のズームボタン１２からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。

絞り２２は、例えば、アイリス絞りで構成されており、絞り駆動部２９に駆動されて動作する。ＣＰＵ３２は、絞り駆動部２９を介して絞り２２の開口量（絞り値）を制御し、ＣＣＤ２４への入射光量を制御する。

メカシャッタ２３は、光路を開閉することによりＣＣＤ２４での露光時間を決めるとともに、ＣＣＤ２４からの画像信号の読み出し時に不要光がＣＣＤ２４に入射しないようにしてスミアの発生を防止する。ＣＰＵ３２は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部３０に出力し、メカシャッタ２３を制御する。

ＣＣＤ２４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ２４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。

上記構成の光学ユニットを介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３２の指令に従ってＣＣＤ制御部３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ２４から順次読み出される。ＣＣＤ２４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ２３を閉じることにより露光終了時点（電荷蓄積終了時点）が制御される。この実施形態では、撮像素子としてＣＣＤ２４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

ＣＣＤ２４から読み出されたＲ、Ｇ、Ｂのアナログ信号は、アナログ信号処理部２５により相関二重サンプリング（ＣＤＳ）や増幅が行われた後、Ａ／Ｄ変換器２６によりＲ、Ｇ、Ｂのデジタル信号に変換される。

画像入力コントローラ２７は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２６によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)を一時蓄積したのち、バス６０を介してＲＡＭ５４に格納する。

ＣＰＵ３２は、３Ｄ撮像モード時には左目用画像を撮像する撮像部20-1と同様に右眼用画像を撮像する撮像部20-2を制御する。

ＡＥ検出部４６は、シャッタボタン１１の半押し時に取り込まれる画像信号に基づいてＡＥ制御に必要な被写体輝度を算出し、被写体輝度（撮影ＥＶ値）を示す信号をＣＰＵ３２に出力する。ＣＰＵ３２は、入力する撮影ＥＶ値に基づいて所定のプログラム線図に従って複数の撮像部20-1,20-2におけるシャッタ速度（露光時間）、絞り値、撮影感度を設定する。

ＡＦ検出部４８は、シャッタボタン１１の半押し時に取り込まれるＡＦエリアの画像信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をＣＰＵ３２に出力する。ＣＰＵ３２は、フォーカスレンズを至近から無限遠側に移動させ、ＡＦ検出部４８により検出されるＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。尚、動画撮影時には、前記ＡＦ評価値が常に最大値をとるようにフォーカスレンズを移動させる、いわゆる山登り制御が行われる。

ＡＷＢ検出部５０は、本撮像時に取得されたＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出す。

デジタル信号処理部４４は、ホワイトバランス補正回路、階調変換処理回路（例えば、ガンマ補正回路）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＲＡＭ５４に格納されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)に対して画像処理を行う。即ち、Ｒ、Ｇ、ＢのCCDRAWデータは、デジタル信号処理部４４において、ＡＷＢ検出部５０により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理（例えば、ガンマ補正）等の所定の処理が施された後、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＣ信号に変換される。デジタル信号処理部４４により処理されたＹＣ信号はＲＡＭ５４に格納される。

また、デジタル信号処理部４４は、複数の撮像部20-1,20-2の撮影光学系のレンズ歪補正を補正するディストーション補正回路、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路を含んで構成されている。尚、ディストーション補正回路及び画像切り出し処理回路の処理内容の詳細については後述する。

圧縮／伸張処理部４２は、メモリカード４０への記録時にはＣＰＵ３２からの指令に従い、ＲＡＭ５４に格納されたＹＣ信号を圧縮処理し、また、メモリカード４０に記録された圧縮された圧縮データを伸張処理してＹＣ信号にする。記録制御部３８は、圧縮／伸張処理部４２により圧縮された圧縮データを所定形式の画像ファイル（例えば、３Ｄ静止画は、ＭＰ（マルチピクチャ）フォーマットの画像ファイル、３Ｄ動画は、モーションＪＰＥＧ、Ｈ．２６４、ＭＰＥＧ４、ＭＰＥＧ４−ＭＶＣの動画ファイル）にしてメモリカード４０に記録し、又はメモリカード４０から画像ファイルの読み出しを行う。

液晶モニタ１６は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩ（グラフィカルユーザインターフェース）として使用される。また、液晶モニタ１６は、撮影モード時に画角を確認するためのライブビュー画像（以下、「スルー画」という）を表示する電子ビューファインダとして利用される。表示制御部３６は、液晶モニタ１６に３Ｄ画像を表示させる場合には、ＶＲＡＭ５２に保持されている左目用画像と右眼用画像とを１画素ずつ交互に表示させる。液晶モニタ１６に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、１画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。

尚、図２には図示されていないが、この立体撮像装置１０は、図１に示したステレオマイク１５により取得した音声情報（オーディオデータ）を記録再生する機能も有している。

［製品出荷前の光軸調整の第１の実施形態］
次に、製品出荷前の調整時にＥＥＰＲＯＭ５８に記憶させる光軸調整用の情報について説明する。

図３は本発明に係る出荷前の光軸調整時の処理の第１の実施形態を示すフローチャートである。

図３に示すように、まず、フォーカスレンズのフォーカス位置を示す変数Ｎを、Ｎ＝Near（至近端)に設定する（ステップＳ１０）。尚、この変数Ｎは、至近端を示すNear（例えば、１）から無限遠を示すInf(例えば、ｎ)の間で、フォーカス位置に対応して変化する。

続いて、調整対象の立体撮像装置１０と光軸を調整するための調整用チャートとを所定の位置関係になるようにセットし、立体撮像装置１０の各撮影光学系のフォーカレンズを調整して調整用チャートにピントを合わせる（ステップＳ１２）。尚、調整用チャートは、最初に至近端（Near）に対応する被写体距離に設置される。

続いて、前記調整用チャートにピントが合うようにフォーカスレンズを移動させた後、そのレンズ位置（フォーカス位置）にて撮影を行い、左右の画像を取得する（ステップＳ１４、Ｓ１６）。

上記取得した左右の画像からそれぞれ対応する特徴点を検出する対応点検出を行う（ステップＳ１８）。対応点の検出方法としては、例えばブロックマッチング法を適用することができる。即ち、左画像から任意の画素を基準に切り出した所定のブロックサイズのブロックと右画像のブロックとの一致度を評価し、ブロック間の一致度が最大となる時の右画像のブロックの基準の画素を、前記左画像の任意の画素に対応する右画像の画素とする。また、ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するものがある（ＳＳＤブロックマッチング法）。

上記のようにして対応点が検出されると、対応点のずれ量（複数の対応点を検出した場合には、複数の対応点のずれ量の平均）を検出し、その検出したずれ量を２つの撮影光学系の光軸ずれ量として、フォーカス位置Ｎに関連付けてＥＥＰＲＯＭ５８に記憶させる（ステップＳ２０、Ｓ２２）。

次に、Ｎ＝Inf(n)になったか否かを判別し（ステップＳ２４）、「Ｎｏ」の場合には、変数Ｎを１だけインクリメントし（ステップＳ２６）、ステップＳ１２に遷移させ、変数Ｎに対応する被写体距離に調整用チャートを移動させて上記の処理（ステップＳ１２〜Ｓ２４）を実施させ、一方、「Ｙｅｓ」の場合には、調整処理を終了する（ステップＳ２８）。

このようにフォーカスレンズのフォーカス位置を変えながら調整用チャートを撮影して光軸ずれ量を検出することにより、図４に示すように各フォーカス位置ＦＮ（Ｎ＝１、２、…、ｎ）に対応する光軸ずれ量がＥＥＰＲＯＭ５８に記憶される。尚、図４に示す光軸ずれ量は、左右の画像の一方の画像（例えば、左の画像）の光軸中心の座標値に対する、他方（右の画像）の光軸中心の座標値の垂直（Ｖ）方向のずれ量としている。

［撮影動作の第１の実施形態］
次に、本発明に係る立体撮像装置１０の第１の実施形態の撮影動作について、図５に示すフローチャートを参照しながら説明する。

図５において、ＣＰＵ３２は、撮影指示（シャッタボタン１１の全押し（スイッチＳ２のＯＮ））の有無を判別する（ステップＳ３０）。スイッチＳ２がＯＦＦの場合には、液晶モニタ１６には３Ｄスルー画が表示される（ステップＳ３２）。

この３Ｄスルー画を表示する場合には、左右の撮像部20-1,20-2から時系列で順次取得される左右の画像に対して、図４に示したテーブルから現在のフォーカス位置に対応する左右の画像における光軸ずれ量を読み出し、この光軸ずれ量を相殺するように、フル画角の画像から３Ｄスルー画用の画像を切り出して液晶モニタ１６に出力する。

これにより、２つの撮像光学系のフォーカス位置毎に異なる光軸ずれが補正された３Ｄスルー画を液晶モニタ１６に表示させることができる。

一方、スイッチＳ２がＯＮされると、ＣＰＵ３２は、本撮影を開始させる（ステップＳ３４）。

本撮影により左右のフル画角の画像が取得されると（ステップＳ３４）、フォーカスレンズの現在のフォーカス位置の情報（例えば、フォーカスモータ（ステップモータ）の基準位置からのパルス数）を取得し、この取得した現在のフォーカス位置(Ｆ-pos)に対応する光軸ずれ量をＥＥＰＲＯＭ５８から読み出す（ステップＳ３８）。

この読み出した光軸ずれ量に基づいてスイッチＳ３６で取得した左右の画像から、前記光軸ずれ量だけ左右の切り出し位置を互いに移動させて画像の切り出し処理を行う（ステップＳ４０）。例えば、光軸ずれ量が＋２（画素）の場合、左の画像の切り出し中心をＶ方向に＋１画素ずらして左の画像を切り出すとともに、右の画像の切り出し中心をＶ方向に−１画素だけずらして右の画像を切り出す。これにより、切り出された画像は、光軸ずれが補正された画像となる。

上記のようにして切り出された左右の画像は、それぞれ所定の圧縮形式で圧縮した後、メモリカード４０に作成したファイルに記録される（ステップＳ４２）。

尚、撮像光学系が単焦点レンズの場合には、図３及び図４に示したように事前にフォーカス位置毎に記憶した光軸ずれ量から、現在のフォーカス位置に対応して読み出した光軸ずれ量を使用して画像の切り出しを行うが、本実施形態のように撮像光学系がズームレンズの場合には、そのズームレンズのズーム位置及びフォーカス位置毎に光軸ずれ量を取得する。

即ち、ズームレンズのズーム位置として、ワイド端のズーム位置（Ｚ１）からテレ端のズーム位置（Ｚ１０）まで１０段階のズーム位置がある場合、ズームレンズを各ズーム位置に移動させ、各ズーム位置毎に、図３のステップＳ１０からステップＳ２６の処理を実行させることにより、ズーム位置及びフォーカス位置毎に光軸ずれ量をＥＥＰＲＯＭ５８に記憶させる。

図６は上記のようにしてＥＥＰＲＯＭ５８に記憶されたズーム位置及びフォーカス位置毎の光軸ずれ量が記憶されたテーブルの第２の例である。

この場合、図５のステップＳ３８において、現在のズーム位置及びフォーカス位置を取得し、その取得したズーム位置及びフォーカス位置に対応する光軸ずれ量を、図６に示したテーブルから読み出すようにする。

これによれば、左右の撮影光学系のズーム位置及びフォーカス位置にかかわらず、光軸ずれが補正された立体視用の左右の画像を切り出すことができる。

尚、図６に示したテーブルは、全てのズーム位置及びフォーカス位置に対応する光軸ずれ量を記憶しているが、これに限らず、図７に示すよう２つのフォーカス位置（至近のフォーカス位置(Near)、及び無限遠のフォーカス位置(Inf)）のみ光軸ずれ量を検出記憶し、中間のフォーカス位置における光軸ずれ量は、上記２つのフォーカス位置の光軸ずれ量を中間のフォーカス位置により線形補間することにより算出するようにしてもよい。

尚、ズーム位置がテレ端側になり、フォーカスレンズの移動量が大きくなる場合には、至近、中間、無限遠の３つのフォーカス位置における光軸ずれ量を検出記憶しておき、至近から中間、又は中間から無限遠で線形補間して光軸ずれ量を算出することが好ましい。

［ディストーション補正］
次に、撮影した左右の画像に対して、レンズ歪みによる画像の歪み（樽歪み、糸巻歪み等）を補正するディストーション補正を行う場合について説明する。

左右の画像に対してディストーション補正を行うと、このディストーション補正により光軸がずれるという問題がある。

例えば、図８に示すように樽歪みを有する左の画像の光軸中心をＯ_Ｌ，右の画像の光軸中心をＯ_Ｒとすると、これらの画像のディストーション補正後の光軸中心は、それぞれＯ_Ｌ’、Ｏ_Ｒ’になり、水平及び垂直方向にΔＨ、ΔＶだけ光軸中心がずれることになる。

また、ディストーション補正は、高次多項式のディストーション補正式に各画素の座標値を代入して計算することにより行うため、計算量が多く、例えば、３Ｄ動画の撮影時に補正精度の高いディストーション補正式を使用してディストーション補正を行う場合には、高精細（ＨＤ）な３Ｄ動画を高フレームレートで撮影記録することが困難であるという問題がある。

そのため、３Ｄ動画の場合には、ディストーション補正を行わないか、又は次数の低いディストーション補正式を使用し、補正精度の低いディストーション補正を行うことになる。

一方、３Ｄ静止画のディストーション補正は、撮影後、メモリカードへの書き込みまでの間に行えばよいため、補正精度の高いディストーション補正式を使用して補正精度の高いディストーション補正を行うことができる。

上記のように３Ｄ動画と３Ｄ静止画とで、補正精度の異なるディストーション補正式を使用した場合、使用するディストーション補正式に応じて、ディストーション補正後の光軸中心がずれるという問題がある。

以下の実施形態では、補正精度の異なるディストーション補正を行っても、光軸ずれのない画像を取得する方法について説明する。

［製品出荷前の光軸調整の第２の実施形態］
図９は本発明に係る出荷前の光軸調整時の処理の第２の実施形態を示すフローチャートである。

図９に示すように、まず、調整対象の立体撮像装置１０と光軸を調整するための調整用チャートとを所定の位置関係になるようにセットし、立体撮像装置１０の各撮影光学系のフォーカ位置を調整して調整用チャートにピントを合わせる（ステップＳ５０）。

次に、撮像モードを示す変数Ｍを１にセットする（ステップＳ５２）。ここで、Ｎ＝１は、３Ｄスルー画を液晶モニタ１６に表示させる時の撮像モードを示し、Ｍ＝２は、３Ｄ動画を撮影する時の撮像モードを示し、Ｍ＝３は、３Ｄ静止画を撮影する時の撮像モードを示す。

続いて、前記調整用チャートを撮影し、左右の画像を取得する（ステップＳ５４、Ｓ５６）。

上記取得した左右の画像に対して、それぞれ現在の撮像モードＮに対応するディストーション補正を行う（ステップＳ５８）。ここで、ディストーション補正を行うためのディストーション補正式は、撮像モードＮにより補正精度の異なるものが使用される。例えば、スルー画用の撮像モード（Ｍ＝１）では、２次多項式が使用され、動画画用の撮像モード（Ｍ＝２）では、４次多項式が使用され、静止画用の撮像モード（Ｍ＝３）では、６次多項式が使用される。尚、ディストーション補正式の次数が大きいもの程、より精度の高いディストーション補正を行うことができるが、計算量が増加し、補正精度と計算量との関係は、トレードオフの関係にある。

ステップＳ５８でのディストーション補正後、左右の画像の対応する特徴点を検出する対応点検出を行う（ステップＳ６０）。対応点の検出方法としては、例えばブロックマッチング法を適用することができる。

上記のようにして対応点が検出されると、対応点のずれ量（複数の対応点を検出した場合には、複数の対応点のずれ量の平均）を検出し、その検出したずれ量を２つの撮影光学系の光軸ずれ量として、撮像モードＭに関連付けてＥＥＰＲＯＭ５８に記憶させる（ステップＳ６２、Ｓ６４）。

次に、Ｍ＝４になったか否かを判別し（ステップＳ６６）、「Ｎｏ」の場合には、変数Ｍを１だけインクリメントし（ステップＳ６８）、ステップＳ５８に遷移させ、「Ｙｅｓ」の場合には、調整処理を終了する（ステップＳ７０）。

これにより、各撮像モード（Ｍ＝１、２、３）毎に光軸ずれ量がＥＥＰＲＯＭ５８に記憶される。

尚、図９では、ズーム位置及びフォーカス位置を変化させた場合の光軸ずれ量の検出記憶については省略されているが、各撮像モード毎にズーム位置及びフォーカス位置を変化させた場合の光軸ずれ量の検出記憶も行う。また、ステップＳ５８におけるディストーション補正は、各ズーム位置に対応するディストーション補正式を使用する。

図１０にＥＥＰＲＯＭ５８に記憶された各撮像モード毎の光軸ずれ量を示すテーブルの一例を示す。

図１０（ａ）〜（ｃ）は、それぞれスルー画用テーブル、静止画用テーブル、及び動画用テーブルを示しており、各テーブルには、ズーム位置毎に左右の画像に対する光軸ずれ量（Ｖ方向の光軸ずれ量）が記憶されている。

尚、３Ｄ画像の場合、各画像間のＶ方向の光軸ずれが立体視を行う上で問題となるため、Ｖ方向の光軸ずれ量のみを記憶するようにしたが、これに限らず、水平（Ｈ）方向の光軸ずれ量も記憶させるようにしてもよい。

また、各撮像モード毎及びズーム位置毎のディストーション補正式もＥＥＰＲＯＭ５８に記憶させておく。この場合、ディストーション補正式の一般式は、各ズーム位置毎に同じものを記憶し、各項の係数のみをズーム位置毎に異ならせて記憶させる場合と、ズーム位置毎に異なるディストーション補正式を記憶させる場合とが考えられる。

また、図１０のテーブルでは、フォーカス位置別の光軸ずれ量は省略されている。

［撮影動作の第２の実施形態］
次に、本発明に係る立体撮像装置１０の第２の実施形態の撮影動作について、図１１に示すフローチャートを参照しながら説明する。

図１（ｂ）に示した操作スイッチ１８Ａにより動画撮像モードに切り替え、かつ操作スイッチ１８Ｃにより３Ｄ撮像モードに切り替えることにより、３Ｄ動画を撮影する撮像モード（以下、「３Ｄ動画撮像モード」という）に設定することができ、また、操作スイッチ１８Ａにより静止画撮像モードに切り替え、かつ操作スイッチ１８Ｃにより３Ｄ撮像モードに切り替えることにより、３Ｄ静止画を撮影する撮像モード（以下、「３Ｄ静止画撮像モード」という）に設定することができる。

ステップＳ８０では、上記操作スイッチ１８Ａ、１８Ｃにより撮像モードとして、３Ｄ動画撮像モードが設定されているか、又は３Ｄ静止画撮像モードが設定されているかを判別する。

撮像モードが３Ｄ動画撮像モードと判別されると、ＣＰＵ３２は、動画撮影の指示（シャッタボタン１１の全押し（スイッチＳ２のＯＮ））の有無を判別する（ステップＳ８２）。スイッチＳ２がＯＦＦの場合には、液晶モニタ１６には３Ｄスルー画が表示される（ステップＳ８４）。

この３Ｄスルー画を表示する場合には、左右の撮像部20-1,20-2から時系列で順次取得される左右の画像に対して、スルー画用のディストーション補正式（２次多項式）を使用してディストーション補正を行うとともに、図１０（ａ）に示したスルー画用テーブルから現在のズームレンズのズーム位置に対応する左右の画像における光軸ずれ量をそれぞれ読み出し、これらの光軸ずれ量を相殺するように、ディストーション補正後の画像から３Ｄスルー画用の画像を切り出して液晶モニタ１６に出力する。

これにより、２つの撮像光学系のズーム位置及びフォーカス位置毎に異なる光軸ずれが補正された３Ｄスルー画を液晶モニタ１６に表示させることができる。

一方、スイッチＳ２がＯＮされると、ＣＰＵ３２は、３Ｄ動画の撮影を開始させる（ステップＳ８６）。

３Ｄ動画の撮影が開始されると、左右の撮像部20-1,20-2から時系列で順次取得される左右の画像に対して、ディストーション補正及び画像の切り出し処理等の画像処理、及び記録処理が行われる（ステップＳ８８）。

［画像処理の第１の実施形態］
図１２は図１１のステップＳ８８等における画像処理の第１の実施形態を示すフローチャートである。

同図において、左右の画像が取得されると（ステップＳ８８２）、デジタル信号処理部４４内のディストーション補正回路は、動画用のディストーション補正式（４次多項式）であって、現在のズームレンズのズーム位置に対応するディストーション補正式を使用して前記取得された左右の画像のディストーション補正を行う（ステップＳ８８４）。

続いて、図１０（ｃ）の動画用テーブルから現在のズーム位置(Z-pos)及びフォーカス位置に対応する光軸ずれ量を読み出し、読み出した光軸ずれ量に基づいて前記ディストーション補正された左右の画像から、前記光軸ずれ量に応じて切り出し範囲を移動させて画像の切り出し処理を行う（ステップＳ８８６）。これにより、切り出された画像は、光軸ずれが補正された画像となる。

上記のようにして切り出された左右の画像は、それぞれ所定の圧縮形式で圧縮した後、メモリカード４０に作成した動画ファイルに記録される（ステップＳ８８８）。尚、動画の記録処理は、１秒分の規定のフレーム数（フレームレートが６０フレーム／秒の場合には、６０フレーム）の画像処理が終了毎に行われ、圧縮された動画は、動画ファイルに順次追記される。また、ステレオマイク１５で取得した音声データも１秒毎に圧縮されて動画ファイルに記録される。

図１１に戻って、スイッチＳ２が再度、ＯＮされたか否かを判別し（ステップＳ９０）、ＯＦＦの場合にはステップＳ８８に遷移して動画の処理を継続し、スイッチＳ２がＯＮされると、３Ｄ動画の撮影を終了させる。

一方、ステップＳ８０において、３Ｄ静止画撮像モードと判別されると、ＣＰＵ３２は、静止画撮影の指示（スイッチＳ２のＯＮ）の有無を判別する（ステップＳ９２）。スイッチＳ２がＯＦＦの場合には、液晶モニタ１６には３Ｄスルー画が表示される（ステップＳ９４）。この３Ｄスルー画の液晶モニタ１６への表示は、前述のステップＳ８４と同様にして行われる。

スイッチＳ２がＯＮされると、ＣＰＵ３２は、３Ｄ静止画の撮影を行う（ステップＳ９６）。尚、２段ストロークのシャッタボタンは、全押しされる前の半押し時にスイッチＳ１がＯＮされ、これによりＡＥ処理及びＡＦ処理等の本撮影前の撮影準備動作が行われることは言うまでもない。

本撮影時に左右の撮像部20-1,20-2から取得される左右の画像は、ステップＳ８８と同様にディストーション補正及び画像の切り出し処理等の画像処理、及び記録処理が行われる（ステップＳ９８）。尚、ステップＳ９８におけるディストーション補正は、補正精度の高い６次多項式のディストーション補正式を使用して行われ、また、画像の切り出し処理は、図１０（ｂ）の静止画用テーブルから現在のズーム位置及びフォーカス位置に対応して読み出した光軸ずれ量に基づいて行われる。

［製品出荷前の光軸調整の第３の実施形態］
図１３は本発明に係る光軸調整時の処理の第３の実施形態を示すフローチャートである。尚、図９に示した第２の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１３に示す第３の実施形態では、図９に示したステップＳ５２、Ｓ５８、Ｓ５６、及びＳ６８の処理が省略されている。

図９に示した第２の実施形態では、スルー画、動画及び静止画の各撮像モード毎に光軸ずれ量を検出してＥＥＰＲＯＭ５８に記憶させるようにしたが（図１０参照）、図１３に示す第３の実施形態では、ステップＳ５６で取得された左右の画像に対してディストーション補正を行わずに、左右の画像の対応点検出を行い、左右の画像の光軸ずれ量を検出し（ステップＳ６０，Ｓ６２）、この検出した光軸ずれ量をＥＥＰＲＯＭ５８に記憶させる（ステップＳ６４）。尚、ズームレンズのズーム位置及びフォーカス位置毎に光軸ずれ量をＥＥＰＲＯＭ５８に記憶させることは、図９に示した実施形態と同様である。

即ち、図１３に示す第３の実施形態では、ディストーション補正前の左右の画像の光軸ずれ量を検出記録するようにしており、撮像モード毎の光軸ずれ量の検出記憶は行わない。

そして、上記ＥＥＰＲＯＭ５８に記憶させたズーム位置毎の光軸ずれ量のテーブルを使用し、図１４に示すように撮影時にディストーション補正後の光軸ずれ量を算出する。

図１４において、現在の撮像モードの情報と、ズームレンズのズーム位置及びフォーカス位置の情報を取得する（ステップＳ１００、Ｓ１０２）。

前記取得したズーム位置及びフォーカス位置の情報に基づいてＥＥＰＲＯＭ５８に記憶させたテーブルを参照してズーム位置及びフォーカス位置に対応する光軸ずれ量を取得する（ステップＳ１０４）。また、前記取得した現在の撮像モードと現在のズーム位置に基づいて現在の撮像モード及びズーム位置に対応するディストーション補正式（計算式）を、ＥＥＰＲＯＭ５８から取得する。

前記取得した計算式に、ステップＳ１０４で取得した光軸ずれ量を代入して計算を行うことにより、ディストーション補正後の光軸ずれ量を算出する（ステップＳ１０６、Ｓ１０８）。

上記算出された光軸ずれ量は、図１１に示したステップＳ８４、Ｓ８８、Ｓ８８、図１２に示したステップＳ８８６における、画像の切り出し処理に使用される。

このようにディストーション補正前の光軸ずれ量をＥＥＰＲＯＭ５８に保持しておき、実際の画像の切り出し処理時に、ＥＥＰＲＯＭ５８に保持した値を、ディストーション補正の計算式に当てはめて、ディストーション補正後の光軸ずれ量を算出することにより、ＥＥＰＲＯＭ５８のメモリ容量を少なくすることができ、また、ファームウエア等が変更（ディストーション補正の変更を含む）になった場合でも、切り出し位置の変更が容易にできるようになる。

尚、図１０に示したように光軸ずれ量のテーブルは、ズーム位置毎に光軸ずれ量を記憶しているが、少なくとも２つのズーム位置（例えば、ワイド端とテレ端）の光軸ずれ量のみを記憶し、前記記憶したズーム位置以外のズーム位置における光軸ずれ量は、前記記憶した少なくとも２つのズーム位置の光軸ずれ量を、現在のズーム位置に応じて線形補間して算出するようにしてもよい。

［画像処理の第２の実施形態］
図１５は図１１のステップＳ８８等における画像処理の第２の実施形態を示すフローチャートである。尚、図１２の第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１５に示す画像処理の第２の実施形態は、図１２に示した第１の実施形態と比較して、ディストーション補正を行うステップＳ８８４の前に、シェーディング補正を行うステップＳ８８３が追加されている点で、第１の実施形態と相違する。

即ち、ステップＳ８８３では、ステップＳ８８２により取得された左右の画像に対して、画角位置に応じてシェーディング補正値が記憶された左右の画像別のテーブル、又は画角位置に応じて計算式により求めたシェーディング補正値により、各画素の輝度を補正（シェーディング補正）する。

このシェーディング補正により、左右の画像の明るさを均一にしてから、ディストーション補正及び画像の切り出し処理が行われるため、切り出される左右の画像間で明るさの差のない画像にすることができる。

［連写撮影時の画像処理の第１の実施形態］
連写撮影される各画像は静止画として鑑賞されるため、３Ｄ静止画と同様な画像処理が要求される。即ち、ディストーション補正は、補正精度の高いディストーション補正式による補正を実施する必要がある。

一方、連写撮影時の撮影間隔が短い場合には、リアルタイムに補正精度の高いディストーション補正及び画像の切り出し処理等を行うことができない。

図１６は連写撮影時の画像処理の第１の実施形態を示すフローチャートである。

連写撮像モードが設定され、連写撮影の指示（スイッチＳ２のＯＮ）が入力されると（ステップＳ１１０）、ＣＰＵ３２は、連写の１コマ分の撮影を実施し（ステップＳ１１２）、左右のフル画角の画像を一旦、ＲＡＭ５４に保存させる（ステップＳ１１４）。

続いて、スイッチＳ２のＯＮ／ＯＦＦが判別され（ステップＳ１１６）、ＯＮの場合にステップＳ１１２に遷移させ、ＯＦＦの場合にはステップＳ１１８に遷移させる。即ち、スイッチＳ２がＯＮされていると、その間、連写撮影が実行され、左右のフル画角の画像がＲＡＭ５４に保存される。

スイッチＳ２がＯＦＦされると、ＲＡＭ５４に保存された時系列の左右の画像は、１コマずつ読み出され、連写撮影時のズームレンズのズーム位置及び連写撮像モードに対応するディストーション補正式によりディストーション補正される（ステップＳ１１８）。

続いて、連写撮影時のズームレンズのズーム位置、フォーカス位置及び連写撮像モードに対応する光軸ずれ量がＥＥＰＲＯＭ５８から読み出され又は計算され、この光軸ずれ量に基づいてディストーション補正されたフル画角の画像から、光軸ずれを補正するための画像の切り出しを行う（ステップＳ１２０）。

上記のようにして切り出された画像は、圧縮処理等が行われた後、メモリカード４０に記録される（ステップＳ１２２）。

［連写撮影時の画像処理の第２の実施形態］
図１７は連写撮影時の画像処理の第２の実施形態を示すフローチャートである。尚、図１６に示した連写撮影時の画像処理の第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１７に示す連写撮影時の画像処理の第２の実施形態は、ステップＳ１１６とＳ１１８との間に、ステップＳ１１７の処理が追加されている点で、第１の実施形態と相違する。

即ち、ステップＳ１１７では、ＲＡＭ５４に保存された左右の画像に対して、それぞれ画角位置に応じたシェーディング補正を行い、左右の画像の明るさを均一にする。これにより、後段のディストーション補正及び画像の切り出し処理が行われる左右の画像間で明るさの差のない画像にすることができる。

［連写撮影時の画像処理の第３の実施形態］
図１８は連写撮影時の画像処理の第３の実施形態を示すフローチャートである。尚、図１６に示した連写撮影時の画像処理の第１の実施形態と共通する部分には同一のステップ番号を付し、その詳細な説明は省略する。

図１８に示す連写撮影時の画像処理の第３の実施形態は、連写撮影された時系列の複数の画像のうち、ユーザにより保存の指示があった画像のみをメモリカード４０に保存する点で、第１の実施形態と相違する。

図１８において、スイッチＳ２がＯＦＦされると（ステップＳ１１６）、ＲＡＭ５４に保存された時系列の左右の画像が、撮影順に読み出されて再生される（ステップＳ１３０）。

いま、連写撮影によりＮ回の３Ｄ画像の撮影が行われると、撮影順を示すＮ＝１〜ＮのうちからＮ番目の左右の画像が読み出され、ディストーション補正及び画像の切り出しが行われる（ステップＳ１１８、Ｓ１２０）。この処理後の左右の画像は、液晶モニタ１６に３Ｄ静止画として表示される（ステップＳ１３２）。

ユーザは、液晶モニタ１６に表示された３Ｄ静止画を見ながら、その画像をメモリカード４０に保存するか否かを判断する（ステップＳ１３４）。「Ｙｅｓ」の場合（例えば、MENU／OKボタンをＯＮにした場合）には、液晶モニタ１６に表示されている３Ｄ静止画がメモリカード４０に保存される。

一方、「Ｎｏ」の場合（例えば、十字キーの左／右キーによるコマ送り指示がある場合）には、ステップＳ１３０に遷移し、ＲＡＭ５４から次の左右の画像が読み出され、上記と同様の処理が行われる。

尚、上記実施形態では、スイッチＳ２がＯＮされている期間、連写撮影を行うようにしているが、これに限らず、スイッチＳ２がＯＮされると、予め設定された枚数だけ連写撮影を行うものでもよい。

［撮影／再生処理の第１の実施形態］
図１９及び図２０は本発明に係る立体撮像装置１０の撮影／再生処理の第１の実施形態を示すフローチャートである。

図１９において、立体撮像装置１０を撮影モードにして撮影を開始させると、その撮影時の撮像モード（例えば、３Ｄ動画撮像モード、３Ｄ静止画撮像モード）、ズームレンズのズーム位置、及び光軸ずれ量を、メモリカード４０に記録される画像ファイルのタグに書き込む（ステップＳ１４０）。尚、光軸ずれ量は、撮像モード、ズーム位置、フォーカス位置によりＥＥＰＲＯＭ５８から読み出され、又は計算されたものである。

また、撮影された左右のフル画角の画像（動画又は静止画）を前記画像ファイルに保存する（ステップＳ１４２）。

即ち、撮影時には、前述したディストーション補正及び画像の切り出し処理は行わず、補正前の画像と、補正に必要な情報をタグに記録しておく。

一方、図２０に示すように、立体撮像装置１０を再生モードにして再生を開始させると、メモリカード４０に保存された再生対象の画像ファイルから、左右の画像とともに、タグ情報を読み出す（ステップＳ１５０）。

そして、前記タグ情報に含まれる撮像モード、ズーム位置により特定されるディストーション補正式を取得し、このディストーション補正式を使用して前記読み出した左右の画像に対してディストーション補正を行う（ステップＳ１５２）。

続いて、ディストーション補正後の左右の画像から、前記タグ情報に含まれる光軸ずれ量に基づいて光軸ずれを補正するための画像の切り出しを実施する（ステップＳ１５４）。

このようにして切り出された左右の画像は、切り出し中心が液晶モニタ１６の画面中心になるように表示され（ステップＳ１５６）、これにより光軸ずれのない立体視しやすい３Ｄ画像として表示される。

上記のようにフル画角の画像を保存することにより、２Ｄの写真プリントを行う場合には、より広角の写真プリントを得ることができる。また、ユーザが２Ｄ再生を選択した場合には、前記切り出した画像のうちのいずれか一方の切り出した画像を再生することもできる。これによれば、３Ｄ再生時に目が疲れて、２Ｄ再生に切り替えた場合でも、３Ｄ画像の画角サイズが分かるようになる。

尚、この実施形態では、光軸ずれ量をタグ情報として記録するようにしたが、光軸ずれ量の代わりに、光軸中心の座標又は切り出し範囲の対角の座標を記録してもよく、要は光軸ずれを補正することができる画像切り出しの情報であれば、いかなるものでもよい。

また、３Ｄ再生時にディストーション補正及び画像の切り出し処理をした画像を、メモリカード４０に記録することもできる。この場合、オリジナルの画像ファイルを消去してもよいし、両者の画像ファイルを併存させるようにしてもよい。

［撮影／再生処理の第２の実施形態］
図２１及び図２２は本発明に係る立体撮像装置１０の撮影／再生処理の第２の実施形態を示すフローチャートである。

図２１において、立体撮像装置１０を撮影モードにして撮影を開始させると、撮影された左右のフル画角の画像（動画又は静止画）に対して、各種の補正処理を実施する（ステップＳ１６０）。ここでの画像処理は、左右の画像の光軸ずれを補正するための画像の切り出し処理を除いた他の画像処理であり、ホワイトバランス補正、ガンマ補正、シェーディング補正及びディストーション補正等を含むものである。

画像処理が施された左右の画像は、所定の圧縮形式で圧縮された後、メモリカード４０に保存される（ステップＳ１６２）。

一方、図２２に示すように、立体撮像装置１０を再生モードにして再生を開始させると、メモリカード４０に保存された再生対象の画像ファイルから、左右の画像を読み出す（ステップＳ１７０）。

続いて、左右の画像の対応する特徴点を検出する対応点検出を実施し、左右の画像の光軸ずれを補正するための情報を取得する（ステップＳ１７２）。対応点検出は、例えば、ブロックマッチング法により行うことができる。

左右の画像のうちの一方の画像（例えば、左の画像）を基準にして、左の画像の各画素について、他方の画像（右の画像）上の対応する画素を、対応点検出により求める。この対応点検出を行うと、左右の画像間で、対応点が検出できる領域と、対応点が検出できない領域とを求めることができる。そして、左右の画像の対応点が検出できる領域の最外周の４辺で囲まれた領域をそれぞれ検出することにより、左右の画像の光軸ずれを補正するための情報を取得することができる。

即ち、上記４辺で囲まれた領域の中心が、全画角の画素から立体視用の画像を切り出す切り出し領域となり、また、４辺で囲まれた領域の中心が切り出し中心となる。

左右のフル画角の画像から、それぞれ上記のようにして求めた切り出し領域により切り出された左右の画像は、その切り出し中心が液晶モニタ１６の画面中心になるように表示される（ステップＳ１７４）。これにより光軸ずれのない立体視しやすい３Ｄ画像として表示される。

例えば、図２３に示すように左右のフル画角の画像から、対応点検出により求めた点線で示す切り出し領域（切り出し開始点又は切り出し中心と、切り出しサイズにより特定される領域）を切り出し、それぞれ切り出された画像（左右の重なり部分）が、立体視用の画像として液晶モニタ１６に表示される。このとき、左右の画像の切り出し中心は、一致して表示されるため、左右の画像の光軸ずれ（Ｖ方向のずれ）は補正される。

尚、上記の例では、左右の画像の重なり部分のみを表示するようにしたが、これに限らず、下記のａ）〜ｃ）に示すような表示を行うようにしてもよい。

ａ）左右の画像で重ならない部分に関しては、そのまま表示する。これにより、重なっている部分は３Ｄ表示され、重ならない部分は、２Ｄ表示されることになる。

ｂ）３Ｄ表示する場合に、左右の画像で重ならない部分には、額縁などの模様を配置する。

ｃ）３Ｄ表示する場合に、左右の画像で重ならない部分は、削除（黒塗り、又は白抜き）する。

［その他］
画像の切り出しが行われた左右の画像の切り出し中心は、ほぼ同じ被写体が存在するため、左右の画像の切り出し中心部分のＭＴＦ（modulation transfer function）測定を行い、左右の画像の解像度の差を計算する。そして、左右の画像に対する画質設定（輪郭強調、ガンマ補正）等を変更することにより、左右の画像の解像度を均一にすることができる。

また、この立体撮像装置１０は、３Ｄスルー画を液晶モニタ１６に表示させることができるようになっており、ユーザはこの３Ｄスルー画を見ながら視差調整スイッチ１８Ｂ（図１（ｂ））を操作することにより、３Ｄ画像（動画又は静止画）の視差量を調整することができる。

即ち、視差調整スイッチ１８Ｂを＋方向、又は−方向に操作することにより、３Ｄ画像の視差量（視差調整値）を増減することができる。

画像の切り出し処理時に、光軸ずれ量の情報と上記視差調整値（左右の画像のＨ方向のずらし量）を使用して画像の切り出しを行うことにより、Ｖ方向の光軸ずれのない、ユーザの好みの立体感をもった３Ｄ画像の記録、再生を行うことができる。

尚、補正精度の異なるディストーション補正を実施する複数の撮像モードは、この実施形態に限らず、ディストーション補正を実施しない撮像モードや、魚眼撮像モードのようにディストーションを強調する撮像モードを含んでいてもよい。

また、この実施形態では、ディストーション補正後の画像に対して画像の切り出し処理を行うようにしたが、これとは逆に、光軸ずれを補正するための画像の切り出し処理を行った画像に対してディストーション補正を行うようにしてもよい。この場合の画像の切り出し処理は、後段のディストーション補正による光軸ずれを考慮して、画像の切り出し処理を行うことは言うまでもない。

また、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…立体撮像装置、１１…シャッタボタン、１２…ズームボタン、14-1,14-2…撮影光学系、１６…液晶モニタ、20-1,20-2…撮像部、２１…フォーカスレンズ及びズームレンズ、２４…ＣＣＤ、２５…アナログ信号処理部、３２…中央処理装置（ＣＰＵ）、３４…操作部、４４…デジタル信号処理部、５４…ＲＡＭ、５６…ＲＯＭ、５８…ＥＥＰＲＯＭ

Claims

撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像手段であって、互いに視差を有する複数の画像を撮像する複数の撮像手段と、
予め検出した複数のフォーカス位置に対する各撮影光学系の光軸ずれ量を記憶する記憶手段と、
前記複数の撮影光学系の現在のフォーカス位置を検出するフォーカス位置検出手段と、
前記各撮影光学系の光軸ずれ量に基づき、前記フォーカス位置検出手段により検出された前記撮影光学系の現在のフォーカス位置に対応する光軸ずれ量を取得する光軸ずれ量取得手段と、
前記複数の撮像手段から立体画像用の複数の画像を取得する撮像制御手段と、
前記光軸ずれ量取得手段により現在のフォーカス位置に対応して取得された光軸ずれ量に基づいて前記撮像制御手段により取得された複数の画像に対して立体表示用の画像の切り出し処理を行う画像切り出し手段と、
前記撮像制御手段により取得された複数の画像に対してディストーション補正を行うディストーション補正手段を備え、
前記光軸ずれ量取得手段は、前記複数の撮影光学系の光軸ずれに、前記ディストーション補正手段によるディストーション補正で生じる光軸ずれを反映した光軸ずれ量を取得し、
前記記憶手段は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を、フォーカス位置に応じて記憶し、
前記光軸ずれ量取得手段は、現在のフォーカス位置に応じて前記記憶手段から対応する光軸ずれ量を読み出す読出手段を有することを特徴とする立体撮像装置。
撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像手段であって、互いに視差を有する複数の画像を撮像する複数の撮像手段と、
予め検出した複数のフォーカス位置に対する各撮影光学系の光軸ずれ量を記憶する記憶手段と、
前記複数の撮影光学系の現在のフォーカス位置を検出するフォーカス位置検出手段と、
前記各撮影光学系の光軸ずれ量に基づき、前記フォーカス位置検出手段により検出された前記撮影光学系の現在のフォーカス位置に対応する光軸ずれ量を取得する光軸ずれ量取得手段と、
前記複数の撮像手段から立体画像用の複数の画像を取得する撮像制御手段と、
前記光軸ずれ量取得手段により現在のフォーカス位置に対応して取得された光軸ずれ量に基づいて前記撮像制御手段により取得された複数の画像に対して立体表示用の画像の切り出し処理を行う画像切り出し手段と、
前記撮像制御手段により取得された複数の画像に対してディストーション補正を行うディストーション補正手段を備え、
前記光軸ずれ量取得手段は、前記複数の撮影光学系の光軸ずれに、前記ディストーション補正手段によるディストーション補正で生じる光軸ずれを反映した光軸ずれ量を取得し、
前記記憶手段は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を算出するための２以上のフォーカス位置における光軸ずれ量又は計算式を示す情報を記憶し、
前記光軸ずれ量取得手段は、前記記憶手段に記憶された情報と現在のフォーカス位置とに基づいて光軸ずれ量を算出する算出手段を有することを特徴とする立体撮像装置。
撮影光学系と該撮影光学系を介して結像される被写体像をそれぞれ光電変換する撮像素子とを有する複数の撮像手段であって、互いに視差を有する複数の画像を撮像する複数の撮像手段と、
予め検出した複数のフォーカス位置に対する各撮影光学系の光軸ずれ量を記憶する記憶手段と、
前記複数の撮影光学系の現在のフォーカス位置を検出するフォーカス位置検出手段と、
前記各撮影光学系の光軸ずれ量に基づき、前記フォーカス位置検出手段により検出された前記撮影光学系の現在のフォーカス位置に対応する光軸ずれ量を取得する光軸ずれ量取得手段と、
前記複数の撮像手段から立体画像用の複数の画像を取得する撮像制御手段と、
前記光軸ずれ量取得手段により現在のフォーカス位置に対応して取得された光軸ずれ量に基づいて前記撮像制御手段により取得された複数の画像に対して立体表示用の画像の切り出し処理を行う画像切り出し手段と、
前記撮像制御手段により取得された複数の画像に対してディストーション補正を行うディストーション補正手段を備え、
前記光軸ずれ量取得手段は、前記複数の撮影光学系の光軸ずれに、前記ディストーション補正手段によるディストーション補正で生じる光軸ずれを反映した光軸ずれ量を取得し、
前記複数の撮影光学系の現在のズーム位置を検出するズーム位置検出手段を更に有し、
前記記憶手段は更に、予め検出した複数のズーム位置に対する各撮影光学系の光軸ずれ量を記憶することを特徴とする立体撮像装置。
前記記憶手段は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置及びズーム位置の光軸ずれ量を、ズーム位置及びフォーカス位置に応じて記憶し、
前記光軸ずれ量取得手段は、現在のズーム位置及びフォーカス位置に応じて前記記憶手段から対応する光軸ずれ量を読み出す読出手段を有することを特徴とする請求項３に記載の立体撮像装置。
前記記憶手段は、前記各撮影光学系の光軸ずれ量として、前記撮影光学系の各フォーカス位置の光軸ずれ量を算出するための２以上のフォーカス位置における光軸ずれ量又は計算式を示す情報を、前記撮影光学系のズーム位置に応じて記憶し、
前記光軸ずれ量取得手段は、前記撮影光学系の現在のズーム位置に基づいて前記記憶手段から読み出した情報と現在のフォーカスとに基づいて光軸ずれ量を算出する算出手段を有することを特徴とする請求項３に記載の立体撮像装置。
撮影モード又は再生モードを選択するモード選択手段と、
前記再生モード時に前記ディストーション補正及び画像の切り出し処理された画像を、記録媒体に記録する記録手段と、
を更に備えることを特徴とする請求項１から５のいずれかに記載の立体撮像装置。
前記複数の撮像手段から出力される複数の画像間の視差量を調整する視差量調整手段を更に備え、
前記画像切り出し手段は、前記立体表示用の画像の切り出し処理時に前記視差量調整手段により調整された視差量に基づいて更に切り出し位置を調整した画像の切り出し処理を行うことを特徴とする請求項１から６のいずれかに記載の立体撮像装置。
前記撮像制御手段が立体静止画の撮像モードであるのか、立体動画の撮像モードであるのか判別する撮像モード判別手段を更に備え、
前記ディストーション補正手段は、前記撮像モード判別手段の判別結果に応じてディストーション補正の補正精度を変更してディストーション補正を行う、
ことを特徴とする請求項１から７のいずれか１項に記載の立体撮像装置。
前記ディストーション補正手段は、前記複数の画像が立体静止画用の画像である場合、前記複数の画像が立体動画用の画像である場合よりも、高い補正精度のディストーション補正を行う、
ことを特徴とする請求項１から８のいずれか１項に記載の立体撮像装置。
複数の撮影光学系を介して取得された互いに視差を有する多視点画像における前記複数の撮影光学系の光軸ずれを補正する画像補正方法であって、
複数のフォーカス位置に対する各撮影光学系の光軸ずれ量を記憶手段に記憶するステップと、
前記複数の撮影光学系を介して、互いに視差を有する複数の多視点画像を撮像するステップと、
撮像時の前記複数の撮影光学系のフォーカス位置を取得するステップと、
前記撮像時の前記撮影光学系のフォーカス位置に対応する光軸ずれ量を前記記憶手段から取得するステップと、
前記複数の多視点画像に対してディストーション補正を行うステップと、
前記記憶手段から取得した前記光軸ずれ量に、前記ディストーション補正で生じる光軸ずれを反映した光軸ずれ量を取得するステップと、
前記ディストーション補正で生じる光軸ずれを反映した前記光軸ずれ量に基づいて前記複数の多視点画像に対して立体表示用の画像の切り出し処理を行うステップと、
を含むことを特徴とする画像補正方法。