JP4995854B2

JP4995854B2 - 撮像装置、画像補正方法および画像補正プログラム

Info

Publication number: JP4995854B2
Application number: JP2009058244A
Authority: JP
Inventors: 通隆中沢
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-03-11
Filing date: 2009-03-11
Publication date: 2012-08-08
Anticipated expiration: 2029-03-11
Also published as: CN102318354B; CN102318354A; US8379113B2; US20110292227A1; US20130128009A1; JP2010213084A; EP2382792A4; WO2010104089A1; EP2382792B1; EP2382792A1; US8885070B2

Description

本発明は、多視点から画像を取得可能な撮像装置に関する。

特許文献１では、右眼用の撮影情報を得るためのＣＣＤ１６Ｒを有する第１レンズ鏡筒１Ｒと、左眼用の撮影情報を得るためのＣＣＤ１６Ｌを有する第２レンズ鏡筒１Ｌと、これら第１レンズ鏡筒１Ｒと第２レンズ鏡筒１Ｌの焦点距離を検出するカメラ検出回路４３と、各焦点距離における上記第１レンズ鏡筒１Ｒと第２レンズ鏡筒１Ｌのそれぞれの光軸中心のずれ量を予め記憶したＥＥＰＲＯＭ等でなるＲＯＭ４７と、このＲＯＭ４７からの出力に基づき各焦点距離における上記ＣＣＤ１６ＲおよびＣＣＤ１６Ｌの内の少なくとも一方における画像切出しエリアを制御するＣＰＵ４６とを備えた立体撮影装置を開示している。

特許文献２では、立体カメラ２は、第１及び第２変倍レンズ２１，３１の位置を検出する第１及び第２ポテンショメータ２５，３５と、第１及び第２変倍レンズ２１，３１の倍率差Ｄ１を所定位置ごとに記憶した補正データ記憶部５２と、倍率差Ｄ１に基づいて第２画像データを電子的に変倍する電子変倍回路５３と、ポテンショメータ２５，３５の検出位置に応じた倍率差Ｄ１を補正データ記憶部５２から読み出して電子変倍回路５３に設定するＣＰＵ４０とを備え、第１及び第２画像データの撮影範囲を一致させる。また、第１及び第２変倍レンズ２１，３１の光軸座標差を補正データ記憶部５２に記憶させ、光軸座標差に基づいて第２画像データの座標を変更する座標変更回路を設ける。

特許文献３では、左右の撮像レンズ１、１２はＡＦ駆動回路２、１３でそれぞれフォーカスが制御される。ＣＣＤ３、１４出力は電子ズーム用のメモリ６及び１７に書き込まれる。マイクロコンピュータ２３は被写体距離に比例するＡＦデータにより電子ズームの切り出し枠の切り出し位置を制御する。これにより、輻輳角は電子的に制御される。

その他、本願に関係する先行技術として、特許文献４〜８が挙げられる。
特願平７−１２１９４６号公報特開２００６−１６２９９１号公報特開平７−９５６２３号公報特開平６−２９６２５２号公報特開２００６−２５１６８３号公報特開２００５−２０６０６号公報特開平０９−０３７３０２号公報特開平８−３１７４２９号公報

２つの変倍撮影レンズ間の個体差による光軸ずれを電子的に補正し、適正な立体視を可能にする立体撮像装置が特許文献１および２に開示されている。特許文献１は、各ズーム位置に対し２つのレンズ間の光軸ずれの量に応じて、画像の切り出し位置やエリアの変更量を計算しているため、個々の装置において同じズーム位置でも誤差量の違いによりばらばらな画角が設定される問題がある。

特許文献２では、電子ズームで補正する側のレンズを広角にすることにより、画角が補正されない側のレンズで設定され、個々の装置における画角設定は統一されるが、２つのレンズが設計的に共通でないため、歪曲収差や色収差など特性を合わせることが難しく、適正な立体視ができない可能性がある。

特許文献３では、被写体距離に応じて電子的に輻輳角を補正する装置が提案されているが、変倍可能なレンズに適用した場合の視差ずれの補正手段や２つのレンズ間の光軸ずれに対する補正については何ら提案されていない。

特許文献４では、電子ズームによってズームアップされた倍率に比例した実際には読み出されない画素の領域が発生するとし、ズームレンズがワイド端にあるときは読み出されない画素の領域は発生しないとする。つまり、従来技術では、２つの変倍撮影レンズがワイド端にある場合、当該レンズ間の個体差による光軸ずれを、電子的に補正することはできない。

本発明は、共通の特性を持った複数の変倍レンズの製造誤差や視差の補正の際、光学ズーム位置に応じて電子ズームの倍率を画一的に設定することで、適正な立体画像を得る。また、広角側の画角を最大限に確保する。

本発明に係る撮像装置は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、撮像光学系の誤差を記憶する記憶部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、記憶部の誤差に応じた物点ずれ量を解消する範囲を拡大後の視点画像から切り出す補正部と、を備える。

本発明に係る撮像装置は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、各撮像光学系の取得した各視点画像の被写体までの距離に対応する視差を記憶する記憶部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、被写体までの距離を測定する距離測定部と、測定部の測定した被写体までの距離およびズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、記憶部に記憶された視差を確保する範囲を拡大後の画像から切り出す補正部と、を備える。

本発明に係る撮像装置は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定する視差測定部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、所定の適用視差範囲を確保する範囲を拡大後の画像から切り出す補正部と、を備える。

補正部が設定する電子ズーム倍率はズームレンズの位置が広角側から望遠側に推移するに従って増加する。

補正部の切り出した画像と所望の補正対象の視点画像以外の視点画像から立体画像を作成し所定の表示装置に出力する立体画像処理部を備える。

本発明に係る画像補正方法は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、撮像光学系の誤差を記憶するステップと、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、誤差に応じた物点ずれ量を解消する範囲を拡大後の視点画像から切り出すステップと、を実行する。

本発明に係る画像補正方法は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、被写体までの距離を測定するステップと、測定した被写体までの距離およびズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、記憶された視差を確保する範囲を拡大後の画像から切り出すステップと、を実行する。

本発明に係る画像補正方法は、ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置にズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、各撮像光学系の取得した各視点画像の対応点を検出することで視差を測定するステップと、ズームレンズ駆動部が移動したズームレンズの位置に対応した電子ズーム倍率を設定し、電子ズーム倍率に基づいて各視点画像の中から所望の補正対象の視点画像を拡大し、所定の適用視差範囲を確保する範囲を拡大後の画像から切り出すステップと、を実行する。

この画像補正方法を撮像装置に実行させるための画像補正プログラムも本発明に含まれる。

個々の撮像装置の製造過程での光軸ずれ、視差ずれの最大値を見込んで、光学ズームレンズ位置に比例した電子ズーム倍率による画像ずれの補正域を、全ての撮像装置に一律に設定しておけば、各光学ズーム位置に応じた個々の固体の画一的な補正域設定が可能となる。また、電子ズーム倍率はズームレンズの位置が広角側から望遠側に推移するに従って増加するため、広角側での画角は最大限に確保される。

＜第１実施形態＞
図１は第１実施形態に係るカメラ１０の電気的構成を示す。

撮像光学系１４Ａ・Ｂは、それぞれズームレンズ、フォーカスレンズなどを含んでいる。撮像光学系１４Ａ・Ｂの光軸がなす輻輳角は機械的に固定されているものとする。また、撮像光学系１４Ａ・Ｂのなす両眼視差は合焦被写体までの距離によって変化するが、第１実施形態では、合焦被写体はある決まった位置に存在し、フォーカスレンズは移動しないものとする。

レンズモータ２４Ａ・Ｂは、操作部１０のズームボタンの操作に応じて、撮像光学系１４Ａ・Ｂのズームレンズをレンズ光軸に沿ってテレ側（繰り出し側）／ワイド側（繰り込み側）に移動させ、焦点距離（撮影倍率）を変化させる。

本体１２の内部における撮像光学系１４Ａ・Ｂの焦点位置に相当する位置には、エリアＣＣＤセンサ等で構成される２つの撮像素子５０Ａ、５０Ｂが配置されており、上述したように、被写体を反射して撮像光学系１４Ａ・Ｂに入射された光はそれぞれ撮像素子５０Ａ、５０Ｂの受光面に結像される。

撮像素子５０Ａ、５０Ｂは、受光面上にマトリクス状に配列された多数個の光電変換セルの各々における受光量を表すアナログ信号を画像信号として出力する。撮像素子５０Ａ、５０Ｂはそれぞれ図示しない駆動回路に接続されているタイミング信号発生部によって発生されたタイミング信号に同期したタイミングで駆動されて画像信号を出力する。

撮像光学系１４と撮像素子５０Ａ、５０Ｂとの間には図示しない絞りが配置されている。絞りは連続的に変更可能な単一の絞りで構成してもよいし、絞り量が異なる複数の絞りを切り替える構成としてもよい。

タイミング信号発生部には、さらに図示しないストロボの発光を制御するストロボ制御回路も接続されており、ストロボは低照度であることが検出された場合や、ユーザによって発光が指示された場合にタイミング信号発生部によって発生されたタイミング信号に同期したタイミングで発光制御される。

撮像素子５０Ａ・Ｂの信号出力端には、それぞれアナログ信号処理回路５６Ａ・Ｂ、Ａ／Ｄ変換器５８Ａ・Ｂ、画像信号処理回路６０Ａ・Ｂ、メモリ６２Ａ・Ｂ、及び圧縮／伸張部６４が順に接続されており、それぞれシステムバス６８に接続され、システムバス６８に接続されたＣＰＵ７０によって統括的に制御されるようになっている。

アナログ信号処理回路５６Ａ・Ｂでは、撮像素子５０Ａ・Ｂから出力された画像信号をタイミング信号発生部によって発生されたタイミング信号に同期したタイミングでサンプリングすると共に、増幅してＡ／Ｄ変換器５８へ出力する。アナログ信号処理回路５６は、図示しないＣＤＳ（Correlated Double Sampling：相関二重サンプリング：以下ＣＤＳという）部を含んで構成されている。ＣＤＳ部は、例えば、ＣＣＤ型の撮像素子を用いて、基本的にその素子により生じる各種のノイズをタイミング信号発生部からのタイミング信号によりクランプするクランプ回路と、タイミング信号によりアナログ電圧信号をホールドするサンプルホールド回路を有する。ＣＤＳ部は、ノイズ成分を除去してアナログの出力信号として画像信号をＡ／Ｄ変換器５８Ａ・Ｂに送る。アナログ信号処理回路５６Ａ・Ｂから出力された画像信号は、Ａ／Ｄ変換器５８Ａ・Ｂによってデジタルの画像データに変換されて画像信号処理回路６０Ａ・Ｂへ入力される。画像信号処理回路６０Ａ・Ｂでは、入力された画像データに対して色補正・γ補正・Ｙ／Ｃ変換等の各種画像処理を行う。画像信号処理回路６０から出力された画像データは、ＲＡＭ等で構成されたメモリ６２Ａ・Ｂに一時記憶される。そして、圧縮／伸張部６４で圧縮されてからスロットに装填されたメモリカード８０に記憶されるようになっている。

また、システムバス６８には、ディスプレイ２６を駆動するディスプレイドライバ２７も接続され、撮影によって得られる画像データに基づく画像の表示が可能とされており、ディスプレイドライバ２７によって様々な表示態様が表示されるように表示制御される。

メモリ６２Ａ・Ｂの画像データは、立体画像処理回路３４によって立体画像データに変換された後、ディスプレイドライバ２７を介してディスプレイ２６に再生画像として表示される。

ディスプレイ２６の詳細な構造は図示しないが、ディスプレイ２６は、その表面にパララックスバリア表示層を備えている。ディスプレイ２６は、立体表示を行う際に、パララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片を交互に配列して表示することで擬似的な立体視を可能にする。なお、撮像素子５０Ａおよび５０Ｂから得られた平面画像を短冊状の画像断片に再構成してこれらを交互に配列せず、撮像素子５０Ａまたは５０Ｂの一方から得られた右あるいは左の像のみを短冊状の画像断片に再構成してこれらを交互に配列すれば、観者の右目も左目も同一の平面画像を視覚することになる。

さらに、システムバス６８には、レリーズスイッチ、ズームボタン、メニュースイッチ、実行／画面切換スイッチ、選択スイッチ、キャンセルスイッチ、撮影モード切換スイッチ等などを含む操作部７４が接続されており、ＣＰＵは操作部７４の操作に応じた制御を行う。

すなわち、レリーズスイッチが操作された等により、メモリカード８０への画像データの格納が指示された場合、ＣＰＵ７０はメモリ６２Ａ・Ｂに一時記憶されている画像データを読み出して圧縮／伸張部６４へ転送する。これにより、画像データは圧縮／伸張部６４で圧縮された後にメモリカード８０に格納される。なお、撮影する際のモードによって画像データが圧縮されることなくメモリカード８０に格納される場合もある。

また、メモリカード８０に格納されている画像データが表す画像の再生（表示）が指示された場合には、メモリカード８０から画像データが読み出され、読み出された画像データが圧縮／伸張部６４で伸張（解凍）された後、メモリ６２Ａ・Ｂに一時記憶される。そして、メモリ６２Ａ・Ｂに一時記憶された画像データを用いてディスプレイ２６への画像の表示（再生）が行われる。

撮像光学系１４Ａ・Ｂのズームレンズの位置（ズーム位置）は、それぞれズーム位置検出部７６Ａ・Ｂによって検出され、この検出信号はズームレンズの変倍情報としてＣＰＵ７０に入力される。

ＲＯＭ７１には電子ズーム倍率データ、ＲＯＭ７２には光軸差データが記憶されている。

切出位置設定部７３は、ＣＰＵ７０から通知されたズーム位置検出部７６Ａ・Ｂ、電子ズーム倍率データおよび光軸差データから、切り出し位置を決定して画像信号処理回路６０Ａ・Ｂに指示する。画像信号処理回路６０Ａ・Ｂは、各種画像処理を施した画像から、この指示に応じた範囲を切り出し、メモリ６２Ａ・Ｂに出力する。

図２はＣＰＵ７０が実行を制御する補正処理のフローチャートを示す。

Ｓ１では、ズームボタンによるズーム位置の変更操作があったか否かを判断する。Ｙｅｓの場合はＳ２に進む。

Ｓ２では、ズームボタンの操作に応じて、撮像光学系１４Ａ・Ｂのズームレンズをテレ（Ｔ）端側あるいはワイド（Ｗ）端側に移動するようモータ２４Ａ・Ｂを制御する。

Ｓ３では、ズーム位置検出部７６Ａ・Ｂによって、撮像光学系１４Ａ・Ｂのズームレンズの現在位置を取得する。

Ｓ４では、撮像光学系１４Ａ・Ｂのズームレンズの現在位置がズームボタン操作で指示された位置に存在しているか否かを判断する。Ｙｅｓの場合はＳ５に進み、Ｎｏの場合はＳ２に戻る。

Ｓ５では、ＲＯＭ７１から撮像光学系１４Ａ・Ｂのズームレンズの現在位置に対応する電子ズーム倍率データを読み出す。電子ズーム倍率データは、予め規定された撮像光学系１４Ａ・Ｂの光軸ずれの許容限界θｍａｘ（図３参照）によって生じる左右視点画像のずれ量ｄを補正するのに必要十分な、ズームレンズの位置ごとの電子ズーム切出範囲の余裕を示す。

光軸ずれの許容限界θｍａｘは、Ｗ端からＴ端にかけてズームレンズを移動しても一定であるとみなすと、２つの視点画像での物点ずれ量ｄは、ズームレンズがＷ端からＴ端に移動するにつれて徐々に大きくなっていく。

例えば、撮像光学系１４Ａ・Ｂは水平方向に沿って並列しているものとし、撮像光学系１４Ａ・Ｂの光軸ずれが許容限界θｍａｘであり、そのときの撮像光学系１４Ａ・Ｂによる左右の各視点画像の被写体のずれ量が、図４に示すように、Ｗ端ではｄｗ、Ｔ端ではｄｔであるとする。この場合、現在のズーム位置をｘ、Ｗ端での位置をＷ、Ｔ端での位置をＴ、オリジナル視点画像の水平方向の長さをＬとすると、水平方向の物点ずれ量ｄを吸収するための電子ズーム切出範囲の水平方向の長さＶは、Ｖ＝Ｌ−ｄｗ−（ｄｔ−ｄｗ）／（Ｔ−Ｗ）×（ｘ−Ｗ）となる。なおｘ＝ＷならばＶ＝Ｌ−ｄｗ、ｘ＝ＴならばＶ＝Ｌ−ｄｔとなる（図４参照）。電子ズーム切出範囲のアスペクト比はオリジナル視点画像のそれに従うので、電子ズームの倍率ｙは、ｙ＝Ｌ／Ｖとなる。撮像光学系１４Ａ・Ｂが垂直方向に沿って並列していても、垂直方向のずれ量を基準にして同様に倍率ｙを求めることができる。

具体的な数値例を挙げると、Ｔ端での最大光学ズーム倍率が５倍、Ｗ端でのずれ量ｄｗが画像水平方向の長さの２％であれば、Ｔ端での最大ずれ量ｄｔは画像水平方向の長さの２×５＝１０％となる。よって、Ｗ端での電子ズーム倍率は１．０２倍、Ｔ端での電子ズーム倍率は１．１倍となる。光学ズームの倍率増加に応じて補正用の電子ズーム倍率も増加していくため、理論的には画像の倍率はユーザの指定した光学ズーム倍率よりも多くなるが、画像の見かけ上の倍率はユーザの指定した光学ズーム倍率と一致するように調整する。

図５に示すように、電子ズーム倍率データｙは、現在のズーム位置ｘが増加するのに比例して増加する。換言すると、ｙの増加に合わせてＶは小さくなる。ズーム位置がＷ端にあっても、ＶはＬよりも小さい値となり、電子ズーム倍率は１を超える。なおＷ端の位置を基準位置Ｗ＝０としてもよい。上記等式をＲＯＭ７１に格納し、電子ズーム倍率データｙの実際の計算はＣＰＵ７０が行ってもよい。

品質管理でカメラ１０の個々の固体の光軸ずれが許容限界θｍａｘを上回らないとすれば、個々のカメラ１０の物点ずれ量は、ｄを超えることはない。よって以下では、どの固体の物点ずれ量も吸収できるように、一律電子ズーム倍率データｙで電子ズームを施す範囲を決定する。撮像光学系１４Ａ・Ｂが水平方向に沿って並列している場合は、視差が水平方向に形成されるため、その視差が破壊されない範囲で切出範囲を水平方向にシフト制御して切出範囲を決定する。これは特許文献６や７と同様にして、観察者の両眼融合範囲内に表示立体画像が収まるように画像の切出範囲を決定すればよい。

Ｓ６では、ＲＯＭ７２から光軸差データを読み出す。光軸差データとは、撮像光学系１４Ａ・Ｂの実際の光軸ずれ角度であり、カメラ１０の固体ごとに固有の値であり、製造出荷時にＲＯＭ７２に記憶される。

Ｓ７では、切出位置設定部７３が読み出した光軸差データと電子ズーム倍率データｙに基づいて、光軸ずれに伴う物点ずれを解消する切出範囲（電子ズームを施す範囲）を決定する。つまり、切出範囲のサイズは一律電子ズーム倍率データｙに従うが、切り出す場所は物点ずれの位置関係によって変化する。切出範囲のアスペクト比はオリジナルの視点画像と同じであるとする。

そして、メモリ６２Ａまたは６２Ｂのうち予め規定された一方の画像に対し、決定された切出範囲に含まれる画像を切り出し、切り出した画像を倍率ｙで電子的に拡大して（電子ズーム）、この拡大後の画像を新たな視点画像としてメモリ６２Ａまたは６２Ｂに記憶する。物点ずれが解消されるのであればば双方の視点画像から切り出しと電子的拡大を行ってもよい。立体画像処理回路３４は、この新たな視点画像と電子ズームの施されていない他方の視点画像とから、立体画像Ｓを生成する。また、メモリカード８０にこの電子ズームの施された視点画像・電子ズームの施されていない視点画像を対応づけて記録してもよい。

このように、個々のカメラ１０の製造過程での光軸ずれの最大値を見込んで、光学ズームレンズ位置に比例した電子ズーム倍率による画像ずれの補正域を、全てのカメラ１０に一律に設定するため、各光学ズーム位置に応じた個々の固体の画一的な補正域設定が可能となり、かつ広角側での画角を最大限に確保できる。

＜第２実施形態＞
図６は第２実施形態に係るカメラ１０の電気的構成を示す。このカメラ１０は第１実施形態と同様の構成を有しており、同一のブロックには同一の符号を付している。第２実施形態では、被写体はカメラ１０から任意の距離の位置に存在し、フォーカスレンズは当該被写体に合焦するため移動可能とする。その移動量は、ＣＰＵ７０がコントラストＡＦや三角測距を利用したパッシブＡＦその他の公知の自動合焦処理を実施してモータ２４Ａ・Ｂにフォーカスレンズの合焦レンズ位置を指示する。

フォーカス測定部７７は、フォーカスレンズのレンズ位置に基づいて、あるいは三角測距などの公知の測距手段を利用して合焦被写体までの距離を測定する。

ＲＯＭ７２には、カメラ１０から立体画像の鑑賞が可能な被写体までの最短距離である最短撮影距離αと、カメラ１０から所定の輻輳角をなす撮像光学系５０Ａ・Ｂの光軸交点までの距離である輻輳角設定距離βを記憶している（図７参照）。最短撮影距離αの物体に対する視差は限界視差と呼ばれ、最短撮影距離αよりも近い距離にある物体はぼやけて立体視が不可能となる。最短撮影距離α以上に遠い距離（αから無限遠までの間）にある物体に対する視差は適正視差と呼ばれる。ＣＰＵ７０は、フォーカス測定部７７の測定した合焦被写体までの距離がα以上であれば、立体画像の作成が可能であると判断し、切出範囲の水平位置をシフト制御することで光学ズーム変倍による視差の拡大を補償する。この切出範囲の決定は、電子ズーム変倍による視差拡大を補償する特許文献８と同様である。

図８はＣＰＵ７０が実行する補正処理のフローチャートを示す。

Ｓ１１〜Ｓ１４は、Ｓ１〜Ｓ４と同様である。

Ｓ１４では、フォーカス測定部７７を介して合焦被写体距離を取得する。

Ｓ１６では、取得した合焦被写体距離が、ＲＯＭ７２の最短撮影距離α以上であるか否かを判断する。Ｙｅｓの場合はＳ１７，Ｎｏの場合はＳ２０に進む。

Ｓ１７〜Ｓ１８は、Ｓ５〜Ｓ６と同様である。

Ｓ１９では、切出位置設定部７３が、電子ズームの倍率ｙによって定まるサイズの切出範囲の水平位置を、光学ズーム変倍による視差の拡大を補償するようにシフト制御する（図９参照）。

Ｓ２０では、立体画像の作成ができないほど被写体が近距離にある旨の警告メッセージをディスプレイ２６に表示する。図示しないスピーカで警告メッセージを拡声してもよい。

以上の処理により、任意の位置にある被写体の立体視が可能な範囲で光学ズーム変倍の視点画像のずれを画一的に補正できる。

＜第３実施形態＞
図１０は第３実施形態に係るカメラ１０の電気的構成を示す。このカメラ１０は第１ないし２実施形態と同様の構成を有しており、同一のブロックには同一の符号を付している。

対応点検出部７は、ステレオマッチングの手法を用いて撮像素子５０Ａ、５０Ｂがそれぞれ取得した画像ＳＲ，ＳＬ上において互いに対応する対応点を求める。対応点の求め方は公知のものを適用すればよい。例えば、画像ＳＲ，ＳＬから部分的な行列（例えば３×３画素）を取り出して相関値を求めることにより対応点を求める。具体的には、対応点検出部７は、画像ＳＲ，ＳＬの一方から輝度・色差の変わる境界部分（エッジ成分）を特徴点とし、他方の画像において同様のエッジ成分を有する部分を対応点とする。あるいは、画像ＳＲ，ＳＬからそれぞれ顔検出を行い、検出された顔領域の頭頂と顎の先端をそれぞれの画像の特徴点あるいは対応点としてもよく、特徴点と対応点の抽出方法を相互に依存させる必要はない。

視差計測回路８は、画像ＳＲ，ＳＬにおける特徴点と対応点の位置座標の差異に基づいて視差を算出する。

例えば、図１１のような画像ＳＬの特徴点ＰＬの座標をＸ１、特徴点ＰＬに対応する画像ＳＲの対応点ＰＲの座標Ｘ２をとすると、視差計測回路８は、視差ｄ＝Ｘ１−Ｘ２と計算する。

図１２はＣＰＵ７０が実行する補正処理のフローチャートを示す。

Ｓ２１〜Ｓ２４は、Ｓ１〜Ｓ４と同様である。

Ｓ２５では、対応点検出部７によって画像ＳＲ，ＳＬの特徴点および対応点を求める。

Ｓ２６では、視差計測回路８によって視差ｄを算出する。

Ｓ２７〜３０は、それぞれＳ１６、Ｓ１９、Ｓ２０と同様である。ただし、Ｓ２７では、視差計測回路８の算出した視差ｄがＲＯＭ７２の最短撮影距離α以上であるか否かを判断し、Ｙｅｓの場合はＳ２８，Ｎｏの場合はＳ３０に進む。Ｓ２９では、補正後の視点画像から作成した合成画像が観者に与える視差が、適正視差の範囲に収まるような切出範囲を設定する。

このようにすれば、第２実施形態のように予めＲＯＭ７２に視差データを格納しておく必要がなくなる。

なお、本明細書で説明した補正処理は、光軸ずれの他、倍率誤差や回転誤差の補正にも適用できる。

第１実施形態に係るカメラのブロック図第１実施形態に係る補正処理のフローチャート光軸ずれの許容限界θｍａｘの一例を示す図電子ズーム切出範囲の一例を示す図電子ズーム倍率データｙと現在のズーム位置ｘとの関係を例示した図第２実施形態に係るカメラのブロック図最短撮影距離α、輻輳角設定距離βの一例を示す図第２実施形態に係る補正処理のフローチャート電子ズーム切出範囲の一例を示す図第３実施形態に係るカメラのブロック図対応点の一例を示す図第３実施形態に係る補正処理のフローチャート

７：対応点検出部、１４：撮像光学系、２４：ズームモータ、３４：立体画像処理回路、５０：撮像素子、７０：ＣＰＵ、７１：ＲＯＭ、７２：ＲＯＭ、７３：切出位置設定部

Claims

ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、撮像光学系の光軸ずれの誤差および倍率誤差のうち少なくとも一方によって生じる物点ずれ量を補正するのに必要な画像切出処理および拡大処理に使用する情報であって、前記画像切出処理の切出位置および前記拡大処理の拡大率の決定に関する情報を予め記憶する記憶部と、
所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、
前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、
前記画像切出処理の切出位置および前記拡大処理の拡大率の決定に関する情報に基づいて、前記ズームレンズ駆動部が移動したズームレンズの位置に応じた物点ずれ量を解消する切出位置および拡大率を決定し、前記視点画像から前記決定された切出位置の画像を切り出し、前記決定された拡大率に基づいて前記切り出した画像を拡大する補正部と、
を備える撮像装置。
前記補正部が設定する電子ズーム倍率は前記ズームレンズの位置が広角側から望遠側に推移するに従って増加する請求項１に記載の撮像装置。
前記補正部の切り出した画像と前記所望の補正対象の視点画像以外の視点画像から立体画像を作成し所定の表示装置に出力する立体画像処理部を備える請求項１または２に記載の撮像装置。
ズームレンズを含む撮像光学系の各々から撮影された視点画像を取得可能な撮影部と、所望の光学ズーム倍率の指定を受け付ける光学ズーム倍率指定部と、前記光学ズーム倍率指定部の受け付けた光学ズーム倍率に対応する位置に前記ズームレンズを移動させるズームレンズ駆動部と、を備えた撮像装置が、
撮像光学系の光軸ずれの誤差および倍率誤差のうち少なくとも一方によって生じる物点ずれ量を補正するのに必要な画像切出処理および拡大処理に使用する情報であって、前記画像切出処理の切出位置および前記拡大処理の拡大率の決定に関する情報を予め記憶するステップと、
前記画像切出処理の切出位置および前記拡大処理の拡大率の決定に関する情報に基づいて、前記ズームレンズ駆動部が移動したズームレンズの位置に応じた物点ずれ量を解消する切出位置および拡大率を決定し、前記視点画像から前記決定された切出位置の画像を切り出し、前記決定された拡大率に基づいて前記切り出した画像を拡大するステップと、
を実行する画像補正方法。
請求項４に記載の画像補正方法を撮像装置に実行させるための画像補正プログラム。