JP5594067B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、例えば立体視用の左右の視点画像に対して画像処理を施す画像処理装置および画像処理方法に関する。

従来、様々な撮像装置が提案され、開発されている。例えば、撮像レンズと、左右の領域毎に透過および遮断（開閉）を切り替え可能なシャッターとを備えたカメラ（撮像装置）が提案されている（例えば、特許文献１〜３参照）。これによれば、シャッターの各領域における開閉を時分割で交互に切り替えることで、左右の各視点方向から撮影したかのような２種類の画像（左視点画像および右視点画像）を取得することができる。これらの左視点画像および右視点画像を、所定の手法を用いて人間の眼に提示することにより、人間はその画像に立体感を感じることができる。

また、上記のような撮像装置では、静止画を対象としたものが多い。動画を撮影するものも提案されている（例えば、特許文献４，５参照）が、これらの撮像装置ではいずれも、イメージセンサとして、面順次で受光駆動を行ういわゆるグローバルシャッタータイプのＣＣＤ（Charge Coupled Device）を用いたものである。

登録特許第１０６０６１８号公報 特開２００２−３４０５６号公報 特表平９−５０５９０６号公報 特開平１０−２７１５３４号公報 特開２０００−１３７２０３号公報

ところが近年では、ＣＣＤよりも低コスト、低消費電力および高速処理化を実現可能なＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサが主流となってきている。このＣＭＯＳセンサは、上記ＣＣＤと異なり、線順次で受光駆動を行う、いわゆるローリングシャッタータイプのイメージセンサである。上記ＣＣＤでは、各フレームにおいて画面全体が同時刻に一括して撮影されるのに対し、このＣＭＯＳセンサでは、例えばイメージセンサの上部から下部に向けて線順次で露出や信号の読み出しがなされるため、ライン毎に、露出期間や読み出しタイミング等に時間的なずれが生じる。

このため、上記のようなシャッターにより光路を切り替えながら撮影する撮像装置において、ＣＭＯＳセンサを使用すると、１フレームにおける全ライン分の露出期間と、シャッターの各領域の開期間との間に、時間的なずれが生じる。この結果、複数視点の画像をそれぞれ精度良く取得できないという問題がある。例えば、立体視用途で左右２つの視点画像を取得する場合には、各視点画像の中央付近に、左右それぞれの通過光線が混在することになるため、例えば観察者によって注視され易い画面中央付近において左右の視差がなくなってしまう（立体感が得られなくなってしまう）。

そこで、例えばシャッターの切り替えタイミングや露光期間等を制御して、１画面内に異なる視点方向からの光線が混在しないように撮影することが考えられる。ところが、この手法では、例えば画面の中央部では所望の視差が得られるが、上下端部では視差が少なくなり（あるいは視差がなくなり）、画面内における視差の度合いが不均一となる。このような不均一な視差分布を有する視点画像を用いて立体表示を行うと、不自然な表示映像となり易い。

本発明はかかる問題点に鑑みてなされたもので、その目的は、自然な立体映像表示を実現し得る視点画像を取得可能な画像処理装置および画像処理方法を提供することにある。

本発明の画像処理装置は、撮像レンズと複数の光路において各光路の透過および遮断を切り替え可能なシャッターとの通過光線を線順次駆動で受光することにより得られた、複数の視点画像の各々に対し、複数の視点画像間の視差量が画像面内において略均一となるような補正を施す視差量補正部を備えたものである。

本発明の画像処理方法は、撮像レンズと複数の光路において各光路の透過および遮断を切り替え可能なシャッターとの通過光線を線順次駆動で受光することにより得られた、複数の視点画像の各々に対し、複数の視点画像間の視差量が画像面内において略均一となるような補正を施すものである。

本発明の画像処理装置および画像処理方法では、撮像レンズと複数の光路において各光路の透過および遮断を切り替え可能なシャッターとの通過光線を線順次駆動で受光することにより得られた複数の視点画像の各々に対し、それら複数の視点画像間の視差量が画像面内において略均一となるような補正を施す。これにより、各視点画像では、視差分布の不均一性が低減される。

本発明の画像処理装置および画像処理方法によれば、視差量補正部が、撮像レンズと複数の光路において各光路の透過および遮断を切り替え可能なシャッターとの通過光線を線順次駆動で受光することにより得られた複数の視点画像の各々に対し、それら複数の視点画像間の視差量が画像面内において略均一となるような補正を施すようにしたので、視点画像間における視差量の不均一性を低減することができる。よって、自然な立体映像表示を実現し得る視点画像を取得可能となる。

本発明の一実施の形態に係る撮像装置の全体構成を表す図である。 図１に示したシャッターの平面模式図である。 図１に示したシャッターの断面模式図である。 図１に示したシャッターの応答特性の一例を示す特性図である。 図１に示した画像処理部の一構成例を示す機能ブロック図である。 ２Ｄ撮影（光路切り替えなし）の場合の受光像を説明するための模式図である。 図１に示した撮像装置における左視点画像取得の原理を説明するための模式図である。 図１に示した撮像装置における右視点画像取得の原理を説明するための模式図である。 図１に示した撮像装置を用いて取得した左右の視点画像間の視差について説明するための模式図である。 比較例１に係るイメージセンサ（ＣＣＤ）の駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。 比較例２に係るイメージセンサ（ＣＭＯＳ）の駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。 図１１に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像を示す。 図１に示したイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。 図１３に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像、（Ｃ）が左右の視差量の分布を示す。 視差量補正処理（視差拡大（強調））を説明するための模式図である。 視差量補正処理（視差拡大（強調））の一例を表す模式図である。 視差量補正処理前の画像における視差量と立体感との関係を表す模式図である。 視差量補正処理後の画像における視差量と立体感との関係を表す模式図である。 変形例１に係る画像処理部の一構成例を表す機能ブロック図である。 変形例１に係る視差量補正処理のメリットを説明するための模式図である。 変形例２にイメージセンサの駆動タイミングとシャッターの開閉タイミングとの関係を表す模式図である。 図２１に示したタイミング制御により得られる視点画像の模式図であり、（Ａ）が左視点画像、（Ｂ）が右視点画像、（Ｃ）が左右の視差量の分布を示す。 図２２に示した視点画像に対する視差量補正処理の一例を示す模式図である。 変形例３に係る視差量補正処理（視差縮小（抑制））を説明するための模式図である。 変形例４に係る撮像装置の全体構成を表す図である。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。尚、説明は以下の順序で行う。

１．実施の形態（画面位置によって視差量が変化する視点画像に対し、ディスパリティマップを用いて視差量補正を行う画像処理の例）
２．変形例１（空間周波数に応じて視差量補正を行う場合の例）
３．変形例２（他の視点画像に対する視差量補正理の例）
４．変形例３（視差量を縮小する場合の例）
５．変形例４（２眼式の撮像装置の例）

＜実施の形態＞
［撮像装置１の構成］
図１は、本発明の一実施の形態に係る撮像装置（撮像装置１）の全体構成を表したものである。撮像装置１は、被写体を互いに異なる複数の視点方向から撮影し、動画（または静止画）として、複数の視点画像（ここでは、左右２つの視点画像）を交互に時分割的に取得するものである。撮像装置１は、いわゆる単眼式カメラであり、シャッター制御によって左右の光路を切り替え可能となっている。この撮像装置１は、撮像レンズ１０ａ，１０ｂ、シャッター１１、イメージセンサ１２、画像処理部１３、レンズ駆動部１４，シャッター駆動部１５、イメージセンサ駆動部１６および制御部１７を備えている。尚、画像処理部１３が本発明の画像処理装置に対応している。また、本発明の画像処理方法は、画像処理部１３の構成および動作によって具現化されるものであるため、その説明を省略する。

撮像レンズ１０ａ，１０ｂは、被写体からの光線を取得するためのレンズ群であり、これらの撮像レンズ１０ａ，１０ｂ間に、シャッター１１が配設されている。尚、シャッター１１の配置は特に限定されるものではないが、理想的には、撮像レンズ１０ａ，１０ｂの瞳面あるいは図示しない絞りの位置に配置されることが望ましい。撮像レンズ１０ａ，１０ｂは、例えばいわゆるズームレンズとして機能し、レンズ駆動部１４によってレンズ間隔等が調整されることにより焦点距離を変更可能となっている。但し、撮像レンズとしては、そのような可動焦点レンズに限らず、固定焦点レンズであってもよい。

（シャッター１１の構成）
シャッター１１は、左右２つの領域に分割されており、その分割された領域毎に透過（開）および遮断（閉）を切り替え可能となっている。シャッター１１としては、そのような切り替えが可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。このシャッター１１の具体的な構成については後述する。

ここで、図２にシャッター１１の平面構成の一例を示す。このように、シャッター１１は、左右２つ（水平方向に沿った２つ）の領域（ＳＬ，ＳＲ）を有し、領域ＳＬを開（領域ＳＲを閉）とした状態（図２（Ａ））と、領域ＳＲを開（領域ＳＬを閉）とした状態（図２（Ｂ））とが、交互に切り替わるように制御される。そのようなシャッター１１の具体的な構成として、例えば液晶シャッターを例に挙げて説明する。図３は、液晶シャッターとしてのシャッター１１の領域ＳＬ，ＳＲの境界付近の断面構成を表したものである。

シャッター１１は、ガラス等よりなる基板１０１，１０６間に液晶層１０４が封止されると共に、基板１０１の光入射側に偏光子１０７Ａ、基板１０６の光出射側に検光子１０７Ｂがそれぞれ貼り合わせられたものである。基板１０１と液晶層１０４との間には電極が形成され、この電極が複数（ここでは、領域ＳＬ，ＳＲに対応する２つ）のサブ電極１０２Ａに分割されている。これら２つのサブ電極１０２Ａは、個別に電圧供給が可能である。そのような基板１０１に対向する基板１０６には、領域ＳＬ，ＳＲに共通の電極１０５が設けられている。尚、この基板１０６側の電極は、一般的には領域ＳＬ，ＳＲに共通の電極とされるが、これに限定されず、領域毎に分割されていてもよい。サブ電極１０２Ａと液晶層１０４との間には配向膜１０３Ａ、電極１０５と液晶層１０４との間には配向膜１０３Ｂがそれぞれ形成されている。

サブ電極１０２Ａおよび電極１０５はそれぞれ、例えばＩＴＯ（Indium Tin Oxide；酸化インジウムスズ）等の透明電極よりなる。偏光子１０７Ａおよび検光子１０７Ｂはそれぞれ、所定の偏光を選択的に透過させるものであり、例えばクロスニコルまたはパラレルニコルの状態となるように配置されている。液晶層１０４は、例えばＳＴＮ（Super-twisted Nematic）、ＴＮ（Twisted Nematic）、ＯＣＢ（Optical Compensated Bend）等の各種表示モードの液晶を含むものである。但し、液晶としては、シャッター１１の閉状態から開状態（印加電圧が低から高）への遷移時の応答特性と、開状態から閉状態（印加電圧が高から低）への遷移時の応答特性とが概ね等しくなる（波形が対称形となる）ものが用いられることが望ましい。また、各状態への遷移時の応答が非常に速く、例えば、図４に示したように、閉状態から開状態へ透過率が垂直に立ち上がり（Ｆ１）、開状態から閉状態へ透過率が垂直に立ち下がる（Ｆ２）特性を示す液晶が用いられることが理想的である。このような応答特性を示す液晶としては、例えばＦＬＣ（Ferroelectric Liquid Crystal：強誘電性液晶）が挙げられる。

このような構造により、シャッター１１では、サブ電極１０２Ａおよび電極１０５を通じて液晶層１０４に電圧を印加すると、その印加電圧の大きさに応じて、偏光子１０７Ａから検光子１０７Ｂへの透過率を変化させることができる。即ち、シャッター１１として液晶シャッターを用いることで、電圧制御によりシャッター１１の開状態および閉状態を切り替えることができる。また、その電圧印加のための電極を、個別駆動が可能な２つのサブ電極１０２Ａに分割することで、領域ＳＬ，ＳＲ毎に透光状態および遮光状態を交互に切り替え可能となる。

イメージセンサ１２は、撮像レンズ１０ａ，１０ｂおよびシャッター１１の所定の領域を通過した光線に基づいて受光信号を出力する光電変換素子である。このイメージセンサ１２は、例えばマトリクス状に配置された複数のフォトダイオード（受光画素）を有し、線順次で露出および信号読み出しを行う、ローリングシャッタータイプ（線順次駆動型）の撮像素子（例えば、ＣＭＯＳセンサ）である。尚、このイメージセンサ１２の受光面側には、例えば所定のカラー配列を有するＲ，Ｇ，Ｂのカラーフィルタ（図示せず）が配設されていてもよい。

（画像処理部１３の構成）
画像処理部１３は、イメージセンサ１２から出力された撮像データに基づく撮像画像（左右の視点画像）に対し、所定の画像処理を施すと共に、画像処理前あるいは画像処理後の撮像データを記憶するメモリ（図示せず）を含むものである。但し、画像処理後の画像データは、記録せずに外部のディスプレイ等に出力するようにしてもよい。

図５は、画像処理部１３の詳細構成について表したものである。画像処理部１３は、視差量補正部１３１およびディスパリティマップ生成部１３３（奥行き情報取得部）を備えており、視差量補正部１３１の前段および後段には、画像補正処理部１３０，１３２が設けられている。視差量補正部１３１は、イメージセンサ１２から入力される撮像データ（左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒ）に基づく画像（左視点画像Ｌ１，右視点画像Ｒ１）に対し、視差量を変更制御するものである。

視差量補正部１３１は、入力された左右の視点画像間における視差量を補正するものである。具体的には、画像面内において不均一な視差分布を有する複数の視点画像に対し、画像面内の位置に応じて視差量の補正を行うことにより、その視差量の不均一性を低減するようになっている。また、本実施の形態では、視差量補正部１３１は、ディスパリティマップ生成部１３３から入力されるディスパリティマップに基づいて、上記補正を行う。ディスパリティマップを用いることにより、被写体の像が手前に飛び出して見えるか、あるいは奥まって見えるか、という立体感に適した視差量補正を行うことができる。即ち、奥側（観察者から遠い側）にある被写体像は、より奥まって観察され、手前側（観察者に近い側）にある被写体像はより飛び出して観察されるように（視差による立体感がより強調される方向に）、視差量を補正可能となる。

ディスパリティマップ生成部１３３は、撮像データ（左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒ）に基づいて、例えばステレオマッチング法等により、いわゆるディスパリティマップ（奥行き情報）を生成するものである。具体的には、左右の視点画像間のディスパリティ（disparity：位相差、位相ずれ）を画素毎に算出し、算出したディスパリティを各画素に対応づけたマップを生成する。但し、ディスパリティマップとしては、上記のように画素毎にディスパリティを求めて画素毎に保持してもよいが、所定数の画素からなる画素ブロック毎にディスパリティを求め、求めたディスパリティを各画素ブロックに対応付けて保持するようにしてもよい。ディスパリティマップ生成部１３３において生成されたディスパリティマップは、マップデータＤＤとして、視差量補正部１３１へ出力されるようになっている。

尚、本明細書において、「視差量」は、左右の視点画像間の画面水平方向における位置ずれ量（位相ずれ量）を表すものとする。

画像補正処理部１３０は、例えばノイズリダクションやデモザイク処理等の補正処理、画像補正処理部１３２は、例えばガンマ補正処理等の補正処理をそれぞれ行うものである。

レンズ駆動部１４は、撮像レンズ１０ａ，１０ｂにおける所定のレンズを光軸に沿ってシフトさせ、焦点距離を変化させるためのアクチュエータである。

シャッター駆動部１５は、制御部１７によるタイミング制御に応じて、シャッター１１の左右の領域（ＳＬ，ＳＲ）においてその領域毎に開閉の切り替え駆動を行うものである。具体的には、シャッター１１の領域ＳＬが開状態のときには、領域ＳＲが閉状態となるように、逆に領域ＳＬが閉状態のときには、領域ＳＲが開状態となるようにそれぞれ駆動する。動画撮影の際には、そのような領域ＳＬ，ＳＲの開閉切り替えが時分割で交互に行われるように駆動する。ここでは、シャッター１１における左右の各領域ＳＬ，ＳＲの開期間がその領域に対応するフレーム（フレームＬまたはフレームＲ）に１：１で対応しており、各領域ＳＬ，ＳＲの開期間と１フレーム期間とは略同一となっている。

イメージセンサ駆動部１６は、制御部１７によるタイミング制御に応じて、イメージセンサ１２を駆動制御するものである。具体的には、上述のようなローリングシャッター型のイメージセンサ１２において、その露出および信号読み出しをそれぞれ線順次に行うように駆動する。

制御部１７は、画像処理部１３、レンズ駆動部１４、シャッター駆動部１５およびイメージセンサ駆動部１６の各動作を所定のタイミングで制御するものであり、この制御部１７としては例えばマイクロコンピュータ等が用いられる。詳細は後述するが、本実施の形態では、この制御部１７が、シャッター１１における開閉切り替えタイミングを、フレーム開始タイミング（１ライン目の露出開始タイミング）から所定の期間ずらして設定するようになっている。

［撮像装置１の作用、効果］
（１．基本動作）
上記のような撮像装置１では、制御部１７の制御に基づき、レンズ駆動部１４が撮像レンズ１０ａ，１０ｂを駆動すると共に、シャッター駆動部１５がシャッター１１における左領域ＳＬを開状態、右領域ＳＲを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を駆動させる。これにより、左光路への切り替えがなされ、イメージセンサ１２では、左視点方向から入射した光線に基づく左視点画像データＤ０Ｌが取得される。

続いて、シャッター駆動部１５がシャッター１１の右領域を開状態、左領域を閉状態にそれぞれ切り替え、イメージセンサ駆動部１６がイメージセンサ１２を駆動させる。これにより、左光路から右光路への切り替えがなされ、イメージセンサ１２では、右視点方向から入射した光線に基づく右視点画像データＤ０Ｒが取得される。

そして、イメージセンサ１２において複数のフレーム（撮像フレーム）を時系列的に取得すると共に、各撮像フレーム（後述のフレームＬ，Ｒ）に対応して上記シャッター１１における開閉の切り替え行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それらの組が順次画像処理部１３へ入力される。

画像処理部１３では、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像に対し、まず画像補正処理部１３０が例えばノイズリダクションやデモザイク処理等の補正処理を施す。この画像補正処理後の画像データＤ１は、視差量補正部１３１へ出力される。この後、視差量補正部１３１が、画像データＤ１に基づく視点画像（左視点画像Ｌ１，右視点画像Ｒ１）に対し、後述の視差量補正処理を施すことにより、視点画像（左視点画像Ｌ２，右視点画像Ｒ２）を生成し、画像データＤ２として画像補正処理部１３２へ出力する。画像補正処理部１３２が、画像データＤ２に基づく視点画像に対し、例えばガンマ補正処理等の補正処理を施すことにより、左右の視点画像についての画像データＤoutを生成する。このようにして生成された画像データＤoutは、画像処理部１３内に記録されるか、あるいは外部へ出力される。

（２．視点画像取得の原理）
ここで、図６〜図８を参照して、単眼式カメラを用いた場合の左右の視点画像取得の原理について説明する。図６〜図８は、撮像装置１を上方からみた図に等価であるが、簡便化のため、撮像レンズ１０ａ，１０ｂ、シャッター１１およびイメージセンサ１２以外の構成要素の図示を省略しており、撮像レンズ１０ａ，１０ｂについても簡略化してある。

まず、図６に示したように、左右の光路切り替えをしない場合（通常の２Ｄ撮影の場合）の受光像（イメージセンサ１２への映り方）について説明する。ここでは、被写体の一例として、奥行き方向において互いに異なる位置に配置された３つの被写体を例に挙げる。具体的には、撮影レンズ１０ａ，１０ｂのピント面Ｓ１にある被写体Ａ（人物）と、被写体Ａよりも奥側（撮像レンズ１０ａ，１０ｂと反対側）に位置する被写体Ｂ（山）と、被写体Ａよりも手前側（撮像レンズ側）に位置する被写体Ｃ（花）である。このような位置関係にある場合、被写体Ａが、例えばセンサ面Ｓ２上の中央付近に結像する。一方、ピント面Ｓ１よりも奥側に位置する被写体Ｂは、センサ面Ｓ２の手前（撮像レンズ側）に結像し、被写体Ｃは、センサ面Ｓ２の奥側（撮像レンズと反対側）に結像する。即ち、センサ面Ｓ２には、被写体Ａがフォーカスした（ピントの合った）像（Ａ０）、被写体Ｂおよび被写体Ｃはデフォーカスした（ぼやけた）像（Ｂ０，Ｃ０）となって映る。

（左視点画像）
このような位置関係にある３つの被写体Ａ〜Ｃに対し、光路を左右で切り替えた場合、センサ面Ｓ２への映り方は、次のように変化する。例えば、シャッター駆動部１５が、シャッター１１の左側の領域ＳＬを開状態、右側の領域ＳＲを閉状態となるように駆動した場合には、図７に示したように、左側の光路が透過となり、右側の光路は遮光される。この場合、ピント面Ｓ１にある被写体Ａに関しては、右側の光路を遮光されていても、光路切り替えのない上記場合と同様、センサ面Ｓ２上にフォーカスして結像する（Ａ０）。ところが、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃについては、センサ面Ｓ２上においてデフォーカスしたそれぞれの像が、水平方向において互いに逆の方向（シフト方向ｄ１，ｄ２）にシフトしたような像（Ｂ０'，Ｃ０'）として映る。

（右視点画像）
一方、シャッター駆動部１５が、シャッター１１の領域ＳＲを開状態、領域ＳＬを閉状態となるように駆動した場合には、図８に示したように、右側の光路が透過となり、左側の光路は遮光される。この場合も、ピント面Ｓ１にある被写体Ａは、センサ面Ｓ２上に結像し、ピント面Ｓ１から外れた位置にある被写体Ｂ，Ｃは、センサ面Ｓ２上において互いに逆の方向（シフト方向ｄ３，ｄ４）にシフトしたような像（Ｂ０"，Ｃ０"）として映る。但し、これらのシフト方向ｄ３，ｄ４は、上記左視点画像におけるシフト方向ｄ１，ｄ２とそれぞれ逆向きとなる。

（左右の視点画像間の視差）
上記のように、シャッター１１における各領域ＳＬ，ＳＲの開閉を切り替えることにより、左右の各視点方向に対応する光路が切り替えられ、左視点画像Ｌ１，右視点画像Ｒ１を取得することができる。また、上述のようにデフォーカスした被写体像は、左右の視点画像間で互いに水平方向逆向きにシフトするため、その水平方向に沿った位置ずれ量（位相差）が立体感を生みだす視差量となる。例えば図９（Ａ），（Ｂ）に示したように、被写体Ｂに注目した場合、左視点画像Ｌ１における像Ｂ０’の位置（Ｂ１_L）と右視点画像Ｒ１における像Ｂ０”の位置（Ｂ１_R）との水平方向の位置ずれ量Ｗｂ１が、被写体Ｂについての視差量となる。同様に、被写体Ｃに注目した場合、左視点画像Ｌ１における像Ｃ０’の位置（Ｃ１_L）と右視点画像Ｒ１における像Ｃ０”の位置（Ｃ１_R）との水平方向の位置ずれ量Ｗｃ１が、被写体Ｃについての視差量となる。

これらの左視点画像Ｌ１，右視点画像Ｒ１は、例えば偏光方式、フレームシーケンシャル方式、プロジェクタ方式等の３Ｄ表示法を用いて表示されることにより、観察者は、その観察映像において、例えば次のような立体感を感じることができる。即ち、上述の例では、視差のない被写体Ａ（人物）は表示画面（基準面）上で観察される一方、被写体Ｂ（山）はその基準面よりも奥まって見え、被写体Ｃ（花）は基準面から飛び出したような立体感で観察される。

（３．シャッター１１，イメージセンサ１２の駆動タイミング）
続いて、シャッター１１における開閉切り替え動作、イメージセンサ１２における露出および信号読み出し動作について、比較例（比較例１，２）を挙げて詳細に説明する。図１０（Ａ），（Ｂ）は、比較例１に係るイメージセンサ（ＣＣＤ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングを模式的に表したものである。また、図１１（Ａ），（Ｂ）には、比較例２に係るイメージセンサ（ＣＭＯＳ）の露出・読み出しタイミングおよびシャッターの開閉切り替えタイミングについて模式的に示す。尚、本明細書において、フレーム期間ｆｒは、動画としての１フレーム期間を２分割にした期間に相当する（２ｆｒ＝動画としての１フレーム期間）。また、（Ａ）図において斜線部分は、露出期間に相当している。尚、ここでは、動画撮影の場合を例に挙げて説明するが、静止画撮影の場合も同様である。

（比較例１）
ＣＣＤをイメージセンサとして用いた比較例１では、面順次で画面一括駆動されるため、図１０（Ａ）に示したように、一画面（撮像画面）内において露出期間に時間的なずれがなく、信号の読み出し（Read）も同時刻になされる。一方、左領域１００Ｌおよび右領域１００Ｒの開閉は、左視点画像用の露出期間において左領域１００Ｌが開（右領域１００Ｒが閉）となり、右視点画像用の露出期間において右領域１００Ｒが開（左領域１００Ｌが閉）となるように切り替えられる（図１０（Ｂ））。具体的には、露出開始（フレーム期間開始）タイミングに同期して、左領域１００Ｌ，右領域１００Ｒの開閉が切り替えられる。また、比較例１では、左領域１００Ｌおよび右領域１００Ｒの開期間はそれぞれ、フレーム期間ｆｒに等しく、また露出期間にも等しくなっている。

（比較例２）
ところが、イメージセンサとして、例えばローリングシャッタータイプのＣＭＯＳセンサを用いた場合、上記ＣＣＤの場合と異なり、例えば画面上から画面下に向かって（走査方向Ｓに沿って）線順次で駆動がなされる。即ち、図１１（Ａ）に示したように、一画面内において、ライン毎に露出開始のタイミングや信号読み出し（Read）のタイミングが異なってくる。このため、画面内の位置によって、露出期間に時間的なずれが生じる。このようなＣＭＯＳセンサを用いた場合、１ライン目の露出開始タイミングに同期してシャッターの開閉を切り替える（図１１（Ｂ））と、１画面全体（全ライン）の露出が終了する前に、透過光路が切り替わってしまう。

この結果、左視点画像Ｌ１００，右視点画像Ｒ１００では、互いに異なる光路の通過光線が混ざって受光され、いわゆる左右のクロストークが発生する。例えば、左視点画像Ｌ１００の撮影フレームでは、左光路の通過光線の受光量が画面上から画面下に向けて徐々に減る一方、右光路の通過光線の受光量は画面上から画面下に向けて徐々に増える。これにより、例えば図１２（Ａ）に示したように、左視点画像Ｌ１００では、上部Ｄ１が主に左視点方向からの光線、下部Ｄ３が主に右視点方向からの光線に基づくものとなり、中央付近Ｄ２では、各視点方向からの光線が混在して（クロストークにより）視差量が低減する。同様に、右視点画像Ｒ１００においても、例えば図１２（Ｂ）に示したように、上部Ｄ１が主に右視点方向からの光線、下部Ｄ３が主に左視点方向からの光線に基づくものとなり、中央付近Ｄ２ではクロストークにより視差量が低減してしまう。尚、図１２における色の濃淡は、各視点方向成分の偏りを表しており、色が濃い程、左右どちらかの視点方向からの光線の受光量が多いことを表している。

従って、そのような左右の視点画像を所定の方法で表示した場合、画面中央付近では視差量が低減している（あるいは無い）ために、立体的な表示ができず（平面的な２Ｄ画像に近づく）、また、画像（画面）の上下では所望の立体感が得られなくなってしまう。

そこで、本実施の形態では、各フレーム（撮像フレーム）Ｌ，Ｒにおいて、シャッター１１における開閉切り替えを、イメージセンサ１２における１ライン目の露出開始タイミングから所定の期間遅延して行う。具体的には、図１３（Ａ），（Ｂ）に示したように、１ライン目の露出開始タイミングｔ０から、露出期間Ｔの１／２の期間遅延して、シャッター１１の領域ＳＬ，ＳＲの開閉を切り替える。換言すると、ここでは、走査方向Ｓにおける中央のラインの露出開始タイミングｔ１において、シャッター１１の領域ＳＬ，ＳＲの開閉を切り替えることに等しい。これにより、各フレームＬ，Ｒでは、画面上部および下部においてシャッター１１の領域ＳＬ，ＳＲの両方の通過光線が受光され、中央付近においては主に所望の視点方向からの通過光線が受光される。

具体的には、図１４（Ａ）に示したように、フレームＬに対応する左視点画像Ｌ１では、左視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、右視点方向からの光線の受光量は、画面中央付近において最も少なく、画面上下端部に向かって徐々に増加する。また、図１４（Ｂ）に示したように、フレームＲに対応する右視点画像Ｒ１では、右視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、左視点方向からの光線の受光量は、画面中央付近において最も少なく、画面上下端部に向かって徐々に増加する。尚、図１４（Ａ），（Ｂ）における色の濃淡は、各視点方向成分の偏りを表しており、色が濃い程、左視点方向（または右視点方向）からの光線の受光量の割合が多いことを表している。

これにより、図１４（Ｃ）に示したように、左視点画像Ｌ１および右視点画像Ｒ１間における視差量は、画面中央において最も大きく、画面上下端部に向けて徐々に低減する。尚、ここでは、画面上下端部（最上部および最下部の各ライン）において左右の視点方向からの光線の受光量が１／２ずつで等しくなるため、実質的に視差はなくなる（平面的な画像となる）。また、本実施の形態では、露出期間Ｔおよびシャッター１１における領域ＳＬ，ＳＲの開期間がフレーム期間ｆｒ（例えば８．３ｍｓ）に等しく、１ライン目の露出開始タイミングから、Ｔ／２の期間（例えば４．１５ｍｓ）遅延して、シャッター１１の開閉が切り替えられる。

（４．視差量補正処理）
ここで、上記左視点画像Ｌ１および右視点画像Ｒ１のように、画像面内における視差分布が不均一である（本実施の形態では、中央部から上下端部に向かって徐々に視差量が低減している）視点画像では、立体感が画面中央部と画面上下との間で異なり、不自然な表示映像となり易い（観察者が映像に違和感を覚え易い）。従って、本実施の形態では、そのような不均一な視差量分布を有する各視点画像に対し、画像処理部１３が以下のような視差量補正処理を行う。

具体的には、視差量補正部１３１が、画像データＤ１（左視点画像データＤ１Ｌ，右視点画像データＤ１Ｒ）に対し、画像面内の位置に応じて、視差量の補正を行う。例えば、画像データＤ１に基づく左右の視点画像Ｌ１，Ｒ１が、図１５（Ａ）に示したような視差分布（図１３（Ａ），（Ｂ）に示したタイミング制御により得られる視差分布）を有する場合、図１５（Ｂ）に示したような画像面内の位置毎に異なる補正量で視差量の補正を行う。具体的には、画面中央から上下端部に向かって徐々に補正量が大きくなるように、補正を行う。即ち、視差量のより少ない位置では補正量をより大きく設定し、視差量のより多い位置では補正量を抑え目に設定する。このような画面位置に応じた視差量補正により、図１５（Ｃ）に示したように、例えば、画像面内において視差分布が略均一化された（視差分布の不均一性が低減された）視点画像を生成することができる。但し、本実施の形態では、詳細は後述するが、視差量のより少ない位置において視差量を強調（拡大）することにより、視差分布の均一化を図っている。また、これらの補正は、例えば画像データＤ１におけるラインデータ毎に補正量を設定して行えばよい。

他方、ディスパリティマップ生成部１３３は、入力された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づいて、ディスパリティマップを生成する。具体的には、左右の視点画像間のディスパリティを画素毎に算出し、算出したディスパリティを各画素に対応づけて保持されたマップを生成する。但し、ディスパリティマップとしては、上記のように画素毎にそれぞれのディスパリティを求めて保持するようにしてもよいが、所定数の画素ブロック毎にディスパリティを求め、求めたディスパリティを各画素ブロックに対応付けて保持するようにしてもよい。ディスパリティマップ生成部１３３において生成されたディスパリティマップは、マップデータＤＤとして、視差量補正部１３１へ出力される。

本実施の形態において、視差量補正部１３１は、このディスパリティマップを用いて上記のような視差量補正を行う。ここで、上記補正は、画像面内の位置毎に、左右の画像位置をシフトする（位相ずれ量を変更する）ことによって行うが、手前に飛び出して見える被写体像と、奥まって見える被写体像とでは、画像のシフト方向が互いに逆向きとなる（詳細は後述）。即ち、被写体像毎にその立体感に応じて、シフト方向を設定する必要が生じる。ディスパリティマップでは、画像面内の位置毎に、立体感に対応する奥行き情報が対応づけられて保持されるため、そのようなディスパリティマップを使用することにより、被写体像の各立体感に適した視差量補正を行うことが可能となる。具体的には、奥側（観察者から遠い側）にある被写体像はより奥まって、手前側（観察者に近い側）にある被写体像はより飛び出して、それぞれ観察されるように視差量を制御しつつ、上記補正を行うことが可能となる。換言すると、立体感の異なる複数の被写体像の各視差量を拡大し、それぞれの立体感を強調させつつ、画像面内の視差分布の均一化を図ることができる。以下、このような視差量の拡大動作の一例について説明する。

（視差量拡大動作）
具体的には、図１６（Ａ），（Ｂ）に示したように、視差量補正部１３１は、被写体Ｂについては、視差量がＷｂ１からＷｂ２（Ｗｂ１＜Ｗｂ２）まで拡大されるように、左視点画像Ｌ１，右視点画像Ｒ１における各位置を水平方向（Ｘ方向）に沿ってシフトさせる。一方、被写体Ｃについては、視差量がＷｃ１からＷｃ２（Ｗｃ１＜Ｗｃ２）まで拡大されるように、左視点画像Ｌ１，右視点画像Ｒ１における被写体Ｃの像の各位置を水平方向に沿ってシフトさせる。

具体的には、被写体Ｂについては、左視点画像Ｌ１での位置Ｂ１_Lから左視点画像Ｌ２における位置Ｂ２_Lへ、Ｘ方向負（−）の向きにシフトさせる（実線矢印）。一方、右視点画像Ｒ１での位置Ｂ１_Rから右視点画像Ｒ２における位置Ｂ２_Rへ、Ｘ方向正（＋）の向きにシフトさせる（破線矢印）。これにより、被写体Ｂについての視差量をＷｂ１からＷｂ２へ拡大することができる。他方、被写体Ｃについては、左視点画像Ｌ１での位置Ｃ１_Lから左視点画像Ｌ２における位置Ｃ２_Lへ、Ｘ方向正（＋）の向きにシフトさせる（破線矢印）一方、右視点画像Ｒ１での位置Ｃ１_Rから右視点画像Ｒ２における位置Ｃ２_Rへ、Ｘ方向負（−）の向きにシフトさせる（実線矢印）。これにより、被写体Ｃについての視差量をＷｃ１からＷｃ２へ拡大することができる。尚、視差のない被写体Ａの位置Ａ１_L，Ａ１_Rは変更せず（視差量０のまま変更せず）、左視点画像Ｌ２，右視点画像Ｒ２においても同位置に配置されるようにする。

尚、上記図１６（Ａ），（Ｂ）に示した被写体Ｂ，Ｃの各位置は、被写体Ｂ，Ｃのあるラインデータ上の一点と考えることができ、このような点位置についての視差量拡大処理を、例えばラインデータ毎に、上述の補正量分布に基づいて行うことにより、各被写体の立体感に適した視差量制御を行いつつ（それぞれの立体感を強調しつつ）、画像面内における視差分布を略均一となるように補正することができる。

図１７は、左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに対応する左視点画像Ｌ１，Ｒ１における視差量と立体感との関係を説明するための模式図である。左視点画像Ｌ１，右視点画像Ｒ１間において、被写体Ｂの視差量がＷｂ１、被写体Ｃの視差量がＷｃ１である場合、被写体Ａ〜Ｃの各像の奥行き方向における観察位置は次のようになる。即ち、被写体Ａの像は表示画面（基準面）Ｓ３上の位置Ａ１’、被写体Ｂの像は、被写体Ａより距離Ｄａｂ１分だけ奥側の位置Ｂ１’、被写体Ｃの像は、被写体Ａより距離Ｄａｃ１分だけ手前側の位置Ｃ１’においてそれぞれ観察される。この例では、視差量拡大前の被写体Ｂ，Ｃの各像は、距離Ｄａｂ１，Ｄａｃ１を合計した距離範囲Ｄ１において観察されることとなる。

図１８は、視差量拡大処理後の左視点画像Ｌ２，Ｒ２における視差量と立体感との関係を説明するための模式図である。左視点画像Ｌ２，右視点画像Ｒ２間において、被写体Ｂの視差量がＷｂ２、被写体Ｃの視差量がＷｃ２となり、また、被写体Ａ〜Ｃの奥行き方向における各観察位置は次のように変化する。即ち、被写体Ａの像は表示画面（基準面）Ｓ３上の位置Ａ２’（＝Ａ１’）、被写体Ｂの像は、位置Ａ２’より距離Ｄａｂ２（＞Ｄａｂ１）分だけ奥側の位置Ｂ２’、被写体Ｃの像は、位置Ａ２’より距離Ｄａｃ２（＞Ｄａｃ１）分だけ手前側の位置Ｃ２’においてそれぞれ観察される。従って、ディスパリティマップを用いて被写体毎に視差量を拡大することにより、被写体Ｂ，Ｃの各像は、距離Ｄａｂ２，Ｄａｃ２を合計した距離範囲Ｄ２（＞距離範囲Ｄ１）において観察される。

以上のように、本実施の形態では、シャッター１１により各光路の透過および遮断が切り替えられることにより、イメージセンサ１２において、各光路の通過光線が受光され、左右の視点画像に対応する撮像データが取得される。ここで、線順次駆動型のイメージセンサ１２では、ライン毎に受光期間に時間的なずれが生じるが、各撮像フレームにおいて、各光路の透過および遮断の切り替えを、１ライン目の露出開始から所定の期間遅延して行うことにより、左右の視点方向からの光線が混在しない視点画像が取得される。このようにして取得された視点画像では、画像面内における視差分布が不均一となる（中央部から上下端部に向かって視差が低減する）。画像処理部１３が、前述のように画像面内の位置に応じて視差量を補正することにより、その不均一性を低減し、略均一化することができる。よって、自然な立体映像表示を実現し得る視点画像を取得可能となる。

以下、上記実施の形態の視差量補正処理の変形例（変形例１〜３）および撮像装置の変形例（変形例４）について説明する。尚、上記実施の形態と同様の構成要素については、同一の符号を付し適宜説明を省略する。

＜変形例１＞
図１９は、変形例１に係る画像処理部（画像処理部１３Ａ）の一構成例を表すものである。画像処理部１３Ａは、上記実施の形態における撮像レンズ１０ａ，１０ｂ、シャッター１１およびイメージセンサ１２を用いて取得された視点画像に対し、視差量補正処理を含む所定の画像処理を施すものである。この画像処理部１３Ａは、画像補正処理部１３０，視差量補正部１３１ａ，画像補正処理部１３２および視差制御処理部１３３ａを有している。

本変形例では、上記実施の形態の画像処理部１３と異なり、ディスパリティマップ生成部１３３を有さず、視差量補正部１３１ａがディスパリティマップ（奥行き情報）を用いずに、画像面内の位置に応じて視差量補正を行う。具体的には、画像処理部１３Ａにおいて、上記実施の形態と同様、イメージセンサ１２から入力された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像に対し、まず画像補正処理部１３０が所定の補正処理を施し、処理後の画像データＤ１を、視差量補正部１３１ａへ出力する。他方、視差制御処理部１３３ａでは、例えば視点画像データＤ０Ｌ，Ｄ０Ｒの輝度信号に対し、予め保持されたフィルタ係数を用いて微分処理を施した後に非線形変換を行うことにより、水平方向における画像シフト量（視差制御データＤＫ）を算出する。算出された視差制御データＤＫは、視差量補正部１３１ａに出力される。

視差量補正部１３１ａは、画像データＤ１に基づく左視点画像Ｌ１，右視点画像Ｒ１に対し、視差制御データＤＫに対応する画像シフト量を加算する。この際、上記実施の形態と同様、画像面内の位置に応じた視差量補正を行う。例えば、左視点画像Ｌ１，右視点画像Ｒ１が図１５（Ａ）に示したような視差分布を有する場合には、上記画像シフト量を、例えば図１５（Ｂ）に示したような分布に基づいて強調させることにより、視差量を変更制御しつつ、画像面内での視差分布を略均一化する。視差量補正処理後の左視点画像Ｌ２，右視点画像Ｒ２は、画像データＤ２として画像補正処理部１３２へ出力された後、画像補正処理部１３２において所定の補正処理が施され、画像データＤoutとして記録または外部出力される。本変形例のように、視点画像における空間周波数に応じて視差量制御する手法を利用して、視差量補正を行うことも可能である。

但し、本変形例における視差量補正処理は、画像シフト方向が水平方向における１つの向きに限られており、即ち、表示面よりも奥側または手前側のいずれか一方の側にのみ、被写体像をシフトさせるようになっている。尚、水平方向のどちら側の向きにシフトさせるかは、上記視差制御処理部１３３ａにおいて使用するフィルタ係数によって設定することができる。このため、本変形例では、ディスパリティマップを使用する上記実施の形態と異なり、被写体が奥側と手前側のどちらに表示されるものであるかに関わらず、奥側および手前側のどちらか一方の向きにのみ被写体像の表示位置をシフトさせる。例えば、上述した例で説明すると、奥側にある被写体Ｂと手前側にある被写体Ｃとの各表示位置が共に、奥側にずれるか、あるいは手前側にずれるように制御する。即ち、被写体Ｂ，Ｃのうちどちらか一方にとっては、その立体感を強調するものとなるが、他方にとってはその立体感を抑制するものとなる。

また、画像のシフト方向については、ユーザによって選択されてもよいし、自動的に選択されるものであってもよいが、次のようないわゆる額縁効果を考慮すると、表示画面よりも奥側にシフトさせつつ、視差量補正を行うことが望ましい。即ち、実際の立体表示の際には、これら左右の視点画像を所定の手法によりディスプレイ等に表示するが、この場合、表示される映像のうち上下端部付近における立体感は、ディスプレイの額縁の影響を受け易い。具体的には、図２０に示したように、ディスプレイ２００において映像表示を行う場合、観察者の眼には、表示された映像と共に額縁２００ａが映ることとなる。例えば、上述の例のように、表示画面上に人物Ａ２が表示され、山Ｂ２が表示画面よりも奥まって、花Ｃ２は表示画面から飛び出すような立体表示を行った場合、例えば領域Ｅ２付近では、花Ｃ２に対する距離感と、額縁２００ａの下枠に対する距離感が相違し、これらが競合してしまうことがある。同様に、領域Ｅ１付近では、山Ｂ２に対する距離感と、額縁２００ａの上枠に対する距離感とが競合することがある。そのため、表示された映像が、額縁２００ａの枠表面と同一面（表示画面）上に引きずられて（立体感が押し戻されて）、違和感を生じることがある。このような額縁２００ａによる立体感への影響は、特に額縁２００ａよりも手前側（観察者側）に飛び出すような立体感で表示した画像（ここでは、領域Ｅ２における花Ｃ２）において、受け易い。従って、飛び出す立体感を抑制する（奥まった立体感を強調する）方向、即ち被写体像を奥側へシフトさせる方向に視差量制御を行うことが望ましい。

＜変形例２＞
図２１（Ａ），（Ｂ）は、変形例２に係るイメージセンサ（ＣＭＯＳ）の駆動タイミングおよびシャッターの開閉タイミングを模式的に表したものである。本変形例においても、上記実施の形態と同様、線順次駆動型のイメージセンサ１２において、１ライン目の露出開始タイミングから所定の期間遅延してシャッター１１の開閉を切り替えるようになっている。また、シャッター１１における各領域の開期間がその領域に対応するフレーム（フレームＬまたはフレームＲ）に１：１で対応しており、各領域の開期間と１フレーム期間とは略同一である。但し、本変形例では、イメージセンサ１２において、１ライン毎の露出期間を短縮（フレーム期間ｆｒ＞露出期間Ｔ’）する。このとき、フレーム期間ｆｒの開始と同時に１ライン目の露出を開始し、露出期間Ｔ’の経過時に信号読み出しを行う（信号読み出しのタイミングを所定の期間早め、露出開始タイミングは変更しない）。

イメージセンサ１２における露出期間は、例えば電子シャッター機能等を利用して調整可能である。ここでは、フレーム期間ｆｒ（＝シャッター１１の開期間（閉期間））を８．３ｍｓとし、露出可能時間の６０％程度まで露出期間を短縮する（露出期間Ｔ’＝８．３×０．６＝５ｍｓ）。また、シャッター１１の開閉切り替えは、上記実施の形態と同様、１ライン目の露出開始タイミングから、例えばこの露出期間Ｔ’の１／２の期間（２．５ｍｓ）だけ遅延して行う。

これにより、各フレームＬ，Ｒでは、画面上部および下部においてシャッター１１の領域ＳＬ，ＳＲの両方の通過光線が混在して受光されるが、中央付近においては主に所望の視点方向からの通過光線が受光される。また、本変形例では、上記実施の形態よりも、所望の視点方向の光線が取得される範囲（走査方向Ｓに沿った範囲）が広くなる。

具体的には、図２２（Ａ）に示したように、左視点画像Ｌ１では、左視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、右視点方向からの光線は、画面中央付近では受光されず、画面上下端部付近においてのみ受光される。また、図２２（Ｂ）に示したように、右視点画像Ｒ１では、右視点方向からの光線の受光量は画面中央付近において最も多く、画面上下端部に向かって徐々に減少する。一方、左視点方向からの光線は、画面中央付近では受光されず、画面上下端部付近においてのみ受光される。尚、図２２（Ａ），（Ｂ）における色の濃淡は、各視点方向成分の偏りを表しており、色が濃い程、左視点方向（または右視点方向）からの光線の受光量の割合が多いことを表している。これにより、図２２（Ｃ）に示したように、左視点画像Ｌ１および右視点画像Ｒ１間における視差量は、画面中央から画面上下端部近傍まで広範囲にわたって大きくなり、画面上下端部近傍から上下端部に向かって低減するような視差分布となる。尚、ここでは、画面上下端部（最上部および最下部の各ライン）において左右の視点方向からの光線の受光量が１／２ずつで等しくなるため、その視差量は０（ゼロ）となる。

本変形例のように、視点画像の視差分布は上記実施の形態で説明したものに限定される訳ではない。画像面内において不均一な視差分布を有する視点画像に対し、その視差分布に応じて設定された補正量分布に基づいて、視差量補正を行えばよい。例えば、図２３（Ａ）に示したような視差分布を有する視点画像に対しては、図２３（Ｂ）に示したような補正量分布に基づいて視差量補正処理を行うことにより、図２３（Ｃ）に示したような均一な視差分布を有する視点画像を得ることができる。

＜変形例３＞
上記実施の形態では、視差量制御動作の一例として視差量の拡大（強調）動作を例に挙げて説明したが、視差量補正の際に、視差量を縮小（抑制）するような変更制御を行うこともできる。即ち、例えば、上述の図１５（Ａ）に示したような視差分布の例で説明すると、画面上下端部における視差量を強調する一方で、画面中央部における視差量を抑制することにより、画面全体としての視差分布を略均一化してもよい。図２４（Ａ），（Ｂ）に、視差量縮小処理を説明するための模式図を示す。このように、左視点画像Ｌ１，右視点画像Ｒ１において、それらの被写体Ｂ，Ｃの各視差量が縮小するように、被写体Ｂ，Ｃの像の位置を水平方向（Ｘ方向）に沿ってシフトさせる。

具体的には、被写体Ｂについては、左視点画像Ｌ１での位置Ｂ１_Lから左視点画像Ｌ２における位置Ｂ２_Lへ、Ｘ方向正（＋）の向きにシフトさせる（破線矢印）。一方、右視点画像Ｒ１での位置Ｂ１_Rから右視点画像Ｒ２における位置Ｂ２_Rへ、Ｘ方向負（−）の向きにシフトさせる（実線矢印）。これにより、被写体Ｂについての視差量は、Ｗｂ１からＷｂ３（Ｗｂ１＞Ｗｂ３）へ縮小することができる。他方、被写体Ｃについても同様にして視差量を縮小する。但し、被写体Ｃについては、左視点画像Ｌ１での位置Ｃ１_Lから左視点画像Ｌ２における位置Ｃ２_Lへ、Ｘ方向負（−）の向きにシフトさせる（実線矢印）。一方、右視点画像Ｒ１での位置Ｃ１_Rから右視点画像Ｒ２における位置Ｃ２_Rへ、Ｘ方向正（＋）の向きにシフトさせる（破線矢印）。

このように、視差量補正処理に際し、視差量を拡大する方向に制御するだけでなく、視差量を縮小する方向に制御することも可能である。

＜変形例４＞
［撮像装置２の全体構成］
図２５は、変形例４に係る撮像装置（撮像装置２）の全体構成を表したものである。撮像装置２は、上記実施の形態の撮像装置１と同様、被写体を左右の視点方向から撮影し、動画（または静止画）として、左右の視点画像を取得するものである。但し、本変形例の撮像装置２は、左右の各視点方向からの光線ＬＬ，ＬＲを取得するための光路毎に、撮像レンズ１０ａ１，１０ｂ、および撮像レンズ１０ａ２，１０ｂを有する、いわゆる２眼式カメラであり、光路毎にシャッター１１ａ，１１ｂを有している。但し、撮像レンズ１０ｂは、各光路に共通の構成要素である。また、各光路に共通の構成要素として、上記実施の形態の撮像装置１と同様、イメージセンサ１２、画像処理部１３、レンズ駆動部１８、シャッター駆動部１９、イメージセンサ駆動部１６および制御部１７を備えている。

撮像レンズ１０ａ１，１０ｂは、左視点方向の光線ＬＬを、撮像レンズ１０ａ２，１０ｂは、右視点方向の光線ＬＲをそれぞれ取得するためのレンズ群である。撮像レンズ１０ａ１，１０ｂ間にはシャッター１１ａ、撮像レンズ１０ａ２，１０ｂ間にはシャッター１１ｂがそれぞれ配設されている。尚、シャッター１１ａ，１１ｂの配置は特に限定されるものではないが、理想的には撮像レンズ群の瞳面あるいは図示しない絞りの位置に配置されることが望ましい。

これらの撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）は、全体として例えばズームレンズとして機能するものである。撮像レンズ１０ａ１，１０ｂ（撮像レンズ１０ａ２，１０ｂ）では、レンズ駆動部１４によってレンズ間隔等が調整されることにより、焦点距離を可変となっている。また、各レンズ群はそれぞれ１または複数枚のレンズによって構成されている。そのような撮像レンズ１０ａ１とシャッター１１ａとの間にはミラー１１０、撮像レンズ１０ａ２とシャッター１１ｂとの間にはミラー１１１、シャッター１１ａ，１１ｂ間にはミラー１１２がそれぞれ配置されている。これらのミラー１１０〜１１２によって、光線ＬＬ，ＬＲはそれぞれ、シャッター１１ａ，１１ｂを通過した後、撮像レンズ１０ｂへ入射するようになっている。

シャッター１１ａ，１１ｂは、左右の各光路における透過および遮断を切り替えるためのものであり、シャッター１１ａ，１１ｂ毎に開状態（透光状態）および閉状態（遮光状態）が切り替え制御されるようになっている。シャッター１１ａ，１１ｂとしては、上記のような光路切り替えが可能なものであれば、機械式のシャッターであってもよいし、例えば液晶シャッターのような電気式のシャッターであってもよい。

レンズ駆動部１８は、撮像レンズ１０ａ１，１０ｂ（または撮像レンズ１０ａ２，１０ｂ）における所定のレンズを光軸に沿ってシフトさせるアクチュエータである。

シャッター駆動部１９は、シャッター１１ａ，１１ｂの開閉切り替え駆動を行うものである。具体的には、シャッター１１ａが開状態のときには、シャッター１１ｂが閉状態となるように、シャッター１１ａが閉状態のときには、シャッター１１ｂが開状態となるようにそれぞれ駆動する。また、動画として各視点画像を取得する際には、シャッター１１ａ，１１ｂ毎に開状態および閉状態が時分割で交互に入れ替わるように駆動するようになっている。

［撮像装置２の作用、効果］
上記のような撮像装置２では、制御部１７の制御に基づき、レンズ駆動部１８が撮像レンズ１０ａ１，１０ｂを駆動すると共に、シャッター駆動部１９がシャッター１１ａを開状態、シャッター１１ｂを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、左視点方向に対応する左光路に切り替えられ、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＬに基づく受光がなされ、左視点画像データＤ０Ｌが取得される。

続いて、レンズ駆動部１８が撮像レンズ１０ａ２，１０ｂを駆動すると共に、シャッター駆動部１９がシャッター１１ｂを開状態、シャッター１１ａを閉状態にそれぞれ切り替える。また、これらの各動作に同期して、イメージセンサ駆動部１６がイメージセンサ１２を受光駆動させる。これにより、右視点方向に対応する右光路に切り替えられ、イメージセンサ１２では、被写体側からの入射光線のうち光線ＬＲに基づく受光がなされ、右視点画像データＤ０Ｒが取得される。上記のような撮像レンズ１０ａ１，１０ａ２およびシャッター１１ａ，１１ｂの切り替え駆動を時分割で交互に行うことにより、左視点画像，右視点画像に対応する撮像データが時系列に沿って交互に取得され、それら左右の視点画像の組が順次画像処理部１３へ入力される。

このとき、上記実施の形態と同様、各撮像フレームにおいて、シャッター１１ａ，１１ｂにおける各領域の開閉切り替えを、イメージセンサ１２における１ライン目の露出開始から所定の期間遅延して行う。これにより、上記実施の形態と同様、例えば図１４（Ｃ），図１５（Ａ）に示したような視差分布を有する視点画像を生成可能となる。

そして、画像処理部１３が、上記のようにして取得された左視点画像データＤ０Ｌ，右視点画像データＤ０Ｒに基づく撮像画像に対し、上記実施の形態で説明したような視差量補正処理を含む所定の画像処理を施し、例えば立体視用の左右の視点画像を生成する。生成された視点画像は画像処理部１３内に記録されるか、あるいは外部へ出力される。

上述のように、本発明は、撮像レンズを左右の光路毎に配置してなる２眼式カメラにも適用可能である。

以上、実施の形態および変形例を挙げて本発明を説明したが、本発明はこれらの実施の形態等に限定されるものではなく、種々の変形が可能である。例えば、上記実施の形態等では、視差量補正処理における視差制御手法として、ステレオマッチングによるディスパリティマップを用いた手法、または空間周波数に応じて画像シフトする手法を例に挙げて説明したが、本発明の視差量補正処理は、上述した視差制御手法以外の手法を用いることによっても実現可能である。

また、上記実施の形態等では、左右２つの光路を切り替えて左右２つの視点画像に対して所定の画像処理を施す場合を例に挙げて説明したが、視点方向は左右（水平方向）に限らず上下（垂直方向）であってもよい。

更に、光路を３つ以上に切り替え可能とし、３つ以上の多視点画像が取得されるようにしてもよい。この場合、例えば、上記実施の形態における撮像装置１のように、シャッターを複数の領域に分割してもよいし、あるいは上記変形例４における撮像装置２のように、複数のシャッターを光路毎に設けてもよい。

加えて、上記実施の形態等では、不均一な視差分布を有する視点画像として、ＣＭＯＳセンサを用いた撮像装置により、シャッターの開閉タイミングを、露出期間の１／２の期間遅延させて撮影した画像を使用したが、シャッターの開閉タイミングは必ずしもこれに限定されない。補正対象となる視点画像が、その画像面内において不均一な視差分布を有していれば、本発明の目的を達成することができる。

１，２…撮像装置、１０ａ，１０ａ１，１０ａ２，１０ｂ…撮像レンズ、１１，１１ａ，１１ｂ…シャッター、１２…イメージセンサ、１３，１３Ａ…画像処理部、１４，１８…レンズ駆動部、１５，１９…シャッター駆動部、１６…イメージセンサ駆動部、１７…制御部、１３０，１３２…画像補正処理部、１３１，１３１ａ…視差量補正部、１３３…ディスパリティマップ生成部、１３３ａ…視差制御処理部、Ｌ１…左視点画像、Ｒ１…右視点画像。

Claims (9)

1. 撮像レンズと複数の光路において各光路の透過および遮断を切り替え可能なシャッターとの通過光線を線順次駆動で受光することにより得られた、複数の視点画像の各々に対し、前記複数の視点画像間の視差量が画像面内において略均一となるような補正を施す視差量補正部
   を備えた画像処理装置。
2. 前記複数の視点画像間の視差量は、画像面内の中央部から端部に向かって徐々に減少するような視差分布を有するものであり、
   前記視差量補正部は、前記複数の視点画像の各々に対し、画像面内の中央部から端部に向かって、前記視差量が徐々に強調されるように前記補正を行う
   請求項１に記載の画像処理装置。
3. 前記視差量補正部は、各視点画像に複数の被写体画像が含まれている場合に、前記被写体画像毎に前記補正を行う
   請求項１または請求項２に記載の画像処理装置。
4. 前記複数の視点画像に基づき、奥行き情報を取得する奥行き情報取得部を有し、
   前記視差量補正部は、前記奥行き情報を用いて前記補正を行う
   請求項３に記載の画像処理装置。
5. 前記視差量補正部は、前記複数の視点画像に基づく立体映像が奥側にシフトされるように前記補正を行う
   請求項１または請求項２に記載の画像処理装置。
6. 撮像レンズと複数の光路において各光路の透過および遮断を切り替え可能なシャッターとの通過光線を線順次駆動で受光することにより、前記複数の視点画像に対応する撮像データを出力する撮像素子と、
   前記シャッターにおける各光路の透過および遮断の切り替えを制御する制御部と
   を更に備えた請求項１または請求項２に記載の画像処理装置。
7. 前記制御部は、各撮像フレームにおいて前記撮像素子における１ライン目の露出開始タイミングから所定の期間遅延したタイミングで各光路の透過および遮断が切り替わるように前記シャッターを制御する
   請求項６に記載の画像処理装置。
8. 前記撮像レンズと、
   前記シャッターと
   を更に備えた請求項６に記載の画像処理装置。
9. 撮像レンズと複数の光路において各光路の透過および遮断を切り替え可能なシャッターとの通過光線を線順次駆動で受光することにより得られた、複数の視点画像の各々に対し、前記複数の視点画像間の視差量が画像面内において略均一となるような補正を施す
   画像処理方法。

Images