JP5963483B2 - 撮像装置および撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置および撮像装置の制御方法に関する。

近年、３次元（３Ｄ）シネマや３Ｄディスプレイなど、立体映像関連機器の普及が急速に進んでいる。立体映像撮影は従来からフィルム式カメラなどでも行われてきたが、デジタル撮像装置の普及に伴い、デジタルカメラやデジタルビデオカメラ等により立体映像を生成するための元画像が撮影されるようになってきている。

立体映像をユーザが鑑賞する仕組みとしては、対象物を左目で見た像及び右目で見た像に対応するように、左右方向に視差を持たせた、右目用画像と左目用画像のデータが用意される。各画像をユーザが右目と左目でそれぞれ見ることで立体視可能である。その方法には、視差バリア方式やレンチキュラ方式などのように鑑賞対象の映像を視差分割する方法がある。また左右で特性の異なるフィルタを介して、ユーザの左目と右目に異なる映像を提示する方法などが知られている。

一方、立体映像として鑑賞可能な画像の撮影方法として、異なる視点での画像を同時に撮影する方法が、特許文献１および２に開示されている。特許文献１は、複数の微小レンズが形成され、該微小レンズの各々に近接して、対を成すフォトダイオードが１対以上配置されている固体撮像素子を開示する。フォトダイオード対のうち、一方のフォトダイオードの出力から第１の画像信号が得られ、他方のフォトダイオードの出力から第２の画像信号が得られる。第１及び第２の画像信号を、左目用画像、右目用画像としてそれぞれ用いることで、ユーザの立体映像の鑑賞が可能となる。

また、特許文献２は、第１の画像のそれぞれの画素に適用されるべきシフトに対応する出力値を持つ出力要素を有する出力視差マップを開示する。この出力視差マップと第１の画像とに基づいて、第２の画像を生成することができる。

特開昭５８−２４１０５号公報 特表２００８−５１８３１７号公報

視聴者に立体映像を鑑賞させるためには、視聴者に、左右方向に視差を持たせた画像を、それぞれ対応する目で見させるようにすればよい。これは、特許文献１、２に開示された技術を用いて、左目で鑑賞するための左目用画像と、右目で鑑賞するための右目用画像とを３次元表示用画像として用意することで実現できる。

ここで、撮像装置は、例えば、撮像素子の出力から得られる左目用画像と右目用画像とに基づいて視差マップを生成し、この視差マップを用いて、３次元表示用の左目用画像と右目用画像とを生成する。

ここで、撮像装置と、ＰＣ等の外部装置とＵＳＢや無線で接続し、外部装置の画像表示部（モニター）に、撮像装置で撮影しているライブビュー画像を３次元表示させる場合を想定する。この場合、撮像装置は、例えば、左目用画像／右目用画像とから合成画像を生成し、生成した合成画像と左目用画像／右目用画像から視差マップを生成する。撮像装置は、合成画像を視差マップとセットで外部装置に対して送信する。外部装置は、撮像装置から受診した合成画像と視差マップとに基づいて、３次元表示用の右目用画像と左目用画像を生成して、３次元表示する。

外部装置が画像を３次元表示する際に、撮像装置から視差マップが送信されない場合には、外部装置は画像を３次元表示することはできない。また、外部装置が、画像を３次元表示中に、ユーザの操作に応じて、３次元表示から２次元表示に切り替えできるようにすることが必要である。

本発明は、撮像装置が撮像した画像を外部装置に正しく３次元表示させるとともに、外部装置が３次元表示中に２次元表示に切り替えることができるようにする撮像装置の提供を目的とする。

本発明の一実施形態の撮像装置は、視点の異なる複数の画像信号を順次取得する取得手段と、前記取得手段により取得される異なる視点の画像信号を合成して合成画像信号を生成する画像生成手段と、前記異なる視点の画像信号に基づいて、画像信号間の像の位置ずれ量の分布に対応するマップデータを生成するマップ生成手段と、前記取得手段が前記複数の画像信号を順次取得する間に、外部装置から該外部装置が画像の３次元表示または２次元表示のいずれを実行するかを示す制御情報を受信する受信手段と、前記受信された制御情報が、前記外部装置が画像の３次元表示を実行することを示す場合に、前記マップ生成手段は、前記取得手段により取得される複数の画像信号に対応する前記マップデータを生成し、前記合成画像信号と前記マップデータとを前記外部装置に対して送信し、前記制御情報が、前記外部装置が画像の２次元表示を実行することを示す場合に、前記合成画像信号を前記外部装置に対して送信する送信手段を備える。

本発明の撮像装置は、外部装置が画像を３次元表示する場合に、外部装置に対して３次元表示用画像データの生成に必要な情報を送信する。これにより、外部装置が確実に画像を３次元表示することができる。また、本発明の撮像装置は、外部装置が画像を２次元表示する場合に、外部装置に対して、２次元表示用画像データを送信する。これにより、外部装置が、ユーザの操作に応じて、３次元表示から２次元表示に切り替えることが可能となる。

撮像装置が適用する撮像素子の構成例を概略的に示す図である。 撮像素子の画素の構成例を示す図である。 撮影レンズの射出瞳から出た光束が撮像素子に入射する様子を表した概念図である。 本実施形態の撮像装置の構成例を示す図である。 本実施形態における視差マップの生成処理の一例を示す図である。 本実施形態の撮像装置の動作処理例を説明するフローチャートである。

図１は、本実施形態の撮像装置が適用する撮像素子の構成例を概略的に示す図である。撮像素子１００は、画素アレイ１０１と、画素アレイ１０１における行を選択する垂直選択回路１０２と、画素アレイ１０１における列を選択する水平選択回路１０４を含む。読み出し回路１０３は、画素アレイ１０１中の画素のうち垂直選択回路１０２によって選択される画素の信号を読み出す。読み出し回路１０３は、信号を蓄積するメモリ、ゲインアンプ、ＡＤ変換器などを列毎に有する。

シリアルインターフェース（ＳＩ）部１０５は、各回路の動作モードなどを外部回路からの指示に従って決定する。垂直選択回路１０２は、画素アレイ１０１の複数の行を順次選択し、読み出し回路１０３に画素信号を取り出す。また水平選択回路１０４は、読み出し回路１０３によって読み出された複数の画素信号を列毎に順次選択する。なお、撮像素子１００は、図１に示す構成要素以外に、例えば、垂直選択回路１０２、水平選択回路１０４、読み出し回路１０３等にタイミング信号を提供するタイミングジェネレータや、制御回路等が存在するが、これらの詳細な説明は省略する。

図２は、撮像素子１００の画素の構成例を示す図である。図２（Ａ）は１画素の構成を概略的に示す。図２（Ｂ）は、画素アレイ１０１の配置を示す。図２（Ａ）に示す画素２０１は、光学素子としてのマイクロレンズ２０２と、受光素子としての複数のフォトダイオード（以下、ＰＤと略記する）とを有する。

図２（Ａ）には、１画素に左側のＰＤ２０３と右側のＰＤ２０４の２個を設けた例を示すが、３個以上（例えば、４個または９個）のＰＤを用いてもよい。ＰＤ２０３は、受光した光束を光電変換して左目用画像を出力する。ＰＤ２０４は、受光した光束を光電変換して右目用画像を出力する。なお、画素２０１は、図示の構成要素以外にも、例えば、ＰＤ信号を読み出し回路１０３に取り出す画素増幅アンプや、行選択スイッチ、ＰＤ信号のリセットスイッチなどを備える。

画素アレイ１０１は、２次元画像を提供するため、図２（Ｂ）に示す多数の画素３０１から３０４のように、２次元アレイ状に配列して構成される。ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌは、図２（Ａ）中のＰＤ２０３に相当する。また、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒは、図２（Ａ）中のＰＤ２０４に相当する。すなわち、本実施形態の撮像装置は、各々が、左目用画像を出力する第１の光電変換部（ＰＤ２０３）と、右目用画像を出力する第２の光電変換部（ＰＤ２０４）とを有する複数の画素部を備える撮像素子を備える。

次に、図２（Ｂ）に示す画素構成を有する撮像素子１００の受光について説明する。図３は、撮影レンズの射出瞳から出た光束が撮像素子１００に入射する様子を表した概念図である。

画素アレイ１０１は、マイクロレンズ２０２と、カラーフィルタ４０３と、ＰＤ４０４および４０５を有する。ＰＤ４０４、ＰＤ４０５は、図２（Ａ）中のＰＤ２０３、ＰＤ２０４にそれぞれ相当する。

図３において、マイクロレンズ２０２に対して、撮影レンズの射出瞳４０６から出た光束の中心を光軸４０９とする。射出瞳４０６から出た光は、光軸４０９を中心として撮像素子１００に入射する。一部領域４０７、４０８は、撮影レンズの射出瞳４０６の領域である。光線４１０、４１１は、一部領域４０７を通過する光の最外周の光線である。光線４１２、４１３は、一部領域４０８を通過する光の最外周の光線である。

射出瞳４０６から出る光束のうち、光軸４０９を境界線として、上側の光束はＰＤ４０５に入射し、下側の光束はＰＤ４０４に入射する。つまり、ＰＤ４０４とＰＤ４０５は、各々、撮影光学系の射出瞳の分割された異なる領域からの光束を受光する。このように各受光素子は射出瞳での異なる領域の光を検出するため、点光源からの光が暈けた状態で撮影される状況では、それぞれに異なった形状の撮影画像が得られることになる。

図４は、本実施形態の撮像装置の構成例を示す図である。図４を参照して、図１に示す撮像素子１００の、撮像装置であるデジタルカメラへの適用例について説明する。撮像光学系を構成するレンズ部５０１は、被写体からの光を撮像素子５０５に結像する。撮像素子５０５は、図１に示す撮像素子１００に相当し、図２（Ｂ）に示す画素構成を有する。

レンズ駆動装置５０２は、ズーム制御、フォーカス制御、絞り制御などを行う。メカニカルシャッタ５０３は、シャッタ駆動装置５０４によって制御される。撮像素子５０５は、レンズ部５０１により結像した被写体像を画像信号に変換する。撮像信号処理回路５０６は、撮像素子５０５の出力する画像信号に対して各種の処理や補正を行う。タイミング発生部５０７は、撮像素子５０５や撮像信号処理回路５０６に必要なタイミング信号を出力する。

システム制御部５０９は、各種演算を行い、撮像装置全体を制御する制御手段であり、不図示のＣＰＵ（中央演算処理装置）がプログラムを実行することで処理を行う。本実施形態に特有の動作として、システム制御部５０９は、外部Ｉ／Ｆ部５１２を介して、撮像装置に接続されている外部装置（ＰＣ）から、３Ｄライブビュー用のコマンドか２Ｄライブビュー用のコマンドのいずれを受信したかを判断する。３Ｄライブビュー用のコマンドは、ＰＣが、画像を３次元表示することを示す制御情報である。２Ｄライブビュー用のコマンドは、ＰＣが、画像を２次元表示することを示す制御情報である。

システム制御部５０９が、ＰＣから３Ｄライブビュー用のコマンドを受信したと判断した場合、システム制御部５０９は、以下の処理を実行する。システム制御部５０９は、画像合成回路５１３に指示して、合成画像データの生成処理を実行させる。また、システム制御部５０９は、視差マップ生成回路５１４に指示して、視差マップを生成させる。また、システム制御部５０９は、外部Ｉ／Ｆ部５１２を介して、ＰＣに対して、合成画像データと視差マップとをセットで送信する。ＰＣは、受信した合成画像データと視差マップとに基づいて、３次元表示用の右目用画像データと左目用画像データとを生成し、表示モニターに３次元表示する。

システム制御部５０９が、ＰＣから２Ｄライブビュー用のコマンドを受信したと判断した場合、システム制御部５０９は、以下の処理を実行する。システム制御部５０９は、画像合成回路５１３に指示して、合成画像データの生成処理を実行させる。そして、システム制御部５０９は、外部Ｉ／Ｆ部５１２を介して、ＰＣに対して、合成画像データを２次元表示用の画像データとして送信する。ＰＣは、受信した合成画像データを表示モニターに２次元表示する。なお、システム制御部５０９は、左目用画像と右目用画像と基づいて、位相差の検知を行って、位相差ＡＦを実現することもできる。

メモリ部５０８は、画像データを一時的に記憶するメモリを備える。記憶媒体制御インターフェース部（以下、Ｉ／Ｆ部と略記する）５１０は、記録媒体５１１に画像データなどを記録し、または読み出すために設けられる。撮像装置に着脱可能な記録媒体５１１は、半導体メモリ等である。外部Ｉ／Ｆ部５１２は、外部装置との間でデータを送受する。表示装置５２１は、表示制御回路５２２が出力する表示用データに従って、各種情報や撮影画像を表示する。測光装置５１５は、露出制御に用いられる測光値を取得する。

撮像信号処理回路５０６は、撮像素子５０５が出力する撮像データを左目用画像と右目用画像に振り分けて画像処理を行う。メモリ部５０８は、撮像信号処理回路５０６の出力データ、画像合成回路によって生成された合成画像、視差マップ生成回路によって生成された視差マップを記憶する記憶手段として機能する。

画像合成回路５１３は、以下の処理を行う画像合成手段として機能する。画像合成回路５１３は、撮像素子の出力する画像信号に基づいて、左目用画像と右目用画像とを生成し、生成された左目用画像と右目用画像とに基づいて、合成画像を生成する。具体的には、画像合成回路５１３は、左目用画像と右目用画像とを画素毎に加算（加算平均）することによって合成画像を生成する。この合成画像は、被写体の形状が正しく反映されている画像である。

図２（Ｂ）を例にとって説明すると、画像合成回路５１３は、ＰＤ３０１Ｌ乃至３０４Ｒが出力する画像信号のうち、ＰＤ３０１Ｌ、３０２Ｌ、３０３Ｌ、３０４Ｌが出力する画像信号から左目用画像を生成する。また、画像合成回路５１３は、ＰＤ３０１Ｒ、３０２Ｒ、３０３Ｒ、３０４Ｒが出力する画像信号から右目用画像を生成する。すなわち、画像合成回路５１３は、撮像素子の出力する画像信号に基づいて、左目用画像データと右目用画像データとを生成する画像生成手段として機能する。また、画像合成回路５１３は、ＰＤ３０１Ｌの出力とＰＤ３０１Ｒの出力とを加算し、ＰＤ３０２Ｌの出力とＰＤ３０２Ｒの出力とを加算し、ＰＤ３０３Ｌの出力とＰＤ３０３Ｒの出力とを加算し、ＰＤ３０４Ｌの出力とＰＤ３０４Ｒの出力とを加算する。これにより、合成画像が生成される。

視差マップ生成回路５１４は、視差マップを生成する視差マップ生成手段として機能する。具体的には、視差マップ生成回路５１４は、画像合成回路５１３が生成した左目用画像／右目用画像と、合成画像とを取得する。視差マップ生成回路５１４は、合成画像の位置を基準とした、左目用画像／右目用画像の位置ずれ量を視差量とする。そして、視差マップ生成回路５１４は、該視差量に応じた視差マップであって、３次元表示用の画像データの生成に用いられる視差マップを生成する。本実施形態の撮像装置の制御方法は、例えば、図４に示す撮像装置が備える処理部の機能によって実現される。

図５は、本実施態における視差マップの生成処理の一例を示す図である。図５（Ａ）中の符号６０１は、被写体を撮影して得られる構図を示す。符号６０２、６０３、６０４は、被写体を示す。図５（Ａ）中に示す構図では、被写体６０２、６０３、６０４は、この順に上から並んでいる。また、被写体は、図５（Ｃ）に示すように、奥行き方向に並んで配置されている。符号６０４が最も近い被写体、符号６０２が最も遠い被写体である。

図５（Ｂ）は、図５（Ａ）に示す構図を撮影して得られるステレオ画像を示す。画像６０５は左目用画像であり、画像６０６は右目用画像である。左目用画像６０５には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｌ、６０８Ｌ、６０９Ｌとして示される。右目用画像６０６には、被写体６０２、６０３、６０４が、それぞれ、６０７Ｒ、６０８Ｒ、６０９Ｒとして示される。

左目用画像６０５における被写体と右目用画像６０６における当該被写体との間には、位置ずれがある。本実施形態では、位置ずれの量を視差量と定義する。

符号６１０は、被写体６０２の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０７Ｌと６０７Ｒとの間の視差量を示す。同様に、符号６１１は、被写体６０４の左目用画像６０５における位置を基準とする、右目用画像６０６における位置のずれ量、つまり６０９Ｌと６０９Ｒとの間の視差量を示す。被写体６０３については、左目用画像６０５における位置と右目用画像６０６における位置とが同じである。すなわち、被写体６０３については、視差量がない。

視差マップ生成回路５１４は、まず、公知のパターンマッチング法を用いて、左目用画像６０５と右目用画像６０６に含まれる被写体を検知する。視差マップ生成回路５１４は、検知した被写体毎に以下の処理を実行する。視差マップ生成回路５１４は、左目用画像６０５、右目用画像６０６における被写体の重心間の中点から左目用画像６０５における被写体の重心までの位置ずれ量を視差量として算出する。言い換えると、視差マップ生成回路５１４は、左目用画像６０５と右目用画像６０６とに基づいて生成された合成画像における被写体の重心の位置を基準とした、左目用画像における当該被写体の重心の位置の位置ずれ量を視差量として算出する。

算出される視差量は、左目画像に対応する視差量である。もちろん、視差マップ生成回路５１４が、合成画像における被写体の重心の位置を基準とした、右目用画像における当該被写体の重心の位置の位置ずれ量を、右目画像に対応する視差量として算出するようにしてもよい。

なお、システム制御部５０９が、ＰＣが備える、３次元表示用の画像データを表示する表示モニター（画像表示画面）の大きさを取得する取得手段として機能してもよい。そして、システム制御部５０９が、取得された画像表示画面の大きさに基づいて、視差マップの視差量を編集する編集手段として機能してもよい。具体的には、システム制御部５０９は、画像表示画面の大きさが大きい場合、視差マップの視差量を少なくし、画像表示画面の大きさが小さい場合、視差マップの視差量を多くする。これにより、撮像装置から受信する合成画像と視差マップとに基づいて画像を３次元表示するＰＣにおいて、画像表示画面の大きさに応じて、視聴者に違和感を与えない立体感のある画像を提供することができる。

図５（Ｂ）に示す例では、被写体６０２については、視差マップ生成回路５１４は、視差量６１０の半分の量である視差量６１２を算出する。また、被写体６０４については、視差マップ生成回路５１４は、視差量６１１の半分の量である視差量６１３を算出する。視差マップ生成回路５１４は、算出した視差量６１２、６１３に関する情報と、当該視差量の基準となる画像の位置の情報を視差マップとしてメモリ部５０８に記憶する。この例では、視差量の基準となる画像の位置の情報は、合成画像における被写体の重心を示す。なお、上述したように、図５（Ｂ）に示す例では、被写体６０３については視差量がない。

次に、撮像装置から合成画像と視差マップとを受信したＰＣが画像の３次元表示を実行する場合の動作について説明する。ＰＣは、視差マップが示す視差量の基準となる画像の位置が、合成画像における被写体の重心であることを確認する。そして、ＰＣは、合成画像が含む被写体を当該視差マップに応じた視差量の分だけ移動させることによって、上記視差量に対応する画像の再生用画像データを生成する。この例では、ＰＣは、再生用画像データとして左目用画像データを生成する。

また、ＰＣが、視差マップが示す視差量を反転させ、当該反転によって得られる視差量を、合成画像における当該被写体の重心を基準とする右目用画像における当該被写体の重心の位置の位置ずれ量とする。ＰＣが、合成画像が含む被写体を当該視差マップが示す視差量を反転させた分だけ移動させることによって、上記視差量に対応する画像以外の画像の再生用画像データ、すなわち右目用画像データを生成する。そして、ＰＣが、生成した右目用画像データと左目用画像データとを表示する。

図６は、本実施形態の撮像装置の動作処理の例を説明するフローチャートである。メイン電源がオンされると、コントロール系の電源がオンし、更に撮像信号処理回路５０６などの撮像系回路の電源がオンされる。撮像装置が備える図示しないライブビュー開始ボタンが押されるか、または撮像装置と有線または無線で接続されているＰＣからライブビュー開始コマンドが撮像装置に通知される。すなわち、システム制御部５０９が、外部装置から該外部装置が画像の３次元表示または２次元表示のいずれを実行するかを示す制御情報を受信する受信手段として機能する。

撮像装置が備えるシステム制御部５０９が、通知されたライブビュー開始コマンドが３Ｄライブビュー用コマンドであるかを判断する（ステップＳ８０１）。システム制御部５０９が、通知されたライブビュー開始コマンドが３Ｄライブビュー用コマンドであると判断した場合は、ステップＳ８０２に進む。

次に、システム制御部５０９が、ライブビュー、すなわち撮像素子５０５から取り込んだ画像のリアルタイム表示を開始する（ステップＳ８０２）。具体的には、システム制御部５０９が、定期的（例えば１秒に３０回）に撮像素子５０５から出力された画像信号を現像処理してＶＲＡＭへ配置する処理を開始する。

まず、システム制御部５０９が、撮像素子からの出力信号によって生成された左目用画像データをＲＡＭに格納する（ステップＳ８０３）。また、システム制御部５０９が、撮像素子からの出力信号によって生成された右目用画像データをＲＡＭに格納する（ステップＳ８０４）。

次に、画像合成回路５１３が、ＲＡＭに格納された左目用画像データと右目用画像データとを合成して合成画像データを生成し、生成した合成画像データをＶＲＡＭに格納する（ステップＳ８０５）。続いて、視差マップ生成回路５１４が、左目用画像データ／右目用画像データと、合成画像データとに基づいて、視差マップを生成し、生成した視差マップをＲＡＭに格納する（ステップＳ８０６）。

次に、システム制御部５０９が、ＰＣから画像取得要求を受けたかを判断する（ステップＳ８０７）。システム制御部５０９が、ＰＣから画像取得要求を受けていないと判断した場合は、ステップＳ８０３に進む。システム制御部５０９が、ＰＣから画像取得要求を受けたと判断した場合は、ステップＳ８０８に進む。そして、システム制御部５０９が、合成画像データと視差マップとをＰＣに送信して（ステップＳ８０８）、処理を終了する。すなわち、システム制御部５０９は、受信された制御情報（コマンド）が、ＰＣが画像の３次元表示を実行することを示す場合（図６のＳ８０１でＹｅｓ）、合成画像と視差マップとをＰＣに対して送信する（Ｓ８０８）。

上記ステップＳ８０１において、システム制御部５０９が、通知されたライブビュー開始コマンドが３Ｄライブビュー用コマンドでなく、２Ｄライブビュー用コマンドであると判断した場合は、ステップＳ８０９に進む。

ステップＳ８０９乃至Ｓ８１２は、ステップＳ８０２乃至Ｓ８０５と同様である。ステップＳ８１２の処理の後、処理がステップＳ８１３に進む。ステップＳ８１３は、ステップＳ８０７と同様である。そして、ステップＳ８１４において、システム制御部５０９が、合成画像データをＰＣに送信して、処理を終了する。すなわち、システム制御部５０９は、受信された制御情報（コマンド）が、ＰＣが画像の２次元表示を実行することを示す場合（図６のＳ８０１でＮｏ）、合成画像をＰＣに対して送信する（Ｓ８０８）。つまり、通知されたライブビュー開始コマンドが２Ｄライブビュー用コマンドである場合には、視差マップは生成されない。特に、システム制御部５０９が、合成画像と視差マップとをＰＣに送信中に、２Ｄライブビューコマンドを受信した場合（Ｓ８０１でＮｏ）、システム制御部５０９は、以下の処理を実行する中止手段として機能する。システム制御部５０９は、視差マップ生成部５１４に指示して視差マップの生成を中止させる中止手段として機能する。

本実施形態の撮像装置は、外部装置が画像を３次元表示する場合に、外部装置に対して３次元表示用画像データの生成に必要な情報（合成画像と視差マップ）を送信する。これにより、外部装置が確実に画像を３次元表示することができる。また、本実施形態の撮像装置は、外部装置が画像を２次元表示する場合に、外部装置に対して、２次元表示用画像データを送信する。これにより、外部装置が、ユーザの操作に応じて、３次元表示から２次元表示に切り替えることが可能となる。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

２０１ 画素
２０２ マイクロレンズ
２０３、２０４ ＰＤ

Claims (5)

1. 視点の異なる複数の画像信号を順次取得する取得手段と、
   前記取得手段により取得される異なる視点の画像信号を合成して合成画像信号を生成する画像生成手段と、
   前記異なる視点の画像信号に基づいて、画像信号間の像の位置ずれ量の分布に対応するマップデータを生成するマップ生成手段と、
   前記取得手段が前記複数の画像信号を順次取得する間に、外部装置から該外部装置が画像の３次元表示または２次元表示のいずれを実行するかを示す制御情報を受信する受信手段と、
   前記受信された制御情報が、前記外部装置が画像の３次元表示を実行することを示す場合に、前記マップ生成手段は、前記取得手段により取得される複数の画像信号に対応する前記マップデータを生成し、前記合成画像信号と前記マップデータとを前記外部装置に対して送信し、前記制御情報が、前記外部装置が画像の２次元表示を実行することを示す場合に、前記合成画像信号を前記外部装置に対して送信する送信手段を備える
   ことを特徴とする撮像装置。
2. 前記外部装置は、前記画像の３次元表示を実行する場合に、
   前記撮像装置から受信した前記合成画像信号と前記マップデータとに基づいて、異なる視点の画像信号を３次元表示を実行する再生用画像信号として生成する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記外部装置が備える画像表示画面の大きさを取得するサイズ取得手段を備え、
   前記取得された前記画像表示画面の大きさに基づいて、前記マップデータを編集する編集手段を備える
   ことを特徴とする請求項１または請求項２に記載の撮像装置。
4. 前記送信手段が前記合成画像信号と前記マップデータとを前記外部装置に対して送信中に、前記受信手段が、前記外部装置が画像の２次元表示を実行することを示す制御情報を受信した場合に、前記マップ生成手段に指示して前記マップデータの生成を中止させる中止手段を備える
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 視点の異なる複数の画像信号を順次取得する工程と、
   前記複数の画像信号を順次取得する間に、外部装置から該外部装置が画像の３次元表示または２次元表示のいずれを実行するかを示す制御情報を受信する工程と、
   取得される前記異なる視点の画像信号を合成して合成画像信号を生成する工程と、
   前記受信された制御情報が、前記外部装置が画像の３次元表示を実行することを示す場合に、前記異なる視点の画像信号に基づいて、画像信号間の像の位置ずれ量の分布に対応するマップデータであって、取得される前記複数の画像信号に対応する前記マップデータを生成する工程と、
   前記受信された制御情報が、前記外部装置が画像の３次元表示を実行することを示す場合に、前記合成画像信号と前記マップデータとを前記外部装置に対して送信し、前記制御情報が、前記外部装置が画像の２次元表示を実行することを示す場合に、前記合成画像を前記外部装置に対して送信する工程とを有する
   ことを特徴とする撮像装置の制御方法。

Images