以下に、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。
(実施の形態1)
図1は、本発明の実施の形態1に係る撮像装置1の構成を示すブロック図である。図1に示すように、撮像装置1は、異なる位置から撮影し、互いの視野の左右方向の一端部同士が重なりを有する2つの画像に対応する画像データを生成する撮像部2と、撮像装置1の姿勢を検出する姿勢検出部3と、撮像装置1の各種情報の入力を受け付ける操作入力部4と、撮影日時の判定機能やタイマ機能を有する時計5と、2次元画像(以下、「2D画像」という)または3D画像を表示する表示部6と、外部からの接触位置や軌跡に応じた信号の入力を受け付けるタッチパネル7と、撮像部2によって生成された画像データを含む各種情報を記憶する記憶部8と、撮像装置1の動作を制御する制御部9とを備える。
撮像部2は、互いに異なる光学系を有する第1撮像部21と、第2撮像部22と、発光部(ストロボ)23とを備える。第1撮像部21及び第2撮像部22は、互いの光軸L1,L2が平行または所定の角度をなすように同一平面上で並設される。
第1撮像部21は、レンズ部21aと、レンズ駆動部21bと、絞り21cと、絞り駆動部21dと、シャッタ21eと、シャッタ駆動部21fと、撮像素子21gと、信号処理部21hとを有する。
レンズ部21aは、フォーカスレンズやズームレンズ等によって構成され、所定の視野領域からの光を集光する。レンズ駆動部21bは、DCモータ等によって構成され、レンズ部21aのフォーカスレンズやズームレンズ等を光軸L1上で移動させることにより、レンズ部21aのピント位置や焦点距離の変更を行う。
絞り21cは、レンズ部21aが集光した光の入射量を制限することにより露出の調整を行う。絞り駆動部21dは、ステッピングモータ等によって構成され、絞り21cを駆動する。
シャッタ21eは、撮像素子21gの状態を露光状態または遮光状態に設定する。シャッタ駆動部21fは、ステッピングモータ等によって構成され、レリーズ信号に応じてシャッタ21eを駆動する。
撮像素子21gは、レンズ部21aが集光した光を受光して電気信号(アナログ信号)に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等によって実現され、変換した電気信号を信号処理部21hに出力する。
信号処理部21hは、撮像素子21gから出力される電気信号に増幅等の信号処理を施した後、A/D変換を行うことによってデジタルの画像データに変換して制御部9に出力する。
第2撮像部22は、第1撮像部21と同一の構成によって実現され、レンズ部22aと、レンズ駆動部22bと、絞り22cと、絞り駆動部22dと、シャッタ22eと、シャッタ駆動部22fと、撮像素子22gと、信号処理部22hとを有する。
発光部23は、第1撮像部21及び第2撮像部22の視野領域を照明する。
姿勢検出部3は、加速度センサによって構成され、撮像装置1の加速度を検出することにより、撮像装置1の姿勢を検出する。具体的には、姿勢検出部3は、水平面を基準としたときの撮像装置1の姿勢を検出する。
操作入力部4は、撮像装置1の電源状態をオン状態またはオフ状態に切換える電源スイッチ41と、静止画撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ42と、撮像装置1の各種撮影モードや各種設定の切換える切換スイッチ43と、撮像部2のズーム操作を行うズームスイッチ44と、表示部6における表示態様を2D画像用と3D画像用とで切り換える2D/3D切換スイッチ45とを有する。
時計5は、撮像装置1の動作の基準となる時間信号を生成する。これにより、制御部9は、画像データの取得時間や撮像素子21g、22gの露光時間等を設定することができる。時計5は、時間計測用のタイマとしての機能も有する。
図2は、表示部6の概略構成を示す模式図である。図1に示すように、表示部6は、バックライト61と、表示パネル62と、視差バリア63とを有する。バックライト61は、LED(Light Emitting Diode)等によって構成され、画像を表示するための光を背面から照射する。表示パネル62は、液晶または有機EL(Electro Luminescence)等の表示パネルによって構成される。視差バリア63は、液晶等によって構成され、表示パネル62の上面に積層されてなる。視差バリア63は、表示パネル62の各画素の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目ERと左目ELとにそれぞれ対応した画像を分離する。このような視差バリア63として、例えばパララックバリア方式が適用される。なお、視差バリア63の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル62の上面に設けてもよい。
以上の構成を有する表示部6は、制御部9から3D画像データが入力された場合、制御部9の制御のもとで表示パネル62が左端の画素から水平方向に右目画像と左目画像との順で交互に表示し、視差バリア63が表示パネル62の各画素から出た光を分離する。このため、右目画像が右目ERのみ、左目画像が左目ELのみにそれぞれ届く。これにより、ユーザは、表示部6が表示する3D画像を立体視することができる。また、表示部6が表示態様を3D画像から2D画像に切り換える際には、視差バリア63に印加される電圧がオン状態からオフ状態に変化することによって視差バリア63が遮光状態から透過状態に遷移し、右目画像または左目画像のどちらか一方が表示パネル62に出力される。
タッチパネル7は、表示部6の表示画面上に重ねて設けられる。タッチパネル7は、ユーザが表示部6で表示される情報や画像に基づいて接触した(タッチした)位置や軌跡を検出し、この接触位置や軌跡に応じた操作の入力を受け付ける入力受付部として機能する。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態1では、いずれの方式のタッチパネルであっても適用可能である。
記憶部8は、撮像部2が撮影した画像データを記憶する撮影画像データ記憶部81と、合成画像の背景となる画像(背景画像)に対応するデータを記憶する背景画像データ記憶部82と、撮像装置1が実行する各種プログラムを記憶するプログラム記憶部83とを有する。背景画像データ記憶部82には、テンプレートとして予め用意された画像(テンプレート画像)に対応する画像データも記憶される。記憶部8は、撮像装置1の内部に固定的に設けられるフラッシュメモリやRAM(Random Access Memory)等の半導体メモリを用いて実現される。なお、記憶部8に対し、外部から装着されるメモリカード等の記憶媒体に対して情報を記憶する一方、記憶媒体が記憶する情報を読み出す記録媒体インターフェースとしての機能を具備させてもよい。
制御部9は、CPU(Central Processing Unit)等によって実現される。制御部9は、操作入力部4からの操作信号等に応じて記憶部8のプログラム記憶部83から各種プログラムを読み出し、撮像装置1を構成する各部に対して制御信号を送信したりデータを転送したりすることにより、撮像装置1の動作を制御する。制御部9は、画像処理部91と、表示用画像生成部92と、合成画像生成部93と、位置調整部94と、表示制御部95とを有する。
画像処理部91は、信号処理部21h、22hからそれぞれ出力された左目画像データ及び右目画像データに対して各種の画像処理を施し、記憶部8の撮影画像データ記憶部81へ出力する。具体的には、画像処理部91は、信号処理部21h,22hからそれぞれ出力された左目画像データ及び右目画像データに対して、エッジ強調、色補正及びγ補正等の処理を施す。
表示用画像生成部92は、画像処理部91によって生成された画像データ、後述する合成画像生成部93によって生成された合成画像データ、又は撮影画像データ記憶部81に記憶された画像データに基づいて、表示部6が表示する表示用画像の画像データを生成する。具体的には、表示用画像生成部92は、表示用画像として3D画像または2D画像に対応する画像データを生成する。このうち、画像処理部91によって生成された画像データに基づいて3D画像の表示用画像データを生成する際には、画像処理された左目画像及び右目画像を所定の縦横比(例えば3:4)でそれぞれ切り出すことによって3D画像を生成する。なお、表示用画像生成部92が左目画像及び右目画像からそれぞれ切り出す縦横比を切換スイッチ43で変更できるようにしてもよい。また、表示用画像生成部92は、2D画像の表示用画像データを生成する場合、左目画像と右目画像とを重ね合せて表示するための重ね合わせ画像データを生成するか、または左目画像及び右目画像のうち一方を用いて表示用画像の画像データを生成する。
合成画像生成部93は、画像処理部91によって画像処理された左目画像及び右目画像から人物等の主要被写体画像の部分を抜き出し、ユーザ所望のテンプレート画像に貼り付けることにより、左目合成画像及び右目合成画像を生成する。なお、この合成画像生成処理の詳細については後述する。
位置調整部94は、タッチパネル7に外部から接触した物体の軌跡に応じて、合成画像生成部93が生成した左目及び右目合成画像における主要被写体画像の位置を変化させることにより、合成画像に含まれる主要被写体画像の視差を調整したり、位置を移動させたりする。
表示制御部95は、2D/3D切換スイッチ45への操作による設定に従い、表示用画像生成部92が表示用画像として生成した画像データに対応する3D画像または2D画像を表示部6に表示させる制御を行う。具体的には、表示制御部95は、表示部6に3D画像を表示させる場合、表示用画像生成部92が生成した3D画像の左目画像と右目画像とを表示部6の表示画面における水平方向の1画素毎に交互に並べた3D画像を表示部6に出力する制御を行う。
これに対し、表示部6に2D画像を表示させる場合、表示制御部95は、視差バリア63に印加する電源をオン状態からオフ状態にすることによって視差バリア63を遮光状態から透過状態にするとともに、表示用画像生成部92によって生成された表示用画像としての左目画像若しくは右目画像、又は左目画像と右目画像との重ね合わせ画像を表示部6に出力させる制御を行う。
以上の構成を有する撮像装置1において、撮像部2が互いの視野の左右方向の一端部同士が重なりを有する2つの画像を生成する際の状況について説明する。図3は、撮像部2が、互いの視野の左右方向の一端部同士が重なりを有する2つの画像を生成する際の状況を示す模式図である。図3に示すように、まず撮像部2は、撮像部2からの距離が異なる主要被写体OB1(距離d1)及び背景被写体OB2(距離d2)に対して、距離B1だけ離れて並設された第1撮像部21及び第2撮像部22で撮影することにより、右目画像データと左目画像データとを生成する。
その後、表示用画像生成部92は、第1撮像部21及び第2撮像部22によって生成された右目画像データ及び左目画像データに対応する画像をそれぞれ所定の縦横比で切り出すことによって右目画像WR1及び左目画像WL1を生成する。図4は、図3に示す状況下で撮像部2が生成する2つの画像データに対応する2つの画像の一例を示す図である。図4において、右目画像WR1は、表示用画像生成部92が第1撮像部21によって生成された右目画像データに対応する画像から切り出すことにより生成されたものである。また、図4において、左目画像WL1は、表示用画像生成部92が第2撮像部22によって生成された左目画像データに対応する画像から切り出すことにより生成されたものである。図5は、図3に示す状況下で表示用画像生成部92が生成した右目画像と左目画像とを仮想的に重ね合せた画像の一例を示す図である。
図4及び図5に示す破線及び一点鎖線は、第1撮像部21及び第2撮像部22がそれぞれ生成する画像データに対応する画像領域を示す。以下、図5〜図8においても、破線及び一点鎖線は、図4等と同様の画像領域を意味する。
次に、合成画像生成部93が行う合成画像生成処理について説明する。図3に示すように、合成画像生成部93は、画像抜出し部93aと、合成部93bと、左右画像判別部93cとを含む。
画像抜出し部93aは、第1撮像部21及び第2撮像部22により撮影された右目画像WR1及び左目画像WL1(図4参照)から、主要被写体OB1を表す右目被写体画像A1(R)及び左目被写体画像A1(L)(これらをまとめて主要被写体画像A1ともいう)をそれぞれ抽出する。具体的な抜出し方法としては、例えば、次の3つの方法が挙げられる。
図6は、主要被写体画像の抜出し方法の第1例を説明する図である。図6に示すように、まず、画像抜出し部93aは、右目画像WR1と左目画像WL1と重ね合わせる。このとき、図3に示すように、右目画像WR1と左目画像WL1との間では、視野の手前又は中央部に存在する被写体(例えば主要被写体OB1)ほど画像の視差が大きくなり、視野の後方又は周辺部に存在する被写体(例えば背景被写体OB2)ほど画像の視差が小さくなる。そこで、画像抜出し部93aは、右目画像WR1と左目画像WL1との重ね合わせ画像上で画像が一致しない領域、即ち、主要被写体画像A1(R)とA1(L)との左右方向の一端部同士で重なりを有する領域(斜線の白抜き部分)を抽出する。さらに、この抽出された領域と、元の右目画像WR1と左目画像WL1とがそれぞれ重なり合う領域を抽出することにより、右目被写体画像A1(R)及び左目被写体画像A1(L)を抜き出すことができる。
図7は、主要被写体画像A1の抜出し方法の第2例を説明する図である。図7に示すように、画面の中央部付近の画像が一致するように右目画像WR1と左目画像WL1とを重ね合わせ、右目画像WR1と左目画像WL1とで一致した領域を主要被写体画像A1として抽出しても良い。或いは、右目画像WR1及び左目画像WL1の各々において鮮鋭度が最大となる領域(即ち、ピントが合っている領域)が重なるように、両画像を重ね合わせても良い。
図8は、主要被写体画像A1の抜出し方法の第3例を説明する図である。図8に示すように、発光部23(図1)を発光させ、強い光が反射された領域を右目被写体画像A1(R)及び左目被写体画像A1(L)として、右目画像WR1及び左目画像WL1からそれぞれ抜き出しても良い。
合成部93bは、画像抜出し部93aによって抜き出された主要被写体画像A1を、ユーザ所望の背景画像に貼り付けることによって合成画像を生成する。実施の形態1においては、背景画像として、予め用意されたテンプレート画像の内からユーザにより選択されたテンプレート画像が用いられる。図9は、そのようなテンプレート画像の一例を示す図である。ここで、背景画像としては、図9のテンプレート画像TP1に示すような2D画像を用いても良いし、3D表示可能な画像を用いても良い。合成部93bは、背景画像として2D画像が選択された場合、図10(a)に示すように、同一の背景画像(テンプレート画像TP1)に右目被写体画像A1(R)及び左目被写体画像A1(L)をそれぞれ貼り付けて、右目合成画像WR2及び左目合成画像WL2を生成する。右目被写体画像A1(R)及び左目被写体画像A1(L)の配置は、図10(b)に示すように、右目合成画像WR2と左目合成画像WL2とを仮想的に重ね合せたときに、互いの左右方向の一端同士が重なり合うように(即ち、視差が生じるように)決定される。このような右目合成画像WR2及び左目合成画像WL2に基づき3D表示を行うと、テンプレート画像TP1上に主要被写体画像A1が仮想的に浮き出した3D合成画像WT2が得られる(図10(c)参照)。
一方、合成部93bは、背景画像として3D画像が選択された場合、右目背景画像に右目被写体画像A1(R)を貼り付け、左目背景画像に左目被写体画像A1(L)を貼り付けることにより、右目合成画像及び左目合成画像を生成する。
左右画像判別部93cは、画像合成用の素材(画像抜出し部93aにより抜き出された主要被写体画像や背景画像として用いられる3D画像)が、右目用の画像であるか、又は左目用の画像であるかを判別する。例えば、左右画像判別部93cは、図5に示すように左右方向の一端部同士が互いに重なり合う主要被写体画像A1が取得された場合、3D画像として表示した際に主要被写体画像A1が画面から浮き出て見えるように、画面に向かって左側を右目被写体画像とし、画面に向かって右側を左目被写体画像とする。
次に、位置調整部94が行う処理について説明する。位置調整部94は、図10(b)に示す右目合成画像WR2と左目合成画像WL2との重ね合わせ画像WD2が表示部6に表示されている間、タッチパネル7に接触した物体の軌跡に応じて、右目被写体画像A1(R)及び左目被写体画像A1(L)の相対的な位置を変化させることにより視差を調整する。また、位置調整部94は、右目被写体画像A1(R)及び左目被写体画像A1(L)を、相対的な位置関係を維持しつつ移動させることにより、背景画像に対する位置を変化させる。
例えば、図11(a)に示すように、ユーザが左目被写体画像A1(L)にタッチして右方向に移動させる入力動作を行った場合、位置調整部94は、タッチの軌跡に応じて右目被写体画像A1(R)と左目被写体画像A1(L)との重なりを小さくする(即ち、視差を大きくする)。その結果、図11(b)に示すように、3D合成画像WT2において、主要被写体画像A1が表示画面と直交する方向に仮想的に飛び出す距離(以下、「飛び出し距離」という)Dが大きくなる。反対に、ユーザが左目被写体画像A1(L)にタッチし、右目被写体画像A1(R)を越えない範囲で左方向に移動させる入力動作を行った場合、位置調整部94は、タッチの軌跡に応じて右目被写体画像A1(R)と左目被写体画像A1(L)との重なりを大きくする(即ち、視差を小さくする)。この場合、3D画像として表示された合成画像において、主要被写体画像A1の飛び出し距離Dは小さくなる。
なお、このような操作を行っている間、ユーザは、2D/3D切換スイッチ45を操作して随時3D表示に切り換えることにより、飛び出し距離Dをリアルタイムに確認することができる。例えば、図11に示すように、主要被写体画像A1をテンプレート画像TP1内のオブジェクト(キャラクター等)の上に重なるように貼り付ける場合、主要被写体画像A1をキャラクターよりも飛び出して見せると良く、このとき、ユーザは、合成画像全体として自然に見えるように、飛び出し距離Dを調整すると良い。
また、図12に示すように、ユーザが右目被写体画像A1(R)及び左目被写体画像A1(L)の両方にタッチし、上下左右のいずれかの方向に移動させる入力動作を行った場合、位置調整部94は、右目被写体画像A1(R)及び左目被写体画像A1(L)の位置を、両者の相対的な位置関係を変えずに、タッチの軌跡に応じて背景画像TP1に対して移動させる。その際に、ユーザが軌跡を回転させる入力動作を行った場合、位置調整部94は、この軌跡に応じて右目被写体画像A1(R)及び左目被写体画像A1(L)を背景画像TP1の面内で回転させても良い。
さらに、図13(a)に示すように、ユーザが左目被写体画像A1(L)にタッチし、右目被写体画像A1(R)よりも左側まで移動させる等して、左目被写体画像A1(L)と右目被写体画像A1(R)との左右関係を逆転させる入力動作を行った場合(即ち、右目被写体画像A1(R)の左端と左目被写体画像A1(L)の右端とが重なり合う状態の場合)、位置調整部94は、主要被写体画像A1が表示画面と直交する方向に、引っ込み距離D’だけ仮想的に引っ込んで見えるように、視差を調整する(図13(b)参照)。例えば、主要被写体画像A1がテンプレート画像TP1内のオブジェクト(キャラクター等)よりも後方に存在するように見せたい場合には、主要被写体画像A1をキャラクターよりも引っ込んで見せると良い。このとき、ユーザは、合成画像全体として自然に見えるように、引っ込み距離D’を調整すると良い。
なお、位置調整部94は、主要被写体画像A1の視差を調整する際にタッチの軌跡が3D画像の表示可能な視差の限界値を超えた場合、視差を限界値で固定しても良い。
次に、撮像装置1が行う処理について説明する。図14は、撮像装置1の動作を示すフローチャートである。図14において、まず、制御部9は、撮像装置1の電源がオンになっているか否かを判断する(ステップS101)。撮像装置1の電源がオンになっている場合(ステップS101:Yes)、撮像装置1はステップS102に移行する。一方、撮像装置1の電源がオンになっていない場合(ステップS101:No)、撮像装置1は本処理を終了する。
続いて、制御部9は、撮像装置1が撮影モードに設定されているか否かを判断する(ステップS102)。撮像装置1が撮影モードに設定されている場合(ステップS102:Yes)、表示制御部95は、撮像部2が一定の微小な時間間隔で連続的に生成する画像データに対応するスルー画を、2D/3D切換スイッチ45への操作による設定に従い、2D又は3Dで表示部6に表示させる(ステップS103)。
ステップS104において、制御部9は、撮像装置1が画像合成モードに設定されているか否かを判断する。撮像装置1が画像合成モードに設定されている場合(ステップS104:Yes)、続いて制御部9は、テンプレート画像が選択されているか否かを判断する(ステップS105)。テンプレート画像が既に選択されている場合(ステップS105:Yes)、表示制御部95は、選択されたテンプレート画像を表示部6に表示させる(ステップS107)。一方、テンプレート画像がまだ選択されていない場合(ステップS105:No)、表示制御部95は、テンプレート画像選択画面を表示部6に表示させ、ユーザに所望のテンプレート画像を選択させる(ステップS106)。
図15は、ステップS106において表示部6に表示されるテンプレート画像選択画面の一例を示す模式図である。このテンプレート画像選択画面100は、背景画像データ記憶部82に記憶されたテンプレート画像データに基づいてサムネイル表示されたテンプレートの縮小画像101〜106と、OKボタン107とを含む。タッチパネル7への外部からの物体の接触により、いずれかの縮小画像とOKボタン107とを選択する信号が入力されると(ステップS106)、選択された縮小画像に対応するテンプレート画像が表示部6に表示される(ステップS107)。
なお、表示制御部95は、ステップS105においてテンプレート画像が既に選択されている場合であっても、テンプレート画像選択画面100を表示部6に表示させ、選択済みのテンプレート画像を強調表示する等して、ユーザに確認させるようにしても良い。
ステップS108において、画像抜出し部93aは、スルー画表示された画像から、撮像装置1の視野に入った主要被写体OB1を表す主要被写体画像A1を抜き出す。主要被写体画像A1の抜出し方法については、図6〜図8を参照して説明したいずれの方法を用いても良い。
続くステップS109において、合成部93bは、主要被写体画像A1をテンプレート画像TP1に貼り付けた右目合成画像及び左目合成画像を生成し、表示制御部95は、これらの合成画像を表示部6に表示させる(図16参照)。なお、この間、ユーザは、2D/3D切換スイッチ45を操作して、右目合成画像と左目合成画像とを重ね合わせた2D画像の表示と、右目合成画像及び左目合成画像に基づく3D画像の表示とを所望のタイミングで切り換えることができる。図16は、重ね合わせ画像WD2が表示される場合を示している。また、図16に示すように、ユーザは、主要被写体OB1に対する撮像部2の向きを変化させることにより、テンプレート画像TP1上における主要被写体画像A1の位置を調節することができる。
ステップS110において、位置調整部94は、表示部6が2D画像の表示を行っている間、重ね合わせ画像WD2上の主要被写体画像A1の表示領域に対してタッチ操作があったか否かを判定する。タッチ操作があった場合(ステップS110:Yes)、位置調整部94は、タッチの軌跡に応じて、主要被写体画像A1の視差及び位置を調整する(ステップS111)。一方、タッチ操作がない場合(ステップS110:No)、当初の視差のまま、動作はステップS112に移行する。
ステップS112において、制御部9は、ユーザによってレリーズスイッチ42が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する。表示部6におけるスルー画表示の開始後、又は画像合成モードの設定後、所定時間内に撮影を指示するレリーズ信号が入力された場合(ステップS112:Yes)、撮像部2は撮影を行う(ステップS113)。なお、このとき、表示制御部95は、撮影された画像を所定時間表示する所謂レックビュー表示を行うよう表示部6を制御しても良い。
続いて、制御部9は、撮影により得られた画像データを撮影画像データ記憶部81に記憶させると共に、関連情報として、主要被写体画像A1として撮影画像から抜き出す領域(抜出し領域情報)、選択されたテンプレート画像TP1を特定する情報(背景画像情報)、テンプレート画像TP1上における主要被写体画像A1の位置(合成位置情報)、及び調整された視差の量(視差情報)等の情報を撮影画像データに関連付けて記憶させる(ステップS114)。なお、制御部9は、撮影画像データとは別に、主要被写体画像データを別途生成し、そこに背景画像情報、合成位置情報、及び視差情報を関連付けて記憶させても良い。その後、撮像装置1の動作はステップS101に戻る。
一方、所定時間内に撮影を指示するレリーズ信号が入力されない場合(ステップS112:No)、撮像装置1の動作はステップS101に戻る。
次に、撮像装置1が画像合成モードに設定されていない場合(ステップS104:No)について説明する。この場合、制御部9は、ユーザによってレリーズスイッチ42が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する(ステップS115)。表示部6におけるスルー画の開始後、所定時間内に、撮影を指示するレリーズ信号が入力された場合(ステップS115:Yes)、撮像部2は撮影を行い(ステップS116)、制御部9は、撮影により得られた撮影画像データを記憶部8に記憶させる(ステップS117)。なお、このとき、表示制御部95は、レックビュー表示を行うよう表示部6を制御しても良い。その後、動作はステップS101に戻る。一方、スルー画表示の開始後、所定時間内に撮影を指示するレリーズ信号が入力されない場合(ステップS115:No)、撮像装置1の動作はステップS101に戻る。
次に、ステップS102において、撮像装置1が撮影モードに設定されていない場合を説明する(ステップS102:No)。この場合、撮像装置1は、撮影した画像データを表示部6に表示する再生表示処理を実行する(ステップS120)。
図17は、再生表示処理における撮像装置1の動作を示すフローチャートである。図17において、まず、表示制御部95は、撮影画像データ記憶部81に記憶された画像ファイルに基づき、複数の画像をまとめて表示した画像選択画面を表示部6に表示させる(ステップS121)。
ステップS122において、制御部9は、ユーザがタッチパネル7を操作することによって画像選択画面の中から画像が選択されたか否かを判断する。画像が選択されない場合(ステップS122:No)、動作はステップS121に戻る。一方、画像が選択された場合(ステップS122:Yes)、続いて制御部9は、選択された画像の関連情報に基づいて、当該画像が合成画像であるか否かを判断する(ステップS123)。制御部9は、例えば関連情報に背景画像情報が含まれる場合、当該画像が合成画像であると判断する。
選択された画像が合成画像でない場合(ステップS123:No)、表示制御部95は、当該画像に対応する撮影画像データを記憶部8から読み出し、表示部6に拡大画像を表示させる(ステップS124)。
一方、選択された画像が合成画像である場合(ステップS123:Yes)、合成部93bは、撮影画像データ(又は被写体画像データ)を記憶部8から読み出すと共に、関連情報に基づいてテンプレート画像データを読み出し、視差情報及び合成位置情報に基づいて、主要被写体画像をテンプレート画像に貼り付けた合成画像データを生成する。さらに、表示用画像生成部92は、この合成画像データに基づいて表示用の画像データを生成し、表示制御部95は、表示用の画像データに基づいて合成画像の拡大画像を表示部6に表示させる(ステップS125)。
図18は、ステップS125において表示部6に表示される画像の表示例を示す模式図である。表示部6の表示画面には、画像選択用の複数の縮小画像112及び113が表示される画像一覧表示領域111と、選択された縮小画像112を拡大した拡大画像表示領域114とが設けられる。このとき、ユーザは、2D/3D切換スイッチ45を操作することにより、右目合成画像と左目合成画像とを重ね合わせた2D画像の表示と、右目合成画像及び左目合成画像合成画像に基づく3D画像の表示とを所望のタイミングで切り換えることができる。図18は、2D画像として表示された重ね合わせ画像WD2を示している。
制御部9は、表示部6が重ね合わせ画像WD2を表示している間、重ね合わせ画像WD2上の主要被写体画像A1の表示領域に対して、タッチパネル7へのタッチ操作(即ち、タッチパネル7の外部からの接触位置に応じた信号が入力)があったか否かを判断する(ステップS126)。タッチ操作があった場合(ステップS126:Yes)、制御部9は、タッチされた軌跡に応じて、主要被写体画像A1の視差及び位置を調整する(ステップS127)。視差及び位置の調整方法については、図11〜図13を参照して説明したものと同様である。
なお、視差及び位置を調整する際、ユーザは、例えば図19に示すように、主要被写体画像A1の表示領域上の1箇所に指をタッチさせて操作入力を行っても良いし、図20に示すように、主要被写体画像A1の表示領域上の2箇所に指をタッチさせ、左右方向に指の間隔を広げたり、反対に、指の間隔を狭めたりする操作入力(ピンチ操作)を行っても良い。後者の場合、位置調整部94は、このような操作を、主要被写体画像A1の視差を大きく(又は小さく)する信号の入力として受け付ける。
一方、タッチ操作がない場合(ステップS126:No)、位置調整部94は、主要被写体画像A1に関して視差及び位置の調整は行わず、動作はステップS128に移行する。
画像一覧表示領域111から別の縮小画像113のいずれかを選択する信号入力等により、現在表示されている画像の拡大表示を終了する操作入力があった場合(ステップS128:Yes)、制御部9は、視差及び位置調整後の視差情報及び合成位置情報を、当該撮影画像データの関連情報として記憶部8に上書き記憶させる(ステップS129)。このとき、制御部9は、視差情報及び合成位置情報を保存するか否かのメッセージを表示部6に表示させ、ユーザにより入力された信号に基づいて、視差情報及び合成位置情報を上書きさせるようにしても良い。一方、現在表示されている画像の拡大表示を終了する操作入力がない場合(ステップS128:No)、動作はステップS126に戻る。
切換スイッチ43を介した入力信号により、撮像装置1の再生モードが終了すると(ステップS130:Yes)、動作はメインルーチンに戻る。一方、再生モードが継続している場合(ステップS130:No)、動作はステップS121に戻る。
以上説明したように、実施の形態1によれば、撮影画像から主要被写体の画像を抜き出し、背景として予め用意されたテンプレート画像に合成するので、身近な人物等の被写体が写し出された合成画像を手軽に生成することができる。また、合成画像を生成又は表示する際に、右目画像と左目画像との重ね合わせ画像上でのタッチ操作により視差を変更できるので、ユーザは、主要被写体画像の立体感を直感的な動作で調整することが可能となる。その結果、背景画像に対する主要被写体画像の立体感(飛び出し感や引っ込み感)が自然で、違和感の少ない3D画像を表示することが可能となる。
以上説明した実施の形態1においては、テンプレート画像を表示部6に表示させた状態で、撮影画像を取り込んで主要被写体画像を抜き出したが、主要被写体画像の抜出しを行った後でテンプレート画像の選択や表示を行うようにしても良い。
また、上記実施の形態1において、予めユーザが撮影した画像を背景画像として背景画像データ記憶部82に記憶させておき、これを用いて合成画像を生成しても良い。
(実施の形態2)
次に、本発明の実施の形態2に係る撮像装置について説明する。本実施の形態2に係る撮像装置は、右目用の画像と左目用の画像を高速で切換えるフレームシーケンシャル方式によって3D画像を表示する3Dテレビ等の表示画面を撮影することにより取得した画像信号に基づいて、3Dの背景画像を生成することを特徴とする。
図21は、実施の形態2に係る撮像装置の構成を示すブロック図である。図21に示すように、撮像装置201は、3Dテレビ等の表示画面を撮影した撮影画像データから、3D表示可能な背景画像データを取り込む3D背景画像取得部96を備える。撮像装置201のその他の構成については、図1に示すものと同様である。
まず、本実施の形態2における背景画像の生成方法について説明する。図22は、フレームシーケンシャル方式の3Dテレビである表示装置202を撮像装置201で撮影する様子を示す模式図である。表示装置202の表示画面203には、図23(a)及び(b)に示すように、右目画像及び左目画像が所定の周期で交互に表示される。このような表示画面に対し、図23(c)に示すような撮像タイミングで高速連写撮影を行うと、右目画像及び左目画像がそれぞれ所定の周期で撮影画像に写り込む。
3D背景画像取得部96は、撮像装置1がテレビ(TV)撮影モードに設定されている間、高速連写撮影により生成された撮影画像データを所定のタイミングで取り込むことにより、背景画像として使用される右目画像及び左目画像に対応する画像データを取得する。
また、合成画像生成部93の左右画像判別部93cは、3D背景画像取得部96が取り込んだ背景画像を左右いずれの背景画像とするかを判別する。ここで、図24に示すように、合成画像の背景として使用される画像は、現実の表示画面P1よりも仮想的に奥(ユーザ204から離れる方)に引っ込んで見えるようにすると良い。そのためには、表示画面P1の位置において、画面の右寄りに表示される画像がユーザ204の右目に入り、画面の左寄りに表示される画像がユーザ204の左目に入るようにすれば良い。そこで、左右画像判別部93cは、画像が画面の右寄りに写っているものを右目背景画像、画像が画面の左寄りに写っているものを左目背景画像として振り分ける(図23(d)参照)。
さらに、制御部9は、右目背景画像及び左目背景画像として振り分けられた画像の内から、それぞれ、鮮鋭度の高い画像を抽出して背景画像データ記憶部82に記憶させる。
図25は、撮像装置201の動作を示すフローチャートである。図25において、まず、制御部9は、撮像装置201の電源がオンになっているか否かを判断する(ステップS201)。撮像装置201の電源がオンになっている場合(ステップS201:Yes)、撮像装置201はステップS202に移行する。一方、撮像装置201の電源がオンになっていない場合(ステップS201:No)、撮像装置201は動作を終了する。
ステップS202において、制御部9は、撮像装置201が撮影モードに設定されているか否かを判断する。撮影装置201が撮影モードに設定されていない場合(ステップS202:No)、動作はステップS120に移行する。なお、ステップS120における動作は、実施の形態1において説明したものと同様である。
一方、撮像装置201が撮影モードに設定されている場合(ステップS202:Yes)、表示制御部95は、撮像部2が一定の微小な時間間隔で連続的に生成する画像データに対応するスルー画を、2D/3D切換スイッチ45への操作による設定に従い、2D画像又は3D画像で表示部6に表示させる(ステップS203)。
続くステップS204において、制御部9は、撮像装置201がテレビ(TV)撮影モードに設定されているか否かを判断する(ステップS204)。テレビ撮影モードに設定されていない場合(ステップS204:No)、動作は直接ステップS209に移行する。
撮像装置201がテレビ撮影モードに設定されている場合(ステップS204:Yes)、制御部9は、ユーザによってレリーズスイッチ42が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する(ステップS205)。表示部6におけるスルー画表示の開始後、又は画像合成モードの設定後、所定時間内に撮影を指示するレリーズ信号が入力された場合(ステップS205:Yes)、撮像部2は高速連写撮影を行い、3D背景画像取得部96は所定のタイミングで撮影画像データを取り込む(ステップS206)。続いて、左右画像判別部93cは、3D背景画像取得部96によって取り込まれた撮影画像データに対応する画像を、左目背景画像と右目背景画像とに振り分ける処理を行う(ステップS207)。さらに、制御部9は、左目背景画像と右目背景画像とに振り分けられた画像の内から鮮鋭度の高い画像をそれぞれ抽出して、背景画像データ記憶部82に記憶させる(ステップS208)。
続くステップS209において、制御部9は、撮像装置201が画像合成モードに設定されているか否かを判断する。画像合成モードに設定されている場合(ステップS209:Yes)、制御部9は、画像合成に用いられる背景画像が設定されているか否かを判断する(ステップS210)。例えば、ステップS204〜S208において背景画像が生成された場合には、生成された背景画像が設定されているものと判断される。
背景画像が設定されている場合(ステップS210:Yes)、表示制御部95は、設定された背景画像を表示部6に表示させる(ステップS212)。一方、背景画像がまだ設定されていない場合(ステップS210:No)、表示制御部95は、背景画像選択画面を表示部6に表示させ、ユーザに所望の背景画像を選択させる(ステップS211)。この背景画像選択画面には、過去に生成された背景画像や、実施の形態1において用いられたテンプレート画像が表示されるようにしても良い。
ステップS213において、画像抜出し部93aは、スルー画表示された画像から主要被写体画像を抜き出す。主要被写体画像の抜出し方法については、図6〜図8を参照して説明したいずれの方法を用いても良い。
ステップS214において、合成部93bは、主要被写体画像を背景画像に貼り付けた右目合成画像及び左目合成画像を生成する。さらに、表示用画像生成部92は、これらの合成画像に基づく表示用の画像データを生成し、表示制御部95は、表示用の画像データに基づいて合成画像を表示部6に表示させる。このとき、表示制御部95は、2D/3D切換スイッチ45への操作による設定に従って、右目合成画像と左目合成画像とを重ね合わせた2D画像の表示、又は、右目合成画像及び左目合成画像に基づく3D画像の表示を行うよう、表示部6を制御する(図10(b)及び(c)参照)。
ステップS215において、位置調整部94は、表示部6が2D画像の表示を行っている間、重ね合わせ画像上の主要被写体画像の表示領域に対してタッチ操作があったか否かを判定する。タッチ操作があった場合(ステップS215:Yes)、位置調整部94は、タッチされた軌跡に応じて、主要被写体画像A1の視差を調整する(ステップS216)。一方、タッチ操作がない場合(ステップS215:No)、当初の視差のまま、動作はステップS217に移行する。
ステップS217において、制御部9は、ユーザによってレリーズスイッチ42が操作されて撮影を指示するレリーズ信号が入力されたか否かを判断する。表示部6におけるスルー画表示の開始後、又は画像合成モードの設定後、所定時間内に撮影を指示するレリーズ信号が入力された場合(ステップS217:Yes)、撮像部2は撮影を行う(ステップS218)。なお、このとき、表示制御部95は、レックビュー表示を行うよう表示部6を制御しても良い。
続いて、制御部9は、撮影により得られた画像データを撮影画像データ記憶部81に記憶させると共に、背景画像を特定する情報(背景画像情報)、背景画像上における主要被写体画像の位置(合成位置情報)、及びステップS216において調整された視差の量(視差情報)を含む関連情報を、撮影画像データに関連付けて記憶させる(ステップS219)。その後、動作はステップS201に戻る。
一方、所定時間内に撮影を指示するレリーズ信号が入力されない場合(ステップS217:No)、動作はそのままステップS201に戻る。
次に、撮像装置201が画像合成モードに設定されていない場合(ステップS209:No)について説明する。この場合、制御部9は、撮影を指示するレリーズ信号が入力されたか否かを判断する(ステップS231)。表示部6がスルー画を表示し始めてから所定時間内に撮影を指示するレリーズ信号が入力された場合(ステップS231:Yes)、撮像部2は撮影を行い(ステップS232)、制御部9は、撮影により得られた撮影画像データを記憶部8に記憶させる(ステップS233)。なお、このとき、表示制御部95は、レックビュー表示を行うよう表示部6を制御しても良い。その後、動作はステップS201に戻る。一方、スルー画表示の開始後、所定時間内に撮影を指示するレリーズ信号が入力されない場合(ステップS231:No)、動作はステップS201に戻る。
以上説明した実施の形態2によれば、3D画像の表示が可能なテレビを利用して、3Dの背景画像を手軽に生成することができる。従って、ユーザは、お気に入りのキャラクターや風景が写し出された背景画像に、身近な人物等の主要被写体画像を合成して鑑賞することが可能となる。また、実施の形態2によれば、背景画像の立体感に合わせて主要被写体画像の立体感を調整することにより、違和感のない合成画像を生成して表示することが可能となる。
(実施の形態3)
次に、本発明の実施の形態3に係る画像通信システムについて説明する。実施の形態3においては、撮像装置において生成された合成画像を、3D画像を表示可能なテレビ等の表示装置に出力して表示させることを特徴とする。
図26は、実施の形態3に係る画像通信システムの構成を示す模式図である。図26に示す画像通信システム300は、デジタルステレオカメラである撮像装置301と、撮像装置301と電気的に接続され、撮像装置301からの画像データを受信し、3D画像を表示することが可能な外部機器としての表示装置302とを備える。
図27は、撮像装置301の構成を示すブロック図である。図27に示すように、撮像装置301は、外部機器との間でデータの送受信を行う通信部10と、送信用画像生成部97と、通信状態検出部98とを備える。その他の構成については、図1に示す撮像装置1と同様である。或いは、撮像装置301は、図21に示す撮像装置201と同様に、3D背景画像取得部96をさらに備えても良い。
送信用画像生成部97は、通信部10を介して外部接続された表示装置302の表示画面303で表示させるために表示装置302へ送信する送信用画像の画像データを生成する。
通信状態検出部98は、撮像装置301と表示装置302との通信状態を検出する。例えば、撮像装置301と表示装置302との間がHDMI(登録商標)を介して接続される場合、通信状態検出部98は、CECプロトコルにしたがって撮像装置301と表示装置302との通信状態を検出する。また、撮像装置301と表示装置302との間がインターネットを介して接続される場合、通信状態検出部98は、TCP/IPプロトコルにしたがって撮像装置301と表示装置302との通信状態を検出する。なお、撮像装置301と表示装置302との間の通信は、無線通信であってもよい。
表示装置302は、例えば、表示画面303で表示する右目用の画像と左目用の画像を高速で切換えるフレームシーケンシャル方式、または液晶パネルからなる表示画面303に偏光フィルムが組み込まれた偏光フィルム方式によって3D画像を表示する3Dテレビである。このような3Dテレビが表示する3D画像をユーザが見る場合には、方式に応じた専用のメガネ304をかける必要がある。フレームシーケンシャル方式の場合に適用されるメガネ304は、画像の切り換えに同期して、表示される画像を見るための目と逆の目を閉じることが可能な構成を有する液晶シャッタメガネである。また、偏光方式の場合に適用されるメガネ304は、左目には左目画像のみが届き、右目には右目画像のみが届くように偏光フィルタが貼付された構成を有する。
このような画像通信システム300において、撮像装置301は、切換スイッチ43への操作により撮影モードに設定されている間、実施の形態1と同様に、被写体を撮影して合成画像を生成する(図14参照)。或いは、撮像装置301は、実施の形態2と同様に、表示装置302を利用して背景画像の生成を行っても良い(図25参照)。また、撮像装置301は、切換スイッチ43への操作により再生表示モードに設定されている間、撮影画像や合成画像を自身に備えられた表示部6に表示させる(図17参照)。
また、撮像装置301は、表示装置302と接続されている間、表示部6に表示されている画像に対応する画像を表示装置302に表示させる。具体的には、表示用画像生成部92が撮影画像データ又は合成画像データに基づく表示用の画像データを生成する際に、送信用画像生成部97は、同じ撮影画像データ又は合成画像データに基づく送信用の画像データを生成し、通信部10を介して表示装置302に送信する。このとき、切換スイッチ43への操作により、送信用画像データを送信するか否かを切り換えるようにしても良い。また、撮像装置301における画像の表示態様によらず、表示装置302において、右目画像と左目画像との重ね合わせ画像を2D画像として表示する態様と、右目画像又は左目画像を通常の2D画像として表示させる態様と、右目画像及び左目画像に基づいて3D画像を表示させる態様とを、切換スイッチ43への操作により切り替えられるようにしても良い。
以上説明した実施の形態3によれば、ユーザは、撮像装置において生成した合成画像を外部機器(表示装置)に表示させて鑑賞することができる。また、その際に、ユーザは、外部機器に合成画像を3D表示させて立体感をリアルタイムで確認しながら、撮像装置のタッチパネル上で主要被写体画像の視差を調整することができるので、外部機器の表示画面において自然に見える合成画像を、直感的な操作により生成することが可能となる。
以上説明した実施の形態1〜3においては、画像データの関連情報として、主要被写体画像の視差情報及び合成位置情報を記憶しているが、それらに加えて、主要被写体画像の凹凸等の立体感を表す情報を記憶するようにしても良い。それによって、リアルな立体感が再現された合成画像を表示することが可能となる。特に、立体の背景に違和感なく立体画像を合成するためには、ユーザによるトライアンドエラーの繰り返しが発生するため、簡単に目視確認ができ、簡単(容易)に効果を確認できる工夫が必要である。本発明の実施の形態1〜3によれば、直感的な操作を追求しており、即座(リアルタイム)に調整しながらその場で立体感の確認が出来、自然で違和感のない合成画像が誰にでも手軽に作れるという効果を奏する。
また、以上説明した実施の形態1〜3においては、タッチパネルへの操作により合成画像上での主要被写体画像の視差及び位置を調整したが、それ以外にも、マウスやタッチペン等のポインティングデバイスや、その他種々の入力デバイスを用いて、上述した実施の形態1〜3で説明した同等の考え方を採用し、視差及び位置の調整を行っても良い。
さらに、以上説明した実施の形態1〜3においては、2つの画像をそれぞれ撮像する2つの光学系により撮像部2を構成したが、当該撮像装置が移動する間に所定の間隔で連続的に画像を撮像する機能を有する撮像部を設け、該撮像部が連続的に撮像した画像の中から、表示用画像生成部が視野の左右方向の一端部が互いに重なる2つの画像を抽出することにより、右目用及び左目用の撮影画像を生成するようにしても良い。
また、以上説明した実施の形態1〜3においては、静止画である合成画像を生成する場合を説明したが、これらの実施の形態を動画に適応しても良い。
本発明に係る撮像装置は、デジタルステレオカメラ以外にも、例えばデジタルビデオカメラ、カメラ付き携帯電話等の撮影機能及び表示機能を備えた各種電子機器に適用することができる。
また、本発明において、外部機器としての表示装置は3Dテレビに限られるわけではなく、3D画像を表示可能な表示部を有していれば、いかなる電子機器であってもかまわない。