以下に、図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)について説明する。なお、以下に説明する実施の形態によって本発明が限定されるものではない。
(実施の形態1)
図1は、本発明の実施の形態1にかかる撮像装置の構成を示すブッロク図である。図2は、本発明の実施の形態1にかかる撮像装置の被写体に面する側(前面側)の構成を示す斜視図である。図3は、本発明の実施の形態1にかかる撮像装置の撮影者に面する(背面側)の構成を示す斜視図である。図1〜図3に示す撮像装置1は、デジタル一眼レフカメラであり、本体部2と、本体部2に着脱自在なレンズ部3と、を備える。
図1〜図3に示すように、本体部2は、シャッタ10と、撮像素子11と、A/D変換部12と、メモリ13と、画像処理部14と、撮像素子駆動部15と、シャッタ駆動部16と、露出処理部17と、AF処理部18と、タイマー19と、本体通信部20と、操作入力部21と、フラッシュ発光部22と、フラッシュ充電部23と、フラッシュ駆動部24と、表示部25と、タッチパネル26と、不揮発性メモリ27と、外部メモリ28と、外部通信部29と、電源供給部30と、電源部31と、制御部32と、を備える。
シャッタ10は、撮像素子11の状態を露光状態または遮光状態に設定する。シャッタ駆動部16は、ステッピングモータ等を用いて構成され、レリーズ信号に応じてシャッタ10を駆動する。
撮像素子11は、レンズ部3が集光した光を受光して電気信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等を用いて構成される。撮像素子駆動部15は、所定のタイミングで撮像素子11から画像データ(アナログ信号)をA/D変換部12に出力させる。
A/D変換部12は、撮像素子11から入力されるアナログ信号に対してA/D変換を行うことによってデジタルの画像データを生成してメモリ13に出力する。
メモリ13は、SDRAM(Synchronous Dynamic Random Access Memory)を用いて構成される。メモリ13は、A/D変換部12から入力される画像データや撮像装置1の処理中の情報を一時的に記録する。具体的には、メモリ13は、撮像素子11が1フレーム毎に順次出力する画像データを一時的に記録する。
画像処理部14は、制御部32を介してメモリ13に記録された画像データを取得し、取得した画像データに対して各種の画像処理を施してメモリ13または不揮発性メモリ27に出力する。具体的には、画像処理部14は、画像データに対して、少なくともエッジ強調、ホワイトバランス、色補正およびγ補正を含む通常の画像処理を行う。画像処理部14は、特殊効果処理部141を有する。
特殊効果処理部141は、画像データに対して複数の画像処理を組み合わせることにより視覚的な効果を生じさせる特殊効果処理を行う。この特殊効果処理としては、たとえばトーンカーブ処理、ぼかし処理および画像合成処理を組み合わせた処理を行う。
露出処理部17は、制御部32を介してメモリ13に記録された画像データに基づいて、静止画撮影や動画撮影を行う際の条件、たとえば絞りの設定値、シャッタ速度等を決定することで撮像装置1の自動露出を行う。
AF処理部18は、制御部32を介してメモリ13に記録された画像データに基づいて、撮像装置1の自動焦点(Auto Focus)の調整を行う。たとえば、AF処理部18は、画像データのコントラストに基づいて、撮像する被写体像の鮮鋭度が最大となるようにレンズ部3を駆動する。
タイマー19は、時間を計時する。タイマー19は、撮影日時の判定機能を有する。タイマー19は、撮像された画像データに日時データを付加するため、制御部32に日時データを出力する。
本体通信部20は、本体部2に装着されたレンズ部3との通信を行うための通信インターフェースである。なお、本体通信部20は、本体部2に設けられた電源部31からレンズ部3に電力を供給するようにしてもよい。
操作入力部21は、撮像装置1の電源状態をオン状態またはオフ状態に切換える電源スイッチ211と、撮影の指示を与えるレリーズ信号を入力するレリーズスイッチ212と、撮像装置1に設定された各種撮影モード切換えの指示を与える切換信号を入力する撮影モード切換スイッチ213と、撮像装置1の各種設定を選択または決定の指示を与える指示信号を入力する操作スイッチ214と、撮像装置1に設定された操作メニュー画面の表示の指示を与える指示信号を入力するメニュースイッチ215と、撮像した画像データのレックビュー表示の指示を与える指示信号を入力するプレビュースイッチ216と、動画撮影の指示を与える動画レリーズ信号を入力する動画スイッチ217と、を有する。操作スイッチ214は、メニュー画面等における選択設定を行う上下左右の各方向ボタン214a〜214dと、メニュー画面等における各方向ボタン214a〜214dによる操作を決定する決定ボタン214e(OKボタン)とを有する(図3を参照)。なお、操作スイッチ214は、ダイヤルスイッチ等を用いて構成してもよい。
フラッシュ発光部22は、キセノンランプやLED(Light Emitting Diode)等を用いて構成される。フラッシュ発光部22は、撮像装置1が撮像する視野領域へ向けて補助光であるストロボ光を照射する。フラッシュ充電部23は、電源部31から電源供給を受けて電圧を昇圧して充電する。フラッシュ駆動部24は、フラッシュ充電部23が昇圧した電圧をフラッシュ発光部22に印加させることにより、フラッシュ発光部22を駆動する。
図4は、表示部25の概略構成を示す模式図である。図4に示すように、表示部25は、バックライト251と、表示パネル252と、視差バリア253とを有する。バックライト251は、LED(Light Emitting Diode)等によって構成され、画像を表示するための光を背面から照射する。表示パネル252は、液晶または有機EL(Electro Luminescence)等の表示パネルによって構成される。視差バリア253は、液晶等によって構成され、表示パネル252の上面に積層されている。視差バリア253は、表示パネル252の各画像の間隔よりも狭い間隔でスリットが設けられ、ユーザの右目ERと左目ELとにそれぞれ対応した画像を分離する。このような視差バリア253として、たとえばパララックバリア方式が適用される。なお、視差バリア253の代わりに、レンティキュラレンズを積層したレンズシートを表示パネル252の上面に設けてもよい。
以上の構成を有する表示部25は、制御部32から3次元画像(以下「3D画像」という)データが入力された場合、制御部32の制御のもとで表示パネル252が左端の画像から水平方向に左目画像と右目画像とを交互に表示し、視差バリア253が表示パネル252の各画像から出た光を分離する。このため、左目画像が左目ELのみに、右目画像が右目ERのみにそれぞれ届く。これにより、ユーザは、表示部25が表示する3D画像を立体視することができる。また、表示部25が表示態様を3D画像から2次元画像(以下「2D画像」という)に切り換える際には、視差バリア253に印加される電圧がオン状態からオフ状態に変換することによって視差バリア253が遮光状態から透過状態に遷移し、左目画像データまたは右目画像データのどちらか一方が表示パネル253に出力される。
タッチパネル26は、表示部25の表示画面上に重ねて設けられる(図3を参照)。タッチパネル26は、ユーザが表示部25に表示される情報に基づいて接触(タッチ)した位置を検出し、この接触位置に応じた操作信号の入力を受け付ける。一般に、タッチパネルとしては、抵抗膜方式、静電容量方式、光学式等がある。本実施の形態では、いずれの方式のタッチパネルであっても適用可能である。
不揮発性メモリ27は、フラッシュメモリを用いて構成される。不揮発性メモリ27は、撮像装置1を動作させるための各種プログラム、本実施の形態にかかる撮像プログラムおよびプログラムの実行中に使用される各種データやパラメータ等を記憶する。不揮発性メモリ27は、撮像装置1で実行される各種撮影モードに関する情報を記憶する撮影モード情報記憶部271と、画像処理部14が行う特殊効果処理に関する情報を記憶する特殊効果処理情報記憶部272と、表示部25に3D画像を表示させる際に用いる左目画像データを記憶する左目画像データ記憶部273と、表示部25に3D画像を表示させる際に用いる右目画像データを記憶する右目画像データ記憶部274と、撮像した左目画像および右目画像それぞれの領域を、近距離領域(被写体領域)と背景領域とに切り分けることが可能な視差量を示す閾値を記憶する閾値記憶部275と、を有する。
特殊効果処理情報記憶部272は、第1特殊効果処理情報記憶部272aと、第2特殊効果処理情報記憶部272bとを有する。第1特殊効果処理情報記憶部272aは、特性特定部325が特定する特性と画像処理部14が左目画像および右目画像それぞれに対して実施可能な各特殊効果処理との組み合わせに応じた推奨度を与える第1特殊効果処理情報を記憶する。第2特殊効果処理情報記憶部272bは、画像処理部14が左目画像および右目画像それぞれに対して実施可能な各特殊効果処理の推奨度を与える第2特殊効果処理情報を記憶する。
外部メモリ28は、撮像装置1の外部から装着されるメモリカード等の記録媒体を用いて構成される。外部メモリ28は、記録媒体インターフェース(図示せず)を介して撮像装置1に装着されることで3D画像データや2D画像データ等の情報を記憶する一方、制御部32の制御のもと、記憶した各種情報を表示部25、画像処理部14および不揮発性メモリ27に出力する。
外部通信部29は、通信インターフェースとしての機能を有し、ネットワーク(図示せず)を介してサーバ(図示せず)やパーソナルコンピュータ(図示せず)等の外部処理装置と相互方向に送受信を行う。外部通信部29は、外部処理装置との間で送受信を行うことにより、撮像装置1の各種プログラムおよび特殊効果処理情報等に関するデータを取得して制御部32に出力する。なお、外部通信部29は、有線または無線LAN(Local Area Network)等を介してネットワークに接続される。
電源供給部30は、撮像装置1の各構成部に電源部31の電力を供給する。電源部31は、撮像装置1に着脱自在なバッテリを用いて構成される。なお、電源供給部30は、外部電源(図示せず)から供給される電力を撮像装置1の各構成部に供給するようにしてもよい。
制御部32は、CPU(Central Processing Unit)等を用いて構成される。制御部32は、操作入力部21からの操作信号や指示信号に応じて不揮発性メモリ27からプログラムを読み出して実行し、撮像装置1を構成する各部に対応する指示やデータの転送等を行って撮像装置1の動作を統括的に制御する。制御部32は、立体画像生成部321と、顔検出部322と、視差量算出部323と、切分け部324と、特性特定部325と、画像処理設定部326と、表示制御部327とを有する。
立体画像生成部321は、画像処理部14によって画像処理された画像データをメモリ13から取得し、取得した画像データを用いて3D画像データを生成する。具体的には、立体画像生成部321は、まず、メモリ13から取得した画像データを左目画像データと右目画像データとにそれぞれ分割する。その後、立体画像生成部321は、分割した左目画像データおよび右目画像データそれぞれを所定の縦横比率(たとえばアスペクト比9:16)で切り出すことによって3D画像データを生成する。立体画像生成部321は、左目画像データおよび右目画像データそれぞれを左目画像データ記憶部273および右目画像データ記憶部274に記憶させる。なお、立体画像生成部321が分割した左目画像データおよび右目画像データそれぞれから切り出す縦横比率を操作入力部21で変更できるようにしてもよい。
顔検出部322は、左目画像データに対応する左目画像または右目画像データに対応する右目画像のどちらか一方に含まれる人物や動物の顔をパターンマッチングによって検出する。たとえば、顔検出部322は、左目画像に含まれる人物の顔をパターンマッチングによって検出する。なお、顔検出部322は、人物の顔だけでなく、犬や猫等の動物の顔を検出してもよい。
視差量算出部323は、一対の画像それぞれに含まれる類似領域を重畳することにより、一対の画像の視差量を算出する。具体的には、視差量算出部323は、左目画像および右目画像それぞれに含まれる類似領域、たとえば背景領域を重畳することにより、左目画像および右目画像の視差量を算出する。
切分け部324は、視差量算出部323が算出した視差量に応じて、一対の画像それぞれの領域を近距離領域と背景領域とに切り分ける。具体的には、切分け部324は、左目画像および右目画像それぞれの領域内で視差量が閾値記憶部275に記憶された閾値以上の領域を近距離領域として切り分ける一方、閾値未満を背景領域として切り分ける。
特性特定部325は、顔検出部322が検出した顔の特性を周知の技術を用いて特定する。具体的には、特性特定部325は、顔検出部322が検出した顔の特性として男性、女性、赤ちゃん(子供)または動物のいずれかであるかを特定する。この特定方法としては、赤ちゃんを特定する場合、顔検出部322が検出した顔の特徴点、たとえば目、鼻および唇等の位置を抽出し、抽出した特徴点を赤ちゃんにおける顔の基準サンプルデータと比較することで特定する。さらに、動物を特定する場合、特性特定部325は、顔検出部322が検出した顔に対して、犬や猫等の動物の顔の複数のサンプルデータを用いて特徴量を抽出し、この特徴量が設定された閾値以上である否かを判定することにより、顔検出部322が検出した顔が動物であるか否かを特定する。
画像処理設定部326は、顔検出部322が検出した顔が近距離領域内である場合、背景領域を画像処理部14が特殊効果処理を行う領域として設定する。画像処理設定部326は、特性特定部325が顔検出部322によって検出された顔の特性を特定した場合、第1特殊効果処理情報記憶部272aが記憶する第1特殊効果処理情報参照して、推奨度が最も高い特殊効果処理を画像処理部14が行う処理として設定する。画像処理設定部326は、顔検出部322が検出した顔が近距離領域内にない場合または特性特定部325が顔検出部322によって検出された顔の特性を特定できない場合、第2特殊効果処理情報記憶部272bが記憶する第2特殊効果処理情報参照して、推奨度が最も高い特殊効果処理を画像処理部14が行う処理として設定する。さらに、画像処理設定部326は、顔検出部322が検出した顔が近距離領域内でない場合または特性特定部325が顔検出部322によって検出された顔の特性を特定できない場合、左目画像および右目画像の全領域それぞれを画像処理部14が行う特殊効果処理の領域として設定する。
表示制御部327は、表示部25の表示態様を変更する。具体的には、表示制御部327は、表示部25が表示している画像を2D画像または3D画像に切り換える制御を行う。表示制御部327は、表示部25が2D画像を表示しているときに、操作入力部21から操作信号が入力された場合において、特殊効果処理部141が行う特殊効果処理情報に関するアイコンを表示部25に表示させる。
レンズ部3は、第1光学系41と、第2光学系42と、レンズ駆動部43と、絞り44と、絞り45と、絞り駆動部46と、ミラー47と、ミラー48と、プリズム49と、レンズ通信部50と、レンズ記憶部51と、レンズ制御部52と、を備える。なお、レンズ部3は、一対の光学系で視差を持って被写体を撮像し、撮像素子11に左右の被写体像をそれぞれ形成することで3D撮影ができる交換レンズである。このため、第1光学系41および第2光学系42は、同じ構成のため、一方のみを説明する。
第1光学系41は、一または複数のレンズを用いて構成される。第1光学系41は、所定の視野領域から光を集光する。なお、第1光学系41は、画像を変化させる光学ズーム機能を有してもよい。
レンズ駆動部43は、DCモータ等を用いて構成される。レンズ駆動部43は、第1光学系41および第2光学系42のレンズそれぞれを光軸L上および光軸R上で同期させながら移動させることにより、第1光学系41および第2光学系42それぞれのピント位置や焦点距離等の変更を行う。
絞り44および絞り45は、第1光学系41および第2光学系42がそれぞれ集光した光の入射量を制限することにより露出の調整を行う。
絞り駆動部46は、ステッピングモータ等を用いて構成される。絞り駆動部46は、絞り44および絞り45をそれぞれ同期させながら駆動する。
ミラー47およびミラー48は、第1光学系41および第2光学系42がそれぞれ集光した光をプリズム49に向けて反射する。
プリズム49は、ミラー47およびミラー48からそれぞれ反射された光を撮像素子11に向けて反射する。これにより、撮像素子11には、第1光学系41および第2光学系42それぞれによって集光された左右一対の被写体像がそれぞれ形成される。
レンズ通信部50は、レンズ部3が本体部2に装着された際に本体部2と相互方向に通信を行うための通信インターフェースである。
レンズ記憶部51は、フラッシュメモリを用いて構成される。レンズ記憶部51は、レンズ部3を動作させるための各種プログラムムおよびプログラムの実行中に使用される各種データやパラメータ等を記憶する。
レンズ制御部52は、CPU(Central Processing Unit)等を用いて構成される。レンズ制御部52は、本体部2からの指示信号に応じてレンズ部3の動作を制御する。具体的には、レンズ制御部52は、本体部2からの指示信号に応じてレンズ駆動部43を駆動させてレンズ部3のピント合わせを行うとともに、絞り駆動部46を駆動させて絞り値の変更を行う。なお、レンズ制御部52は、レンズ部3が本体部2に装着された際に、レンズ部3のピント位置情報、焦点距離情報およびレンズ部3を識別する固有情報を本体部2に送信するようにしてもよい。なお、本実施の形態では、レンズ部3、撮像素子11およびA/D変換部12を含む構成が撮像部(以下、「撮像部100」という)として機能する。すなわち、撮像部100は、被写体を撮影することによって互いに視差を有する一対の画像データを生成することができる。
以上の構成を有する撮像装置1において、撮像部100が互いの視野の左右方向の一端部同士が重なりを有する2つの画像データを生成する際の状況について説明する。図5は、撮像部100が互いの視野の左右方向の一端部同士が重なりを有する2つの画像データを生成する際の状況を示す模式図である。図5に示すように、撮像部100は、第1光学系41および第2光学系42からの距離が異なる被写体E1(距離d1)および被写体E2(距離d2)に対して、距離(基線長)D1だけ離れた並設された第1光学系41および第2光学系42で撮像することにより、左目画像データおよび右目画像データを撮像素子11上に生成する。
続いて、立体画像生成部321は、撮像素子11によって生成された画像データを左目画像データと右目画像データとにそれぞれ分割する。その後、立体画像生成部321は、分割した左目画像データおよび右目画像データそれぞれを所定の縦横比率で切り出すことによって左目画像および右目画像を生成する。
図6は、図5に示す状況下で立体画像生成部321が生成する2つの画像データそれぞれに対応する2つの画像の一例を示す図である。図6において、左目画像WL1は、立体画像生成部321が第1光学系41によって生成された左目画像データに対応する画像から切り出して生成した画像である。また、図6において、右目画像WR1は、立体画像生成部321が第2光学系42によって生成された右目画像データに対応する画像から切り出して生成した画像である。図7は、図5に示す状況下で立体画像生成部321が生成した左目画像WL1と右目画像WR1とを仮想的に重ねた画像(WLR1)の一例を示す図である。図8は、図5に示す状況下で立体画像生成部321が生成した左目画像WL1および右目画像WR1を表示部25に表示した際にユーザが仮想的に視認する3D画像の飛び出し距離を説明する図である。
図6に示すように、立体画像生成部321は、第1光学系41と第2光学系42との視差によって被写体E1,E2それぞれの位置が左右にずれた左目画像WL1および右目画像WR1を生成する。
続いて、表示制御部327は、左目画像WL1の被写体E2および右目画像WR1の被写体E2を重ねて表示部25に表示させる(図7を参照)。これにより、ユーザは、被写体E1の視差によるズレ量ΔX1に応じて、被写体E1が表示パネル252からΔZ1飛び出した立体的な3D画像を仮想的に視認することができる(図8を参照)。
その後、視差量算出部323は、左目画像WL1の被写体E2および右目画像WR1の被写体E2を重畳することにより、視差量を算出する。たとえば、図7に示す状況下では、視差量算出部323は、左目画像WL1および右目画像WR1どちらか一方の横幅をX0とした場合、この横幅X0の比率に応じた視差量を算出する。
続いて、切分け部324は、視差量算出部323が算出した視差量に応じて、左目画像WL1および右目画像WR1それぞれの領域を近距離領域と背景領域とに切り分けることができるか否かを判定する。具体的には、図7に示す状況下では、切分け部324は、視差量が横幅X0に対して、1/100(1%)以上ずれた領域を近距離領域として切り分ける。たとえば、図5に示す状況下で、撮像する画像の横幅X0を35mmとしたとき、第1光学系41および第2光学系42から被写体E1までの距離d1を1000mm、第1光学系41および第2光学系42から撮像素子11までの距離Fを35mm、第1光学系41の中心から第2光学系42の中心までの距離D1を10mmとし、背景(無限遠)との視差量をΔXとした場合において、
ΔX=(F×D1)/d1=(35×10)/1000=0.35
となる。この状況下で切分け部324は、視差量ΔXが横幅X0の1/100(=0.35/35)になるため、左目画像WL1および右目画像WR1それぞれの領域を近距離領域と背景領域とに切り分けることができる。具体的には、切分け部324は、視差量算出部323によって算出された視差量が閾値記憶部275に記憶された閾値以上の領域を近距離領域として左目画像WL1および右目画像WR1それぞれから切り分ける。
このように、視差量算出部323は、左目画像WL1の被写体E2および右目画像WR1の被写体E2を重畳することにより、視差量を算出する。その後、切分け部324は、視差量算出部323が算出した視差量に応じて、左目画像WL1および右目画像WR1それぞれの領域を近距離領域と背景領域とに切り分ける。
つぎに、撮像装置1が特殊効果処理を行う特殊効果撮影モード(アートフィルタ撮影モード)の設定方法について説明する。なお、本実施の形態にかかる撮像装置1は、複数の撮影モード、たとえば、撮影シーン自動判別撮影モードやマニュアル撮影モードを有するが、以下の説明においては、特殊効果撮影モードの設定方法のみについて説明する。
まず、ユーザが電源スイッチ211を操作することにより、撮像装置1の起動に伴って、制御部32は、撮像装置1の撮影モードが特殊効果撮影モードに設定されているか否かを判断する。具体的には、制御部32は、撮影モード切換スイッチ213が特殊効果撮影モード(ART)に設定されているか否かを判断する(図2および図3を参照)。撮像装置1の撮影モードが特殊効果撮影モードに設定されていない場合、制御部32は、他の撮影モードに対応した操作メニュー画面やライブビュー画像を表示部25に表示させる。
これに対して、撮像装置1の撮影モードが特殊効果撮影モードに設定されている場合、表示制御部327は、特殊効果撮影モードに対応する特殊効果撮影操作メニュー画面を表示部25に表示させる。
図9は、撮像装置1が特殊効果撮影モードに設定されている場合に表示部25が表示する特殊効果撮影モードにおける特殊効果撮影操作メニュー画面遷移の一例を示す図である。
図9に示すように、表示制御部327は、撮像装置1が特殊効果撮影モードに設定された場合、特殊効果撮影モードにおける特殊効果撮影操作メニュー画面W11を表示部25に表示させる(図9(a)を参照)。特殊効果撮影操作メニュー画面W11には、撮像装置1で実行可能な各特殊効果処理に関する情報がアイコンA1〜A9として表示されている。
続いて、表示制御部327は、ユーザが操作スイッチ214の上ボタン214aまたは下ボタン214bを操作することにより、操作スイッチ214から入力される操作信号に応じて表示部25が表示する特殊効果撮影操作メニュー画面W11の内容を表示部25に切り換えさせる。具体的には、表示制御部327は、操作スイッチ214から入力される操作信号に応じて、特殊効果撮影操作メニュー画面W11内に表示されるアイコンA1〜A9の色を変更するとともに、選択されたアイコンに対応する特殊効果処理のタイトル、たとえば「ファンタジックフォーカス」、「ラフモノクローム」および「ジオラマ」等を表示部25に表示させる(図9(a)→図9(b)→図9(c))。これにより、ユーザは、所望の特殊効果処理を選択することができるとともに、選択した特殊効果処理を直感的に確認することができる。
その後、制御部32は、ユーザによって操作スイッチ214の決定ボタン214eが操作された際に表示部25が特殊効果撮影操作メニュー画面W11で現在表示している特殊効果処理、たとえば「ファンタジックフォーカス」(図9(a)を参照)を特殊効果撮影モードの特殊効果処理として撮像装置1に設定する。なお、設定された特殊効果処理に関する情報は、メモリ13に記憶される。
続いて、表示制御部327は、特殊効果撮影操作メニュー画面W11で選択された特殊効果処理を画像処理部14が行った画像データに対応するライブビュー画像を表示部25に表示させる。これにより、ユーザは、撮像した画像データに対して選択した特殊効果処理が施されたライブビュー画像をリアルタイムで確認しながら撮影の構図を決定することができる。
つぎに、図10および図11を参照して、画像処理部14が特殊効果撮影モードで実行する特殊効果処理の処理内容について説明する。図10は、第1特殊効果処理情報記憶部272aが記憶する第1特殊効果処理情報テーブルの一例を示す図である。図11は、第2特殊効果処理情報記憶部272bが記憶する第2特殊効果処理情報テーブルの一例を示す図である。
図10に示すように、第1特殊効果処理情報テーブルT1には、特殊効果撮影モードで画像処理部14が左目画像および右目画像それぞれに対して実行可能な各特殊効果処理と、各特殊効果処理の画像処理の内容が記載されている。さらに、第1特殊効果処理情報テーブルT1には、特性特定部325が特定する顔の特性と、画像処理部14が左目画像および右目画像それぞれに対して実施可能な各特殊効果処理との組み合わせに応じた推奨度が記載されている。たとえば、設定された特殊効果撮影モードの特殊効果処理「Art1」の「ファンタジックフォーカス」で特性特定部325が顔を「男性」と特定した場合、処理内容として「トーンカーブ処理(弱い)」、「ぼかし処理(強い)」および「合成処理」が記載され、推奨度として「4」が記載されている。ここで、合成処理とは、画像処理部14がトーンカーブ処理を行った画像データと、ぼかし処理を行った画像データとを合成した画像データを生成する画像処理である。また、設定された特殊効果撮影モードの特殊効果処理「Art1」の「ファンタジックフォーカス」で特性特定部325が顔を「女性」と特定した場合、処理内容として「トーンカーブ処理(強い)」、「ぼかし処理(弱い)」および「合成処理」が記載され、推奨度として「1」が記載されている。
さらに、設定された特殊効果撮影モードの特殊効果処理が「Art7」の「墨絵」で特性特定部325が顔を「男性」と特定した場合、処理内容として「色彩判定ブロック化処理」、「2値化処理」および「エッジ処理(弱め)」が記載され、推奨度として「7」が記載されている。ここで、色彩判定ブロック化処理とは、画像内で類似する色を同じ色に変換するとともに、画素間を同じ大きさでブロックにまとめる画像処理である。
このように、第1特殊効果処理情報テーブルT1には、特性特定部325が特定した顔の特性に応じて、画像処理部14が行う各特殊効果処理の推奨度が記載されているとともに、各特殊効果処理に記載された画像処理のパラメータを変更して記載されている。たとえば、赤ちゃんまたはペットの場合、撮影する画像の背景が地面になりがちになるうえ、赤ちゃんまたはペットはふっくら見える方が可愛く写る。このため、赤ちゃんまたはペットの場合、背景をぼかす特殊効果処理(ファンタジックフォーカス)の推奨度を最も高くすることで、被写体と背景との境界を強調させる。これにより、被写体のイメージに相応しい雰囲気で背景から被写体を引き立たせることができる。なお、第1特殊効果処理情報テーブルT1には、被写体の特性を3種類のみしか記載していないが、たとえば年齢またはペットの種類ごとに各特殊効果処理および推奨度を記載してもよい。さらに、被写体の数や動きに応じた各特殊効果処理や推奨度を記載してもよい。
つぎに、第2特殊効果処理情報記憶部272bが記憶する第2特殊効果処理情報テーブルについて説明する。図11に示すように、第2特殊効果処理情報テーブルT2には、特殊効果撮影モードで画像処理部14が左目画像および右目画像それぞれに対して実行可能な各特殊効果処理と、各特殊効果処理の画像処理の内容が記載されている。たとえば、設定された特殊効果撮影モードの特殊効果処理「Art1」の「ファンタジックフォーカス」の場合、処理内容として「トーンカーブ処理(弱い)」、「ぼかし処理(強い)」および「合成処理」が記載され、推奨度として「1」が記載されている。
さらに、設定された特殊効果撮影モードの特殊効果処理が「Art9」の「ジオラマ」の場合、処理内容として「色相・彩度処理」、「コントラスト処理」、「3回ぼかし処理」および「3回合成処理」が記載され、推奨度として「9」が記載されている。ここで、3回ぼかし処理とは、画像処理部14が色彩・彩度処理後、コントラスト処理を行った画像データに対してぼかし処理を3回行う処理である。また、3回合成処理とは、画像処理部14がぼかし処理を行うごとに、ぼかし処理前の画像データと、ぼかし処理後の画像データとを合成した画像データを生成する画像処理である。
このように、ユーザによって特殊効果処理を撮像装置1に手動設定する際に2D画像を想定した特殊効果処理の推奨度を低く設定することで、ユーザに対して推奨度の高い特殊効果処理を積極的に選択させる。これにより、3D画像を撮影する際に2次元的な位置と3次元的な位置とでつじつまが合わなくなる特殊効果処理が選択されることを低減することができる。
つぎに、本実施の形態1にかかる撮像装置1が行う処理について説明する。図12は、撮像装置1が行う処理の概要を示すフローチャートである。
図12に示すように、まず、制御部32は、撮像装置1が撮影モードであるか否かを判断する(ステップS101)。撮像装置1が撮影モードである場合(ステップS101:Yes)、撮像装置1は後述するステップS102に移行する。一方、撮像装置1が撮影モードに設定されていない場合(ステップS101:No)、撮像装置1はステップS112に移行する。
ステップS101において、撮像装置1が撮影モードに設定されている場合(ステップS101:Yes)について説明する。この場合、表示制御部327は、撮像部100が一定の微小な時間間隔で連続的に生成する一対の画像データに対応する3D画像のライブビュー画像を表示部25に表示させる(ステップS102)。具体的には、表示制御部327は、撮像部100によって生成された一対の画像データに対して、立体画像生成部321が左目画像データおよび右目画像データそれぞれを切り出して生成した3D画像のライブビュー画像を表示部25に表示させる。
続いて、制御部32は、撮影モードが特殊効果撮影モードであるか否かを判断する(ステップS103)。撮影モードが特殊効果撮影モードである場合(ステップS103:Yes)、撮像装置1は、撮像する画像に対して視覚的な効果を生じさせる特殊効果設定処理を実行し(ステップS104)、ステップS105に移行する。
これに対して、撮影モードが特殊効果撮影モードでない場合(ステップS103:No)、撮像装置1は後述するステップS105に移行する。
レリーズスイッチ212が操作された撮影を指示するレリーズ信号が入力された場合(ステップS105:Yes)、撮像装置1は撮影を行う(ステップS106)。
続いて、制御部32は、撮像した画像データから画像ファイルを作成する(ステップS107)。この画像ファイルは、たとえば、撮像部100によって生成された左目画像および右目画像それぞれに対して、画像処理部14が特殊効果処理を背景領域に行った画像データから生成したものである。
その後、制御部32は、生成した画像ファイルを外部メモリ28に記憶させる(ステップS108)。
続いて、電源スイッチ211が操作されることにより撮像装置1の電源がオフであるか否かを判断する(ステップS109)。撮像装置1の電源がオフである場合(ステップS109:Yes)、撮像装置1は本処理を終了する。
これに対して、撮像装置1の電源がオフでない場合(ステップS109:No)、制御部32は、撮影モード切換スイッチ213が操作されたとき(ステップS110:Yes)、撮影モード切換スイッチ213から入力される操作信号に応じて撮像装置1のモードを切り換え(ステップS111)、撮像装置1はステップS101に戻る。
ステップS101において、撮像装置1が撮影モードでない場合(ステップS101:No)について説明する。この場合、制御部32は、撮像装置1が再生モードであるか否かを判断する(ステップS112)。撮像装置1が再生モードでない場合(ステップS112:No)、撮像装置1はステップS101に戻る。
これに対して、撮像装置1が再生モードである場合(ステップS112:Yes)、表示制御部327は、表示部25に外部メモリ28が記憶する画像ファイルを一覧表示させる(ステップS113)。
続いて、制御部32は、表示部25が表示している画像ファイルの一覧から画像ファイルが選択された場合(ステップS114:Yes)、表示制御部327は、選択された画像ファイルに含まれる画像データに対応する画像を表示部25に表示させる(ステップS115)。
その後、制御部32は、画像再生の終了操作が行われたか否かを判断する(ステップS116)。具体的には、制御部32は、撮影モード切換スイッチ213が操作されることにより、再生モードから撮影モードに切り換えられたか否かを判断する。画像再生の終了操作が行われていない場合(ステップS116:No)、撮像装置1は上述したステップS113に戻る。一方、画像再生の終了操作が行われた場合(ステップS116:Yes)、撮像装置1はステップS109に移行する。
つぎに、図12に示したステップS104の特殊効果処理設定について説明する。図13は、図12に示す特殊効果設定処理の概要を示すフローチャートである。
図13に示すように、まず、視差量算出部323は、左目画像および右目画像それぞれに含まれる周辺領域を重ねるように左目画像および右目画像を重畳し(ステップS201)、左目画像および右目画像における視差量を算出する(ステップS202)。たとえば、視差量算出部323は、左目画像および右目画像それぞれに含まれる背景を重畳することにより、左目画像および右目画像における視差量を算出する。
続いて、切分け部324は、視差量算出部323が算出した視差量に応じて、左目画像および右目画像の領域それぞれを近距離領域と背景領域とに切り分ける切分け処理を行う(ステップS203)。具体的には、切分け部324は、視差量算出部323が算出した視差量が閾値記憶部275に記憶された閾値以上の領域があるか否かを判定する。その後視差量算出部323が算出した視差量が閾値記憶部275に記憶された閾値以上の領域がある場合、視差量算出部323が算出した視差量が閾値記憶部275に記憶された閾値以上の領域を近距離領域として切り分ける。左目画像および右目画像の領域それぞれを近距離領域と背景領域とに切り分けることができた場合(ステップS203:Yes)、顔検出部322は、左目画像または右目画像における近距離領域に含まれる人物の顔を検出する(ステップS204)。
その後、特性特定部325は、顔検出部322によって検出された顔の特性を特定する特性特定処理を行う(ステップS205)。顔検出部322によって検出された顔の特性を特定することができた場合(ステップS205:Yes)、画像処理設定部326は、特殊効果処理情報記憶部272が記憶する特殊効果処理情報テーブルT1を参照して、ユーザによる特殊効果処理の手動設定がなれければ、特性特定部325が特定した特性に応じて、推奨度が最も高い特殊効果処理を画像処理部14が行う処理として設定する(ステップS206)。たとえば、特性特定部325が顔検出部322によって検出された顔を男性であると特定した場合、画像処理設定部326は、推奨度が最も高い特殊効果処理(図10を参照)を画像処理部14が行う処理として設定する。
続いて、画像処理部14は、画像処理設定部326によって設定された特殊効果処理を背景領域に対して行う(ステップS207)。これにより、表示部25が表示するライブビュー画像は、背景領域のみ特殊効果処理が施された3D画像になるので、近距離領域(主要被写体)が背景領域に比較して強調されたものとなる。
その後、メニュースイッチ215が操作された場合(ステップS208:Yes)、表示制御部327は、特殊効果処理情報に関する特殊効果アイコンを表示部25に表示させる(ステップS209)。具体的には、図14に示すように、表示制御部327は、表示部25の表示画面W21上にライブビュー画像W21aおよび特殊効果処理に関する特殊効果アイコンA11〜A14および特殊効果アイコンの切り換えの指示が入力される切換アイコンA21,A22を表示部25に表示させる。この際、表示制御部327は、3D画像に対して適用可能な特殊効果処理のみ特殊効果アイコンを表示部25に表示させるようにしてもよい。
続いて、表示部25が表示する特殊効果アイコンを選択する操作が行われ、特殊効果処理が選択された場合(ステップS210:Yes)、画像処理設定部326は、その時点で設定されている特殊効果処理を選択された特殊効果処理に設定を変更する(ステップS211)。その後、撮像装置1は図12のメインルーチンに戻る。
切分け部324が左目画像および右目画像それぞれにおいて近距離領域と背景領域とに切り分けることができなかった場合(ステップS203:No)、または特性特定部325が顔検出部322によって検出された顔の特性を特定することができなかった場合(ステップS205:No)について説明する。この場合、画像処理部14は、第2特殊効果処理情報記憶部272bが記憶する第2特殊効果処理情報テーブルT2を参照して、ユーザによる特殊効果処理の手動設定がなければ推奨度の最も高い特殊効果処理を左目画像および右目画像の全体領域それぞれに行う(ステップS212)。
続いて、メニュースイッチ215が操作された場合(ステップS213:Yes)、表示制御部327は、特殊効果処理情報に関する特殊効果アイコン(図14を参照)を表示部25に表示させる(ステップS214)。
その後、表示部25が表示する特殊効果アイコンを選択する操作が行われ、特殊効果処理が選択された場合(ステップS215:Yes)、画像処理設定部326は、その時点で設定されている特殊効果処理から選択された特殊効果処理に設定する(ステップS216)。その後、撮像装置1は図12のメインルーチンに戻る。
以上説明した本発明の実施の形態1によれば、切分け部324が視差量算出部323によって算出された視差量に応じて、左目画像および右目画像それぞれの領域を近距離領域と背景領域とに切り分け、画像処理設定部326が顔検出部322によって検出された顔が近距離領域内にある場合、背景領域を画像処理部14が特殊効果処理を行う領域として設定する。この結果、被写体の写実性をそのままにしながら背景によって被写体を引き立たせることができる。
さらに、本発明の実施の形態1によれば、特性特定部325が顔検出部322によって検出された顔の特性を特定した場合、第1特殊効果処理情報テーブルT1を参照して、推奨度の最も高い特殊効果処理を画像処理部14が行う処理として設定する。これにより、被写体の特性に応じて、被写体と背景との境界を強調させることができるので、より被写体のイメージに相応しい雰囲気で被写体を引き立たせることができる。
(実施の形態2)
つぎに、本発明の実施の形態2について説明する。本発明の実施の形態2では、撮像装置1が行う特殊効果設定処理が実施の形態1と異なる。このため、本発明の実施の形態2にかかる撮像装置が行う特殊効果設定処理のみ説明する。なお、本発明の実施の形態2にかかる撮像装置は、上述した撮像装置1と同様の構成を有するため説明を省略する。
図15は、本実施の形態2にかかる撮像装置1が行う特殊効果設定処理の概要を示すフローチャートである。
図15に示すように、まず、顔検出部322は、左目画像および右目画像それぞれに含まれる顔を検出する(ステップS301)。
続いて、制御部32は、顔検出部322が左目画像および右目画像からそれぞれ検出した顔の顔領域が所定値以上であるか否かを判断する(ステップS302)。具体的には、制御部32は、顔検出部322が左目画像および右目画像からそれぞれ検出した顔の顔領域が、たとえば画像全体に対して5%以上占めるか否かを判断する。顔の顔領域が所定値以上である場合(ステップS302:Yes)、撮像装置1はステップS303に移行する。
その後、視差量算出部323は、顔検出部322が検出した左目画像の顔領域および右目画像の顔領域を重畳し(ステップS303)、左目画像および右目画像の視差量を算出する(ステップS304)。
続いて、切分け部324は、視差量算出部323が算出した視差量に応じて、左目画像および右目画像の領域それぞれを近距離領域と背景領域とに切り分ける切分け処理を行う(ステップS305)。左目画像および右目画像の領域それぞれを近距離領域と背景領域とに切り分けることができた場合(ステップS305:Yes)、撮像装置1はステップS306に移行する。
その後、特性特定部325は、顔検出部322によって検出された顔の特性を特定する(ステップS306)。顔検出部322によって検出された顔の特性を特定することができた場合(ステップS306:Yes)、画像処理設定部326は、特性特定部325が特定した特性に応じて、第1特殊効果処理情報記憶部272aが記憶する特殊効果処理情報テーブルT1を参照し、ユーザによる特殊効果処理の手動設定がなければ、推奨度が最も高い特殊効果処理を画像処理部14が行う処理として設定する。(ステップS307)。
続いて、画像処理部14は、画像処理設定部326によって設定された特殊効果処理を左目画像および右目画像それぞれの背景領域に対して行う(ステップS308)。これにより、表示部25が表示するライブビュー画像は、背景領域のみ特殊効果が施された3D画像になるので、近距離領域が背景領域に比較して強調されたものとなる。
その後、メニュースイッチ215が操作された場合(ステップS309:Yes)、表示制御部327は、特殊効果アイコンを表示部25に表示させる(ステップS310)。
続いて、表示部25が表示する3D画像の近距離領域がタッチされ(ステップS311:Yes)、所定時間内、たとえば3秒以内に特殊効果アイコンを操作する操作が行われ、特殊効果処理が選択された場合(ステップS312:Yes)、画像処理部14は、選択された特殊効果処理を近距離領域に対して行う(ステップS313)。その後、撮像装置1は図12のメインルーチンに戻る。
図16は、図15のステップS311〜S313の処理の概要を説明する模式図である。図16に示すように、ユーザは、まず、表示部25が表示画像W31上に表示するライブビュー画像W31aの近距離領域E11にタッチする(図16(a))。その後、ユーザは、所望の特殊効果アイコンとして特殊効果アイコンA11をタッチする(図16(b))。この場合、画像処理部14は、特殊効果アイコンに応じた特殊効果処理を近距離領域E11に対して行う。その後、ユーザは、手動設定による特殊効果処理の決定を指示する操作信号の入力を受け付ける決定アイコンA33をタッチする(図16(c))。これにより、画像処理部14は、近距離領域に対してユーザが所望する特殊効果処理を行うことができる。なお、図16の画像W31aは、3D画像を模式的に平面で示している。
図15に戻り、説明を続ける。ステップS311において表示部25が表示する3D画像の近距離領域(人物)がタッチされず(ステップS311:No)、特殊効果アイコンを操作する操作が行われ、特殊効果処理が選択された場合(ステップS314:Yes)、画像処理設定部326は、画像全体に対してその時点で設定されている特殊効果処理から選択された特殊効果処理に設定する(ステップS315)。その後、撮像装置1は図12のメインルーチンに戻る。なお、近距離領域がタッチされた場合、背景領域のみに特殊効果処理が設定されるようにしてもよい。
顔検出部322が検出した顔領域が所定値以上でない場合(ステップS302:No)、左目画像および右目画像それぞれにおいて近距離領域と背景領域とに切り分けることができなかった場合(ステップS305:No)、または顔検出部322によって検出された顔の特性を特定することができなかった場合(ステップS306:No)について説明する。この場合、画像処理部14は、第2特殊効果処理情報記憶部272bが記憶する特殊効果処理情報テーブルT2を参照して、ユーザによる特殊効果処理の手動設定がなければ、推奨度が最も高い特殊効果処理を左目画像および右目画像の全領域それぞれに対して行う(ステップS316)。
続いて、メニュースイッチ215が操作された場合(ステップS317:Yes)、表示制御部327は、特殊効果アイコンを表示部25に表示させる(ステップS318)。
その後、表示部25が表示する特殊効果アイコンを選択する操作が行われ、特殊効果処理が選択された場合(ステップS319:Yes)、画像処理設定部326は、その時点で設定されている特殊効果処理から選択された特殊効果処理に設定する(ステップS320)。その後、撮像装置1は図12のメインルーチンに戻る。
以上説明した本発明の実施の形態2によれば、上述した実施の形態1と同様の効果を有する。さらに、画像処理部14は、ユーザが手動設定によって設定した特殊効果処理を近距離領域に対して行うことができる。この結果、近距離領域および背景領域それぞれに対して異なる特殊効果処理を行うことができ、撮像する画像に対してより独創的な表現を行うことができる。
なお、本実施の形態1,2では、特性特定部325が顔検出部322によって検出された顔の特性を特定した場合、第1特殊効果処理情報テーブルT1を参照して、推奨度の最も高い特殊効果処理を画像処理部14が行う処理として設定し、画像処理設定部326が背景領域を画像処理部14が特殊効果処理を行う領域として設定していたが、たとえば、メニュースイッチ215等によって背景領域に設定された特殊効果処理を変更するようにしてもよい。
(変形例1)
上述した実施の形態では、画像処理設定部326が、特性特定部325によって特定された顔の特性に応じて、画像処理部14が行う特殊効果処理の内容を設定していたが、たとえば顔検出部322によって検出された顔を登録するとともに、登録した顔に対応付けて画像処理部14が行う特殊効果処理の内容を設定してもよい。
図17は、本実施の形態の変形例1にかかる撮像装置1で被写体を撮影する際の状況を示す図である。図18は、図17に示す状況下で表示部25が表示する画面遷移の一例を示す図である。なお、上述した撮像装置1と同様の構成を有するため説明を省略する。
図17および図18に示すように、ユーザは、たとえば図18の表示画面W40上に表示されるライブビュー画像W40aを見ながら被写体E50を撮影する際の構図を決定する。図18に示す状況下で、表示制御部327は、顔検出部322が検出した顔領域に対応するフレームF1をライブビュー画像W40aに表示させる。この際、ユーザが表示部25によって表示されるライブビュー画像W40a上のフレームF1をタッチした場合、制御部32は、タッチパネル26から入力される操作信号に応じてフレームF1の顔の特性を含む顔情報を不揮発性メモリ27に記憶させる。
続いて、表示制御部327は、特殊効果処理アイコンA11〜A19を表示画面W40上の右領域R40に表示させる。その後、制御部32は、ユーザが表示部25によって表示される特殊効果処理アイコンA11〜A19のいずれかをタッチした場合(図18(a))、ユーザがタッチした特殊効果アイコンに応じた特殊効果処理の内容を、不揮発性メモリ27に記憶させた顔に対応付けて記憶させる。
その後、表示制御部327は、表示部25が表示する表示画面W40上の右領域R40に設定された特殊効果処理の内容に対応する特殊効果処理を表示させるとともに、表示画面W40の下領域R41に補助メッセージを表示させる(図18(b))。
このように、本実施の形態の変形例によれば、顔検出部322が不揮発性メモリ27に記憶された顔情報と一致する顔を検出した場合、画像処理設定部326が顔情報に対応付けられた特殊効果処理の内容を画像処理部14に自動的に設定することができる。
(変形例2)
また、上述した実施の形態では、3D撮影可能なレンズ部3を用いて一対の画像データを生成していたが、たとえば、1つの光学系のみを有する構成とし、この構成で連続的に撮像することにより、一対の画像データを生成することができる。具体的には、図19に示すように、ユーザが撮像装置200を左から右に向けて移動(矢印C)させながら被写体E100を連続的に撮像することにより、被写体に対して視差を有する一対の画像データを生成するようにしてもよい。
(その他の実施の形態)
また、上述した実施の形態では、画像処理部14は、撮影時に特殊効果処理を行っていたが、たとえば外部メモリ28に記憶された画像データを再生する際の3D画像または2D画像に対して本処理を行ってもよい。
また、上述した実施の形態では、静止画撮影を例に説明したが、動画撮影においても本処理を適応することができる。
また、上述した実施の形態では、撮像装置1をデジタル一眼デジタルカメラとして説明していたが、たとえばレンズ部3と本体部2とが一体に形成されたデジタルカメラ、デジタルビデオカメラ、カメラ付き携帯電話等の撮影機能と表示機能を備えた各種電子機器に適用することができる。