(第1実施形態)
以下、本発明の第1実施形態を説明する。本実施形態は、デジタルカメラの実施形態である。
図1は、第1実施形態のデジタルカメラのブロック図である。
図1において、デジタルカメラ本体100は、撮像素子1と、撮影レンズ2と、レンズ駆動回路3と、制御回路4と、操作部材5と、撮像素子駆動回路6と、信号処理回路7と、データ処理回路8と、圧縮/伸張回路9と、モニタ11と、表示制御回路12と、測光回路13とを有し、さらに記録媒体10が設けられている。
記録媒体10は、メモリカード、小型ハードディスク、DVD等の光ディスクなどで構成される。なお、記録媒体10は、デジタルカメラ本体100に内蔵されるものであっても、着脱可能に装着されるものであってもよいし、本体100の外部に設けられるものであってもよい。外部に設けられる場合、記録媒体10とデジタルカメラ本体100とは、有線または無線で電気的に接続される。
撮影レンズ2は、撮影光学系を構成する複数枚のレンズ群で構成され、撮像素子1の撮像面上に被写体像を結像させる。
撮影レンズ2は、不図示のフォーカスレンズを含み、レンズ駆動回路3がフォーカスレンズを光軸方向に進退駆動することにより、撮影レンズ2のフォーカス調節が行われる。また、撮影レンズ2は、不図示のズームレンズを含み、レンズ駆動回路3がズームレンズを光軸方向に進退駆動することにより、撮影レンズ2のズーム調節が行われる。
なお、簡単のため、図1では撮影レンズ2を1枚のレンズとして図示している。
レンズ駆動回路3は、制御回路4から出力されるレンズ駆動指令に応じてレンズ駆動信号を発生し、このレンズ駆動信号により不図示のレンズ駆動機構を駆動することで、撮影レンズ2の各レンズを移動させる。
撮像素子1は、連写画像の撮影が可能な撮像素子であり、例えば、CCD型撮像素子、あるいはCMOS型撮像素子などによって構成される。なお、撮像素子1は、勿論、1フレーム毎の静止画像の撮影も可能である。
撮像素子駆動回路6は、制御回路4から出力される指令に応じて所定タイミングの駆動信号を発生し、この駆動信号を撮像素子1へ供給する。撮像素子1は、供給された駆動信号によって、電荷の蓄積(撮像)や蓄積した電荷の読み出しが制御される。
制御回路4は、測光回路13による被写体の測光データを用いて被写界の明るさの情報を求め、この明るさの情報に基づいて、撮像素子1の電荷蓄積時間、撮影レンズ2の絞り、および撮像素子1から出力される画像信号の増幅率などの撮影条件を決定する。
なお、被写界の明るさの情報は、撮像素子1から出力される画像信号に基づき、制御回路4が求める構成としてもよい。但し、そうした場合には、撮像素子1が測光回路13の機能を司る。
信号処理回路7は、制御回路4からの指令に応じて、撮像素子1から出力される画像信号に対し、CDS(相関二重サンプリング)、増幅(ゲイン調整)、A/D変換、ホワイトバランスなどの信号処理を施す。そして、信号処理回路7は、その信号処理後のデータを画像データとしてデータ処理回路8へ出力する。
また、信号処理回路7は、制御回路4からの指令に基づきゲイン調整の調整量(増幅率)を設定し、それによってISO感度に相当する撮影感度の調整を行う。
データ処理回路8は、制御回路4からの指令に応じて、信号処理回路7から出力される画像データに対し、輪郭強調、カラー調整、ガンマ補正、解像度変換(画素数変換)などの画像処理を施す。なお、解像度変換(画素数変換)は、モニタ11に画像データの再生画像を表示させる場合などに必要な処理である。
そして、データ処理回路8は、制御回路4からの指令に応じて、画像処理後の画像データをモニタ11に表示させるために表示制御回路12へ出力する。また、データ処理回路8は、制御回路4からの指令に応じて、画像処理後の画像データを圧縮/伸張回路9へ出力する。
表示制御回路12は、制御回路4からの指令に応じて、データ処理回路8から出力される画像データに所定の信号処理を施してモニタ11へ出力する。表示制御回路12は、さらに、撮影メニューやカーソルなどのオーバレイ画像データを前記画像データに重畳する処理を行う。これにより、オーバレイ画像が重畳された被写体画像がモニタ11に表示される。
圧縮/伸張回路9は、制御回路4からの指令に応じて、データ処理回路8から出力される画像データに、例えばJPEG(Joint Photographic Experts Group)形式等の所定の形式で圧縮処理を施し、その圧縮後の画像データを記録媒体10へ記録する。但し、操作部材5の操作により非圧縮記録が指示された場合には、圧縮/伸張回路9は、画像データを、圧縮処理を施すことなく記録媒体10へ記録する。
圧縮/伸張回路9は、可逆圧縮(いわゆるロスレス符号化)を行うことも可能な構成となっている。
また、デジタルカメラ本体100は、記録媒体10に記録されている画像データの再生画像をモニタ11に表示することも可能とするように構成される(再生モード)。
この場合、圧縮/伸張回路9は、再生モード時に、制御回路4からの指令に応じて、記録媒体10に記録されている画像データを読み出して復号処理を施し、その復号後の画像データをデータ処理回路8へ出力する。そして、データ処理回路8は、復号後の画像データに解像度変換処理を施して、その変換処理後の画像データを表示制御回路12へ出力する。これにより、画像データの再生画像がモニタ11に表示される。なお、記録媒体10に記録されているうちの非圧縮の画像データが読み出された場合には、圧縮/伸張回路9による復号処理は行われない。
操作部材5は、レリーズ釦を含み、部材操作の内容に応じた操作信号を制御回路4へ送る。制御回路4は、操作部材5から撮影を指示する操作信号を受けると、撮像素子1から出力される画像信号のうち、撮影画面内にあらかじめ設定されているフォーカス検出領域に対応する信号を用いて、公知のコントラスト方式のAF(オートフォーカス)動作を行う。
具体的には、制御回路4は、信号処理回路7により信号処理が施された画像データのうち、フォーカス検出領域に対応するデータについての高周波数成分の積算値(いわゆる焦点評価値)を最大とするように、レンズ駆動指令(フォーカス調節信号)をレンズ駆動回路3へ与える。ここで、焦点評価値が最大となるフォーカスレンズの位置は、撮像素子1により撮影される被写体像のエッジのぼけをなくし、画像のコントラストを最大とした(尖鋭度を高めた)合焦位置である。
なお、コントラスト方式のAF動作に加えて、公知の瞳分割方式による位相差AF動作を行うように構成してもよい。もちろん、位相差AF動作のみを行う構成としてもよい。
また、撮影被写体が移動する場合には、上記の当初のフォーカス検出領域を、被写体の移動に伴って追尾させ、常に特定の被写体に焦点が合うように制御する構成としてもよい。
操作部材5は、ズーム操作部材も含む。制御回路4は、操作部材5からズーム操作に応じたズーム操作信号を受けると、レンズ駆動指令(ズーム調節信号)をレンズ駆動回路3へ与え、撮影レンズ2のズームレンズを進退駆動させる。これにより、撮像素子1の撮像面上に結像される被写体像が拡大もしくは縮小し、光学的にズーム調節される。
制御回路4は、さらにズーム操作信号を受けると、データ処理回路8へ指令を与えて、画像データに対する解像度変換処理の変換比率をズーム操作信号に応じて変化させる。なお、解像度変換処理の変換比率は電子ズームの倍率に対応する。これにより、モニタ11に表示される再生画像が拡大もしくは縮小し、電気的にズーム調節される(電子ズーム)。
電子ズームにおいて、データ処理回路8がズーム倍率を高める方向に変換比率を変える場合は、再生画像の一部が拡大されてモニタ11に表示される。この場合、表示される再生画像は、拡大率が上がるが、画像の表示範囲は狭くなる。反対に、データ処理回路8がズーム倍率を低くする方向に変換比率を変える場合は、モニタ11に表示される再生画像は、拡大率が下がるが、画像の表示範囲は広くなる。
ここで、撮影モード設定時および撮影時のデジタルカメラの動作を簡単に説明する。
モード釦等の操作によりデジタルカメラが撮影モードに設定されると、制御回路4は、レンズ駆動回路3、撮像素子駆動回路6、信号処理回路7およびデータ処理回路8を駆動してスルー画像の撮影を開始する。
このとき、撮像素子1はドラフトモード(間引き読み出しモード)で駆動され、スルー画像の画像データが信号処理回路7およびデータ処理回路8を介して、順次、表示制御回路12へ出力される。
制御回路4は、表示制御回路12を駆動して、スルー画像をモニタ11に表示させる。また、制御回路4は、信号処理回路7を介して出力されるスルー画像の画像データを基に、レンズ駆動回路3と協働してAF動作を行う。さらに、制御回路4は、測光回路13による被写体の測光データから決定した画像信号の増幅率などの撮影条件に基づき、信号処理回路7のゲイン調整等の露出制御などを行う。
撮影モードで動作中にレリーズ釦が全押しされると、制御回路4は、測光回路13による被写体の測光データを用いて求めた被写界の明るさの情報に基づき撮影条件(絞り値、シャッター速度、フラッシュ発光の有無など)を決定すると共に、その決定した撮影条件の下でレンズ駆動回路3、撮像素子駆動回路6、信号処理回路7およびデータ処理回路8を駆動して本撮影を行う。
このとき、撮像素子1はフレームモード(全画素読み出しモード)で駆動され、撮影された本撮影画像の画像データが信号処理回路7およびデータ処理回路8を介して表示制御回路12と圧縮/伸張回路9へ出力される。
制御回路4は、表示制御回路12を駆動して本撮影画像をモニタ11に表示させ、また、圧縮/伸張回路9を駆動して本撮影画像の画像データに圧縮処理を施し、その圧縮処理後の画像データを記録媒体10へ記録する。
以下、デジタルカメラの被写体及び/又は撮影シーンの認識の動作を、図2の流れ図を参照して説明する。図2は、デジタルカメラが撮影モードに設定されたときに繰り返し実行されるフローである。
ステップ101:制御回路4は、撮像素子駆動回路6を駆動して、撮像素子1をドラフトモード(間引き読み出しモード)で駆動させ、スルー画像の撮影を開始する。
ステップ102:制御回路4は、信号処理回路7を介して出力された1フレーム分のスルー画像を取得する。
ステップ103:制御回路4は、取得したスルー画像に対し、第1の認識処理を行う。この第1の認識処理は、本撮影の撮影条件および本撮影で実施する画像処理の内容を決定するため、即ち「画作り」を目的とした処理である。
具体的には、制御回路4は、スルー画像に特定の被写体(人の顔や花など、予め定められた特定の物体)が写っているかの認識処理を行う。なお、以下では、特定の被写体が人の「顔」であるものとして説明を行う。また、特定の被写体(「顔」)の認識処理には、例えば、特開2006−155096号公報などで開示された従来の顔認識処理の技術を用いることができる。
制御回路4は、また、スルー画像に対し、特定の撮影シーン(晴れ、曇り、夕焼けなど、予め定められた特定のシーン)であるかの認識処理を行う。なお、以下では、特定の撮影シーンが「曇り」であるものとして説明を行う。また、特定の撮影シーンの認識は、画像の色分布を調べることなどによって行える。
なお、第1の認識処理での特定の被写体及び/又は特定の撮影シーンの認識は、従来技術の認識処理よりも認識精度が高くなるようにして行うとよい。なぜならば、第1の認識処理は「画作り」を目的とした処理なので、本撮影の撮影条件および本撮影で実施する画像処理の内容を誤ったものとしないように、認識処理での誤認識をできるだけ少なくして確実に認識を行う必要があるからである。
ステップ104:制御回路4は、第1の認識処理において、特定の被写体(「顔」)又は特定の撮影シーン(「曇り」)を認識できたか否かを判定する。
制御回路4は、「顔」又は「曇り」又はそれら双方が認識できた場合(Yes側)にはステップ105へ移行し、一方、いずれも認識できない場合(No側)にはステップ107へ移行する。
ステップ105:制御回路4は、第1の認識処理の結果(第1の認識結果)を不図示のメモリなどへ記録する。
なお、第1の認識処理において、「顔」と「曇り」の両方が認識された場合、メモリ(不図示)などには、例えば「画作り用の認識結果:被写体[顔]=”検出OK”,撮影シーン[曇り]=”検出OK”」とのような内容の認識結果が記録される。
また、「顔」又は「曇り」が認識された場合、メモリ(不図示)などには、例えば「画作り用の認識結果:被写体[顔]=”検出OK”,撮影シーン[曇り]=”検出NG”」又は「画作り用の認識結果:被写体[顔]=”検出NG”,撮影シーン[曇り]=”検出OK”」とのような内容の認識結果が記録される。
ステップ106:制御回路4は、第1の認識結果に応じて、本撮影の撮影条件(絞り値、シャッター速度、フラッシュ発光の有無など)および本撮影で実施する画像処理の内容を適切なものに決定する。
なお、画像処理の内容であるが、第1の認識結果に「顔」が認識されていれば、画像処理の内容は、例えば、「顔の部分がのっぺりとした画像にならないように階調性を重視して、かつ顔の肌色が綺麗になるようにカラー調整処理を施す」とのような内容に決定される。
また、第1の認識結果に「曇り」が認識されていれば、撮影される画像は、色温度が高く、カラーバランスが青に偏り、コントラストが低くなりがちであるので、画像処理の内容は、例えば、「それらを補償するようにカラー調整処理やコントラスト補正処理を施す」とのような内容に決定される。
そして、制御回路4は、ステップ108へ移行する。
ステップ107:制御回路4は、通常のデジタルカメラのオートモード(自動露出モードなど)によって、本撮影の撮影条件(絞り値、シャッター速度、フラッシュ発光の有無など)および本撮影で実施する画像処理の内容を決定する。
ステップ108:制御回路4は、取得したスルー画像に対し、第2の認識処理を行う。この第2の認識処理は、本撮影により撮影される本撮影画像の分類または検索に使用するための情報の取得を目的とした処理である。
具体的には、制御回路4は、スルー画像に特定の被写体(「顔」)が写っているかの認識処理を行う。また、制御回路4は、スルー画像に対し、特定の撮影シーン(「曇り」)であるかの認識処理を行う。
なお、この第2の認識処理においては、第1の認識処理よりも緩いレベルで被写体および撮影シーンの認識が行われる。これにより、第1の認識処理では特定の被写体及び/又は撮影シーンが認識されなかったスルー画像も、第2の認識処理においては認識されるようになる。即ち、第1の認識処理では、「画作り」を目的とするため、特定の被写体及び/又は撮影シーンを確実に認識できたとする範囲にある画像のみが検出される。一方、第2の認識処理では、分類または検索のための情報の取得を目的とするため、誤認識があることも考慮した上で、特定の被写体及び/又は撮影シーンを認識できたとする画像が漏れなく検出される。
このように、第1の認識処理と第2の認識処理とでは認識の範囲が異なっており、第2の認識処理の方が認識範囲が広くなっている。
また、第2の認識処理での特定の被写体及び/又は撮影シーンの認識は、従来技術の認識処理(例えば、顔認識処理など)よりも緩いレベルで行われてもよい。なぜならば、上記の第2の認識処理の目的から、特定の被写体及び/又は撮影シーンを認識できたとする画像を、誤認識があることも考慮した上で、漏れなく検出できる必要があるからである。
特定の被写体及び/又は撮影シーンの認識範囲を異なるものとするために、第1の認識処理と第2の認識処理とでは、それぞれ異なる認識の手法を採用する。
例えば、第1の認識処理では、認識精度が高く明るい画像において認識された「顔」のみを特定の被写体(「顔」)と認識し、一方、第2の認識処理では、明るい画像において認識された「顔」だけでなく、認識精度が低くなりがちな暗い画像において認識された「顔」も特定の被写体(「顔」)と認識するようにする。一般的に、画像の明るさにより認識の信頼度は異なり、明るい画像において認識される特定の被写体(「顔」など)の方が、暗い画像において認識される特定の被写体(「顔」など)よりも誤認識が少ないので、この場合、第1の認識処理の方が第2の認識処理よりも誤認識が少なく、信頼度が高くなる。
このような処理とすることで、第1の認識処理においては「顔」の誤認識が少なくなり、一方、第2の認識処理においては、誤認識は生じえるが、「顔」の認識漏れが少なくなる。
なお、”画像の明るさ”は、スルー画像の画像データから求めてもよく、測光回路13から出力される被写体の測光データを用いて求めてもよい。
また、”画像の明るさ”に代えて、あるいはそれに加えて、例えば、”画像のボケ度合い”などの情報を用いて上記の認識処理を行うようにしてもよい。画像のボケ度合いを用いる場合、特定の被写体及び/又は撮影シーンを、第1の認識処理においてはボケ度合いの小さいものについて認識し、一方、第2の認識処理においてはボケ度合いの大きいものまで認識するようにする。なお、画像のボケ度合いは、例えば位相差AFセンサから出力されたデフォーカス量や画像データの高周波数成分を基にして求めることができる。
また、特定の被写体及び/又は撮影シーンの認識範囲を異なるものとするために、第1の認識処理と第2の認識処理とに同一の認識処理を採用し、そして、第1の認識処理と第2の認識処理とでそれぞれ異なる認識の基準を用いて認識結果を出力するようにしてもよい。
ここで、認識の基準は、認識処理の精度に応じて予め決定した認識の信頼度を示す値である。例えば、認識処理の精度が画像の明るさ(平均輝度など)に依存する場合は、その明るさに応じて認識の信頼度を示す値を予め決定する。例えば、明るい場合には、認識処理の精度が高くなるので、その値を高い信頼度を示す0.95などに、一方、暗い場合には、認識処理の精度が低くなるので、その値を低い信頼度を示す0.1などというように、明るさに応じた信頼度を示す値を予め決定する。
同一の認識処理を採用する場合、第1の認識処理と第2の認識処理との双方に、例えば、認識精度が低くなりがちな暗い画像において認識された「顔」も特定の被写体(「顔」)と認識する、認識範囲の広い認識処理を採用する。但し、この場合、誤認識が多くなり、信頼度が低くなる。
そして、第1の認識処理では、例えば、認識の基準に、高い信頼度を示す0.95の値を用い、画像から特定の被写体(「顔」)が認識された場合に、当該画像の明るさを基に得られた認識の信頼度を示す値が、その基準以上、即ち0.95以上であれば、特定の被写体(「顔」)を認識できたとする認識結果を出力する。また、第2の認識処理では、例えば、認識の基準に、低い信頼度を示す0.1の値を用い、画像から特定の被写体(「顔」)が認識された場合に、当該画像の明るさを基に得られた認識の信頼度を示す値が、その基準以上、即ち0.1以上であれば、特定の被写体(「顔」)を認識できたとする認識結果を出力する。
なお、認識処理の精度が、画像の明るさではなく、焦点距離、ズーム倍率や前述の画像のボケ度合いなどに依存する場合にも上記と同様の処理を行うことができる。その場合、焦点距離、ズーム倍率や前述の画像のボケ度合いなどに応じて予め決定した認識の信頼度を示す値を用いるようにすればよい。
上記の他に、サポートベクターマシンなどのパターン識別器を用いて自動認識を行う場合には、例えば識別器のパラメータを調整することで、信頼度を変更する構成としてもよい。
ステップ109:制御回路4は、第2の認識処理において、特定の被写体(「顔」)又は特定の撮影シーン(「曇り」)を認識できたか否かを判定する。
制御回路4は、「顔」又は「曇り」又はそれら双方が認識できた場合(Yes側)にはステップ110へ移行し、一方、いずれも認識できない場合(No側)にはステップ111へ移行する。
ステップ110:制御回路4は、第2の認識処理の結果(第2の認識結果)を不図示のメモリなどへ記録する。
なお、第2の認識処理において、「顔」と「曇り」の両方が認識された場合、メモリ(不図示)などには、例えば「分類検索用の認識結果:被写体[顔]=”検出OK”,撮影シーン[曇り]=”検出OK”」とのような内容の認識結果が記録される。
また、「顔」又は「曇り」が認識された場合、メモリ(不図示)などには、例えば「分類検索用の認識結果:被写体[顔]=”検出OK”,撮影シーン[曇り]=”検出NG”」又は「分類検索用の認識結果:被写体[顔]=”検出NG”,撮影シーン[曇り]=”検出OK”」とのような内容の認識結果が記録される。
ステップ111:制御回路4は、表示制御回路12を駆動して、スルー画像をモニタ11に表示させる。
このとき、モニタ11の画面には、上記の処理において認識された特定の被写体(「顔」)及び/又は特定の撮影シーン(「曇り」)に関する情報が重畳されたスルー画像が表示される。この表示においては、第1の認識処理で認識された情報のみ、又は第2の認識処理で認識された情報のみを重畳表示してもよく、また、それら双方の認識処理で認識された情報を、第1の認識処理と第2の認識処理とに分けた形で重畳表示するようにしてもよい。
なお、スルー画像に重畳表示される情報とは、特定の被写体(「顔」など)及び特定の撮影シーン(「曇り」など)のシンボルマークのアイコンである。
ステップ112:制御回路4は、操作部材5から撮影を指示する操作信号が送られたか、即ちレリーズ釦が全押しされたか否かを判定する。
制御回路4は、レリーズ釦が全押しされた場合(Yes側)にはステップ113へ移行し、一方、全押しされていない場合(No側)にはステップ102へ移行して上記の処理を繰り返す。
ステップ113:制御回路4は、撮像素子駆動回路6を駆動して、スルー画像の撮影を終了する。
ステップ114:制御回路4は、上記のステップ106又はステップ107で決定した撮影条件の下でレンズ駆動回路3、撮像素子駆動回路6、信号処理回路7およびデータ処理回路8を駆動して本撮影を実施する。このとき、撮像素子1はフレームモード(全画素読み出しモード)で駆動される。
また、制御回路4は、データ処理回路8を駆動して、撮影された本撮影画像の画像データに対して画像処理を施す。なお、この画像処理は、上記のステップ106又はステップ107で決定した画像処理の内容に基づいて行われる。
ステップ115:制御回路4は、表示制御回路12を駆動して、データ処理回路8による画像処理後の本撮影画像をモニタ11に表示させる。
ステップ116:制御回路4は、圧縮/伸張回路9を駆動して、データ処理回路8による画像処理後の本撮影画像に対して圧縮処理を施すと共に、その圧縮処理後の画像データを記録媒体10へ記録する。このとき、圧縮処理後の本撮影画像の画像データは、不図示のメモリなどから読み出した第1の認識結果と第2の認識結果との情報と共に、記憶媒体10へ画像ファイルとして記録される。
但し、不図示のメモリなどに第1の認識結果の記録が無い場合には、例えば「画作り用の認識結果:被写体[顔]=”検出NG”,撮影シーン[曇り]=”検出NG”」とのような内容の情報が第1の認識結果の情報として画像ファイルに記録される。また、不図示のメモリなどに第2の認識結果の記録が無い場合には、例えば「分類検索用の認識結果:被写体[顔]=”検出NG”,撮影シーン[曇り]=”検出NG”」とのような内容の情報が第2の認識結果の情報として画像ファイルに記録される。
なお、画像ファイルがExif規格の形式に基づくものであれば、第1の認識結果と第2の認識結果の情報は、画像ファイルのメーカーノート(MakerNote)タグの情報として記録される。
このように、本撮影画像に対する第1の認識結果と第2の認識結果が、当該本撮影画像に関連付けて記録される。
(第1実施形態の作用効果)
以下、第1実施形態の作用効果を説明する。
第1実施形態のデジタルカメラでは、スルー画像に対し、「画作り」を目的とした第1の認識処理が実施され、第1の認識処理で特定の被写体及び/又は特定の撮影シーンが認識された場合には、その認識結果に応じて、本撮影の撮影条件および本撮影で実施する画像処理の内容が適切なものに決定される。また、第1の認識処理で特定の被写体と特定の撮影シーンとがどちらも認識されなかった場合は、通常のオートモード(自動露出モードなど)によって本撮影の撮影条件および本撮影で実施する画像処理の内容が決定される。そして、撮影が指示されると、決定された撮影条件の下で本撮影が行われると共に、決定された内容で本撮影画像に画像処理が施される。
なお、第1の認識処理では、本撮影の撮影条件および本撮影で実施する画像処理の内容が誤ったものとならないように高い精度で認識が行われるので、特定の被写体及び/又は特定の撮影シーンが確実に認識される。
したがって、本実施形態のデジタルカメラによれば、画作りを目的とした自動認識を確実、かつ最適に行うことができる。そして、その結果、撮影シーンに応じた適切な内容の画像処理が施された本撮影画像、即ち、ユーザーにとって好ましい画像を得ることができる。
また、第1実施形態のデジタルカメラでは、スルー画像に対し、「画像の分類又は検索用の情報の取得」を目的とした第2の認識処理が実施され、第2の認識処理で特定の被写体及び/又は特定の撮影シーンが認識された場合には、その内容が認識結果として、本撮影画像に関連付けて記録される。また、第2の認識処理で特定の被写体と特定の撮影シーンとがどちらも認識されなかった場合は、認識されなかった旨の情報が認識結果として、本撮影画像に関連付けて記録される。
なお、第2の認識処理は特定の被写体及び撮影シーンの認識範囲が広いので、第2の認識処理では、誤認識があることも考慮した上で、特定の被写体及び/又は撮影シーンを認識できたとする画像が漏れなく検出される。
したがって、本実施形態のデジタルカメラによれば、画像の分類又は検索用の情報の取得を目的とした自動認識を確実、かつ最適に行うことができる。
また、第1実施形態のデジタルカメラでは、スルー画像に対し、「画作り」を目的とした第1の認識処理が実施され、第1の認識処理で特定の被写体及び/又は特定の撮影シーンが認識された場合には、その内容が第1の認識結果として、第2の認識処理における認識結果と共に本撮影画像に関連付けて記録される。
また、第1の認識処理で特定の被写体と特定の撮影シーンとがどちらも認識されなかった場合は、認識されなかった旨の情報が第1の認識結果として、第2の認識処理における認識結果と共に本撮影画像に関連付けて記録される。
このような、本撮影画像に関連付けて記録される認識結果の情報は、「画作り」また「画像の分類又は検索」のために最適な情報である。
したがって、本実施形態のデジタルカメラによれば、「画作り」また「画像の分類又は検索」のための最適、かつ有用な情報が関連付けられた本撮影画像を確実に取得することができる。
以下、第1実施形態の1番目の変形例(変形例1)を説明する。
変形例1は、第1実施形態で実行される図2のフローの変形例である。この変形例1では、デジタルカメラが撮影モードに設定されたときに、図3のフローが繰り返し実行される。なお、図3のステップ201〜203およびステップ213〜218の処理は、図2のステップ101〜103およびステップ111〜116の処理と同一であるため、ここでは、第1実施形態との相違点である図3のステップ204〜212の処理のみ説明する。
第1実施形態では、第1の認識処理において特定の被写体(「顔」)及び/又は特定の撮影シーン(「曇り」)を認識できた場合にも第2の認識処理を実行する。
しかし、変形例1では、第1の認識処理で認識できた特定の被写体(「顔」)又は特定の撮影シーン(「曇り」)については、第2の認識処理でも認識できたものとみなして、第2の認識処理は実行しない。なぜならば、第1の認識処理の方が第2の認識処理よりも特定の被写体及び撮影シーンの認識範囲が狭いため、第1の認識処理において認識できた特定の被写体又は撮影シーンは、第2の認識処理においても必ず認識できるからである。
ステップ204:制御回路4は、第1の認識処理において、特定の被写体(「顔」)又は特定の撮影シーン(「曇り」)を認識できたか否かを判定する。
制御回路4は、「顔」と「曇り」のどちらも認識できない場合(No側)にはステップ205へ移行し、一方、「顔」又は「曇り」又はそれら双方が認識できた場合(Yes側)にはステップ206へ移行する。
ステップ205:制御回路4は、通常のデジタルカメラのオートモード(自動露出モードなど)によって、本撮影の撮影条件(絞り値、シャッター速度、フラッシュ発光の有無など)および本撮影で実施する画像処理の内容を決定する。そして、制御回路4は、ステップ210へ移行する。
ステップ206:制御回路4は、第1の認識処理の結果(第1の認識結果)を不図示のメモリなどへ記録する。
ステップ207:制御回路4は、第1の認識結果に応じて、本撮影の撮影条件(絞り値、シャッター速度、フラッシュ発光の有無など)および本撮影で実施する画像処理の内容を適切なものに決定する。
ステップ208:制御回路4は、第1の認識処理において、特定の被写体(「顔」)と特定の撮影シーン(「曇り」)との双方が認識できたか否かを判定する。
制御回路4は、双方が認識できた場合(Yes側)にはステップ209へ移行し、一方、双方を認識できなかった場合(No側)にはステップ210へ移行する。
ステップ209:制御回路4は、第1の認識結果を第2の認識結果として不図示のメモリなどへ記録する。そして、制御回路4は、ステップ213へ移行する。
このように、第1の認識処理において特定の被写体(「顔」)と特定の撮影シーン(「曇り」)との双方が認識できた場合は、その第1の認識処理の結果が第2の認識処理の結果とみなされ、第2の認識処理はスキップされて実行されない。
ステップ210:制御回路4は、取得したスルー画像に対し、第2の認識処理を行う。この第2の認識処理は、本撮影により撮影される本撮影画像の分類または検索に使用するための情報の取得を目的とした処理である。
具体的には、制御回路4は、スルー画像に特定の被写体(「顔」)が写っているかの認識処理を行う。また、制御回路4は、スルー画像に対し、特定の撮影シーン(「曇り」)であるかの認識処理を行う。但し、制御回路4は、第1の認識処理で認識できた特定の被写体又は撮影シーンについては、第2の認識処理においても認識できたものとみなし、その特定の被写体又は撮影シーンについての第2の認識処理は実行しない。
例えば、第1の認識処理でスルー画像から特定の被写体(「顔」)のみ認識された場合(ステップ208の判定により本ステップへ移行するルート)、本ステップの第2の認識処理においても特定の被写体(「顔」)については認識されたものとみなす。そして、スルー画像に対しては、特定の被写体が写っているかの認識処理は行わず、特定の撮影シーン(「曇り」)であるかの認識処理のみを行う。
これにより、第2の認識結果には、少なくとも特定の被写体(「顔」)が認識されたことを示す内容が出力される。
ステップ211:制御回路4は、第2の認識処理において、特定の被写体(「顔」)又は特定の撮影シーン(「曇り」)を認識できたか否かを判定する。
制御回路4は、「顔」又は「曇り」又はそれら双方が認識できた場合(Yes側)にはステップ212へ移行し、一方、いずれも認識できない場合(No側)にはステップ213へ移行する。
ステップ212:制御回路4は、第2の認識処理の結果(第2の認識結果)を不図示のメモリなどへ記録する。
(第1実施形態の1番目の変形例の作用効果)
以下、第1実施形態の1番目の変形例(変形例1)の作用効果を説明する。
変形例1のデジタルカメラでは、第1の認識処理で特定の被写体(「顔」)と特定の撮影シーン(「曇り」)との双方が認識された場合は、第2の認識処理でもそれらは認識されたとみなされて第2の認識結果に反映される。このため、第2の認識処理はスキップされて実行されない。
また、第1の認識処理で特定の被写体(「顔」)と特定の撮影シーン(「曇り」)との何れか一方が認識された場合は、第2の認識処理でもその一方については認識されたとみなされて第2の認識結果に反映される。このため、第1の認識処理で認識された特定の被写体(「顔」)又は特定の撮影シーン(「曇り」)については、第2の認識処理はスキップされて実行されない。
したがって、変形例1のデジタルカメラによれば、画像の分類又は検索用の情報の取得を目的とした自動認識を効率的に行うことができる。
以下、第1実施形態の2番目の変形例(変形例2)を説明する。
変形例2は、第1実施形態で実行される図2のフローの変形例である。この変形例2では、デジタルカメラが撮影モードに設定されたときに、図4のフローが繰り返し実行される。なお、図4のステップ301,302およびステップ311〜316の処理は、図2のステップ101,102およびステップ111〜116の処理と同一であるため、ここでは、第1実施形態との相違点である図4のステップ303〜310の処理のみ説明する。
第1実施形態では、第1の認識処理を実行した後に、第2の認識処理を実行する。
しかし、変形例2では、それらを逆にして、第2の認識処理を実行した後に、第1の認識処理を実行するようにする。そして、先に実行される第2の認識処理において特定の被写体又は特定の撮影シーン又はそれら双方が認識できた場合の画像に対し、第1の認識処理が実行される。
なぜならば、第2の認識処理の方が第1の認識処理よりも特定の被写体及び撮影シーンの認識範囲が広いため、第2の認識処理において特定の被写体又は特定の撮影シーンを認識できない画像は、第1の認識処理においてもそれらを認識できないからである。
ステップ303:制御回路4は、取得したスルー画像に対し、第2の認識処理を行う。この第2の認識処理は、本撮影により撮影される本撮影画像の分類または検索に使用するための情報の取得を目的とした処理である。
具体的には、制御回路4は、スルー画像に特定の被写体(「顔」)が写っているかの認識処理を行う。また、制御回路4は、スルー画像に対し、特定の撮影シーン(「曇り」)であるかの認識処理を行う。
ステップ304:制御回路4は、第2の認識処理において、特定の被写体(「顔」)又は特定の撮影シーン(「曇り」)を認識できたか否かを判定する。
制御回路4は、「顔」と「曇り」のどちらも認識できない場合(No側)にはステップ305へ移行し、一方、「顔」又は「曇り」又はそれら双方が認識できた場合(Yes側)にはステップ306へ移行する。
ステップ305:制御回路4は、通常のデジタルカメラのオートモード(自動露出モードなど)によって、本撮影の撮影条件(絞り値、シャッター速度、フラッシュ発光の有無など)および本撮影で実施する画像処理の内容を決定する。そして、制御回路4は、第1の認識処理を実行することなくステップ311へ移行する。
このように、先に行われる第2の認識処理で特定の被写体(「顔」)と特定の撮影シーン(「曇り」)のどちらも認識できない場合は、第1の認識処理においても当然それらを認識することができないので、第1の認識処理は実行されずにスキップされる。なぜならば、第1の認識処理は、第2の認識処理よりも特定の被写体及び撮影シーンの認識範囲が狭いからである。
ステップ306:制御回路4は、第2の認識処理の結果(第2の認識結果)を不図示のメモリなどへ記録する。
ステップ307:制御回路4は、取得したスルー画像に対し、第1の認識処理を行う。この第1の認識処理は、本撮影の撮影条件および本撮影で実施する画像処理の内容を決定するため、即ち「画作り」を目的とした処理である。
具体的には、制御回路4は、スルー画像に特定の被写体(「顔」)が写っているかの認識処理を行う。また、制御回路4は、スルー画像に対し、特定の撮影シーン(「曇り」)であるかの認識処理を行う。但し、制御回路4は、第2の認識処理で認識できなかった特定の被写体又は撮影シーンについては、第1の認識処理においても認識できなかったものとみなし、その特定の被写体又は撮影シーンについての第1の認識処理は実行しない。
例えば、ステップ303の第2の認識処理でスルー画像から特定の被写体(「顔」)のみが認識された場合、本ステップの第1の認識処理においては特定の撮影シーン(「曇り」)については認識されなかったものとみなす。そして、スルー画像に対しては、特定の撮影シーンであるかの認識処理は行わず、特定の被写体(「顔」)が写っているかの認識処理のみを行う。
ステップ308:制御回路4は、第1の認識処理において、特定の被写体(「顔」)又は特定の撮影シーン(「曇り」)を認識できたか否かを判定する。
制御回路4は、「顔」と「曇り」のどちらも認識できない場合(No側)にはステップ305へ移行し、一方、「顔」又は「曇り」又はそれら双方が認識できた場合(Yes側)にはステップ309へ移行する。
ステップ309:制御回路4は、第1の認識処理の結果(第1の認識結果)を不図示のメモリなどへ記録する。
ステップ310:制御回路4は、第1の認識結果に応じて、本撮影の撮影条件(絞り値、シャッター速度、フラッシュ発光の有無など)および本撮影で実施する画像処理の内容を適切なものに決定する。
(第1実施形態の2番目の変形例の作用効果)
以下、第1実施形の2番目の変形例(変形例2)の作用効果を説明する。
変形例2のデジタルカメラでは、先に行われる第2の認識処理で特定の被写体(「顔」)と特定の撮影シーン(「曇り」)とが何れも認識されなかった場合には、その次に行われるべき第1の認識処理はスキップされて実行されない。
また、第2の認識処理で特定の被写体(「顔」)と特定の撮影シーン(「曇り」)との何れか一方が認識された場合、認識された一方については第1の認識処理が実行されるが、認識されなかったもう一方については第1の認識処理がスキップされて実行されない。
したがって、変形例2のデジタルカメラによれば、画作りを目的とした自動認識を効率的に行うことができる。
(その他)
なお、上記の変形例1では、ステップ208で「特定の被写体と特定の撮影シーンとの双方が認識できたか」の判定を行っているが、これについては「それらの何れか一方が認識できたか」を判定するようにしてもよい。その場合、認識できた一方については第2の認識処理の実行をスキップ(省略)して、認識できなかったもう一方のみに第2の認識処理を実行するようにする。
また、上記の変形例2では、ステップ304で「特定の被写体と特定の撮影シーンとの何れか一方が認識できたか」の判定を行っているが、これについては「それらの双方が認識できたか」を判定するようにしてもよい。そして、それらの双方が認識できた場合は、双方とも第1の認識処理を実行するようにする。また、双方とも認識できなかった場合は、それらに対する第1の認識処理の実行をスキップ(省略)する。また、それらの何れか一方が認識できなかった場合は、認識できなかった一方については第1の認識処理の実行をスキップ(省略)して、認識できたもう一方のみに第1の認識処理を実行するようにする。
つまり、第1の認識処理と第2の認識処理との何れか一方の認識処理を実行した後、その認識結果に応じて、残るもう一方の認識処理の実行/不実行を切り換えるようにする。
そうすれば、先に実行した第1の認識処理で認識された特定の被写体及び/又は撮影シーンについては第2の認識処理が実行されず、また、先に実行した第2の認識処理で認識されなかった被写体及び/又は撮影シーンについては第1の認識処理が実行されない。そのため、認識に係る処理時間を低減することができる。
また、上記第1実施形態のステップ116では、第1の認識結果と第2の認識結果との双方を本撮影画像に関連付けて記録しているが、何れか一方のみを記録するようにしてもよい。つまり、それらの認識結果のうちの少なくとも1つを本撮影画像に関連付けて記録するようにすればよい。
また、上記では、特定の被写体(「顔」)と特定の撮影シーン(「曇り」)とを一度の動作で認識する例を説明した。しかし、上記の動作はこれに限定されず、特定の被写体(「顔」)だけ、あるいは特定の撮影シーン(「曇り」)だけを一度の動作で認識するようにしてもよい。さらに、特定の複数の被写体、例えば(「顔」及び「花」)など、あるいは特定の複数の撮影シーン、例えば(「晴れ」及び「曇り」及び「夕焼け」)などを一度の動作で認識するようにしてもよい。もちろん、特定の複数の被写体、例えば(「顔」及び「花」)と、特定の複数の撮影シーン、例えば(「晴れ」及び「曇り」及び「夕焼け」)とを一度の動作で認識するようにしてもよい。
また、上記では、本撮影画像の分類または検索用の情報の取得を目的とした処理である第2の認識処理を、スルー画像に対して実施するように説明したが、記録媒体10へ記録する前の本撮影画像、或いはそれへの記録後の本撮影画像に対して実施してもよい。
また、第2の認識処理は、パーソナルコンピュータ(PC)などのデジタルカメラ外部の機器で実施するようにしてもよい。
また、本撮影画像の「画作り」を目的とした処理である第1の認識処理の認識結果を、例えばPCで画像のレタッチを行うなど、デジタルカメラ外部の機器で行う画像処理のために利用するようにしてもよい。
その場合、デジタルカメラでは、第1の認識処理を実施して、その第1の認識結果の情報を本撮影画像の画像データと共に記録媒体10へ画像ファイルとして記録する。この際、本撮影画像は、RAW画像であることが望ましい。
その後、デジタルカメラ外部のPC等において、記録媒体10の画像ファイルを読み込み、画像ファイルから第1の認識結果の情報を取得する。そして、その情報に基づき、PC等で適当な画像処理を本撮影画像に対して施すようにする。この際、本撮影画像に施す画像処理の内容は、例えば、画像ファイルがExif規格の形式に基づくものであれば、そのメーカーノート(MakerNote)タグの情報などとして記録された撮影情報(露出時間、絞り値、焦点距離、ISO感度など)を基に決定するようにすればよい。
また、第1の認識処理において特定の被写体(「顔」)を認識できた際に、画像中の「顔」の領域の情報を取得し、その情報についても本撮影画像に関連付けて画像ファイルに記録するようにすれば、後で、デジタルカメラ外部のPC等において、前記のように本撮影画像に画像処理を施す際に、自動的に、「顔」の領域に適当な画像処理を施すようにすることもできる。
また、第1の認識処理は、デジタルカメラ内部に限らず、PC等、デジタルカメラ外部の機器での画像処理の際に実施するようにしてもよい。
また、上述したデジタルカメラの動作に係るプログラムは、その一部または全部をコンピュータなどの外部処理装置に実行させてもよい。その場合、必要なプログラムがCD−ROM等のコンピュータ読み取り可能な記憶媒体やインターネット等の通信網などを介して外部処理装置へインストールされる。