JP4449354B2 - 画像撮影装置及びプログラム - Google Patents
画像撮影装置及びプログラム Download PDFInfo
- Publication number
- JP4449354B2 JP4449354B2 JP2003183266A JP2003183266A JP4449354B2 JP 4449354 B2 JP4449354 B2 JP 4449354B2 JP 2003183266 A JP2003183266 A JP 2003183266A JP 2003183266 A JP2003183266 A JP 2003183266A JP 4449354 B2 JP4449354 B2 JP 4449354B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- evaluation
- face
- images
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明が属する技術分野】
本発明は、画像撮影装置に関し、特に、撮影画像に対する評価を行う機能を備えた画像撮影装置に関する。
【０００２】
【従来の技術】
従来技術として、光学的見地から撮影条件や撮影環境を評価し、最適な画像が得られるような設定を選択する画像撮影装置がある。かかる画像撮影装置では、例えば人物写真を撮影するのであれば画面構成を、夜景を撮影するのであればシャッタ速度やホワイトバランスを、風景や自然が対象であれば彩度や色調を、それぞれ自動設定することができる。
【０００３】
他の画像撮影装置としては、集合写真を撮影する際に、画像を人単位で記録することができる画像撮影装置がある。この画像撮影装置においては、全ての人物について複数枚ずつ、画像の撮影を行う。全ての人物について撮影が済んだ後、ユーザがそれぞれの人について最適と思われる画像を選択すると、それらを合成して一の画像として作成することができる（例えば、特許文献１参照）。
【０００４】
一方、現在開示されている撮影画像に対する技術として、顔の部分に対する認証システムがある（例えば、特許文献２及び３）。これらのシステムにおいては、画像から人の肌・顔・目を認識して抽出すること及び顔の向きを判断することが可能である。
【０００５】
【特許文献１】
特開２００１−２５１５５０号公報（第３頁、第３図）
【特許文献２】
特開２００２−０４９９１２号公報（第３−４頁、第２−５図、第８−１０図）
【特許文献３】
特開２００２−２８８６７０号公報（第３−４頁、第６図）
【０００６】
【発明が解決しようとする課題】
上記のような自動設定を行う画像撮影装置においては、光学的には「良質な」画像を得ることができる。しかし、例えば集合写真のように、人物が複数画像に含まれている場合は、光学的には良好と言えても、必ずしもユーザにとって「良い」画像とは言えない。ユーザにとっては、人物が画像中でどのように写っているのかが、どちらかと言えば、画像の良し悪しを判断する基準となっているためである。
【０００７】
特許文献１の画像撮影装置は、ユーザにとっての「良い」画像を合成する手段を備えている。しかし、ユーザが人物ごとの最適と思われる画像を全て指定・選択する必要があり、これはユーザにとっては手間を要する作業である。
本発明は、前述の人物の顔の部分に対する認証システムを利用することにより、ユーザが指定するのに要する労力を軽減させ、人物の撮影状態が良好である画像を画像撮影装置が選択することを実現した画像撮影装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の画像撮影装置は、シャッタボタンの操作で連続的に撮影された複数枚の集合写真の画像を、一時的に記憶する記憶手段と、前記記憶手段に記憶された複数枚の集合写真の各画像について、集合写真の画像の中心部に近い位置に撮影されている所定の人数の複数の顔画像を被写体に関するテンプレートを用いて抽出する抽出手段と、前記テンプレートに基づいて抽出した各顔画像の撮影状態を評価点として算出し、算出された各顔画像の評価点に基づいて、これらの各顔画像が含まれる集合写真の画像の総合評価値を算出する評価手段と、前記評価手段により得られた画像ごとの総合評価値に基づいて、選出順位を決定して特定数の集合写真の画像を選出する選出手段とを備えることを特徴とする。
【００２２】
【発明の実施の形態】
以下に、第１の実施例を示す。
図１は本実施形態における画像撮影装置の内部構成を示す図である。
同図において、画像撮影装置は、ＣＰＵ１１、カメラ撮影部１２、操作部１３、メモリ部１４、表示部１５、画像メモリ部１６及び記録媒体１７を有し、これらがバス２０を介して接続されて相互にデータの授受が行える構成となっている。
【００２３】
ＣＰＵ１１は中央演算処理部であり、メモリ部１４に予め格納されている制御プログラムを実行することでこの画像撮影装置全体の動作を制御する。
カメラ撮影部１２は、画像の撮影処理を司る部分で、ＣＰＵ１１からシャッタボタンの押下を通知されると、撮像レンズを介してＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）等の撮像素子上に結像された被写体像を、光電変換して電気信号変えた後Ａ／Ｄ変換を行い、デジタル画像データにする。
【００２４】
操作部１３は、ユーザの操作指示を受け付ける操作ボタン等で、電源キー、シャッタボタン、種々の設定を行う為の設定ボタン等から構成されている。ユーザがこの操作部１３を操作すると操作内容がＣＰＵ１１に通知され、ＣＰＵ１１はその操作内容に基づいて他の要素の制御処理を行う。
【００２５】
メモリ部１４は、ＣＰＵによって実行されるプログラム等を記憶するＲＯＭやＣＰＵ１１がワークメモリとして用いるＲＡＭ等から構成されており、後述のテンプレート、顔評価テーブル及び画像評価テーブルが格納されている。またこのメモリ部１４上の領域に、後述するカウンタメモリが設けられる。
【００２６】
表示部１５は、液晶モニタやそのドライバ等から構成されており、画像撮影時に撮影画像を表示したり、後述する撮影した複数の画像のうち、特定数の画像をユーザ選択させるために画像を順に表示したり等、種々の情報をユーザに表示するものである。
【００２７】
画像メモリ部１６は、フラッシュメモリ等で構成される書き換え可能な不揮発性のメモリで、撮影した画像の画像データを記憶するものである。なお、図２の画像メモリ部１６内部の構造の概念図が示すように、画像メモリ部１６は、画像格納領域２１と、画像作業領域２２とから構成される。画像格納領域２１は、画像を記録するのに用いられる。画像作業領域２２は、撮影した複数の画像を仮記憶させておくのに用いられる。
【００２８】
記録媒体１７は、メモリカード等の画像撮影装置から着脱可能な可搬記録媒体で、この画像撮影装置に装着されるとバス２０に接続される。画像メモリ部１６に記録された画像データは、この記録媒体１７に転送される。そしてこの記録媒体１７内の画像データは、後日情報処理装置によって読み出され、保存される。
【００２９】
本実施形態の画像撮影装置は、ユーザによる操作部１３の操作指示に基づいて、ＣＰＵ１１がメモリ部１４のＲＡＭをワークメモリとして用いながらメモリ部１４内のプログラムを実行することによって、画像撮影装置の他の構成要素を制御して後述する各種処理を実現する。
【００３０】
かかる画像撮影装置が、画像を撮影・保存する処理の流れを、図３及び図４を用いて説明する。
図３及び図４は、画像撮影装置で行われる動作処理を示すフローチャートである。同図の処理は、図１のＣＰＵ１１がメモリ部１４に記憶されている制御プログラムを実行することによって実現される。
【００３１】
図３のステップ３０１（Ｓ３０１とする。以下、ステップに関し同様に表記する。）では、画像撮影装置は、図１のシャッタボタンの操作を待ち受けしている状態にある。シャッタボタンの操作がない場合は、Ｓ３１０のモード切り替えの操作を随時受け付け可能な状態にある。
【００３２】
ユーザによるモードの切り替え操作を検知した場合（Ｓ３１０でＹＥＳの場合）、処理はＳ３１１へと進む。Ｓ３１１では、現在設定されているモードが集合写真モードであるか否かの判断を行う。なお、集合写真モードとは、シャッタボタン操作時に複数枚の画像を連続的に撮影し、撮影された画像のうち撮影状態が良好な画像を抽出して記録するモードであり、通常モードとは、シャッタボタン操作時に撮影された画像をそのまま記録するモードである。
【００３３】
Ｓ３１１でＹＥＳの場合、処理はＳ３１２へと進み、モードを通常モードに設定する（Ｓ３１２）。ＮＯの場合、処理はＳ３１３へと進み、モードを集合写真モードに設定する（Ｓ３１３）。Ｓ３１２／Ｓ３１３で、モード設定の処理は終了する。
【００３４】
モード設定処理後、処理はＳ３０１へと戻る。モードの切り替え操作がない場合（Ｓ３１０でＮＯの場合）は、モード設定の処理は実行されずに、Ｓ３０１のシャッタボタン操作待ち受けの状態に戻る。
このように、シャッタボタンの操作があるまで、画像撮影装置は、Ｓ３１０からＳ３１２またはＳ３１３までのモード切り替えの処理を常に行うことができる状態にある。この状態の下、シャッタボタンの操作が認識されると（Ｓ３０１でＹＥＳの場合）、処理はＳ３０２へと進み、画像撮影の処理が実行される。
【００３５】
撮影処理においてはまず、撮影が集合写真モードで行われるか否かの判断を行う（Ｓ３０２）。Ｓ３０２でＮＯの場合、すなわち撮影モードが通常モードに設定されている場合は、処理はＳ３０８へと進む。
通常モードでは、Ｓ３０８にて画像の撮影が行われる。１画像の撮影が完了すると、撮影された画像は、Ｓ３０９にて図２の画像格納領域２１に格納される。
【００３６】
Ｓ３０２でＹＥＳ，すなわち撮影モードが集合写真モードに設定されている場合は、処理はＳ３０３へと進む。集合写真モードでの撮影においてはまず、連続撮影枚数をカウントするためのカウンタをリセットする（Ｓ３０３）。
Ｓ３０４で画像の撮影を行う。集合写真モードの撮影では、予め設定されている一定の時間間隔で連続して画像の撮影を行う。Ｓ３０５で、撮影した画像をまず図２の画像作業領域２２に一時記憶させる。通常モードでの撮影とは異なり、画像データを図２の画像格納領域２１に直接格納しない。画像作業領域に一時記憶させた後、カウンタに１加算する（Ｓ３０６）。
【００３７】
Ｓ３０７では、シャッタボタン押下の操作が継続されているかの判断を行う。Ｓ３０７でＹＥＳの場合は、ユーザがシャッタボタンを押下し続けていると判断され、処理はＳ３０４へと戻る。シャッタボタンの押下を認識しなくなるまでＳ３０４乃至Ｓ３０７の処理を繰り返す。
【００３８】
Ｓ３０７でＮＯの場合は、ユーザはシャッタボタンの押下を中止したと判断され、処理は図４のＳ４０１へと進む。Ｓ４０１では、カウンタの値が１０以上であるかどうかを判断する。カウンタの値が１０未満の場合（ＮＯの場合）、処理はＳ４０２へと進む。
【００３９】
Ｓ４０２では、画像の撮影を行う。撮影した画像を図２の画像作業領域２２に一時記憶させる（Ｓ４０３）。一時記憶を行った後、カウンタに１加算を行い（Ｓ４０４）、処理は、カウンタの値の判断（Ｓ４０１）へと戻る。
このように、集合写真モードの撮影においては、カウンタの値、すなわち画像の撮影枚数が１０枚以上であり、かつ、ユーザがシャッタボタンを押下する操作が終了した、と認識されるまで、画像の撮影を継続する。すなわち、集合写真モードでは少なくとも連続して１０枚の画像の撮影を行い、ユーザがシャッタボタンを押下している間は、画像を撮影し続ける。
【００４０】
集合写真モードでの画像の撮影処理が終了した後、図２の画像作業領域２２に一時保存している画像の評価処理を、１画像ごとに実行する。画像の評価処理について、図５の、画像の評価処理を示すフローチャートを用いて説明する。
図５は、画像撮影装置で行われる動作処理を示すフローチャートである。同図の処理も、図１のＣＰＵ１１がメモリ部１４に記憶されている制御プログラムを実行することによって実現される。
【００４１】
Ｓ５０１で、図２の画像作業領域２２に一時記憶させた画像のうち、１画像を読み出す。まず画像データ中から、肌の色に関するデータを抽出する。次に、図１のメモリ部１４から読み出した人の顔部のテンプレートに基づき、肌の色に関するデータが抽出された箇所から、顔部をすべて抽出する（Ｓ５０２）。なお、顔部の抽出に用いるテンプレートとは、正面から見た顔、横顔等、人の顔部の典型的な型を指し、Ｓ５０２では、これと肌の色に関するデータが抽出された箇所の形状とを比較する。形状がマッチングするものを、顔部として抽出する。
【００４２】
図６（ａ）は、ステップＳ５０３、Ｓ５０４で用いられる画像から抽出した顔部に対する評価を行うための顔評価テーブルの例を示す図である。同図のように、画像から抽出された顔部はそれぞれ顔部Ｎｏ．が付され、例えば、顔の向き、体の隠れ度合、目の開き度合等に基づいて算出される。これは、集合写真等においては、より多くの人が、目を開けた状態で正面を向き、身体も周囲に遮られることなく写っていることが、一般的に良い状態であると判断されることに基づき、評価の基準としているものである。
【００４３】
これら評価のポイントもまた、顔部や目部等のテンプレートに基づいて判断され、結果を数値化して評価する。例えば、図６（ａ）中の顔の「向き」に関しては、正面を向いていると判断されると３点、横向きであると判断されると１点、その他の向きと判断されると０点、というように点数が、図１のメモリ部１４上の顔評価テーブルに書き込まれる（ステップＳ５０４）。
【００４４】
図７に、画像の評価値算出の例を示す。図７の画像７０１は、撮影された画像である。図７の画像７０１のデータ中から、まず、人の肌の色に関するデータを抽出する。肌の色に関するデータが抽出された箇所について、抽出箇所が丸い形状をしている箇所を更に抽出し、これとテンプレートの顔の型とのマッチングを行う。テンプレートは、例えば、正面向き（回転角０度）の顔、横向き（回転角±３０度、±６０度等）の顔等がデータとしてメモリ部１４に格納されている。このテンプレートを基に、顔部の個数、顔の向きを判断する。図７の画像７０２では、テンプレートマッチングの結果、人の顔部であると評価されたものを白色の線で囲ってある（画像７０２中の７０３）。この例では、顔部の数が７０３−１〜７０３−１０の１０個、正面を向いている顔の数が７０３−４〜７０３−８の５個及び横向きの顔の数が７０３−１〜７０３−３、７０３−９及び７０３−１０の５個と判断されている。このため、図６（ａ）の顔評価テーブルの「方向」に関する評価点は、３×５＋１×５＝２０点と算出される。この、図７の例の場合、下図中の人物Ａ及び人物Ｂは顔が抽出されていない。これらの人物の顔が抽出されること、あるいは横向きと判断された人物が正面向きで撮影され、正面向きであると判断されることで、評価点は更に上がることになる。
【００４５】
隠れ度、開眼度についても同様にテンプレートに基づいて点数を算出する。隠れ度については、例えば、身体がほぼ全面的に画像に写っていると判断されると３点、２分の１以上４分の３未満が写っていれば１点、２分の１未満しか身体が画像に表れていないときは０点というように採点する。開眼度については、例えば、開眼度が良好であると判断されれば２点、開眼度が悪いと判断されれば０点、というように採点する。隠れ度、開眼度についても同様に、各点数を図６（ａ）の顔評価テーブルに記録する。
【００４６】
顔部の評価点を算出したら、その値を、図６（ａ）の顔評価テーブルの、その顔部に対応する顔部Ｎｏ．の位置の合計点の欄に書き込む（Ｓ５０４）。合計点を書き込んだ後、抽出した全ての顔部についての評価が完了したかどうか判断する（Ｓ５０５）。未完了の場合（Ｓ５０５でＮＯの場合）は、処理はＳ５０３へと戻り、次の顔Ｎｏ．についての評価点の算出を行う。
【００４７】
Ｓ５０５でＹＥＳの場合、すなわち１画像中の全ての顔部についての評価が完了した場合は、処理はＳ５０６へと進む。Ｓ５０６では、各顔部Ｎｏ．の評価値の和を計算する。これをその画像の総合評価点として、図１のメモリ部１４上の、図６（ｂ）の画像評価テーブルに、仮画像Ｎｏ．と対応させて値を書き込む。総合評価点を書き込むと、処理はＳ５０８へと進む。
【００４８】
Ｓ５０８では、画像作業領域２２内の全画像についての総合評価点の算出及び画像評価テーブルへの書き込みが終了したか判断する。ＮＯの場合は、処理はＳ５０１へと戻り、全画像について総合評価点の算出値の画像評価テーブルへの書き込みが終了するまで上記の評価処理を繰り返す。ＹＥＳの場合は、画像の評価処理を終了し、画像の選出処理へと進む。
【００４９】
図８の、１回のシャッタボタン操作で撮影された複数の画像のうち、最適な画像を選出する画像の選出処理について以下に示す。同図の処理も、図１のＣＰＵ１１がメモリ部１４に記憶されている制御プログラムを実行することによって実現される。
【００５０】
図１のメモリ部１４から画像評価テーブルの総合評価値を読み出し、総合評価値の大きいものから順に、仮画像Ｎｏ．をソートする（Ｓ８０１）。仮画像Ｎｏ．を並び替えた結果、総合評価値が最大の画像を選択し、画像撮影装置の表示部１５に表示させる（Ｓ８０２）。
【００５１】
Ｓ８０３では、画像を選出するに当たって、ユーザが画像を指定することが可能と設定されているかどうかを判断する。ＮＯの場合、画像撮影装置が、総合評価値に基づいて、自動的に最適な画像を選出する。このため、Ｓ８０２で選択された画像が必然的に保存されることとなり、処理は後述のＳ８０７へと進む。
【００５２】
Ｓ８０３でＹＥＳ、すなわちユーザの画像指定が可能な場合、処理はＳ８０４へと進む。Ｓ８０４では、表示された画像の保存に対して、ＯＫであるとの判断をユーザから受けると（ＹＥＳの場合）、後述の、Ｓ８０７の画像の保存処理が実行される。ＮＯの場合は、処理はＳ８０５へ進む。
【００５３】
Ｓ８０５では、ユーザからの次の画像を表示するよう指示を待ち受ける。ＮＯ、つまりユーザからの次候補表示の指示がない場合は、処理は前記のＳ８０４へと戻る。次候補表示の指示があった場合、処理はＳ８０６へと進む。
Ｓ８０６では、Ｓ８０１で総合評価値の大きいものから順にソートした仮画像Ｎｏ．のうち、次候補の画像を選択し、図１の、画像撮影装置の表示部１５に表示させる。ユーザに次候補の画像を表示させた後、再び処理はＳ８０４へと戻り、ユーザの指示を待ち受ける。Ｓ８０４で、ユーザが保存したい画像に対してＯＫを指示すると、処理はＳ８０７へと進む。モニタに表示されている画像に対してＯＫであるとのコマンドをユーザ側から受けるまで、総合評価値の大きいものから順にモニタに表示させていく。
【００５４】
Ｓ８０７では、選択された画像を図２の画像格納領域２１に書き込む。画像格納領域２１に画像の保存が完了した後、画像作業領域内の全ての画像データを削除し（Ｓ８０８）、処理は図３の、シャッタボタンの操作を待ち受ける状態に戻る（Ｓ３０１）。なお、本実施例においては一の画像を選択して記録することとしたが、これに限られることはない。複数の画像を選択して記録することとしても良い。
【００５５】
以上、第１の実施例に係る画像撮影装置は、集合写真を撮影する際、１回のシャッタボタン操作で複数の画像を仮記憶させ、その中から、写っている人が画像中でどのように捉えられているかの観点から、最も好適な画像を総合評価値として、数値化させる。この仮記憶させた複数の画像についての総合評価値を比較することによって、画像撮影装置が、自動的に最適と判断する画像を保存すること、及びユーザにとって簡便な画像の選択肢を提供することが可能となる。ユーザは、シャッターチャンスを見計らうことや、多くの画像を記録させておき、後から撮影状態の良い画像を選別すること及び撮影の度に画像を確認し、良い状態の画像を撮影できるまで何度も撮影し直すことが不要となる。
【００５６】
次に、第２の実施例を示す。
第２の実施例は、画像の評価を行うに際し、重み付けを行うものである。これにより特定の人やエリアを重視した画像評価を行うことができる。
第２の実施例に係る画像撮影装置の機構の基本的な構成は第１の実施例と同様であり、図１に示すように、ＣＰＵ１１、カメラ撮影部１２、操作部１３、メモリ部１４、表示部１５、画像メモリ部１６及び記録媒体１７を有し、これらがバス２０を介して接続されて相互にデータの授受が行える構成となっている。メモリ部１４は、図２の通り、画像格納領域２１と、画像作業領域２２とから構成される。
【００５７】
画像を撮影・評価する処理のうち、撮影処理については、第１の実施例と同様で、流れは図３及び図４の通りであるので、ここでは割愛する。第２実施例の評価処理においては、画像全体を一律に評価の対象とするのではなく、一定の範囲に重点を置いて評価する方法をとる点で第１の実施例の評価処理とは異なっている。
【００５８】
以下、図９の、画像の評価処理を示すフローチャートを用いて、第２の実施例に係る評価の処理について説明する。図９は、画像撮影装置で行われる動作処理を示すフローチャートである。同図の処理は図１のＣＰＵ１１がメモリ部１４に記憶されている制御プログラムを実行することによって実現される。
【００５９】
Ｓ９０１で、図２の画像作業領域２２に一時記憶させた画像のうち、１画像を読み出す。次に、画像の評価値を算出するに当たり、エリアを優先させるのか人物を優先させるのかの判断を行う（Ｓ９０２）。なお、エリア優先では、撮影範囲の中心部から所定の範囲内で撮影されている人物部分を評価対象の人物として抽出する。人物優先では、撮影範囲の中心部から所定の人数の範囲内で認識された人物部分を、評価対象の人物として抽出する。
【００６０】
Ｓ９０２の判断結果がＹＥＳ、すなわちユーザがエリア優先を選択した場合は、処理はＳ９０３へと進む。Ｓ９０３では、図１のメモリ部１４に格納されている人の顔部のテンプレートを用いて、画像中で、特定のエリア内の人物の顔のみを抽出する。例えば、図１０（ａ）の画像１０１では、斜線部のエリアＤからは、顔部の抽出を行わない。エリアＡ、Ｂ及びＣ内のみから抽出する。以後の処理では、この特定のエリアＡ、Ｂ及びＣから抽出された顔のみについて評価を行う。
【００６１】
Ｓ９０２の判断結果がＮＯ、すなわちユーザがエリア優先を選択しなかった場合は、中心に移っている人物優先処理を行い、処理はＳ９０４へと進む。Ｓ９０４では、図１のメモリ部１４に格納されている人の顔部のテンプレートを用いて、画像のうち、中心から近い人物の顔を評価対象として抽出する。例えば、図１０（ｂ）の画像１０２では、抽出する顔部の個数を指定し、画像の中心から顔部の抽出を行い、一定の個数までで抽出作業を終了させる、というように行う。この場合、例えば、図１０（ｂ）の画像１０２の斜線部分からは画像の抽出を行わない。以後の処理では、画像１０２の人物抽出エリア内から抽出された顔のみについて評価を行う。
【００６２】
Ｓ９０３あるいはＳ９０４の特定の顔を抽出し、各々に顔部Ｎｏ．を割り当てた後、処理はＳ９０５へと進む。Ｓ９０５では、抽出した顔部ごとに、重みを設定する。エリア優先の抽出を行った場合、例えば、図１０（ａ）の画像１０１中で、エリアＡは重み４、エリアＢは重み２、エリアＣは重み１、というように設定する。画像の中心付近の人物から優先させて抽出を行った場合、例えば、中心からある一定の個数の顔部までは、中心から離れた箇所から抽出された顔部よりも重みをつける、というように設定する。
【００６３】
Ｓ９０６では、抽出した顔部それぞれに対して顔の向きや目の開き度合等から評価点の算出を行う。算出方法の詳細については、第１の実施例で挙げた方法と同様であり、ここでは省略する。
重み付き評価点を、算出した評価点に重みを乗算して算出する（Ｓ９０７）。この重み付きの評価点を、顔部Ｎｏ．と対応させて、図１のメモリ部１４に格納されている、顔評価テーブルに書き込む（Ｓ９０８）。
【００６４】
図１１（ａ）に、第２の実施例における顔評価テーブルの例を示す。第２の実施例で用いられる顔評価テーブルは、図６（ａ）の第１の実施例における顔評価テーブルと比較すると、抽出した顔部の重みがさらに記録されており、評価点も、この重みを用いて重み付けを行い算出されている。
【００６５】
Ｓ９０９で、抽出した全ての顔部についての評価が完了しているか判断する。ＮＯの場合、処理はＳ９０６へと戻り、残りの顔部Ｎｏ．に対応する重み付き評価点を順に算出し、顔評価テーブルに書き込む。全ての顔部についての評価が完了すると、処理はＳ９１０へと進む。
【００６６】
Ｓ９１０では、重み付き評価点の平均点を計算する。例えば、（平均点）＝（各顔部の重み付き評価点の総和）／（顔部の数）の式で求められる。Ｓ９１０で求めた平均点を、図１のメモリ部１４に格納されている図１１（ｂ）の画像評価テーブルに、仮画像Ｎｏ．と対応させて書き込む。
【００６７】
画像評価テーブルへの書き込みが完了後、図２の画像作業領域２２内の全画像について評価が完了したかを判断する（Ｓ９１２）。未完了の場合（Ｓ９１２でＮＯの場合）は、処理はＳ９０１へと戻り、残りの仮画像Ｎｏ．に対応する平均点を算出し、画像評価テーブルに順次書き込む。全ての画像について評価が完了すると（Ｓ９１２でＹＥＳの場合）、評価処理は終了する。
【００６８】
評価処理の後は画像選出処理が行われる。これは、図８を用いて示した第１の実施例に係る選出処理と同様の手順で行われる。ただし、図８の評価値として、図１１（ｂ）の画像評価テーブルに記憶されている平均点を用いる。
以上、第２の実施例について説明したが、かかる画像撮影装置により、画像中の特定の箇所に写っている人物が、画像中でどのように捉えられているかに重点を置いて、最も好適な画像が提供される。集合写真のように、大勢で写す場合であっても、特定の箇所、人物等に重点を置いて撮影したい場合に特に好適である。
【００６９】
なお、以上実施例に沿って画像撮影装置について説明したが、本願は、これらに限定されるものではない。例えば、画像の選出処理においては、抽出した人の顔部の数に対し、評価点が高い顔部の数が高い割合で占めている画像から順に選出することとしても良い。また、例えば、本実施例では顔の向き、体の隠れ具合、目の開き具合とし、顔のテンプレートによって評価を行ったが、評価方法、テンプレートの種類によっては、人以外の対象についても好適な画像をユーザに提供することができる。
【００７０】
また、上記実施例では、一連の処理を実行する手段を備えた画像記録装置について説明したが、一連の処理を実行させるプログラムとして提供することもできる。
【００７１】
【発明の効果】
本発明によれば、複数枚の集合写真の画像の中から、集合写真の画像の中心部に近い位置に撮影されている所定の人数の複数の顔画像の撮影状態を評価点として算出し、算出された各顔画像の評価点に基づいて、これらの各顔画像が含まれる集合写真の画像の総合評価値を算出して、この総合評価値に基づいて、選出順位を決定して特定数の集合写真の画像を選出するので、集合写真の中心部に撮影されている各人物の顔画像が良いものが多く含まれている集合写真を選出することができる。
【図面の簡単な説明】
【図１】本実施例における画像撮影装置のブロック図である。
【図２】本実施例に係る画像撮影装置のメモリ内部の構造を示す概念図である。
【図３】本実施例に係る画像の撮影処理を示すフローチャート（その１）である。
【図４】本実施例に係る画像の撮影処理を示すフローチャート（その２）である。
【図５】第１の実施例に係る画像の評価処理を示すフローチャートである。
【図６】（ａ）は第１の実施例に係る顔評価テーブルの例、（ｂ）は第１の実施例に係る画像評価テーブルの例を示す図である。
【図７】画像の評価値算出の例を示す図である。
【図８】本実施例に係る画像の選出処理を示すフローチャートである。
【図９】第２の実施例に係る画像の評価処理を示すフローチャートである。
【図１０】（ａ）及び（ｂ）は、第２の実施例で、画像の評価値を算出する際に負荷する重みの一例を示す図である。
【図１１】（ａ）は第２の実施例に係る顔評価テーブルの例、（ｂ）は第２の実施例に係る画像評価テーブルの例を示す図である。
【符号の説明】
１１ ＣＰＵ
１２ カメラ撮影部
１３ 操作部
１４ メモリ部
１５ 表示部
１６ 画像メモリ部
１７ 記録媒体
２０ バス
２１ 画像格納領域
２２ 画像作業領域
【発明が属する技術分野】
本発明は、画像撮影装置に関し、特に、撮影画像に対する評価を行う機能を備えた画像撮影装置に関する。
【０００２】
【従来の技術】
従来技術として、光学的見地から撮影条件や撮影環境を評価し、最適な画像が得られるような設定を選択する画像撮影装置がある。かかる画像撮影装置では、例えば人物写真を撮影するのであれば画面構成を、夜景を撮影するのであればシャッタ速度やホワイトバランスを、風景や自然が対象であれば彩度や色調を、それぞれ自動設定することができる。
【０００３】
他の画像撮影装置としては、集合写真を撮影する際に、画像を人単位で記録することができる画像撮影装置がある。この画像撮影装置においては、全ての人物について複数枚ずつ、画像の撮影を行う。全ての人物について撮影が済んだ後、ユーザがそれぞれの人について最適と思われる画像を選択すると、それらを合成して一の画像として作成することができる（例えば、特許文献１参照）。
【０００４】
一方、現在開示されている撮影画像に対する技術として、顔の部分に対する認証システムがある（例えば、特許文献２及び３）。これらのシステムにおいては、画像から人の肌・顔・目を認識して抽出すること及び顔の向きを判断することが可能である。
【０００５】
【特許文献１】
特開２００１−２５１５５０号公報（第３頁、第３図）
【特許文献２】
特開２００２−０４９９１２号公報（第３−４頁、第２−５図、第８−１０図）
【特許文献３】
特開２００２−２８８６７０号公報（第３−４頁、第６図）
【０００６】
【発明が解決しようとする課題】
上記のような自動設定を行う画像撮影装置においては、光学的には「良質な」画像を得ることができる。しかし、例えば集合写真のように、人物が複数画像に含まれている場合は、光学的には良好と言えても、必ずしもユーザにとって「良い」画像とは言えない。ユーザにとっては、人物が画像中でどのように写っているのかが、どちらかと言えば、画像の良し悪しを判断する基準となっているためである。
【０００７】
特許文献１の画像撮影装置は、ユーザにとっての「良い」画像を合成する手段を備えている。しかし、ユーザが人物ごとの最適と思われる画像を全て指定・選択する必要があり、これはユーザにとっては手間を要する作業である。
本発明は、前述の人物の顔の部分に対する認証システムを利用することにより、ユーザが指定するのに要する労力を軽減させ、人物の撮影状態が良好である画像を画像撮影装置が選択することを実現した画像撮影装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
本発明の画像撮影装置は、シャッタボタンの操作で連続的に撮影された複数枚の集合写真の画像を、一時的に記憶する記憶手段と、前記記憶手段に記憶された複数枚の集合写真の各画像について、集合写真の画像の中心部に近い位置に撮影されている所定の人数の複数の顔画像を被写体に関するテンプレートを用いて抽出する抽出手段と、前記テンプレートに基づいて抽出した各顔画像の撮影状態を評価点として算出し、算出された各顔画像の評価点に基づいて、これらの各顔画像が含まれる集合写真の画像の総合評価値を算出する評価手段と、前記評価手段により得られた画像ごとの総合評価値に基づいて、選出順位を決定して特定数の集合写真の画像を選出する選出手段とを備えることを特徴とする。
【００２２】
【発明の実施の形態】
以下に、第１の実施例を示す。
図１は本実施形態における画像撮影装置の内部構成を示す図である。
同図において、画像撮影装置は、ＣＰＵ１１、カメラ撮影部１２、操作部１３、メモリ部１４、表示部１５、画像メモリ部１６及び記録媒体１７を有し、これらがバス２０を介して接続されて相互にデータの授受が行える構成となっている。
【００２３】
ＣＰＵ１１は中央演算処理部であり、メモリ部１４に予め格納されている制御プログラムを実行することでこの画像撮影装置全体の動作を制御する。
カメラ撮影部１２は、画像の撮影処理を司る部分で、ＣＰＵ１１からシャッタボタンの押下を通知されると、撮像レンズを介してＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ ）等の撮像素子上に結像された被写体像を、光電変換して電気信号変えた後Ａ／Ｄ変換を行い、デジタル画像データにする。
【００２４】
操作部１３は、ユーザの操作指示を受け付ける操作ボタン等で、電源キー、シャッタボタン、種々の設定を行う為の設定ボタン等から構成されている。ユーザがこの操作部１３を操作すると操作内容がＣＰＵ１１に通知され、ＣＰＵ１１はその操作内容に基づいて他の要素の制御処理を行う。
【００２５】
メモリ部１４は、ＣＰＵによって実行されるプログラム等を記憶するＲＯＭやＣＰＵ１１がワークメモリとして用いるＲＡＭ等から構成されており、後述のテンプレート、顔評価テーブル及び画像評価テーブルが格納されている。またこのメモリ部１４上の領域に、後述するカウンタメモリが設けられる。
【００２６】
表示部１５は、液晶モニタやそのドライバ等から構成されており、画像撮影時に撮影画像を表示したり、後述する撮影した複数の画像のうち、特定数の画像をユーザ選択させるために画像を順に表示したり等、種々の情報をユーザに表示するものである。
【００２７】
画像メモリ部１６は、フラッシュメモリ等で構成される書き換え可能な不揮発性のメモリで、撮影した画像の画像データを記憶するものである。なお、図２の画像メモリ部１６内部の構造の概念図が示すように、画像メモリ部１６は、画像格納領域２１と、画像作業領域２２とから構成される。画像格納領域２１は、画像を記録するのに用いられる。画像作業領域２２は、撮影した複数の画像を仮記憶させておくのに用いられる。
【００２８】
記録媒体１７は、メモリカード等の画像撮影装置から着脱可能な可搬記録媒体で、この画像撮影装置に装着されるとバス２０に接続される。画像メモリ部１６に記録された画像データは、この記録媒体１７に転送される。そしてこの記録媒体１７内の画像データは、後日情報処理装置によって読み出され、保存される。
【００２９】
本実施形態の画像撮影装置は、ユーザによる操作部１３の操作指示に基づいて、ＣＰＵ１１がメモリ部１４のＲＡＭをワークメモリとして用いながらメモリ部１４内のプログラムを実行することによって、画像撮影装置の他の構成要素を制御して後述する各種処理を実現する。
【００３０】
かかる画像撮影装置が、画像を撮影・保存する処理の流れを、図３及び図４を用いて説明する。
図３及び図４は、画像撮影装置で行われる動作処理を示すフローチャートである。同図の処理は、図１のＣＰＵ１１がメモリ部１４に記憶されている制御プログラムを実行することによって実現される。
【００３１】
図３のステップ３０１（Ｓ３０１とする。以下、ステップに関し同様に表記する。）では、画像撮影装置は、図１のシャッタボタンの操作を待ち受けしている状態にある。シャッタボタンの操作がない場合は、Ｓ３１０のモード切り替えの操作を随時受け付け可能な状態にある。
【００３２】
ユーザによるモードの切り替え操作を検知した場合（Ｓ３１０でＹＥＳの場合）、処理はＳ３１１へと進む。Ｓ３１１では、現在設定されているモードが集合写真モードであるか否かの判断を行う。なお、集合写真モードとは、シャッタボタン操作時に複数枚の画像を連続的に撮影し、撮影された画像のうち撮影状態が良好な画像を抽出して記録するモードであり、通常モードとは、シャッタボタン操作時に撮影された画像をそのまま記録するモードである。
【００３３】
Ｓ３１１でＹＥＳの場合、処理はＳ３１２へと進み、モードを通常モードに設定する（Ｓ３１２）。ＮＯの場合、処理はＳ３１３へと進み、モードを集合写真モードに設定する（Ｓ３１３）。Ｓ３１２／Ｓ３１３で、モード設定の処理は終了する。
【００３４】
モード設定処理後、処理はＳ３０１へと戻る。モードの切り替え操作がない場合（Ｓ３１０でＮＯの場合）は、モード設定の処理は実行されずに、Ｓ３０１のシャッタボタン操作待ち受けの状態に戻る。
このように、シャッタボタンの操作があるまで、画像撮影装置は、Ｓ３１０からＳ３１２またはＳ３１３までのモード切り替えの処理を常に行うことができる状態にある。この状態の下、シャッタボタンの操作が認識されると（Ｓ３０１でＹＥＳの場合）、処理はＳ３０２へと進み、画像撮影の処理が実行される。
【００３５】
撮影処理においてはまず、撮影が集合写真モードで行われるか否かの判断を行う（Ｓ３０２）。Ｓ３０２でＮＯの場合、すなわち撮影モードが通常モードに設定されている場合は、処理はＳ３０８へと進む。
通常モードでは、Ｓ３０８にて画像の撮影が行われる。１画像の撮影が完了すると、撮影された画像は、Ｓ３０９にて図２の画像格納領域２１に格納される。
【００３６】
Ｓ３０２でＹＥＳ，すなわち撮影モードが集合写真モードに設定されている場合は、処理はＳ３０３へと進む。集合写真モードでの撮影においてはまず、連続撮影枚数をカウントするためのカウンタをリセットする（Ｓ３０３）。
Ｓ３０４で画像の撮影を行う。集合写真モードの撮影では、予め設定されている一定の時間間隔で連続して画像の撮影を行う。Ｓ３０５で、撮影した画像をまず図２の画像作業領域２２に一時記憶させる。通常モードでの撮影とは異なり、画像データを図２の画像格納領域２１に直接格納しない。画像作業領域に一時記憶させた後、カウンタに１加算する（Ｓ３０６）。
【００３７】
Ｓ３０７では、シャッタボタン押下の操作が継続されているかの判断を行う。Ｓ３０７でＹＥＳの場合は、ユーザがシャッタボタンを押下し続けていると判断され、処理はＳ３０４へと戻る。シャッタボタンの押下を認識しなくなるまでＳ３０４乃至Ｓ３０７の処理を繰り返す。
【００３８】
Ｓ３０７でＮＯの場合は、ユーザはシャッタボタンの押下を中止したと判断され、処理は図４のＳ４０１へと進む。Ｓ４０１では、カウンタの値が１０以上であるかどうかを判断する。カウンタの値が１０未満の場合（ＮＯの場合）、処理はＳ４０２へと進む。
【００３９】
Ｓ４０２では、画像の撮影を行う。撮影した画像を図２の画像作業領域２２に一時記憶させる（Ｓ４０３）。一時記憶を行った後、カウンタに１加算を行い（Ｓ４０４）、処理は、カウンタの値の判断（Ｓ４０１）へと戻る。
このように、集合写真モードの撮影においては、カウンタの値、すなわち画像の撮影枚数が１０枚以上であり、かつ、ユーザがシャッタボタンを押下する操作が終了した、と認識されるまで、画像の撮影を継続する。すなわち、集合写真モードでは少なくとも連続して１０枚の画像の撮影を行い、ユーザがシャッタボタンを押下している間は、画像を撮影し続ける。
【００４０】
集合写真モードでの画像の撮影処理が終了した後、図２の画像作業領域２２に一時保存している画像の評価処理を、１画像ごとに実行する。画像の評価処理について、図５の、画像の評価処理を示すフローチャートを用いて説明する。
図５は、画像撮影装置で行われる動作処理を示すフローチャートである。同図の処理も、図１のＣＰＵ１１がメモリ部１４に記憶されている制御プログラムを実行することによって実現される。
【００４１】
Ｓ５０１で、図２の画像作業領域２２に一時記憶させた画像のうち、１画像を読み出す。まず画像データ中から、肌の色に関するデータを抽出する。次に、図１のメモリ部１４から読み出した人の顔部のテンプレートに基づき、肌の色に関するデータが抽出された箇所から、顔部をすべて抽出する（Ｓ５０２）。なお、顔部の抽出に用いるテンプレートとは、正面から見た顔、横顔等、人の顔部の典型的な型を指し、Ｓ５０２では、これと肌の色に関するデータが抽出された箇所の形状とを比較する。形状がマッチングするものを、顔部として抽出する。
【００４２】
図６（ａ）は、ステップＳ５０３、Ｓ５０４で用いられる画像から抽出した顔部に対する評価を行うための顔評価テーブルの例を示す図である。同図のように、画像から抽出された顔部はそれぞれ顔部Ｎｏ．が付され、例えば、顔の向き、体の隠れ度合、目の開き度合等に基づいて算出される。これは、集合写真等においては、より多くの人が、目を開けた状態で正面を向き、身体も周囲に遮られることなく写っていることが、一般的に良い状態であると判断されることに基づき、評価の基準としているものである。
【００４３】
これら評価のポイントもまた、顔部や目部等のテンプレートに基づいて判断され、結果を数値化して評価する。例えば、図６（ａ）中の顔の「向き」に関しては、正面を向いていると判断されると３点、横向きであると判断されると１点、その他の向きと判断されると０点、というように点数が、図１のメモリ部１４上の顔評価テーブルに書き込まれる（ステップＳ５０４）。
【００４４】
図７に、画像の評価値算出の例を示す。図７の画像７０１は、撮影された画像である。図７の画像７０１のデータ中から、まず、人の肌の色に関するデータを抽出する。肌の色に関するデータが抽出された箇所について、抽出箇所が丸い形状をしている箇所を更に抽出し、これとテンプレートの顔の型とのマッチングを行う。テンプレートは、例えば、正面向き（回転角０度）の顔、横向き（回転角±３０度、±６０度等）の顔等がデータとしてメモリ部１４に格納されている。このテンプレートを基に、顔部の個数、顔の向きを判断する。図７の画像７０２では、テンプレートマッチングの結果、人の顔部であると評価されたものを白色の線で囲ってある（画像７０２中の７０３）。この例では、顔部の数が７０３−１〜７０３−１０の１０個、正面を向いている顔の数が７０３−４〜７０３−８の５個及び横向きの顔の数が７０３−１〜７０３−３、７０３−９及び７０３−１０の５個と判断されている。このため、図６（ａ）の顔評価テーブルの「方向」に関する評価点は、３×５＋１×５＝２０点と算出される。この、図７の例の場合、下図中の人物Ａ及び人物Ｂは顔が抽出されていない。これらの人物の顔が抽出されること、あるいは横向きと判断された人物が正面向きで撮影され、正面向きであると判断されることで、評価点は更に上がることになる。
【００４５】
隠れ度、開眼度についても同様にテンプレートに基づいて点数を算出する。隠れ度については、例えば、身体がほぼ全面的に画像に写っていると判断されると３点、２分の１以上４分の３未満が写っていれば１点、２分の１未満しか身体が画像に表れていないときは０点というように採点する。開眼度については、例えば、開眼度が良好であると判断されれば２点、開眼度が悪いと判断されれば０点、というように採点する。隠れ度、開眼度についても同様に、各点数を図６（ａ）の顔評価テーブルに記録する。
【００４６】
顔部の評価点を算出したら、その値を、図６（ａ）の顔評価テーブルの、その顔部に対応する顔部Ｎｏ．の位置の合計点の欄に書き込む（Ｓ５０４）。合計点を書き込んだ後、抽出した全ての顔部についての評価が完了したかどうか判断する（Ｓ５０５）。未完了の場合（Ｓ５０５でＮＯの場合）は、処理はＳ５０３へと戻り、次の顔Ｎｏ．についての評価点の算出を行う。
【００４７】
Ｓ５０５でＹＥＳの場合、すなわち１画像中の全ての顔部についての評価が完了した場合は、処理はＳ５０６へと進む。Ｓ５０６では、各顔部Ｎｏ．の評価値の和を計算する。これをその画像の総合評価点として、図１のメモリ部１４上の、図６（ｂ）の画像評価テーブルに、仮画像Ｎｏ．と対応させて値を書き込む。総合評価点を書き込むと、処理はＳ５０８へと進む。
【００４８】
Ｓ５０８では、画像作業領域２２内の全画像についての総合評価点の算出及び画像評価テーブルへの書き込みが終了したか判断する。ＮＯの場合は、処理はＳ５０１へと戻り、全画像について総合評価点の算出値の画像評価テーブルへの書き込みが終了するまで上記の評価処理を繰り返す。ＹＥＳの場合は、画像の評価処理を終了し、画像の選出処理へと進む。
【００４９】
図８の、１回のシャッタボタン操作で撮影された複数の画像のうち、最適な画像を選出する画像の選出処理について以下に示す。同図の処理も、図１のＣＰＵ１１がメモリ部１４に記憶されている制御プログラムを実行することによって実現される。
【００５０】
図１のメモリ部１４から画像評価テーブルの総合評価値を読み出し、総合評価値の大きいものから順に、仮画像Ｎｏ．をソートする（Ｓ８０１）。仮画像Ｎｏ．を並び替えた結果、総合評価値が最大の画像を選択し、画像撮影装置の表示部１５に表示させる（Ｓ８０２）。
【００５１】
Ｓ８０３では、画像を選出するに当たって、ユーザが画像を指定することが可能と設定されているかどうかを判断する。ＮＯの場合、画像撮影装置が、総合評価値に基づいて、自動的に最適な画像を選出する。このため、Ｓ８０２で選択された画像が必然的に保存されることとなり、処理は後述のＳ８０７へと進む。
【００５２】
Ｓ８０３でＹＥＳ、すなわちユーザの画像指定が可能な場合、処理はＳ８０４へと進む。Ｓ８０４では、表示された画像の保存に対して、ＯＫであるとの判断をユーザから受けると（ＹＥＳの場合）、後述の、Ｓ８０７の画像の保存処理が実行される。ＮＯの場合は、処理はＳ８０５へ進む。
【００５３】
Ｓ８０５では、ユーザからの次の画像を表示するよう指示を待ち受ける。ＮＯ、つまりユーザからの次候補表示の指示がない場合は、処理は前記のＳ８０４へと戻る。次候補表示の指示があった場合、処理はＳ８０６へと進む。
Ｓ８０６では、Ｓ８０１で総合評価値の大きいものから順にソートした仮画像Ｎｏ．のうち、次候補の画像を選択し、図１の、画像撮影装置の表示部１５に表示させる。ユーザに次候補の画像を表示させた後、再び処理はＳ８０４へと戻り、ユーザの指示を待ち受ける。Ｓ８０４で、ユーザが保存したい画像に対してＯＫを指示すると、処理はＳ８０７へと進む。モニタに表示されている画像に対してＯＫであるとのコマンドをユーザ側から受けるまで、総合評価値の大きいものから順にモニタに表示させていく。
【００５４】
Ｓ８０７では、選択された画像を図２の画像格納領域２１に書き込む。画像格納領域２１に画像の保存が完了した後、画像作業領域内の全ての画像データを削除し（Ｓ８０８）、処理は図３の、シャッタボタンの操作を待ち受ける状態に戻る（Ｓ３０１）。なお、本実施例においては一の画像を選択して記録することとしたが、これに限られることはない。複数の画像を選択して記録することとしても良い。
【００５５】
以上、第１の実施例に係る画像撮影装置は、集合写真を撮影する際、１回のシャッタボタン操作で複数の画像を仮記憶させ、その中から、写っている人が画像中でどのように捉えられているかの観点から、最も好適な画像を総合評価値として、数値化させる。この仮記憶させた複数の画像についての総合評価値を比較することによって、画像撮影装置が、自動的に最適と判断する画像を保存すること、及びユーザにとって簡便な画像の選択肢を提供することが可能となる。ユーザは、シャッターチャンスを見計らうことや、多くの画像を記録させておき、後から撮影状態の良い画像を選別すること及び撮影の度に画像を確認し、良い状態の画像を撮影できるまで何度も撮影し直すことが不要となる。
【００５６】
次に、第２の実施例を示す。
第２の実施例は、画像の評価を行うに際し、重み付けを行うものである。これにより特定の人やエリアを重視した画像評価を行うことができる。
第２の実施例に係る画像撮影装置の機構の基本的な構成は第１の実施例と同様であり、図１に示すように、ＣＰＵ１１、カメラ撮影部１２、操作部１３、メモリ部１４、表示部１５、画像メモリ部１６及び記録媒体１７を有し、これらがバス２０を介して接続されて相互にデータの授受が行える構成となっている。メモリ部１４は、図２の通り、画像格納領域２１と、画像作業領域２２とから構成される。
【００５７】
画像を撮影・評価する処理のうち、撮影処理については、第１の実施例と同様で、流れは図３及び図４の通りであるので、ここでは割愛する。第２実施例の評価処理においては、画像全体を一律に評価の対象とするのではなく、一定の範囲に重点を置いて評価する方法をとる点で第１の実施例の評価処理とは異なっている。
【００５８】
以下、図９の、画像の評価処理を示すフローチャートを用いて、第２の実施例に係る評価の処理について説明する。図９は、画像撮影装置で行われる動作処理を示すフローチャートである。同図の処理は図１のＣＰＵ１１がメモリ部１４に記憶されている制御プログラムを実行することによって実現される。
【００５９】
Ｓ９０１で、図２の画像作業領域２２に一時記憶させた画像のうち、１画像を読み出す。次に、画像の評価値を算出するに当たり、エリアを優先させるのか人物を優先させるのかの判断を行う（Ｓ９０２）。なお、エリア優先では、撮影範囲の中心部から所定の範囲内で撮影されている人物部分を評価対象の人物として抽出する。人物優先では、撮影範囲の中心部から所定の人数の範囲内で認識された人物部分を、評価対象の人物として抽出する。
【００６０】
Ｓ９０２の判断結果がＹＥＳ、すなわちユーザがエリア優先を選択した場合は、処理はＳ９０３へと進む。Ｓ９０３では、図１のメモリ部１４に格納されている人の顔部のテンプレートを用いて、画像中で、特定のエリア内の人物の顔のみを抽出する。例えば、図１０（ａ）の画像１０１では、斜線部のエリアＤからは、顔部の抽出を行わない。エリアＡ、Ｂ及びＣ内のみから抽出する。以後の処理では、この特定のエリアＡ、Ｂ及びＣから抽出された顔のみについて評価を行う。
【００６１】
Ｓ９０２の判断結果がＮＯ、すなわちユーザがエリア優先を選択しなかった場合は、中心に移っている人物優先処理を行い、処理はＳ９０４へと進む。Ｓ９０４では、図１のメモリ部１４に格納されている人の顔部のテンプレートを用いて、画像のうち、中心から近い人物の顔を評価対象として抽出する。例えば、図１０（ｂ）の画像１０２では、抽出する顔部の個数を指定し、画像の中心から顔部の抽出を行い、一定の個数までで抽出作業を終了させる、というように行う。この場合、例えば、図１０（ｂ）の画像１０２の斜線部分からは画像の抽出を行わない。以後の処理では、画像１０２の人物抽出エリア内から抽出された顔のみについて評価を行う。
【００６２】
Ｓ９０３あるいはＳ９０４の特定の顔を抽出し、各々に顔部Ｎｏ．を割り当てた後、処理はＳ９０５へと進む。Ｓ９０５では、抽出した顔部ごとに、重みを設定する。エリア優先の抽出を行った場合、例えば、図１０（ａ）の画像１０１中で、エリアＡは重み４、エリアＢは重み２、エリアＣは重み１、というように設定する。画像の中心付近の人物から優先させて抽出を行った場合、例えば、中心からある一定の個数の顔部までは、中心から離れた箇所から抽出された顔部よりも重みをつける、というように設定する。
【００６３】
Ｓ９０６では、抽出した顔部それぞれに対して顔の向きや目の開き度合等から評価点の算出を行う。算出方法の詳細については、第１の実施例で挙げた方法と同様であり、ここでは省略する。
重み付き評価点を、算出した評価点に重みを乗算して算出する（Ｓ９０７）。この重み付きの評価点を、顔部Ｎｏ．と対応させて、図１のメモリ部１４に格納されている、顔評価テーブルに書き込む（Ｓ９０８）。
【００６４】
図１１（ａ）に、第２の実施例における顔評価テーブルの例を示す。第２の実施例で用いられる顔評価テーブルは、図６（ａ）の第１の実施例における顔評価テーブルと比較すると、抽出した顔部の重みがさらに記録されており、評価点も、この重みを用いて重み付けを行い算出されている。
【００６５】
Ｓ９０９で、抽出した全ての顔部についての評価が完了しているか判断する。ＮＯの場合、処理はＳ９０６へと戻り、残りの顔部Ｎｏ．に対応する重み付き評価点を順に算出し、顔評価テーブルに書き込む。全ての顔部についての評価が完了すると、処理はＳ９１０へと進む。
【００６６】
Ｓ９１０では、重み付き評価点の平均点を計算する。例えば、（平均点）＝（各顔部の重み付き評価点の総和）／（顔部の数）の式で求められる。Ｓ９１０で求めた平均点を、図１のメモリ部１４に格納されている図１１（ｂ）の画像評価テーブルに、仮画像Ｎｏ．と対応させて書き込む。
【００６７】
画像評価テーブルへの書き込みが完了後、図２の画像作業領域２２内の全画像について評価が完了したかを判断する（Ｓ９１２）。未完了の場合（Ｓ９１２でＮＯの場合）は、処理はＳ９０１へと戻り、残りの仮画像Ｎｏ．に対応する平均点を算出し、画像評価テーブルに順次書き込む。全ての画像について評価が完了すると（Ｓ９１２でＹＥＳの場合）、評価処理は終了する。
【００６８】
評価処理の後は画像選出処理が行われる。これは、図８を用いて示した第１の実施例に係る選出処理と同様の手順で行われる。ただし、図８の評価値として、図１１（ｂ）の画像評価テーブルに記憶されている平均点を用いる。
以上、第２の実施例について説明したが、かかる画像撮影装置により、画像中の特定の箇所に写っている人物が、画像中でどのように捉えられているかに重点を置いて、最も好適な画像が提供される。集合写真のように、大勢で写す場合であっても、特定の箇所、人物等に重点を置いて撮影したい場合に特に好適である。
【００６９】
なお、以上実施例に沿って画像撮影装置について説明したが、本願は、これらに限定されるものではない。例えば、画像の選出処理においては、抽出した人の顔部の数に対し、評価点が高い顔部の数が高い割合で占めている画像から順に選出することとしても良い。また、例えば、本実施例では顔の向き、体の隠れ具合、目の開き具合とし、顔のテンプレートによって評価を行ったが、評価方法、テンプレートの種類によっては、人以外の対象についても好適な画像をユーザに提供することができる。
【００７０】
また、上記実施例では、一連の処理を実行する手段を備えた画像記録装置について説明したが、一連の処理を実行させるプログラムとして提供することもできる。
【００７１】
【発明の効果】
本発明によれば、複数枚の集合写真の画像の中から、集合写真の画像の中心部に近い位置に撮影されている所定の人数の複数の顔画像の撮影状態を評価点として算出し、算出された各顔画像の評価点に基づいて、これらの各顔画像が含まれる集合写真の画像の総合評価値を算出して、この総合評価値に基づいて、選出順位を決定して特定数の集合写真の画像を選出するので、集合写真の中心部に撮影されている各人物の顔画像が良いものが多く含まれている集合写真を選出することができる。
【図面の簡単な説明】
【図１】本実施例における画像撮影装置のブロック図である。
【図２】本実施例に係る画像撮影装置のメモリ内部の構造を示す概念図である。
【図３】本実施例に係る画像の撮影処理を示すフローチャート（その１）である。
【図４】本実施例に係る画像の撮影処理を示すフローチャート（その２）である。
【図５】第１の実施例に係る画像の評価処理を示すフローチャートである。
【図６】（ａ）は第１の実施例に係る顔評価テーブルの例、（ｂ）は第１の実施例に係る画像評価テーブルの例を示す図である。
【図７】画像の評価値算出の例を示す図である。
【図８】本実施例に係る画像の選出処理を示すフローチャートである。
【図９】第２の実施例に係る画像の評価処理を示すフローチャートである。
【図１０】（ａ）及び（ｂ）は、第２の実施例で、画像の評価値を算出する際に負荷する重みの一例を示す図である。
【図１１】（ａ）は第２の実施例に係る顔評価テーブルの例、（ｂ）は第２の実施例に係る画像評価テーブルの例を示す図である。
【符号の説明】
１１ ＣＰＵ
１２ カメラ撮影部
１３ 操作部
１４ メモリ部
１５ 表示部
１６ 画像メモリ部
１７ 記録媒体
２０ バス
２１ 画像格納領域
２２ 画像作業領域
Claims (4)
- シャッタボタンの操作で連続的に撮影された複数枚の集合写真の画像を、一時的に記憶する記憶手段と、
前記記憶手段に記憶された複数枚の集合写真の各画像について、集合写真の画像の中心部に近い位置に撮影されている所定の人数の複数の顔画像を被写体に関するテンプレートを用いて抽出する抽出手段と、
前記テンプレートに基づいて抽出した各顔画像の撮影状態を評価点として算出し、算出された各顔画像の評価点に基づいて、これらの各顔画像が含まれる集合写真の画像の総合評価値を算出する評価手段と、
前記評価手段により得られた画像ごとの総合評価値に基づいて、選出順位を決定して特定数の集合写真の画像を選出する選出手段と
を備えることを特徴とする画像撮影装置。 - 前記評価手段は、前記抽出された各顔画像ごとに、評価の重みを設定し、該顔画像に設定された評価の重みを加味して評価することを特徴とする請求項１に記載の画像撮影装置。
- １回のシャッタボタン操作に対し１画像を撮影し、撮影した画像をそのまま前記記憶手段に記憶する第１のモードと、１回のシャッタボタン操作に対して複数の画像を撮影し、前記記憶手段に記憶する第２のモードとを有する撮影手段を備えたことを特徴とする請求項１に記載の画像撮影装置。
- 画像を撮影する画像撮影装置内で実行されるプログラムであって、
コンピュータを、
シャッタボタンの操作で連続的に撮影された複数枚の集合写真の画像を、一時的に記憶する記憶手段、
前記記憶手段に記憶された複数枚の集合写真の各画像について、集合写真の画像の中心部に近い位置に撮影されている所定の人数の複数の顔画像を被写体に関するテンプレートを用いて抽出する抽出手段、
前記テンプレートに基づいて抽出した各顔画像の撮影状態を評価点として算出し、算出された各顔画像の評価点に基づいて、これらの各顔画像が含まれる集合写真の画像の総合評価値を算出する評価手段、
前記評価手段により得られた画像ごとの総合評価値に基づいて、選出順位を決定して特定数の集合写真の画像を選出する選出手段
として機能させるためのプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003183266A JP4449354B2 (ja) | 2003-06-26 | 2003-06-26 | 画像撮影装置及びプログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003183266A JP4449354B2 (ja) | 2003-06-26 | 2003-06-26 | 画像撮影装置及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2005020446A JP2005020446A (ja) | 2005-01-20 |
| JP4449354B2 true JP4449354B2 (ja) | 2010-04-14 |
Family
ID=34183418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003183266A Expired - Fee Related JP4449354B2 (ja) | 2003-06-26 | 2003-06-26 | 画像撮影装置及びプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4449354B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007028555A (ja) | 2005-07-21 | 2007-02-01 | Sony Corp | カメラシステム，情報処理装置，情報処理方法，およびコンピュータプログラム |
| JP4630749B2 (ja) * | 2005-07-26 | 2011-02-09 | キヤノン株式会社 | 画像出力装置及びその制御方法 |
| JP4844053B2 (ja) | 2005-08-31 | 2011-12-21 | セイコーエプソン株式会社 | 画像選択装置および画像選択方法 |
| JP4444936B2 (ja) | 2006-09-19 | 2010-03-31 | 富士フイルム株式会社 | 撮影装置および方法並びにプログラム |
| JP4680161B2 (ja) | 2006-09-28 | 2011-05-11 | 富士フイルム株式会社 | 画像評価装置および方法並びにプログラム |
| JP4264663B2 (ja) | 2006-11-21 | 2009-05-20 | ソニー株式会社 | 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム |
| JP4826485B2 (ja) * | 2007-01-25 | 2011-11-30 | ソニー株式会社 | 画像保存装置、画像保存方法 |
| JP4881199B2 (ja) * | 2007-03-23 | 2012-02-22 | 富士フイルム株式会社 | 画像評価装置および方法並びにプログラム |
| JP4957608B2 (ja) * | 2008-03-25 | 2012-06-20 | セイコーエプソン株式会社 | 画像における顔領域の検出 |
| JP4957607B2 (ja) * | 2008-03-25 | 2012-06-20 | セイコーエプソン株式会社 | 画像における顔領域の検出 |
| JP5092093B2 (ja) * | 2008-03-27 | 2012-12-05 | 株式会社国際電気通信基礎技術研究所 | 画像処理装置 |
| US8711265B2 (en) | 2008-04-24 | 2014-04-29 | Canon Kabushiki Kaisha | Image processing apparatus, control method for the same, and storage medium |
| JP4974958B2 (ja) * | 2008-04-24 | 2012-07-11 | キヤノン株式会社 | 画像処理装置およびその制御方法およびプログラム |
| JP5083087B2 (ja) * | 2008-07-22 | 2012-11-28 | ソニー株式会社 | 撮像装置、その処理方法およびプログラム |
| JP2011015054A (ja) * | 2009-06-30 | 2011-01-20 | Nikon Corp | デジタルカメラ |
| JP5330530B2 (ja) | 2010-01-22 | 2013-10-30 | パナソニック株式会社 | 画像管理装置、画像管理方法、プログラム、記録媒体及び集積回路 |
| CN102511054B (zh) * | 2010-07-21 | 2016-02-10 | 松下电器（美国）知识产权公司 | 图像管理装置、图像管理方法 |
| JP2011103128A (ja) * | 2010-11-29 | 2011-05-26 | Seiko Epson Corp | 画像選択装置および画像選択方法 |
| JP2011118944A (ja) * | 2011-03-11 | 2011-06-16 | Seiko Epson Corp | 画像処理装置、印刷装置、画像処理方法、及びコンピュータープログラム |
-
2003
- 2003-06-26 JP JP2003183266A patent/JP4449354B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2005020446A (ja) | 2005-01-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4449354B2 (ja) | 画像撮影装置及びプログラム | |
| JP4640456B2 (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム | |
| TWI343208B (ja) | ||
| JP5164327B2 (ja) | 撮影装置及びプログラム | |
| JP4980779B2 (ja) | 撮影装置、方法およびプログラム | |
| JP4645685B2 (ja) | カメラ、カメラ制御プログラム及び撮影方法 | |
| JP4663699B2 (ja) | 画像表示装置、及び画像表示方法 | |
| US8077216B2 (en) | Image pickup apparatus with a human face detecting function, method and program product for detecting a human face | |
| JP4861952B2 (ja) | 画像処理装置及び撮像装置 | |
| CN101262561B (zh) | 成像设备及其控制方法 | |
| EP2051505A2 (en) | Composition determining apparatus, composition determining method, and program | |
| CN101848338A (zh) | 具有变焦功能的摄影装置 | |
| CN101325658A (zh) | 成像设备、成像方法和计算机程序 | |
| JP2006201531A (ja) | 撮像装置 | |
| US20090110243A1 (en) | Camera and image recording program product | |
| US20070237513A1 (en) | Photographing method and photographing apparatus | |
| JP4692849B2 (ja) | 立体画像記録装置および立体画像記録方法 | |
| JP2007324965A (ja) | デジタルカメラ、撮影制御方法および画像出力システム | |
| CN105100586A (zh) | 检测装置及检测方法 | |
| JP5604285B2 (ja) | 撮像装置 | |
| JP2007142565A (ja) | 撮像装置及びその撮像方法 | |
| JP4621992B2 (ja) | 撮影装置および撮影方法 | |
| JP2008245093A (ja) | デジタルカメラ、デジタルカメラの制御方法及び制御プログラム | |
| JPH07220025A (ja) | 画像処理装置 | |
| JP2010161547A (ja) | 構図選択装置及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060123 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080527 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080723 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090414 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090915 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091111 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100105 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100118 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4449354 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130205 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140205 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |