JP5055025B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

近年、顔の表情、特に人物の顔の表情を検出する技術が開発されつつある。一般的に、カメラで人物を撮影する際には、被写体である人物の表情が笑顔などの良い表情のタイミングで撮影することが望まれることが多い。そのため、デジタルカメラへの表情検出技術の応用が検討されている。

特許文献１には、撮影された画像データに含まれる被写体の表情をそれぞれ笑顔の度合い、端正さといった観点から評価し、採点する技術が示されている。
特開２００４−４６５９１号公報

特許文献１には、被写体の表情を検出する前の段階において、被写体の表情を検出することができる状態になっているのか否かをユーザに把握させることができる技術が開示されていない。このとき、ユーザが注目する被写体について撮影が可能か否かをユーザに確認させることが困難であり、その被写体の表情が目標とする表情に達したタイミングで撮影できないおそれがある。

本発明の目的は、被写体の表情を検出することができる状態になっているか否かをユーザに把握させることができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することにある。

本発明の第１側面に係る画像処理装置は、異なる複数のタイミングで被写体を撮像して得られた複数の画像データを順次取得する取得手段と、前記取得手段により取得された前記複数の画像データのそれぞれについて、前記被写体の顔領域を検出する顔領域検出手段と、前記顔領域検出手段により検出された前記顔領域から、前記被写体の顔の構成要素の形状を表す顔情報を抽出する顔情報抽出手段と、前記複数の画像データのそれぞれについて前記顔情報抽出手段により抽出された複数の前記顔情報のうちの１つの顔情報を、前記被写体の顔の表情を推定するための基準となる基準顔情報として選択する顔情報選択手段と、顔情報選択手段により前記基準顔情報が選択された後に前記顔情報抽出手段により抽出された前記被写体の顔情報と前記基準顔情報との間の前記構成要素の変化量分を求め、前記変化量が閾値を超えた場合に前記被写体の顔が所定の表情であると推定する表情推定手段と、前記顔情報選択手段により前記基準顔情報が選択されたか否かを示す選択状態情報を前記被写体の画像と関連付けて表示する表示手段とを備えることを特徴とする。

本発明の第２側面に係る画像処理方法は、取得手段が、異なる複数のタイミングで被写体を撮像して得られた複数の画像データを順次取得する取得ステップと、顔領域検出手段が、前記取得ステップで取得された前記複数の画像データのそれぞれについて、前記被写体の顔領域を検出する顔領域検出ステップと、顔情報抽出手段が、前記顔領域検出ステップで検出された前記顔領域から、前記被写体の顔の構成要素の形状を表す顔情報を抽出する顔情報抽出ステップと、顔情報選択手段が、前記複数の画像データのそれぞれについて前記顔情報抽出ステップで抽出された複数の前記顔情報のうちの１つの顔情報を、前記被写体の顔の表情を推定するための基準となる基準顔情報として選択する顔情報選択ステップと、表情推定手段が、前記顔情報選択ステップで前記基準顔情報が選択された後に前記顔情報抽出ステップで抽出された前記被写体の顔情報と前記基準顔情報との間の前記構成要素の変化量分を求め、前記変化量が閾値を超えた場合に前記被写体の顔が所定の表情であると推定する表情推定ステップと、表示手段が、前記顔情報選択ステップで前記基準顔情報が選択されたか否かを示す選択状態情報を前記被写体の画像と関連付けて表示する表示ステップとを備えることを特徴とする。

本発明によれば、被写体の表情を検出することができる状態になっているか否かをユーザに把握させることができる。

本発明の第１実施形態に係る画像処理装置１００について、図１を参照して説明する。図１は、本発明の第１実施形態に係る画像処理装置１００の構成図である。

画像処理装置１００は、例えば、デジタルカメラである。画像処理装置１００は、以下の構成要素を備える。

保護手段１０２は、例えばバリアである。保護手段１０２は、外部と撮影レンズ１０との間に配置され、撮影レンズ１０を保護する。シャッター１２は、撮影レンズ１０と後述の撮像素子１４との間に配置され、撮影レンズ１０から撮像素子１４へ導かれる光量を絞るための絞り機能を有する。

取得手段１７は、異なる複数のタイミングで被写体を撮像して得られた画像データを取得する。取得手段１７は、光学像を光電変換して画像信号を生成する撮像素子１４と、撮像素子１４から受け取った画像信号をＡ／Ｄ変換して画像データを生成するＡ／Ｄ変換器１６とを含む。すなわち、取得手段１７は、被写体を異なる複数のタイミングで撮像して、被写体の複数の画像データを取得する。

タイミング発生部１８は、メモリ制御部２２及びシステム制御部５０により制御されて、撮像素子１４、Ａ／Ｄ変換器１６、後述のＤ／Ａ変換器２６にクロック信号や制御信号を供給する。

画像処理部２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御部２２からのデータに対して、所定の画素補間処理や色変換処理を行う。

また、画像処理部２０は、Ａ／Ｄ変換器１６等から受け取った画像データを用いて所定の演算処理を行い、得られた演算結果をシステム制御部５０へ供給する。これにより、システム制御部５０は、露光制御手段４０、測距制御手段４２に対して制御を行い、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

さらに、画像処理部２０は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

また、画像処理部２０は、顔領域検出手段２０ａと顔情報抽出手段２０ｂとを含む。顔領域検出手段２０ａは、取得手段１７により取得された複数の画像データのそれぞれにおいて、被写体の顔領域を検出する。例えば、画像データから、口や目などの顔の構成要素に相当する形状を抽出し、その構成要素の位置を基準として顔領域を検出する。顔情報抽出手段２０ｂは、顔領域検出手段２０ａにより検出された複数の顔領域のそれぞれから、被写体の顔の構成要素の形状に関する顔情報を抽出する。顔情報は、例えば、口や目や眉毛などの具体的な形状や座標に関する情報を含み、あるいは、例えば、鼻の端点、鼻穴の中心点、耳の端点などの形状や座標に関する情報を含む。ここで、顔情報は、それぞれの端点や中心点あるいは目の黒点などを入力された顔の画像から、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。顔領域検出手段２０ａが顔領域を抽出する際には、口や目などの顔の構成要素としての条件を満たす形状が存在するか否かという判断を行っている。つまり、笑っているときの大きく開いた口でも、黙っているときの閉じた口でも、口という条件さえ満たせばその具体的な形状までは問わない。これに対し、顔情報抽出手段２０ｂが顔情報を抽出する際には、同じ口であっても、口角の位置や口の開き具合などの具体的な形状や顔領域における座標の情報までも含めて抽出される。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生部１８、画像処理部２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長部３２を制御する。メモリ制御回路２２は、Ａ／Ｄ変換器１６や画像処理部２０から受け取ったデータを画像表示メモリ２４或いはメモリ３０に書き込む。

画像表示メモリ２４は、表示用の画像データを記憶する。Ｄ／Ａ変換器２６は、表示用の画像データをメモリ制御部２２経由で画像表示メモリ２４から受け取り、表示用の画像データをアナログ信号へＤ／Ａ変換する。

第１の報知手段２８は、Ｄ／Ａ変換器２６から受け取ったアナログ信号に応じた画像を表示する。第１の報知手段２８は、例えば、ＴＦＴ−ＬＣＤを含む。第１の報知手段２８は、画像を逐次表示して、電子ファインダ機能を実現することが可能である。

ここで、第１の報知手段２８は、システム制御部５０の指示により任意に表示をＯＮ/ＯＦＦすることが可能であり、表示をＯＦＦにした場合にデジタルカメラ１００の電力消費を大幅に低減することが出来る。

また、第１の報知手段２８は、後述の顔情報抽出手段２０ｂにより顔情報が抽出された状態であるか否かを示す抽出状態情報を被写体の画像に関連付けて報知する。抽出状態情報は、例えば、顔情報が抽出されていない顔領域であることを示す実線の四角い枠５０８と、顔情報が抽出されている顔領域であることを示す破線の四角い枠５０６とを含む（図７，図８参照）。

あるいは、第１の報知手段２８は、後述の顔情報選択手段５０ａにより基準顔情報が選択された状態であるか否かを示す選択状態情報を被写体の画像に関連付けて報知する（図７〜図９参照）。選択状態情報は、例えば、基準顔情報が選択されていない顔領域であることを示す破線の四角い枠５０６と、基準顔情報が選択された顔領域であることを示す実線の丸い枠５０７とを含む（図８，図９参照）。後述のように、基準顔情報は、例えば、無表情状態の表情、すなわち、澄ました表情に対する顔情報である。

あるいは、第１の報知手段２８は、基準顔情報に対する他の顔情報の変化量を示す変化量情報６０２と、検出しようとする表情に達したと判断するための変化量の閾値を示す閾値情報６０３とを、被写体の画像に関連付けて報知する（図１０参照）。あるいは、第１の報知手段２８は、変化量情報と、後述の変更手段５０ｃにより変更された閾値情報とを、被写体の画像に関連付けて報知する。ここで、第１の報知手段２８は、少なくとも変化量情報６０２を報知する際に、後述の表情推定手段５０ｂが推定した結果に基づいて、変化量が閾値を超えたか否かを識別可能に報知する。第１の報知手段２８は、さらに、基準顔情報に対応した画像６０１（図１０参照）を被写体の画像に関連付けて報知する。

メモリ３０は、撮影した静止画像や動画像を格納する。メモリ３０は、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連射撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御部５０の作業領域としても使用することが可能である。

圧縮伸長部３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮伸長部３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御手段４０は、絞り機能を備えるシャッター１２を制御する。露光制御手段４０は、フラッシュ４８と連携することにより、フラッシュ調光機能を実現することができる。

測距制御手段４２は、撮影レンズ１０のフォーカシングを制御する。ズーム制御手段４４は、撮影レンズ１０のズーミングを制御する。バリア制御手段４６は、保護手段１０２の動作を制御する。フラッシュ４８は、ＡＦ補助光の投光機能、フラッシュ調光機能を有する。

システム制御部５０は、デジタルカメラ１００全体を制御する。例えば、システム制御部５０は、取得手段１７により取得された画像データに対して画像処理部２０が演算した演算結果に基づき、露光制御手段４０や測距制御手段４２を制御する。

また、システム制御部５０は、顔情報選択手段５０ａ、表情推定手段５０ｂ、及び変更手段５０ｃを含む。顔情報選択手段５０ａは、顔情報抽出手段２０ｂにより抽出された複数の顔情報から、被写体の顔の表情を推定するための基準となる基準顔情報を選択する。基準顔情報は、例えば、無表情状態の表情、すなわち、澄ました表情に対する顔情報である。ここで、顔情報選択手段５０ａは、例えば、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、無表情状態であると判定して、その判定結果に応じた顔情報を基準顔情報として選択する。

なお、顔情報選択手段５０ａは、無表情状態を判定する際に、口以外の構成要素の形状を使用しても構わない。例えば、顔情報選択手段５０ａは、更に顔情報として眼の開閉度状態を用い、目の大きさの変化などを使用して眼開きの状態タイミングに基づいて基準顔情報を選択しても良い。また、顔情報選択手段５０ａは、瞳画像をニューラルネットワークで学習させ、固定閾値以上の瞳ニューロン数から眼の開閉状態を判定するようにしても良い。

表情推定手段５０ｂは、基準顔情報と他の顔情報とを比較して、他の顔情報に対応した被写体の顔の表情を推定する。すなわち、表情推定手段５０ｂは、顔情報選択手段５０ａから基準顔情報を受け取り、画像処理部２０の顔情報抽出手段２０ｂから他の顔情報を受け取る。表情推定手段５０ｂは、基準顔情報と他の顔情報との差分を演算し、基準顔情報に対する他の顔情報の変化量を示す変化量情報を生成する。表情推定手段５０ｂは、検出しようとする表情に達したと判断するための変化量の閾値を示す閾値情報を後述のメモリ５２から受け取る。表情推定手段５０ｂは、変化量情報と閾値情報とに基づいて、変化量が閾値を超えたか否かを判定する。これにより、表情推定手段５０ｂは、対象とする被写体の顔が、目標とする表情に達したか否かを判断する。

変更手段５０ｃは、後述の入力手段７５から変更指示を受け取る。変更指示は、検出しようとする表情に達したと判断するための変化量の閾値を変更するための指示である。変更手段５０ｃは、変更指示に応じて、閾値情報を変更する。

メモリ５２は、システム制御部５０の動作用の定数、変数等を記憶する。また、メモリ５２は、予め設定情報として後述の入力手段７５から受け取った閾値情報を記憶する。

第２の報知手段５４は、システム制御部５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を報知する。第２の報知手段５４は、デジタルカメラ１００の後述の操作部７０近辺の視認し易い位置に単数或いは複数個所設置される。第２の報知手段５４は、例えば、液晶表示装置（ＬＣＤ）、ＬＥＤ、発音素子（スピーカ）等の組み合わせにより構成されている。

また、第２の報知手段５４は、その一部の機能が光学ファインダ１０４内に設置されている。

第２の報知手段５４は、例えば、シングルショット/連写撮影表示、セルフタイマー表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタースピード表示、絞り値表示、及び露出補正表示などをＬＣＤ等に表示する。あるいは、第２の報知手段５４は、例えば、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、及び複数桁の数字による情報表示などをＬＣＤ等に表示する。あるいは、第２の報知手段５４は、例えば、外部記録媒体１２０の着脱状態表示、通信Ｉ/Ｆ動作表示、及び日付け・時刻表示等をＬＣＤ等に表示する。

また、第２の報知手段５４は、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、及び露出補正表示等を光学ファインダ１０４内に表示する。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、画像処理プログラムなどのプログラムを記憶する。不揮発性メモリ５６は、例えば、ＥＥＰＲＯＭ等が用いられる。

入力手段７５は、複数の被写体から顔情報を抽出する対象となる被写体を指示する抽出対象指示を受け付ける。あるいは、入力手段７５は、被写体の表情を検出するための表情検出指示を受け付ける。あるいは、入力手段７５は、検出しようとする表情に達したと判断するための変化量の閾値を変更するための変更指示を受け付ける。

また、入力手段７５は、システム制御部５０の各種の動作指示を受け付ける。スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせを介して、所定の指示を受け付ける。この入力手段７５は、モードダイアルスイッチ６０、シャッターボタン６１、第１シャッタースイッチ６２、第２シャッタースイッチ６４、画像表示ＯＮ／ＯＦＦスイッチ６６、及び操作部７０を含む。

モードダイアルスイッチ６０は、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定するための指示を受け付ける。

シャッターボタン６１は、静止画撮影等するための指示などをユーザから受け付ける。例えば、シャッターボタン６１は、半押しされることにより、ＡＦ（オートフォーカス）処理、、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等するための第１の指示を受け付ける。例えば、シャッターボタン６１は、全押しされることにより、静止画撮影等するための第２の指示を受け付ける。

第１シャッタースイッチ（ＳＷ１）６２は、第１の指示をシャッターボタン６１から受け取るとＯＮ状態になり、ＯＮ状態である旨の情報をシステム制御部５０へ供給する。システム制御部５０は、第１シャッタースイッチ６２がＯＮ状態であることに応じて、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を各部へ指示する。

第２シャッタースイッチ（ＳＷ２）６４は、第２の指示をシャッターボタン６１から受け取るとＯＮ状態になり、ＯＮ状態である旨の情報をシステム制御部５０へ供給する。これにより、システム制御部５０は、一連の撮影処理の動作開始を指示する。一連の撮影処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して記憶手段３０に画像データを書き込む露光処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理を行う。そして、一連の撮影処理では、記憶手段３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を行う。

画像表示ＯＮ／ＯＦＦスイッチ６６は、第１の報知手段２８のＯＮ／ＯＦＦを設定するための指示を受け付ける。この指示により、システム制御部５０は、光学ファインダー１０４を用いて撮影を行う際に、第１の報知手段２８への電流供給を遮断して、省電力化を図ることができる。

クイックレビューＯＮ／ＯＦＦスイッチ６８は、撮影直後に撮影した画像データを自動再生するクイックレビュー機能を設定するための指示を受け付ける。例えば、第１の報知手段２８をＯＦＦとした場合におけるクイックレビュー機能の設定を受け付けることができるものとする。

操作部７０は、各種ボタンやタッチパネル等からなる。操作部７０は、メニューボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマー切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタンを含む。操作部７０は、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン、ブラケットモードの選択ボタンボタン等を含む。

電源制御手段８０は、電池検出回路、ＤＣ-ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行う。電源制御手段８０は、検出結果及びシステム制御部５０の指示に基づいてＤＣ-ＤＣコンバータを制御し、必要な電圧を必要な期間、外部記録媒体１２０を含む各部へ供給する。

コネクタ８２は、電源制御手段８０に接続されている。コネクタ８４は、電源８６に接続されている。電源８６は、例えば、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等である。

カードコントローラ９０は、メモリカード等の外部記録媒体とデータの送受信を行う。インタフェース９１は、メモリカード等の外部記録媒体１２０とカードコントローラ９０とのインタフェースとして機能する。コネクタ９２は、メモリカード等の外部記録媒体１２０が接続される。記録媒体着脱検知手段９８は、コネクタ９２に外部記録媒体１２０が装着されているか否かを検知する。

なお、記録媒体を取り付けるインタフェース及びコネクタは、２以上の系統数であってもよい。また、インタフェース及びコネクタは、異なる規格のものが組み合わせされていても構わない。インタフェース及びコネクタは、半導体メモリカード等の規格に準拠したものを用いて構成して構わない。この場合、各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことができる。各種通信カードは、例えば、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード等である。

光学ファインダ１０４は、撮影を行う際に被写体を確認するために用いられる。光学ファインダー１０４を用いれば、第１の報知手段２８による電子ファインダー機能を使用すること無しに撮影を行うことが可能である。また、光学ファインダー１０４には、報知手段５４により表示される情報の一部、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタースピード表示、絞り値表示、露出補正表示などに関する情報が表示される。

外部記録媒体１２０は、コネクタ９２に着脱可能に接続される。外部記録媒体１２０は、例えば、メモリカード等である。

次に、画像処理装置１００が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを、図２に示すフローチャートを用いて説明する。図２は、画像処理装置１００が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを示すフローチャートである。

ステップＳ１では、入力手段７５が、笑顔撮影モードを選択するための指示を受け付ける。この笑顔撮影モードは、特定の被写体の笑顔を検出した際に自動的に撮影が行われる撮影モードである。取得手段１７は、異なる複数のタイミングで被写体を撮像して得られた画像データを取得する。

例えば、このとき、第１の報知手段２８は、２人の被写体Ｏ１，Ｏ２を表示画面５０１に表示している（図５参照）。

ステップＳ２では、入力手段７５が、顔領域検出を行うための指示をユーザから受け付け、その指示を顔領域検出手段２０ａへ供給する。顔領域検出手段２０ａは、その指示に応じて、取得手段１７により取得された複数の画像データのそれぞれにおいて、被写体の顔領域を検出する。顔領域検出手段２０ａは、検出された顔領域に関する情報をシステム制御部５０へ供給する。システム制御部５０は、検出された顔領域に関する情報に応じて、第１の報知手段２８を制御する。第１の報知手段２８は、表示画面において、顔領域が検出された被写体に、検出されたことを示す顔枠を表示する。

例えば、このとき、第１の報知手段２８は、２人の被写体Ｏ１，Ｏ２のそれぞれに対して、顔領域が検出されたことを示す顔枠５０３，５０４を表示する（図６参照）。

ステップＳ３では、準備処理が行われる。準備処理の詳細に関しては後述する。

ステップＳ４では、システム制御部５０が、表情を検出すべきであるか否かを判断する。

例えば、システム制御部５０は、被写体の表情を検出するための表情検出指示を入力手段７５から受け取った場合、表情を検出すべきであると判断する。システム制御部５０は、被写体の表情を検出するための表情検出指示を入力手段７５から受け取らなかった場合、表情を検出すべきでないと判断する。

あるいは、例えば、システム制御部５０は、対象とする被写体の全てについて基準顔情報が選択された場合、表情を検出すべきであると判断する。システム制御部５０は、対象とする被写体のうち基準顔情報が選択されていない被写体が存在する場合、表情を検出すべきでないと判断する。

システム制御部５０は、表情を検出すべきであると判断する場合、処理をステップＳ５へ進め、表情を検出すべきでないと判断する場合、処理をステップＳ１へ進める。

ステップＳ５では、顔領域検出手段２０ａが、取得手段１７により取得された複数の画像データのそれぞれにおいて、被写体の顔領域を検出する。領域検出手段２０ａは、検出された顔領域に関する情報をシステム制御部５０へ供給する。システム制御部５０は、検出された顔領域に関する情報に応じて、第１の報知手段２８を制御する。第１の報知手段２８は、表示画面において、顔領域が検出された被写体に、検出されたことを示す顔枠を表示する。

ステップＳ６では、検出処理が行われる。検出処理の詳細に関しては後述する。

ステップＳ７では、システム制御部５０が、撮影すべきであるか否かを判断する。

例えば、システム制御部５０は、表情フラグがＯＮ状態にされた被写体の数が所定数以上である場合、撮影すべきであると判断し、表情フラグがＯＮ状態にされた被写体の数が所定数未満である場合、撮影すべきでないと判断する。

あるいは、例えば、システム制御部５０は、表示フラグがＯＮ状態である旨の情報を第２シャッタースイッチ６４から受け取った場合、撮影すべきであると判断する。例えば、システム制御部５０は、表示フラグがＯＮ状態である旨の情報を第２シャッタースイッチ６４から受け取らなかった場合、撮影すべきでないと判断する。

システム制御部５０は、撮影すべきであると判断する場合、処理をステップＳ８へ進め、撮影すべきでないと判断する場合、処理をステップＳ９へ進める。

ステップＳ８では、システム制御部５０が、一連の撮影処理の動作開始を指示する。一連の撮影処理では、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御部２２を介して記憶手段３０に画像データを書き込む露光処理、画像処理部２０やメモリ制御部２２での演算を用いた現像処理を行う。そして、一連の撮影処理では、記憶手段３０から画像データを読み出し、圧縮伸長部３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理を行う。

ステップＳ９では、システム制御部５０が、笑顔撮影モードの処理を終了すべきか否かを判断する。

例えば、システム制御部５０は、撮影モードを笑顔撮影モード以外の撮影モードへ変更するための指示を受け取った場合、笑顔撮影モードの処理を終了すべきであると判断する。システム制御部５０は、撮影モードを笑顔撮影モード以外の撮影モードへ変更するための指示を受け取らなかった場合、笑顔撮影モードの処理を終了すべきでないと判断する。

あるいは、例えば、システム制御部５０は、笑顔撮影モードを終了すべき指示を受け取った場合、笑顔撮影モードの処理を終了すべきであると判断する。システム制御部５０は、笑顔撮影モードを終了すべき指示を受け取らなかった場合、笑顔撮影モードの処理を終了すべきでないと判断する。

次に、準備処理（ステップＳ３）の流れを、図３を用いて説明する。図３は、被写体のごとの準備処理の流れを示すフローチャートである。図３には、特定の被写体（例えば、図７に示す被写体Ｏ２）に着目した場合の処理が示されている。すなわち、準備処理は、個々の被写体ごとに独立して並行的に行われる。例えば、被写体Ｏ１，Ｏ２に対して異なる顔枠５０８，５０５が表示されており、準備処理が独立並行的に行われている様子の一例が図７に示されている。

ステップＳ１１では、顔情報抽出手段２０ｂが、特定の被写体が対象とする被写体であるか否かを判断する。

例えば、顔情報抽出手段２０ｂは、特定の被写体に対する抽出対象指示を入力手段７５から受け取った場合、その特定の被写体が対象とする被写体であると判断する。顔情報抽出手段２０ｂは、特定の被写体に対する抽出対象指示を入力手段７５から受け取らなかった場合、その特定の被写体が対象とする被写体でないと判断する。

顔情報抽出手段２０ｂは、特定の被写体が対象とする被写体であると判断する場合、処理をステップＳ１２へ進め、特定の被写体が対象とする被写体でないと判断する場合、処理を終了する。

例えば、このとき、第１の報知手段２８は、顔情報が抽出されていないことを示す実線の四角い枠５０８を被写体Ｏ２の画像に関連付けて報知する（図７参照）。

ステップＳ１２では、顔情報抽出手段２０ｂが、顔領域検出手段２０ａにより検出された複数の顔領域のそれぞれから、被写体の顔の構成要素の形状に関する顔情報を抽出する。例えば、顔情報抽出手段２０ｂは、以降のステップでの計算精度を上げるため選択された顔のサイズと向きとを正規化し、正規化された顔から口や目や眉毛などの端点の形状を抽出する。

ここで、顔情報は、例えば、口や目や眉毛などの具体的な形状や座標に関する情報を含み、あるいは、例えば、鼻の端点、鼻穴の中心点、耳の端点などの形状に関する情報を含む。ここで、顔情報は、それぞれの端点や中心点あるいは目の黒点などを入力された顔の画像から、例えばニューラルネットワークや空間フィルタを用いたエッジ検出などの手法を用いて算出することにより抽出することができる。

ステップＳ１３では、顔情報抽出手段２０ｂが、顔情報を抽出することに成功したか否かを判断する。顔情報抽出手段２０ｂは、顔情報を抽出することに成功したと判断した場合、処理をステップＳ１４へ進め、顔情報を抽出することに成功していないと判断した場合、処理を終了する。

ステップＳ１４では、顔情報抽出手段２０ｂが、顔情報を抽出することに成功した旨の情報をシステム制御部５０へ供給する。システム制御部５０は、顔情報を抽出することに成功した旨の情報に応じて、第１の報知手段２８を制御する。これにより、第１の報知手段２８は、顔情報抽出手段２０ｂにより顔情報が抽出された状態であるか否かを示す抽出状態情報を被写体の画像に関連付けて報知する。

例えば、第１の報知手段２８は、顔情報が抽出されていることを示す破線の四角い枠５０６を被写体Ｏ２の画像に関連付けて報知する（図８参照）。

ステップＳ１５では、顔情報選択手段５０ａが、顔情報抽出手段２０ｂにより抽出された複数の顔情報から、被写体の顔の表情を推定するための基準となる基準顔情報を選択する。基準顔情報は、例えば、無表情状態の表情、すなわち、澄ました表情に対する顔情報である。ここで、顔情報選択手段５０ａは、例えば、所定の期間、口の形状の変化量が所定の閾値を超えなかった場合に、無表情状態であると判定して、その判定結果に応じた顔情報を基準顔情報として選択する。

なお、顔情報選択手段５０ａは、無表情状態を判定する際に、口以外の構成要素の形状を使用しても構わない。例えば、顔情報選択手段５０ａは、更に顔情報として眼の開閉度状態を用い、目の大きさの変化などを使用して眼開きの状態タイミングに基づいて基準顔情報を選択しても良い。また、顔情報選択手段５０ａは、瞳画像をニューラルネットワークで学習させ、固定閾値以上の瞳ニューロン数から眼の開閉状態を判定するようにしても良い。

ステップＳ１６では、顔情報選択手段５０ａが、基準顔情報を選択することに成功したか否かを判断する。顔情報抽出手段２０ｂは、基準顔情報を選択することに成功したと判断した場合、処理をステップＳ１７へ進め、基準顔情報を選択することに成功していないと判断した場合、処理を終了する。

ステップＳ１７では、第１の報知手段２８が、顔情報選択手段５０ａにより基準顔情報が選択された状態であるか否かを示す選択状態情報を被写体の画像に関連付けて報知する。

例えば、このとき、第１の報知手段２８は、基準顔情報が選択されたことを示す実線の丸い枠５０７を被写体Ｏ２の画像に関連付けて報知する（図９参照）。

このように、選択状態情報が被写体の画像に関連付けて報知されるので、被写体の表情を検出する前の段階において、被写体の表情を検出することができる状態になっているのか否かを、画面を閲覧したユーザに把握させることができる。

なお、第１の報知手段２８は、抽出状態情報や選択状態情報を、図６〜図９に示される形態と異なる形態で報知しても良い。例えば、第１の報知手段２８は、枠の形状の代わりに、あるいは、枠の形状に加えて、色や大きさなどを変えることにより、抽出状態情報や選択状態情報を報知しても良い。

次に、検出処理（ステップＳ６）の流れを、図４を用いて説明する。図４は、被写体のごとの検出処理の流れを示すフローチャートである。すなわち、検出処理は、個々の被写体ごとに独立して並行的に行われる。図４には、特定の被写体の着目した場合の処理が示されている。

ステップＳ２１では、システム制御部５０が、ユーザにより変更指示が入力されたか否かを判断する。変更指示は、検出しようとする表情に達したと判断するための変化量の閾値を変更するための指示である。

例えば、入力手段７５（操作部７０のセットボタン、十字キー等）は、変更指示を受け付けることができる。例えば、操作部７０の十字キーの＋(プラス)ボタンにより、閾値を従来より高めに再設定したり、逆に−(マイナス)ボタンにより閾値を低めに再設定することが可能である。システム制御部５０は、入力手段７５から変更指示を受け取ったことに応じて、ユーザにより変更指示が入力されたと判断する。システム制御部５０は、入力手段７５から変更指示を受け取らなかったことに応じて、ユーザにより変更指示が入力されていないと判断する。

システム制御部５０は、ユーザにより変更指示が入力されたと判断した場合、処理をステップＳ２２へ進め、ユーザにより変更指示が入力されなかったと判断した場合、処理をステップＳ２３へ進める。

ステップＳ２２では、変更手段５０ｃが、変更指示に応じて、閾値情報を変更する。すなわち、変更手段５０ｃは、入力手段７５から変更指示を受け取ったことに応じて、メモリ５２にアクセスして、メモリ５２に記憶された閾値情報を、変更指示が示す閾値に対応した閾値情報に書き換える。

ここで、一般的に、人間の表情には個人差があり、人によって、口や目の動きが激しく表情豊かな人もいれば、逆に表情の変化に乏しい人もいる。そのような状況で、一律の基準（閾値）を用いても、検出しようとする表情に達したことを正確に判断しにくい。例えば、１つの閾値だけにより笑顔かどうかの判定を行った場合、笑顔を検出しやすい被写体とそうでない被写体がでてくるという弊害が考えられる。

それに対して、本実施形態では、ステップＳ２１及びステップＳ２２に示すように、ユーザが、検出しようとする表情に達したと判断するための変更量の閾値を変更することができる。これにより、被写体の個性を考慮した形で閾値を設定することができ、被写体の個性に応じて、目標とする表情に達したと正確に判断することができる。

ステップＳ２３では、顔情報抽出手段２０ｂが、顔領域検出手段２０ａにより検出された複数の顔領域のそれぞれから、被写体の顔の構成要素の形状に関する顔情報を抽出する。このステップＳ２３の詳細は、上記のステップＳ１２と同様である。

ステップＳ２４では、顔情報抽出手段２０ｂが、顔情報を抽出することに成功したか否かを判断する。顔情報抽出手段２０ｂは、顔情報を抽出することに成功したと判断した場合、処理をステップＳ２５へ進め、顔情報を抽出することに成功していないと判断した場合、処理を終了する。

ステップＳ２５では、表情推定手段５０ｂが、顔情報選択手段５０ａから基準顔情報を受け取り、画像処理部２０の顔情報抽出手段２０ｂから他の顔情報を受け取る。表情推定手段５０ｂは、基準顔情報と他の顔情報との差分を演算し、基準顔情報に対する他の顔情報の変化量を示す変化量情報を生成する。

例えば、表情推定手段５０ｂは、顔の個々の構成要素に対して基準顔情報と他の顔情報との差分を演算し、次の数式１を用いて、笑顔表情の度合い、すなわち、笑顔度を算出する。被写体の顔の個々の構成要素に対する基準顔情報と他の顔情報との差分をｖ１、ｖ２、ｖ３、・・・とするとき、表情推定手段５０ｂは、笑顔度を、
ＳｕｍＳｃｏｒｅ＝ΣＳｃｏｒｅ_ｉ
＝Σｇ（ｗ_ｉ、ｖ_ｉ）・・・数式１
としてｉ＝１〜Ｎについて合計して演算する。ここで、Ｎは顔の個々の構成要素を識別するための番号であり、ｗは各構成要素の重みであり、ｇは得点算出関数である。すなわち、表情推定手段５０ｂは、この笑顔度ＳｕｍＳｃｏｒｅを変化量情報として生成する。この笑顔度ＳｕｍＳｃｏｒｅは、例えば、０から１００といった数値で表される。

なお、表情推定手段５０ｂは、基準顔情報と他の顔情報との比を演算し、基準顔情報に対する他の顔情報の変化量を示す変化量情報を生成してもよい。

ステップＳ２６では、第１の報知手段２８が、変化量情報を表情推定手段５０ｂから受け取り、閾値情報をメモリ５２から受け取る。第１の報知手段２８は、基準顔情報に対する他の顔情報の変化量を示す変化量情報６０２と、検出しようとする表情に達したと判断するための変化量の閾値を示す閾値情報６０３とを、被写体の画像に関連付けて報知する（図１０参照）。あるいは、第１の報知手段２８は、変化量情報６０２と、後述の変更手段５０ｃにより変更された閾値情報６０３とを、被写体の画像に関連付けて報知する。

例えば、第１の報知手段２８は、上記の数式１を用いて演算された笑顔度が０から１００といった数値で表され場合、笑顔度が１００であればすべての目盛りが塗りつぶされた状態でインジケータ６０２を表示する（図１０参照）。第１の報知手段２８は、笑顔度が０であれば、すべての目盛りは塗りつぶされていない状態でインジケータ６０２を表示する。そして、第１の報知手段２８は、インジケータ６０２の横において閾値に対応する位置に、三角印等の閾値を示す図形６０３を表示する（図１０参照）。

このように、変化量情報と閾値情報とが被写体ごとに報知されるので、被写体の表情が目標とする表情に達したのか否かをユーザに把握させることができる。

ステップＳ２７では、表情推定手段５０ｂが、検出しようとする表情に達したと判断する。

例えば、表情推定手段５０ｂは、検出しようとする表情に達したと判断するための変化量の閾値を示す閾値情報を後述のメモリ５２から受け取る。表情推定手段５０ｂは、変化量情報と閾値情報とに基づいて、変化量が閾値を超えたか否かを判定する。表情推定手段５０ｂは、変化量が閾値を超えたと判定した場合、対象とする被写体に対して、検出しようとする表情に達したと判断する。表情推定手段５０ｂは、変化量が閾値を超えていないと判定した場合、対象とする被写体に対して、検出しようとする表情に達していないと判断する。

表情推定手段５０ｂは、検出しようとする表情に達したと判断する場合、処理をステップＳ２８へ進め、検出しようとする表情に達していないと判断する場合、処理を終了する。

ステップＳ２８では、表情推定手段５０が、目標とする表情に達した旨の情報を第１の報知手段２８へ供給する。第１の報知手段２８は、少なくとも変化量情報を報知する際に、表情推定手段５０ｂが推定した結果に基づいて、変化量が閾値を超えたか否かを識別可能に報知する。

例えば、第１の報知手段２８は、表示枠６００やインジケータ６０２の表示色を変更したり、表示枠６００やインジケータ６０２を点滅させるなどして、変化量が閾値を超えていない場合と異なる表示形式で、被写体が目標とする表情に達したことを報知する。

このように、変化量が閾値を超えたか否かを識別可能に、変化量情報及び閾値情報が報知されるので、さらに容易に、被写体の表情が目標とする表情に達したのか否かをユーザに把握させることができる。

ステップＳ２９では、表情推定手段５０が、メモリ５２にアクセスして、目標とする表情に達した被写体の表情フラグをＯＦＦ状態からＯＮ状態へ書き換える。

例えば、図９の例では、表情推定手段５０が、被写体Ｏ２の表情フラグをＯＦＦ状態からＯＮ状態へ書き換える。

以上のように、被写体の表情を検出することができる状態になっているのか否かをユーザに把握させることができ、被写体の表情が目標とする表情に達したのか否かをユーザに把握させることができる。これにより、ユーザが注目する被写体について撮影が可能か否かをユーザに確認させることができ、その被写体の表情が目標とする表情に達したタイミングで撮影を行うようにユーザに促すことができる。

なお、第１の報知手段２８は、さらに、変化量の最大値を示す最大値情報を被写体の画像に関連付けて報知してもよい。これにより、被写体の表情の個性をユーザに把握させることができる。

また、第１の報知手段２８は、変化量情報と閾値情報とを、被写体ごとに報知する（図１０参照）代わりに、複数の被写体について報知しても良い。すなわち、第１の報知手段２８は、図１１に示すように、変化量情報と被写体との対応が分かるように、変化量情報と閾値情報とを複数の被写体のそれぞれの画像に関連付けて報知する。例えば、第１の報知手段２８は、被写体Ｏ１の顔枠６００とその変化量情報６０２及び閾値情報６０３とを実線で表示し、被写体Ｏ２の顔枠６０６とその変化量情報６０４及び閾値情報６０５とを破線で表示する。あるいは、第１の報知手段２８は、被写体Ｏ１の顔枠６００とその変化量情報６０２及び閾値情報６０３とを第１の色で表示し、被写体Ｏ２の顔枠６０６とその変化量情報６０４及び閾値情報６０５とを第２の色で表示する。

次に、本発明の第２実施形態に係る画像処理装置２００について、図１２を参照して説明する。図１１は、本発明の第２実施形態に係る画像処理装置２００の構成図である。以下では、第１実施形態と異なる部分を中心に説明し、同様の部分についての説明は省略する。

画像処理装置２００は、画像処理部２２０を備える点で第１実施形態と異なる。画像処理部２２０は、顔領域検出手段２０ａと顔情報抽出手段２２０ｂとを含む。顔情報抽出手段２２０ｂは、被写体の顔の表情を推定するための優先度を示す優先度情報に応じて、複数の被写体から対象とする被写体を選択して、対象とする被写体に対して顔情報を抽出する。

例えば、顔情報抽出手段２２０ｂは、顔領域検出手段２０ａにより検出された、対象とする被写体に対応する複数の顔領域のうち、最も画角中心に近い顔領域に対応する被写体を対象とする被写体として選択する。顔情報抽出手段２２０ｂは、その選択した対象とする被写体に対して顔情報を抽出する。顔情報抽出手段２２０ｂは、対象とする被写体に対応する複数の顔領域のうち、対象とする被写体として選択されていない複数の被写体に対応する顔領域の中で最も画角中心に近い顔領域に対応する被写体を対象とする被写体として選択する。顔情報抽出手段２２０ｂは、その選択した対象とする被写体に対して顔情報を抽出する。

なお、被写体の選択は、前の画像で顔情報が算出されたものの右側にある顔を選択することや、前回の画像で選択された顔を優先的に参照するなど、前回の情報を用いて選択するなどの方法も考えられる。

また、画像処理装置１００が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れが、図１２に示すように、次の点で第１実施形態と異なる。

ステップＳ３２では、顔情報抽出手段２２０ｂが、被写体の顔の表情を推定するための優先度を示す優先度情報に応じて、複数の被写体から対象とする被写体を選択して、対象とする被写体に対して顔情報を抽出する。

例えば、顔情報抽出手段２２０ｂは、顔領域検出手段２０ａにより検出された、対象とする被写体に対応する複数の顔領域のうち、最も画角中心に近い顔領域に対応する被写体を対象とする被写体として選択して、対象とする被写体に対して顔情報を抽出する。顔情報抽出手段２２０ｂは、対象とする被写体に対応する複数の顔領域のうち、対象とする被写体として選択されていない複数の被写体に対応する顔領域の中で最も画角中心に近い顔領域に対応する被写体を対象とする被写体として選択する。顔情報抽出手段２２０ｂは、その選択した対象とする被写体に対して顔情報を抽出する。

ステップＳ３３では、準備処理が行われる。この準備処理（ステップＳ３３）の流れが、図１３に示すように、次の点で第１実施形態と異なる。

ステップＳ４１では、顔情報抽出手段２２０ｂが、特定の被写体が対象とする被写体であるか否かを判断する。

例えば、顔情報抽出手段２２０ｂは、特定の被写体が上記のステップＳ３２で選択された被写体である場合、その特定の被写体が対象とする被写体であると判断する。顔情報抽出手段２２０ｂは、特定の被写体が上記のステップＳ３２で選択された被写体でない場合、その特定の被写体が対象とする被写体でないと判断する。

顔情報抽出手段２２０ｂは、特定の被写体が対象とする被写体であると判断する場合、処理をステップＳ１２へ進め、特定の被写体が対象とする被写体でないと判断する場合、処理を終了する。

このように、優先度情報に応じて対象とする被写体が選択されるので、準備処理を行う際にユーザが被写体を指定する手間を省くことができる。

第１実施形態に係る画像処理装置の構成図。 画像処理装置が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを示すフローチャート。 被写体のごとの準備処理の流れを示すフローチャート。 被写体のごとの検出処理の流れを示すフローチャート。 表示画面を示す図。 表示画面を示す図。 表示画面を示す図。 表示画面を示す図。 表示画面を示す図。 表示画面を示す図。 表示画面を示す図（変形例）。 第２実施形態に係る画像処理装置の構成図。 画像処理装置が被写体の表情を推定する際の処理（笑顔撮影モードの処理）の流れを示すフローチャート。 被写体のごとの準備処理の流れを示すフローチャート。

符号の説明

１７ 取得手段
２０ａ 顔領域検出手段
２０ｂ，１２０ｂ 顔情報抽出手段
２８ 第１の報知手段
５０ａ 顔情報選択手段
５０ｂ 表情推定手段
５０ｃ 変更手段
７５ 入力手段
１００，２００ 画像処理装置

Claims (7)

1. 異なる複数のタイミングで被写体を撮像して得られた複数の画像データを順次取得する取得手段と、
   前記取得手段により取得された前記複数の画像データのそれぞれについて、前記被写体の顔領域を検出する顔領域検出手段と、
   前記顔領域検出手段により検出された前記顔領域から、前記被写体の顔の構成要素の形状を表す顔情報を抽出する顔情報抽出手段と、
   前記複数の画像データのそれぞれについて前記顔情報抽出手段により抽出された複数の前記顔情報のうちの１つの顔情報を、前記被写体の顔の表情を推定するための基準となる基準顔情報として選択する顔情報選択手段と、
   前記顔情報選択手段により前記基準顔情報が選択された後に前記顔情報抽出手段により抽出された前記被写体の顔情報と前記基準顔情報との間の前記構成要素の変化量を求め、前記変化量が閾値を超えた場合に前記被写体の顔が所定の表情であると推定する表情推定手段と、
   前記顔情報選択手段により前記基準顔情報が選択されたか否かを示す選択状態情報を前記被写体の画像と関連付けて表示する表示手段と、
   を備えることを特徴とする画像処理装置。
2. 前記表示手段は、さらに、前記顔情報抽出手段により前記顔情報が抽出された状態であるか否かを示す抽出状態情報を前記被写体の画像に関連付けて表示する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記顔領域検出手段により前記顔領域が検出された前記被写体が複数存在する場合、
   前記顔情報抽出手段は、複数の前記被写体のそれぞれの顔領域から、当該複数の被写体のそれぞれの顔情報を抽出し、
   前記顔情報選択手段は、前記複数の被写体のそれぞれに対して、当該複数の被写体のそれぞれの基準顔情報を選択し、
   前記表示手段は、前記複数の被写体のそれぞれの前記選択状態情報を、当該複数の被写体のそれぞれの画像に関連付けて表示する
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記複数の被写体のうち、前記顔情報を抽出する対象となる被写体を指示する抽出対象指示を受け付ける入力手段をさらに備え、
   前記顔情報抽出手段は、前記複数の被写体のうち、前記抽出対象指示により指示された前記対象となる被写体の顔情報を抽出する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記取得手段は、前記被写体を異なる複数のタイミングで撮像して、前記複数の画像データを取得する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 取得手段が、異なる複数のタイミングで被写体を撮像して得られた複数の画像データを順次取得する取得ステップと、
   顔領域検出手段が、前記取得ステップで取得された前記複数の画像データのそれぞれについて、前記被写体の顔領域を検出する顔領域検出ステップと、
   顔情報抽出手段が、前記顔領域検出ステップで検出された前記顔領域から、前記被写体の顔の構成要素の形状を表す顔情報を抽出する顔情報抽出ステップと、
   顔情報選択手段が、前記複数の画像データのそれぞれについて前記顔情報抽出ステップで抽出された複数の前記顔情報のうちの１つの顔情報を、前記被写体の顔の表情を推定するための基準となる基準顔情報として選択する顔情報選択ステップと、
   表情推定手段が、前記顔情報選択ステップで前記基準顔情報が選択された後に前記顔情報抽出ステップで抽出された前記被写体の顔情報と前記基準顔情報との間の前記構成要素の変化量を求め、前記変化量が閾値を超えた場合に前記被写体の顔が所定の表情であると推定する表情推定ステップと、
   表示手段が、前記顔情報選択ステップで前記基準顔情報が選択されたか否かを示す選択状態情報を前記被写体の画像と関連付けて表示する表示ステップと、
   を備えることを特徴とする画像処理方法。
7. コンピュータを、請求項１に記載の画像処理装置の各手段として機能させるための画像処理プログラム。

Images