JP6241533B2

JP6241533B2 - 画像処理装置及びプログラム

Info

Publication number: JP6241533B2
Application number: JP2016217315A
Authority: JP
Inventors: 勇人加藤; 賢治 ▲高▼橋
Original assignee: Buffalo Inc
Current assignee: Buffalo Inc
Priority date: 2016-11-07
Filing date: 2016-11-07
Publication date: 2017-12-06
Anticipated expiration: 2032-08-29
Also published as: JP2017027628A

Description

本発明は、人物が撮像された画像データを処理する画像処理装置及びプログラムに関する。

近年、デジタルカメラで撮像された画像データに係る処理の一つとして、当該画像データに撮像された人物を認識する処理が広く知られるようになっている。

例えば、デジタルカメラで撮像された画像データに対して、顔認識の処理を実行する。ここで画像データから人物が認識されたならば、その人物の名前を当該画像データに関連付けて蓄積する。これにより、人物の名前から画像データを検索できるようになる。

特許文献１には、複数時点の基準顔画像を保持し、撮影時点の年齢に適した基準顔画像を選択的に認識に使用して、認識精度を向上させる技術が開示されている。

特開２０１０−２１８０５９号公報

しかしながら、上記従来の技術では、例えば顔のよく似た兄弟姉妹がいる家庭で撮影された写真では、兄弟姉妹の間で認識誤りが多発することが考えられる。具体的には２００３年に兄が３才であったときに撮影された画像データがあり、その翌年の２００４年に弟が産まれて、２００７年にこの弟が３才になったときに撮影された画像データがあるとする。このとき、この兄弟の顔が同じ３才のときに互いに似ていると、コンピュータ上で実行される顔認識処理の誤りにより、弟の顔が兄として認識されたり、２００３年に兄を撮影した画像データであるのに（弟は産まれていないのに）、写されている兄を弟として認識したりする場合が考えられる。

本発明は上記実情に鑑みて為されたもので、画像データに基づく人物の認識誤りの発生を低減できる画像処理装置及びプログラムを提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、画像処理装置であって、人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する補正情報生成手段と、を含み、前記生成された年齢補正情報が、前記抽出手段における人物認識処理による注目人物の認識結果の正否判断に利用されることとしたものである。

また本発明の一態様に係る画像処理装置は、人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、前記抽出した画像データの数が予め定めた条件を満足するか否かにより、（１）前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成し、当該生成した年齢補正情報を、前記抽出手段における人物認識処理による注目人物の認識結果の正否判断に用いる第１の認識正否判断処理を実行するか、（２）前記演算された実年齢情報を用いて、前記抽出手段における人物認識処理による注目人物の認識結果の正否判断を行う第２の認識正否判断処理を実行するか、を決定する手段と、を含むこととしたものである。

またここで前記年齢補正情報を生成する処理では、前記抽出した画像データのそれぞれから推定された注目人物の推定年齢情報のうち、外れ値と判断される推定年齢情報を除いた推定年齢情報と、前記抽出した画像データごとに演算された実年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成することとしてもよい。

さらに本発明の一態様に係るプログラムは、コンピュータを、人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する補正情報生成手段と、として機能させ、前記生成された年齢補正情報を、前記抽出手段における人物認識処理による注目人物の認識結果の正否判断に利用させることとしたものである。

本発明によると、画像データに基づく人物の認識誤りの発生を低減できる。

本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。本発明の実施の形態に係る画像処理装置が保持するデータの内容例を表す説明図である。本発明の実施の形態に係る画像処理装置の一例を表す機能ブロック図である。本発明の実施の形態に係る画像処理装置の動作例を表すフローチャート図である。本発明の実施の形態に係る画像処理装置における動作の例を表すもう一つのフローチャート図である。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置１は、図１に例示するように、制御部１１、記憶部１２、操作部１３、表示部１４、通信部１５、及び入出力インタフェース１６を含んで構成されている。ここで制御部１１は、ＣＰＵなどのプログラム制御デバイスであり、記憶部１２に格納されたプログラムに従って動作する。

具体的に本実施の形態では制御部１１は、処理の対象となる画像データを入出力インタフェース１６を介して受け入れて、記憶部１２に蓄積して格納する。本実施の形態で処理の対象となる画像データは、デジタルカメラ等で撮像された画像を表す画像データであり、撮影日の情報や撮影したカメラを特定するカメラ特定情報等を含んだ、いわゆるＥｘｉｆ（Exchangeable Image File Format）情報が含まれる。

本実施の形態の制御部１１は、この記憶部１２に蓄積された画像データに対して、撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像されている画像データを抽出する。制御部１１は、抽出した画像データごとに、その撮影日の情報を取得するとともに、注目人物の生年月日を取得する（後に説明する人物データベースとして保持されているものとする）。

制御部１１は、抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差を演算して、抽出した画像データごとの注目人物の実年齢情報を得る。また、制御部１１は、抽出した画像データの各々に対する認識処理により、各画像データに撮像されている注目人物の年齢を推定して、推定年齢情報を得る。

制御部１１は、さらに、抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算を行い、この統計演算の結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する。そしてこの年齢補正情報を用いて、画像データに対して実行した人物認識処理の認識結果の正否を判断する処理を実行する。この制御部１１の詳しい動作の内容については、後に述べる。

記憶部１２は、制御部１１によって実行されるプログラムを格納している。このプログラムは、ＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）等のコンピュータ可読な記録媒体に格納されて提供され、この記憶部１２に格納されたものであってもよい。また、このプログラムは、ネットワーク等を介して配信され、この記憶部１２に格納されたものであってもよい。

本実施の形態ではこの記憶部１２には、図２（ａ）に例示するように、画像データがタグ情報に関連付けられて蓄積して格納される。なお、画像データにはＥｘｉｆデータが含まれてもよい。またこの記憶部１２には、人物認識処理のために、図２（ｂ）に例示するように、人物の顔に係る、予め定めた特徴量の情報（Ｐ）と、識別情報（ＩＤ）とを関連付けたエントリーを含む顔データベースが格納される。ここで識別情報（ＩＤ）は、人物の名前等、人物を識別する情報である。さらにこの記憶部１２には、図２（ｃ）に示すような、識別情報（ＩＤ）と、当該識別情報で識別される人物の生年月日の情報（Ｂ）とを関連付けたエントリーを含む人物データベースが保持されている。

操作部１３は、例えばマウスやキーボード等であってもよいし、赤外線入力インタフェースであってもよい。本実施の形態のある例では、この操作部１３は、赤外線入力インタフェースであり、利用者の指示操作を受けたリモートコントローラが発信する、利用者の指示操作の内容を表す情報を受信する。そしてこの操作部１３は、当該受信した指示操作の内容を表す情報を制御部１１に出力する。

表示部１４は、制御部１１から入力される指示に従い、内蔵ディスプレイや家庭用テレビジョン装置等の外部ディスプレイに画像を出力するインタフェースである。通信部１５は、例えばネットワークインタフェースであり、有線または無線にてネットワークに接続され、ネットワークを介して受信される情報を制御部１１に出力する。またこの通信部１５は、ネットワークを介して送信するべき情報の入力を制御部１１から受けて、当該情報をネットワークを介して送信する。

入出力インタフェース１６は、例えばＳＤカードスロットやＵＳＢ（Universal Serial Bus）インタフェース等である。この入出力インタフェース１６は、例えば制御部１１から入力される指示に従い、ここへ接続されたＳＤカードや、ＵＳＢメモリ、ＵＳＢハードディスクドライブ等から画像データを読み出して制御部１１に出力する。

次に本実施の形態の制御部１１の処理の内容について述べる。本実施の形態の制御部１１は、画像データの蓄積処理と、画像データの表示処理と、画像データの管理処理とを実行する。また、この管理処理の前提として、人物認識処理と、人物認識処理の認識結果の正否を判断する処理とを実行する。

具体的に、本実施の形態の制御部１１は、機能的には図３に例示するように、蓄積処理部２１と、表示処理部２２と、管理処理部２３とを含み、この管理処理部２３はさらに、人物認識処理部３１と、抽出部３２と、取得部３３と、実年齢演算部３４と、年齢推定部３５と、処理選択部３６と、年齢補正情報生成部３７と、第１認識正否判断処理部３８と、第２認識正否判断処理部３９とを含んで構成される。

蓄積処理部２１は、操作部１３から画像データの取込み指示を受けて、入出力インタフェース１６に対して画像データの読出しを指示する。そしてこの蓄積処理部２１は、入出力インタフェース１６から読み出された画像データを記憶部１２に蓄積して格納する。

表示処理部２２は、操作部１３から入力される指示に従って、記憶部１２に格納されている画像データを読み出して、表示部１４に出力し、内蔵ディスプレイや家庭用テレビジョン装置等の外部ディスプレイに、当該画像データが表す画像を出力させる。この表示処理部２２は、また、記憶部１２に格納されている画像データのうち、利用者から指示された情報をＥｘｉｆ情報に含む画像データを選択的に表示出力する処理を行ってもよい。

管理処理部２３の人物認識処理部３１は、記憶部１２に蓄積された画像データのうち、未だ人物認識処理の対象となっていないものを選択する。そして人物認識処理部３１は、選択した画像データについて人物認識処理を実行する。この人物認識処理は、選択した画像データから人物の顔としての特徴を有する領域を特定する。

そして特定した領域のそれぞれについて人物を特定する処理を実行する。すなわち、各領域を順次注目領域として選択し、注目領域に含まれる、人物の顔に係る予め定めた特徴量（目と目との間の間隔等、顔の特徴を表す情報）を抽出する。人物認識処理部３１は、記憶部１２に格納されている顔データベースを参照し、この顔データベースに格納されている各エントリーの特徴量の情報と、抽出した特徴量の情報とを比較する。

人物認識処理部３１は、この比較の結果、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、人物認識処理部３１はさらに、注目領域内にある顔の部位や輪郭、皺の情報等から、当該撮像されている人物の年齢を推定する。この推定は、撮影日や生年月日の情報に関わらず画像データに基づいて行われるものであり、例えば、Y. H. Kwon and N. da Vitoria Lobo (1999). ‘Age Classification from Facial Images’, Computer Vision and Image Understanding Journal 74(1), pp. 1-21などに開示の方法を用いることができる。

人物認識処理部３１は、このように抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報と、注目領域を特定する領域情報と、上記推定した人物の年齢を表す情報（推定年齢情報）とをタグ情報の一つとして、選択した画像データに関連付けて、記憶部１２に保持させる。ここで注目領域を特定する領域特定情報は、例えば注目領域が矩形領域である場合は、その対角線上の２頂点の座標情報とすればよい。

また、この人物認識処理部３１は、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない場合は、利用者に対して人物の名前等、識別情報に相当する情報の入力をするよう求めてもよい。利用者が、この、一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない特徴量の情報に関連付けるべき識別情報を入力すると、人物認識処理部３１は、当該特徴量の情報と、識別情報とを関連付けたエントリーを、顔データベースに追記して格納する。またこのときには、当該特徴量の情報の抽出元となった画像データに対して、利用者が入力した識別情報と注目領域を特定する領域情報とを、タグ情報の一つとして関連付けて、記憶部１２に保持させる。

抽出部３２は、利用者の指定、または予め定めた条件等により定められた注目人物の識別情報の入力を受け入れる。抽出部３２は、当該注目人物の識別情報をタグ情報として含む画像データを、記憶部１２から抽出する。抽出部３２は、ここで画像データがひとつも抽出できなかったとき（注目人物の識別情報に関連付けられた画像データがなかった場合など）には、エラーを報知して処理を中断してもよい。

取得部３３は、抽出部３２にて抽出された画像データ（複数ある場合はその各々）の撮影日の情報Ｔt［ｉ］（ｉは、画像データごとのインデックスであり、ｉ＝１，２，…）を取得する。また、注目人物の識別情報に関連付けられた生年月日の情報Ｔbを、記憶部１２に保持されている人物データベースから取得する。

実年齢演算部３４は、取得部３３が取得した撮影日の情報Ｔt［ｉ］（ｉ＝１，２，…）のそれぞれと、生年月日の情報Ｔbとを用いて、抽出部３２が抽出した画像データごとに、各画像データが撮像された時点での注目人物の実年齢情報を演算する。具体的には撮影日がＴt［ｉ］であるｉ番目の画像データについて、注目人物の実年齢情報Ａt［ｉ］＝Ｔt［ｉ］−Ｔbを演算して得る。

年齢推定部３５は、抽出部３２が抽出した画像データごとに、各画像データに撮像されている注目人物の年齢を画像データから推定した結果を取得する。具体的にこの年齢推定部３５は、ｉ番目の画像データ（ｉ＝１，２，…）に関連付けられたタグ情報のうち、注目人物の識別情報に関連付けられた年齢の推定結果の情報Ａe［ｉ］を記憶部１２から取得する。

処理選択部３６は、抽出部３２が抽出した画像データの数Ｎを参照し、この数Ｎが、予め定めたしきい値ｎthを越えるか否かを調べる。Ｎがしきい値ｎthを越えるか否かにより、第１認識正否判断処理部３８または第２認識正否判断処理部３９のいずれかを選択する。そして処理選択部３６は選択した第１認識正否判断処理部３８または第２認識正否判断処理部３９に対して人物認識処理による注目人物の認識結果の正否判断を行うよう指示する。一例としてこの処理選択部３６は、Ｎがしきい値ｎthを越える場合に第１認識正否判断処理部３８を選択し、この選択した第１認識正否判断処理部３８に対して人物認識処理による注目人物の認識結果の正否判断を行うよう指示する。また、Ｎがしきい値ｎthを越えない場合は、第２認識正否判断処理部３９を選択し、この選択した第２認識正否判断処理部３９に対して人物認識処理による注目人物の認識結果の正否判断を行うよう指示する。

年齢補正情報生成部３７は、第１認識正否判断処理部３８から入力される指示に従って、年齢補正情報を生成する。具体的にこの年齢補正情報生成部３７は、ｉ番目の画像データ（ｉ＝１，２，…）について演算された注目人物の実年齢情報Ａt［ｉ］と、年齢の推定結果の情報Ａe［ｉ］とを記憶部１２から読み出す。そして年齢補正情報生成部３７はこれら実年齢情報Ａt［ｉ］と画像データからの年齢の推定結果の情報Ａe［ｉ］との統計演算結果に基づいて、実年齢と見掛けの年齢差を表す年齢補正情報を生成する。

一例として年齢補正情報生成部３７は、画像データごとの実年齢情報Ａt［ｉ］と画像データからの年齢の推定結果の情報Ａe［ｉ］との組から、これらの相関係数を年齢補正情報として演算する。ここで年齢補正情報としての相関係数は例えば実年齢情報Ａtに対して、推定の結果Ａeが、一次式、Ａe＝α・Ａt＋βで表されると仮定したときのα，βであり、具体的にはこれらを最小二乗法によって求めることとすればよい。年齢補正情報生成部３７は、こうして求めた年齢補正情報を第１認識正否判断処理部３８に出力する。

第１認識正否判断処理部３８は、処理選択部３６から人物認識処理による注目人物の認識結果の正否判断を行うよう指示を受けると、年齢補正情報生成部３７に対して年齢補正情報を生成するべき旨の指示を行う。そして第１認識正否判断処理部３８は、年齢補正情報生成部３７から年齢補正情報の入力を受け入れる。

ここでは説明のため、一例として、実年齢情報Ａtと推定の結果Ａeとの間に一次式Ａe＝α・Ａt＋βで表される関係があると仮定したときの相関係数α，βが、年齢補正情報であるとする。

第１認識正否判断処理部３８は、実年齢情報Ａt［ｉ］が与えられたときに、これら相関係数を用いて演算されるα・Ａt［ｉ］＋βを仮定推定値Ａee［ｉ］とする。つまり、Ａee［ｉ］＝α・Ａt［ｉ］＋β。そして第１認識正否判断処理部３８は、この仮定推定値Ａee［ｉ］と、実年齢情報Ａt［ｉ］に対応する年齢の推定結果の情報Ａe［ｉ］との差の絶対値｜Ａe［ｉ］−Ａee［ｉ］｜＝｜Ａe［ｉ］−α・Ａt［ｉ］＋β｜を求める。なお、｜＊｜は、＊の絶対値を演算することを意味する。

第１認識正否判断処理部３８は、ここで求めた絶対値｜Ａe［ｉ］−α・Ａt［ｉ］＋β｜が予め定めたしきい値を超える場合、ｉ番目の画像データについての注目人物の認識結果が誤りであると判定する。さらに第１認識正否判断処理部３８は、Ａt［ｉ］が負である場合にも、ｉ番目の画像データについての注目人物の認識結果が誤りであると判定する。第１認識正否判断処理部３８は、Ａt［ｉ］が負でなく、かつ、絶対値｜Ａe［ｉ］−α・Ａt［ｉ］＋β｜が予め定めたしきい値を超えない場合は、ｉ番目の画像データについての注目人物の認識結果が誤りでないと判断する。

第１認識正否判断処理部３８は、さらに、ここでｉ番目の画像データについての注目人物の認識結果が誤りであると判定したときには、このｉ番目の画像データに関連付けて記憶部１２に記録されているタグ情報のうち、注目人物の識別情報を含むタグ情報を処理対象タグ情報として見出す。第１認識正否判断処理部３８は、この処理対象タグ情報から領域特定情報を取りだして記憶し、当該処理対象タグ情報を削除する。

そして第１認識正否判断処理部３８は、人物認識処理部３１に対して、領域特定情報を出力し、この領域特定情報で特定される領域を注目領域として、注目領域に含まれる人物の認識を行わせる。ここで第１認識正否判断処理部３８は、人物認識処理部３１に対し、注目人物の識別情報を併せて出力し、注目人物ではない旨の指示を行う。

人物認識処理部３１は、注目領域内の人物の顔に係る予め定めた特徴量（目と目との間の間隔等、顔の特徴を表す情報）を抽出する。人物認識処理部３１は、記憶部１２に格納されている顔データベースのうち、第１認識正否判断処理部３８から入力される識別情報を含まないエントリーを参照し、参照した各エントリーの特徴量の情報と、抽出した特徴量の情報とを比較する。

人物認識処理部３１は、この比較の結果、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報をタグ情報の一つとして、選択した画像データに関連付けて、記憶部１２に保持させる。このとき、人物認識処理部３１は、注目領域内にある顔の部位や輪郭、皺の情報等から、当該撮像されている人物の年齢を推定する。

そして人物認識処理部３１は、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報と、注目領域を特定する領域情報と、上記推定した人物の年齢を表す情報（推定年齢情報）とをタグ情報の一つとして、選択した画像データに関連付けて、記憶部１２に保持させる。

また、このとき人物認識処理部３１は、抽出した特徴量の情報に一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない場合は、利用者に対して人物の名前等、識別情報に相当する情報の入力をするよう求めてもよい。利用者が、この、一致ないし類似している特徴量の情報を含むエントリーが顔データベースから見出されない特徴量の情報に関連付けるべき識別情報を入力すると、人物認識処理部３１は、当該特徴量の情報と、識別情報とを関連付けたエントリーを、顔データベースに追記して格納する。またこのときには、当該特徴量の情報の抽出元となった画像データに対して、利用者が入力した識別情報と、注目領域を特定する領域情報とを、タグ情報の一つとして関連付けて、記憶部１２に保持させる。

第２認識正否判断処理部３９は、処理選択部３６から人物認識処理による注目人物の認識結果の正否判断を行うよう指示を受けると、負であるようなＡt［ｉ］（ｉ＝１，２，…）があるか否かを調べる。そして例えばＡt［ｊ］が負である場合は、ｊ番目の画像データについての注目人物の認識結果が誤りであると判定する。

第２認識正否判断処理部３９は、さらに、ここでこのｊ番目の画像データについての注目人物の認識結果が誤りであると判定したときには、当該ｊ番目の画像データに関連付けて記憶部１２に記録されているタグ情報のうち、注目人物の識別情報を含むタグ情報を処理対象タグ情報として見出す。第２認識正否判断処理部３９は、この処理対象タグ情報から領域特定情報を取りだして記憶し、当該処理対象タグ情報を削除する。

そして第２認識正否判断処理部３９は、人物認識処理部３１に対して、領域特定情報を出力し、この領域特定情報で特定される領域を注目領域として、注目領域に含まれる人物の認識を行わせる。ここで第２認識正否判断処理部３９は、人物認識処理部３１に対し、注目人物の識別情報を併せて出力し、注目人物ではない旨の指示を行う。

人物認識処理部３１は、第１認識正否判断処理部３８から同じ指示を受けた場合と同様に動作する。つまり、人物認識処理部３１は、注目領域内の人物の顔に係る予め定めた特徴量（目と目との間の間隔等、顔の特徴を表す情報）を抽出する。人物認識処理部３１は、記憶部１２に格納されている顔データベースのうち、第２認識正否判断処理部３９から入力される、注目人物の識別情報を含まないエントリーを参照し、参照した各エントリーの特徴量の情報と、抽出した特徴量の情報とを比較する。

本発明の実施の形態は、基本的に以上の構成を備えてなり、次のように動作する。以下の例では、顔のよく似た兄弟がいる家庭で撮影された写真の画像データが蓄積されるものとする。またここでは兄が２０００年生まれであり、弟が２００４年生まれであるものとする。

ここで利用者が、２０００年から２０１２年までに撮影された写真の画像データを記録した記録媒体を入出力インタフェース１６に接続し、読込み指示を行うと、本実施の形態の画像処理装置１は、入出力インタフェース１６が読み出した画像データを記憶部１２に蓄積して格納する。この画像データには撮影日の情報等、Ｅｘｉｆ情報が含まれている。

画像処理装置１は、記憶部１２に蓄積された画像データのうち、未だ人物認識処理の対象となっていないものを選択し、選択した画像データについて人物認識処理を実行する。ここでは例えば兄弟のそれぞれについて２００７年頃の顔の特徴量が、それぞれの識別情報に関連付けて顔データベースに記録されているものとする。つまり兄については７才頃の、弟については３才頃の顔の特徴量が顔データベースに記録されているものとする。

この場合、画像処理装置１は、例えば２００３年に兄が３才だった頃の画像データについて、その顔の特徴量から弟として誤認することがあり得る。つまり画像処理装置１は、撮影日が２００３年で、兄が撮影されている画像データについて、弟を特定する識別情報をタグ情報として関連付けることがあり得る。また例えば２００５年に兄が５才だった頃の画像データについて、その顔の特徴量から弟として誤認することもあり得る。つまり画像処理装置１は、撮影日が２００５年で、兄が撮影されている画像データについて、弟を特定する識別情報をタグ情報として関連付けることもあり得る。なお、このときこの兄の顔の画像について年齢を推定する処理が行われ、画像処理装置１は兄が３才の時点での顔を５才の人物の顔であると推定し、兄が５才の時点での顔を６才の人物の顔であると推定したとする。すると、これらの画像データについて弟を特定する識別情報と、推定年齢情報として「５才」，「６才」であることを表す情報とをそれぞれ含んだタグ情報が関連付けられる。

画像処理装置１は、また、例えば新たに蓄積された画像データから認識された人物を注目人物として定める。この場合は、弟が注目人物として定められる。そして画像処理装置１は、図４に例示するように、注目人物の識別情報をタグ情報として含む画像データを抽出する（Ｓ１）。ここではＮ枚の写真のそれぞれに対応する画像データＤｉ（ｉ＝１，２，…，Ｎ）が見出されたものとする。

画像処理装置１は、画像データＤｉのそれぞれについて撮影日の情報Ｔt［ｉ］を取得する（Ｓ２）。また、注目人物の識別情報に関連付けて記録されている生年月日の情報Ｔbを取得する（Ｓ３）。そして画像処理装置１は、画像データＤｉのそれぞれについて各画像データが撮像された時点での注目人物の実年齢情報Ａt［ｉ］＝Ｔt［ｉ］−Ｔbを演算する（Ｓ４）。先に例示した２００３年に兄が３才だった頃の画像データ（ｉ＝１とする）であって、弟と誤認された画像データについては、実年齢情報Ａt［１］＝２００３−２００４＝−１（ここでは撮影日や生年月日の情報は年のみ用いるものとする。もっとも本実施の形態はこの限りでなく、例えば過去の所定の日時からの経過日を用いて撮影日と生年月日とを表し、この演算を行ってもよい）となる。また２００５年に兄が５才だった頃の画像データ（ｉ＝２とする）であって、弟と誤認された画像データについては、実年齢情報Ａt［２］＝２００５−２００４＝１となる。

また画像処理装置１は、画像データＤｉのそれぞれに関連付けられたタグ情報のうち、注目人物の識別情報に関連付けられた年齢の推定結果の情報Ａe［ｉ］を取得する（Ｓ５）。上記の例ではＡe［１］＝５、Ａe［２］＝６となっている。

ここで画像処理装置１は、画像データＤｉの数Ｎが予め定めたしきい値ｎthを越えるか否かを判断する（Ｓ６）。ここで画像データＤｉの数Ｎが予め定めたしきい値ｎthを越えるならば、画像処理装置１は、第１認識正否判断処理を実行する（Ｓ７）。また、処理Ｓ６において画像データＤｉの数Ｎが予め定めたしきい値ｎthを越えないならば、画像処理装置１は、第２認識正否判断処理を実行する（Ｓ８）。

具体的に処理Ｓ７の第１認識正否判断処理では、まず、図５に例示するように年齢補正情報が生成される。具体的に画像処理装置１は、処理Ｓ１にて抽出した画像データＤｉ（ｉ＝１，２，…）のそれぞれについて、処理Ｓ４にて演算された注目人物の実年齢情報Ａt［ｉ］と、処理Ｓ５で取得した年齢の推定結果の情報Ａe［ｉ］とを取得する（Ｓ１２）。

画像処理装置１は、画像データＤｉごとの実年齢情報Ａt［ｉ］と画像データからの年齢の推定結果の情報Ａe［ｉ］との組から、これらの相関係数を年齢補正情報として演算する（Ｓ１３）。この年齢補正情報の例は、既に例示したように、年齢の推定結果の情報Ａeが、実年齢情報を用いてα・Ａt＋βで表されると仮定したときのα，βであり、具体的にはこれらを最小二乗法によって求める。つまりこれにより実年齢情報と年齢の推定結果との関係が推定されることとなる。一例として先の弟については実年齢よりも常に１才ほど年上と認められる場合、αは概ね「１」であり、βは＋１となる。

画像処理装置１は、変数ｋを「１」にリセットし（Ｓ１４）、画像データＤｋの実年齢情報Ａt［ｋ］と、処理Ｓ１３で演算した年齢補正情報とを用いて、仮定の推定値を得る（Ｓ１５）。具体的には先のα，βを用いて仮定推定値Ａee［ｋ］＝α・Ａt［ｋ］＋βとする。画像処理装置１は、この仮定推定値Ａee［ｋ］と、実年齢情報Ａt［ｋ］に対応する年齢の推定結果の情報Ａe［ｋ］との差の絶対値｜Ａe［ｋ］−Ａee［ｋ］｜＝｜Ａe［ｋ］−α・Ａt［ｋ］＋β｜を求める（残差の演算：Ｓ１６）。

また画像処理装置１は、実年齢情報Ａt［ｋ］が負であるか否かを調べる（Ｓ１７）。ここで実年齢情報Ａt［ｋ］が負であれば（Yesならば）、画像処理装置１は、画像データＤｋの注目人物「弟」について、その認識結果が誤っていると判定し、人物認識処理を再実行する（Ｓ１８）。この処理Ｓ１８においては、画像データＤｋにおいて「弟」と認識されている人物が「弟」でないと判断されているので、当該人物の再認識により「弟」以外の人物として認識が行われることとなる。この人物（「弟」以外の人物）については、別途、図４の処理を実行してもよい。

一方、処理Ｓ１７において実年齢情報Ａt［ｋ］が負でなければ、処理Ｓ１６で求めた差の絶対値｜Ａe［ｉ］−α・Ａt［ｉ］＋β｜が予め定めたしきい値θを超えるか否かを判断する（Ｓ１９）。

先の兄弟の例において、２００３年に兄が３才だった頃の画像データ及び２００５年に兄が５才であった頃の画像データ（ｉ＝１，２）に対しては、Ａee［１］＝α・Ａt［１］＋β＝１・（−１）＋１＝０、Ａee［２］＝α・Ａt［２］＋β＝１・１＋１＝２となる（α，βはいずれも１とし、実年齢については弟と誤認されているため負の値となるなど、実際の兄の年齢とは異なるものとなっている）。

またＡt［１］は負であるので、画像処理装置１は画像データＤ１について「弟」との認識結果が誤っていると判定し、人物認識処理を再実行する。

一方、Ａt［２］は負でなく、Ａe［２］は上記の例では「６」と推定されているため、これらの差の絶対値｜Ａe［２］−Ａee［２］｜は「４」となる。ここで例えばしきい値θを「３」と定めておくと、処理Ｓ１９においては、上記差の絶対値はいずれもしきい値θを超えると判断される。

画像処理装置１は、処理Ｓ１９において差の絶対値がしきい値θを超えるならば（Yesならば）、画像処理装置１は、画像データＤｋの注目人物「弟」について、その認識結果が誤っていると判定し、処理Ｓ１８に移行して人物認識処理を再実行する。

また画像処理装置１は、処理Ｓ１９において差の絶対値がしきい値θを超えないならば、ｋを「１」だけインクリメントし（Ｓ２０）、ｋがＮ以下であれば処理Ｓ１５から処理を繰り返す（ループ）。またここでｋがＮより大きいならば、処理を終了する。

この例で、例えば２００７年に弟を撮影した画像データ（Ｄ３とする）については、Ａt［３］＝３となる。また画像データからの年齢の推定結果が「５」である（Ａe［３］＝５）とすると、先のα，βを用いた仮定推定値Ａee［ｋ］＝α・Ａt［ｋ］＋βは、Ａee［３］＝α・Ａt［３］＋β＝１・３＋１＝４となる。従って、上記差の絶対値｜Ａe［３］−Ａee［３］｜は「１」となり、しきい値θを「３」としている場合は、処理Ｓ１９において認識結果が誤っていると判定されることはない（なお、Ａt［３］も負でないので、処理Ｓ１７においても認識結果が誤っていると判定されることはない）。なお、このしきい値θは、注目人物の生年月日から処理の対象としている画像データの撮影日までの経過日時に応じて変化させてもよい。例えば、生年月日からの経過日数が大きくなるほどθを大きくすることとしてもよい。また経過日数が所定値を超えるとθが一定となるようにしてもよい。

一方、図４の処理Ｓ８において第２認識正否判断処理を実行する画像処理装置１は、処理Ｓ４で演算した実年齢情報Ａt［ｉ］のうち、負であるようなＡt［ｉ］（ｉ＝１，２，…）があるか否かを調べる。そして例えばＡt［ｊ］が負である場合は、ｊ番目の画像データについての注目人物の認識結果が誤りであると判定する。上述の場合、２００３年に兄が３才だった頃の画像データＤ１についてはＡt［１］は負であるので、認識結果が誤りであると判定されることとなる。この処理においても画像処理装置１は、認識結果が誤っていると判定した画像データについては、人物認識処理を再実行することとしてもよい（上記処理Ｓ１８と同様）。

具体的にｉ番目の画像データＤｉについて人物認識処理を再実行する場合、画像処理装置１は、次のように動作する。すなわち、画像処理装置１は、このｉ番目の画像データＤｉに関連付けて記憶部１２に記録されているタグ情報のうち、注目人物と誤認した識別情報を含むタグ情報を削除する。また画像処理装置１は、ｉ番目の画像データＤｉのうちから注目人物と誤認した顔の撮像されている領域（再認識の対象となる領域）について、この領域内の人物を認識する処理を行う。この際に、注目人物を特定する識別情報を用い、当該領域内の人物の顔に係る予め定めた特徴量と、記憶部１２に格納されている顔データベースのうち、注目人物の識別情報を含まないエントリー内の特徴量の情報とを比較する。

画像処理装置１は、この比較の結果、抽出した特徴量の情報に一致ないし類似している特徴量の情報であって、注目人物の識別情報に関連付けられていないエントリーが顔データベースから見出されると、当該エントリーに含まれる識別情報をタグ情報の一つとして、選択した画像データに関連付けて、記憶部１２に保持させる。このとき、人物認識処理部３１は、注目領域内にある顔の部位や輪郭、皺の情報等から、当該撮像されている人物の年齢を推定する。

先の兄弟の例であれば、兄弟間の顔の特徴量は類似している。従って注目人物である弟以外では、兄の識別情報に関連付けられた特徴量が、再認識の対象となる領域内の顔の特徴量と類似していると判断される。つまり、２００３年に兄が３才だった頃の画像データ及び２００５年に兄が５才であった頃の画像データ（ｉ＝１，２）に対しては、この人物認識処理の再実行により兄の識別情報が関連付けられる可能性が高い。

画像処理装置１は、こうして画像データに撮影されている人物を特定する識別情報を含んだタグ情報を設定する。そして操作部１３から入力される指示に従って、例えば弟が撮影されている写真の画像データ（弟を特定する識別情報を含むタグ情報が関連付けられた画像データ）を選択して読み出し、外部のディスプレイや家庭用テレビジョン装置に、当該画像データが表す画像を出力させる。

また年齢補正情報生成部３７における処理は、ここまでに説明したものに限られない。例えば年齢補正情報生成部３７は、抽出した画像データのそれぞれから推定された注目人物の推定年齢情報のうち、外れ値と判断される推定年齢情報を除いた推定年齢情報と、抽出した画像データごとに演算された実年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成することとしてもよい。

具体的にこの年齢補正情報生成部３７は、ｉ番目の画像データ（ｉ＝１，２，…）について演算された注目人物の実年齢情報Ａt［ｉ］と、年齢の推定結果の情報Ａe［ｉ］とを記憶部１２から読み出す。そしてこれら画像データごとの実年齢情報Ａt［ｉ］と画像データからの年齢の推定結果の情報Ａe［ｉ］との組から、仮の相関係数を演算する。ここで仮の相関係数は例えば実年齢情報Ａtに対して、推定の結果Ａeが、一次式、Ａe＝αp・Ａt＋βpで表されると仮定したときのαp，βpであり、具体的にはこれらを最小二乗法によって求めることとすればよい。

年齢補正情報生成部３７は、実年齢情報Ａt［ｉ］が与えられたときに、これら仮の相関係数を用いて演算されるαp・Ａt［ｉ］＋βpを仮の推定値Ａp［ｉ］とする。つまり、Ａp［ｉ］＝αp・Ａt［ｉ］＋βpとする。そして年齢補正情報生成部は、この仮の推定値Ａp［ｉ］と、実年齢情報Ａt［ｉ］に対応する年齢の推定結果の情報Ａe［ｉ］との差（残差）Ｒ［ｉ］＝Ａe［ｉ］−Ａp［ｉ］を求める。また、この残差Ｒ［ｉ］の標準偏差σを算出する。

年齢補正情報生成部３７は、年齢の推定結果の情報Ａe［ｉ］のうち、当該年齢の推定結果の情報Ａe［ｉ］を残差の標準偏差σで除した値が予め定めた閾値を超えるものを外れ値と判断する。ここで閾値は例えば「２」ないし「３」としてもよい。年齢補正情報生成部３７は、外れ値と判断した年齢の推定結果の情報Ａe［ｉ］を除いた年齢の推定結果の情報Ａe［ｉ］と、注目人物の実年齢情報Ａt［ｉ］との統計演算結果に基づいて、実年齢と見掛けの年齢差を表す年齢補正情報を生成する。

一例として、年齢補正情報生成部３７は、外れ値と判断した年齢の推定結果の情報Ａe［ｊ］と、それに対応する（画像データＤｊに対応する）実年齢情報Ａt［ｊ］とを除き、実年齢情報Ａtに対して、推定の結果Ａeが、一次式、Ａe＝α・Ａt＋βで表されると仮定したときのα，βを、最小二乗法によって求める。

例えばｉ＝１，２，…５番目までの画像データが抽出されているとき、ｉ＝１，３の画像データに対応する年齢の推定結果の情報Ａe［１］，Ａe［３］が外れ値であると判断すると、年齢補正情報生成部３７は、これらとこれらに対応する実年齢情報Ａt［１］，Ａt［３］とを除き、残る実年齢情報Ａt［２］，Ａt［４］，Ａt［５］と、これらに対応する年齢の推定結果の情報Ａe［２］，Ａe［４］，Ａe［５］との回帰分析から、推定の結果Ａeが、一次式、Ａe＝α・Ａt＋βで表されると仮定したときのα，βを求める。

また、ここでは年齢補正情報生成部３７は、年齢補正情報を生成する際に回帰分析を用いることとしたが、これに限られるものではない。例えば年齢補正情報生成部３７は、実年齢情報Ａt［ｉ］に対する年齢推定結果Ａe［ｉ］の散布図を考え、この散布図における主成分解析などによって年齢補正情報を生成してもよい。

さらに、ここまでの説明では、撮影日の情報がＥｘｉｆデータ等、画像データに関連付けられた情報から取得できる場合について説明したが、写真のスキャンデータのように撮影日の情報が直ちに取得できない場合であっても、何らかの処理により撮影日の情報が取得できれば、本実施の形態の情報処理装置１による処理を実行できる。

例えば、日付情報を写し込んでいる場合（写真に画像として日付情報が写し込まれている場合）は、この日付情報をＯＣＲ（光学的文字認識）により読取って利用してもよい。また、ＡＰＳ（Advanced Photo System）規格の写真では、写真裏面に日付情報が記述されるので、この日付情報をＯＣＲで読取って利用してもよい。また、利用者から写真の撮影日の情報の入力を受け入れることができれば、当該撮影日の情報を利用してもよい。

本実施の形態の画像処理装置によれば、画像データに基づく人物の認識誤りの発生を低減できる。

１情報処理装置、１１制御部、１２記憶部、１３操作部、１４表示部、１５通信部、１６入出力インタフェース、２１蓄積処理部、２２表示処理部、２３管理処理部、３１人物認識処理部、３２抽出部、３３取得部、３４実年齢演算部、３５年齢推定部、３６処理選択部、３７年齢補正情報生成部、３８第１認識正否判断処理部、３９第２認識正否判断処理部。

Claims

人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、
前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、
前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、
当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、
前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、
前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、
前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する補正情報生成手段と、
前記人物認識処理による認識結果が誤っているか否かを判定し、誤っている場合に、注目人物の認識結果の情報を削除して、再認識の処理を実行する手段と、
を含み、
前記生成された年齢補正情報が、前記人物認識処理による認識結果の正否判断に利用される画像処理装置。
請求項１に記載の画像処理装置において、
前記年齢補正情報を生成する処理では、
前記抽出した画像データのそれぞれから推定された注目人物の推定年齢情報のうち、外れ値と判断される推定年齢情報を除いた推定年齢情報と、前記抽出した画像データごとに演算された実年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する画像処理装置。
コンピュータを用い、
蓄積手段が、人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する工程と、
人物データベース保持手段が、前記画像データに撮像されている人物の生年月日を記憶する工程と、
抽出手段が、前記画像データに対して撮像された人物を認識させる人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する工程と、
取得手段が、当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する工程と、
演算手段が、前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る工程と、
推定手段が、前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る工程と、
補正情報生成手段が、前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する工程と、
実行手段が、前記人物認識処理による認識結果が誤っているか否かを判定し、誤っている場合に、注目人物の認識結果の情報を削除して、再認識の処理を実行させる工程と、
を含み、
前記生成された年齢補正情報が、前記人物認識処理による認識結果の正否判断に利用される画像処理方法。
コンピュータを、
人物が撮像されている画像データを、撮影日を表す情報に関連付けて蓄積する蓄積手段と、
前記画像データに撮像されている人物の生年月日を記憶する人物データベース保持手段と、
前記画像データに対して撮像された人物を認識する人物認識処理を実行し、別途定められた注目人物が撮像された画像データを抽出する抽出手段と、
当該抽出した画像データごとの撮影日を前記蓄積手段から取得するとともに、前記注目人物の生年月日を前記人物データベース保持手段から取得する取得手段と、
前記抽出した画像データごとに、それぞれ取得した撮影日と、注目人物の生年月日との差とを演算して、前記抽出した画像データごとの注目人物の実年齢情報を得る演算手段と、
前記抽出した画像データごとに、撮像されている注目人物の年齢を、画像データから推定して得られた、注目人物の推定年齢情報を得る推定手段と、
前記抽出した画像データごとに演算された実年齢情報と、それぞれに対応する画像データから推定された推定年齢情報との統計演算結果に基づき、実年齢と見掛けの年齢差を表す年齢補正情報を生成する補正情報生成手段と、
前記人物認識処理による認識結果が誤っているか否かを判定し、誤っている場合に、注目人物の認識結果の情報を削除して、再認識の処理を実行する手段と、
として機能させ、
前記生成された年齢補正情報を、前記人物認識処理による認識結果の正否判断に利用させるプログラム。