JP5358249B2 - 画像処理装置、画像処理方法及びプログラム - Google Patents

Description

本発明は、顔の位置の検出と顔の特徴量の算出を行う画像処理装置、画像処理方法及びプログラムに関する。

ＳＤメモリなどの、デジタルカメラに使用される記憶媒体が大容量化していることもあり、個人がパソコン等に保存している画像データの量が多くなる傾向にある。このため、保存している画像データの中から、望みの画像データを探し出す事が困難になってきている。

そこで、デジタルカメラから、パソコン等に画像データを取り込む際に、画像データ中での顔の位置の検出と、顔の特徴量の算出を行い、この顔の位置が記述された情報と、顔の特徴量が記述された情報とを画像データと関連付けし、保存し、この顔特徴量の情報を使用し、検索を行うという方法が存在する。

顔の位置としては、まず、顔の写っている領域を推定し、図１に示すように、その領域の矩形を切り出す。例えば、図１のような画像データであれば、次のように顔領域の矩形が切り出される。図１には、二人の人物の顔が写っており、それぞれの顔に対して、（Ｘ１、Ｙ１）、（Ｘ１、Ｙ２）、（Ｘ２、Ｙ１）、（Ｘ２、Ｙ２）の４点により形成される矩形と、（Ｘ３、Ｙ３）、（Ｘ３、Ｙ４）、（Ｘ４、Ｙ３）、（Ｘ４、Ｙ４）の４点により形成される矩形とが切り取られ、これらの座標値が顔位置の情報として保存される。図１では、画像データの左上を原点とし、右方向をＸ方向、下方向をＹ方向としたＸＹ座標系を使用している。

また、この顔の特徴量としては、いろいろ考えられるが、例えば、目の位置や大きさ、口の位置や大きさなどに対する数値などが考えられる。例えば、目の大きさであれば、顔位置として切り取られた矩形の横幅に対する、画像から算出される目の長さの割合などを求め、求められた値を配列として、顔位置として切り取られた矩形それぞれに対して、顔特徴量の情報として記述するようにすると良い。

このように顔位置の情報と顔特徴量の情報を画像データとともに保存しておくことにより、顔特徴量を使用し、画像データを保存された画像データから検索することができるようになる。図１の右の人物が写っている画像データを検索したいときに、例えば、図１の画像データを表示し、右の人物の矩形部分にカーソルを移動し、その位置でクリックをすることで、この人物の写っている画像データを検索することをできるようにしたりすることができる。

例えば、上記のように、人物を選択したときに、この選択された人物の顔領域の矩形で算出された顔特徴量と同じ顔特徴量である矩形を持った画像データを検索することにより、選択された人物の写っている画像データを検索する方法が実用化されている。

また、特許文献１では、画像データの撮影された時刻、撮影された場所も画像データに付加しておき、顔の特徴量とともに、この時刻と場所のデータも使用し、画像データの検索を行う方法が開示されている。

特開２００８−１１７２７１号公報

しかしながら、通常、デジタルカメラで撮影され、保存される画像データは、デジタルカメラの、ＣＣＤ（charge coupled device）、ＣＭＯＳ（complementary metal-oxide semiconductor）などの撮像装置が得た情報をデジタル化されただけのものではなく、さらにＪＰＥＧ（Joint Photographic Expert Group）形式などのデータ量の小さいファイル形式に圧縮変換されている。このため、情報量が少なくなっており、顔位置の検出や顔特徴量の算出が難しい場合もある。

この顔位置の検出や顔特徴量の算出を、ＪＰＥＧ形式のファイル等に圧縮変換される前の段階で行うことができれば、より精密な、顔位置の検出や顔特徴量の算出が可能になることが期待できる。また、変換された後では、顔位置の検出や顔特徴量の算出が難しかった画像データであっても、圧縮変換される前の段階で行うことができれば、顔位置の検出や顔特徴量の算出が容易に行われる場合があることも期待できる。

そこで本発明は、上記問題点に鑑みてなされたもので、より正確な顔の位置と検出と顔の特徴量の算出を行う画像処理装置、画像処理方法及びプログラムを提供することを目的とする。

上記課題を解決するため、本発明における第１の画像処理装置は、撮像データを保存する一時保存部と、前記撮像データから顔の位置を検出する顔位置検出部と、前記顔位置検出部により検出された前記顔の位置に基づき、前記撮像データから顔の特徴量を算出する顔特徴量算出部と、前記撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記顔位置検出部により検出された前記顔の位置の情報と、前記顔特徴量算出部により算出された前記顔の特徴量の情報を付加し、画像データを生成する画像データ変換部と、前記画像データ変換部により生成された前記画像データを保存する保存部と、を有し、前記一時保存部は、撮影時の撮像データと、撮影時の前の撮像データと、撮影時の後の撮像データの少なくとも３つの撮像データを保存し、前記顔位置検出部は、前記３つの撮像データそれぞれから前記顔の位置を検出し、前記顔特徴量算出部は、前記３つの撮像データそれぞれから前記顔の特徴量を算出し、前記画像データ変換部は、前記撮影時の撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記３つの撮像データそれぞれから検出された前記顔の位置の情報と、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報を付加し、前記画像データを生成することを特徴とする。

また、本発明における第２の画像処理装置は、画像データを展開するデータ展開部と、前記データ展開部に展開された前記画像データに顔の位置の情報と顔の特徴量の情報が付加されているとき、前記顔の位置の情報と前記顔の特徴量の情報とを抽出する顔検索部と、前記画像データと前記顔の位置の情報と前記顔の特徴量の情報とを記憶する記憶部と、を有し、前記顔検索部は、前記データ展開部に展開された前記画像データに、撮影時の撮像データと撮影時の前後の撮像データの３つの撮像データそれぞれから検出された前記顔の位置の情報と、当該３つの撮像データそれぞれから算出された前記顔の特徴量の情報が付加されているとき、前記顔の位置の情報として、前記撮影時の撮像データから検出された前記顔の位置の情報を抽出し、前記顔の特徴量の情報として、前記撮影時の撮像データから顔特徴量が算出できないときは、前記撮影時の前後の撮像データそれぞれから算出された前記顔の特徴量のうちの１つの前記顔の特徴量を抽出し、前記３つの撮像データすべてから前記顔の特徴量が算出できないときは、前記顔の特徴量はないと記述された情報を抽出することを特徴とする。さらに、本発明における第２の画像処理装置は、画像データを展開するデータ展開部と、前記データ展開部に展開された前記画像データに顔の位置の情報と顔の特徴量の情報が付加されているとき、前記顔の位置の情報と前記顔の特徴量の情報とを抽出する顔検索部と、前記画像データと前記顔の位置の情報と前記顔の特徴量の情報とを記憶する記憶部と、を有し、前記顔検索部は、前記データ展開部に展開された前記画像データに、撮影時の撮像データと撮影時の前後の撮像データの３つの撮像データそれぞれから検出された前記顔の位置の情報と、当該３つの撮像データそれぞれから算出された前記顔の特徴量の情報が付加されているとき、前記顔の位置の情報として、前記撮影時の撮像データから検出された前記顔の位置の情報を抽出し、前記顔の特徴量の情報として、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報のうちで、精度の最も良い前記顔の特徴量を抽出することを特徴とする。

また、本発明における第１の画像処理方法は、撮像データを保存する一時保存ステップと、前記撮像データから顔の位置を検出する顔位置検出ステップと、前記顔位置検出ステップにより検出された前記顔の位置に基づき、前記撮像データから顔の特徴量を算出する顔特徴量算出ステップと、前記撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記顔位置検出ステップにより検出された前記顔の位置の情報と、前記顔特徴量算出ステップにより算出された前記顔の特徴量の情報を付加し、画像データを生成する画像データ変換ステップと、前記画像データ変換ステップにより生成された前記画像データを保存する保存ステップと、を有し、前記一時保存ステップは、撮影時の撮像データと、撮影時の前の撮像データと、撮影時の後の撮像データの少なくとも３つの撮像データを保存し、前記顔位置検出ステップは、前記３つの撮像データそれぞれから前記顔の位置を検出し、前記顔特徴量算出ステップは、前記３つの撮像データそれぞれから前記顔の特徴量を算出し、前記画像データ変換ステップは、前記撮影時の撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記３つの撮像データそれぞれから検出された前記顔の位置の情報と、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報を付加し、前記画像データを生成することを特徴とする。

また、本発明におけるプログラムは、画像処理装置を、撮像データを保存する一時保存手段と、前記撮像データから顔の位置を検出する顔位置検出手段と、前記顔位置検出手段により検出された前記顔の位置に基づき、前記撮像データから顔の特徴量を算出する顔特徴量算出手段と、前記撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記顔位置検出手段により検出された前記顔の位置の情報と、前記顔特徴量算出手段により算出された前記顔の特徴量の情報を付加し、画像データを生成する画像データ変換手段と、前記画像データ変換手段により生成された前記画像データを保存する保存手段として機能させ、前記一時保存手段に、撮影時の撮像データと、撮影時の前の撮像データと、撮影時の後の撮像データの少なくとも３つの撮像データを保存させ、前記顔位置検出手段に、前記３つの撮像データそれぞれから前記顔の位置を検出させ、前記顔特徴量算出手段に、前記３つの撮像データそれぞれから前記顔の特徴量を算出させ、前記画像データ変換手段に、前記撮影時の撮像データを所定のファイル形式に変換させ、当該変換された前記撮像データに、前記３つの撮像データそれぞれから検出された前記顔の位置の情報と、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報を付加し、前記画像データを生成させることを特徴とする。

本発明により、より正確な顔の位置と検出と顔の特徴量の算出を行うことができる。

顔領域を囲む矩形を説明する図である。 画像処理装置の構成の一例を示す図である。 画像処理装置における処理動作の一例を示す図である。 画像処理装置の構成の一例を示す図である。 画像処理装置における処理動作の一例を示す図である。 本発明の実施形態に係る画像処理装置の構成の一例を示す図である。 本発明の実施形態に係る画像処理装置の生成する画像データを説明する図である。 本発明の実施形態に係る画像処理装置における処理動作を示す図である。 本発明の実施形態に係る画像処理装置の構成の一例を示す図である。 本発明の実施形態に係る画像処理装置における処理動作を示す図である。 本発明の実施形態に係る画像処理装置における処理動作を示す図である。 本発明の実施形態に係る画像処理装置における処理動作を示す図である。 本発明の実施形態に係る画像処理装置における処理を説明する図である。 本発明の実施形態に係る画像処理装置における処理を説明する図である。 本発明の実施形態に係る画像処理装置における処理を説明する図である。

以下に、本発明を実施するための形態について図面を参照して詳細に説明する。

図２は、デジタルカメラにおいて、撮像装置２００により取得された情報をデジタル化した撮像データを処理する第１の画像処理装置１００の構成の一例を示す図である。第１の画像処理装置１００は、一時保存部１０１と、制御部１０２と、画像データ変換部１０３と、保存部１０４とにより構成される。

一時保存部１０１は、ＣＣＤ（charge coupled device）、ＣＭＯＳ（complementary metal-oxide semiconductor）などの撮像装置２００で得た情報をデジタル化した撮像データを一時的に保存する。

画像データ変換部１０３は、一時保存部１０１に保存されている撮像データを変換し、例えば、ＪＰＥＧ（Joint Photographic Expert Group）形式などのデータ量の小さいファイル形式の画像データを生成する。また、画像データ変換部１０３では、ファイル形式の変換とともに、明るさやコントラストの補正などの画像処理も行われることもある。

保存部１０４は、画像データ変換部１０３により生成された画像データを保存する。

制御部１０２は、入力装置５００から撮影指示の入力を受けると、この撮影指示の入力時に撮像装置２００が取得した撮像データを一時保存部１０１から取り出し、画像データ変換部１０３に送る。そして、この撮像データから生成された画像データを画像データ変換部１０３から受け取り、この画像データを保存部１０４に送る。

第１の画像処理装置には、例えば、図２に示したように、撮像装置２００や表示装置３００や送受信装置４００や入力装置５００などが接続されている。通常、撮像装置２００は、デジタルカメラの電源が入っている状態において、常に、撮像を行っているため、第１の画像処理装置１００の一時保存部１０１には、常に、撮像データが送られてきて、一時保存が行われている。そこで、例えば、表示装置３００は、一時保存部１０１に一時保存された撮像データを表示し、ユーザはこの表示装置による表示を確認しながら撮影できるようになっている。また、例えば、送受信装置４００を介して、接続された他の装置に画像データを出力できるようになっている。または、例えば、保存部１０４が第１の画像処理装置から取り外し可能になっており、他の装置が保存部と接続することにより、画像データを取り込むことができるようにもなっているものもある。

図３は、デジタルカメラでの撮影の際に通常行われる処理動作の一例を示した図である。まず、ユーザがシャッターを押す（Ｓ１０１）。つまり、ユーザにより、シャッターボタンという入力装置５００から、撮影の指示の入力が行われる。入力装置５００からの入力された撮影指示に従い、制御部１０２は、一時保存部１０１に保存されている、シャッターの押された時間、つまり、撮影指示が入力された時間に撮像装置２００により取得された撮像データを取り出し、画像データ変換部１０３に送る（Ｓ１０２）。画像データ変換部１０３は、送られてきた撮像データを変換し、所定のファイル形式の画像データを生成する（Ｓ１０３）そして、この画像データ変換部１０３により生成された画像データは、制御部１０２に返され、制御部１０２は、この画像データを保存部１０４に送る。保存部１０４は、この送られてきた画像データを保存する（Ｓ１０４）。

通常、この保存部１０４に保存された画像データは、パソコンなどの情報処理装置に取り込まれ、情報処理装置に記憶され、整理される。

図４は、顔検索を行うことができるように画像データを保存することが可能な第２の画像処理装置６００の構成の一例を示す図である。第２の画像処理装置は、パソコン等の情報処理装置に備えられている。データ展開部６０１と、データ管理部６０２と、顔検索部６０３と、顔位置検出部６０４と、顔特徴量算出部６０５と、記憶部６０６とにより構成される。

データ展開部６０１は、上記の第１の画像処理装置の保存部１０４から取り込まれた画像データを展開する。

データ管理部６０２は、データ展開部６０１に展開された画像データを顔検索部６０３に送り、顔検索部６０３から顔位置の情報と顔特徴量の情報を返され、この顔位置の情報と顔特徴量の情報と、画像データとを記憶部６０６に送る。

顔検索部６０３は、データ管理部から送られてきた画像データを顔位置検出部６０４と顔特徴量算出部６０５に送り、顔位置検出部６０４と顔特徴量算出部６０５から顔位置の情報と顔特徴量の情報を返され、この顔位置の情報と顔特徴量の情報をデータ管理部に返す。

顔位置検出部６０４は、顔検索部６０３から送られてきた画像データから顔の位置を検出し、検出された顔位置の情報を顔検索部６０３に返す。

顔特徴量算出部６０５は、顔位置検出部６０４により検出された顔位置に基づき、顔検索部６０３から送られてきた画像データから顔特徴量を算出し、算出された顔特徴量の情報を顔検索部６０３に返す。

記憶部６０６は、データ管理部６０２から送られてきた画像データと顔位置の情報と顔特徴量の情報を記憶する。

図５は、図４の構成の際に行われる処理動作の一例を示した図である。まず、第１の画像処理装置１００の保存部１０４に保存された画像データが取り込まれ（Ｓ２０１）、データ展開部６０１は、この取り込まれた画像データを展開する（Ｓ２０２）。データ管理部６０２は、この展開された画像データを顔検索部６０３に送る。顔検索部６０３は、この送られてきた画像データを顔位置検出部６０４と顔特徴量算出部６０５に送る。顔位置検出部６０４は、この送られてき画像データから顔の位置を検出し（Ｓ２０３）、この顔位置の情報を顔検索部６０３に返す。また、顔特徴量算出部６０５は、顔位置検出部６０４により検出された顔位置に基づき、送られてきた画像データから顔特徴量を算出し（Ｓ２０３）し、この顔特徴量の情報を顔検索部６０３に返す。顔検索部６０３は、この返された顔位置の情報と顔特徴量の情報をデータ管理部６０２に返す。データ管理部６０２は、この返された顔位置の情報と顔特徴量の情報と、画像データとを記憶部６０６に送る。記憶部６０６は、この送られてきた顔位置の情報と顔特徴量の情報と画像データを記憶する（Ｓ２０４）。ここで、顔位置の情報と顔特徴量の情報は、画像データに関連付けて保存される。

このように、画像データを取り込むとともに、画像データの顔位置の情報と顔特徴量の情報とを記憶することにより、顔検索を行うことが可能になる。

顔検索は、例えば、次のように行う。上記の第２の画像処理装置に表示装置を接続し、記憶部６０６に記憶された画像データの１つを表示装置に表示する。この画像データとともに、記憶部６０６に記憶されている、この画像データに関連付けられた顔位置の情報に基づき、画像データ上の顔領域に矩形を表示する。また、画像処理装置にマウスやタッチパネルなどの入力装置も接続し、ユーザはこの表示を見ながら、検索したい人物の顔領域の矩形を選択し、入力装置から選択情報を入力する。顔検索部６０２は、この入力された選択情報に基づき、この選択された顔領域の矩形の顔特徴量と顔特徴量が記述された情報を記憶６０６から検索する。顔特徴量の情報が検索された後、この検索された顔特徴量の情報が関連付けされた画像データを記憶部６０６から抽出する。そして、検索結果として、この抽出された画像データのリストやサムネイルなどを表示装置に表示する。

しかしながら、上記に示した、通常の処理動作では、顔位置の検出と顔特徴量の算出は、撮像データを変換し、生成された画像データを基づき行う。通常、デジタルカメラでは、なるべく多くの画像データを撮影し、保存することができるようにするために、撮影されたデータは小さく圧縮され、保存される。つまり、撮影時に得たデータより情報量の落ちたデータを使い、顔位置の検出と顔特徴量の算出を行うことになる。そこで、本発明では、撮影時に得たデータにより、顔位置の検出と顔特徴量の算出を行うため、デジタルカメラ側に、つまり、第１の画像処理装置に顔位置の検出と顔特徴量の算出を行う機能を持たせることにする。

また、撮影時の瞬間の撮像データだけでは顔位置の検出と顔特徴量の算出が難しい場合がある。そこで、撮影時の瞬間の撮像データだけでなく、撮影時の瞬間の前後の撮像データも用い、顔位置の検出と顔特徴量の算出を行うことにする。

図６は、本発明の実施形態に係る第１の画像処理装置の構成の一例を示す図である。これは、図２の構成に、新たに、顔位置検出部１０５と、顔特徴量算出部１０６とを加えた構成になっている。

この構成において、一時保存部１０１は、少なくとも３つの撮像データを一時保存できるとする。通常、撮像装置２００により取得される情報は、所定時間ごとにデジタル化され、一時保存部１０１に保存される。つまり、この構成において、撮像された時間が所定時間間隔で連続している撮像データが少なくとも３つが一時保存部１０１に保存されていることにする。

また、この構成において、制御部１０２は、入力装置５００から撮影指示の入力を受けると、一時保存部１０１に一時保存されている、撮影指示の入力時に撮像装置２００により取得された撮像データと、この撮像データの一つ前の撮像データと、一つ後の撮像データの３つの撮像データを、まず、顔位置検出部１０５と顔特徴量算出部１０６に送ることにする。また、制御部１０２は、顔位置検出部１０５と顔特徴量算出部１０６から返される、３つの顔位置の情報と、３つの顔特徴量の情報と、撮影指示の入力時に撮像装置２００により取得された撮像データとを画像データ変換部１０３に送り、画像データ変換部１０３から返された画像データを保存部１０４に保存する。

また、この構成において、画像データ変換部１０３は、制御部１０２から送られてきた撮像データを所定のファイル形式に変換し、図７に示すように、制御部１０２から送られてきた３つの顔位置の情報と３つの顔特徴量の情報も付加し、１つの画像データを生成する。例えば、ＪＰＥＧ形式のファイルであれば、撮像データから変換された画像についての情報以外に、３つの顔位置の情報と３つの顔特徴量の情報も付加することが可能である。

顔位置検出部１０５は、制御部１０２から送られてきた画像データから顔の位置を検出し、検出された顔位置の情報を制御部１０２に返す。

顔特徴量算出部１０６は、制御部１０２から送られてきた画像データから顔特徴量を算出し、算出された顔特徴量に情報を制御部１０２に返す。

上記の構成では、顔位置検出部１０５と顔特徴量算出部１０６に送られる撮像データは３つであるが、これを撮影指示の入力時に撮像装置２００により取得された撮像データの１つにし、顔位置検出部１０５と顔特徴量算出部１０６が返す顔位置の情報と顔特徴量の情報を１つずつにしても良い。このとき、画像データ変換部において、画像データに付加されるのは、この１つの顔位置の情報と１つの顔特徴量の情報であるようにすると良い。

図８は、図６の構成の際に、本発明の実施形態に係る第１の画像処理装置において行われる処理動作の一例を示した図である。まず、ユーザがシャッターを押す（Ｓ３０１）。つまり、ユーザにより、シャッターボタンという入力装置５００から、撮影の指示の入力が行われる。入力装置５００からの入力された撮影指示に従い、制御部１０２は、一時保存部１０１に一時保存されている、撮影指示の入力時に撮像装置２００により取得された撮像データと、この撮像データの１つ前の撮像データと、１つ後の撮像データの３つの撮像データを取り出し（Ｓ３０２）、顔位置検出部１０５と顔特徴量算出部１０６に送る。顔位置検出部１０５は、制御部１０２から送られてきた撮像データから顔の位置を検出し、検出された顔位置の情報を制御部１０２に返す（Ｓ３０３）。顔特徴量算出部１０６は、顔位置検出部１０５により検出された顔位置に基づき、制御部１０２から送られてきた撮像データから顔特徴量を算出し、算出された顔特徴量に情報を制御部１０２に返す（Ｓ３０３）。次に、制御部１０２は、顔位置検出部１０５と顔特徴量算出部１０６から返された、３つの顔位置の情報と、３つの顔特徴量の情報と、撮影指示の入力時に撮像装置２００により取得された撮像データとを画像データ変換部１０３に送る。画像データ変換部１０３は、制御部１０２から送られてきた撮像データを所定のファイル形式に変換し、制御部１０２から送られてきた３つの顔位置の情報と３つの顔特徴量の情報も付加し、１つの画像データを生成する（Ｓ３０４）そして、この画像データ変換部１０３により生成された画像データは、制御部１０２に返され、制御部１０２は、この画像データを保存部１０４に送る。保存部１０４は、この送られてきた画像データを保存する（Ｓ３０５）。

上記の処理動作では、顔位置検出部１０５と顔特徴量算出部１０６に送られる撮像データは３つであるが、これを撮影指示の入力時に撮像装置２００により取得された撮像データの１つにし、顔位置検出部１０５と顔特徴量算出部１０６が返す顔位置の情報と顔特徴量の情報を１つずつにしても良い。このとき、画像データ変換部において、画像データに付加されるのは、この１つの顔位置の情報と１つの顔特徴量の情報であるようにすると良い。

このようにすることにより、圧縮等の変換を受けた後の画像データではなく、撮像装置２００が取得した情報をデジタル化しただけである、撮像データを使い、顔位置の検出と顔特徴量の算出できるようになる。これにより、より情報量のある撮像データで、顔位置の検出と顔特徴量の算出を行うことになり、より精密に、顔位置の検出と顔特徴量の算出を行うことができるようになることが期待できる。

上記の構成の第１の画像処理装置により生成される画像データには、顔位置の情報と顔特徴量の情報が付加されている。このため、顔検索を行えるように情報処理装置に取り込み、保存する際にも、情報処理装置側の画像処理装置により、新たに顔位置の検出と顔特徴量の算出を行う必要がない。

図９は、図６の構成の第１の画像処理装置により生成された画像データを取り込む際に使用する、本発明の実施形態に係る第２の画像処理装置の構成の一例を示す図である。これは、図４の構成から顔位置検出部６０４と、顔特徴量算出部６０５とを除いた構成になっている。

この構成において、顔検索部６０３は、データ管理部６０２から送られてきた画像データから顔位置の情報と顔特徴量の情報を抽出し、この顔位置の情報と顔特徴量の情報をデータ管理部６０２に返す。

図１０は、図９の構成の際に、本発明の実施形態に係る第２の画像処理装置において行われる処理動作を示す図である。まず、第１の画像処理装置１００の保存部１０４に保存された画像データが取り込まれ（Ｓ４０１）、データ展開部６０１は、この取り込まれた画像データを展開する（Ｓ４０２）。データ管理部６０２は、この展開された画像データを顔検索部６０３に送る。顔検索部６０３は、この送られた画像データから、顔位置の情報と顔特徴量の情報とを抽出し（Ｓ４０３）、この抽出した顔位置の情報と顔特徴量の情報をデータ管理部６０２に返す。データ管理部６０２は、この返された顔位置の情報と顔特徴量の情報と、画像データとを記憶部６０６に送る。記憶部６０６は、この送られてきた顔位置の情報と顔特徴量の情報と画像データを記憶する（Ｓ４０４）。ここで、顔位置の情報と顔特徴量の情報は、画像データに関連付けて保存される。

このようにすることにより、顔位置の情報と顔特徴量の情報とが付加された画像データを取り込む際は、改めて、顔位置の検出と顔特徴量の算出とを行わなくても良くなり、画像データの取り込みにかかる時間を短縮することができる。また、顔位置の情報と顔特徴量の情報とが抽出され、保存されるため、これらの情報を使用した、前述のような方法で顔検索を行うことができる。

図７に示すように、撮影指示が入力された時間に撮像装置２００により取得された撮像データと、この撮像データの１つ前の撮像データと、１つ後の撮像データの３つの撮像データそれぞれから顔位置の検出と顔特徴量の算出が行われたとする。このとき、画像データ変換部１０３により生成される画像データには、３つの顔位置の情報と３つの顔特徴量の情報が付加されている。上記の処理動作において、顔検索部６０３は、この３つの顔特徴量の情報のうち、どの顔特徴量の情報をデータ管理部６０２に返すのかを判断しなくてはならない。

顔検索部６０３が、３つの顔特徴量の情報のうち、どの顔特徴量の情報をデータ管理部６０２に返すのかを判断する際、まず、撮像データすべてからちゃんと顔位置の検出できているのか、顔特徴量が算出できているのかという問題がある。

そこで、３つの顔特徴量の情報のうち、どの顔特徴量の情報をデータ管理部６０２に返すのかを判断する際に、本発明の実施形態に係る第２の画像処理装置において行う処理動作を、図１１を参照しながら説明する。この処理動作では、基本的には、撮影指示が入力された時間に撮像装置２００により取得された撮像データにより算出した顔特徴量をデータ管理部６０２に返すことにする。

まず、撮影指示が入力された時間に撮像装置２００により取得された撮像データから顔特徴量が算出できた場合（Ｓ５０１、Ｙｅｓ）、この撮影時の撮像データから算出された顔特徴量の情報をデータ管理部６０２に送る（Ｓ５０２）。

撮影時の撮像データから顔特徴量が算出できていないときには（Ｓ５０１、Ｎｏ）、撮影時の撮像データの１つ前の撮像データにより顔特徴量が算出できているのかどうかを調べる（Ｓ５０３）。この１つ前の撮像データにより顔特徴量が算出できている場合（Ｓ５０３、Ｙｅｓ）、この１つ前の撮像データから算出された顔特徴量の情報をデータ管理部６０２に送る（Ｓ５０４）。

この１つ前の撮像データから顔特徴量が算出できていないときは（Ｓ５０３、Ｎｏ）、撮影時の撮像データの１つ後の撮像データにより顔特徴量が算出できているのかどうかを調べる（Ｓ５０５）。この１つ後の撮像データにより顔特徴量が算出できている場合（Ｓ５０５、Ｙｅｓ）、この１つ後の撮像データから算出された顔特徴量の情報をデータ管理部６０２に送る（Ｓ５０６）。

この１つ後の撮像データから顔特徴量が算出できていないときは（Ｓ５０５、Ｎｏ）、顔特徴量なしと記述した情報をデータ管理部６０２に送る（Ｓ５０７）。

つまり、上記の処理動作では、撮影指示が入力された時間に撮像装置２００により取得された撮像データから顔特徴量を算出された顔特徴量を使うことを考える。この撮影時の撮像データから顔特徴量が算出できていないのであれば、この撮影時の撮像データの１つ前の撮像データから算出された顔特徴量を使うことを考え、さらに、この１つ前の撮像データから顔特徴量が算出できていないのであれば、この撮影時の撮像データの１つ後の撮像データから算出された顔特徴量を使うことを考える。

この撮影時の撮像データから顔特徴量が算出できていないときに、まず、この撮影時の撮像データの１つ後の撮像データから算出された顔特徴量を使うことを考え、この１つ後の撮像データから顔特徴量が算出できていないのであれば、その後に、撮影時の撮像データの１つ前の撮像データから算出された顔特徴量を使うことを考えるようにしても良い。

また、顔特徴量に精度の尺度を設けて、この精度の尺度を用いて、３つの顔特徴量の情報のうち、どの顔特徴量の情報をデータ管理部６０２に返すのかを判断するようにしても良い。精度の尺度としては、例えば、目の大きさに関する特徴量、口の大きさに関する特徴量などの、複数の特徴量が存在しているならば、この複数の特徴量のすべてが算出できているときの顔特徴量の精度が一番高く、算出できてない特徴量が増えていくごとに精度が低くなっていくようにしても良い。

上記のような精度の尺度を使用し、３つの顔特徴量の情報のうち、どの顔特徴量の情報をデータ管理部６０２に返すのかを判断する際に、本発明の実施形態に係る第２の画像処理装置において行う処理動作を、図１２を参照しながら説明する。

撮影指示が入力された時間に撮像装置２００により取得された撮像データから顔特徴量が算出できた場合（Ｓ６０１、Ｙｅｓ）、この顔特徴量から精度を算出する（Ｓ６０２）。撮影時の１つ前の撮像データから顔特徴量が算出できた場合（Ｓ６０３、Ｙｅｓ）、この顔特徴量から精度を算出する（Ｓ６０４）。撮影時の１つ後の撮像データから顔特徴量が算出できた場合（Ｓ６０５、Ｙｅｓ）、この顔特徴量から精度を算出する（Ｓ６０６）。この３つの撮像データから顔特徴量が算出できたかどうかの判断の順番は上記のものとは限らない。上記の処理動作の部分では、顔特徴量の算出ができている撮像データに対しては精度を算出することができていれば良いため、精度の計算はどの撮像データから始めても良い。

３つ撮像データのどれかからは顔特徴量が算出できており、顔特徴量の精度が算出できている場合は（Ｓ６０７、Ｙｅｓ）、算出できている精度のうち、一番精度の良い顔特徴量をデータ管理部６０２に返す（Ｓ６０８）。３つの撮像データのどれからも顔特徴量が算出できていない場合は（Ｓ６０７、Ｎｏ）、特徴量なしと記述された情報をデータ管理部６０２に返す（Ｓ６０９）。

図１３に示すように、撮像データに２人以上の人物が写っているとき、同じ人物の顔領域が、３つの撮像データそれぞれにおいて、どの矩形に対応するのかを判断する必要がある。図１３に示す場合のように、それぞれの人物のずれが小さい場合は、３つの撮像データから抽出した矩形を重ね合わせることにより、３つの撮像データにおける矩形の間の対応関係を判断することができる。

例えば、まず、撮影時の撮像データの矩形Ａに着目する。この矩形Ａを撮影時の１つ前の撮像データに重ね合わせる。そして、矩形Ａと矩形Ｃ、矩形Ａと矩形Ｄの重なり具合を調べる。例えば、重なった領域の面積を求め、これを矩形Ａの面積により割ることにより、重なりの比率を計算する。１つ前の撮像データのうち、この比率が一番大きい矩形を矩形Ａと同じ人物の顔領域を覆う矩形であると判断する。これを撮影時の撮像データの矩形Ｂにも行い、撮影時の撮像データの矩形と、撮影時の撮像データの１つ前の撮像データの矩形との対応関係を判断する。

同じ処理を、撮影時の１つ後の撮像データに対して行うことにより、撮影時の撮像データの矩形と、撮影時の撮像データの１つ前の撮像データの矩形との対応関係を判断することができる。

３つの撮像データにおける人物の位置の変化が小さいときは、上記の方法により、同じ人物の矩形を選び出すことができるが、図１４に示すように、人物の位置の変化が大きい場合は、矩形の重なりがなくなり、上記の方法では、同じ人物の矩形を選び出す事ができなくなる。

そこで、このようなときは、次のような方法をとると良い。まず、撮影時の撮像データの矩形Ａを選び、図１５に示すように、これを撮影時の１つ前の撮像データの矩形の１つである矩形Ｃと重ね合わせる。重ね合わせ方はいろいろ考えられるが、例えば、図１５に示すように、２つの矩形の中心を一致させるように重ねると良い。ここで、撮影時の撮像データにおいて、矩形Ａ以外の矩形Ｂに着目する。矩形Ａと矩形Ｃを重ねたときに、この矩形Ｂと一番距離の近い矩形を撮影時の１つ前の撮像データから選び、その距離を計算する。図１５では、矩形Ｄが、矩形Ｂと一番距離が近い。そこで、矩形Ｂと矩形Ｄの距離を計算する。距離としては、例えば、２つの矩形の中心を結ぶ直線の長さを２つの矩形の距離とすると良い。図１５では、撮影時の撮像データには、矩形Ａと矩形Ｂの２つしかないが、３つ以上ある場合は、矩形Ａ以外のそれぞれの矩形に対して、一番距離の近い矩形を撮影時の１つ前の撮像データから選び、その距離を計算する。そして、計算されたすべての距離を足し合わせ、合計距離として求める。図１５では、矩形Ａと矩形Ｃを重ねたときの合計距離は矩形Ｂと矩形Ｄの距離である。

これを、図１５に示すように、矩形Ａと矩形Ｄを重ね合わせたときと、矩形Ａと矩形Ｅを重ねあわせたときにも行い、それぞれの重ね合わせに対する合計距離を計算する。そして、この合計距離が最小のときの重ね合わせが、同じ人物の顔領域の矩形を重ね合わせたものであると考える。つまり、図１５では、矩形Ａと矩形Ｃの重ね合わせのときに、合計距離が最小になるので、矩形Ａと矩形Ｃが、同じ人物の顔領域の矩形であると判断する。また同時に、ある一定以上の領域が重なり合う矩形Ｂと矩形Ｄも、同じ人物の顔領域であると判断する。

この処理を、撮影時の撮像データの矩形すべてに行うことにより、撮像時の撮像データの矩形と、撮像時の１つ前の撮像データの矩形の対応関係を判断することができる。また、撮影時の撮像データと撮影時の１つ後の撮像データに対して、この処理を、行うことにより、撮影時の撮像データの矩形と、撮影時の１つ後の撮像データの矩形の対応関係の判断ができる。

また、撮影時の撮像データから顔位置ができなかったが、前後の撮像データでは顔位置が検出できたような場合、この前後の撮像データにより検出された顔位置により、撮影時の撮像データの顔位置を補完することができる。例えば、前後の撮像データの矩形の中間位置を、撮影時の撮像データの矩形とするようにしても良い。

以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。

例えば、上述した実施形態における処理動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。

なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムが格納されているＲＯＭ（Read Only Memory）から、専用のハードウェアに組み込まれているコンピュータ内のメモリ（ＲＡＭ）にプログラムを読み込んで実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。

例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭに予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク等の磁気ディスク、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等の光ディスク、ＭＯ（Magneto Optical）ディスク等の光磁気ディスクなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。

このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することが可能である。

なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。

また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。

また、上記実施形態で説明したシステムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。

また、本発明における第１の画像処理装置は、前記画像データ変換部は、前記撮影時の撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記撮影時の撮像データから検出された前記顔の位置の情報と、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報のうちの１つの前記顔の特徴量の情報を付加し、前記画像データを生成するようにしても良い。

また、本発明における第１の画像処理装置は、前記画像データに付加される前記顔の特徴量の情報は、前記撮影時の撮像データから顔特徴量が算出できないときは、前記撮影時の前と後の撮像データそれぞれから算出された前記顔の特徴量のうちの１つの前記顔の特徴量であり、前記３つの撮像データすべてから前記顔の特徴量が算出できないときは、前記顔の特徴量はないと記述された情報であるようにしても良い。

また、本発明における第１の画像処理装置は、前記画像データに付加される前記顔の特徴量の情報は、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報のうちで、精度の最も良い前記顔の特徴量であるようにしても良い。

また、本発明における第１の画像処理装置は、前記画像データに付加される前記顔の位置の情報は、前記撮影時の撮像データから前記顔の位置が検出できないときは、前記撮影時の前後の撮像データに基づき求められた前記顔の位置であるようにしても良い。

また、本発明における第２の画像処理装置は、前記顔検索部は、前記データ展開部に展開された前記画像データに、撮影時の撮像データと前記撮影時の前後の撮像データの３つの撮像データそれぞれから検出された前記顔の位置の情報と、当該３つの撮像データそれぞれから算出された前記顔の特徴量の情報が付加されているとき、前記顔の位置の情報として、前記撮影時の撮像データから前記顔の位置が検出できないときは、前記撮影時の前後の撮像データに基づき求められた前記顔の位置を算出するようにしても良い。

１００ 第１の画像処理装置
１０１ 一時保存部
１０２ 制御部
１０３ 画像データ変換部
１０４ 保存部
１０５ 顔位置検出部
１０６ 顔特徴量算出部
２００ 撮像装置
３００ 表示装置
４００ 送受信装置
５００ 入力装置
６００ 第２の画像処理装置
６０１ データ展開部
６０２ データ管理部
６０３ 顔検索部
６０４ 顔位置検出部
６０５ 顔特徴量算出部
６０６ 記憶部

Claims (10)

1. 撮像データを保存する一時保存部と、
   前記撮像データから顔の位置を検出する顔位置検出部と、
   前記顔位置検出部により検出された前記顔の位置に基づき、前記撮像データから顔の特徴量を算出する顔特徴量算出部と、
   前記撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記顔位置検出部により検出された前記顔の位置の情報と、前記顔特徴量算出部により算出された前記顔の特徴量の情報を付加し、画像データを生成する画像データ変換部と、
   前記画像データ変換部により生成された前記画像データを保存する保存部と、を有し、
   前記一時保存部は、撮影時の撮像データと、撮影時の前の撮像データと、撮影時の後の撮像データの少なくとも３つの撮像データを保存し、
   前記顔位置検出部は、前記３つの撮像データそれぞれから前記顔の位置を検出し、
   前記顔特徴量算出部は、前記３つの撮像データそれぞれから前記顔の特徴量を算出し、
   前記画像データ変換部は、前記撮影時の撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記３つの撮像データそれぞれから検出された前記顔の位置の情報と、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報を付加し、前記画像データを生成することを特徴とする第１の画像処理装置。
2. 前記画像データ変換部は、前記撮影時の撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記撮影時の撮像データから検出された前記顔の位置の情報と、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報のうちの１つの前記顔の特徴量の情報を付加し、前記画像データを生成することを特徴とする請求項１に記載の第１の画像処理装置。
3. 前記画像データに付加される前記顔の特徴量の情報は、前記撮影時の撮像データから顔特徴量が算出できないときは、前記撮影時の前と後の撮像データそれぞれから算出された前記顔の特徴量のうちの１つの前記顔の特徴量であり、前記３つの撮像データすべてから前記顔の特徴量が算出できないときは、前記顔の特徴量はないと記述された情報であることを特徴とする請求項２に記載の第１の画像処理装置。
4. 前記画像データに付加される前記顔の特徴量の情報は、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報のうちで、精度の最も良い前記顔の特徴量であることを特徴とする請求項２に記載の第１の画像処理装置。
5. 前記画像データに付加される前記顔の位置の情報は、前記撮影時の撮像データから前記顔の位置が検出できないときは、前記撮影時の前後の撮像データに基づき求められた前記顔の位置であることを特徴とする請求項２から４のいずれか１項に記載の第１の画像処理装置。
6. 画像データを展開するデータ展開部と、
   前記データ展開部に展開された前記画像データに顔の位置の情報と顔の特徴量の情報が付加されているとき、前記顔の位置の情報と前記顔の特徴量の情報とを抽出する顔検索部と、
   前記画像データと前記顔の位置の情報と前記顔の特徴量の情報とを記憶する記憶部と、を有し、
   前記顔検索部は、前記データ展開部に展開された前記画像データに、撮影時の撮像データと撮影時の前後の撮像データの３つの撮像データそれぞれから検出された前記顔の位置の情報と、当該３つの撮像データそれぞれから算出された前記顔の特徴量の情報が付加されているとき、前記顔の位置の情報として、前記撮影時の撮像データから検出された前記顔の位置の情報を抽出し、前記顔の特徴量の情報として、前記撮影時の撮像データから顔特徴量が算出できないときは、前記撮影時の前後の撮像データそれぞれから算出された前記顔の特徴量のうちの１つの前記顔の特徴量を抽出し、前記３つの撮像データすべてから前記顔の特徴量が算出できないときは、前記顔の特徴量はないと記述された情報を抽出することを特徴とする第２の画像処理装置。
7. 画像データを展開するデータ展開部と、
   前記データ展開部に展開された前記画像データに顔の位置の情報と顔の特徴量の情報が付加されているとき、前記顔の位置の情報と前記顔の特徴量の情報とを抽出する顔検索部と、
   前記画像データと前記顔の位置の情報と前記顔の特徴量の情報とを記憶する記憶部と、を有し、
   前記顔検索部は、前記データ展開部に展開された前記画像データに、撮影時の撮像データと撮影時の前後の撮像データの３つの撮像データそれぞれから検出された前記顔の位置の情報と、当該３つの撮像データそれぞれから算出された前記顔の特徴量の情報が付加されているとき、前記顔の位置の情報として、前記撮影時の撮像データから検出された前記顔の位置の情報を抽出し、前記顔の特徴量の情報として、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報のうちで、精度の最も良い前記顔の特徴量を抽出することを特徴とする第２の画像処理装置。
8. 前記顔検索部は、前記データ展開部に展開された前記画像データに、撮影時の撮像データと前記撮影時の前後の撮像データの３つの撮像データそれぞれから検出された前記顔の位置の情報と、当該３つの撮像データそれぞれから算出された前記顔の特徴量の情報が付加されているとき、前記顔の位置の情報として、前記撮影時の撮像データから前記顔の位置が検出できないときは、前記撮影時の前後の撮像データに基づき求められた前記顔の位置を算出することを特徴とする請求項６又は７に記載の第２の画像処理装置。
9. 撮像データを保存する一時保存ステップと、
   前記撮像データから顔の位置を検出する顔位置検出ステップと、
   前記顔位置検出ステップにより検出された前記顔の位置に基づき、前記撮像データから顔の特徴量を算出する顔特徴量算出ステップと、
   前記撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記顔位置検出ステップにより検出された前記顔の位置の情報と、前記顔特徴量算出ステップにより算出された前記顔の特徴量の情報を付加し、画像データを生成する画像データ変換ステップと、
   前記画像データ変換ステップにより生成された前記画像データを保存する保存ステップと、を有し、
   前記一時保存ステップは、撮影時の撮像データと、撮影時の前の撮像データと、撮影時の後の撮像データの少なくとも３つの撮像データを保存し、
   前記顔位置検出ステップは、前記３つの撮像データそれぞれから前記顔の位置を検出し、
   前記顔特徴量算出ステップは、前記３つの撮像データそれぞれから前記顔の特徴量を算出し、
   前記画像データ変換ステップは、前記撮影時の撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記３つの撮像データそれぞれから検出された前記顔の位置の情報と、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報を付加し、前記画像データを生成することを特徴とする第１の画像処理方法。
10. 画像処理装置を、
    撮像データを保存する一時保存手段と、
    前記撮像データから顔の位置を検出する顔位置検出手段と、
    前記顔位置検出手段により検出された前記顔の位置に基づき、前記撮像データから顔の特徴量を算出する顔特徴量算出手段と、
    前記撮像データを所定のファイル形式に変換し、当該変換された前記撮像データに、前記顔位置検出手段により検出された前記顔の位置の情報と、前記顔特徴量算出手段により算出された前記顔の特徴量の情報を付加し、画像データを生成する画像データ変換手段と、
    前記画像データ変換手段により生成された前記画像データを保存する保存手段として機能させ、
    前記一時保存手段に、撮影時の撮像データと、撮影時の前の撮像データと、撮影時の後の撮像データの少なくとも３つの撮像データを保存させ、
    前記顔位置検出手段に、前記３つの撮像データそれぞれから前記顔の位置を検出させ、
    前記顔特徴量算出手段に、前記３つの撮像データそれぞれから前記顔の特徴量を算出させ、
    前記画像データ変換手段に、前記撮影時の撮像データを所定のファイル形式に変換させ、当該変換された前記撮像データに、前記３つの撮像データそれぞれから検出された前記顔の位置の情報と、前記３つの撮像データそれぞれから算出された前記顔の特徴量の情報を付加し、前記画像データを生成させることを特徴とするプログラム。

Images