JP6119439B2

JP6119439B2 - 画像管理プログラム、画像管理方法及び画像管理装置

Info

Publication number: JP6119439B2
Application number: JP2013120178A
Authority: JP
Inventors: 雄己若山
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2013-06-06
Filing date: 2013-06-06
Publication date: 2017-04-26
Anticipated expiration: 2033-06-06
Also published as: JP2014238672A

Description

画像管理プログラム、画像管理方法及び画像管理装置に関する。

家族を撮影した写真やビデオは、デジタルカメラやスマートフォン、ビデオカメラ等で撮影され、ＰＣ等の機器内に保存される。それらの画像を活用する場面としては、親が子供の成長記録のアルバムを作成したり、結婚式で新郎新婦を紹介するために幼少の頃からの人生を振り返るアルバムを作成したりすることが考えられる。そこで、保存されている画像に基づきアルバムを自動生成することが提案されている（例えば、特許文献１を参照）。

また、例えば、上記のようなアルバムを作成する場合、ＰＣ等の機器内に保存されている画像群を、被写体の類似性に基づき１以上の画像を含む複数のグループに分類しておけば、特定の被写体に関するアルバムの作成が容易になる。

登録実用新案第３１０７９８６号公報

しかしながら、被写体の顔のパーツや形状は成長するにつれて徐々に変化していく。このため、画像処理により被写体の顔を認識し、被写体の類似性に基づき画像を分類する場合、同一人物であっても別人物であると認識され、別グループに分類される可能性がある。

そこで、一側面では、異なる時期に撮影された複数の画像から被写体が共通する画像を抽出することを目的とする。

上記課題を解決するために、本発明の一態様によれば、被写体の類似性に基づき分類された、それぞれが１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、処理をコンピュータに実行させ、前記グループを生成する処理は、前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出し、前記抽出された第３の画像を前記第１の画像とし前記第３のグループを前記第１のグループとして繰り返し行われ、前記第１のグループから、前記撮影時期情報に基づき最も古い画像及び最も新しい画像の少なくともいずれか一方を前記第１の画像として抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、画像管理プログラムが提供される。

一態様によれば、異なる時期に撮影された複数の画像から被写体が共通する画像を抽出することができる。

一実施形態にかかる画像管理装置のハードウェア構成例を示した図である。一実施形態にかかる画像管理装置の機能構成例を示した図である。一実施形態にかかる顔の特徴点の抽出例を示した図である。一実施形態にかかる被写体の選択例を示した図である。一実施形態にかかる画像データベース例を示した図である。一実施形態にかかる顔類似度相関テーブル例を示した図である。一実施形態にかかる人物グループデータベース例を示した図である。一実施形態にかかる画像管理処理を示したフローチャート。一実施形態にかかる画像データベース例を示した図である。一実施形態にかかる画像の分類例を示した図である。一実施形態にかかる被写体が描画された画像の選択例を示した図である。一実施形態にかかる一グループの画像の選択例を示した図である。一実施形態にかかる再グループ化の過程を示した図である。一実施形態にかかる再グループ化の過程を示した図である。一実施形態にかかる再グループ化の結果を示した図である。一実施形態にかかる新グループの画像の選択例を示した図である。一実施形態にかかる再グループ化を繰り返した結果を示した図である。一実施形態にかかるアルバム作成例を示した図である。一実施形態にかかる再グループ化を説明するための図である。一実施形態にかかる画像管理システム例を示した図である。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［画像の分類］
ＰＣ等の機器内に保存されている家族を撮影した写真やビデオを活用する場面として、親が子供の成長記録のアルバムを作成したり、結婚式で新郎新婦を紹介するために幼少の頃からの人生を振り返るアルバムを作成したりすることが考えられる。

ところが、人の顔のパーツや形状は成長するにつれて徐々に変化していく。このため、顔認識技術により人の顔を認識し、顔の類似性に基づき画像を分類する場合、同一人物であっても別人物であると認識され、別グループに分類される可能性がある。

以下では、１〜３の処理を行うことで別グループに分類された同一人物を識別する画像管理装置の一実施形態を提案する。以下では、被写体を人の顔に絞って画像の管理を行う例を挙げる。ただし、被写体は、人の顔に限られず、画像上の人間、動物、植物等であり得る。
１．本実施形態に係る画像管理装置は、画像処理により画像の顔の特徴量を算出し、特徴量に基づき類似していると判定された顔の画像を同一グループにまとめる。これにより、それぞれが顔の類似性に基づき分類された１以上の画像を含む複数のグループが生成される。
２．本実施形態に係る画像管理装置は、生成された複数のグループに含まれる画像間で再帰的に顔の類似度を比較する。比較する顔は、特定の被写体が写った画像を含んだ第１のグループ内の最も新しい画像の顔及び最も古い画像の顔の少なくともいずれか一方と第１のグループ以外のグループに含まれる画像の顔である。なお、第１のグループ内の最も新しい画像又は最も古い画像は、各画像に付けられた撮影日付等の撮影時期情報に基づき判断される。

第１のグループ内の最も新しい画像及び最も古い画像のすくなくともいずれかと、顔が類似する第１のグループ以外のグループの画像の顔が抽出された場合、抽出された画像を含んだグループの画像と第１のグループの画像とを含む新たなグループが生成される。
３．本実施形態に係る画像管理装置は、第１のグループ以外のグループに対し再帰的に上記２の処理を行う。これにより、同一人物であっても別人物であると認識され、別グループに分類された画像が同一グループにまとめられる。これにより、まとめられたグループに含まれる画像群から成長記録アルバムを簡単に生成することができる。以下では、１〜３の処理を行う本実施形態に係る画像管理装置の詳細を説明する。

［画像管理装置の全体構成］
まず、本発明の第１の実施形態に係る画像管理装置について、図１を参照しながら説明する。図１は、第１の実施形態に係る画像管理装置のハードウェア構成例を示す。

画像管理装置１は、入力インターフェース１１、グラフィックインターフェース１２、光学ドライブ装置１３、ＲＡＭ（Random Access Memory）１４、ＲＯＭ（Read Only Memory）１５、ＣＰＵ（Central Processing Unit）１６、通信インターフェース１７及びＨＤＤ（Hard Disk Drive）１８を備え、バスＢで接続されている。

入力インターフェース１１は、キーボード１１０やマウス１１２やカメラ１１４等に接続され、キーボード１１０等を使用したユーザの入力操作に応じて情報を入力するためのインターフェースである。グラフィックインターフェース１２は、モニター１２０に接続され、デスクトップ画面やＷｅｂブラウザ画面等を表示するためのインターフェースである。

通信インターフェース１７は、ネットワーク１４０に接続するインターフェースである。これにより、画像管理装置１は、通信インターフェース１７を介して、他の機器から画像等を送受信することができる。

ＨＤＤ１８は、プログラムやデータを格納している不揮発性の記憶装置である。格納されるプログラムやデータには、装置全体を制御する基本ソフトウェアであるＯＳ（Operating System）、及びＯＳ上において描画機能等の各種機能を提供するアプリケーションソフトウェアなどがある。ＨＤＤ１８には、アルバムを作成する際の対象となる画像や、画像管理プログラムが蓄積されてもよい。

光学ドライブ装置１３は、光ディスク１３０に保存されたデータを取得するためのインターフェースである。画像管理装置１は、光学ドライブ装置１３を介して、光ディスク１３０の読み取りや書き込みを行う。光学ドライブ装置１３は、記憶媒体からのデータの読み取りや記憶媒体へのデータの書き込みを行うための外部装置の一例であり、光ディスク１３０は、画像等のデータを保存する記録媒体の一例である。記録媒体としては、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ＳＤメモリカード（SD Memory card）及びＵＳＢメモリ（Universal Serial Bus memory）等が挙げられる。

ＲＯＭ１５は、不揮発性の半導体メモリである。ＲＯＭ１５には、起動時に実行されるＢＩＯＳ（Basic Input/Output System）、ＯＳ設定、及びネットワーク設定などのプログラムやデータが格納されている。ＲＡＭ１４は、プログラムやデータを一時的に保持する揮発性の半導体メモリ（記憶装置）である。ＣＰＵ１６は、例えば「ＨＤＤ」や「ＲＯＭ」等の記憶装置からプログラムやデータをＲＡＭ上に読み出し、各種処理を実行することで、装置全体の制御や画像管理機能を実現する演算装置である。

［画像管理装置の機能構成］
次に、本実施形態に係る画像管理装置の機能構成について、図２を参照しながら説明する。図２は、一実施形態に係る画像管理装置の機能構成例を示す。

画像管理装置１は、顔認識エンジン部２１、人物選択部２２、抽出部２３、グループ生成部２４、表示部２５、記憶部２６、画像データベース（以下、画像ＤＢという。）２７、顔類似度相関テーブル２８及び人物グループデータベース（以下、人物グループＤＢという。）２９を有する。

顔認識エンジン部２１は、画像ＤＢ２７に保存されている画像に対し画像処理を行い、各画像の顔を認識する。顔認識エンジン部２１には、既存の顔認識技術を使用することができる。例えば、顔認識エンジン部２１は、図３に示されるように目、鼻、口、輪郭といった人物の顔の特徴点を抽出し、抽出した特徴点同士の距離の差分をとることにより顔の特徴量を算出してもよい。なお、顔認識エンジン部２１は、顔認識技術以外の既存の画像認識技術を使用して被写体の特徴量を算出することができる。抽出した顔の特徴量は、２つの画像の顔の類似度を比較するために使用されてもよい。

人物選択部２２は、ユーザの操作に応じて特定の人物の顔の画像が含まれるグループを選択する。例えば、図４に示されるように、ユーザが、モニター１２０に表示されている４つのグループから成長記録アルバムを作成したい人物の顔を選択すると、人物選択部２２は、これに応じて人物の顔の画像が含まれるグループ３を選択する。グループ３は、ユーザが選択した特定人物の顔の画像が含まれる第１のグループに相当する。

抽出部２３は、第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出する。具体的には、抽出部２３は、第１のグループから、画像毎の撮影時期情報に基づき最も古い画像及び最も新しい画像の少なくともいずれか一方を第１の画像として抽出する。

抽出部２３は、第１の画像と、第１のグループ以外のグループに含まれる画像（以下では、第２の画像という。）とを比較し、第１のグループ以外のグループに含まれる画像の中から、第１の画像に顔が類似する第２の画像を抽出する。２つの画像の顔が類似しているかの判定には、顔の特徴量に基づき算出される類似度を使用することができる。

類似度を算出する方法の一例としては、例えば、図３に示した顔から取得した特徴点同士の距離の差分をとることにより顔の特徴量を求め、顔の特徴量に基づき類似度を算出する方法が挙げられる。ただし、顔から取得した特徴点同士の距離の差分は、特徴量の一例であり、類似度を算出する方法は、これに限られず、特徴点同士の距離の差分以外の方法により算出された顔の特徴量に基づき類似度を算出することができる。抽出部２３は、第１の画像に対して類似度が予め定められた閾値以上の第２の画像を第１の画像に類似すると判断する。

画像ＤＢ２７は、画像を蓄積する記憶領域である。画像ＤＢ２７に蓄積される画像は、カメラ機能付き機器にて撮影された画像でもよい。また、画像ＤＢ２７に蓄積される画像は、ネットワーク１４０を介して取得可能な全ての画像を含み得る。

図５に示されるように、画像ＤＢ２７には、画像のファイル名２７ａ、撮影日時２７ｂ、及び画像ファイルデータ２７ｃが紐付けられて記憶されている。

顔類似度相関テーブル２８は、抽出部２３により算出された２つの画像の顔の類似度を格納した記憶領域である。図６に示されるように、顔類似度相関テーブル２８には、画像ＤＢ２７に含まれるある顔の画像ＩＤと別の顔の画像ＩＤとの類似度が格納される。例えば、顔ＩＤ２８ａがＩＤ＿０００１で識別される画像の顔と、顔ＩＤ２８ａがＩＤ＿０００２で識別される画像の顔との類似度２８ｂは８０％であることがわかる。

人物グループＤＢ２９は、類似する顔の画像を同じグループに分類したデータベースである。人物グループＤＢ２９は、顔類似度相関テーブル２８に記憶された類似度に基づき作成される。例えば、図７に示されるように、人物グループＤＢ２９には、グループＩＤ２９ａ及び顔ＩＤ２９ｂが記憶され、類似度が予め定められた閾値以上の顔の画像が同一グループに分類される。

グループ生成部２４は、抽出顔類似度相関テーブル２８及び画像ＤＢ２７に基づき、分類されたグループから新しいグループを生成する。

グループ生成部２４は、第１のグループ以外のグループから、第１の画像と特定の人物の顔が類似する第２の画像が抽出された場合、抽出された第２の画像を含んだグループ（以下、第２のグループという。）に含まれる画像と第１のグループに含まれる画像とを含めたグループ（以下、第３のグループという。）を生成する。

第１のグループの第１の画像に顔が類似する第２のグループの第２の画像は、本来同一グループに分類される同一人物の画像である可能性が高い。よって。グループ生成部２４は、第１の画像を含んだ第１のグループ内の画像と、第２の画像を含んだ第２のグループ内の画像とが含まれる新しいグループを生成する。これにより、同一人物の画像を一つのグループにまとめることができる。

記憶部２６は、画像ＤＢ２７、顔類似度相関テーブル２８、人物グループＤＢ２９に各種データを記憶する。記憶部２６は、図１に示したＨＤＤ１８やＲＡＭ１４の記憶領域を利用して、画像ＤＢ２７、顔類似度相関テーブル２８、人物グループＤＢ２９に各種データを記憶してもよい。

なお、ＨＤＤ１８には、画像管理装置１の機能を実現するためにＣＰＵ１６により実行される画像管理プログラムが格納されてもよい。また、ＨＤＤ１８には、顔認識エンジン部２１、人物選択部２２、抽出部２３、グループ生成部２４の機能を実現するためにＣＰＵ１６により実行されるプログラムが格納されてもよい。

表示部２５は、グループ生成部２４により同一グループにまとめられた特定の人物の画像を成長記録アルバムの最終結果としてモニター１２０に表示し、ユーザに提供する。これにより、ユーザは、子供等、特定の人物の成長記録アルバムを容易に作成することができる。

［画像管理装置の動作］
次に、本実施形態に係る画像管理装置の動作について、図８を参照しながら説明する。図８は、一実施形態にかかる画像管理装置により処理される画像管理処理を示したフローチャートである。

図８の画像管理処理を開始する前に、前提として、画像群は、それぞれが被写体（例えば、人物や人物の顔等）の類似性に基づき分類された１以上の画像を含む複数のグループに分類されているものとする。

つまり、顔認識エンジン部２１は、予め、画像ＤＢ２７に保存されている画像に対し画像処理を施し、各画像の顔の特徴量を算出している。一例として、図９に示されるように、画像ＤＢ２７に画像Ｐ１〜Ｐ２１が格納されている場合について考える。一つの矩形は、一つの画像を抽象的に示している。画像Ｐ１〜Ｐ２１のそれぞれには、ファイル名９１、顔の特徴量９２、撮影日付９３が付与されている。本実施形態では、顔の特徴量９２は、全体の数値と、左側５桁の数値と右側５桁の数値との並びとを考慮してそれぞれの数値が近い程、顔が類似していることとする。撮影日付９３は、画像の撮影時期情報の一例である。画像の撮影時期情報は、撮影日時であってもよい。また、画像の撮影時期情報は、撮影した時期に関する情報が含まれればよく、例えば旅行等の期間（撮影期間）であってもよい。

顔認識エンジン部２１は、画像毎に付与された特徴量に基づき画像間の顔の類似度を算出し、予め定められた類似度以上の顔の画像を同じグループに分類する。以上の顔の分類の結果、図１０に示されるようにグループＡ〜グループＩが生成されたとする。別人と認識された画像Ｐ７，Ｐ８，Ｐ９は、グループＣ，グループＤ，グループＥという別グループにそれぞれ分類される。

同一人物で年齢の近い画像は、類似度が予め定められた閾値以上となるため、グループＡ、Ｂ、Ｆ、Ｇ、Ｈ、Ｉのそれぞれに分類される。

同一人物であるが年齢的に差がある画像同士は、類似度が予め定められた閾値未満となるため、別人の画像と認識される。その結果、例えば、同一人物の画像であるにもかかわらず、グループＡ、Ｂ、Ｆ、Ｇ、Ｈ、Ｉに分けられて分類されてしまう。つまり、グループＡ、Ｂ、Ｆ、Ｇ、Ｈ、Ｉのうちの異なるグループに含まれる画像同士は、別人の画像として異なるグループに分類されている。

このように、画像群が顔の類似性に基づき複数のグループに分類された状態で、図８の画像管理処理は開始する。まず、ステップＳ１００では、抽出部２３は、ユーザが保有する画像の最古の日付と最新の日付とから、再帰処理（グループ生成処理）を繰り返する回数Ｎを計算する。例えば、図１０に示した画像ＤＢ２７内の画像群が、ユーザが保有する画像の場合には、抽出部２３は、画像Ｐ１０に付けられた最も古い日付「１９９５／１／１」と画像Ｐ２１に付けられた最も新しい日付「２０１７／９／１」とから、再帰処理の繰り返し回数Ｎを計算する。これにより、繰り返し回数Ｎは、再帰処理の繰り返しの上限回数として機能する。つまり、本実施形態の画像管理装置１は、繰り返し回数Ｎを越えない間、グループを生成する処理を再帰的に行う。なお、繰り返し回数Ｎは、収束回数であり、本実施形態で画像の解析対象となる画像数によって変動する。例えば、解析対象となる画像が１０年間分の画像であればＮは大きくなり、１年間分の画像であればＮは小さくなるようにステップＳ１００で初期設定される。

次に、ユーザが成長記録アルバムを作成したい特定の人物の顔の画像を選択すると、ステップＳ１０２にて、人物選択部２２は、その特定の人物の顔の画像が含まれるグループを人物グループＤＢ２９のいずれかのグループから選択する。一例として図１１に示されるように、ユーザは、仮にグループＨに含まれる特定の人物の顔の画像Ｐ１７を選択したとする。これに応じて、人物選択部２２は、グループＨを選択する。グループＨは、ユーザの操作に応じて特定される被写体の画像が含まれる第１のグループに相当する。

次に、ステップＳ１０４にて、抽出部２３は、その時点で行われた再帰処理の回数ｎが繰り返し回数Ｎより小さいかを判定する。この時点では、再帰処理の回数ｎは「０」である。よって、抽出部２３は、現在の再帰処理の回数ｎは繰り返し回数Ｎより小さいと判定し、ステップＳ１０６に進む。ステップＳ１０６にて、抽出部２３は、第１のグループ（ここでは、グループＨ）に含まれる画像のうち撮影日付が「最も新しい日付」の画像及び「最も古い日付」の画像を取得する。これにより、図１２に示されるように、グループＨに含まれる画像のうち、撮影日付９３が最も古い画像Ｐ１６と、撮影日付９３が最も新しい画像Ｐ１８とが抽出される。これにより、第１のグループ（ここでは、グループＨ）に含まれる画像のうちから、特定の人物の最も古い顔の画像Ｐ１６と最も新しい顔の画像Ｐ１８とが抽出されたことになる。以下では、最も古い画像及び最も新しい画像の少なくともいずれか一方を第１の画像とする。

次に、ステップＳ１０８にて、抽出部２３は、第１のグループ以外のグループに含まれる画像中に第１の画像と顔が類似する画像が存在するかを判定する。ここでは、グループＨに含まれる画像のうち最も古い画像Ｐ１６及び最も新しい画像Ｐ１８の少なくともいずれかと、他のグループＡ〜Ｇ，Ｉに含まれる画像との顔の類似度を、各画像に付与された顔の特徴量９２に基づき比較する。抽出部２３は、他のグループＡ〜Ｇ，Ｉに含まれる画像の顔うち、画像Ｐ１６及び画像Ｐ１８の少なくともいずれかの顔と予め定められた類似度以上の関係にある画像が存在するかを判定する。

図１３は、グループＨを第１のグループの一例としたときに、グループＨに含まれる撮影日付が最も古い画像Ｐ１６と、グループＨ以外のグループＡ〜Ｇ，Ｉに含まれる画像との顔の類似度が比較された結果の一例を示す。

抽出部２３は、グループＨの中で撮影日付が最も古い画像Ｐ１６と、グループＨ以外のグループＡ〜Ｇ，Ｉに含まれる画像Ｐ１〜Ｐ１５，Ｐ１９〜Ｐ２１との顔の類似度をすべての画像を比較して行う。比較した結果、図１３では、抽出部２３は、グループＧに属する画像Ｐ１５の顔が画像Ｐ１６の顔と最も類似すると判定する。

図１４は、グループＨに含まれる撮影日付が最も新しい画像Ｐ１８と、グループＨ以外のグループＡ〜Ｇ，Ｉに含まれる画像との顔の類似度が比較された結果の一例を示す。

抽出部２３は、グループＨの中で撮影日付が最も新しい画像Ｐ１８と、グループＨ以外のグループＡ〜Ｇ，Ｉに含まれる画像Ｐ１〜Ｐ１５，Ｐ１９〜Ｐ２１との顔の類似度をすべての画像を比較して行う。比較した結果、図１４では、抽出部２３は、グループＩに属する画像Ｐ１９の顔が画像Ｐ１８の顔と最も類似すると判定する。

図１３及び図１４に示されるように、最も古い画像Ｐ１６及び最も新しい画像Ｐ１８の少なくともいずれかと類似する画像が抽出された場合、（たとえば、画像Ｐ１６，Ｐ１８の顔の類似度の差分が閾値内にある画像が抽出された場合）、図８のステップＳ１１０に進む。ステップＳ１１０にて、グループ生成部２４は、ステップＳ１０８にて抽出された、第１の画像（最も古い画像Ｐ１６及び最も新しい画像Ｐ１８の少なくともいずれか）と顔が類似する画像を第２の画像として、第２の画像を含んだグループに含まれる画像と第１のグループに含まれる画像とを含めた第３のグループを生成する。

ここでは、グループ生成部２４は、ステップＳ１０８にて抽出された画像Ｐ１５を含んだグループＧに含まれる画像Ｐ１３〜Ｐ１５と、画像Ｐ１９を含んだグループＩに含まれる画像Ｐ１９〜Ｐ２１と、グループＨに含まれる画像Ｐ１６〜Ｐ１８とを第３のグループを生成する。この結果、この時点では、図１５に示されるように、グループＨにグループＧ，Ｉをマージさせた新しい第３のグループが生成される。第３のグループには、同一人物であっても別人物であると認識され、別グループに分類された画像Ｐ１３〜Ｐ２１が同一グループにまとめられる。次に、ステップＳ１１２にて再帰処理の回数ｎを一加算した後、ステップＳ１０４に戻る。

ステップＳ１０８にて、最も古い画像Ｐ１６及び最も新しい画像Ｐ１８の少なくともいずれかと顔が類似する画像が他のグループＡ〜Ｇ，Ｉから抽出されなかった場合、ステップ１１０のグループの生成を行わずに、次に、ステップＳ１１２にて再帰処理の回数ｎを一加算した後、ステップＳ１０４に戻る。

ステップＳ１０４では、抽出部２３は、現在既に行われた再帰処理の回数ｎが繰り返し回数Ｎより小さいかを判定する。この時点で、抽出部２３は、現在の再帰処理の回数ｎは繰り返し回数Ｎより小さいと判定した場合、ステップＳ１０６に進む。

ステップＳ１０６では、抽出部２３は、第３のグループ（新しいグループ）内で撮影日付が「最も新しい」画像及び「最も古い」画像の少なくともいずれかを選択する。選択された画像は、第３のグループから撮影時期情報に基づき抽出される第３の画像に相当する。ここでは、図１６に示されるように、新しいグループの中で最も古い画像Ｐ１３と最も新しい画像Ｐ２１とが選択される。なお、直前のステップＳ１１０がスキップされ、新しいグループが生成されていない場合には、「二番目に新しい」画像及び「二番目に古い」画像の少なくともいずれかを「最も新しい」画像及び「最も古い」画像の少なくともいずれかに替えて選択してもよい。

選択された最も古い画像Ｐ１３及び最も新しい画像Ｐ２１の少なくともいずれかに対して、前記抽出された第３の画像を前記第１の画像とし前記第３のグループを前記第１のグループとして、ステップＳ１０８〜ステップＳ１０４の処理が再帰的に繰り返される。このようにして、ステップＳ１０４にて、その時点での再帰処理の回数ｎが繰り返し回数Ｎ以上になるまでステップＳ１０４〜ステップＳ１１２の処理が再帰的に繰り返される。

ステップＳ１０４にて、現在の再帰処理の回数ｎが繰り返し回数Ｎ以上になった場合、ステップＳ１１４に進む。このようにして、ステップＳ１０４〜ステップＳ１１２の再帰処理をＮ回繰り返することで、概ね新しいグループが生成されなくなった状態でグループの生成処理が完了となる。この時点で、ユーザにより選択された人物の画像が一つのグループに含まれるようにグループが生成されている。例えば、図１７は、特定の人物の顔の画像を含んだ第１のグループから生成された最新のグループの一例である。ここでは、最終的な結果として、最新のグループは、グループＦ，Ｇ，Ｈ，Ｉの画像Ｐ１０〜Ｐ２１を含む。これは、画像Ｐ１０〜Ｐ２１が、特定の同一人物の顔の画像であると判断されたことを示している。

次に、ステップＳ１１４にて、表示部２５は、最新のグループに含まれる画像をモニター１２０に表示し、ユーザに提供する。図１８に示されるように、モニター１２０には、ユーザが選択した人物の顔の画像Ｐ１７を含むグループＨに含まれていた画像Ｐ１６〜Ｐ１８だけでなく、別グループに含まれていた画像Ｐ１０〜Ｐ１５、Ｐ１９〜Ｐ２１も含めて撮影日時の古い画像から順に表示される。このようにして、同一人物であっても別人物であると認識され、別グループに分類された画像が同一グループにまとめられ、表示される。これにより、特定の人物の成長記録アルバムをユーザに提示することができる。

［成長記録アルバム］
以上に説明した一実施形態に係る画像管理装置１では、同一人物であっても別人物であると認識され、別グループに分類された画像が同一グループにまとめられるため、成長記録アルバムを作成するのに好適である理由について、図１９を参照しながら説明する。図１９の円のそれぞれは被写体が類似する画像のグループを示し、各円内の点は各グループに含まれる画像を示す。各点の間隔は各画像間の類似度を示す。例えば、点間の距離が短ければ画像間の類似度が高く、点間の距離が長ければ画像間の類似度が低いことを視覚的に示している。

公知の画像認識技術では、画像群を被写体の類似性に基づき１以上の画像を含む複数のグループに分類することができる。例えば、図１９の左上の３つの円で示したグループ（第１のグループ及び第１のグループ以外の２つのグループ）は、被写体の類似性に基づき１以上の画像を含む３つのグループに分類された一例を示す。同一グループに含まれる画像は、既存の画像認識技術を利用して類似する被写体の画像と認識され、同一グループに分類された画像である。

被写体のパーツや形状は、成長するにつれて徐々に変化していく。この被写体の時系列的な変化は、上記グループの分類には考慮されていない。よって、別グループに分類された画像中に撮影時期が異なる同一被写体の画像が含まれる場合がある。しかしながら、異なるグループに含まれる同一被写体の画像は、既存の画像認識技術では同一グループにまとめることは難しい。よって、同一の被写体であっても別の被写体であると認識され、別グループに分類されている画像からアルバムに必要な画像を過不足なく抽出し、成長記録のアルバムを自動で作成することは難しい。

これに対して、本実施形態では、例えば、図１９の第１のグループに対して、画像Ｐａ２をユーザにより特定された人物の顔の画像とすると、第１のグループ内で最も古い撮影日付の画像Ｐａ１及び最も新しい撮影日付の画像Ｐａ３の少なくともいずれかが選択される。ここでは、最も古い撮影日付の画像Ｐａ１が第１の画像として抽出されたとする。

次に、第１のグループ以外のグループ内に含まれる画像から、第１の画像と顔が類似する画像が抽出される。第１の画像と顔が類似する画像が第抽出された場合、その画像を第２の画像とし、第２の画像が含まれるグループを第２のグループとする。ここでは、画像Ｐｃ１が第２の画像と判定されたとする。その場合、第２の画像（ここでは画像Ｐｃ１）を含んだ第２のグループに含まれる画像Ｐｃ１〜Ｐｃ３と、第１の画像を含んだ第１グループに含まれる画像Ｐａ１〜Ｐａ３とを、含めた第３のグループが生成される。図１９の右上には、第１のグループの中で最も古い撮影日付の第１の画像（画像Ｐａ１）と顔が類似する第２の画像（画像Ｐｃ１）が抽出されたために、これらの画像が含まれる２つのグループがまとめられた第３のグループが示されている。

上記グループの生成処理は再帰的に所定の繰り返し回数Ｎだけ繰り返される。すなわち、新しいグループ（第３のグループ）を第１のグループとして、第１のグループから最も古い撮影日付の画像Ｐｃ３が第３の画像として抽出される。次に、第３の画像を第１の画像として、第１のグループ以外のグループから、第１の画像と顔が類似する画像があるかが判定される。第１の画像と顔が類似する画像が、第１のグループ以外のグループから抽出された場合、その画像を第２画像とする。ここでは、画像Ｐｂ２が第２の画像と判定されたとする。その場合、第２の画像（画像Ｐｂ２）が含まれるグループ内の画像Ｐｂ１〜Ｐｂ３と第１のグループに含まれる画像Ｐａ１〜Ｐａ３，Ｐｃ１〜Ｐｃ３とを含めた新たな第３のグループが生成される。図１９の中央下の円は、新しい第３のグループである。

このようにして、本実施形態では、一つのグループから最も古い撮影日付の画像及び最も新しい撮影日付の画像の少なくともいずれかを、一つのグループ以外のグループの画像と比較する。これによれば、アルバム作成の主人公の画像を含んだグループ内で時系列的に顔が最も変化している画像を抽出し、その画像と他のグループ内の画像との顔の類似度を比較することになる。これにより、画像の撮影時期を考慮して、異なる時期に撮影された複数の画像から被写体が共通する画像を抽出し、異なるグループに含まれる共通する画像を含んだ同一グループを生成することができる。これを再帰的に繰り返し行うことで、同一グループにアルバム作成の主人公の画像を含んだ成長記録アルバムの候補画像をユーザに提供することができる。これにより、ユーザは、被写体に関するアルバムの作成を容易に行うことができる。

なお、ここでは、説明を簡略化するために、グループ内で最も古い撮影日付の画像を他のグループの画像と比較したが、グループ内で最も新しい撮影日付の画像についても同様に上記再帰処理を行うことが好ましい。
（クラウド環境）
以上に説明した一実施形態に係る画像管理装置１の機能は、図２０に示したクラウド環境において画像管理システムとして提供され得る。例えば、図２０では、画像ＤＢ２７、顔類似度相関テーブル２８及び人物グループＤＢ２９は、クラウド上の記憶装置を利用して記憶され、ネットワーク１４０を介して接続されるＰＣ２００やスマートフォン３００に提供される形態であってもよい。

同様に、顔認識エンジン部２１、人物選択部２２、抽出部２３、グループ生成部２４の機能は、クラウド上のリソースを用いて処理され、ＰＣ２００やスマートフォン３００に提供される形態であってもよい。

クラウド上のＷｅｂページ提供部３０によりＷｅｂブラウザを用いて成長記録アルバムの画像（候補となる画像）をＰＣ２００やスマートフォン３００に表示してもよい。

以上、画像管理プログラム、画像管理方法及び画像管理装置を実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能である。

例えば、上記実施形態では、第１のグループから、撮影時期情報に基づき最も古い画像及び最も新しい画像の少なくともいずれか一方を第１の画像として抽出とした。しかしながら、第１の画像は、これに限られず、例えば、第１のグループから、画像毎の撮影時期情報に基づき抽出されればよい。例えば、第１の画像は、第１のグループに含まれる画像のうち、最も古い画像であってもよく、二番目に古い画像であってもよく、三番目に古い画像であってもよく、これらをすべて含んだ画像であってもよい。同様に、第１の画像は、第１のグループに含まれる画像のうち、最も新しい画像であってもよく、二番目に新しい画像であってもよく、三番目に新しい画像であってもよく、これらをすべて含んだ画像であってもよい。また、抽出する第１の画像の個数は一つであっても、複数であってもよい。

その場合、複数の前記第１の画像が抽出され、第１のグループ以外のグループから、複数の第１の画像のうちのいずれかと特定の被写体が類似する画像が抽出されない場合であって、複数の第１の画像のうちの他のいずれかと特定の被写体が類似する画像が抽出された場合、前記抽出された他のいずれかの画像を第２の画像として、第２の画像が含まれる第２のグループに含まれる画像と第１のグループに含まれる画像とを含めた第３のグループを生成してもよい。

また、第１の画像には、ユーザの操作に応じて選択された特定の被写体の画像と被写体の類似度が予め定められた閾値以上の画像のみを抽出してもよい。これにより、処理の負荷を軽減することができる。

また、本発明の画像管理の対象となる画像には、静止画像及び動画が含まれる。例えば、動画であれば、特定の被写体が再生される時間の画像を抽出し、その再生時間中に表示された画像からサンプルとして例えば被写体の正面画像を取り出し、正面画像を第１の画像として上記再帰処理を繰り返し実行してもよい。

以上の説明に関し、更に以下の項を開示する。
（付記１）
それぞれが被写体の類似性に基づき分類された１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と前記特定の被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
処理をコンピュータに実行させ、
前記グループを生成する処理は、前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出し、前記抽出された第３の画像を前記第１の画像とし前記第３のグループを前記第１のグループとして繰り返し行われる、
画像管理プログラム。
（付記２）
前記グループを生成する処理は、
前記第１のグループから、前記撮影時期情報に基づき最も古い画像及び最も新しい画像の少なくともいずれか一方を前記第１の画像として抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と前記特定の被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
処理をコンピュータに実行させる付記１に記載の画像管理プログラム。
（付記３）
前記グループを生成する処理は、
前記撮影時期情報に基づき複数の前記第１の画像を抽出し、前記第１のグループ以外のグループから、複数の前記第１の画像のうちのいずれかと前記特定の被写体が類似する画像が抽出されない場合であって、複数の前記第１の画像のうちの他のいずれかと前記特定の被写体が類似する画像が抽出された場合、前記抽出された他のいずれかの画像を前記第２の画像として、前記第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
処理をコンピュータに実行させる付記１又は２に記載の画像管理プログラム。
（付記４）
それぞれが被写体の類似性に基づき分類された１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と前記特定の被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
処理をコンピュータが実行し、
前記グループを生成する処理は、前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出し、前記抽出された第３の画像を前記第１の画像とし前記第３のグループを前記第１のグループとして繰り返し行われる、
画像管理方法。
（付記５）
前記グループを生成する処理は、
前記第１のグループから、前記撮影時期情報に基づき最も古い画像及び最も新しい画像の少なくともいずれか一方を前記第１の画像として抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と前記特定の被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
処理をコンピュータに実行させる付記４に記載の画像管理プログラム。
（付記６）
前記グループを生成する処理は、
前記撮影時期情報に基づき複数の前記第１の画像を抽出し、前記第１のグループ以外のグループから、複数の前記第１の画像のうちのいずれかと前記特定の被写体が類似する画像が抽出されない場合であって、複数の前記第１の画像のうちの他のいずれかと前記特定の被写体が類似する画像が抽出された場合、前記抽出された他のいずれかの画像を前記第２の画像として、前記第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
処理をコンピュータに実行させる付記４又は５に記載の画像管理プログラム。
（付記７）
それぞれが被写体の類似性に基づき分類された１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出する抽出部と、
前記第１のグループ以外のグループから、前記抽出された第１の画像と前記特定の被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する処理を行うグループ生成部と、
を有し、
前記グループ生成部は、前記抽出部が前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出した後、前記抽出した第３の画像を前記第１の画像とし、前記第３のグループを前記第１のグループとして前記処理を繰り返し行う、
画像管理装置。
（付記８）
前記グループ生成部は、
前記第１のグループから、前記撮影時期情報に基づき最も古い画像及び最も新しい画像の少なくともいずれか一方を前記第１の画像として抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と前記特定の被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
付記７に記載の画像管理装置。
（付記９）
前記グループ生成部は、
前記撮影時期情報に基づき複数の前記第１の画像を抽出し、前記第１のグループ以外のグループから、複数の前記第１の画像のうちのいずれかと前記特定の被写体が類似する画像が抽出されない場合であって、複数の前記第１の画像のうちの他のいずれかと前記特定の被写体が類似する画像が抽出された場合、前記抽出された他のいずれかの画像を前記第２の画像として、前記第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
付記７又は８に記載の画像管理装置。

１：画像管理装置、２１：顔認識エンジン部、２２：人物選択部、２３：抽出部、２４：グループ生成部、２５：表示部、２６：記憶部、２７：画像ＤＢ、２８：顔類似度相関テーブル、２９：人物グループＤＢ

Claims

被写体の類似性に基づき分類された、それぞれが１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、処理をコンピュータに実行させ、
前記グループを生成する処理は、
前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出し、前記抽出された第３の画像を前記第１の画像とし前記第３のグループを前記第１のグループとして繰り返し行われ、
前記第１のグループから、前記撮影時期情報に基づき最も古い画像及び最も新しい画像の少なくともいずれか一方を前記第１の画像として抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
画像管理プログラム。
被写体の類似性に基づき分類された、それぞれが１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、処理をコンピュータに実行させ、
前記グループを生成する処理は、
前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出し、前記抽出された第３の画像を前記第１の画像とし前記第３のグループを前記第１のグループとして繰り返し行われ、
前記撮影時期情報に基づき複数の前記第１の画像を抽出し、前記第１のグループ以外のグループから、複数の前記第１の画像のうちのいずれかと被写体が類似する画像が抽出されない場合であって、複数の前記第１の画像のうちの他のいずれかと被写体が類似する画像が抽出された場合、前記抽出された他のいずれかの画像を前記第２の画像として、前記第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
画像管理プログラム。
被写体の類似性に基づき分類された、それぞれが１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、処理をコンピュータが実行し、
前記グループを生成する処理は、
前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出し、前記抽出された第３の画像を前記第１の画像とし前記第３のグループを前記第１のグループとして繰り返し行われ、
前記第１のグループから、前記撮影時期情報に基づき最も古い画像及び最も新しい画像の少なくともいずれか一方を前記第１の画像として抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
画像管理方法。
被写体の類似性に基づき分類された、それぞれが１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、処理をコンピュータが実行し、
前記グループを生成する処理は、
前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出し、前記抽出された第３の画像を前記第１の画像とし前記第３のグループを前記第１のグループとして繰り返し行われ、
前記撮影時期情報に基づき複数の前記第１の画像を抽出し、前記第１のグループ以外のグループから、複数の前記第１の画像のうちのいずれかと被写体が類似する画像が抽出されない場合であって、複数の前記第１の画像のうちの他のいずれかと被写体が類似する画像が抽出された場合、前記抽出された他のいずれかの画像を前記第２の画像として、前記第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
画像管理方法。
被写体の類似性に基づき分類された、それぞれが１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出する抽出部と、
前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する処理を行うグループ生成部と、を有し、
前記グループ生成部は、
前記抽出部が前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出した後、前記抽出した第３の画像を前記第１の画像とし、前記第３のグループを前記第１のグループとして前記処理を繰り返し行い、
前記第１のグループから、前記撮影時期情報に基づき最も古い画像及び最も新しい画像の少なくともいずれか一方を前記第１の画像として抽出し、前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
画像管理装置。
被写体の類似性に基づき分類された、それぞれが１以上の画像を含む複数のグループのうち、特定の被写体の画像が含まれる第１のグループから、画像毎の撮影時期情報に基づき第１の画像を抽出する抽出部と、
前記第１のグループ以外のグループから、前記抽出された第１の画像と被写体が類似する第２の画像が抽出された場合、前記抽出された第２の画像を含んだ第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する処理を行うグループ生成部と、を有し、
前記グループ生成部は、
前記抽出部が前記第３のグループから前記撮影時期情報に基づき第３の画像を抽出した後、前記抽出した第３の画像を前記第１の画像とし、前記第３のグループを前記第１のグループとして前記処理を繰り返し行い、
前記撮影時期情報に基づき複数の前記第１の画像を抽出し、前記第１のグループ以外のグループから、複数の前記第１の画像のうちのいずれかと被写体が類似する画像が抽出されない場合であって、複数の前記第１の画像のうちの他のいずれかと被写体が類似する画像が抽出された場合、前記抽出された他のいずれかの画像を前記第２の画像として、前記第２の画像が含まれる第２のグループに含まれる画像と前記第１のグループに含まれる画像とを含めた第３のグループを生成する、
画像管理装置。