JP7430599B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

近年、写真等の画像に写っている人物の顔画像を検出及び解析することで、解析結果に応じた種々のサービスを提供することが知られている。

一例として、ユーザが閲覧したい画像を探しやすくするために、画像に写っている人物の顔画像を検出及び解析し、人物ごとに画像を分類して表示する技術が開示されている。例えば、特許文献１には、画像に写っている人物の顔写真（顔画像に相当する）から抽出される特徴点に基づいて人物を特定し、人物ごとの出現回数に基づいた表示順で顔写真を表示することが記載されている。また、特許文献１には、上記のように表示された顔写真の１つをユーザが選択した場合に、選択された顔写真の人物と１つの画像に一緒に写っている頻度（すなわち、親しさの度合）が高い人物の画像を取り出して表示することが記載されている。

特許第５１３６８１９号公報

特許文献１のように、複数の人物が画像に一緒に写っている頻度を１つの指標として用いることで、複数の画像に写っている人物間の親しさの度合等の関係性を推定することが可能である。こうした人物間の関係性を推定する技術を発展させて、例えば家族関係及び友人関係等の、より具体的な人物間の関係性を推定することが望まれていた。具体的な人物間の関係性として、例えば家族関係を推定することができれば、ユーザが保有する複数の画像の中からユーザの家族写真の画像だけを抽出して表示するといった新たなサービスの提供も可能となる。

本開示は、上記事情に鑑みてなされたものであり、画像に含まれる人物間の関係性として、従来よりも具体的な関係性を推定することができる情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

本開示の情報処理装置は、少なくとも１つのプロセッサを備えた情報処理装置であって、プロセッサは、複数の画像のそれぞれに含まれる複数の人物の顔画像を検出し、顔画像ごとに、特徴量を抽出し、特徴量に基づき、特徴量間の類似度が予め定められた閾値以上である顔画像同士が同一のクラスタに分類されるように、複数の顔画像を複数のクラスタにクラスタリングし、クラスタに含まれる顔画像の数に応じた第１指標を、クラスタごとに導出し、クラスタに含まれる顔画像から判定される人物の年齢及び性別に応じた第２指標を、クラスタごとに導出し、複数のクラスタのうちの予め特定された主クラスタに含まれる顔画像と、複数のクラスタのうちの主クラスタ以外のクラスタに含まれる顔画像と、の２つの顔画像が、同一の画像から検出された数である第１共起数に応じた第３指標を、主クラスタ以外のクラスタごとに導出し、第１指標、第２指標及び第３指標に基づき、主クラスタと関連する１つ以上の関連クラスタを、主クラスタ以外の複数のクラスタから特定する。

なお、本開示の情報処理装置は、プロセッサが、クラスタに含まれる顔画像の数が多いほど第１指標の値を大きくし、複数のクラスタのうち、第１指標の値が相対的に大きなクラスタの中から、関連クラスタを特定してもよい。

また、本開示の情報処理装置において、複数の画像のそれぞれには、画像が作成された日付情報が予め付与されており、プロセッサは、予め定められた日付情報を有する画像から検出された顔画像に基づき、第２指標をクラスタごとに導出し、主クラスタに係る第２指標と異なる第２指標が導出されたクラスタの中から、関連クラスタを特定してもよい。

また、本開示の情報処理装置は、プロセッサが、第１共起数が多いほど第３指標の値を大きくし、複数のクラスタのうち、第３指標の値が相対的に大きなクラスタの中から、関連クラスタを特定してもよい。

また、本開示の情報処理装置において、複数の画像のそれぞれには、画像が作成された日付情報が予め付与されており、プロセッサは、クラスタに含まれる複数の顔画像がそれぞれ検出された複数の画像のそれぞれに付与された日付情報に応じた第４指標を、クラスタごとに導出し、第１指標、第２指標及び第３指標に第４指標を加えた少なくとも４つの指標に基づき、関連クラスタを、主クラスタ以外の複数のクラスタから特定してもよい。

また、本開示の情報処理装置は、プロセッサが、複数の画像のそれぞれに付与された日付情報のうち、最も古い日付情報と、最も新しい日付情報と、の差が大きいほど第４指標の値を大きくし、第４指標の値が相対的に大きなクラスタの中から、関連クラスタを特定してもよい。

また、本開示の情報処理装置は、プロセッサが、複数の画像のそれぞれに付与された日付情報のうちの最も古い日付情報が古いほど、第４指標の値を大きくし、第４指標の値が相対的に大きなクラスタの中から、関連クラスタを特定してもよい。

また、本開示の情報処理装置は、プロセッサが、複数の画像のそれぞれに付与された日付情報のうちの最も新しい日付情報が新しいほど、第４指標の値を大きくし、第４指標の値が相対的に大きなクラスタの中から、関連クラスタを特定してもよい。

また、本開示の情報処理装置は、プロセッサが、第１指標、第２指標及び第４指標に基づき、複数のクラスタから、主クラスタを特定してもよい。

また、本開示の情報処理装置は、プロセッサが、第２指標に基づき、予め定められた年齢以上と判定された人物に係るクラスタの中から、主クラスタを特定してもよい。

また、本開示の情報処理装置は、プロセッサが、主クラスタ及び関連クラスタに係る人物の属性情報を第２指標に応じて付与し、関連クラスタに係る人物の属性情報に応じて、主クラスタに係る人物の属性情報を修正してもよい。

また、本開示の情報処理装置は、主クラスタとそれぞれ関連する複数の関連クラスタを特定する場合において、プロセッサが、１つ以上の関連クラスタが特定されている場合は、既に特定された関連クラスタに含まれる顔画像と、複数のクラスタのうちの主クラスタ以外のクラスタに含まれる顔画像と、の２つの顔画像が、同一の画像から検出された数である第２共起数に応じた第５指標を、主クラスタ以外のクラスタごとに導出し、第１指標、第２指標及び第３指標に第５指標を加えた少なくとも４つの指標に基づき、関連クラスタを特定してもよい。

また、本開示の情報処理装置は、主クラスタとそれぞれ関連する複数の関連クラスタを特定する場合において、プロセッサが、関連クラスタとして、第１指標、第２指標及び第３指標に基づき、第１関連クラスタを特定し、第１関連クラスタに含まれる顔画像と、複数のクラスタのうちの主クラスタ及び第１関連クラスタ以外のクラスタに含まれる顔画像と、の２つの顔画像が、同一の画像から検出された数である第２共起数に応じた第５指標を、主クラスタ及び第１関連クラスタ以外のクラスタごとに導出し、関連クラスタとして、第１指標、第２指標及び第５指標に基づき、第２関連クラスタを特定してもよい。

また、本開示の情報処理装置において、複数の画像は、同一のユーザが保有する画像であってもよい。

また、本開示の情報処理装置は、プロセッサが、予め定められたタイミングで、関連クラスタの特定、及び主クラスタの特定のうちの少なくとも一方の処理を再度行ってもよい。

また、本開示の情報処理装置において、予め定められたタイミングは、予め定められた期間が経過したタイミング、画像が追加されたタイミング、画像が追加され、かつ画像の追加枚数が予め定められた数に達したタイミング、及び画像が追加され、かつ追加された画像から予め定められた数の顔画像が検出されたタイミング、のうちの少なくとも１つであってもよい。

また、本開示の情報処理装置は、プロセッサが、関連クラスタの特定の処理を再度行う場合、既に特定されている主クラスタと、既に特定されている少なくとも１つの関連クラスタと、の特定の結果を引き継いでもよい。

また、本開示の情報処理装置は、プロセッサが、画像が追加された後に関連クラスタの特定の処理を再度行う場合、既に関連クラスタとして特定され、かつ、追加された画像から検出された顔画像を新たにクラスタリングした場合において顔画像の追加があった関連クラスタであって、追加された顔画像の検出元の画像よりも過去に撮影された画像から検出された顔画像を含む関連クラスタの特定の結果を引き継いでもよい。

また、本開示の情報処理装置は、プロセッサが、画像が追加された場合に、追加された画像のみに基づいて、関連クラスタの特定、及び主クラスタの特定のうちの少なくとも一方の処理を再度行ってもよい。

また、本開示の情報処理装置において、関連クラスタは、主クラスタに係る人物の家族と推定される人物に係るクラスタであってもよい。

本開示の情報処理方法は、複数の画像のそれぞれに含まれる複数の人物の顔画像を検出し、顔画像ごとに、特徴量を抽出し、特徴量に基づき、特徴量間の類似度が予め定められた閾値以上である顔画像同士が同一のクラスタに分類されるように、複数の顔画像を複数のクラスタにクラスタリングし、クラスタに含まれる顔画像の数に応じた第１指標を、クラスタごとに導出し、クラスタに含まれる顔画像から判定される人物の年齢及び性別に応じた第２指標を、クラスタごとに導出し、複数のクラスタのうちの予め特定された主クラスタに含まれる顔画像と、複数のクラスタのうちの主クラスタ以外のクラスタに含まれる顔画像と、の２つの顔画像が、同一の画像から検出された数である第１共起数に応じた第３指標を、主クラスタ以外のクラスタごとに導出し、第１指標、第２指標及び第３指標に基づき、主クラスタと関連する１つ以上の関連クラスタを、主クラスタ以外の複数のクラスタから特定する処理をコンピュータが実行するものである。

本開示の情報処理プログラムは、複数の画像のそれぞれに含まれる複数の人物の顔画像を検出し、顔画像ごとに、特徴量を抽出し、特徴量に基づき、特徴量間の類似度が予め定められた閾値以上である顔画像同士が同一のクラスタに分類されるように、複数の顔画像を複数のクラスタにクラスタリングし、クラスタに含まれる顔画像の数に応じた第１指標を、クラスタごとに導出し、クラスタに含まれる顔画像から判定される人物の年齢及び性別に応じた第２指標を、クラスタごとに導出し、複数のクラスタのうちの予め特定された主クラスタに含まれる顔画像と、複数のクラスタのうちの主クラスタ以外のクラスタに含まれる顔画像と、の２つの顔画像が、同一の画像から検出された数である第１共起数に応じた第３指標を、主クラスタ以外のクラスタごとに導出し、第１指標、第２指標及び第３指標に基づき、主クラスタと関連する１つ以上の関連クラスタを、主クラスタ以外の複数のクラスタから特定する処理をコンピュータに実行させる。

本開示によれば、画像に含まれる人物間の関係性として、従来よりも具体的な関係性を推定することができる情報処理装置、情報処理方法及び情報処理プログラムを提供することができる。

情報処理装置の構成の一例を示す図である。 本実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。 本実施形態に係る情報処理装置の機能的な構成の一例を示すブロック図である。 クラスタリング処理の一例を説明するための図である。 第２指標の一例を説明するための図である。 属性情報の一例を説明するための図である。 第３指標の一例を説明するための図である。 第４指標の一例を説明するための図である。 第４指標の一例を説明するための図である。 主クラスタの特定処理の一例を説明するための図である。 関連クラスタの特定処理の一例を説明するための図である。 複数の関連クラスタの特定処理の一例を説明するための図である。 特定結果を引き継ぐ関連クラスタの一例を説明するための図である。 主クラスタ及び関連クラスタの特定結果を用いた表示制御の一例を説明するための図である。 特定処理の一例を示すフローチャートである。 再処理の一例を示すフローチャートである。

以下、本開示の実施形態について図面を参照して詳細に説明する。

図１を参照して、本開示の情報処理装置２０の構成の一例について説明する。図１に示すように、情報処理装置２０は、記憶装置１４と通信可能に接続されている。情報処理装置２０は、ユーザが保有する画像Ｐを、ネットワークを介してアップロード及びダウンロード可能に記憶装置１４に保管する装置であり、例えば、オンラインストレージサービスに用いられる。各ユーザが保有するスマートフォン１１及びＰＣ（Personal Computer）１２等の端末と、記憶装置１４と、情報処理装置２０と、はそれぞれ無線通信又は有線通信により通信可能に接続される。

情報処理装置２０が提供するオンラインサービスを利用する場合は、まず、ユーザはスマートフォン１１等の端末を通じてユーザ情報を情報処理装置２０に送信して、ユーザごとのアカウントの作成を要求する。情報処理装置２０は、ユーザからの要求に基づいて、ユーザごとのアカウントを作成する。ユーザ情報には、例えば、ユーザＩＤ（IDentifier）、氏名、性別及び生年月日等が含まれる。

アカウントが作成された後、ユーザは、各ユーザが保有するスマートフォン１１及びＰＣ１２等の端末から情報処理装置２０に接続し、端末に記憶されている、ユーザが保有する画像Ｐを記憶装置１４にアップロードすることが可能となる。また、ユーザは、情報処理装置２０に接続し、アップロードした画像Ｐを記憶装置１４から端末にダウンロードすることも可能である。なお、各ユーザが保有する端末は１台とは限らず、１人のユーザが複数の端末で同一のアカウントを共有し、それぞれの端末から情報処理装置２０に接続し、画像Ｐのアップロード及びダウンロードをしてもよい。

画像Ｐは、例えば、デジタルカメラで撮影して得られる写真の画像データ、及び写真フィルムに記録された画像をイメージスキャナ等の読取装置で読み取ることでデジタル化した画像データである。なお、写真フィルムをデジタル化する場合、情報処理装置２０の提供事業者がユーザから写真フィルムを引き受け、写真フィルムのデジタル化を代行してもよい。

また、画像Ｐには、画像が作成された日付情報が予め付与されている。日付情報は、例えば、画像ＰのＥｘｉｆ（Exchangeable Image File Format）情報に含まれる撮影日時の情報である。また、日付情報は、例えば、日付写し込み機能を有するフィルムカメラにより写真フィルムに記録された撮影日でもよい。この場合、写真フィルムに記録された撮影日は、例えば、ＯＣＲ（Optical Character Recognition/Reader）等の文字認識機能によって読み取られ、画像Ｐの付帯情報として入力される。また、撮影日は、ユーザが目視で読み取って、手作業で画像Ｐの付帯情報として入力してもよい。

記憶装置１４は、画像Ｐを保有者であるユーザ（より具体的には、情報処理装置２０に予め登録されたユーザのアカウント）ごとに分類し、各ユーザの画像群として記憶する。図１では、一例として、記憶装置１４内に、ユーザＡとユーザＢの二人のユーザの画像群が記憶されていることを示している。なお、記憶装置１４は、それぞれの画像Ｐの付帯情報として、日付情報も記憶する。記憶装置１４は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、及びフラッシュメモリ等の記憶装置によって実現され、単一の装置に限らず、複数の装置で構成されていてもよい。また、記憶装置１４は、情報処理装置２０に内蔵されていても良い。

以下、本実施形態に係る情報処理装置２０について説明する。本実施形態に係る情報処理装置２０は、画像Ｐに含まれる人物間の関係性を推定するために、画像Ｐに含まれる人物のうち、主たる人物と、主たる人物に関連のある人物と、を特定する。

まず、図２を参照して、本実施形態に係る情報処理装置２０のハードウェア構成を説明する。図２に示すように、情報処理装置２０は、ＣＰＵ８１、不揮発性の記憶部８２、及び一時記憶領域としてのメモリ８３を含む。また、情報処理装置２０は、液晶ディスプレイ及び有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイ８４、キーボードとマウス等の入力部８５、及びネットワークに接続されるネットワークＩ／Ｆ（InterFace）８６を含む。ＣＰＵ８１、記憶部８２、メモリ８３、ディスプレイ８４、入力部８５、及びネットワークＩ／Ｆ８６は、バス８８に接続される。

記憶部８２は、ＨＤＤ、ＳＳＤ及びフラッシュメモリ等の記憶装置によって実現される。記憶媒体としての記憶部８２には、情報処理プログラム８７が記憶される。ＣＰＵ８１は、記憶部８２から情報処理プログラム８７を読み出してからメモリ８３に展開し、展開した情報処理プログラム８７を実行する。ＣＰＵ８１は、本開示におけるプロセッサの一例である。

次に、図３～１３を参照して、本実施形態に係る情報処理装置２０の機能的な構成を説明する。図３に示すように、情報処理装置２０は、取得部２２、検出部２４、抽出部２６、クラスタリング部２８、第１～第５指標導出部３１～３５、主クラスタ特定部４０、関連クラスタ特定部４２、及び表示制御部４４を含む。ＣＰＵ８１が情報処理プログラム８７を実行することにより、取得部２２、検出部２４、抽出部２６、クラスタリング部２８、第１～第５指標導出部３１～３５、主クラスタ特定部４０、関連クラスタ特定部４２、及び表示制御部４４として機能する。

取得部２２は、記憶装置１４から解析対象のユーザの画像群を取得する。すなわち、情報処理装置２０における処理は、同一のユーザが保有する複数の画像Ｐについて行われる。以下、一例として、記憶装置１４に記憶されたユーザＡの画像群について、情報処理装置２０が処理を実行する例を説明する。

図４を参照して、検出部２４、抽出部２６及びクラスタリング部２８の機能について説明する。図４は、ユーザＡの画像群の一例としての複数の画像Ｐ１及びＰ２を示している。画像Ｐ１及びＰ２はともに家族写真であり、画像Ｐ１には、父親と推定される成人男性ＭＡ、母親と推定される成人女性ＦＡ、及び成人男性ＭＡと成人女性ＦＡの子供と推定される女児ＦＣの３人の人物が写っている。画像Ｐ２には、画像Ｐ１に写っているのと同じ成人男性ＭＡ、成人女性ＦＡ及び女児ＦＣと、画像Ｐ１には写っていない男児ＭＣと、の４人の人物が写っている。男児ＭＣは女児ＦＣと同様に、成人男性ＭＡと成人女性ＦＡの子供と推定される。また、画像Ｐ１及びＰ２のそれぞれには日付情報が付与されている。以下、画像Ｐ１及びＰ２を区別しない場合は、単に画像Ｐという。

検出部２４は、取得部２２が取得した複数の画像Ｐのそれぞれに含まれる複数の人物の顔画像Ｄを検出する。顔画像Ｄの検出手法としては、例えば、画像Ｐについてエッジ検出等の処理を施して輪郭抽出及びパターンマッチングを行う方法、並びに機械学習を用いた方法等の公知の顔認識技術を用いることができる。図４は、画像Ｐ１及びＰ２のそれぞれから、各人物の顔画像Ｄ０１～Ｄ３２が検出された例を示している。なお、各顔画像Ｄ０１～Ｄ３２の下部に、検出元の画像Ｐの符号を付与している。以下、顔画像Ｄ０１～Ｄ３２を区別しない場合は、単に顔画像Ｄという。

抽出部２６は、検出部２４により検出された顔画像Ｄごとに、特徴量を抽出する。特徴量としては、例えば、Ｈａａｒ－ｌｉｋｅ特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量、及びＬＢＰ（Local Binary Pattern）特徴量等の公知の特徴量を適宜用いることができる。特徴量の抽出手法としては、例えば、学習用の顔画像によって特徴量を出力するように予め学習され、顔画像Ｄを入力とし、特徴量を出力とする学習済みモデルを用いた方法等の公知の特徴量抽出技術を用いることができる。

クラスタリング部２８は、抽出部２６により抽出された特徴量に基づき、複数の顔画像Ｄを複数のクラスタＣにクラスタリングする。具体的には、例えば、各顔画像Ｄに係る特徴量を比較する等により特徴量間の類似度を算出し、類似度が予め定められた閾値以上である顔画像Ｄ同士を同一のクラスタＣに分類する。すなわち、人物一人につき、対応するクラスタＣが一つとなるようにクラスタリングされることが望ましい。クラスタリング部２８におけるクラスタリング手法としては、例えば、ｋ－ｍｅａｎｓ法等の公知のクラスタリングアルゴリズムを用いることができる。図４は、成人男性ＭＡの顔画像Ｄ０１及びＤ０２がクラスタＣ０に、成人女性ＦＡの顔画像Ｄ１１及びＤ１２がクラスタＣ１に、女児ＦＣの顔画像Ｄ２１及びＤ２２がクラスタＣ２に、男児ＭＣの顔画像Ｄ３２がクラスタＣ３に、分類された例を示している。

以上のようにして、複数の人物の顔画像Ｄが人物ごとにクラスタリングされると、情報処理装置２０は、主たる人物に係るクラスタＣ（以下、主クラスタという）と、主たる人物に関連のある人物に係るクラスタＣ（以下、関連クラスタという）と、を特定する。情報処理装置２０は、主たる人物に係る主クラスタを基準として、主たる人物に関連のある人物に係る関連クラスタを特定する。つまり、主たる人物とは、同一のユーザが保有する画像群に含まれる複数の人物の関係性を推定する場合において、基準となる人物をいう。以下、ユーザＡの画像群に含まれる複数の人物の関係性を推定する場合において、成人女性ＦＡが主たる人物であり、成人女性ＦＡに係るクラスタＣ（図４の例ではクラスタＣ１）が主クラスタである例について説明する。また、この場合において、関連クラスタが、主クラスタに係る人物である成人女性ＦＡの家族と推定される人物に係るクラスタである例について説明する。

まず、主クラスタ及び関連クラスタに係る人物は、複数の画像Ｐに相対的に多く写っているものと推定される。そこで、第１指標導出部３１は、クラスタＣに含まれる顔画像Ｄの数に応じた第１指標を、クラスタＣごとに導出する。具体的には、第１指標導出部３１は、クラスタＣに含まれる顔画像Ｄの数が多いほど第１指標の値を大きくする。例えば、図４に示すように、各クラスタＣ０～Ｃ３に含まれる顔画像数を算出し、顔画像数をそのまま第１指標として用いる。なお、第１指標として、例えば、予め設定された点数を各クラスタＣに含まれる顔画像Ｄの数に応じて比例配分した値、及び各クラスタＣに含まれる顔画像Ｄの数を順位付けした値等を用いてもよい。

また、家族関係における構成員の属性は、父親、母親、息子、娘、祖父及び祖母等のようにある程度決まっている。また、父親及び母親は１人ずつ、祖父及び祖母は２人ずつというように構成員の属性毎に人数も決まっている場合が多い。さらに、父親及び祖父は男性、母親及び祖母は女性であり、父親及び母親と、息子及び娘と、祖父及び祖母とでは、それぞれ世代が異なる。そのため、家族関係のように複数の人物の具体的な関係性を推定するためには、人物ごとに年齢及び性別を判定することが重要である。

そこで、第２指標導出部３２は、クラスタＣに含まれる顔画像Ｄから判定される人物の年齢及び性別に応じた第２指標を、クラスタＣごとに導出する。具体的には、例えば、第２指標導出部３２は、図５に示すように、年齢及び性別に応じた６種類の指標Ｍ１～Ｍ３及びＦ１～Ｆ３が設定されたテーブルＴ１を参照可能である。テーブルＴ１は、例えば、記憶部８２等に記憶されている。図５に示す第２指標において、「Ｍ」は男性、「Ｆ」は女性を意味し、「Ｍ」又は「Ｆ」に続く「１」から「３」の数字は、年齢を意味する。図５において、「１」、「２」、「３」の順に年齢は高くなる。

第２指標導出部３２は、顔画像Ｄから年齢及び性別を判定すると、テーブルＴ１を参照する。図４及び５の例では、第２指標導出部３２は、クラスタＣ０の第２指標をＭ２、クラスタＣ１の第２指標をＦ２、クラスタＣ２の第２指標をＦ１、クラスタＣ３の第２指標をＭ１、と導出する。顔画像Ｄから人物の年齢及び性別を判定する手法としては、例えば、抽出部２６により抽出された特徴量に基づくパターンマッチングを行う方法、及び機械学習を用いた方法等の公知の年齢及び性別判定技術を用いることができる。

また、第２指標導出部３２は、例えば、クラスタＣに含まれる複数の顔画像Ｄのうち、少なくとも１つの顔画像Ｄから年齢及び性別を判定する。この場合、年齢を判定する対象の顔画像Ｄの検出元の画像Ｐの撮影日は、各クラスタＣ（すなわち、各人物）間でできるだけ近いことが望ましい。というのも、撮影日は顔画像Ｄの年齢を判定する基準日の役割を果たすが、顔画像Ｄごとの撮影日の時間的な差が大きいと、顔画像Ｄに係る人物ごとに判定される年齢の比較が意味をなさないからである。

したがって、第２指標導出部３２は、予め定められた日付情報を有する画像Ｐから検出された顔画像Ｄに基づき、第２指標をクラスタＣごとに導出することが望ましい。ここで、「予め定められた日付情報」とは、同日に限らず、例えば、情報処理装置２０における処理を行う日から３年以内の日付情報等、時間的な幅を持っていてもよい。また、予め定められた日付情報を有する画像Ｐが複数ある場合、第２指標導出部３２は、当該複数の画像Ｐから検出された顔画像Ｄから判定される人物の年齢の平均値に応じて、第２指標を導出してもよい。また、この場合、四分位数等を用いて外れ値を除外してもよい。

また、家族関係を推定する場合、主クラスタ及び関連クラスタに係る人物は、複数の画像Ｐに相対的に長期間に亘って写っているものと推定される。そこで、第４指標導出部３４は、クラスタＣに含まれる複数の顔画像Ｄがそれぞれ検出された複数の画像Ｐのそれぞれに付与された日付情報に応じた第４指標を、クラスタＣごとに導出する。具体的には、第４指標導出部３４は、複数の画像Ｐのそれぞれに付与された日付情報のうち、最も古い日付情報と、最も新しい日付情報と、の差が大きいほど第４指標の値を大きくする。すなわち、複数の画像Ｐに相対的に長期間に亘って写っている人物に係るクラスタＣの第４指標の値を大きくする。

図８は、各クラスタＣに含まれる顔画像Ｄのそれぞれの検出元の画像Ｐの日付情報に基づき、クラスタＣ０～Ｃ３のそれぞれについて、顔画像Ｄの数を撮影年ごとに示すグラフである。図９は、図８のグラフに対応し、各クラスタＣに含まれる顔画像Ｄが検出された撮影年のうち、最も古い撮影年を「最古」の欄に、最も新しい撮影年を「最新」の欄に、「最古」年と「最新」年との差を「差」の欄に、示したものである。図９における「差」の欄の値が、それぞれのクラスタＣ０～Ｃ３に係る第４指標となる。

なお、複数の画像Ｐに、息子及び娘が生まれる前の期間の画像Ｐが含まれている場合は、息子及び娘であっても写っている期間が相対的に短くなり、第４指標が低く導出される場合がある（図８及び９のクラスタＣ２及びＣ３を参照）。そこで、第４指標導出部３４は、各クラスタＣの第２指標を参照し、第２指標がＭ１又はＦ１と導出されているクラスタＣについて、第４指標の値に予め定めた割合の加算をしてもよい。

また、主クラスタ及び関連クラスタに係る人物は、より古い撮影日の画像Ｐから、より新しい撮影日の画像Ｐにまで写っている場合が多いものと推定される。そこで、第４指標導出部３４は、複数の画像Ｐのそれぞれに付与された日付情報のうちの最も古い日付情報が古いほど、第４指標の値を大きくしてもよい。また、第４指標導出部３４は、複数の画像Ｐのそれぞれに付与された日付情報のうちの最も日付情報が新しいほど、第４指標の値を大きくしてもよい。また、第４指標導出部３４は、最も古い日付情報の古さ、最も新しい日付情報の新しさ、及び最も古い日付情報と最も新しい日付情報との差、のうち任意の値を組み合わせて第４指標を導出してもよい。

主クラスタ特定部４０は、第１、第２及び第４指標に基づき、複数のクラスタＣから、主クラスタを特定する。具体的には、例えば、主クラスタ特定部４０は、第１、第２及び第４指標の値に応じた主クラスタとしての適切度をクラスタＣごとに算出し、最も適切度の高いクラスタＣを主クラスタとして特定する。

図１０を参照して、第１、第２及び第４指標の値に応じた主クラスタとしての適切度の算出方法の一例を説明する。図１０は、第１及び第４指標の値（図４及び９参照）と、第１及び第４指標の値の合計と、第２指標と、適切度と、をクラスタＣ０～Ｃ３ごとに示している。上述したように、クラスタＣに含まれる顔画像Ｄの数（すなわち、画像Ｐに写っている数）が多いほど第１指標の値が大きく、画像Ｐに長期間に亘って写っているほど第４指標の値が大きくなる。すなわち、第１及び第４指標の合計が大きいほど、主クラスタとして適切である可能性が高いと推定される。

一方、本実施例において、主クラスタに係る主たる人物は、同一のユーザが保有する画像群に含まれる複数の人物の関係性を推定する場合において基準となる人物である。そのため、主たる人物としては、ユーザ本人と推定される人物が適切であると考えられる。ところで、同一のユーザが保有する画像群には、ユーザ本人が撮影した画像が最も多く含まれているものと考えられる。一方、子世代の人物が、写真の撮影者、すなわちユーザ本人となる可能性は低い。したがって、子世代の人物に係るクラスタＣは主クラスタとして不適切と判定され、親世代又は祖父母世代の人物に係るクラスタＣが主クラスタとして適切と判定されることが好ましい。

そこで、本実施例においては、主クラスタ特定部４０は、主クラスタとして適切か否かを、第２指標に応じて判定する。上述したように、第２指標は、人物の年齢及び性別に基づいて導出されるので、第２指標を参照することで、主クラスタに係る主たる人物として適切な世代の人物であるか否かを判定することができる。具体的には、主クラスタ特定部４０は、第２指標に基づき、予め定められた年齢以上と判定された人物に係るクラスタＣの中から、主クラスタを特定する。例えば、主クラスタ特定部４０は、第２指標に応じて主クラスタとして適切か否かを判定するための判定条件が予め設定されたテーブルＴ２を参照可能である。

図６にテーブルＴ２の一例を示す。図６に示すように、テーブルＴ２は、例えば、第２指標に応じた、家族関係における構成員の属性候補と、第２指標に応じて主クラスタ及び関連クラスタとして適切か否かを判定するための判定条件と、を含む。上述したように、第２指標は、人物の年齢及び性別に基づいて導出されるので、第２指標に応じて、家族関係における構成員の属性が特定可能である。また、第２指標に応じて、主クラスタ及び関連クラスタとして適切か否かを判定することが可能である。テーブルＴ２は、例えば記憶部８２に記憶されている。

主クラスタ特定部４０は、テーブルＴ２を参照し、予め定められた年齢未満であることを示す第２指標がＭ１又はＦ１であるクラスタＣ２及びＣ４を、主クラスタ特定の対象から除外し、適切度を０と算出する。また、主クラスタ特定の対象であるクラスタＣ０及びＣ１について、第１及び第４指標の合計に基づき適切度を算出する。主クラスタ特定部４０は、適切度が最も大きいクラスタＣ１を、主クラスタとして特定する。

なお、主クラスタ特定部４０は、第１及び第４指標の少なくとも一方が主クラスタとして不適当な値となっているクラスタＣについて、適切度を適宜下げてもよい。例えば、第１指標の値が大きいために第１及び第４指標の合計が最も大きくても、第４指標の値が規定値以下であれば、適切度を０とし、主クラスタの対象外としてもよい。

また、主クラスタ特定部４０は、主クラスタに、主クラスタに係る人物の属性情報を第２指標に応じて付与する。この場合、主クラスタ特定部４０は、テーブルＴ２を参照し、主クラスタと特定したクラスタＣ１の第２指標Ｆ２に基づき、クラスタＣ１に、クラスタＣ１に係る人物の属性情報である「母親」を付与する。

また、主クラスタ及び関連クラスタに係る人物は、それぞれ同一の画像Ｐに一緒に写っている頻度が相対的に高いものと推定される。そこで、第３指標導出部３３は、複数のクラスタＣのうちの予め特定された主クラスタに含まれる顔画像Ｄと、複数のクラスタＣのうちの主クラスタ以外のクラスタＣに含まれる顔画像Ｄと、の２つの顔画像Ｄが、同一の画像Ｐから検出された数である第１共起数に応じた第３指標を、主クラスタ以外のクラスタＣごとに導出する。第１共起数とは、言い換えれば、主たる人物と、主たる人物以外の人物とが、同一の画像Ｐに一緒に写っている頻度である。具体的には、第３指標導出部３３は、第１共起数が多いほど第３指標の値を大きくする。

ここで、主クラスタが「予め特定された」とは、主クラスタが特定されるタイミングが、第３指標を導出する前であることを意味し、第１、第２又は第４指標が導出される前に主クラスタが特定されていなければならないわけではない。上述のとおり、本実施例では、第１、第２及び第４指標が導出された後に主クラスタが特定されている。このように、「予め特定された主クラスタ」には、第１、第２及び第４指標の少なくとも１つが導出された後、第３指標が導出されるまでの間に特定された主クラスタも含まれる。もちろん、例えば、ユーザの選択等によって、第１、第２及び第４指標が導出される前に主クラスタが特定されていてもよい。

図７は、第３指標の一例として、主クラスタと特定されたクラスタＣ１と、他のクラスタＣ０、Ｃ２及びＣ３と、の第１共起数をそのまま用いた例を示している。なお、これに限らず、第３指標として、予め設定された点数を、第１共起数に応じて比例配分した値、及び第１共起数を順位付けした値等を用いてもよい。

関連クラスタ特定部４２は、第１～第４指標に基づき、関連クラスタを、主クラスタ以外の複数のクラスタＣから特定する。具体的には、上述したように、画像Ｐに写っている数が多いほど第１指標の値は大きくなるので、関連クラスタ特定部４２は、複数のクラスタＣのうち、第１指標の値が相対的に大きなクラスタの中から、関連クラスタを特定する。また、主クラスタに係る人物と一緒に写っている数が多いほど第３指標の値が大きくなるので、関連クラスタ特定部４２は、複数のクラスタＣのうち、第３指標の値が相対的に大きなクラスタの中から、関連クラスタを特定する。また、画像Ｐに長期間に亘って写っているほど第４指標の値が大きくなるので、関連クラスタ特定部４２は、第４指標の値が相対的に大きなクラスタの中から、関連クラスタを特定する。

具体的には、関連クラスタ特定部４２は、第１～第４指標の値に応じた関連クラスタとしての適切度を、クラスタＣごとに算出し、最も適切度の高いクラスタＣを関連クラスタとして特定する。図１１を参照して、第１～第４指標の値に応じた関連クラスタとしての適切度の算出方法の一例を説明する。図１１は、第１、第３及び第４指標の値（図４、７及び９参照）と、第１、第３及び第４指標の値の合計と、第２指標と、適切度と、をクラスタＣ０、Ｃ２及びＣ３ごとに示している。上述したように、関連クラスタは、第１、第３及び第４指標がそれぞれ相対的に大きいクラスタの中から特定される。

一方、本実施例において、関連クラスタは、主クラスタに係る人物（すなわち、図４において母親と推定される成人女性ＦＡ）の家族である。上述したように、家族の構成員の属性は、世代及び性別に基づき、ある程度推定され、構成員の属性毎に人数も決まっている場合が多い。そこで、まず、関連クラスタ特定部４２は、主クラスタに係る第２指標と異なる第２指標が導出されたクラスタの中から、関連クラスタを特定する。言い換えれば、関連クラスタ特定部４２は、主クラスタに係る第２指標と同じ第２指標のクラスタを、関連クラスタ特定の対象から除外する。例えば、本例では主クラスタの第２指標はＦ２である。そのため、仮に主クラスタと同じ第２指標であるＦ２を有するクラスタが他にある場合、関連クラスタ特定部４２は、当該クラスタを関連クラスタ特定の対象から除外し、適切度を０と算出する。

また、関連クラスタ特定部４２は、各クラスタＣ０、Ｃ２及びＣ３について、第１、第３及び第４指標の合計に基づき適切度を算出する。関連クラスタ特定部４２は、適切度が最も大きいクラスタＣ２を、関連クラスタとして特定する。

なお、関連クラスタ特定部４２は、第１、第３及び第４指標の少なくとも１つが関連クラスタとして不適当な値となっているクラスタＣの適切度を適宜下げてもよい。例えば、第１指標の値が大きいために第１、第３及び第４指標の合計が最も大きくても、第３及び第４指標の値が規定値以下であれば、適切度を０とし、関連クラスタの対象外としてもよい。

また、関連クラスタ特定部４２は、関連クラスタに係る人物の属性情報を第２指標に応じて付与する。例えば、関連クラスタ特定部４２は、主クラスタ特定部４０と同様に、図６に示すテーブルＴ２を参照可能である。関連クラスタ特定部４２は、テーブルＴ２を参照し、関連クラスタと特定したクラスタＣ２の第２指標Ｆ１に基づき、クラスタＣ２に係る人物の属性情報である「娘」を付与する。

なお、関連クラスタ特定部４２は、以上のように算出した適切度を用いて、主クラスタとそれぞれ関連する複数の関連クラスタを特定してもよい。例えば、適切度が予め定められた閾値以上の複数のクラスタを関連クラスタとして特定してもよいし、適切度の上位から予め定められた割合の複数のクラスタを関連クラスタとして特定してもよい。

また、関連クラスタ特定部４２は、主クラスタとそれぞれ関連する複数の関連クラスタを特定する場合において、１つ以上の関連クラスタが特定されている場合は、既に特定された関連クラスタとも関連のあるクラスタＣを、他の関連クラスタとして特定してもよい。すなわち、２つ目以降の関連クラスタを、主クラスタに加え、既に特定された他の関連クラスタとも関連があるクラスタとしてもよい。例えば、本実施例のように、主クラスタと家族関係にある関連クラスタを特定する場合、複数の関連クラスタ同士も、相互に関連があることが推定される。このように関連クラスタ同士の関連性を考慮することにより、主クラスタの友人関係等、主クラスタのみと関連がある人物に係るクラスタは、家族関係にある関連クラスタの対象から除外されやすくなる。すなわち、このような形態によれば、家族関係等の相互に関連がある人物に係るクラスタＣの特定精度を向上させることができる。

この場合、情報処理装置２０は、異なる関連クラスタ間の関連性を表す第５指標を用いて、関連クラスタの特定を行う。第５指標導出部３５は、既に特定された関連クラスタに含まれる顔画像Ｄと、複数のクラスタのうちの主クラスタ以外のクラスタに含まれる顔画像Ｄと、の２つの顔画像Ｄが、同一の画像Ｐから検出された数である第２共起数に応じた第５指標を、主クラスタ以外のクラスタごとに導出する。第２共起数とは、言い換えれば、既に特定されている関連クラスタに係る人物と、主たる人物以外の人物とが、同一の画像Ｐに一緒に写っている頻度である。具体的には、第５指標導出部３５は、第２共起数が多いほど第５指標の値を大きくする。

図７に、第５指標の一例として、既に特定された関連クラスタＣ２と、主クラスタＣ１以外のクラスタＣ０及びＣ３と、の第２共起数を用いた例を示している。なお、これに限らず、第５指標として、予め設定された点数を、第２共起数に応じて比例配分した値、及び第２共起数を順位付けした値等を用いてもよい。

関連クラスタ特定部４２は、第１～第５指標の５つの指標に基づき、関連クラスタを特定する。具体的には、関連クラスタ特定部４２は、第１～第５指標の値に応じた関連クラスタとしての適切度を、クラスタＣごとに算出し、適切度が相対的に高いクラスタＣを関連クラスタとして特定する。

図１２を参照して、第１～第５指標の値に応じた関連クラスタとしての適切度の算出方法の一例を説明する。図１２は、第１、第３～第５指標の値（図４、７及び９参照）と、第１、第３～第５指標の値の合計と、第２指標と、適切度と、をクラスタＣ０及びＣ３ごとに示している。

関連クラスタ特定部４２は、主クラスタＣ１及び既に特定された関連クラスタＣ２に係る第２指標と異なる第２指標が導出されたクラスタの中から、関連クラスタを特定する。例えば、仮に主クラスタＣ１と同じ第２指標であるＦ２、又は既に特定された関連クラスタＣ２と同じ第２指標であるＦ１を有するクラスタが他にある場合、関連クラスタ特定部４２は、当該クラスタを関連クラスタ特定の対象から除外し、適切度を０と算出する。

なお、関連クラスタ特定部４２は、図６に示すテーブルＴ２の条件を満たした場合には、主クラスタ及び他の関連クラスタに係る第２指標と同じ第２指標が導出されたクラスタの中から、関連クラスタを特定してもよい。例えば、第一子と第二子の性別が同じ場合、及び父方の祖父と母方の祖父が存在する場合等、家族に同じ第２指標を有する複数の人物が含まれる場合があるためである。

また、関連クラスタ特定部４２は、各クラスタＣ０及びＣ３について、第１、第３～第５指標の値の合計に基づき適切度を算出する。関連クラスタ特定部４２は、適切度が最も大きいクラスタＣ３を、主クラスタＣ１に加え、既に特定された他の関連クラスタＣ２とも関連がある関連クラスタとして特定する。また、関連クラスタ特定部４２は、２番目に適切度が大きいクラスタＣ０を、主クラスタＣ１に加え、既に特定された他の関連クラスタＣ２とも関連がある関連クラスタとして特定してもよい。

また、関連クラスタ特定部４２は、図６に示すテーブルＴ２を参照して、各関連クラスタに係る人物の属性情報を第２指標に応じて付与する。図１２の例では、関連クラスタＣ０には属性情報である「父親」が付与され、関連クラスタＣ３には「息子」が付与される。

一方、例えば、同一人物に係る顔画像Ｄが複数のクラスタＣにクラスタリングされる等の不具合が発生すると、実際には主クラスタと関連があるクラスタであっても、第１、第３及び第４指標の値が低くなり、関連クラスタとして特定されない場合がある。そこで、関連クラスタ特定部４２は、主クラスタとそれぞれ関連する複数の関連クラスタを特定する場合において、主クラスタと関連する既に特定された関連クラスタ（以下、第１関連クラスタという）の他に、第１関連クラスタに関連する関連クラスタ（以下、第２関連クラスタという）を特定してもよい。すなわち、主クラスタとの関連性は弱いものの、第１関連クラスタとの関連性が強いクラスタを、第２関連クラスタとして特定してもよい。この場合、主クラスタとの関連性（すなわち、第１、第３及び第４指標の値）のみに基づいて関連クラスタを特定する場合と比較して、関連クラスタの抜けを抑制することができる。

この場合、第５指標導出部３５は、第１関連クラスタに含まれる顔画像Ｄと、複数のクラスタＣのうちの主クラスタ及び第１関連クラスタ以外のクラスタＣに含まれる顔画像Ｄと、の２つの顔画像Ｄが、同一の画像Ｐから検出された数である第２共起数に応じた第５指標を、主クラスタ及び第１関連クラスタ以外のクラスタＣごとに導出する。上述のとおり、第２共起数とは、言い換えれば、既に特定されている関連クラスタ（本例では第１関連クラスタ）に係る人物と、主たる人物以外の人物とが、同一の画像Ｐに一緒に写っている頻度である。関連クラスタ特定部４２は、少なくとも第１、第２及び第３指標に基づき、第１関連クラスタを特定し、第１、第２及び第５指標に基づき、第１関連クラスタとの関連性がある第２関連クラスタを特定する。

また、主クラスタ特定部４０は、関連クラスタに係る人物の属性情報に応じて、主クラスタに係る人物の属性情報を修正してもよい。例えば、第２指標は顔画像Ｄに基づいて判定される年齢に応じた指標なので、実年齢との誤差が生じ、実際には母親の人物に「祖母」の属性情報を付与してしまう場合がある。そこで、主クラスタ特定部４０は、主クラスタ及び全ての関連クラスタの属性情報の付与が完了した後に、「母親」の属性情報が付与された主クラスタ又は関連クラスタが無い場合に、「祖母」が付与された主クラスタの属性情報を、「母親」に修正してもよい。

情報処理装置２０は、予め定められたタイミングで、以上説明した関連クラスタの特定、及び主クラスタの特定のうちの少なくとも一方の処理を再度行う。「予め定められたタイミング」とは、例えば、一度処理を行ってから予め定められた期間が経過したタイミングであってもよい。また、例えば、ユーザによって画像Ｐが追加されたタイミングであってもよい。また、例えば、ユーザによって画像Ｐが追加され、かつ画像Ｐの追加枚数が予め定められた数に達したタイミングであってもよい。また、例えば、ユーザによって画像Ｐが追加され、かつ追加された画像から予め定められた数の顔画像Ｄが検出されたタイミングであってもよい。また、例えば、これらの各タイミングを適宜組み合わせたものであってもよい。

ここで、関連クラスタの特定処理を再度行う場合、情報処理装置２０は、既に特定されている主クラスタと、既に特定されている少なくとも１つの関連クラスタと、の特定結果を引き継ぐことが好ましい。例えば、図１３に示すように、複数のクラスタＣ０～Ｃ６があり、再度の関連クラスタの特定処理の前に、クラスタＣ１が主クラスタとして特定され、クラスタＣ０、Ｃ２及びＣ３が関連クラスタとして特定されているものとする。この場合、情報処理装置２０は、既に特定されている主クラスタＣ１と、既に特定されている関連クラスタＣ０、Ｃ２及びＣ３のうち少なくとも１つと、の特定結果を引き継ぐ。

図１３を参照して、特定結果を引き継ぎ得る関連クラスタのうち、特に特定結果を引き継ぐことが好ましい関連クラスタについて説明する。特定結果を引き継ぐことが好ましい関連クラスタとは、例えば、再度関連クラスタの特定処理を行っても、結果が変わる可能性が比較的低いと考えられるものである。

このような関連クラスタの第１例として、追加された画像Ｐよりも過去に撮影された画像Ｐに基づいて既に特定されている関連クラスタが挙げられる。過去に撮影された画像Ｐに基づいて既に関連クラスタとして特定されたクラスタＣは、それ以降に撮影された画像Ｐの追加によって関連クラスタから除外されることは考えにくい。というのも、通常、関連性は過去から現在に引き継がれるものであり、特に家族関係にある人物同士の関連性を考えた場合は、その傾向が強いと考えられるためである。そこで、情報処理装置２０は、画像Ｐが追加された後に関連クラスタの特定処理を再度行う場合、既に関連クラスタとして特定され、かつ、追加された画像Ｐから検出された顔画像Ｄを新たにクラスタリングした場合において顔画像Ｄの追加があった関連クラスタであって、追加された顔画像Ｄの検出元の画像Ｐよりも過去に撮影された画像Ｐから検出された顔画像Ｄを含む関連クラスタの特定結果を引き継ぐことが好ましい。図１３の例では、クラスタＣ０がこれに該当する。また、この場合、図１３の例において、情報処理装置２０は、クラスタＣ２～Ｃ６の中から、関連クラスタを特定し直す処理を行う。なお、関連クラスタが、追加された顔画像Ｄの検出元の画像Ｐよりも過去に撮影された画像Ｐから検出された顔画像Ｄを含むか否かは、それぞれの画像Ｐに付与された日付情報により判定可能である。

また、第２例として、ユーザによって画像Ｐが追加され、追加された画像Ｐから検出された顔画像Ｄを新たにクラスタリングした場合において、顔画像Ｄの追加がなかった関連クラスタが挙げられる。そこで、情報処理装置２０は、画像Ｐが追加された後に関連クラスタの特定処理を再度行う場合、既に特定されている関連クラスタであって、追加された画像Ｐから検出された顔画像Ｄを新たにクラスタリングした場合において、顔画像Ｄの追加がなかった関連クラスタの特定結果を引き継ぐことが好ましい。図１３の例では、クラスタＣ３がこれに該当する。一方、クラスタＣ０及びＣ２は、既に特定されている関連クラスタではあるが、追加された画像Ｐから検出された顔画像Ｄを新たにクラスタリングした場合において、顔画像Ｄの追加があった関連クラスタである。クラスタＣ０及びＣ２については、再度関連クラスタの特定処理を行った場合、結果が変わる可能性が比較的高いとも考えられるので、関連クラスタの特定結果は引き継がれない。そのため、図１３の例において、情報処理装置２０は、クラスタＣ０、Ｃ２及びＣ４～Ｃ６の中から、関連クラスタを特定し直す処理を行う。

また、上述した第１例と第２例を組み合わせてもよい。例えば、図１３の例において、情報処理装置２０が、クラスタＣ０及びＣ３の関連クラスタの特定結果を引き継ぎ、クラスタＣ２及びＣ４～Ｃ６の中から、関連クラスタを特定し直す処理を行うようにしてもよい。

また、もちろん、情報処理装置２０が、既に特定されている全ての主クラスタ及び関連クラスタの特定結果を引き継ぐようにしてもよい。例えば、図１３の例において、情報処理装置２０が、既に特定されている全ての主クラスタ及び関連クラスタであるＣ０～Ｃ３の特定結果を引き継ぎ、クラスタＣ４～Ｃ６の中から、新たな関連クラスタを特定する処理を行ってもよい。

また、情報処理装置２０は、ユーザによって画像Ｐが追加された場合に、追加された画像Ｐのみに基づいて、関連クラスタの特定、及び主クラスタの特定のうちの少なくとも一方の処理を再度行ってもよい。なお、この場合において、既に特定されている主クラスタ及び関連クラスタの特定結果を引き継ぐか否かは、任意に定めることが可能である。

表示制御部４４は、特定した主クラスタ及び関連クラスタに基づき、記憶装置１４内の複数の画像Ｐのうち一部の画像を選択し、選択した画像がユーザの端末で表示されるように、選択した画像をユーザの端末に配信する制御を行う。情報処理装置２０は、こうした表示制御を通じて、ユーザにおすすめの画像を提示してもよい。例えば、情報処理装置２０は、図１４に示すように、複数の画像Ｐのうち、特定した主クラスタ及び関連クラスタに係る人物が全員写っている画像Ｐを選択し、選択した画像Ｐをおすすめの家族写真としてユーザに提示してもよい。また、情報処理装置２０は、選択した画像Ｐを提示する際に、画像Ｐに加えて、当該画像Ｐに写っている人物の属性を提示してもよい。

次に、図１５及び１６を参照して、本実施形態に係る情報処理装置２０の作用を説明する。図１５は、関連クラスタの特定及び主クラスタの特定に係る処理の一例を示すフローチャートであり、図１６は、図１５に示す処理の再処理に係るフローチャートである。ＣＰＵ８１が情報処理プログラム８７を実行することによって、図１５及び１６に示す処理が実行される。

図１５に示す処理は、例えば、ユーザから処理開始の指示が入力された場合に実行される。図１５のステップＳ１０で、取得部２２は、記憶装置１４から解析対象のユーザの画像群を取得する。ステップＳ１２で、検出部２４は、ステップＳ１０で取得した複数の画像Ｐのそれぞれに含まれる複数の人物の顔画像Ｄを検出する。ステップＳ１４で、抽出部２６は、ステップＳ１２で検出した顔画像Ｄごとに、特徴量を抽出する。ステップＳ１６で、クラスタリング部２８は、ステップＳ１４で抽出した特徴量に基づき、複数の顔画像Ｄを複数のクラスタＣにクラスタリングする。

ステップＳ１８で、第１指標導出部３１は、クラスタＣに含まれる顔画像Ｄの数に応じた第１指標を、クラスタＣごとに導出する。ステップＳ２０で、第２指標導出部３２は、クラスタＣに含まれる顔画像Ｄから判定される人物の年齢及び性別に応じた第２指標を、クラスタＣごとに導出する。ステップＳ２２で、第４指標導出部３４は、クラスタＣに含まれる複数の顔画像Ｄがそれぞれ検出された複数の画像Ｐのそれぞれに付与された日付情報に応じた第４指標を、クラスタＣごとに導出する。なお、ステップＳ１８、Ｓ２０及びＳ２２の処理は、それぞれ並行して行ってもよいし、順序を入れ替えて行ってもよい。

ステップＳ２４で、主クラスタ特定部４０は、ステップＳ１８、Ｓ２０及びＳ２２でそれぞれ導出した第１、第２及び第４指標に基づき、複数のクラスタＣから、主クラスタを特定する。ステップＳ２６で、第３指標導出部３３は、ステップＳ２４で特定した主クラスタに含まれる顔画像Ｄと、複数のクラスタＣのうちの主クラスタ以外のクラスタＣに含まれる顔画像Ｄと、の２つの顔画像Ｄが、同一の画像Ｐから検出された数である第１共起数に応じた第３指標を、主クラスタ以外のクラスタＣごとに導出する。

ステップＳ２８で、関連クラスタ特定部４２は、ステップＳ１８、Ｓ２０、Ｓ２２及びＳ２６でそれぞれ導出した第１～第４指標に基づき、関連クラスタを、主クラスタ以外の複数のクラスタＣから特定する。ステップＳ３０で、関連クラスタ特定部４２は、関連クラスタの特定が完了したか否かを判定する。例えば、複数の関連クラスタを特定しない場合は、この時点で関連クラスタの特定が完了したと判定し（ステップＳ３０がＹ）、本処理を終了する。

一方、関連クラスタの特定が完了していない場合（ステップＳ３０がＮ）は、異なる関連クラスタの特定のため、ステップＳ３２に移行する。ステップＳ３２で、第５指標導出部３５は、ステップＳ２８で既に特定された関連クラスタに含まれる顔画像Ｄと、複数のクラスタＣのうちの主クラスタ以外のクラスタＣに含まれる顔画像Ｄと、の２つの顔画像Ｄが、同一の画像Ｐから検出された数である第２共起数に応じた第５指標を、主クラスタ以外のクラスタＣごとに導出する。ステップＳ３４で、関連クラスタ特定部４２は、ステップＳ１８、Ｓ２０、Ｓ２２、Ｓ２６及びＳ３２でそれぞれ導出した第１～第５指標に基づき、ステップＳ２８で特定した関連クラスタとは異なる関連クラスタを、主クラスタ及び既に特定された関連クラスタ以外の複数のクラスタＣから特定する。

関連クラスタ特定部４２は、関連クラスタの特定が完了するまで、ステップＳ３０、Ｓ３２及びＳ３４を繰り返す。関連クラスタの特定が完了すると（ステップＳ３０がＹ）、本処理を終了する。

図１６に示す処理は、予め定められたタイミングが到来した場合に実行される。図１６のステップＳ５０で、ＣＰＵ８１は、予め定められたタイミングが到来するまで待機し、予め定められたタイミングが到来すると、ステップＳ５２に移行する。ステップＳ５２で、ＣＰＵ８１は、図１５に示す特定処理を再度実行する。

以上説明したように、本実施形態に係る情報処理装置２０は、少なくとも１つのプロセッサを備えた情報処理装置である。プロセッサは、複数の画像Ｐのそれぞれに含まれる複数の人物の顔画像Ｄを検出し、顔画像Ｄごとに、特徴量を抽出し、特徴量に基づき、複数の顔画像Ｄを複数のクラスタＣにクラスタリングする。また、クラスタＣに含まれる顔画像Ｄの数に応じた第１指標を、クラスタごとに導出する。また、クラスタＣに含まれる顔画像Ｄから判定される人物の年齢及び性別に応じた第２指標を、クラスタＣごとに導出する。また、複数のクラスタＣのうちの予め特定された主クラスタに含まれる顔画像Ｄと、複数のクラスタＣのうちの主クラスタ以外のクラスタＣに含まれる顔画像Ｄと、の２つの顔画像Ｄが、同一の画像Ｐから検出された数である第１共起数に応じた第３指標を、主クラスタ以外のクラスタＣごとに導出する。また、第１、第２及び第３指標に基づき、主クラスタと関連する１つ以上の関連クラスタを、主クラスタ以外の複数のクラスタＣから特定する。

すなわち、本実施形態に係る情報処理装置２０は、画像Ｐから検出される顔画像Ｄの数に応じた第１指標、顔画像Ｄから判定される人物の年齢及び性別に応じた第２指標、及び第１共起数に応じた第３指標に基づき、主クラスタと関連する１つ以上の関連クラスタを特定する。したがって、画像に含まれる人物間の関係性として、従来よりも具体的な関係性を推定することができる。

なお、上記実施形態においては、関連クラスタ特定部４２が、第１～第４指標の少なくとも４つの指標に基づき、関連クラスタを、主クラスタ以外の複数のクラスタＣから特定する形態について説明したが、これに限らない。関連クラスタ特定部４２は、少なくとも第１、第２及び第３指標に基づき、主クラスタと関連する１つ以上の関連クラスタを、主クラスタ以外の複数のクラスタＣから特定すればよい。すなわち、第４指標を用いずに、関連クラスタの特定を行ってもよい。

また、上記実施形態においては、主クラスタとそれぞれ関連する複数の関連クラスタを特定する場合において、関連クラスタ特定部４２が、第１～第５の５つの指標に基づき、複数の関連クラスタを特定する形態について説明したが、これに限らない。複数の関連クラスタを特定する場合において、関連クラスタ特定部４２は、第１、第２及び第３指標に、第５指標を加えた少なくとも４つの指標に基づき、関連クラスタを特定すればよい。すなわち、第４指標を用いずに、複数の関連クラスタの特定を行ってもよい。

また、上記実施形態においては、情報処理装置２０が第１、第２及び第４指標に基づいて主クラスタを特定する形態について説明したが、これに限らない。例えば、情報処理装置に登録された性別及び生年月日等のユーザ情報と一致するクラスタを、主クラスタとして特定してもよい。また、クラスタリングが完了した時点で、複数のクラスタＣをユーザに提示し、ユーザによる主クラスタの選択を受け付けてもよい。

また、上記実施形態においては、同一のユーザの画像群に含まれる複数の人物の家族関係を推定する例で説明したが、友人関係等、家族関係以外の関係を推定してもよい。その場合には、例えば、図６に示すテーブルＴ２等は、家族関係を推定するための内容ではなく、友人関係等を推定するための内容に変更される。

また、上記実施形態においては、アカウントとユーザが１対１で対応し、画像Ｐがユーザごとに分類されて、記憶装置１４に記憶される形態について説明したが、これに限らない。例えば、１つのアカウントを家族等の複数の人物が共有し、それぞれの人物が自身の所有する端末から情報処理装置２０に接続し、画像Ｐのアップロード及びダウンロードをすることも可能である。この場合は、家族等のアカウント共有者のそれぞれは、同一のアカウントを利用する同一のユーザとみなされる。

また、上記実施形態においては、情報処理装置２０を１台のコンピュータで構成し、１台のコンピュータが顔画像Ｄの検出、特徴量の抽出、クラスタリング、第１～第３指標の各指標の導出をすべて行う形態で説明したが、これに限らない。例えば、情報処理装置２０を複数台のコンピュータで構成し、１台のコンピュータが顔画像Ｄの検出からクラスタリングまでを行い、別のコンピュータが各指標の導出を行うというように、複数台のコンピュータで処理を分散してもよい。また、顔画像Ｄの検出からクラスタリングまでを行う１台のコンピュータに対して、各指標の導出を行うコンピュータを複数台接続してもよい。

また、上記各実施形態において、例えば、取得部２２、検出部２４、抽出部２６、クラスタリング部２８、第１～第５指標導出部３１～３５、主クラスタ特定部４０、関連クラスタ特定部４２、及び表示制御部４４といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。

また、本開示の技術は、情報処理装置プログラムに加えて、情報処理プログラムを非一時的に記憶するコンピュータで読み取り可能な記憶媒体（ＵＳＢメモリ又はＤＶＤ（Digital Versatile Disc）－ＲＯＭ（Read Only Memory）など）にもおよぶ。

１１ スマートフォン
１２ ＰＣ
１４ 記憶装置
２０ 情報処理装置
２２ 取得部
２４ 検出部
２６ 抽出部
２８ クラスタリング部
３１ 第１指標導出部
３２ 第２指標導出部
３３ 第３指標導出部
３４ 第４指標導出部
３５ 第５指標導出部
４０ 主クラスタ特定部
４２ 関連クラスタ特定部
４４ 表示制御部
８１ ＣＰＵ
８２ 記憶部
８３ メモリ
８４ ディスプレイ
８５ 入力部
８６ ネットワークＩ／Ｆ
８７ 情報処理プログラム
８８ バス
Ａ、Ｂ ユーザ
Ｃ、Ｃ０～Ｃ３ クラスタ
Ｄ、Ｄ０１～Ｄ３２ 顔画像
ＦＡ 成人女性
ＦＣ 女児
ＭＡ 成人男性
ＭＣ 男児
Ｐ、Ｐ１、Ｐ２ 画像
Ｔ１、Ｔ２ テーブル

Claims (22)

1. 少なくとも１つのプロセッサを備えた情報処理装置であって、
   前記プロセッサは、
   複数の画像のそれぞれに含まれる複数の人物の顔画像を検出し、
   前記顔画像ごとに、特徴量を抽出し、
   前記特徴量に基づき、前記特徴量間の類似度が予め定められた閾値以上である前記顔画像同士が同一のクラスタに分類されるように、複数の前記顔画像を複数のクラスタにクラスタリングし、
   前記クラスタに含まれる前記顔画像の数に応じた第１指標を、前記クラスタごとに導出し、
   前記クラスタに含まれる前記顔画像から判定される人物の年齢及び性別に応じた第２指標を、前記クラスタごとに導出し、
   前記複数のクラスタのうちの予め特定された主クラスタに含まれる前記顔画像と、前記複数のクラスタのうちの前記主クラスタ以外の前記クラスタに含まれる前記顔画像と、の２つの前記顔画像が、同一の前記画像から検出された数である第１共起数に応じた第３指標を、前記主クラスタ以外の前記クラスタごとに導出し、
   前記第１指標、前記第２指標及び前記第３指標に基づき、前記主クラスタと関連する１つ以上の関連クラスタを、前記主クラスタ以外の前記複数のクラスタから特定する
   情報処理装置。
2. 前記プロセッサは、
   前記クラスタに含まれる前記顔画像の数が多いほど前記第１指標の値を大きくし、
   前記複数のクラスタのうち、前記第１指標の値が相対的に大きなクラスタの中から、前記関連クラスタを特定する
   請求項１に記載の情報処理装置。
3. 前記複数の画像のそれぞれには、前記画像が作成された日付情報が予め付与されており、
   前記プロセッサは、
   予め定められた日付情報を有する前記画像から検出された前記顔画像に基づき、前記第２指標を前記クラスタごとに導出し、
   前記主クラスタに係る前記第２指標と異なる前記第２指標が導出されたクラスタの中から、前記関連クラスタを特定する
   請求項１又は２に記載の情報処理装置。
4. 前記プロセッサは、
   前記第１共起数が多いほど前記第３指標の値を大きくし、
   前記複数のクラスタのうち、前記第３指標の値が相対的に大きなクラスタの中から、前記関連クラスタを特定する
   請求項１から３の何れか１項に記載の情報処理装置。
5. 前記複数の画像のそれぞれには、前記画像が作成された日付情報が予め付与されており、
   前記プロセッサは、
   前記クラスタに含まれる複数の前記顔画像がそれぞれ検出された複数の画像のそれぞれに付与された日付情報に応じた第４指標を、前記クラスタごとに導出し、
   前記第１指標、前記第２指標及び前記第３指標に前記第４指標を加えた少なくとも４つの指標に基づき、前記関連クラスタを、前記主クラスタ以外の前記複数のクラスタから特定する
   請求項１から４の何れか１項に記載の情報処理装置。
6. 前記プロセッサは、
   前記複数の画像のそれぞれに付与された日付情報のうち、最も古い日付情報と、最も新しい日付情報と、の差が大きいほど前記第４指標の値を大きくし、
   前記第４指標の値が相対的に大きなクラスタの中から、前記関連クラスタを特定する
   請求項５に記載の情報処理装置。
7. 前記プロセッサは、
   前記複数の画像のそれぞれに付与された日付情報のうちの最も古い日付情報が古いほど、前記第４指標の値を大きくし、
   前記第４指標の値が相対的に大きなクラスタの中から、前記関連クラスタを特定する
   請求項５又は６に記載の情報処理装置。
8. 前記プロセッサは、
   前記複数の画像のそれぞれに付与された日付情報のうちの最も新しい日付情報が新しいほど、前記第４指標の値を大きくし、
   前記第４指標の値が相対的に大きなクラスタの中から、前記関連クラスタを特定する
   請求項５から７の何れか１項に記載の情報処理装置。
9. 前記プロセッサは、前記第１指標、前記第２指標及び前記第４指標に基づき、前記複数のクラスタから、前記主クラスタを特定する
   請求項５から８の何れか１項に記載の情報処理装置。
10. 前記プロセッサは、前記第２指標に基づき、予め定められた年齢以上と判定された人物に係るクラスタの中から、前記主クラスタを特定する
    請求項９に記載の情報処理装置。
11. 前記プロセッサは、
    前記主クラスタ及び前記関連クラスタに係る人物の属性情報を前記第２指標に応じて付与し、
    前記関連クラスタに係る人物の属性情報に応じて、前記主クラスタに係る人物の属性情報を修正する
    請求項１から１０の何れか１項に記載の情報処理装置。
12. 前記主クラスタとそれぞれ関連する複数の前記関連クラスタを特定する場合において、
    前記プロセッサは、
    １つ以上の前記関連クラスタが特定されている場合は、既に特定された前記関連クラスタに含まれる前記顔画像と、前記複数のクラスタのうちの前記主クラスタ以外の前記クラスタに含まれる前記顔画像と、の２つの前記顔画像が、同一の前記画像から検出された数である第２共起数に応じた第５指標を、前記主クラスタ以外の前記クラスタごとに導出し、
    前記第１指標、前記第２指標及び前記第３指標に前記第５指標を加えた少なくとも４つの指標に基づき、前記関連クラスタを特定する
    請求項１から１１の何れか１項に記載の情報処理装置。
13. 前記主クラスタとそれぞれ関連する複数の前記関連クラスタを特定する場合において、
    前記プロセッサは、
    前記関連クラスタとして、前記第１指標、前記第２指標及び前記第３指標に基づき、第１関連クラスタを特定し、
    前記第１関連クラスタに含まれる前記顔画像と、前記複数のクラスタのうちの前記主クラスタ及び前記第１関連クラスタ以外の前記クラスタに含まれる前記顔画像と、の２つの前記顔画像が、同一の前記画像から検出された数である第２共起数に応じた第５指標を、前記主クラスタ及び前記第１関連クラスタ以外の前記クラスタごとに導出し、
    前記関連クラスタとして、前記第１指標、前記第２指標及び前記第５指標に基づき、第２関連クラスタを特定する
    請求項１から１１の何れか１項に記載の情報処理装置。
14. 前記複数の画像は、同一のユーザが保有する画像である
    請求項１から１３の何れか１項に記載の情報処理装置。
15. 前記プロセッサは、予め定められたタイミングで、前記関連クラスタの特定、及び前記主クラスタの特定のうちの少なくとも一方の処理を再度行う
    請求項１から１４の何れか１項に記載の情報処理装置。
16. 前記タイミングは、予め定められた期間が経過したタイミング、前記画像が追加されたタイミング、前記画像が追加され、かつ前記画像の追加枚数が予め定められた数に達したタイミング、及び前記画像が追加され、かつ追加された前記画像から予め定められた数の前記顔画像が検出されたタイミング、のうちの少なくとも１つである
    請求項１５に記載の情報処理装置。
17. 前記プロセッサは、前記関連クラスタの特定の処理を再度行う場合、既に特定されている前記主クラスタと、既に特定されている少なくとも１つの前記関連クラスタと、の特定の結果を引き継ぐ
    請求項１５又は１６に記載の情報処理装置。
18. 前記プロセッサは、前記画像が追加された後に前記関連クラスタの特定の処理を再度行う場合、既に前記関連クラスタとして特定され、かつ、追加された前記画像から検出された前記顔画像を新たにクラスタリングした場合において前記顔画像の追加があった前記関連クラスタであって、追加された前記顔画像の検出元の前記画像よりも過去に撮影された前記画像から検出された前記顔画像を含む前記関連クラスタの特定の結果を引き継ぐ
    請求項１７に記載の情報処理装置。
19. 前記プロセッサは、前記画像が追加された場合に、追加された前記画像のみに基づいて、前記関連クラスタの特定、及び前記主クラスタの特定のうちの少なくとも一方の処理を再度行う
    請求項１５から１８の何れか１項に記載の情報処理装置。
20. 前記関連クラスタは、前記主クラスタに係る人物の家族と推定される人物に係るクラスタである
    請求項１から１９の何れか１項に記載の情報処理装置。
21. 複数の画像のそれぞれに含まれる複数の人物の顔画像を検出し、
    前記顔画像ごとに、特徴量を抽出し、
    前記特徴量に基づき、前記特徴量間の類似度が予め定められた閾値以上である前記顔画像同士が同一のクラスタに分類されるように、複数の前記顔画像を複数のクラスタにクラスタリングし、
    前記クラスタに含まれる前記顔画像の数に応じた第１指標を、前記クラスタごとに導出し、
    前記クラスタに含まれる前記顔画像から判定される人物の年齢及び性別に応じた第２指標を、前記クラスタごとに導出し、
    前記複数のクラスタのうちの予め特定された主クラスタに含まれる前記顔画像と、前記複数のクラスタのうちの前記主クラスタ以外の前記クラスタに含まれる前記顔画像と、の２つの前記顔画像が、同一の前記画像から検出された数である第１共起数に応じた第３指標を、前記主クラスタ以外の前記クラスタごとに導出し、
    前記第１指標、前記第２指標及び前記第３指標に基づき、前記主クラスタと関連する１つ以上の関連クラスタを、前記主クラスタ以外の前記複数のクラスタから特定する
    処理をコンピュータが実行する情報処理方法。
22. 複数の画像のそれぞれに含まれる複数の人物の顔画像を検出し、
    前記顔画像ごとに、特徴量を抽出し、
    前記特徴量に基づき、前記特徴量間の類似度が予め定められた閾値以上である前記顔画像同士が同一のクラスタに分類されるように、複数の前記顔画像を複数のクラスタにクラスタリングし、
    前記クラスタに含まれる前記顔画像の数に応じた第１指標を、前記クラスタごとに導出し、
    前記クラスタに含まれる前記顔画像から判定される人物の年齢及び性別に応じた第２指標を、前記クラスタごとに導出し、
    前記複数のクラスタのうちの予め特定された主クラスタに含まれる前記顔画像と、前記複数のクラスタのうちの前記主クラスタ以外の前記クラスタに含まれる前記顔画像と、の２つの前記顔画像が、同一の前記画像から検出された数である第１共起数に応じた第３指標を、前記主クラスタ以外の前記クラスタごとに導出し、
    前記第１指標、前記第２指標及び前記第３指標に基づき、前記主クラスタと関連する１つ以上の関連クラスタを、前記主クラスタ以外の前記複数のクラスタから特定する
    処理をコンピュータに実行させるための情報処理プログラム。