JP7419142B2 - 表示制御装置、表示制御方法及びプログラム - Google Patents

Description

本発明の実施形態は表示制御装置、表示制御方法及びプログラムに関する。

データをカテゴリごとに分類するクラスタリング方法が従来から知られている。例えば、監視映像に含まれる顔画像データの場合は個人ごとにデータをクラスタに分類することで、通行者の履歴の目視確認をより容易に行うことができる。

特開平１０－１６２０２０号公報

しかしながら、従来の技術では、カテゴリ間の類似関係については把握することができるが、同一カテゴリ内の画像どうしの関係性については把握することが難しかった。

実施形態の表示制御装置は、クラスタリング部とサブクラスタリング部と表示制御部とを備える。クラスタリング部は、画像の類似度と第１閾値とに基づいて、前記画像を複数のクラスタに分類する。サブクラスタリング部は、前記類似度と、前記第１閾値よりも高い第２閾値とに基づいて、前記クラスタ内の前記画像を、複数のサブクラスタに更に分類する。表示制御部は、前記クラスタに含まれる画像の代表を示すクラスタ代表と、前記サブクラスタに含まれる画像の代表を示すサブクラスタ代表とを含む表示情報を、表示部に表示する。前記サブクラスタリング部によって分類された複数の画像は、前記クラスタ代表に最も類似するサブクラスタ代表を根とし、前記クラスタ代表との類似度が高い順にサブクラスタ代表同士が第１方向に接続され、第１の前記サブクラスタ代表を持つ第１の前記サブクラスタに含まれる画像は、前記第１のサブクラスタ代表との類似度が高い順に第２方向に接続される木構造を有する。前記サブクラスタリング部は、新たな画像を分類するときに、前記第１のサブクラスタ代表との類似度が前記第２閾値を超えない場合は、前記第１のサブクラスタに含まれる画像と、前記新たな画像との類似度計算を行わない。

第１実施形態の表示制御装置の機能構成の例を示す図。 第１実施形態のクラスタリング部の処理の例を示すフローチャート。 第１実施形態のサブクラスタリング部の処理の例を示すフローチャート。 サブクラスタに分類された複数の画像のデータ構造の例を示す図。 第１実施形態の表示情報の例を示す図。 第２実施形態の表示制御装置の機能構成の例を示す図。 第２実施形態の修正前の表示情報の例を示す図。 第２実施形態の修正後の表示情報の例を示す図。 第２実施形態の変形例の表示制御装置の機能構成の例を示す図。 第２実施形態の変形例の登録制御部の動作を説明するための図。 第２実施形態の変形例の検索部の動作を説明するための図。 第２実施形態の変形例の表示情報の例を示す図。 第１及び第２実施形態の表示制御装置のハードウェア構成の例を示す図。

以下に添付図面を参照して、表示制御装置、表示制御方法及びプログラムの実施形態を詳細に説明する。

（第１実施形態）
はじめに、第１実施形態の表示制御装置の機能構成の例について説明する。第１実施形態では、顔画像認識技術によって、顔の検出や個人識別のための特徴量計算を用いる場合について述べるが、人物の全身を検出して個人識別のための特徴量を用いる方法にも適用することができる。

［機能構成の例］
図１は第１実施形態の表示制御装置１０の機能構成の例を示す図である。第１実施形態の表示制御装置１０は、計算部１００、クラスタリング部１０１、第１閾値設定部１０２、サブクラスタリング部１０３、第２閾値設定部１０４、表示制御部１０５及び表示部１０６を備える。

計算部１００は、画像間の類似度を算出する。具体的には、計算部１００は、例えば画像を当該画像の特徴を示す特徴量に変換し、当該特徴量のユークリッド距離やコサイン類似度に基づいて類似度を算出する。

クラスタリング部１０１は、画像の類似度と、第１閾値とに基づいて、画像を複数のクラスタ（クラス）に分類する。例えば、クラスタリング部１０１は、クラスに含まれる画像の特徴量（例えば特徴ベクトル）の平均（例えば平均ベクトル）と、分類対象の画像の特徴量との類似度が第１閾値を超えた場合、分類対象の画像を当該クラスに分類する。類似度が高い画像同士ほど同一クラスである可能性が高く、類似度が低い画像同士ほど別クラスである可能性が高い。第１実施形態では、人物を含む画像を分類する場合について説明する。

第１閾値設定部１０２は、クラスタリング部１０１による分類処理に使用される第１閾値を設定する。第１閾値設定部１０２は、例えば画像とクラスとが与えられているデータを使用して、同一クラス内での画像の類似度と、異なるクラス間の画像での類似度とに基づいて第１閾値を決定する。

サブクラスタリング部１０３は、上述の類似度と、第１閾値よりも高い第２閾値とに基づいて、クラスタ内の画像を、複数のサブクラスタに更に分類する。これにより、各クラスタ内において酷似したデータを集約することでき、同一カテゴリ（クラスタ）に含まれる多様なデータを選別して表示可能にすることができる。

第２閾値設定部１０４は、サブクラスタリング部１０３による分類処理に使用される第２閾値を設定する。第２閾値は、例えばあらかじめ正解を準備しておいたデータ（画像とクラスとが関連付けられたデータ）から決めることができる。サブクラスタリング部１０３の目的は同一クラス（クラスタ）内の画像を分類することである。そのため、第２閾値設定部１０４は、画像を異なるクラスに分類するクラスタリング部１０１の第１閾値よりも、第２閾値を高い値に設定する。

また例えば、この第２閾値は、表示制御部１０５により表示部１０６に表示された分類結果に基づいて調整されてもよい。この場合、第２閾値設定部１０４は、分類結果に基づいて調整された第２閾値をユーザから受け付け、当該第２閾値をサブクラスタリング部１０３に設定する。そして、サブクラスタリング部１０３が、処理を再度実行し、必要に応じて第２閾値の再設定、及び、サブクラスタリング処理の再実行を繰り返す。

表示制御部１０５は、例えば、クラスタに含まれる画像の代表を示すクラスタ代表と、サブクラスタに含まれる画像の代表を示すサブクラスタ代表とを含む表示情報を、表示部１０６に表示する。

表示部１０６は、例えば液晶ディスプレイ及びタッチパネル等により実現される。なお、表示部１０６は、表示制御装置１０に備えられていてもよいし、表示制御装置１０の外部の装置により実現されていてもよい。

［クラスタリング部の処理の例］
図２は第１実施形態のクラスタリング部１０１の処理の例を示すフローチャートである。はじめに、クラスタリング部１０１が、クラスタに分類される画像ｘを受け付ける（ステップＳ１）。次に、クラスタリング部１０１は、クラスタ数＞０であるか否かを判定する（ステップＳ２）。

クラスタ数＞０である場合（ステップＳ２，Ｙｅｓ）、クラスタリング部１０１は、各クラスタに含まれる画像の特徴量の平均と、画像ｘの特徴量との類似度を計算する（ステップＳ３）。

類似度が第１閾値より大きい場合（ステップＳ４，Ｙｅｓ）、クラスタリング部１０１は、クラスタに画像ｘを追加し（ステップＳ５）、当該クラスタの平均を更新する（ステップＳ６）。具体的には、クラスタリング部１０１は、クラスタｃ毎に、平均ｍ（ｃ）とデータ数ｎ（ｃ）とを管理し、平均ｍ（ｃ）と画像ｘとの類似度が第１閾値を超えた場合は、画像ｘがクラスタｃに所属すると判定する。画像ｘの追加処理は、例えば、ｍ（ｃ）＝（ｎ（ｃ）ｍ（ｃ）＋ｘ）／（ｎ（ｃ）＋１），ｎ（ｃ）＝ｎ（ｃ）＋１として各クラスタのデータを更新すればよい。なお、平均ｍ（ｃ）及びデータ数ｎ（ｃ）の初期値はいずれも０とする。

クラスタ数＞０でない場合（ステップＳ２，Ｙｅｓ）、又は、類似度が第１閾値以下の場合（ステップＳ４，Ｎｏ）、クラスタリング部１０１は、画像ｘを含む新しいクラスタを作成し（ステップＳ７）、当該新しいクラスタの平均を画像ｘの特徴量とする（ステップＳ８）。

［サブクラスタリング部の処理の例］
図３は第１実施形態のサブクラスタリング部１０３の処理の例を示すフローチャートである。図４はサブクラスタに分類された複数の画像のデータ構造の例を示す図である。図４に示すように、サブクラスタに分類された複数の画像は木構造になっている。木に含まれる各ノードを接続する枝は縦方向（第１方向）、横方向（第２方向）の２種類がある。図３のフローチャートの処理により、類似度が第２閾値より大きい画像同士は横方向の枝で接続されるように木が構築される。これにより、同一階層（図４の横方向のノード）には、画像同士の類似度がより高い画像が集まるようになる。

サブクラスタリング部１０３は、木の根（ｒｏｏｔ）の位置（図４の例では、サブクラスタ－１のサブクラスタ代表が記憶されるノード）から画像ｘの追加処理を開始する。

はじめに、サブクラスタリング部１０３が、サブクラスタに分類される画像ｘを受け付ける（ステップＳ２１）。次に、サブクラスタリング部１０３は、木の終端であるか否かを判定する（ステップＳ２２）。終端である場合（ステップＳ２２，Ｙｅｓ）、ステップＳ３０の処理に進む。

終端でない場合（ステップＳ２２，Ｎｏ）、サブクラスタリング部１０３は、サブクラスタ代表ノードとの類似度を計算する（ステップＳ２３）。次に、サブクラスタリング部１０３は、類似度が第２閾値より大きいか否かを判定する（ステップＳ２４）。

類似度が第２閾値以下の場合（ステップＳ２４，Ｎｏ）、比較対象を縦方向の枝のノードへ移動する（ステップＳ２５）。すなわち、サブクラスタリング部１０３は、新たな画像を分類するときに、サブクラスタ代表との類似度が第２閾値を超えない場合は、当該サブクラスタに含まれる画像と、新たな画像との類似度計算を行わない。これにより、冗長な類似度計算を削減することができ、画像ｘの追加（分類）に係る処理を高速化できる。ステップＳ２５の実行後、処理はステップＳ２２に戻る。

類似度が第２閾値より大きい場合（ステップＳ２４，Ｙｅｓ）、比較対象を横方向の枝のノードへ移動する（ステップＳ２６）。次に、サブクラスタリング部１０３は、木の終端であるか否かを判定する（ステップＳ２７）。終端である場合（ステップＳ２７，Ｙｅｓ）、ステップＳ３０の処理に進む。

終端でない場合（ステップＳ２７，Ｎｏ）、サブクラスタリング部１０３は、ステップＳ２３の処理により計算された類似度が、サブクラスタ代表と比較ノードの画像との類似度よりも大きいか否かを判定する（ステップＳ２８）。ステップＳ２３の処理により計算された類似度が、サブクラスタ代表と比較ノードの画像との類似度以下の場合（ステップＳ２８，Ｎｏ）、処理はステップＳ２６に戻る。ステップＳ２３の処理により計算された類似度が、サブクラスタ代表と比較ノードの画像との類似度より大きい場合（ステップＳ２８，Ｙｅｓ）、サブクラスタリング部１０３は、画像ｘを記憶するノードを作成し、当該ノードを比較ノードよりも前に挿入することにより、画像ｘを木に追加し（ステップＳ２９）、処理はステップＳ３１に進む。

終端である場合（ステップＳ２２，Ｓ２７，Ｙｅｓ）、サブクラスタリング部１０３は、画像ｘを記憶する終端ノードを作成し、画像ｘを木に追加する（ステップＳ３０）。

次に、サブクラスタリング部１０３は、画像ｘが追加されたサブクラスタのサブクラスタ代表を更新する（ステップＳ３１）。例えば、サブクラスタリング部１０３は、画像ｘが追加されたサブクラスタの平均を更新し、当該平均に最も近い画像を当該サブクラスタのサブクラスタ代表として選択する。

次に、サブクラスタリング部１０３は、縦方向の枝（サブクラスタ代表同士が接続された枝）の接続順序を、サブクラスタを含むクラスタのクラスタ代表との類似度が高い順に並べ変える（ステップＳ３２）。

上述の図３のフローチャートの処理によって、クラスタ代表に最も類似するサブクラスタ代表を根とし、クラスタ代表との類似度が高い順にサブクラスタ代表同士が縦方向（第１方向）に接続され、サブクラスタに含まれる画像は、サブクラスタ代表との類似度が高い順に横方向（第２方向）に接続された木構造が形成される。

なお、上述の図３のフローチャートは一例であり、クラスタ内で複数のサブクラスタに分類された画像を記憶する木構造を、他の処理方法に従って形成してもよい。

［表示情報の例］
図５は第１実施形態の表示情報の例を示す図である。図５に示すように、クラスタリング部１０１で得られたクラスタ毎に、クラスタ代表と、サブクラスタ代表と、サブクラスタ内の画像とを含む表示情報が表示部１０６に表示される。

表示制御部１０５が、各サブクラスタ代表を、クラスタ代表との類似度が高い順番に表示することで、平均的な画像（クラスタ代表を示す画像）に近い順にデータを目視確認することができる。また、表示制御部１０５が、サブクラスタ内の画像をサブクラスタ代表との類似度が近い順に、所定の数、表示することで、サブクラスタに含まれる画像の傾向を確認することができる。サブクラスタ代表の画像、及び、サブクラスタ内の画像が、図５に示すように表示されることで、例えば外れ画像（クラスタ代表との類似度がより低い画像）を目視確認することも容易になる。

また、表示制御部１０５が、表示される画像の個数を制御することで、画像確認の網羅性と確認作業との効率を調節することもできる。なお、表示される画像の個数は０個に設定されてもよい。この場合、クラスタリング部１０１で得られたクラスタ毎に、クラスタ代表と、サブクラスタ代表とを含む表示情報が表示部１０６に表示される。

以上、説明したように、第１実施形態の表示制御装置１０では、クラスタリング部１０１が、画像の類似度と第１閾値とに基づいて、画像を複数のクラスタに分類する。サブクラスタリング部１０３が、類似度と、第１閾値よりも高い第２閾値とに基づいて、クラスタ内の画像を、複数のサブクラスタに更に分類する。そして、表示制御部１０５が、クラスタに含まれる画像の代表を示すクラスタ代表と、サブクラスタに含まれる画像の代表を示すサブクラスタ代表とを含む表示情報を表示部１０６に表示する。

これにより第１実施形態の表示制御装置１０によれば、カテゴリ（クラスタ）間の類似関係だけでなく、同一カテゴリ内の画像どうしの関係性についても、より容易に把握することができる。具体的には、例えば、顔画像の場合には同一カテゴリ内、すなわち、ある個人の顔画像データの集合においても、人物の顔の向き、表情、マスク・サングラスなどの装着物の有無などといった差異がある。これらの画像を類似した画像ごとにサブクラスタに分類し、当該サブクラスタのサブクラスタ代表を参照することによって、冗長な顔画像を除外しつつ、多様な条件の顔画像を得ることができる。

（第２実施形態）
次に第２実施形態について説明する。第２実施形態の説明では、第１実施形態と同様の説明については省略し、第１実施形態と異なる箇所について説明する。第２実施形態では、サブクラスタリング部１０３の処理によって冗長な人物画像をまとめることによって、動画中の人物画像を要約する場合を例にして説明する。第２実施形態では、顔画像認識技術によって、顔の検出や個人識別のための特徴量計算を用いる場合について述べるが、人物の全身を検出して個人識別のための特徴量を用いる方法にも適用することができる。

［機能構成の例］
図６は第２実施形態の表示制御装置１０－２の機能構成の例を示す図である。第２実施形態の表示制御装置１０－２は、計算部１００、クラスタリング部１０１、第１閾値設定部１０２、サブクラスタリング部１０３、第２閾値設定部１０４、表示制御部１０５、表示部１０６、検出部２００、抽出部２０１及び修正部２０２を備える。第２実施形態では、第１実施形態の構成に、更に検出部２００、抽出部２０１及び修正部２０２が追加されている。

検出部２００は、画像から顔を検出する。抽出部２０１は、検出部２００により検出された顔の特徴を示す特徴量を抽出する。

修正部２０２は、表示情報から選択された１以上の画像の削除、又は、表示情報から選択された１以上の画像を含むクラスタ又はサブクラスタの変更を行う。

［表示情報の例］
図７は第２実施形態の修正前の表示情報の例を示す図である。第２実施形態では、登録修正画面２１０が追加されている。図７の表示情報は、クラスタＩＤ＝１のクラスタと、クラスタＩＤ＝２のクラスタとを含む。図７の例のように、人物がサングラス等を身に付けている場合、同一人物が別々のクラスタに分類されてしまうエラー（誤分類）が発生する場合がある。このような場合を想定し、表示情報に、登録修正画面２１０を設けておくことによって、ユーザが適宜、分類結果を修正することができる。図７の例は、登録修正画面２１０で、画像２１１の選択と、当該画像２１１に対する氏名「○○さん」の設定とを受け付ける場合を示す。

図８は第２実施形態の修正後の表示情報の例を示す図である。図８の例は、クラスタ代表の画像２１１を含むクラスタＩＤ＝２のクラスタが、クラスタＩＤ＝１のクラスタのサブクラスタに変更されている。図７の登録修正画面２１０で、画像２１１の選択と、当該画像２１１に対する氏名「○○さん」の設定とを受け付けると、修正部２０２が、クラスタ代表の画像２１１を含むクラスタＩＤ＝２のクラスタを、氏名「○○さん」を有するクラスタＩＤ＝１のクラスタのサブクラスタ（ＩＤ＝３）として、クラスタＩＤ＝１のクラスタに統合する。

なお、修正部２０２によりクラスタの統合が行われた場合、追加された画像と統合先のクラスタの画像との類似度は、元々、統合先に含まれていた画像同士の類似度よりも低いため、クラスタの平均（クラスタ代表を示す画像）を更新しなくてもよい。追加された画像を外れ値とみなし、当該外れ値を用いて画像の平均を更新しないことにより、より適切に画像のクラスタリングを行うことができる。

また例えば、図７の例とは逆に、同一人物毎のクラスタに、別の人物が含まれているエラー（誤分類）があった場合にも、ユーザは、表示部１０６に表示された表示情報を確認し、登録修正画面２１０から分類結果を修正できる。修正部２０２が、登録修正画面２１０での入力に応じて、別の人物を別のクラスタに分ける修正をすることにより、例えば分類結果から、映像中の人物を見つけるときの人物の見逃しを防ぐことができる。

（第２実施形態の変形例）
次に第２実施形態の変形例について説明する。変形例の説明では、第２実施形態と同様の説明については省略し、第２実施形態と異なる箇所について説明する。変形例では、表示制御部１０５により表示された表示情報を、人物検索ＤＢ（データベース）に利用する場合について説明する。

［機能構成の例］
図９は第２実施形態の変形例の表示制御装置１０－３の機能構成の例を示す図である。変形例の表示制御装置１０－３は、計算部１００、クラスタリング部１０１、第１閾値設定部１０２、サブクラスタリング部１０３、第２閾値設定部１０４、表示制御部１０５、表示部１０６、検出部２００、抽出部２０１、修正部２０２、登録制御部２０３、人物検索ＤＢ２０４及び検索部２０５を備える。変形例では、第２実施形態の構成に、更に登録制御部２０３、人物検索ＤＢ２０４及び検索部２０５が追加されている。

クラスタリング部１０１及びサブクラスタリング部１０３は、既存の画像に対してクラスタリング処理及びサブクラスタリング処理を行い、クラスタ代表及びサブクラスタ代表を決定する。

表示制御部１０５は、サブクラスタ代表をユーザに提示する表示情報を表示部１０６に表示する。

登録制御部２０３は、表示制御部１０５により表示された表示情報から選択された１以上の画像を、ＩＤ及び付加情報（属性情報）等とともに人物検索ＤＢ２０４に登録する。サブクラスタリングによって得られた表示情報から、人物検索ＤＢ２０４に登録する画像を選択可能にすることにより、同一クラス（クラスタ）内で様々な変動を有する画像から、人物検索に適切な画像を選別することが容易になり、検索精度の向上が期待できる。

人物検索ＤＢ２０４には、例えば画像、ＩＤ及び付加情報が関連付けて記憶される。画像は、例えば顔を含む人物画像である。ＩＤは画像を識別する情報である。付加情報は、例えば性別、年齢、人種、表情、眼鏡など着用物の有無、髪型及び服装などの付加的な情報である。

検索部２０５は、監視カメラ等により撮像された撮像画像に含まれる人物を、人物検索ＤＢ２０４から検索する。例えば、検索部２０５は、撮像画像に含まれる人物と、人物検索ＤＢ２０４の画像に含まれる人物との類似度に基づいて、人物検索ＤＢ２０４から人物を検索する。

図１０は第２実施形態の変形例の登録制御部２０３の動作を説明するための図である。図１０の例では、サブクラスタ代表を示す４つの画像を含む表示情報が表示制御部１０５によって表示されている。図１０の例では、表示情報から画像２１２が選択され、登録制御部２０３によって、画像２１２が人物検索ＤＢ２０４に登録されている。

図１１は第２実施形態の変形例の検索部の動作を説明するための図である。図１１の例では、検索部２０５が、監視カメラにより撮像された人物２１４を含む画像に類似する画像を、人物検索ＤＢ２０４から検索する場合を示す。図１１の例は、表示制御部１０５が、人物２１４との類似度が高い順に画像２１２及び２１３を、検索結果として表示する場合を示す。

図１２は第２実施形態の変形例の表示情報の例を示す図である。図１２は、サブクラスタ代表を示す表示情報の例である。サブクラスタ代表を示す画像に、別の人物の画像（図１２では画像２２０）が含まれている場合でも、別の人物の画像の選択し、上述の登録修正画面２１０で修正することによって、別の人物の画像を別のクラスタに分けることができる。

最後に、第１及び第２実施形態の表示制御装置１０のハードウェア構成の例について説明する。

［ハードウェア構成の例］
図１３は第１及び第２実施形態の表示制御装置１０のハードウェア構成の例を示す図である。

表示制御装置１０は、制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６を備える。制御装置３０１、主記憶装置３０２、補助記憶装置３０３、表示装置３０４、入力装置３０５及び通信装置３０６は、バス３１０を介して接続されている。

制御装置３０１は、補助記憶装置３０３から主記憶装置３０２に読み出されたプログラムを実行する。主記憶装置３０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリである。補助記憶装置３０３は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、及び、メモリカード等である。

表示装置３０４は表示情報を表示する。表示装置３０４は、例えば液晶ディスプレイ等である。入力装置３０５は、コンピュータを操作するためのインタフェースである。入力装置３０５は、例えばキーボードやマウス等である。コンピュータがスマートフォン及びタブレット型端末等のスマートデバイスの場合、表示装置３０４及び入力装置３０５は、例えばタッチパネルである。通信装置３０６は、他の装置と通信するためのインタフェースである。

コンピュータで実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、メモリカード、ＣＤ－Ｒ及びＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記憶媒体に記録されてコンピュータ・プログラム・プロダクトとして提供される。

またコンピュータで実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。またコンピュータで実行されるプログラムをダウンロードさせずにインターネット等のネットワーク経由で提供するように構成してもよい。

またコンピュータで実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。

コンピュータで実行されるプログラムは、上述の表示制御装置１０の機能構成（機能ブロック）のうち、プログラムによっても実現可能な機能ブロックを含むモジュール構成となっている。当該各機能ブロックは、実際のハードウェアとしては、制御装置３０１が記憶媒体からプログラムを読み出して実行することにより、上記各機能ブロックが主記憶装置３０２上にロードされる。すなわち上記各機能ブロックは主記憶装置３０２上に生成される。

なお上述した各機能ブロックの一部又は全部をソフトウェアにより実現せずに、ＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等のハードウェアにより実現してもよい。

また複数のプロセッサを用いて各機能を実現する場合、各プロセッサは、各機能のうち１つを実現してもよいし、各機能のうち２つ以上を実現してもよい。

また表示制御装置１０を実現するコンピュータの動作形態は任意でよい。例えば、表示制御装置１０を１台のコンピュータにより実現してもよい。また例えば、表示制御装置１０を、ネットワーク上のクラウドシステムとして動作させてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ 計算部
１０１ クラスタリング部
１０２ 第１閾値設定部
１０３ サブクラスタリング部
１０４ 第２閾値設定部
１０５ 表示制御部
１０６ 表示部
２００ 検出部
２０１ 抽出部
２０２ 修正部
２０３ 登録制御部
２０４ 人物検索ＤＢ
２０５ 検索部
３０１ 制御装置
３０２ 主記憶装置
３０３ 補助記憶装置
３０４ 表示装置
３０５ 入力装置
３０６ 通信装置
３１０ バス

Claims (15)

1. 画像の類似度と第１閾値とに基づいて、前記画像を複数のクラスタに分類するクラスタリング部と、
   前記類似度と、前記第１閾値よりも高い第２閾値とに基づいて、前記クラスタ内の前記画像を、複数のサブクラスタに更に分類するサブクラスタリング部と、
   前記クラスタに含まれる画像の代表を示すクラスタ代表と、前記サブクラスタに含まれる画像の代表を示すサブクラスタ代表とを含む表示情報を、表示部に表示する表示制御部と、を備え、
   前記サブクラスタリング部によって分類された複数の画像は、前記クラスタ代表に最も類似するサブクラスタ代表を根とし、前記クラスタ代表との類似度が高い順にサブクラスタ代表同士が第１方向に接続され、第１の前記サブクラスタ代表を持つ第１の前記サブクラスタに含まれる画像は、前記第１のサブクラスタ代表との類似度が高い順に第２方向に接続される木構造を有し、
   前記サブクラスタリング部は、新たな画像を分類するときに、前記第１のサブクラスタ代表との類似度が前記第２閾値を超えない場合は、前記第１のサブクラスタに含まれる画像と、前記新たな画像との類似度計算を行わない、
   表示制御装置。
2. 前記表示制御部は、前記第１のサブクラスタに含まれる画像を、前記第１のサブクラスタ代表との類似度が高い順に所定の数、表示する、
   請求項１に記載の表示制御装置。
3. 前記画像は人物を含み、
   前記クラスタリング部は、前記画像に含まれる前記人物の類似度と、前記第１閾値とに基づいて、前記画像を前記人物毎に前記複数のクラスタに分類し、
   前記サブクラスタリング部は、前記画像に含まれる前記人物の類似度と、前記第２閾値とに基づいて、前記画像を前記複数のサブクラスタに分類する、
   請求項１又は２に記載の表示制御装置。
4. 前記表示情報から選択された１以上の画像を、人物検索データベースに登録する登録制御部、
   を更に備える請求項３に記載の表示制御装置。
5. 前記表示情報から選択された１以上の画像の削除、又は、前記表示情報から選択された１以上の画像を含むクラスタ又はサブクラスタの変更を行う修正部、
   を更に備える請求項１乃至４のいずれか１項に記載の表示制御装置。
6. 表示制御装置が、画像の類似度と第１閾値とに基づいて、前記画像を複数のクラスタに分類するステップと、
   前記表示制御装置が、前記類似度と、前記第１閾値よりも高い第２閾値とに基づいて、前記クラスタ内の前記画像を、複数のサブクラスタに更に分類するステップと、
   前記表示制御装置が、前記クラスタに含まれる画像の代表を示すクラスタ代表と、前記サブクラスタに含まれる画像の代表を示すサブクラスタ代表とを含む表示情報を、表示部に表示するステップと、を含み、
   前記複数のサブクラスタに更に分類するステップによって分類された複数の画像は、前記クラスタ代表に最も類似するサブクラスタ代表を根とし、前記クラスタ代表との類似度が高い順にサブクラスタ代表同士が第１方向に接続され、第１の前記サブクラスタ代表を持つ第１の前記サブクラスタに含まれる画像は、前記第１のサブクラスタ代表との類似度が高い順に第２方向に接続される木構造を有し、
   複数のサブクラスタに更に分類するステップは、新たな画像を分類するときに、前記第１のサブクラスタ代表との類似度が前記第２閾値を超えない場合は、前記第１のサブクラスタに含まれる画像と、前記新たな画像との類似度計算を行わない、
   表示制御方法。
7. 前記表示するステップは、前記第１のサブクラスタに含まれる画像を、前記第１のサブクラスタ代表との類似度が高い順に所定の数、表示する、
   請求項６に記載の表示制御方法。
8. 前記画像は人物を含み、
   前記複数のクラスタに分類するステップは、前記画像に含まれる前記人物の類似度と、前記第１閾値とに基づいて、前記画像を前記人物毎に前記複数のクラスタに分類し、
   前記複数のサブクラスタに更に分類するステップは、前記画像に含まれる前記人物の類似度と、前記第２閾値とに基づいて、前記画像を前記複数のサブクラスタに分類する、
   請求項６又は７に記載の表示制御方法。
9. 前記表示情報から選択された１以上の画像を、人物検索データベースに登録するステップ、
   を更に含む請求項８に記載の表示制御方法。
10. 前記表示情報から選択された１以上の画像の削除、又は、前記表示情報から選択された１以上の画像を含むクラスタ又はサブクラスタの変更を行うステップ、
    を更に含む請求項６乃至９のいずれか１項に記載の表示制御方法。
11. コンピュータを、
    画像の類似度と第１閾値とに基づいて、前記画像を複数のクラスタに分類するクラスタリング部と、
    前記類似度と、前記第１閾値よりも高い第２閾値とに基づいて、前記クラスタ内の前記画像を、複数のサブクラスタに更に分類するサブクラスタリング部と、
    前記クラスタに含まれる画像の代表を示すクラスタ代表と、前記サブクラスタに含まれる画像の代表を示すサブクラスタ代表とを含む表示情報を、表示部に表示する表示制御部、として機能させ、
    前記サブクラスタリング部によって分類された複数の画像は、前記クラスタ代表に最も類似するサブクラスタ代表を根とし、前記クラスタ代表との類似度が高い順にサブクラスタ代表同士が第１方向に接続され、第１の前記サブクラスタ代表を持つ第１の前記サブクラスタに含まれる画像は、前記第１のサブクラスタ代表との類似度が高い順に第２方向に接続される木構造を有し、
    前記サブクラスタリング部は、新たな画像を分類するときに、前記第１のサブクラスタ代表との類似度が前記第２閾値を超えない場合は、前記第１のサブクラスタに含まれる画像と、前記新たな画像との類似度計算を行わない、
    プログラム。
12. 前記表示制御部は、前記第１のサブクラスタに含まれる画像を、前記第１のサブクラスタ代表との類似度が高い順に所定の数、表示する、
    請求項１１に記載のプログラム。
13. 前記画像は人物を含み、
    前記クラスタリング部は、前記画像に含まれる前記人物の類似度と、前記第１閾値とに基づいて、前記画像を前記人物毎に前記複数のクラスタに分類し、
    前記サブクラスタリング部は、前記画像に含まれる前記人物の類似度と、前記第２閾値とに基づいて、前記画像を前記複数のサブクラスタに分類する、
    請求項１１又は１２に記載のプログラム。
14. 前記表示情報から選択された１以上の画像を、人物検索データベースに登録する登録制御部、
    として更に機能させる請求項１３に記載のプログラム。
15. 前記表示情報から選択された１以上の画像の削除、又は、前記表示情報から選択された１以上の画像を含むクラスタ又はサブクラスタの変更を行う修正部、
    として更に機能させる請求項１１乃至１４のいずれか１項に記載のプログラム。

Images