JP7012628B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

Description

本発明は、画像群に写っている複数の人物を、その人物が属するグループに分類し、さらにグループ毎に、画像群に含まれる画像を分類する画像処理装置、画像処理方法、プログラムおよび記録媒体に関する。

例えば、結婚披露宴のように、多数の人物が参列し、カメラマン等により、その多数の人物が写っている非常に多数の画像（写真）が撮影される場合がある。また、撮影された画像を記念として参列者に送付したい場合がある。

従来技術として、米国において発表されたGoogleフォトのアプリケーションのサービスにおいては、ユーザが保存している画像のうち、人物の顔が写っている顔画像等から、顔認識により、その画像に写っている人物を認識し、その人物の連絡先が分かっている場合に、その人物と画像を共有すべき旨のリコメンドを出すことができる（非特許文献１参照）。

前述の結婚披露宴においては、主役である新郎新婦を中心人物として、例えば新郎新婦の両親、親戚、職場の同僚、学生時代の友人等のように、新郎新婦と様々な関係性を持つ複数のグループの人物が招待され、画像に写される。

しかし、カメラマンは、複数のグループの人物の関係性を全て理解しているわけではないし、たとえ理解しているとしても新郎新婦を美しく撮影することに集中していて、グループを意識して画像を撮影するとは限らない。また、撮影される画像が多数であることから、カメラマンも新郎新婦も、多数の画像を分類して、グループ毎に、そのグループに属する人物が写っている画像を配るということを手作業で行うのは現実的ではない。

人物毎に、その人物が写っている画像のグループに分類することは従来技術により可能かもしれない。しかし、実際には、ある人物が、他のグループに属する人物が主に写っている画像にたまたま写り込んでいたり、自分のグループに属する人物が主に写っている画像が撮影された時にたまたま席を外していたりすることもある。そのある人物にとって前者はあまり価値のある画像ではなく、後者は自分が写っていなくても価値のある画像である場合がある。

ここで、本発明に関連性のある先行技術文献として、特許文献１，２がある。

特許第４４９０２１４号公報 特許第４３３３４８１号公報

Anil Sabharwal 、"500 million people using Google Photos, and three new ways to share"、［online］、２０１７年５月１７日、Google Photos、［平成３０年５月１日検索］、インターネット<URL:https://blog.google/products/photos/google-photos-500-million-new-sharing/>

本発明の第１の目的は、画像群に写っている複数の人物をグループに分類することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。
本発明の第２の目的は、上記第１の目的に加えて、グループ毎に、画像群に含まれる画像を分類することができる画像処理装置、画像処理方法、プログラムおよび記録媒体を提供することにある。

上記目的を達成するために、本発明は、画像群の入力を受け付ける画像群受付部と、
画像群に写っている複数の人物を判別する人物判別部と、
画像群に含まれる画像毎に、人物判別部による複数の人物の判別結果に基づいて、複数の人物のうちの２以上の人物が画像に写っている場合に、２以上の人物が画像において共起関係にあることを表す共起関係情報を記憶する共起関係記憶部と、
複数の人物のうちの２人の人物の順列毎に、画像における共起関係情報の全てに基づいて、２人の人物の画像群における共起関係の強さを表す共起スコアを算出する共起スコア算出部と、
２人の人物の順列の画像群における共起スコアの全てに基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類する人物分類部と、を備える、画像処理装置を提供する。

ここで、共起関係記憶部は、画像毎に、共起関係情報として、複数の人物の各々が画像に写っているか否かを表すフラグを記憶することが好ましい。

また、共起スコア算出部は、画像毎に、ｎを２以上の整数として、２人の人物を含むｎ人の人物が画像に写っている場合に、２人の人物の順列の画像における共起スコアを１／（ｎ－１）により算出し、２人の人物が画像に写っていない場合に、２人の人物の順列の画像における共起スコアを０とし、２人の人物の順列の画像における共起スコアの全てを加算することにより、２人の人物の順列の画像群における共起スコアを算出することが好ましい。

また、人物分類部は、
複数の人物に含まれる人物毎に、人物と人物以外の各人物とからなる２人の人物の順列の画像群における共起スコアの全てを加算することにより人物の共起スコアの総合値を算出し、
人物毎に、人物と人物以外の各人物とからなる２人の人物の順列の画像群における共起スコアの各々を人物の共起スコアの総合値で割ることにより規格化し、
人物と人物以外の各人物とからなる２人の人物の順列の規格化された共起スコアの全てに基づいて、複数の人物をグループに分類することが好ましい。

また、人物分類部は、
人物毎に、人物と人物以外の各人物とからなる第１の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較し、
第１の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較する毎に、第１の２人の人物の２通りの順列の少なくとも一方の規格化された共起スコアが第１しきい値以上である場合、第１の２人の人物を同じグループに分類し、第１の２人の人物の２通りの順列の両方の規格化された共起スコアが第１しきい値未満である場合、第１の２人の人物を異なるグループに分類し、さらに、第１の２人の人物を既存のグループに分類できるか否かを確認し、
第１の２人の人物を既存のグループに分類できるか否かを確認する場合、
第１の２人の人物に含まれる人物毎に、人物と既存のグループに属する各人物とからなる第２の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較し、
全ての第２の２人の人物の２通りの順列の少なくとも一方の規格化された共起スコアが第１しきい値以上である場合に、第２の２人の人物および既存のグループに属する人物を同じグループに分類し、全ての第２の２人の人物の中に、２通りの順列の両方の規格化された共起スコアが第１しきい値未満である第２の２人の人物が存在する場合に、第２の２人の人物を既存のグループに属する人物とは異なるグループに分類することが好ましい。

また、人物分類部は、
共起スコアの最大値が大きい人物の順に、人物毎に、人物と人物以外の各人物とからなる第１の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較し、
全ての第２の２人の人物について、第２の２人の人物の２通りの順列の少なくとも一方の規格化された共起スコアが第１しきい値以上である場合に、既存のグループを第１グループとし、第２の２人の人物を、第１グループに属する人物を包含する第２グループに分類することが好ましい。

また、人物分類部は、既存のグループを第１グループとし、第２の２人の人物を、第１グループに属する人物を包含する第２グループに分類することを２回以上繰り返すことが好ましい。

また、人物分類部は、各々のグループについて、グループに属する２人の人物の組み合わせ毎に、組み合わせの２人の人物の２通りの順列の規格化された共起スコアに基づいて、組み合わせの２人の人物をレベルに分類することが好ましい。

また、人物分類部は、組み合わせの２人の人物の２通りの順列のうちの少なくとも一方の順列の規格化された共起スコアが第１しきい値以上である場合に、組み合わせの２人の人物の２通りの順列のうちの一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差と、第２しきい値とを比較した結果、差が第２しきい値以上である場合に、組み合わせの２人の人物を異なるレベルに分類し、差が第２しきい値未満である場合に、組み合わせの２人の人物を同じレベルに分類することが好ましい。

また、第１しきい値として、画像処理装置において単一の固定値が設定されていることが好ましい。

さらに、ユーザの指示を受け付ける指示受付部を備え、
第１しきい値は、ユーザの指示に応じて設定されることが好ましい。

また、指示受付部は、第１しきい値を入力するためのボックスを備えることが好ましい。

また、指示受付部はスライダバーを備え、スライダバーを移動させることにより、第１しきい値が変更されることが好ましい。

さらに、グループ毎に、グループに属する人物を表示する人物表示部を備え、
人物分類部は、ユーザの指示に応じて第１しきい値が変更された場合に、変更された第１しきい値に基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類し、
人物表示部は、変更された第１しきい値に基づいて分類されたグループ毎に、グループに属する人物を表示することが好ましい。

また、第１しきい値は、１／｛（画像群に写っている人物の総数＋画像群における画像１枚当たりの人物の登場回数）／２－１｝により算出されることが好ましい。

また、第２しきい値として、画像処理装置において単一の固定値が設定されていることが好ましい。

さらに、ユーザの指示を受け付ける指示受付部を備え、
第２しきい値は、ユーザの指示に応じて設定されることが好ましい。

また、指示受付部は、第２しきい値を入力するためのボックスを備えることが好ましい。

また、指示受付部はスライダバーを備え、スライダバーを移動させることにより、第２しきい値が変更されることが好ましい。

さらに、レベル毎に、レベルに属する人物を表示する人物表示部を備え、
人物分類部は、ユーザの指示に応じて第２しきい値が変更された場合に、変更された第２しきい値に基づいて組み合わせの２人の人物をレベルに分類し、
人物表示部は、変更された第２しきい値に基づいて分類されたレベル毎に、レベルに属する人物を表示することが好ましい。

また、第２しきい値は、１／｛（画像群に写っている人物の総数＋画像群における画像１枚当たりの人物の登場回数）／２－１｝により算出されることが好ましい。

さらに、グループ毎に、画像群の中から、グループに属する１以上の人物が写っている画像を特定する画像特定部と、
複数の人物の中から、一定の条件を満たす１以上の人物を特定人物として特定する人物特定部と、
グループ毎に、グループに属する１以上の人物が写っている画像の中から、特定人物が写っている画像なのか否かに基づいて一部の画像を選択する画像選択部と、を備えることが好ましい。

また、人物分類部により、第１グループに属する人物を包含する第２グループが形成された場合、人物特定部は、第１グループに属する人物が、第２グループにおける特定人物であると特定することが好ましい。

さらに、ユーザの指示を受け付ける指示受付部を備え、
人物特定部は、ユーザの指示によって指定された人物を特定人物として特定することが好ましい。

また、人物特定部は、画像群における登場回数が最も多い人物を中心人物として、中心人物から画像群における登場回数が多い順に１以上の人物を特定人物として特定することが好ましい。

また、画像選択部は、グループに属する１以上の人物が写っている画像の中から、特定人物の少なくとも１人とグループに属する特定人物以外の少なくとも１人の人物とが一緒に写っている画像と、グループに属する特定人物以外の少なくとも１人の人物が写っている画像と、特定人物の少なくとも１人が写っている画像および特定人物の少なくとも１人とグループに属さない少なくとも１人の人物とが一緒に写っている画像のうちの一定の条件を満たす一部の画像と、を選択することが好ましい。

また、画像選択部は、一部の画像として、最も画質がよい画像から画質がよい順に１以上の画像を選択することが好ましい。

また、本発明は、画像群受付部が、画像群の入力を受け付けるステップと、
人物判別部が、画像群に写っている複数の人物を判別するステップと、
共起関係記憶部が、画像群に含まれる画像毎に、人物判別部による複数の人物の判別結果に基づいて、複数の人物のうちの２以上の人物が画像に写っている場合に、２以上の人物が画像において共起関係にあることを表す共起関係情報を記憶するステップと、
共起スコア算出部が、複数の人物のうちの２人の人物の順列毎に、画像における共起関係情報の全てに基づいて、２人の人物の画像群における共起関係の強さを表す共起スコアを算出するステップと、
人物分類部が、２人の人物の順列の画像群における共起スコアの全てに基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類するステップと、を含む、画像処理方法を提供する。

ここで、グループに分類するステップは、
複数の人物に含まれる人物毎に、人物と人物以外の各人物とからなる２人の人物の順列の画像群における共起スコアの全てを加算することにより人物の共起スコアの総合値を算出するステップと、
人物毎に、人物と人物以外の各人物とからなる２人の人物の順列の画像群における共起スコアの各々を人物の共起スコアの総合値で割ることにより規格化するステップと、
人物と人物以外の各人物とからなる２人の人物の順列の規格化された共起スコアの全てに基づいて、複数の人物をグループに分類するステップと、を含むことが好ましい。

また、グループに分類するステップは、
人物毎に、人物と人物以外の各人物とからなる第１の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較するステップと、
第１の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較する毎に、第１の２人の人物の２通りの順列の少なくとも一方の規格化された共起スコアが第１しきい値以上である場合、第１の２人の人物を同じグループに分類し、第１の２人の人物の２通りの順列の両方の規格化された共起スコアが第１しきい値未満である場合、第１の２人の人物を異なるグループに分類し、さらに、第１の２人の人物を既存のグループに分類できるか否かを確認するステップと、を含み、
第１の２人の人物を既存のグループに分類できるか否かを確認する場合、
第１の２人の人物に含まれる人物毎に、人物と既存のグループに属する各人物とからなる第２の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較するステップと、
全ての第２の２人の人物の２通りの順列の少なくとも一方の規格化された共起スコアが第１しきい値以上である場合に、第２の２人の人物および既存のグループに属する人物を同じグループに分類し、全ての第２の２人の人物の中に、２通りの順列の両方の規格化された共起スコアが第１しきい値未満である第２の２人の人物が存在する場合に、第２の２人の人物を既存のグループに属する人物とは異なるグループに分類するステップと、を含むことが好ましい。

また、グループに分類するステップは、
各々のグループについて、グループに属する２人の人物の組み合わせ毎に、組み合わせの２人の人物の２通りの順列の規格化された共起スコアに基づいて、組み合わせの２人の人物をレベルに分類することが好ましい。

また、グループに分類するステップは、
組み合わせの２人の人物の２通りの順列のうちの少なくとも一方の順列の規格化された共起スコアが第１しきい値以上である場合に、組み合わせの２人の人物の２通りの順列のうちの一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差と、第２しきい値とを比較した結果、差が第２しきい値以上である場合に、組み合わせの２人の人物を異なるレベルに分類し、差が第２しきい値未満である場合に、組み合わせの２人の人物を同じレベルに分類することが好ましい。

さらに、画像特定部が、グループ毎に、画像群の中から、グループに属する１以上の人物が写っている画像を特定するステップと、
人物特定部が、複数の人物の中から、一定の条件を満たす１以上の人物を特定人物として特定するステップと、
画像選択部が、グループ毎に、グループに属する１以上の人物が写っている画像の中から、特定人物が写っている画像なのか否かに基づいて一部の画像を選択するステップと、を含むことが好ましい。

また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムを提供する。

また、本発明は、上記の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供する。

画像群の入力を受け付ける画像群受付部と、
画像群に写っている複数の人物を判別する人物判別部と、
画像群に含まれる画像毎に、人物判別部による複数の人物の判別結果に基づいて、複数の人物のうちの２以上の人物が画像に写っている場合に、２以上の人物が画像において共起関係にあることを表す共起関係情報を記憶する共起関係記憶部と、
複数の人物のうちの２人の人物の順列毎に、画像における共起関係情報の全てに基づいて、２人の人物の画像群における共起関係の強さを表す共起スコアを算出する共起スコア算出部と、
２人の人物の順列の画像群における共起スコアの全てに基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類する人物分類部と、を備え、
共起関係記憶部はメモリであり、画像群受付部、人物判別部、共起スコア算出部および人物分類部は、ハードウェア、または、プログラムを実行するプロセッサである画像処理装置を提供する。

さらに、ユーザの指示を受け付ける指示受付部を備え、
第１しきい値は、ユーザの指示に応じて設定され、
指示受付部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。

さらに、グループ毎に、グループに属する人物を表示する人物表示部を備え、
人物分類部は、ユーザの指示に応じて第１しきい値が変更された場合に、変更された第１しきい値に基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類し、
人物表示部は、変更された第１しきい値に基づいて分類されたグループ毎に、グループに属する人物を表示し、
人物表示部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。

さらに、ユーザの指示を受け付ける指示受付部を備え、
第２しきい値は、ユーザの指示に応じて設定され、
指示受付部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。

さらに、レベル毎に、レベルに属する人物を表示する人物表示部を備え、
人物分類部は、ユーザの指示に応じて第２しきい値が変更された場合に、変更された第２しきい値に基づいて組み合わせの２人の人物をレベルに分類し、
人物表示部は、変更された第２しきい値に基づいて分類されたレベル毎に、レベルに属する人物を表示し、
人物表示部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。

さらに、グループ毎に、画像群の中から、グループに属する１以上の人物が写っている画像を特定する画像特定部と、
複数の人物の中から、一定の条件を満たす１以上の人物を特定人物として特定する人物特定部と、
グループ毎に、グループに属する１以上の人物が写っている画像の中から、特定人物が写っている画像なのか否かに基づいて一部の画像を選択する画像選択部と、を備え、
画像特定部、人物特定部、および画像選択部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。

さらに、ユーザの指示を受け付ける指示受付部を備え、
人物特定部は、ユーザの指示によって指定された人物を特定人物として特定し、
指示受付部は、ハードウェア、または、プログラムを実行するプロセッサであるのが好ましい。

本発明によれば、画像群のみに基づいて、画像群に写っている複数の人物をグループに分類することができる。また、分類されたグループ毎に、画像群に含まれる画像を分類することができる。

本発明の画像処理装置の構成を表す一実施形態のブロック図である。 図１に示す画像処理装置の全体的な動作を表す一例のフローチャートである。 複数の人物をグループに分類する際の画像処理装置の動作を表す一例のフローチャートである。 複数の人物をレベルに分類する際の画像処理装置の動作を表す一例のフローチャートである。 レベルに分類された複数の人物の関係性を表す一例の概念図である。 グループに分類された複数の人物の関係性を表す一例の概念図である。

以下に、添付の図面に示す好適実施形態に基づいて、本発明の画像処理装置、画像処理方法、プログラムおよび記録媒体を詳細に説明する。

図１は、本発明の画像処理装置の構成を表す一実施形態のブロック図である。図１に示す画像処理装置１０は、画像群に写っている複数の人物をグループに分類し、グループ毎に、画像群に含まれる画像を分類する。画像処理装置１０は、画像群受付部１２と、人物判別部１４と、共起関係記憶部１６と、共起スコア算出部１８と、人物分類部２０と、指示受付部２２と、人物表示部２４と、画像特定部２６と、人物特定部２８と、画像選択部３０と、を備えている。

画像処理装置１０において、まず、画像群受付部１２は、画像群の入力を受け付ける。

画像群の入力を受け付ける方法は特に限定されないが、例えばインターネット等のネットワークを介して送信されてくる画像群を受け付けて取得することができる。画像群は、複数の人物が写っている複数の画像を含んでいれば特に限定されないが、例えば結婚披露宴および修学旅行等のように、複数の人物が参加するイベントにおいて撮影されたものを例示することができる。

続いて、人物判別部１４は、画像群受付部１２によって受け付けられた画像群に写っている複数の人物を判別する。

人物判別部１４は、画像群に含まれる画像毎に、画像に写っている人物の顔を顔認識により認識して、画像に写っている人物を判別（区別）する。

続いて、共起関係記憶部１６は、画像群に含まれる画像毎に、人物判別部１４による複数の人物の判別結果に基づいて、複数の人物のうちの２以上の人物が画像に写っている場合に、２以上の人物がその画像において共起関係にあることを表す共起関係情報を記憶する。

２以上の人物が同じ画像に写っている場合、この画像に写っている２以上の人物の間には、例えば友人等のように、何らかの関係性があると考えられる。本発明においては、このように何らかの関係性がある２以上の人物を共起関係にあると表現する。

特に限定されないが、例えば画像毎に、共起関係情報として、複数の人物の各々が画像に写っているか否かを表すフラグを記憶することができる。例えば、フラグが「１」の場合、各人物がその画像に写っていることを意味し、フラグが「０」の場合、各人物がその画像に写っていないことを意味する。なお、人物が写っていない画像、および、１人の人物のみが写っている画像の共起関係情報として、共起関係にないことを表す共起関係情報を記憶してもよいし、あるいは共起関係情報を記憶しなくてもよい。

続いて、共起スコア算出部１８は、複数の人物のうちの２人の人物の順列毎に、画像における共起関係情報の全てに基づいて、２人の人物の画像群における共起関係の強さ、つまり、２人の人物の画像群における親密度を表す共起スコアを算出する。

例えば、２人の人物Ａ、Ｂのみが写っている画像における２人の人物Ａ、Ｂの共起関係は、２人の人物Ａ、Ｂを含む３人以上の人物が写っている画像における２人の人物Ａ、Ｂの共起関係よりも強いと考えることができる。つまり、２人の人物のみが写っている画像における２人の人物の共起関係が最も強く、画像に写っている人物の数が多くなると、その画像に写っている２人の人物の共起関係は次第に弱くなると考えることができる。

共起スコアの算出方法は特に限定されないが、例えば画像毎に、ｎを２以上の整数として、２人の人物を含むｎ人の人物が画像に写っている場合に、２人の人物の順列のその画像における共起スコアを１／（ｎ－１）により算出し、２人の人物が画像に写っていない場合に、２人の人物の順列のその画像における共起スコアを０とすることができる。また、２人の人物の順列の画像における共起スコアの全てを加算することにより、２人の人物の順列の画像群における共起スコア（以下、画像群の共起スコアともいう）を算出することができる。

続いて、人物分類部２０は、共起スコア算出部１８によって算出された、画像群の共起スコアの全てに基づいて、複数の人物のうちの少なくとも一部の人物をグループに分類する。

本実施形態の人物分類部２０は、複数の人物に含まれる人物毎に、その人物とその人物以外の各人物とからなる２人の人物の順列の画像群における共起スコアの全てを加算することによりその人物の共起スコアの総合値を算出し、人物毎に、その人物とその人物以外の各人物とからなる２人の人物の順列の画像群における共起スコアの各々をその人物の共起スコアの総合値で割ることにより規格化し、その人物とその人物以外の各人物とからなる２人の人物の順列の規格化された共起スコアの全てに基づいて、複数の人物をグループに分類する。

人物分類部２０は、人物判別部１４によって判別された複数の人物をグループに分類してもよいが、例えば結婚披露宴の場合、司会者、ウェイター、ウェイトレスおよびカメラマン等のイベントスタッフが既知である場合には、例えば複数の人物の中からイベントスタッフを指定して除外することにより、複数の人物のうちの少なくとも一部の人物、つまり、イベントスタッフ以外の結婚披露宴に参加した人物のみをグループに分類する方がより好ましい。

また、人物分類部２０は、各々のグループについて、グループに属する２人の人物の組み合わせ毎に、その組み合わせの２人の人物の２通りの順列の規格化された共起スコアに基づいて、２人の人物をレベルに分類する。

本実施形態の人物分類部２０は、２人の人物の２通りの順列のうちの一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差（絶対値）に基づいて、２人の人物をレベルに分類する。

続いて、指示受付部２２は、ユーザの指示を受け付ける。

指示受付部２２は、ユーザの指示として、後述するように、例えば特定人物を指定する指示、第１しきい値および第２しきい値を変更する指示等を受け付ける。

続いて、人物表示部２４は、人物分類部２０によって分類されたグループ毎に、そのグループに属する人物を表示する。また、人物表示部２４は、人物分類部２０によって分類されたレベル毎に、そのレベルに属する人物を表示する。

続いて、画像特定部２６は、グループ毎に、画像群の中から、そのグループに属する１以上の人物が写っている画像を特定する。

続いて、人物特定部２８は、複数の人物の中から、一定の条件を満たす１以上の人物を特定人物として特定する。

特定人物の特定方法は特に限定されないが、例えば後述するように、人物分類部２０により、第１グループに属する人物を包含する第２グループが形成された場合、人物特定部２８は、第１グループに属する人物が、第２グループにおける特定人物であると特定してもよい。例えば、人物Ａ、Ｂが第１グループに属し、人物Ａ～Ｄが第２グループに属する場合、人物Ａ、Ｂは第２グループにおける特定人物となる。

また、人物特定部２８は、ユーザの指示によって指定された人物を特定人物として特定してもよいし、画像群における登場回数が最も多い人物を中心人物（主人公）として、中心人物から画像群における登場回数が多い順に１以上の人物を特定人物として特定してもよい。

続いて、画像選択部３０は、グループ毎に、画像特定部２６によって特定された、そのグループに属する１以上の人物が写っている画像の中から、人物特定部２８によって特定された特定人物が写っている画像なのか否かに基づいて一部の画像を選択する。

例えば、結婚披露宴の新郎新婦のように、登場回数が多い中心人物が存在する画像群には、中心人物と中心人物以外の各人物とが一緒に写っている多数の画像が含まれるため、中心人物は、ほとんど全てのグループに分類される可能性が高い。この場合、グループに属する１以上の人物が写っている画像は、画像群に含まれる大多数の画像となり、画像特定部２６によってほとんど全ての画像が特定されることになる。

しかし、中心人物が写っている画像は多数あるため、その全ての画像が必要であるとは限らない。従って、中心人物を特定人物として特定することにより、中心人物が写っている多数の画像のうちの一定の条件を満たす一部の画像のみを選択することが望ましい。なお、一定の条件は特に限定されないが、例えば画像の画質をスコア付けし、一部の画像として、最も画質がよい画像から画質がよい順に１以上の画像を選択することができる。

一部の画像を選択する方法は特に限定されないが、例えばグループに属する１以上の人物が写っている画像の中から、特定人物の少なくとも１人とグループに属する特定人物以外の少なくとも１人の人物とが一緒に写っている画像と、グループに属する特定人物以外の少なくとも１人の人物が写っている画像と、特定人物の少なくとも１人が写っている画像および特定人物の少なくとも１人とグループに属さない少なくとも１人の人物とが一緒に写っている画像のうちの一定の条件を満たす一部の画像と、を選択することができる。

次に、図２に示すフローチャートを参照して画像処理装置の全体的な動作を説明する。

まず、画像群受付部１２により、画像群の入力が受け付けられる（ステップS1）。

続いて、人物判別部１４により、画像群に写っている複数の人物が判別される（ステップS2）。

続いて、共起関係記憶部１６により、画像群に含まれる画像毎に、人物の判別結果に基づいて、複数の人物のうちの２以上の人物が画像に写っている場合に、２以上の人物がその画像において共起関係にあることを表す共起関係情報が記憶される（ステップS3）。

続いて、共起スコア算出部１８により、複数の人物のうちの２人の人物の順列毎に、画像における共起関係情報の全てに基づいて、画像群の共起スコアが算出される（ステップS4）。

共起スコア算出部１８は、例えば複数の人物Ａ～Ｚの２６人である場合、２人の人物の順列として、Ａ×Ａ、Ａ×Ｂ、…、Ａ×Ｚ、Ｂ×Ａ、Ｂ×Ｂ、…、Ｂ×Ｚ、…、Ｚ×Ａ、Ｚ×Ｂ、…、Ｚ×Ｚの２５×２６通りの順列の共起スコアＳ_ＡＡ、Ｓ_ＡＢ、…、Ｓ_ＡＺ、Ｓ_ＢＡ、Ｓ_ＢＢ、…、Ｓ_ＢＺ、Ｓ_ＺＡ、Ｓ_ＺＢ、…、Ｓ_ＺＺを算出する。なお、Ａ×ＢおよびＢ×Ａの順列の共起スコアＳ_ＡＢおよびＳ_ＢＡは同じになる。他の同じ２人の人物からなる２組の順列の共起スコアも同じである。また、Ａ×Ａ、Ｂ×Ｂ等のように、同一人物からなる２人の順列の共起スコアは算出してもよいし、算出しなくてもよい。

続いて、人物分類部２０により、画像群の共起スコアの全て基づいて、複数の人物がグループに分類される（ステップS5）。

グループの分類が終了すると、続いて、画像特定部２６により、グループ毎に、画像群の中から、そのグループに属する１以上の人物が写っている画像が特定される（ステップS6）。

また、人物特定部２８により、複数の人物の中から、一定の条件を満たす１以上の人物が特定人物として特定される（ステップS7）。

続いて、画像選択部３０により、グループ毎に、そのグループに属する１以上の人物が写っている画像の中から、特定人物が写っている画像なのか否かに基づいて一部の画像が選択される（ステップS8）。

画像処理装置１０においては、画像群のみに基づいて、画像群に写っている複数の人物をグループに分類することができる。また、分類されたグループ毎に、画像群に含まれる画像を分類することができる。グループ毎に分類された画像は、そのグループに属する人物の間で共有される画像であり、例えばその画像のプリントおよびその画像を用いて作成されたフォトアルバム等をグループに属する各人物に送付するために使用することができる。

このように、グループに属する各人物に、そのグループに分類された共通の画像を送付することにより、人物毎に異なる画像を送付する場合よりも、グループに属する各人物が共通の画像を共有しながら一緒に閲覧して楽しむことができる。また、グループに属する各人物は、そのグループに属する人物が主に写っている画像が撮影された時にたまたま席を外していて写っていない場合であっても、そのグループに分類された画像を受け取ることができる。

次に、図３および図４に示すフローチャートを参照して人物のグループおよびレベルへの分類について詳細に説明する。

複数の人物をグループに分類する場合、まず、人物毎に、その人物とその人物以外の各人物とからなる２人の人物の順列の画像群における共起スコアの最大値（以下、単に共起スコアの最大値ともいう）を求める（ステップS9）。

例えば、画像群に複数の人物Ａ～Ｚの２６人が写っているとする。
この場合、人物Ａと各人物Ｂ～Ｚとからなる２人の人物の順列Ａ×Ｂ、Ａ×Ｃ、…、Ａ×Ｚの共起スコアＳ_ＡＢ、Ｓ_ＡＣ、…、Ｓ_ＡＺの最大値Ｓ_Ａｍａｘを求める。以下同様にして、人物Ｂ～Ｚについても共起スコアの最大値Ｓ_Ｂｍａｘ～Ｓ_Ｚｍａｘを求める。

続いて、複数の人物の画像群の共起スコアの最大値を大きい順にソートし、かつ、人物毎に、その人物以外の人物の画像群の共起スコアを大きい順にソートする（ステップS10）。

例えば、人物Ａ～Ｚの画像群の共起スコアの最大値Ｓ_Ａｍａｘ～Ｓ_Ｚｍａｘを大きい順にソートして、左側から右側へ向かって横方向に並べる。また、人物Ａについて、人物Ａ以外の人物Ｂ～Ｚの画像群の共起スコアＳ_ＡＢ、Ｓ_ＡＣ、…、Ｓ_ＡＺを大きい順にソートして、上側から下側ヘ向かって縦方向に並べる。以下同様にして、人物Ｂ～Ｚについてもその人物以外の人物の画像群の共起スコアを大きい順にソートして縦方向に並べる。
これにより、複数の人物の共起スコアの最大値が大きい順に横方向にソートされ、かつ、人物毎に、その人物以外の人物の画像群の共起スコアが大きい順に縦方向にソートされて縦２５×横２６の行列ができる。
なお、人間にとっての理解を容易にするためにソートすることが望ましいが、本発明においてソートすることは必須ではない。

続いて、人物毎に、その人物とその人物以外の各人物とからなる２人の人物の順列の画像群における共起スコアの全てを加算することにより、その人物の画像群の共起スコアの総合値を算出する（ステップS11）。

例えば、人物Ａについて、人物Ａと各人物Ｂ～Ｚとからなる２人の人物の順列Ａ×Ｂ、Ａ×Ｃ、…、Ａ×Ｚの共起スコアＳ_ＡＢ、Ｓ_ＡＣ、…、Ｓ_ＡＺの全てを加算することにより、人物Ａの共起スコアの総合値Ｓ_Ａｓｕｍを算出する。以下同様にして、人物Ｂ～Ｚについても共起スコアの総合値Ｓ_Ｂｓｕｍ～Ｓ_Ｚｓｕｍを算出する。

続いて、人物毎に、その人物とその人物以外の各人物とからなる２人の人物の順列の画像群における共起スコアの各々を、その人物の共起スコアの総合値で割ることにより規格化し、その人物とその人物以外の各人物とからなる２人の人物の順列の規格化された共起スコアを算出する（ステップS12）。規格化された共起スコアは、０～１の範囲の数値になる。

例えば、人物Ａについて、人物Ａと各人物Ｂ～Ｚとからなる２人の人物の順列Ａ×Ｂ、Ａ×Ｃ、…、Ａ×Ｚの共起スコアＳ_ＡＢ、Ｓ_ＡＣ、…、Ｓ_ＡＺの各々を、人物Ａの共起スコアの総合値Ｓ_Ａｓｕｍで割ることにより規格化し、規格化された共起スコアＳ_{ＡＢｓｔｄ}、Ｓ_{ＡＣｓｔｄ}、…、Ｓ_{ＡＺｓｔｄ}を算出する。以下同様にして、人物Ｂ～Ｚについても規格化された共起スコアを算出する。

画像群の共起スコアは、画像群に含まれる画像の枚数に依存するが、人物毎に、規格化された共起スコアは、画像の枚数に依存せず、その人物とその人物以外の各人物との画像群における共起関係の強さを表す。規格化された共起スコアが大きいほど、その人物にとって画像群における共起関係が強い人物、つまり、画像群において、その人物と親密度が高い人物であることを表す。例えば、人物Ａ、Ｂの順列Ａ×Ｂの規格化された共起スコアＳ_{ＡＢｓｔｄ}は、人物Ａと人物Ｂとの親密度、言い換えると、人物Ａから見た人物Ｂの重要度を表す。

画像群の共起スコアを規格化することにより、各人物の共起スコアの総合値に応じて、２人の人物の順列のうちの一方の順列の規格化された共起スコアと、他方の順列の規格化された共起スコアとが異なる値になる場合がある。一方の順列の規格化された共起スコアと、他方の順列の規格化された共起スコアとが異なる場合、２人の人物の順列の規格化された共起スコアには、２人の人物のうちの一方の人物から他方の人物への向きが生まれる。

例えば、２人の人物Ａ、Ｂの順列Ａ×Ｂの規格化された共起スコアと、順列Ｂ×Ａの規格化された共起スコアとが同じ場合、２人の人物Ａ、Ｂは対等な関係である。一方、順列Ａ×Ｂの規格化された共起スコアが順列Ｂ×Ａの規格化された共起スコアよりも小さい場合、人物Ａは人物Ｂよりも中心人物との関係性が高い人物であり、人物Ｂは人物Ａよりも中心人物との関係性が低い人物である。

続いて、複数の人物に含まれる人物毎に、その人物とその人物以外の各人物とからなる第１の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較する（ステップS13）。

複数の人物Ａ～Ｚの場合、まず、２人の人物Ａ、Ｂの組み合わせについて、２人の人物Ａ、Ｂの２通りの順列Ａ×Ｂ、Ｂ×Ａの規格化された共起スコアＳ_{ＡＢｓｔｄ}、Ｓ_{ＢＡｓｔｄ}と第１しきい値とを比較する。以下同様にして、人物Ａ、Ｃ、人物Ａ、Ｄ、…についても比較する。また、人物Ｂ～Ｚについても同様に比較する。
つまり、人物Ａ～Ｚについて各人物を総当たりして、各々の第１の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較する。

続いて、複数の人物の比較結果に基づいて、複数の人物をグループに分類する（ステップS14）。

この場合、第１の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較する毎に、第１の２人の人物の２通りの順列の少なくとも一方の規格化された共起スコアが第１しきい値以上である場合、第１の２人の人物を同じグループに分類し、第１の２人の人物の２通りの順列の両方の規格化された共起スコアが第１しきい値未満である場合、第１の２人の人物を異なるグループに分類し、さらに、第１の２人の人物を既存のグループに分類できるか否かを確認する。

また、第１の２人の人物を既存のグループに分類できるか否かを確認する場合、第１の２人の人物に含まれる人物毎に、人物と既存のグループに属する各人物とからなる第２の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較し、全ての第２の２人の人物の２通りの順列の少なくとも一方の規格化された共起スコアが第１しきい値以上である場合に、第２の２人の人物および既存のグループに属する人物を同じグループに分類し、全ての第２の２人の人物の中に、２通りの順列の両方の規格化された共起スコアが第１しきい値未満である第２の２人の人物が存在する場合に、第２の２人の人物を既存のグループに属する人物とは異なるグループに分類する。

同様に、複数の人物Ａ～Ｚにおいて、例えば第１の２人の人物Ａ、Ｂの２通りの順列の少なくとも一方の規格化された共起スコアが第１しきい値以上である場合、この第１の２人の人物Ａ、Ｂを同じグループに分類する。また、第１の２人の人物Ａ、Ｃの２通りの順列の両方の規格化された共起スコアが第１しきい値未満である場合、この第１の２人の人物Ａ、Ｃを異なるグループに分類する。

また、第１の２人の人物Ａ，Ｃを既存の人物Ａ，Ｂのグループに分類できるか否かを確認する場合、第１の２人の人物Ａ，Ｃに含まれる各人物と既存のグループに属する各人物Ａ，Ｂとからなる第２の２人の人物、つまり、人物Ａ，Ａ、人物Ａ，Ｂ、人物Ｃ，Ａ、人物Ｃ，Ｂの２通りの順列の規格化された共起スコアと第１しきい値とを比較する。なお、人物Ａ，Ａ、人物Ａ，Ｂ、人物Ｃ，Ａについて比較する必要はない。
その結果、第２の２人の人物Ｃ，Ｂの２通りの順列の規格化された共起スコアが第１しきい値以上である場合に、第２の２人の人物Ｃ，Ｂおよび既存のグループに属する人物Ａ，Ｂを同じグループに分類する。つまり、人物Ａ，Ｂ，Ｃを同じグループに分類する。一方、第２の２人の人物Ｃ，Ｂの２通りの順列の両方の規格化された共起スコアが第１しきい値未満である場合に、第２の２人の人物Ｃ，Ｂを既存のグループに属する人物Ａ，Ｂとは異なるグループに分類する。つまり、人物Ａ，Ｃを人物Ａ，Ｂとは異なるグループに分類する。

以下同様にして、人物Ａと各人物Ｄ～Ｚとからなる第１の２人の人物についてもグループに分類する。また、人物Ｂ～Ｚについても同様にグループに分類する。

グループの分類が終了すると、例えば人物表示部２４により、人物分類部２０によって分類されたグループ毎に、そのグループに属する人物が表示される（ステップS15）。

続いて、指示受付部２２により、第１しきい値を変更するユーザの指示が受け付けられる（ステップS16）。

ユーザの指示に応じて第１しきい値が変更された場合、人物分類部２０により、変更された第１しきい値に基づいて、複数の人物がグループに分類される（ステップS17）。

続いて、人物表示部２４により、変更された第１しきい値に基づいて、人物分類部２０によって分類されたグループ毎に、そのグループに属する人物が表示される（ステップS18）。

ユーザは、第１しきい値を変更することにより、グループ毎に、そのグループに属する人物の構成を変更することができる。従って、ユーザは、第１しきい値を変更した結果、変更された第１しきい値に基づいてグループが分類され、グループ毎に表示されたグループに属する人物を確認することを繰り返し行うことによって、複数の人物を、ユーザが所望する、より適切なグループに分類することができる。

なお、例えば共起スコアの最大値が大きい人物の順に、人物毎に、人物と人物以外の各人物とからなる第１の２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較し、全ての第２の２人の人物について、第２の２人の人物の２通りの順列の少なくとも一方の規格化された共起スコアが第１しきい値以上である場合に、既存のグループを第１グループとし、第２の２人の人物を、第１グループに属する人物を包含する第２グループに分類してもよい。つまり、第２グループは、第１グループに属する人物を包含するグループとなる。

また、第１グループおよび第２グループからなる２つのグループに限らず、例えば第１グループ、第２グループおよび第３グループからなる３つのグループに分類して、第３グループが第２グループに属する人物を包含し、第２グループが第１グループに属する人物を包含するグループとしてもよい。つまり、共起スコアの最大値が小さい方の人物が属する既存のグループを第１グループとし、共起スコアの最大値が大きい方の第２の２人の人物を、第１グループに属する人物を包含する第２グループとすることを２回以上繰り返してもよい。

続いて、各々のグループについて、グループに属する人物をレベルに分類する（ステップS19）。

グループに属する人物をレベルに分類する場合、各々のグループについて、そのグループに属する２人の人物の組み合わせ毎に、その組み合わせの２人の人物の２通りの順列のうちの少なくとも一方の順列の規格化された共起スコアが第１しきい値以上である場合に、２人の人物の２通りの順列のうちの一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差（絶対値）と、第２しきい値とを比較する。

なお、２人の人物の２通りの順列のうちの少なくとも一方の順列の規格化された共起スコアが第１しきい値以上である場合に限定するのは、そもそも２人の人物の順列の規格化された共起スコアが第１しきい値未満である２人の人物は共起関係が弱く、何らかの関係性があるとは考えられないため、複数の人物をグループに分類する場合においても、第１しきい値未満である人物はグループに分類しないからである。

その結果、前述の差が第２しきい値以上である場合に、２人の人物を異なるレベルに分類する。
一方、差が第２しきい値未満である場合に、この２人の人物を同じレベルに分類する。
つまり、２人の人物は同じグループに属しているが、同じレベルに属しているとは限らず、異なるレベルに属している場合もある。

例えば、同じグループに人物Ａ～Ｚが属するとする。
このグループに属する人物Ａ、Ｂの組み合わせについて、人物Ａ、Ｂの２通りの順列Ａ×ＢおよびＢ×Ａのうちの少なくとも一方の順列の規格化された共起スコアが第１しきい値以上である場合に、人物Ａ、Ｂの２通りの順列Ａ×ＢおよびＢ×Ａのうちの一方の順列Ａ×Ｂの規格化された共起スコアと他方の順列Ｂ×Ａの規格化された共起スコアとの差と、第２しきい値とを比較する。

その結果、一方の順列Ａ×Ｂの規格化された共起スコアと他方の順列Ｂ×Ａの規格化された共起スコアとの差が第２しきい値以上である場合に、この２人の人物Ａ、Ｂを異なるレベルに分類する。一方、一方の順列Ａ×Ｂの規格化された共起スコアと他方の順列Ｂ×Ａの規格化された共起スコアとの差が第２しきい値未満である場合、この２人の人物Ａ、Ｂを同じレベルに分類する。

以下同様にして、人物Ａ～Ｚに属する２人の人物の組み合わせの全てについて、一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差と、第２しきい値との比較を行い、人物Ａ～Ｚをレベルに分類する。

レベルの分類が終了すると、例えば人物表示部２４により、人物分類部２０によって分類されたグループ毎に、かつレベル毎に、そのグループおよびレベルに属する人物が表示される（ステップS20）。

続いて、指示受付部２２により、第２しきい値を変更するユーザの指示が受け付けられる（ステップS21）。

ユーザの指示に応じて第２しきい値が変更された場合、人物分類部２０により、変更された第２しきい値に基づいて、各々のグループについて、グループに属する２人の人物の組み合わせ毎に、その組み合わせの２人の人物がレベルに分類される（ステップS22）。

続いて、人物表示部２４により、変更された第２しきい値に基づいて、人物分類部２０によって分類されたグループ毎に、かつレベル毎に、そのグループおよびレベルに属する人物が表示される（ステップS23）。

ユーザは、第２しきい値を変更することにより、レベル毎に、そのレベルに属する人物の構成を変更することができる。従って、ユーザは、第２しきい値を変更した結果、変更された第２しきい値に基づいてレベルが分類され、レベル毎に表示されたレベルに属する人物を確認することを繰り返し行うことによって、複数の人物を、より適切なレベルに分類することができる。

レベルに分類することは必須ではないが、例えばグループに属する人物の数が一定数以上である場合等に、同じグループに属する人物をさらにレベルに分類することができる。また、分類されたレベル毎に、画像群に含まれる複数の画像を分類することができる。
レベル毎に分類された画像は、グループの場合と同じように、そのレベルに属する人物の間で共有される画像であり、例えばその画像のプリントおよびフォトアルバム等をレベルに属する各人物に送付するために使用することができる。

なお、ユーザは、第１しきい値および第２しきい値の両方を同時に変更して、グループへの分類およびレベルへの分類を同時に変更してもよい。また、グループおよびレベルへの分類は、グループへの分類を全て完了した後にレベルへの分類を行ってもよいし、１つのグループへの分類を行う毎に、その１つのグループについてレベルへの分類を行ってもよい。あるいは、新たな人物がグループに分類される毎に、そのグループに分類された新たな人物について順次レベルへの分類を行ってもよい。

従来技術においても、画像に写っている人物を認識し、その認識結果に基づいて、人物同士が共起関係にあるか否かを判別することは可能であった。しかし、人物同士の共起関係から、複数の人物をグループに分類する（クラスタリングする）技術は従来無かった。

従来技術において、たとえ人物の同士の共起関係に基づいて、複数の人物を単純なグループに分類することができたとしても、例えば結婚披露宴の画像のように、単なる人物同士の共起関係に加え、誰が中心人物（主人公）なのかを特定し、また、中心人物と同じ関係性で結びついている他の人物（特定人物）を特定して、同じ関係性で結びついている人物のグループを特定したり、グループに属する人物をレベルに分類したりするといったことはできなかった。

以下、具体的な画像群の例を挙げて説明する。

表１は、結婚披露宴の画像群における画像の名称および各画像に写っている人物の名称を表す。結婚披露宴の画像群においては、新郎新婦が中心人物であり、各参列者は、新郎および新婦の少なくとも一方と関係性がある人物である。

表１の左端の列の上側から２～１６行目には、各画像の名称が示されている。各画像の名称は、新婦入場の画像、新郎新婦誓いの画像、指輪交換の画像、集合写真の画像、披露宴入場の画像、乾杯の画像、新郎友人余興の画像、新婦友人手紙の画像、テーブル集合１～４の画像、新婦手紙の画像、新郎挨拶の画像および退場の画像であり、画像群の総数は１５枚である。
なお、説明の都合上、各画像のシーンの名称を記載しているが、本発明の画像処理装置は、各画像のシーンの名称を理解しているわけではない。また、説明の都合上、人物に「新郎」、「新婦」等、結婚式における役柄について記載しているが、本発明の画像処理装置は、各人物の役柄を理解しているわけではない。しかし、画像に写っている人物の顔を顔認識により認識して、画像に写っている人物を判別することはできる。

表１の最上行の左側から２～１５列目には、各人物の名称が示されている。各人物の名称は、新婦（以下、人物Ａともいう。他の人物についても同様である。）、新郎（Ｂ）、新婦父（Ｃ）、新婦母（Ｄ）、新郎父（Ｅ）、新郎母（Ｆ）、新婦親戚１（Ｇ）、新婦親戚２（Ｈ）、新郎親戚１（Ｉ）、新郎親戚２（Ｊ）、新婦友人１（Ｋ）、新婦友人２（Ｌ）、新郎友人１（Ｍ）および新郎友人２（Ｎ）であり、人物の総数は１４人である。

表１の上側から２～１６行目および左側から２～１５列目には、共起関係情報として、各人物Ａ～Ｎが各画像に写っているか否かを表すフラグが示されている。フラグが「１」の場合、人物が画像に写っていることを意味し、フラグが「０」の場合、人物が画像に写っていないことを意味する。例えば、新婦入場の画像には、新婦および新婦父が写っている。つまり、新婦入場の画像において、新婦および新婦父は共起関係にある。

表１の下側から２行目の左側から２～１５列目には、画像群における各人物の登場回数（画像群において、各人物が写っている画像の枚数）が示され、表１の末行の左側から２～１５列目には、画像１枚当たりの各人物の登場回数が示されている。例えば、画像群における新婦の登場回数は１４回であり、画像１枚当たりの新婦の登場回数は、１４／１５＝約０．９３３回である。

表１の右端の列の上側から２～１６行目には、各画像に写っている人物の人数が示されている。例えば、新婦入場の画像に写っている人物の人数は新婦および新婦父の２人である。

表１の右端の列の下側から２行目には、画像群における人物の総登場回数が示され、表１の右端の列の末行には、画像１枚当たりの人物の登場回数が示されている。画像群における人物の総登場回数は６６回であり、画像１枚当たりの人物の登場回数は、６６／１５＝４．４回である。

続いて、表２は、新婦Ａと各人物Ａ～Ｎとの順列の各画像における共起スコアを表す。

表２の左端の列の上側から２～１６行目には、表１と同じように各画像の名称が示されている。

表２の最上行の左側から２～１５列目には、新婦Ａと各人物Ａ～Ｎとの順列Ａ×Ａ、Ａ×Ｂ、Ａ×Ｃ、Ａ×Ｄ、Ａ×Ｅ、Ａ×Ｆ、Ａ×Ｇ、Ａ×Ｈ、Ａ×Ｉ、Ａ×Ｊ、Ａ×Ｋ、Ａ×Ｌ、Ａ×Ｍ、Ａ×Ｎの名称が示されている。

例えば、表２の左側から３列目の２～１６行目には、新婦Ａと新郎Ｂとの順列Ａ×Ｂの各画像における共起スコアが示されている。新婦Ａと新郎Ｂとの順列Ａ×Ｂの新婦入場の画像における共起スコアは、新婦入場の画像において新婦Ａと新郎Ｂは一緒に写っていないため、０となる。また、新婦Ａと新郎Ｂとの順列Ａ×Ｂの新郎新婦誓いの画像における共起スコアは、新郎新婦誓いの画像において新婦Ａと新郎Ｂは一緒に写っていて、新郎新婦誓いの画像に写っている人物の総数は２人（ｎ＝２）であるから、１／（ｎ－１）＝１／（２－１）＝１となる。

表２の左側から３列目の末行には、新婦Ａと新郎Ｂとの順列Ａ×Ｂの画像群における共起スコアが示されている。新婦Ａと新郎Ｂとの順列Ａ×Ｂの画像群における共起スコアは、新婦Ａと新郎Ｂとの順列Ａ×Ｂの全ての画像における共起スコアを加算することにより、０＋１＋１＋０．０７７＋１＋１＋０＋０＋０．２＋０．２＋０．３３３．０．３３３＋０＋０．２＋０．１４３＝約５．４８６となる。

新婦Ａと各人物Ｂ～Ｎとの順列以外の２人の人物の順列の共起スコアも同様にして算出することができる。

続いて、表３は、画像群の共起スコアを表す。

表３の最上行の左側から２～１５列目には、各人物の名称Ａ～Ｎが示されている。同様に、表３の左端の列の上側から２～１５行目には、各人物の名称Ａ～Ｎが示されている。

表３の上側から２～１５行目および左側から２～１５列目には、画像群の共起スコアが示されている。例えば、新婦Ａと新郎Ｂとの順列の画像群における共起スコアは、表２の左側から３列目の末行にも示されているように、約５．４８６である。なお、表３においては、例えば新婦Ａと新婦Ａとの順列のように、同一人物からなる２人の人物の順列の共起スコアは除外されている。

表３の末行の左側から２～１５列目には、画像群において、各人物が写っている画像の枚数が示されている。例えば、画像群において、新婦Ａが写っている画像の枚数は、表１の左側から２列目の下側から２行目にも示されているように、１４枚である。

続いて、表４および表５は、表３の共起スコアに基づいて、複数の人物の画像群の共起スコアの最大値を大きい順にソートし、かつ、人物毎に、その人物以外の人物の画像群の共起スコアを大きい順にソートしたものである。

表４および表５の最上行の偶数番目の列には、画像群の共起スコアの最大値が大きい人物の順に左側から各人物の名称が示されている。各人物の名称は、左側から、Ａ、Ｂ、Ｃ、Ｋ、Ｎ、Ｍ、Ｌ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉ、Ｊである。

例えば、表４の左端の列および左側から２列目は、新婦Ａと各人物Ｂ～Ｎとの順列の画像群における共起スコアを表す。表４の左側から２列目には、新婦Ａと各人物Ｂ～Ｎとの順列の画像群における共起スコアが大きい順に上側から示されている。また、表４の左端の列には、新婦Ａ以外の各人物Ｂ～Ｎの名称が、画像群の共起スコアが大きい人物の順に上側から示されている。

表４および表５の末行の偶数番目の列には、人物毎に、画像群の共起スコアの総合値が示されている。例えば、表４の末行の左側から２列目に示されているように、新婦Ａと各人物Ｂ～Ｎとの順列の画像群における共起スコアの総合値は、新婦Ａと各人物Ｂ～Ｎとの順列の共起スコアの全てを加算したものであり、５．４８６＋２．６２０＋１．０５３＋０．９１０＋０．６２０＋０．６２０＋０．６２０＋０．５５３＋０．４１０＋０．２７７＋０．２７７＋０．２７７＋０．２７７＝１４となる。

続いて、表６および表７は、人物毎に、表４および表５の共起スコアをその人物の共起スコアの総合値で割ることによって規格化された共起スコアを表す。

例えば、表６の左側から２列目には、新婦Ａと各人物Ｂ～Ｎとの順列の規格化された共起スコアが大きい順に上側から示されている。新婦Ａと新郎Ｂとの順列の規格化された共起スコアは、約５．４８６／１４＝約０．３９２であり、新郎Ｂと新婦Ａとの順列の規格化された共起スコアは、約５．４８６／１２＝約０．４５７である。

続いて、例えば第１しきい値＝０．１２２として、１４人の人物Ａ～Ｎをグループに分類する。

表８および表９は、複数の人物に含まれる人物毎に、その人物とその人物以外の各人物とからなる２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較した結果を表す。

例えば、表８において、ＡＤは、２人の人物Ａ、Ｄの２通りの順列Ａ×ＤおよびＤ×Ａを表す。ＡＤ＝Ｘ，Ｏは、順列Ａ×Ｄ＝Ｘおよび順列Ｄ×Ａ＝Ｏを表す。順列Ａ×Ｄ＝Ｘは、順列Ａ×Ｄの規格化された共起スコアが第１しきい値未満であることを表し、順列Ｄ×Ａ＝Ｏは、順列Ｄ×Ａの規格化された共起スコアが第１しきい値以上であることを表す。

人物Ａについて、まず、ＡＢ＝Ｏ，Ｏであるから、人物Ａ、Ｂを同じグループに分類する。

続いて、ＡＣ＝Ｏ，Ｏであるから、人物Ａ、Ｃを同じグループに分類する。この場合、人物Ａ、Ｃを既存の人物Ａ、Ｂのグループに分類できるか否かを確認する。その結果、ＣＡ＝Ｏ，Ｏ、ＣＢ＝Ｘ，Ｘであるから、人物Ｃを既存の人物Ａ、Ｂのグループに分類しない。なお、人物Ａは、既存の人物Ａ、Ｂのグループに属しているため、確認する必要はない。人物Ａについては以下同様である。

続いて、ＡＤ＝Ｘ，Ｏであるから、人物Ａ、Ｄを同じグループに分類する。この場合、人物Ｄを既存の人物Ａ、Ｂのグループおよび人物Ａ、Ｃのグループに分類できるか否かを確認する。その結果、ＤＡ＝Ｏ，Ｘ、ＤＢ＝Ｏ，Ｘであるから、人物Ａ、Ｂ、Ｄを同じグループに分類する。また、ＤＡ＝Ｏ，Ｘ、ＤＣ＝Ｏ，Ｘであるから、人物Ａ、Ｃ、Ｄを同じグループに分類する。

続いて、ＡＥ＝Ｘ，Ｏであるから、人物Ａ、Ｅを同じグループに分類する。この場合、人物Ｅを既存の人物Ａ、Ｂ、Ｄのグループおよび人物Ａ、Ｃ、Ｄのグループに分類できるか否かを確認する。その結果、ＥＡ＝Ｏ，Ｘ、ＥＢ＝Ｏ，Ｘ、ＥＤ＝Ｘ，Ｘであるから、人物Ｅを既存の人物Ａ、Ｂ、Ｄのグループに分類しない。また、ＥＡ＝Ｏ，Ｘ、ＥＣ＝Ｘ，Ｘ、ＥＤ＝Ｘ，Ｘであるから、人物Ｅを既存の人物Ａ、Ｃ、Ｄのグループに分類しない。

続いて、ＡＦ＝Ｘ，Ｏであるから、人物Ａ、Ｆを同じグループに分類する。この場合、人物Ｆを既存の人物Ａ、Ｂ、Ｄのグループ、人物Ａ、Ｃ、Ｄのグループおよび人物Ａ、Ｅのグループに分類できるか否かを確認する。その結果、ＦＡ＝Ｏ，Ｘ、ＦＢ＝Ｏ，Ｘ、ＦＤ＝Ｘ，Ｘであるから、人物Ｆを既存の人物Ａ、Ｂ、Ｄのグループに分類しない。また、ＦＡ＝Ｏ，Ｘ、ＦＣ＝Ｘ，Ｘ、ＦＤ＝Ｘ，Ｘであるから、人物Ｆを既存の人物Ａ、Ｃ、Ｄのグループに分類しない。ＦＡ＝Ｏ，Ｘ、ＦＥ＝Ｏ，Ｏであるから、人物Ａ、Ｅ、Ｆを同じグループに分類する。

続いて、ＡＧ＝Ｘ，Ｏであるから、人物Ａ、Ｇを同じグループに分類する。この場合、人物Ｇを既存の人物Ａ、Ｂ、Ｄのグループ、人物Ａ、Ｃ、Ｄのグループおよび人物Ａ、Ｅ、Ｆのグループに分類できるか否かを確認する。その結果、ＧＡ＝Ｏ，Ｘ、ＧＢ＝Ｏ，Ｘ、ＧＤ＝Ｏ，Ｘであるから、人物Ａ、Ｂ、Ｄ、Ｇを同じグループに分類する。また、ＧＡ＝Ｏ，Ｘ、ＧＣ＝Ｏ，Ｘ、ＧＤ＝Ｏ，Ｘであるから、人物Ａ、Ｃ、Ｄ、Ｇを同じグループに分類する。ＧＡ＝Ｏ，Ｘ、ＧＥ＝Ｘ，Ｘ、ＧＦ＝Ｘ，Ｘであるから、人物Ｇを既存の人物Ａ、Ｅ、Ｆのグループに分類しない。

続いて、ＡＨ＝Ｘ，Ｏであるから、人物Ａ、Ｈを同じグループに分類する。この場合、人物Ｈを既存の人物Ａ、Ｂ、Ｄ、Ｇのグループ、人物Ａ、Ｃ、Ｄ、Ｇのグループおよび人物Ａ、Ｅ、Ｆのグループに分類できるか否かを確認する。その結果、ＨＡ＝Ｏ，Ｘ、ＨＢ＝Ｏ，Ｘ、ＨＤ＝Ｏ，Ｘ、ＨＧ＝Ｏ，Ｏであるから、人物Ａ、Ｂ、Ｄ、Ｇ、Ｈを同じグループに分類する。また、ＨＡ＝Ｏ，Ｘ、ＨＣ＝Ｏ，Ｘ、ＨＤ＝Ｏ，Ｘ、ＨＧ＝Ｏ，Ｏであるから、人物Ａ、Ｃ、Ｄ、Ｇ、Ｈを同じグループに分類する。ＨＡ＝Ｏ，Ｘ、ＨＥ＝Ｘ，Ｘ、ＨＦ＝Ｘ，Ｘであるから、人物Ｇを既存の人物Ａ、Ｅ、Ｆのグループに分類しない。

続いて、ＡＩ＝Ｘ，Ｏであるから、人物Ａ、Ｉを同じグループに分類する。この場合、人物Ｉを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループおよび人物Ａ、Ｅ、Ｆのグループに分類できるか否かを確認する。その結果、ＩＡ＝Ｏ，Ｘ、ＩＢ＝Ｏ，Ｘ、ＩＤ＝Ｘ，Ｘ、ＩＧ＝Ｘ，Ｘ、ＩＨ＝Ｘ，Ｘであるから、人物Ｉを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループに分類しない。また、ＩＡ＝Ｏ，Ｘ、ＩＣ＝Ｘ，Ｘ、ＩＤ＝Ｘ，Ｘ、ＩＧ＝Ｘ，Ｘ、ＩＨ＝Ｘ，Ｘであるから、人物Ｉを既存の人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループに分類しない。ＩＡ＝Ｏ，Ｘ、ＩＥ＝Ｏ，Ｘ、ＩＦ＝Ｏ，Ｘであるから、人物Ａ、Ｅ、Ｆ、Ｉを同じグループに分類する。

続いて、ＡＪ＝Ｘ，Ｏであるから、人物Ａ、Ｊを同じグループに分類する。この場合、人物Ｊを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループおよび人物Ａ、Ｅ、Ｆ、Ｉのグループに分類できるか否かを確認する。その結果、ＪＡ＝Ｏ，Ｘ、ＪＢ＝Ｏ，Ｘ、ＪＤ＝Ｘ，Ｘ、ＪＧ＝Ｘ，Ｘ、ＪＨ＝Ｘ，Ｘであるから、人物Ｊを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループに分類しない。また、ＪＡ＝Ｏ，Ｘ、ＪＣ＝Ｘ，Ｘ、ＪＤ＝Ｘ，Ｘ、ＪＧ＝Ｘ，Ｘ、ＪＨ＝Ｘ，Ｘであるから、人物Ｊを既存の人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループに分類しない。ＪＡ＝Ｏ，Ｘ、ＪＥ＝Ｏ，Ｘ、ＪＦ＝Ｏ，Ｘ、ＪＩ＝Ｏ，Ｏであるから、人物Ａ、Ｅ、Ｆ、Ｉ、Ｊを同じグループに分類する。

続いて、ＡＫ＝Ｘ，Ｏであるから、人物Ａ、Ｋを同じグループに分類する。この場合、人物Ｋを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループおよび人物Ａ、Ｅ、Ｆ、Ｉ、Ｊのグループに分類できるか否かを確認する。その結果、ＫＡ＝Ｏ，Ｘ、ＫＢ＝Ｏ，Ｘ、ＫＤ＝Ｘ，Ｘ、ＫＧ＝Ｘ，Ｘ、ＫＨ＝Ｘ，Ｘであるから、人物Ｋを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループに分類しない。また、ＫＡ＝Ｏ，Ｘ、ＫＣ＝Ｘ，Ｘ、ＫＤ＝Ｘ，Ｘ、ＫＧ＝Ｘ，Ｘ、ＫＨ＝Ｘ，Ｘであるから、人物Ｋを既存の人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループに分類しない。ＫＡ＝Ｏ，Ｘ、ＫＥ＝Ｘ，Ｘ、ＫＦ＝Ｘ，Ｘ、ＫＩ＝Ｘ，Ｘ、ＫＪ＝Ｘ，Ｘであるから、人物Ｋを既存の人物Ａ、Ｅ、Ｆ、Ｉ、Ｊのグループに分類しない。

続いて、ＡＬ＝Ｘ，Ｏであるから、人物Ａ、Ｌを同じグループに分類する。この場合、人物Ｌを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｅ、Ｆ、Ｉ、Ｊのグループおよび人物Ａ、Ｋのグループに分類できるか否かを確認する。その結果、ＬＡ＝Ｏ，Ｘ、ＬＢ＝Ｏ，Ｘ、ＬＤ＝Ｘ，Ｘ、ＬＧ＝Ｘ，Ｘ、ＬＨ＝Ｘ，Ｘであるから、人物Ｌを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループに分類しない。また、ＬＡ＝Ｏ，Ｘ、ＬＣ＝Ｘ，Ｘ、ＬＤ＝Ｘ，Ｘ、ＬＧ＝Ｘ，Ｘ、ＬＨ＝Ｘ，Ｘであるから、人物Ｌを既存の人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループに分類しない。ＬＡ＝Ｏ，Ｘ、ＬＥ＝Ｘ，Ｘ、ＬＦ＝Ｘ，Ｘ、ＬＩ＝Ｘ，Ｘ、ＬＪ＝Ｘ，Ｘであるから、人物Ｌを既存の人物Ａ、Ｅ、Ｆ、Ｉ、Ｊのグループに分類しない。ＬＡ＝Ｏ，Ｘ、ＬＫ＝Ｏ，Ｏであるから、人物Ａ、Ｋ、Ｌを同じグループに分類する。

続いて、ＡＭ＝Ｘ，Ｏであるから、人物Ａ、Ｍを同じグループに分類する。この場合、人物Ｍを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｅ、Ｆ、Ｉ、Ｊのグループおよび人物Ａ、Ｋ、Ｌのグループに分類できるか否かを確認する。その結果、ＭＡ＝Ｏ，Ｘ、ＭＢ＝Ｏ，Ｘ、ＭＤ＝Ｘ，Ｘ、ＭＧ＝Ｘ，Ｘ、ＭＨ＝Ｘ，Ｘであるから、人物Ｍを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループに分類しない。また、ＭＡ＝Ｏ，Ｘ、ＭＣ＝Ｘ，Ｘ、ＭＤ＝Ｘ，Ｘ、ＭＧ＝Ｘ，Ｘ、ＭＨ＝Ｘ，Ｘであるから、人物Ｍを既存の人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループに分類しない。ＭＡ＝Ｏ，Ｘ、ＭＥ＝Ｘ，Ｘ、ＭＦ＝Ｘ，Ｘ、ＭＩ＝Ｘ，Ｘ、ＭＪ＝Ｘ，Ｘであるから、人物Ｍを既存の人物Ａ、Ｅ、Ｆ、Ｉ、Ｊのグループに分類しない。ＭＡ＝Ｏ，Ｘ、ＭＫ＝Ｘ，Ｘ、ＭＬ＝Ｘ，Ｘであるから、人物Ｍを既存の人物Ａ、Ｋ、Ｌのグループに分類しない。

続いて、ＡＮ＝Ｘ，Ｏであるから、人物Ａ、Ｎを同じグループに分類する。この場合、人物Ｎを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｅ、Ｆ、Ｉ、Ｊのグループ、人物Ａ、Ｋ、Ｌのグループおよび人物Ａ、Ｍのグループに分類できるか否かを確認する。その結果、ＮＡ＝Ｏ，Ｘ、ＮＢ＝Ｏ，Ｘ、ＮＤ＝Ｘ，Ｘ、ＮＧ＝Ｘ，Ｘ、ＮＨ＝Ｘ，Ｘであるから、人物Ｎを既存の人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループに分類しない。また、ＮＡ＝Ｏ，Ｘ、ＮＣ＝Ｘ，Ｘ、ＮＤ＝Ｘ，Ｘ、ＮＧ＝Ｘ，Ｘ、ＮＨ＝Ｘ，Ｘであるから、人物Ｎを既存の人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループに分類しない。ＮＡ＝Ｏ，Ｘ、ＮＥ＝Ｘ，Ｘ、ＮＦ＝Ｘ，Ｘ、ＮＩ＝Ｘ，Ｘ、ＮＪ＝Ｘ，Ｘであるから、人物Ｎを既存の人物Ａ、Ｅ、Ｆ、Ｉ、Ｊのグループに分類しない。ＮＡ＝Ｏ，Ｘ、ＮＫ＝Ｘ，Ｘ、ＮＬ＝Ｘ，Ｘであるから、人物Ｎを既存の人物Ａ、Ｋ、Ｌのグループに分類しない。ＮＡ＝Ｏ，Ｘ、ＮＭ＝Ｏ，Ｏであるから、人物Ａ、Ｍ、Ｎを同じグループに分類する。

以下同様に、人物Ｂ～Ｎについてもグループに分類する。
その結果、人物Ａ～Ｎは、図５に示すように、人物Ａ、Ｂ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｃ、Ｄ、Ｇ、Ｈのグループ、人物Ａ、Ｅ、Ｆ、Ｉ、Ｊのグループ、人物Ａ、Ｂ、Ｋ、Ｌのグループおよび人物Ａ、Ｂ、Ｍ、Ｎのグループを含む、５つのグループに分類される。

続いて、例えば第２しきい値＝０．０９として、第１グループに属する１４人の人物Ａ～Ｎをレベルに分類する。

表１０は、２人の人物の２通りの順列のうちの一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差（絶対値）を表す。

表１０において、例えばＡＢ＝０．０６５は、２人の人物Ａ、Ｂの一方の順列Ａ×Ｂの規格化された共起スコア＝約０．３９２と他方の順列Ｂ×Ａの規格化された共起スコア＝約０．４７５との差（絶対値）＝約０．０６５であることを表す。

例えば、２人の人物Ａ、Ｂの組み合わせについて、人物Ａ、Ｂの２通りの順列のうちの一方の順列Ａ×Ｂの規格化された共起スコア＝約０．３９２および他方の順列Ｂ×Ａの規格化された共起スコア＝約０．４７５はいずれも第１しきい値＝０．１２２以上であるから、一方の順列Ａ×Ｂの規格化された共起スコア＝約０．３９２と他方の順列Ｂ×Ａの規格化された共起スコア＝約０．４７５との差＝約０．０６５と、第２しきい値＝０．０９とを比較する。差＝約０．０６５は第２しきい値＝０．０９未満であるため、２人の人物Ａ、Ｂを同じレベルに分類する。

また、２人の人物Ａ、Ｃの組み合わせについて、人物Ａ、Ｃの２通りの順列のうちの一方の順列Ａ×Ｃの規格化された共起スコア＝約０．１８７および他方の順列Ｃ×Ａの規格化された共起スコア＝約０．４３７はいずれも第１しきい値＝０．１２２以上であるから、一方の順列Ａ×Ｃの規格化された共起スコア約０．１８７と他方の順列Ｃ×Ａの規格化された共起スコア＝約０．４３７との差＝約０．２５０と、第２しきい値＝０．０９とを比較する。差＝約０．２５０は第２しきい値＝０．０９以上であるため、２人の人物Ａ、Ｃは異なるレベルに分類する。

以下同様にして、各々のグループについて、そのグループに属する２人の人物の組み合わせ毎に、規格化された共起スコアの差と第２しきい値とを比較して、そのグループに属する人物をさらにレベルに分類する。

その結果、図５に示すように、第１グループに属する１４人の人物Ａ～Ｎのうち、人物Ａ、Ｂは同じレベルに分類される。また、人物Ｃ、Ｄ、Ｇ、Ｈが同じレベルに分類され、人物Ｅ、Ｆ、Ｉ、Ｊが同じレベルに分類される。人物Ｋ、Ｌが同じレベルに分類され、人物Ｍ、Ｎが同じレベルに分類される。

図５において、両方向の矢印は、矢印の両側の２人の人物の２通りの順列のうちの一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差が、第２しきい値＝０．０９未満であり、この２人の人物が同じレベルであることを表す。一方、片方向の矢印は、前述の差が第２しきい値＝０．０９以上であり、この２人の人物が異なるレベルであることを表す。

また、片方向の矢印は、その両側の２人の人物の２通りの順列のうちの規格化された共起スコアが大きい方の順列の前側の人物から後側の人物へ向けられている。例えば表６に示す人物Ａ、Ｃの場合、片方向の矢印は、図５に示すように、人物Ａ、Ｃの２通りの順列Ａ×ＣおよびＣ×Ａのうちの規格化された共起スコアが大きい方の順列Ｃ×Ａの前側の人物Ｃから後側の人物Ａへ向けられている。

このように、本実施例においては、多数の画像から、人物をグループおよびレベルに分けることができる。

例えば、人物Ａ（新婦）、Ｂ（新郎）、ＫおよびＬ（いずれも新婦友人）は、「新婦の友人グループ」として、１つのグループを形成するとともに、人物Ａ，Ｂは中心人物度（主人公度）が高い方のレベル、人物Ｋ，Ｌは中心人物度が低い方のレベルに分けられ、結婚式というイベントにおける実際の人間関係を、共起関係から判別できている。なお、中心人物度が高い方のレベルの人物は、同一グループ内において、本発明の特定人物に相当する。

上記の通り判別できた人間関係の使用方法の一例について説明すると、人物ＫおよびＬには、人物ＫおよびＬが同じレベルであることから、「人物ＫまたはＬが写っている画像」は全て送付する。人物ＡおよびＢには、人物ＡおよびＢが同じレベルであることから、「人物ＡまたはＢが写っている画像」は全て送付する。そして、人物Ａ、Ｂ、ＫおよびＬは同じグループであるため、中心人物度が低い人物ＫおよびＬのみが写っており中心人物度が高い人物ＡおよびＢが写っていない画像は、中心人物度が高い人物ＡおよびＢに送付される。一方、中心人物度が高い人物ＡおよびＢのみが写っており中心人物度が低い人物ＫおよびＬが写っていない画像は、中心人物度が低い人物ＫおよびＬには送付されない。

表１１は、修学旅行の画像群における画像の名称および各画像に写っている人物の名称を表す。修学旅行の画像群においては、通常、複数の人物の中に中心人物が存在しない。表１１～表１７は、表１～表７に対応するものであるから、以下簡略化して説明する。

表１１の左端の列の上側から２～１１行目には、各画像の名称が示されている。各画像の名称は画像１～１０であり、画像群の総数は１０枚である。
表１１の最上行の左側から２～１１列目には、各人物の名称が示されている。各人物の名称はＡ～Ｊであり、人物の総数は１０人である。

表１１の上側から２～１１行目および左側から２～１１列目には、共起関係情報として、人物が画像に写っているか否かを表すフラグが示されている。
表１１の下側から２行目の左側から２～１１列目には、画像群における各人物の登場回数が示され、表１１の末行の左側から２～１１列目には、画像１枚当たりの各人物の登場回数が示されている。例えば、画像群における人物Ａの登場回数は３回であり、画像１枚当たりの人物Ａの登場回数は、３／１０＝０．３回である。

表１１の右端の列の上側から２～１１行目には、各画像に写っている人物の人数が示されている。表１１の右端の列の下側から２行目には、画像群における人物の総登場回数が示され、表１１の右端の列の末行には、画像１枚当たりの人物の登場回数が示されている。画像群における人物の総登場回数は２８回であり、画像１枚当たりの人物の登場回数は、２８／１０＝２．８回である。

続いて、表１２は、人物Ａと各人物Ａ～Ｎとの順列の各画像における共起スコアを表す。

表１２の左端の列の上側から２～１１行目には、表１１と同じように各画像の名称が示されている。
表１２の最上行の左側から２～１１列目には、人物Ａと各人物Ａ～Ｎとの順列Ａ×Ａ、Ａ×Ｂ、Ａ×Ｃ、Ａ×Ｄ、Ａ×Ｅ、Ａ×Ｆ、Ａ×Ｇ、Ａ×Ｈ、Ａ×Ｉ、Ａ×Ｊの名称が示されている。

例えば、表１２の左側から３列目の２～１１行目には、人物Ａと人物Ｂとの順列Ａ×Ｂの各画像における共起スコアが示されている。
表１２の左側から３列目の末行には、人物Ａと人物Ｂとの順列Ａ×Ｂの画像群における共起スコアが示されている。人物Ａと人物Ｂとの順列Ａ×Ｂの画像群における共起スコアは、０．５＋０＋０＋０＋１＋０＋０＋０＋０．５＋０＝２となる。

人物Ａと各人物Ｂ～Ｊとの順列以外の２人の人物の順列の共起スコアも同様にして算出することができる。

続いて、表１３は、画像群の共起スコアを表す。

表１３の最上行の左側から２～１１列目には、各人物の名称Ａ～Ｊが示されている。同様に、表１３の左端の列の上側から２～１１行目には、各人物の名称Ａ～Ｊが示されている。

表１３の上側から２～１１行目および左側から２～１１列目には、画像群の共起スコアが示されている。例えば、人物Ａと人物Ｂとの順列の画像群における共起スコアは、表１２の左側から３列目の末行にも示されているように、２である。表１３においても、同一人物の順列の共起スコアは除外されている。
表１３の末行の左側から２～１１列目には、画像群において、各人物が写っている画像の枚数が示されている。例えば、画像群において、人物Ａが写っている画像の枚数は、表１１の左側から２列目の下側から２行目にも示されているように、３枚である。

続いて、表１４および表１５は、表１３の共起スコアに基づいて、複数の人物の画像群の共起スコアの最大値を大きい順にソート、かつ、人物毎に、その人物以外の人物の画像群の共起スコアを大きい順にソートしたものである。

表１４および表１５の最上行の偶数番目の列には、画像群の共起スコアの最大値が大きい人物の順に左側から各人物の名称が示されている。各人物の名称は、左側から、Ａ、Ｂ、Ｆ、Ｇ、Ｉ、Ｊ、Ｃ、Ｄ、Ｅ、Ｈである。

例えば、表１４の左端の列および左側から２列目は、人物Ａと各人物Ｂ～Ｊとの順列の画像群における共起スコアを表す。表１４の左側から２列目には、人物Ａと各人物Ｂ～Ｊとの順列の画像群における共起スコアが大きい順に上側から示されている。また、表１４の左端の列には、人物Ａ以外の各人物Ｂ～Ｊの名称が、画像群の共起スコアが大きい人物の順に上側から示されている。

表１４および表１５の末行の偶数番目の列には、人物毎に、画像群の共起スコアの総合値が示されている。例えば、表１４の末行の左側から２列目に示されているように、人物Ａと各人物Ｂ～Ｊとの順列の画像群における共起スコアの総合値は、３となる。

続いて、表１６および表１７は、人物毎に、表１３および表１４の共起スコアをその人物の共起スコアの総合値で割ることによって規格化された共起スコアを表す。

例えば、表１６の左側から２列目には、人物Ａと各人物Ｂ～Ｊとの順列の規格化された共起スコアが大きい順に上側から示されている。人物Ａと人物Ｂとの順列の規格化された共起スコアは、２／３＝約０．６６７であり、人物Ｂと人物Ａとの順列の規格化された共起スコアは、２／３＝約０．６６７である。

続いて、同様に第１しきい値＝０．１８５として、１０人の人物Ａ～Ｊをグループに分類する。

表１８および表１９は、人物毎に、人物と人物以外の各人物とからなる２人の人物の２通りの順列の規格化された共起スコアと第１しきい値とを比較した結果を表す。

人物Ａについて、まず、ＡＢ＝Ｏ，Ｏであるから、人物Ａ、Ｂを同じグループに分類する。

続いて、ＡＣ＝Ｘ，Ｘであるから、人物Ａ、Ｃを異なるグループにする。この場合、人物Ｃを既存の人物Ａ、Ｂと同じグループには分類しないため、人物Ｃを既存の人物Ａ、Ｂと同じグループ分類できるか否かを確認する必要はない。

続いて、ＡＤ＝Ｘ，Ｘであるから、人物Ａ、Ｄを異なるグループに分類する。この場合、人物Ｄを既存の人物Ａ、Ｂのグループに分類しないため、人物Ｄを既存の人物Ｃのグループに分類できるか否かを確認する。その結果、ＣＤ＝Ｏ，Ｏであるから、人物Ｃ、Ｄを同じグループに分類する。

続いて、ＡＥ＝Ｘ，Ｘであるから、人物Ａ、Ｅを異なるグループに分類する。この場合、人物Ｅを既存の人物Ａ、Ｂのグループに分類しないため、人物Ｅを既存の人物Ｃ、Ｄのグループに分類できるか否かを確認する。その結果、ＣＥ＝Ｏ，Ｏ、ＤＥ＝Ｏ，Ｏであるから、人物Ｃ、Ｄ、Ｅを同じグループに分類する。

続いて、ＡＦ＝Ｘ，Ｘであるから、人物Ａ、Ｆを異なるグループに分類する。この場合、人物Ｆを既存の人物Ａ、Ｂのグループに分類しないため、人物Ｆを既存の人物Ｃ、Ｄ、Ｅのグループに分類できるか否かを確認する。その結果、ＣＦ＝Ｘ，Ｘ、ＤＦ＝Ｘ，Ｘ、ＥＦ＝Ｘ，Ｘであるから、人物Ｆを既存の人物Ｃ、Ｄ、Ｅのグループに分類しない。人物Ｆを既存の人物Ａ、Ｂのグループおよび人物Ｃ、Ｄ、Ｅのグループとは異なるグループに分類する。

続いて、ＡＧ＝Ｘ，Ｘであるから、人物Ａ、Ｇを異なるグループに分類する。この場合、人物Ｇを既存の人物Ａ、Ｂのグループに分類しないため、人物Ｇを既存の人物Ｃ、Ｄ、Ｅのグループおよび人物Ｆのグループに分類できるか否かを確認する。その結果、ＣＧ＝Ｘ，Ｘ、ＤＧ＝Ｘ，Ｘ、ＥＧ＝Ｘ，Ｘであるから、人物Ｇを既存の人物Ｃ、Ｄ、Ｅのグループに分類しない。ＦＧ＝Ｏ，Ｏであるから、人物Ｆ、Ｇを同じグループに分類する。

続いて、ＡＨ＝Ｘ，Ｘであるから、人物Ａ、Ｈを異なるグループに分類する。この場合、人物Ｈを既存の人物Ａ、Ｂのグループに分類しないため、人物Ｈを既存の人物Ｃ、Ｄ、Ｅのグループおよび人物Ｆ、Ｇのグループに分類できるか否かを確認する。その結果、ＣＨ＝Ｘ，Ｘ、ＤＨ＝Ｘ，Ｘ、ＥＨ＝Ｘ，Ｘであるから、人物Ｈを既存の人物Ｃ、Ｄ、Ｅのグループに分類しない。ＦＨ＝Ｘ，Ｘ、ＧＨ＝Ｏ，Ｘであるから、人物Ｈを既存の人物Ｆ、Ｇのグループに分類しない。ＧＨ＝Ｏ，Ｘであるから、人物Ｇ、Ｈを同じグループに分類する。

続いて、ＡＩ＝Ｘ，Ｘであるから、人物Ａ、Ｉを異なるグループに分類する。この場合、人物Ｉを既存の人物Ａ、Ｂのグループに分類しないため、人物Ｉを既存の人物Ｃ、Ｄ、Ｅのグループ、人物Ｆ、Ｇのグループおよび人物Ｇ、Ｈのグループに分類できるか否かを確認する。その結果、ＣＩ＝Ｘ，Ｘ、ＤＩ＝Ｘ，Ｘ、ＥＩ＝Ｘ，Ｘであるから、人物Ｉを既存の人物Ｃ、Ｄ、Ｅのグループに分類しない。ＦＩ＝Ｘ，Ｘ、ＧＩ＝Ｘ，Ｘであるから、人物Ｉを既存の人物Ｆ、Ｇのグループに分類しない。ＧＩ＝Ｘ，Ｘ、ＨＩ＝Ｏ，Ｏであるから、人物Ｉを既存の人物Ｇ、Ｈのグループに分類しない。ＨＩ＝Ｏ，Ｏであるから、人物Ｈ、Ｉを同じグループに分類する。

続いて、ＡＪ＝Ｘ，Ｘであるから、人物Ａ、Ｊを異なるグループに分類する。この場合、人物Ｊを既存の人物Ａ、Ｂのグループに分類しないため、人物Ｊを既存の人物Ｃ、Ｄ、Ｅのグループ、人物Ｆ、Ｇのグループ、人物Ｇ、Ｈのグループおよび人物Ｈ、Ｉのグループに分類できるか否かを確認する。その結果、ＣＪ＝Ｘ，Ｘ、ＤＪ＝Ｘ，Ｘ、ＥＪ＝Ｘ，Ｘであるから、人物Ｊを既存の人物Ｃ、Ｄ、Ｅのグループに分類しない。ＦＪ＝Ｘ，Ｘ、ＧＪ＝Ｘ，Ｘであるから、人物Ｊを既存の人物Ｆ、Ｇのグループに分類しない。ＧＪ＝Ｘ，Ｘ、ＨＪ＝Ｏ，Ｏであるから、人物Ｊを既存の人物Ｇ、Ｈのグループに分類しない。ＨＪ＝Ｏ，Ｏ、ＩＪ＝Ｏ，Ｏであるから、人物Ｈ、Ｉ、Ｊを同じグループに分類する。

以下同様に、人物Ｂ～Ｊについてもグループに分類する。
その結果、人物Ａ～Ｊは、図６に示すように、人物Ａ、Ｂのグループ、人物Ｃ、Ｄ、Ｅのグループ、人物Ｆ、Ｇのグループ、人物Ｇ、Ｈのグループ、および人物Ｈ、Ｉ、Ｊのグループを含む、５つのグループに分類される。

続いて、例えば第２しきい値＝０．１として、図５の場合と同じように、第１グループに属する２人の人物Ａ、Ｂをレベルに分類する。また、第２グループに属する３人の人物Ｃ、Ｄ、Ｅ、第３グループに属する２人の人物Ｆ、Ｇ、第４グループに属する２人の人物Ｇ、Ｈ、第５グループに属する３人の人物Ｈ、Ｉ、Ｊについても、そのグループに属する２人の人物の組み合わせ毎に、規格化された共起スコアの差と第２しきい値とを比較して、そのグループに属する人物をさらにレベルに分類する。

表２０は、２人の人物の２通りの順列のうちの一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差（絶対値）を表す。

その結果、図６に示すように、第１グループに属する２人の人物Ａ、Ｂは同じレベルに分類される。また、第２グループに属する３人の人物のうち、人物Ｃ、Ｄは同じレベルに分類され、人物Ｃ、Ｄと人物Ｅとは異なるレベルに分類される。第３グループに属する２人の人物Ｆ、Ｇは異なるレベルに分類される。第４グループに属する２人の人物Ｇ、Ｈは同じレベルに分類される。第５グループに属する３人の人物Ｈ、Ｉ、Ｊは同じレベルに分類される。

図６において、両方向および片方向の矢印は、図５の場合と同じように、第２しきい値＝０．１として、矢印の両側の２人の人物の２通りの順列のうちの一方の順列の規格化された共起スコアと他方の順列の規格化された共起スコアとの差が、第２しきい値＝０．１未満であり、この２人の人物が同じレベルなのか、第２しきい値＝０．１以上であり、この２人の人物が異なるレベルなのかを表す。

このように、本実施例においても、多数の画像から、人物をグループおよびレベルに分けることができる。

例えば、人物ＡおよびＢは１グループを形成している。また、人物Ｃ、ＤおよびＥは１グループを形成するとともに、人物ＣおよびＤが中心人物度が高い方のレベル、人物Ｅが中心人物度が低い方のレベルに、それぞれ分けられる。人物ＡおよびＢが形成するグループと人物Ｃ、ＤおよびＥが形成するグループとは別のグループと判別できている。この判別は、表１１の画像を自然人が見て判断できる人間関係と合致している。すなわち、本実施例による別グループを形成するという判別は、「画像１においては人物ＡおよびＢと人物Ｃとが、画像９においては人物ＡおよびＢと人物Ｄとが、共起関係にあるものの、それらの他には共起関係を有する画像がないことから、人物ＡおよびＢが写っている画像において共起関係にある人物ＣおよびＤは、（例えば、単に同じクラスで同じような観光地を回っているうちに）単に写り込んだに過ぎない」という、自然人なら理解できる人間関係と合致している。

上記の通り判別できた人間関係の使用方法の一例について説明すると、人物ＡおよびＢには、人物ＡおよびＢが同じレベルであることから、「人物ＡまたはＢが写っている画像」は全て送付する。
人物ＣおよびＤには、人物ＣおよびＤが同じレベルであることから、「人物ＣまたはＤが写っている画像」は全て送付する。人物Ｅには、「人物Ｅが写っている画像」は全て送付する。そして、人物Ｃ、ＤおよびＥは同じグループであるため、中心人物度が低い人物Ｅのみが写っており中心人物度が高い人物ＣおよびＤが写っていない画像は、中心人物度が高い人物ＣおよびＤに送付される。一方、中心人物度が高い人物ＣおよびＤのみが写っており中心人物度が低い人物Ｅが写っていない画像は、中心人物度が低い人物Ｅには送付されない。

なお、第１しきい値の設定方法は特に限定されないが、例えば規格化された共起スコアに対して第１しきい値＝０．１のように、第１しきい値として、画像処理装置１０において単一の固定値（初期値）が設定されていてもよい。

複数の人物の画像群における共起関係および規格化された共起スコア等を求めても、本質的には、現実の社会において、このような関係性にあれば友達であり、そうでなければ友達でないなどと一概に割り切れないように、規格化された共起スコア等がどの程度の値以上であれば同一グループとみなすか否かは、必ずしも画像処理装置１０があらかじめ決定しておけるものではなく、ユーザが適宜決定する方がよい場合もある。

従って、前述のように、ユーザの指示に応じて第１しきい値を設定（変更）できるようにしてもよい。例えば、指示受付部２２は、第１しきい値を直接入力するためのボックス（入力フィールド）を備えていてもよい。あるいは、指示受付部２２はスライダバーを備え、例えば第１しきい値の初期値＝０．１が設定されているが、ユーザがスライダバーを移動させることにより、例えば０．０１刻みで第１しきい値が変更されるようにしてもよい。

例えば、各人物が代表顔画像で表現され、代表顔画像同士が線で囲まれるあるいは隔てられる等により複数のグループが区別されて表示されるとする。この場合、ユーザが、第１しきい値をボックスに入力する、またはスライダバーを移動させて第１しきい値が変更されると、変更された第１しきい値に基づいてグループの分類が変更されて表示される。これにより、ユーザは所望のグループ分けを行うことが容易となる。

第１しきい値が０に設定されると、複数の人物は単一のグループに分類される。一方、第１しきい値が１に設定されると、複数の人物は、完全にある人物とのツーショット画像しか存在しない場合を除き、人物毎に、その人物のみが属する１人グループに分類される。結婚披露宴および修学旅行の画像群等においては、多数の人物が登場するが、ある程度親密度が高い人物のグループが存在することが通常であり、スライダバーを移動させることにより、ユーザが所望のグループ分けを行うことが容易となる。

あるいは、画像群に基づいて、第１しきい値またはその初期値を算出することも可能である。例えば、画像群において、平均的な共起関係が生じたと仮定した際の２人の人物の親密度を算出し、これを第１しきい値またはその初期値として設定する。２人の人物の実際の親密度（規格化された共起スコア）が第１しきい値以上である場合に、同じグループに属するとする。

具体的には、第１しきい値は、１／（平均的な共起人数）＝１／｛（画像群に写っている人物の総数＋画像群における画像１枚当たりの人物の登場回数）／２－１｝により算出することができる。例えば、実施例１の画像群においては、第１しきい値＝１／｛（１４＋４．４）／２－１｝＝約０．１２２となり、実施例２の画像群においては、第１しきい値＝１／｛（１０＋２．８）／２－１｝＝約０．１８５となる。

なお、算出された第１しきい値を画像処理装置１０における単一の固定値として設定してもよいし、第１しきい値の初期値として設定し、スライダバーにより変更してよい。また、計算の簡易化のために、上記のように計算により算出された第１しきい値を四捨五入して、実施例１の第１しきい値を０．１とし、実施例２の第１しきい値を０．２とする、などの処理を行ってから複数の人物をグループに分類してもよい。

さらに、第２しきい値についても、第１しきい値の場合と同様に設定することができる。つまり、第２しきい値として、画像処理装置１０において単一の固定値が設定されていてもよいし、ユーザの指示に応じて第２しきい値を設定（変更）できるようにしてもよい。また、第２しきい値またはその初期値を、前述の算出式の１／｛（画像群に写っている人物の総数＋画像群における画像１枚当たりの人物の登場回数）／２－１｝により計算で算出してもよい。

本発明の画像処理装置１０において、共起関係記憶部１６は、例えば半導体メモリ等のメモリによって構成される。また、画像群受付部１２、人物判別部１４、共起スコア算出部１８、人物分類部２０、指示受付部２２、人物表示部２４、画像特定部２６、人物特定部２８および画像選択部３０等の各種の処理を実行する処理部（Processing Unit）のハードウェア的な構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。

各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部を、これら各種のプロセッサのうちの１つで構成してもよいし、同種または異種の２つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡおよびＣＰＵの組み合わせ等によって構成してもよい。また、複数の処理部を、各種のプロセッサのうちの１つで構成してもよいし、複数の処理部のうちの２以上をまとめて１つのプロセッサを用いて構成してもよい。

例えば、サーバおよびクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。

さらに、これらの各種のプロセッサのハードウェア的な構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

また、本発明の方法は、例えば、その各々のステップをコンピュータに実行させるためのプログラムにより実施することができる。また、このプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することもできる。

以上、本発明について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。

１０ 画像処理装置
１２ 画像群受付部
１４ 人物判別部
１６ 共起関係記憶部
１８ 共起スコア算出部
２０ 人物分類部
２２ 指示受付部
２４ 人物表示部
２６ 画像特定部
２８ 人物特定部
３０ 画像選択部

Claims (35)

1. 画像群の入力を受け付ける画像群受付部と、
   前記画像群に写っている複数の人物を判別する人物判別部と、
   前記画像群に含まれる画像毎に、前記人物判別部による前記複数の人物の判別結果に基づいて、前記複数の人物のうちの２以上の人物が前記画像に写っている場合に、前記２以上の人物が前記画像において共起関係にあることを表す共起関係情報を記憶する共起関係記憶部と、
   前記複数の人物のうちの２人の人物の順列毎に、前記画像における共起関係情報の全てに基づいて、前記２人の人物の前記画像群における共起関係の強さを表す共起スコアを算出する共起スコア算出部と、
   前記２人の人物の順列の前記画像群における共起スコアの全てに基づいて、前記複数の人物のうちの少なくとも一部の人物をグループに分類する人物分類部と、を備える、画像処理装置。
2. 前記共起関係記憶部は、前記画像毎に、前記共起関係情報として、前記複数の人物の各々が前記画像に写っているか否かを表すフラグを記憶する、請求項１に記載の画像処理装置。
3. 前記共起スコア算出部は、前記画像毎に、ｎを２以上の整数として、前記２人の人物を含むｎ人の人物が前記画像に写っている場合に、前記２人の人物の順列の前記画像における共起スコアを１／（ｎ－１）により算出し、前記２人の人物が前記画像に写っていない場合に、前記２人の人物の順列の前記画像における共起スコアを０とし、前記２人の人物の順列の前記画像における共起スコアの全てを加算することにより、前記２人の人物の順列の前記画像群における共起スコアを算出する、請求項１または２に記載の画像処理装置。
4. 前記人物分類部は、
   前記複数の人物に含まれる人物毎に、前記人物と前記人物以外の各人物とからなる前記２人の人物の順列の前記画像群における共起スコアの全てを加算することにより前記人物の共起スコアの総合値を算出し、
   前記人物毎に、前記人物と前記人物以外の各人物とからなる前記２人の人物の順列の前記画像群における共起スコアの各々を前記人物の共起スコアの総合値で割ることにより規格化し、
   前記人物と前記人物以外の各人物とからなる前記２人の人物の順列の前記規格化された共起スコアの全てに基づいて、前記複数の人物をグループに分類する、請求項１ないし３のいずれか一項に記載の画像処理装置。
5. 前記人物分類部は、
   前記人物毎に、前記人物と前記人物以外の各人物とからなる第１の前記２人の人物の２通りの順列の前記規格化された共起スコアと第１しきい値とを比較し、
   前記第１の２人の人物の２通りの順列の前記規格化された共起スコアと前記第１しきい値とを比較する毎に、前記第１の２人の人物の２通りの順列の少なくとも一方の前記規格化された共起スコアが前記第１しきい値以上である場合、前記第１の２人の人物を同じグループに分類し、前記第１の２人の人物の２通りの順列の両方の前記規格化された共起スコアが前記第１しきい値未満である場合、前記第１の２人の人物を異なるグループに分類し、さらに、前記第１の２人の人物を既存のグループに分類できるか否かを確認し、
   前記第１の２人の人物を前記既存のグループに分類できるか否かを確認する場合、
   前記第１の２人の人物に含まれる人物毎に、前記人物と前記既存のグループに属する各人物とからなる第２の前記２人の人物の２通りの順列の前記規格化された共起スコアと前記第１しきい値とを比較し、
   全ての前記第２の２人の人物の２通りの順列の少なくとも一方の前記規格化された共起スコアが前記第１しきい値以上である場合に、前記第２の２人の人物および前記既存のグループに属する人物を同じグループに分類し、前記全ての第２の２人の人物の中に、前記２通りの順列の両方の前記規格化された共起スコアが前記第１しきい値未満である第２の２人の人物が存在する場合に、前記第２の２人の人物を前記既存のグループに属する人物とは異なるグループに分類する、請求項４に記載の画像処理装置。
6. 前記人物分類部は、
   前記共起スコアの最大値が大きい人物の順に、前記人物毎に、前記人物と前記人物以外の各人物とからなる第１の前記２人の人物の２通りの順列の前記規格化された共起スコアと第１しきい値とを比較し、
   前記全ての第２の２人の人物について、前記第２の２人の人物の２通りの順列の少なくとも一方の前記規格化された共起スコアが前記第１しきい値以上である場合に、前記既存のグループを第１グループとし、前記第２の２人の人物を、前記第１グループに属する人物を包含する第２グループに分類する、請求項５に記載の画像処理装置。
7. 前記人物分類部は、前記既存のグループを前記第１グループとし、前記第２の２人の人物を、前記第１グループに属する人物を包含する前記第２グループに分類することを２回以上繰り返す、請求項６に記載の画像処理装置。
8. 前記人物分類部は、各々の前記グループについて、前記グループに属する前記２人の人物の組み合わせ毎に、前記組み合わせの２人の人物の２通りの順列の前記規格化された共起スコアに基づいて、前記組み合わせの２人の人物をレベルに分類する、請求項５ないし７のいずれか一項に記載の画像処理装置。
9. 前記人物分類部は、前記組み合わせの２人の人物の２通りの順列のうちの少なくとも一方の順列の前記規格化された共起スコアが前記第１しきい値以上である場合に、前記組み合わせの２人の人物の２通りの順列のうちの一方の順列の前記規格化された共起スコアと他方の順列の前記規格化された共起スコアとの差と、第２しきい値とを比較した結果、前記差が前記第２しきい値以上である場合に、前記組み合わせの２人の人物を異なるレベルに分類し、前記差が前記第２しきい値未満である場合に、前記組み合わせの２人の人物を同じレベルに分類する、請求項８に記載の画像処理装置。
10. 前記第１しきい値として、前記画像処理装置において単一の固定値が設定されている、請求項５ないし９のいずれか一項に記載の画像処理装置。
11. さらに、ユーザの指示を受け付ける指示受付部を備え、
    前記第１しきい値は、前記ユーザの指示に応じて設定される、請求項５ないし９のいずれか一項に記載の画像処理装置。
12. 前記指示受付部は、前記第１しきい値を入力するためのボックスを備える、請求項１１に記載の画像処理装置。
13. 前記指示受付部はスライダバーを備え、前記スライダバーを移動させることにより、前記第１しきい値が変更される、請求項１１に記載の画像処理装置。
14. さらに、前記グループ毎に、前記グループに属する人物を表示する人物表示部を備え、
    前記人物分類部は、前記ユーザの指示に応じて前記第１しきい値が変更された場合に、前記変更された第１しきい値に基づいて、前記複数の人物のうちの少なくとも一部の人物をグループに分類し、
    前記人物表示部は、前記変更された第１しきい値に基づいて分類されたグループ毎に、グループに属する人物を表示する、請求項１１ないし１３のいずれか一項に記載の画像処理装置。
15. 前記第１しきい値は、１／｛（前記画像群に写っている人物の総数＋前記画像群における画像１枚当たりの人物の登場回数）／２－１｝により算出される、請求項５ないし９のいずれか一項に記載の画像処理装置。
16. 前記第２しきい値として、前記画像処理装置において単一の固定値が設定されている、請求項９に記載の画像処理装置。
17. さらに、ユーザの指示を受け付ける指示受付部を備え、
    前記第２しきい値は、前記ユーザの指示に応じて設定される、請求項９に記載の画像処理装置。
18. 前記指示受付部は、前記第２しきい値を入力するためのボックスを備える、請求項１７に記載の画像処理装置。
19. 前記指示受付部はスライダバーを備え、前記スライダバーを移動させることにより、前記第２しきい値が変更される、請求項１７に記載の画像処理装置。
20. さらに、前記レベル毎に、前記レベルに属する人物を表示する人物表示部を備え、
    前記人物分類部は、前記ユーザの指示に応じて前記第２しきい値が変更された場合に、前記変更された第２しきい値に基づいて前記組み合わせの２人の人物をレベルに分類し、
    前記人物表示部は、前記変更された第２しきい値に基づいて分類されたレベル毎に、レベルに属する人物を表示する、請求項１７ないし１９のいずれか一項に記載の画像処理装置。
21. 前記第２しきい値は、１／｛（前記画像群に写っている人物の総数＋前記画像群における画像１枚当たりの人物の登場回数）／２－１｝により算出される、請求項９に記載の画像処理装置。
22. さらに、前記グループ毎に、前記画像群の中から、前記グループに属する１以上の人物が写っている画像を特定する画像特定部と、
    前記複数の人物の中から、一定の条件を満たす１以上の人物を特定人物として特定する人物特定部と、
    前記グループ毎に、前記グループに属する１以上の人物が写っている画像の中から、前記特定人物が写っている画像なのか否かに基づいて一部の画像を選択する画像選択部と、を備える、請求項１ないし２１のいずれか一項に記載の画像処理装置。
23. 前記人物分類部により、第１グループに属する人物を包含する第２グループが形成された場合、前記人物特定部は、前記第１グループに属する人物が、前記第２グループにおける前記特定人物であると特定する、請求項２２に記載の画像処理装置。
24. さらに、ユーザの指示を受け付ける指示受付部を備え、
    前記人物特定部は、前記ユーザの指示によって指定された人物を前記特定人物として特定する、請求項２２に記載の画像処理装置。
25. 前記人物特定部は、前記画像群における登場回数が最も多い人物を中心人物として、前記中心人物から前記画像群における登場回数が多い順に１以上の人物を前記特定人物として特定する、請求項２２に記載の画像処理装置。
26. 前記画像選択部は、前記グループに属する１以上の人物が写っている画像の中から、前記特定人物の少なくとも１人と前記グループに属する前記特定人物以外の少なくとも１人の人物とが一緒に写っている画像と、前記グループに属する前記特定人物以外の少なくとも１人の人物が写っている画像と、前記特定人物の少なくとも１人が写っている画像および前記特定人物の少なくとも１人と前記グループに属さない少なくとも１人の人物とが一緒に写っている画像のうちの一定の条件を満たす一部の画像と、を選択する、請求項２２ないし２５のいずれか一項に記載の画像処理装置。
27. 前記画像選択部は、前記一部の画像として、最も画質がよい画像から画質がよい順に１以上の画像を選択する、請求項２６に記載の画像処理装置。
28. 画像群受付部が、画像群の入力を受け付けるステップと、
    人物判別部が、前記画像群に写っている複数の人物を判別するステップと、
    共起関係記憶部が、前記画像群に含まれる画像毎に、前記人物判別部による前記複数の人物の判別結果に基づいて、前記複数の人物のうちの２以上の人物が前記画像に写っている場合に、前記２以上の人物が前記画像において共起関係にあることを表す共起関係情報を記憶するステップと、
    共起スコア算出部が、前記複数の人物のうちの２人の人物の順列毎に、前記画像における共起関係情報の全てに基づいて、前記２人の人物の前記画像群における共起関係の強さを表す共起スコアを算出するステップと、
    人物分類部が、前記２人の人物の順列の前記画像群における共起スコアの全てに基づいて、前記複数の人物のうちの少なくとも一部の人物をグループに分類するステップと、を含む、画像処理方法。
29. 前記グループに分類するステップは、
    前記複数の人物に含まれる人物毎に、前記人物と前記人物以外の各人物とからなる前記２人の人物の順列の前記画像群における共起スコアの全てを加算することにより前記人物の共起スコアの総合値を算出するステップと、
    前記人物毎に、前記人物と前記人物以外の各人物とからなる前記２人の人物の順列の前記画像群における共起スコアの各々を前記人物の共起スコアの総合値で割ることにより規格化するステップと、
    前記人物と前記人物以外の各人物とからなる前記２人の人物の順列の前記規格化された共起スコアの全てに基づいて、前記複数の人物をグループに分類するステップと、を含む、請求項２８に記載の画像処理方法。
30. 前記グループに分類するステップは、
    前記人物毎に、前記人物と前記人物以外の各人物とからなる第１の前記２人の人物の２通りの順列の前記規格化された共起スコアと第１しきい値とを比較するステップと、
    前記第１の２人の人物の２通りの順列の前記規格化された共起スコアと前記第１しきい値とを比較する毎に、前記第１の２人の人物の２通りの順列の少なくとも一方の前記規格化された共起スコアが前記第１しきい値以上である場合、前記第１の２人の人物を同じグループに分類し、前記第１の２人の人物の２通りの順列の両方の前記規格化された共起スコアが前記第１しきい値未満である場合、前記第１の２人の人物を異なるグループに分類し、さらに、前記第１の２人の人物を既存のグループに分類できるか否かを確認するステップと、を含み、
    前記第１の２人の人物を前記既存のグループに分類できるか否かを確認する場合、
    前記第１の２人の人物に含まれる人物毎に、前記人物と前記既存のグループに属する各人物とからなる第２の前記２人の人物の２通りの順列の前記規格化された共起スコアと前記第１しきい値とを比較するステップと、
    全ての前記第２の２人の人物の２通りの順列の少なくとも一方の前記規格化された共起スコアが前記第１しきい値以上である場合に、前記第２の２人の人物および前記既存のグループに属する人物を同じグループに分類し、前記全ての第２の２人の人物の中に、前記２通りの順列の両方の前記規格化された共起スコアが前記第１しきい値未満である第２の２人の人物が存在する場合に、前記第２の２人の人物を前記既存のグループに属する人物とは異なるグループに分類するステップと、を含む、請求項２９に記載の画像処理方法。
31. 前記グループに分類するステップは、
    各々の前記グループについて、前記グループに属する前記２人の人物の組み合わせ毎に、前記組み合わせの２人の人物の２通りの順列の前記規格化された共起スコアに基づいて、前記組み合わせの２人の人物をレベルに分類する、請求項３０に記載の画像処理方法。
32. 前記グループに分類するステップは、
    前記組み合わせの２人の人物の２通りの順列のうちの少なくとも一方の順列の前記規格化された共起スコアが前記第１しきい値以上である場合に、前記組み合わせの２人の人物の２通りの順列のうちの一方の順列の前記規格化された共起スコアと他方の順列の前記規格化された共起スコアとの差と、第２しきい値とを比較した結果、前記差が前記第２しきい値以上である場合に、前記組み合わせの２人の人物を異なるレベルに分類し、前記差が前記第２しきい値未満である場合に、前記組み合わせの２人の人物を同じレベルに分類する、請求項３１に記載の画像処理方法。
33. さらに、画像特定部が、前記グループ毎に、前記画像群の中から、前記グループに属する１以上の人物が写っている画像を特定するステップと、
    人物特定部が、前記複数の人物の中から、一定の条件を満たす１以上の人物を特定人物として特定するステップと、
    画像選択部が、前記グループ毎に、前記グループに属する１以上の人物が写っている画像の中から、前記特定人物が写っている画像なのか否かに基づいて一部の画像を選択するステップと、を含む、請求項２８ないし３２のいずれか一項に記載の画像処理方法。
34. 請求項２８ないし３３のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラム。
35. 請求項２８ないし３３のいずれか一項に記載の画像処理方法の各々のステップをコンピュータに実行させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体。

Images