JPWO2012004933A1 - オブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体 - Google Patents

オブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JPWO2012004933A1
JPWO2012004933A1 JP2012523509A JP2012523509A JPWO2012004933A1 JP WO2012004933 A1 JPWO2012004933 A1 JP WO2012004933A1 JP 2012523509 A JP2012523509 A JP 2012523509A JP 2012523509 A JP2012523509 A JP 2012523509A JP WO2012004933 A1 JPWO2012004933 A1 JP WO2012004933A1
Authority
JP
Japan
Prior art keywords
period
cluster
association
image
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012523509A
Other languages
English (en)
Other versions
JP5643309B2 (ja
Inventor
槻館　良太
良太 槻館
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2012523509A priority Critical patent/JP5643309B2/ja
Publication of JPWO2012004933A1 publication Critical patent/JPWO2012004933A1/ja
Application granted granted Critical
Publication of JP5643309B2 publication Critical patent/JP5643309B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

時間の経過によってオブジェクトの特徴が大きく変化したとしても同一の対象を示すオブジェクト同士を精度良く関連付ける。複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶し、互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化し、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付ける。

Description

本発明は、デジタル写真をはじめとする画像等の複数のコンテンツに含まれるオブジェクト（被写体部分等）を同一性に基づいて関連付ける技術に関する。
従来、複数の画像にそれぞれ写る複数の人物の顔を同一人物として関連付けるために、多数の画像それぞれから人物の顔の部分を検出し、その部分から顔の特徴量（例えば目や口等の顔のパーツ間の距離等、顔の識別に有用な特徴群）を抽出して、その特徴量に基づいてクラスタリングするという手法が一般的に用いられている。
これにより、近い顔の特徴量を有する人物同士がグループ化されることで、同じクラスタに分類され、近くない特徴量を有する人物同士は互いに異なるクラスタに属するようになる。そのため同じクラスタに属するか否かによって人物の同一性を判定し、同一人物と判定された人物の顔の関連付けを行うことができる。
しかし、時間が経過するにつれ、人物の顔は、その人物の成長や老化等によって、変化する。そのため、単に顔の特徴量でクラスタリングを行うと、同一人物の顔を写した画像であっても、それぞれが大きく異なる時期に撮影された画像同士では別のクラスタに分類されるおそれがある。
成長や老化等の変化を考慮して同一人物を関連付ける技術としては、人間の加齢に伴う特徴量の変化を統計的に求めたデータを用いて、人物の同一性を判定するものが知られている（例えば特許文献１を参照）。
特開２００７−１１４９３１号公報
しかしながら、上記の技術では統計的に求めたデータを用いるため、統計から外れた変化を起こした人物の同一性の判定を行う場合には、判定の精度が落ちてしまう。統計から外れた変化には、例えば通常の人より早い成長に伴う変化や、太ったり痩せたりしたことに伴う変化等が挙げられる。
そのため、従来の技術では長期間に渡って撮影された複数の画像に写る同一人物の関連付けを十分に行うことが困難である。
同様の問題は、オブジェクトが人物の顔以外（例えば動植物等）であっても発生し得る。また、コンテンツが画像以外であっても発生し得る。例えばコンテンツが音声で、オブジェクトが人物の声であれば、人物の声の特徴が加齢により変化して同一人物の声と判断できなくなってしまう可能性がある。
本発明は、上記問題に鑑みてなされたものであって、コンテンツに含まれるオブジェクトの特徴が時間の経過によって変化する場合に、複数のコンテンツに含まれる同一の対象を示すオブジェクト同士の関連付けを精度良く行うオブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体を提供することを目的とする。
上記の課題を解決するため、本発明に係るオブジェクト関連付け装置は、複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶している記憶手段と、互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化手段と、前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付け手段とを備える。
ここで、オブジェクトは各々が１つのコンテンツに含まれるものであり、１つのオブジェクトが複数のコンテンツに含まれることはない。
同一の対象を示すオブジェクトの特徴が第１の期間と第２の期間とを合わせた期間で変化したとしても、合わせた期間より短い第１の期間及び第２の期間でのその対象の変化は、合わせた期間全体における変化よりは少ないと考えられる。
そのため、第１の期間及び第２の期間それぞれにおいてグループ化を行うと、期間全体でグループ化した場合よりも時間の経過による変化の影響を受けにくく、同一の対象を示すオブジェクトのグループ化が精度良く行える。
そして、第１のグループと第２のグループとに共通して属するオブジェクトは、第１のグループに属する他のオブジェクト及び第２のグループに属する他のオブジェクトと、それぞれ同一の対象であることを示していることになる。
したがって、第１のグループと第２のグループとに共通して属するオブジェクトが所定個以上ある場合には、第１のグループのみに属するオブジェクト、第２のグループのみに属するオブジェクト及び両方に共通して属するオブジェクトはいずれも同一の対象を示していることになる。そのため、それぞれのグループに属する各オブジェクトの関連付けを行っている。
このように、第１の期間及び第２の期間それぞれで精度良くグループ化した結果を用いて、両方を合わせた期間での関連付けを行うため、同一の対象を示した各オブジェクトを従来よりも精度良く関連付けることができる。
関連付けを行った結果は、検索や分類等、オブジェクトの同一性に基づいた処理に利用することができる。
画像管理装置１００及びそれに関連する装置により構成される画像管理システム１０の例を示す図である。 画像管理装置１００の機能に係る構成を示すブロック図である。 画像群３００のデータ構成及び内容例を示す図である。 顔検出のイメージを示す図である。 オブジェクト検出情報テーブル５００に含まれるオブジェクト検出情報のデータ構成及び内容例を示す図である。 分割期間とその分割期間に含まれるオブジェクト数のイメージを示す図である。 分割期間データテーブル７００に含まれる分割期間データの構成及び内容例を示す図である。 分割期間ＤＰ００１及びＤＰ００２におけるクラスタリングのイメージを示す図である。 クラスタ情報テーブル９００に含まれるクラスタ情報のデータ構成及び内容例を示す図である。 分割期間ＤＰ００１から分割期間ＤＰ００５までにおいて、クラスタリングした結果の例を同一のグラフ上に示した図である。 関連付け情報テーブル９７０に含まれる関連付け情報のデータ構成及び内容例を示す図である。 出力部２１２が出力する画面の例を示す図である。（ａ）は検索のキーとなるオブジェクトの選択をユーザに促す選択画面９８１、（ｂ）は検索結果をユーザに提示する結果画面９８２の例を示している。 画像蓄積処理を示す流れ図である。 期間分割処理を示す流れ図である。 分割期間別クラスタリングを示す流れ図である。 クラスタ関連付け処理を示す流れ図である。 クラスタ関連付け処理の一部を示す流れ図である。 検索処理を示す流れ図である。 クラスタｃの関連クラスタ取得処理を示す流れ図である。 実施形態２における分割期間とその分割期間の長さのイメージを示す図である。 期間分割処理を示す流れ図である。 実施形態３の画像管理装置１００ｂに係る機能の構成を示すブロック図である。 期間長対応表２３００を示す図である。 実施形態３における期間分割処理を示す図である。 複数の関連クラスタ集合情報を含む関連クラスタＩＤ集合リスト２５００のデータ構成及び内容例を示す図である。 実施形態４におけるオブジェクト関連付け装置１００ｃの構成を示すブロック図である。
＜１．実施形態１＞
以下、本発明の実施形態１に係るオブジェクト関連付け装置として、コンテンツとしての画像を蓄積してその画像に含まれる被写体を示すオブジェクト（ここでは人物の顔）によって、ある人物の写る画像を検索できる画像管理装置１００について説明する。
図１は、画像管理装置１００及びそれに関連する装置により構成される画像管理システム１０の例を示す図である。
画像管理装置１００は、撮影装置１１０及び表示装置１２０と接続される。また、画像管理装置１００は、コントローラ１３０から操作信号を受信して動作する。
撮影装置１１０は、画像を撮影し、その画像を撮影日時を含むＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）情報と共に蓄積して、ケーブル等を介して画像管理装置１００へ送信することができる装置であり、例えば、デジタルカメラである。
表示装置１２０は、ケーブル等を介して画像管理装置１００と接続されることにより、画像管理装置１００から出力される映像を表示する装置であり、例えば、デジタルテレビである。
画像管理装置１００は、撮影装置１１０から取得した画像を蓄積し、コントローラ１３０から操作信号を受信して画像を検索し、検索の結果を表示装置１２０に出力する。
検索は、オブジェクト、つまり人物の顔をキーとして行われ、画像管理装置１００は、検索のキーとして指定された顔の人物と同一人物の顔であると判定された顔を含む画像を出力する。このとき、時間の経過により顔の特徴が変化した人物の顔でも精度良く同一人物の顔と判定できるように画像管理装置１００は、構成されている。
＜１−１．構成＞
画像管理装置１００は、ハードウェアとして、画像を取得する入力端子、映像を出力する出力端子、コントローラ１３０からの操作信号を受信する受信器、データとプログラムとを記憶するメモリ並びにプログラムの実行及び入出力端子と受信器との制御を行うプロセッサを備える。
図２に画像管理装置１００の構成を示す。
図２に示すように、画像管理装置１００は、画像取得部２０１、画像記憶部２０２、オブジェクト検出部２０３、オブジェクト記憶部２０４、期間分割部２０５、クラスタリング部２０６、クラスタ記憶部２０７、クラスタ関連付け部２０８、関連付け情報記憶部２０９、操作入力部２１０、検索部２１１及び出力部２１２を備える。
画像取得部２０１、オブジェクト検出部２０３、期間分割部２０５、クラスタリング部２０６、クラスタ関連付け部２０８、操作入力部２１０、検索部２１１及び出力部２１２の機能は、メモリに格納されたプログラムをプロセッサが実行することにより実現される。
画像記憶部２０２、オブジェクト記憶部２０４、クラスタ記憶部２０７及び関連付け情報記憶部２０９は、それぞれメモリの一部により実現される。
画像取得部２０１は、入力端子を介して撮影装置１１０から複数の画像を取得する。取得した画像は、その画像のファイル名及び撮影日時と対応付けて画像記憶部２０２に格納される。画像記憶部２０２に格納されている画像の集合を画像群ということとする。画像記憶部２０２に既に画像群が格納されているときに新たに画像を格納する場合は、その画像群に新たな画像のデータを追加する。
画像記憶部２０２に格納されている画像群３００のデータ構成及び内容例を図３に示す。
図３に示すように、画像群３００は、複数の画像から構成され、各画像は、ファイル名、画像データ及び撮影日時を含んでいる。画像群３００に含まれる一の画像は、図３に示すように、ファイル名３０１、画像データ３０２及び撮影日時３０３を含んでいる。
ファイル名は、画像を一意に識別するための文字列であり、撮影装置１１０により画像毎に付与される。画像を画像記憶部２０２に格納する際に、同じファイル名の画像が既に格納されていた場合には、画像取得部２０１は元のファイル名中に数値を付加する等の処理により、異なるファイル名になるようにする。
例えば、“ａａａａ．ｊｐｇ”のファイル名３０１を持つ画像が含まれる画像群３００に、新たに“ａａａａ．ｊｐｇ”のファイル名を持つ画像を追加しようとした場合、追加対象の画像は、“ａａａａ１．ｊｐｇ”というファイル名で格納される。
以下では、特定の画像を例に挙げて説明を行う場合には、その画像を“．ｊｐｇ”で終わるファイル名で呼ぶこととする。例えば、“ａａａａ．ｊｐｇ”のファイル名を持つ画像については、画像ａａａａ．ｊｐｇと呼ぶ。
撮影日時としては、撮影装置１１０によって画像毎に付与されているＥｘｉｆ情報を用いる。例えば、撮影日時３０３“２０１０：０６：１３ １６：３３：５６”は、２０１０年０６月１３日１６時３３分５６秒に撮影されたことを示している。
図３の例では、画像群３００として、２０１０年０６月１３日１６時３３分５６秒に撮影された画像ａａａａ．ｊｐｇから、２０３０年０８月２４日１５時４２分１１秒に撮影された画像ｘｙｘｙ．ｊｐｇまでが格納されている。
オブジェクト検出部２０３は、画像記憶部２０２に格納されている各画像からオブジェクトを検出してそのオブジェクトの特徴量を抽出する。そしてその結果を、検出されたオブジェクト毎にオブジェクト検出情報としてオブジェクト記憶部２０４に格納する。
オブジェクトを検出する技術は従来から知られている。ここでは、図４のように、画像４００中の矩形領域（図４の例では矩形領域４０１ａ及び４０１ｂ）からその領域に含まれる特徴量（図示せず。）を抽出して、オブジェクトに係る所定の特徴量のパターンと照合することでオブジェクトの検出を行う技術を用いる。
特徴量とは、画像中の複数の画素に係る画素値の分布に係る特徴を示したものであり、ここでは、特徴量は、画像の特徴を示す複数の数値を成分とするベクトル（例えば８００次元のベクトル）で表されることとする。
このような画像の特徴には、Ｇａｂｏｒフィルタを用いて得られる画像に含まれる画素値の分布の周期性や方向性等がある。人物の顔の識別に有用な特徴量としては、上記の画像の特徴等から目と認識された点２つの間の距離や、鼻と認識された点と口と認識された点との距離等が挙げられる。
オブジェクト記憶部２０４は、一例として、図５に示すオブジェクト検出情報テーブル５００を保持している。オブジェクト検出情報テーブル５００は、複数のオブジェクト検出情報を記憶するための領域を備えている。各オブジェクト検出情報は、オブジェクトＩＤ（ＩＤｅｎｔｉｆｉｅｒ）、ファイル名、特徴量及び撮影日時により構成されている。
オブジェクトＩＤは、オブジェクトを識別する識別子であり、ファイル名は、当該オブジェクトの検出元の画像を示すファイル名であり、特徴量は、オブジェクトについて抽出された特徴量であり、撮影日時は、当該オブジェクトの検出元の画像が撮影により生成された日時を示す。
以下では、オブジェクトの検出元の画像における撮影日時を、オブジェクトの撮影日時と呼ぶこととする。
図５に示すように、オブジェクト検出情報テーブル５００は、一例として、オブジェクトＩＤ５０１、ファイル名５０２、特徴量５０３及び撮影日時５０４からなるオブジェクト検出情報を含んでいる。
オブジェクトＩＤ５０１は、オブジェクト検出部２０３が各オブジェクトを検出した順に割り振った４桁の連番の先頭に“ＯＢＪ”を付加した文字列である。
例えば、オブジェクト検出部２０３が最初に検出したオブジェクトのオブジェクトＩＤは“ＯＢＪ０００１”であり、１０２４番目に検出されたオブジェクトのオブジェクトＩＤは“ＯＢＪ１０２４”である。
以下では、特定のオブジェクトを例に挙げて説明を行う場合には、そのオブジェクトをオブジェクトＩＤを用いて呼ぶこととする。例えば、オブジェクトＩＤ“ＯＢＪ０００１”により識別されるオブジェクトについては、オブジェクトＯＢＪ０００１と呼ぶ。
図５の例では、オブジェクト検出情報テーブル５００の第１行のオブジェクト検出情報は、特徴量５０３“（１５２，６６９，…）”を持つオブジェクトＯＢＪ０００１が、２０１０年０６月１３日１６時３３分５６秒に撮影された画像ａａａａ．ｊｐｇから検出されたことを示している。他の行のオブジェクト検出情報についても同様に、各オブジェクトのオブジェクトＩＤ、検出元のファイル名、特徴量及び撮影日時が格納されている。
期間分割部２０５は、オブジェクト記憶部２０４に格納されているオブジェクトの撮影日時の全てを含む全体期間を、複数の期間に分割する。そして、分割の結果、決定された短い分割期間それぞれを示す分割期間データを一時的にメモリの一部に格納する。分割は、時間軸上で隣り合う分割期間同士が一部重複するように行う。
図６は、期間分割部２０５が行う分割のイメージを示した図である。図６において、横軸に日時を表し、縦軸にオブジェクトの特徴量を表している。図中の複数の点５６２は、それぞれ、オブジェクトを示しており、オブジェクトを示す複数の点５６２が、それぞれ、オブジェクト検出情報の撮影日時及び特徴量に基づいた位置にプロットされている。
なお、図６では、紙面の都合上、特徴量を１次元的に描いているが、特徴量は、実際には、先述したように複数の数値を成分とするベクトルである。以下でも、日時と特徴量とを用いたグラフについては図６と同様の描き方を用いている。
分割は、図６のように、１つの分割期間に撮影日時が含まれるオブジェクトの総数がＸ個（Ｘは所定の個数）、両隣の分割期間と重複する重複期間に撮影日時が含まれるオブジェクトの数がＹ個（ＹはＸより少ない所定の個数）になるように行われる。ただし、最新のオブジェクトが含まれる分割期間についてはこの限りではない。
図６に示す分割期間５５１、５５２、５５３、５５４及び５５５は、この順序で、日時を表す横軸に沿って、過去から未来に向けて配置されている。分割期間５５１、５５２、５５３、５５４には、Ｘ個のオブジェクトが含まれ、分割期間５５５には、Ｘ個以下のオブジェクトが含まれる。分割期間５５１と分割期間５５２とに重複する重複期間５６１には、Ｙ個のオブジェクトが含まれる。
以下では、オブジェクトの撮影日時について述べるときには、特に紛らわしくない限り「撮影日時」を省略して表記することとする。例えば、オブジェクトＡの撮影日時を含む期間については、「オブジェクトＡを含む期間」ということとする。また、オブジェクトＡの撮影日時が日時Ｂより新しいときには、「オブジェクトＡが日時Ｂより新しい」ということとする。
分割期間の決定は古いオブジェクトを含む分割期間から順に行うこととし、最新の分割期間を生成した時点で分割を終了することとする。オブジェクトの総数によっては、最新の分割期間に含まれるオブジェクト数はＸ個に満たない場合がある。
図６の例では、Ｘ＝１０、Ｙ＝５として、期間を分割している。最初の分割期間は、１〜１０番目に古いオブジェクトが含まれるように決定する。２番目に古い分割期間は、最初の分割期間と共通して含まれるオブジェクトが５個になるように、６〜１５番目に古いオブジェクトが含まれるように決定する。このように決定することで、６〜１０番目の５個のオブジェクトが２つの分割期間に共通することになる。
なお、図６では説明を簡単にするためＸ＝１０、Ｙ＝５の場合を例に挙げたが、Ｘ及びＹは後述するクラスタリング及び関連付けのために十分大きい数とすることが望ましい。これより先では、Ｘ＝１００、Ｙ＝５０として説明を行うこととする。
図７は、分割期間データテーブル７００の一例を示しており、分割期間データの構成と分割結果の例とを示している。分割期間データテーブル７００は、複数の分割期間データを記憶するための領域を備えており、各分割期間データは、分割期間ＩＤ、開始日時及び終了日時を含む。分割期間ＩＤは、当該分割期間を識別するための識別子であり、開始日時は、当該分割期間の開始を示す時刻であり、年、月、日、時、分及び秒で表され、終了日時は、当該分割期間の終了を示す時刻であり、年、月、日、時、分及び秒で表される。
図７に示すように、分割期間データテーブル７００は、一例として、分割期間ＩＤ７０１、開始日時７０２及び終了日時７０３から構成される分割期間情報を含んでいる。
分割期間ＩＤは、期間分割部２０５が古い分割期間から順に割り振った３桁の連番の先頭に“ＤＰ”を付加した文字列からなる。なお、古い分割期間とは、分割期間の開始日時及び終了日時が古い分割期間のことをいう。同様に、新しい分割期間とは、分割期間の開始日時及び終了日時が新しい分割期間のことをいう。
例えば、最も古い分割期間を識別する分割期間ＩＤは“ＤＰ００１”であり、１２番目に古い分割期間を識別する分割期間ＩＤは“ＤＰ０１２”である。
以下では、特定の分割期間を例に挙げて説明を行う場合には、その分割期間を分割期間ＩＤで呼ぶこととする。例えば、分割期間ＩＤ“ＤＰ００１”により識別される分割期間については、分割期間ＤＰ００１と呼ぶ。
クラスタリング部２０６は、期間分割部２０５により分割してできた分割期間毎に、その分割期間に属するオブジェクトを各オブジェクトの特徴量を用いてクラスタリングする。そして、クラスタリングの結果、得られたクラスタ情報をクラスタ記憶部２０７に格納する。
図８は、分割期間ＤＰ００１及び分割期間ＤＰ００２におけるクラスタリングのイメージを示した図である。図中に、矩形により、クラスタＣＬＳ００１、ＣＬＳ００２、ＣＬＳ００３及びＣＬＳ００４を示しており、図中で、黒い点は、オブジェクトを示している。例えば、クラスタＣＬＳ００１は、１個のオブジェクトを含み、クラスタＣＬＳ００２は、１１個のオブジェクトを含み、クラスタＣＬＳ００３は、１２個のオブジェクトを含み、クラスタＣＬＳ００４は、４個のオブジェクトを含んでいる。１つの矩形中に含まれるオブジェクトは、同じクラスタに属している。なお、図８では紙面の都合上、各分割期間に含まれる一部のオブジェクトのみ記している。
クラスタリングは、各オブジェクトの特徴量を用いてＫ−ｍｅａｎｓ法で行われる。
Ｋ−ｍｅａｎｓ法は、各オブジェクトの特徴量を基にＫ個（所定のクラスタ数）のクラスタ毎の代表値を決定してその代表値と特徴量との差に基づいて分類する方法である。Ｋ−ｍｅａｎｓ法により、図８のように、近い値の特徴量を有する複数のオブジェクトは、同じクラスタに分類される。以下では、クラスタの代表値を決定して各オブジェクトを分類することを「クラスタを生成する」という。
同一人物を撮影したオブジェクトであれば、特徴量も近くなるため、各クラスタは、撮影された人物とほぼ一対一に対応する。また、全体期間より短い分割期間においてクラスタリングするため、人物の顔の経年変化による影響を受けにくい。
図９は、クラスタ情報テーブル９００のデータ構造の一例を示している。
クラスタ情報テーブル９００は、複数のクラスタ情報を記憶するための領域を備えており、各クラスタ情報は、クラスタリング部２０６により生成された各クラスタと一対一に対応している。各クラスタ情報は、クラスタＩＤ、１個以上のオブジェクトＩＤ及び分割期間ＩＤから構成されている。クラスタ情報テーブル９００に含まれる２個のクラスタ情報は、分割期間ＩＤを共有している。
クラスタＩＤは、対応するクラスタを一意に識別する識別子である。オブジェクトＩＤは、当該クラスタに含まれるオブジェクトを一意に識別する識別子である。また、分割期間ＩＤは、当該クラスタの生成の元になった分割期間を一意に識別する識別子である。
クラスタ情報テーブル９００の第１行のクラスタ情報は、クラスタＩＤ９０１“ＣＬＳ００１”、オブジェクトＩＤ９０２“ＯＢＪ０００１、ＯＢＪ０００２、・・・”及び分割期間ＩＤ９０３“ＤＰ００１”を含み、第２行のクラスタ情報は、クラスタＩＤ９０４“ＣＬＳ００２”、オブジェクトＩＤ９０５“ＯＢＪ００２５、・・・、ＯＢＪ００９９、ＯＢＪ０１００”及び分割期間ＩＤ９０３“ＤＰ００１”を含む。このように、クラスタ情報テーブル９００の第１行のクラスタ情報と、第２行のクラスタ情報とは、同一の分割期間ＩＤ９０３“ＤＰ００１”を有している。
ここで、クラスタＩＤは、クラスタリング部２０６が各クラスタを生成した順に割り振った３桁の連番の先頭に、“ＣＬＳ”を付加した文字列として生成されている。
例えば、クラスタリング部２０６が最初に生成したクラスタのクラスタＩＤは、“ＣＬＳ００１”であり、８番目に生成したクラスタのクラスタＩＤは、“ＣＬＳ００８”である。
以下では、特定のクラスタを例に挙げて説明を行う場合には、そのクラスタをクラスタＩＤを用いて呼ぶこととする。例えば、クラスタＩＤ“ＣＬＳ００１”により識別されるクラスタについては、これをクラスタＣＬＳ００１と呼ぶ。
図９の例では、第１行のクラスタ情報は、ＣＬＳ００１により識別されるクラスタがオブジェクトＯＢＪ０００１をはじめとする複数のオブジェクトを含み、ＤＰ００１により識別される分割期間において生成されたクラスタであることを示している。第２行以降のクラスタ情報も同様に、クラスタＩＤにより識別されるクラスタが、オブジェクトＩＤにより識別されるオブジェクトを含み、分割期間ＩＤにより識別される分割期間において生成されたことを示している。
図１０は、分割期間ＤＰ００１から分割期間ＤＰ００５までにおいて、クラスタリングした結果の例を同一のグラフ上に示したものである。この図において、図６と同様に、横軸に日時を表し、縦軸にオブジェクトの特徴量を表し、図中の複数の点は、それぞれ、オブジェクトを示しており、複数の点は、それぞれ、オブジェクト検出情報の撮影日時及び特徴量に基づいた位置にプロットされている。
図１０において、分割期間ＤＰ００１、ＤＰ００２、ＤＰ００３、ＤＰ００４、ＤＰ００５は、この順序で、横軸上において、過去から未来に向かって配置されている。分割期間ＤＰ００１及び分割期間ＤＰ００２は、一部が重複し、分割期間ＤＰ００２及び分割期間ＤＰ００３は、一部が重複している。分割期間ＤＰ００３及び分割期間ＤＰ００４、分割期間ＤＰ００４及び分割期間ＤＰ００５についても、同様に、一部が重複している。
また、分割期間ＤＰ００１において、クラスタＣＬＳ００１とクラスタＣＬＳ００２とが生成され、分割期間ＤＰ００２において、クラスタＣＬＳ００３とクラスタＣＬＳ００４とが生成されており、分割期間ＤＰ００３以降においても、同様に２つずつのクラスタが生成されている。
クラスタ関連付け部２０８は、クラスタ記憶部２０７に格納されている各分割期間において生成されたクラスタとその隣の分割期間で生成されたクラスタとの関連付けを行う。
隣り合う２個の分割期間を、分割期間Ａ及び分割期間Ａより新しい分割期間Ｂとして説明する。
クラスタ関連付け部２０８は、分割期間Ａにおいて生成された各クラスタと、分割期間Ｂにおいて生成された各クラスタとを比較し、同一のオブジェクトを所定個以上含むクラスタ同士を関連付ける。ここでは所定個を１個として説明する。
例えば、図９のクラスタ情報の例では、分割期間ＤＰ００１（分割期間Ａに相当）におけるクラスタＣＬＳ００２と、分割期間ＤＰ００２（分割期間Ｂに相当）におけるクラスタＣＬＳ００３とが、いずれもオブジェクトＯＢＪ００９９とオブジェクトＯＢＪ０１００とを含んでいる。そのため、クラスタＣＬＳ００２とクラスタＣＬＳ００３とが関連付けられる。
一つのクラスタは、一人の人物とほぼ一対一に対応するため、関連付けられた２つのクラスタに属する各オブジェクトは、一人の人物に同一の人物、すなわち同一人物を示している可能性が高い。そのため、関連付けられた２つのクラスタに属する各オブジェクトは、クラスタ同士の関連付けを介して同一人物として互いに関連付けられていることとなる。
ここで、図１０に示す例においては、クラスタＣＬＳ００２とクラスタＣＬＳ００３とは、６つのオブジェクト９５１を共通して含み、クラスタＣＬＳ００３とクラスタＣＬＳ００５とは、６つのオブジェクト９５２を共通して含んでいる。
そこで、分割期間ＤＰ００１と分割期間ＤＰ００２との組において、６つのオブジェクト９５１を共通して含むクラスタＣＬＳ００２とクラスタＣＬＳ００３とを関連付けることができ、分割期間ＤＰ００２と分割期間ＤＰ００３との組において、６つのオブジェクト９５２を共通して含むクラスタＣＬＳ００３とクラスタＣＬＳ００５とを関連付けることができる。
各分割期間とその隣の分割期間とにおいて関連付けを行った結果は、関連付け情報として、関連付け情報記憶部２０９が保持する関連付け情報テーブル９７０に格納される。
図１１は、関連付け情報テーブル９７０の一例を示し、関連付け情報のデータ構成と図１０の例に基づいた関連付けの結果とを示している。
関連付け情報テーブル９７０は、複数の関連付け情報を記憶するための領域を備えている。各関連付け情報は、第１のクラスタＩＤと第２のクラスタＩＤを含む。第１のクラスタＩＤと第２のクラスタＩＤとは、上記のようにして、相互に関連付けされた２個のクラスタを識別する識別子である。
図１１に示すように、関連付け情報テーブル９７０の第１行の関連付け情報は、第１のクラスタＩＤ９０１ａ“ＣＬＳ００２”及び第２のクラスタＩＤ９０１ｂ“ＣＬＳ００３”により構成されており、互いに関連付けられた２つのクラスタのクラスタＩＤを表している。なお、図１１に示す関連付け情報テーブル９７０の左端の列（関連付け１〜７）は説明の便宜上記載したものであり、実際には関連付け情報のデータに含まなくても構わない。
分割期間Ａで生成されたクラスタａと、分割期間Ｂで生成されたクラスタｂとが関連付けられたときには、クラスタａを識別するクラスタＩＤを第１のクラスタＩＤとし、クラスタｂを識別するクラスタＩＤを第２のクラスタＩＤとし、第１のクラスタＩＤ及び第２のクラスタＩＤから構成される関連付け情報を生成し、生成した関連付け情報を関連付け情報テーブル９７０に書き込む。
図１１の例では、クラスタＣＬＳ００２とクラスタＣＬＳ００３（関連付け１）、クラスタＣＬＳ００３とクラスタＣＬＳ００５（関連付け２）、クラスタＣＬＳ００４とクラスタＣＬＳ００６（関連付け３）、クラスタＣＬＳ００５とクラスタＣＬＳ００７（関連付け４）、クラスタＣＬＳ００６とクラスタＣＬＳ００８（関連付け５）、クラスタＣＬＳ００７とクラスタＣＬＳ００９（関連付け６）、クラスタＣＬＳ００８とクラスタＣＬＳ０１０（関連付け７）がそれぞれ関連付けられている。
操作入力部２１０は、受信器がコントローラ１３０から受信した操作信号を基にユーザに選択されたオブジェクトを特定し、検索部２１１に画像の検索を行わせる。また、操作内容を出力部２１２に出力させる。
検索部２１１は、操作入力部２１０が特定したオブジェクトと同一人物を示すオブジェクトを検索し、検索した結果得られたオブジェクトを含んでいる画像のファイル名３０１を出力部２１２に送出する。
オブジェクトの検索は、クラスタ記憶部２０７に格納されているクラスタ情報及び関連付け情報記憶部２０９に格納されている関連付け情報を用いて行われる。
出力部２１２は、表示装置１２０に映像を出力して、表示装置１２０に映像を表示させる。出力部２１２が出力する映像は、検索のキーとなるオブジェクトをユーザに選択させる選択画面と、検索部２１１による検索の結果を示す結果画面との２種類がある。
選択画面の例を図１２（ａ）に示す。図１２（ａ）に示す例では、選択画面９８１において、表示領域にオブジェクトを示す画像を複数個並べており、選択する候補のオブジェクトを示す画像を二重枠で囲んで表示している。
結果画面の例を図１２（ｂ）に示す。図１２（ｂ）に示す例では、結果画面９８２において、検索部２１１が検索した結果の画像とそのファイル名との組を複数個並べたものを、検索の結果得られた画像の個数と共に表示している。
＜１−２．動作＞
以下、画像管理装置１００が行う処理について説明する。
画像管理装置１００が行う処理は、大きく画像蓄積処理と検索処理との２つに分けられる。
＜１−２−１．画像蓄積処理＞
画像蓄積処理は、撮影装置１１０から画像を取得して蓄積し、蓄積した画像に含まれる各オブジェクトを分類する処理である。
画像蓄積処理は、画像管理装置１００に撮影装置１１０が接続されて、撮影装置１１０に格納されている画像が取得できるようになったときに開始される。
画像蓄積処理について、図１３に示す流れ図に沿って説明する。
まず、画像取得部２０１は、入力端子を介して撮影装置１１０から複数の画像を取得し、取得した複数の画像を画像記憶部２０２に格納する（ステップＳ１３０１）。
取得した各画像を格納したら、オブジェクト検出部２０３は、画像記憶部２０２に格納されている画像群の各画像からオブジェクトを検出し（ステップＳ１３０２）、検出した各オブジェクトから特徴量を抽出する（ステップＳ１３０３）。そして、各オブジェクトにオブジェクトＩＤを付与して、検出元の画像のファイル名、抽出した特徴量及び検出元の画像の撮影日時をオブジェクト検出情報としてオブジェクト記憶部２０４に格納する（ステップＳ１３０４）。
次に、期間分割部２０５は、全体期間を複数の分割期間に分割する期間分割処理を行う（ステップＳ１３０５）。
期間分割処理の結果を用いて、クラスタリング部２０６は、分割期間別クラスタリングを行う（ステップＳ１３０６）。
そして、クラスタ関連付け部２０８は、分割期間別クラスタリングで生成されたクラスタを関連付けるクラスタ関連付け処理を行う（ステップＳ１３０７）。
以下、期間分割処理、分割期間別クラスタリング及びクラスタ関連付け処理のそれぞれについて詳しく説明する。
＜１−２−２．期間分割処理＞
期間分割処理は、全体期間を分割して各分割期間を決定し、分割期間データを生成する処理である。この処理により、各分割期間に含まれるオブジェクトの数がＸ個、重複期間に含まれるオブジェクトの数がＹ個となるように、分割期間が決定される。
期間分割処理について、図１４に示す流れ図に沿って説明する。
まず、期間分割部２０５は、オブジェクト記憶部２０４に格納されているオブジェクト検出情報に基づいて、撮影日時の古い順に並ぶように、全オブジェクトをソートする（ステップＳ１４０１）。
そして期間分割部２０５は、変数ｍ及び変数ｎを「１」に初期化する（ステップＳ１４０２）。
ここで、変数ｍは、期間分割処理において各オブジェクトを識別する番号であり、変数ｍにより識別されるオブジェクトは、撮影日時がｍ番目に古いオブジェクトである。以下において、変数ｍにより識別されるオブジェクトを、オブジェクトｍと表記する。
また、変数ｎは、期間分割処理において各分割期間を識別する番号であり、変数ｎにより識別される分割期間はｎ番目に古い分割期間である。以下において、変数ｎにより識別される分割期間を、分割期間ｎと表記する。
期間分割部２０５は、分割期間ｎの開始日時にオブジェクトｍの撮影日時を設定する（ステップＳ１４０３）。オブジェクトｍの撮影日時が分割期間ｎの開始日時と一致するように設定しているため、オブジェクトｍは、分割期間ｎに含まれるものの中で最も古いオブジェクトとなる。
次に期間分割部２０５は、ｍ＋Ｘがオブジェクトの総数Ｍ以下であるか否かを判定する（ステップＳ１４０４）。すなわち、オブジェクトｍ＋Ｘが存在するか否かを判定する。
ここで、オブジェクトｍ＋Ｘは、オブジェクトｍから数えてＸ＋１個目のオブジェクトである。例えば、ｍ＝１００１、Ｘ＝１００とすると、オブジェクトｍ＋Ｘ、すなわちオブジェクト１１０１は、オブジェクト１００１から数えて１０１個目のオブジェクトであり、１００個目のオブジェクトは、オブジェクト１１００である。
オブジェクトｍは、分割期間ｎに含まれるものの中で最も古いオブジェクトであるので、オブジェクトｍ＋Ｘは、分割期間ｎの終了日時より新しいものの中で最も古いオブジェクトとなる。
すなわち、ステップＳ１４０４でオブジェクトｍ＋Ｘが存在するか否かを判定することは、分割期間ｎの終了日時より新しいオブジェクトが存在するか否かを判定していることと等価である。
ｍ＋Ｘ≦Ｍである場合（ステップＳ１４０４：ＹＥＳ）、期間分割部２０５は、分割期間ｎの終了日時にオブジェクトｍ＋Ｘ−１の撮影日時を設定する（ステップＳ１４０５）。
このようにすることで、オブジェクトｍから古い順にＸ個のオブジェクトを含む分割期間ｎが決定されたことになる。
分割期間ｎを決定したら、期間分割部２０５は、決定した分割期間ｎに分割期間ＩＤを付与して分割期間データを生成する（流れ図には示さず。）。
そして、期間分割部２０５は、次の分割期間ｎ＋１の開始日時を決定するためのオブジェクトを特定するため、ｍにｍ＋Ｘ−Ｙを設定する（ステップＳ１４０６）。
ここで、オブジェクトｍ＋Ｘ−Ｙは、オブジェクトｍ＋Ｘ−１、すなわち分割期間ｎに含まれる最新のオブジェクトから古い方に数えてＹ個目のオブジェクトとなる。
例えば、ｍ＝１００１、ｎ＝１１、Ｘ＝１００、Ｙ＝５０のときを考える。このとき、分割期間１１には、オブジェクト１００１〜オブジェクト１１０１が含まれる。そして分割期間１２については、オブジェクト１０５１〜オブジェクト１１００の５０個のオブジェクトが分割期間１１との重複期間に含まれるように、オブジェクト１０５１の撮影日時を分割期間１２の開始日時に設定することとなる。
そして、次なる分割期間を決定するため、期間分割部２０５は、ｎを「１」だけ増やして（ステップＳ１４０７）、ステップＳ１４０３に戻る。
ステップＳ１４０４の判断においてｍ＋Ｘ＞Ｍである場合（ステップＳ１４０４：ＮＯ）、期間分割部２０５は、分割期間ｎの終了日時にオブジェクトＭの撮影日時を設定して（ステップＳ１４０８）、分割期間ｎを決定する。
そして、決定した分割期間ｎに分割期間ＩＤ７０１を付与して分割期間データを生成し、期間分割処理を終了する。
＜１−２−３．分割期間別クラスタリング＞
分割期間別クラスタリングは、各分割期間において、その分割期間に含まれる各オブジェクトをクラスタに分類する処理である。
分割期間別クラスタリングについて、図１５に示す流れ図に沿って説明する。
変数ｎを「１」に初期化する（ステップＳ１５０１）。ここで、変数ｎは、分割期間別クラスタリングにおいて各分割期間を識別する番号である。例えば、分割期間７は、７番目に古い分割期間、すなわちＤＰ００７である。
クラスタリング部２０６は、分割期間ｎに含まれるオブジェクトをクラスタリングする（ステップＳ１５０２）。このとき、生成した各クラスタに対してクラスタＩＤを生成する。
クラスタリング部２０６は、クラスタリングの結果をクラスタ記憶部２０７に格納する（ステップＳ１５０３）。
すなわち、クラスタリングで生成された各クラスタに対し、そのクラスタのクラスタＩＤ、そのクラスタに含まれる各オブジェクトのオブジェクトＩＤ及び分割期間ｎの分割期間ＩＤからクラスタ情報を生成し、生成したクラスタ情報をクラスタ記憶部２０７に格納する。
そして、クラスタリング部２０６は、変数ｎが分割期間数未満であるか否かを判定する（ステップＳ１５０４）。
変数ｎが分割期間数未満であれば（ステップＳ１５０４：ＹＥＳ）、次なる分割期間でクラスタリングを行うため変数ｎを「１」だけ増やし（ステップＳ１５０５）、ステップＳ１５０２に戻る。
変数ｎが分割期間数未満でなければ（ステップＳ１５０４：ＮＯ）、全ての分割期間でクラスタリングが終了しているので分割期間別クラスタリングを終了する。
＜１−２−４．クラスタ関連付け処理＞
クラスタ関連付け処理は、隣り合う分割期間で生成されたクラスタ同士を比較して関連付ける処理である。
クラスタ関連付け処理について、図１６及び図１７に示す流れ図に沿って説明する。
クラスタ関連付け部２０８は、クラスタ関連付け処理において各分割期間を識別する番号ｎを「１」に初期化する（ステップＳ１６０１）。
図示していないが、ここで関連付け情報記憶部２０９に関連付け情報が格納されていた場合には、その関連付け情報を消去する。
クラスタ関連付け部２０８は、変数ｉに分割期間ｎでの最初のクラスタのクラスタＩＤを設定する（ステップＳ１６０２）。
ここで、分割期間ｎでの最初のクラスタは、クラスタ記憶部２０７に格納されているクラスタ情報のうち、分割期間ｎで生成されたものであって、“ＣＬＳ”に続く番号が最も小さいものに対応するクラスタとする。
クラスタ関連付け部２０８は、変数ｊ（クラスタＩＤ９０１）に分割期間ｎ＋１での最初のクラスタのクラスタＩＤを設定する（ステップＳ１６０３）。
クラスタ関連付け部２０８は、クラスタｉに対する関連付け候補を「なし」に設定して、関連付けを行うための閾値ｚを所定個（ここでは「１」）にする（ステップＳ１６０４）。ここで、クラスタｉは、変数ｉの値を有するクラスタＩＤにより識別されるクラスタである。クラスタｊについても同様である。
クラスタ関連付け部２０８は、クラスタｉとクラスタｊとの両方に共通して属するオブジェクトである共通オブジェクトの数をカウントする（ステップＳ１６０５）。
クラスタ関連付け部２０８は、共通オブジェクトの数が閾値ｚ以上であるか否かを判定する（ステップＳ１６０６）。
共通オブジェクトの数が閾値ｚ以上である場合（ステップＳ１６０６：ＹＥＳ）、クラスタ関連付け部２０８は、クラスタｊを、クラスタｉに対する関連付け候補に設定する（ステップＳ１６０７）。ここで、クラスタｉに対する関連付け候補が既にあった場合には、その関連付け候補をクラスタｊに置き換える。
クラスタ関連付け部２０８は、閾値ｚを共通オブジェクトの数に更新する（ステップＳ１６０８）。
共通オブジェクトの数が閾値ｚ未満である場合（ステップＳ１６０６：ＮＯ）には、ステップＳ１６０７及びステップＳ１６０８の処理を行わない。
そして、クラスタ関連付け部２０８は、ｊが分割期間ｎ＋１での最後のクラスタのクラスタＩＤであるか否かを判定する（ステップＳ１６０９）。
最後のクラスタのクラスタＩＤでない場合（ステップＳ１６０９：ＮＯ）、クラスタ関連付け部２０８は、変数ｊに分割期間ｎ＋１でのクラスタｊの次にあたるクラスタのクラスタＩＤを設定し（ステップＳ１６１０）、ステップＳ１６０５に戻る。
最後のクラスタのクラスタＩＤである場合（ステップＳ１６０９：ＹＥＳ）、クラスタ関連付け部２０８は、クラスタｉに対する関連付け候補があるか否かを判定する（ステップＳ１６１１）。
関連付け候補がある場合（ステップＳ１６１１：ＹＥＳ）、クラスタ関連付け部２０８は、クラスタｉと関連付け候補とを関連付ける（ステップＳ１６１２）。
すなわちクラスタ関連付け部２０８は、第１のクラスタＩＤをｉ、第２のクラスタＩＤを関連付け候補のクラスタＩＤとした関連付け情報を生成して関連付け情報記憶部２０９に格納する。このとき、関連付け情報記憶部２０９に既に関連付け情報が格納されていた場合には、生成した関連付け情報を元の関連付け情報に追加する。
関連付け候補がない場合（ステップＳ１６１１：ＮＯ）、ステップＳ１６１２の処理を行わない。
クラスタ関連付け部２０８は、変数ｉが分割期間ｎでの最後のクラスタのクラスタＩＤであるか否かを判定する（ステップＳ１６１３）。
最後のクラスタのクラスタＩＤでない場合（ステップＳ１６１３：ＮＯ）、クラスタ関連付け部２０８は、変数ｉに、分割期間ｎでのクラスタｉの次にあたるクラスタのクラスタＩＤを設定し（ステップＳ１６１４）、ステップＳ１６０３に戻る。
最後のクラスタのクラスタＩＤである場合（ステップＳ１６１３：ＹＥＳ）、分割期間ｎと分割期間ｎ＋１とにおける関連付けの処理が完了したことになるため、以下の処理を行う。
クラスタ関連付け部２０８は、分割期間ｎ＋１が分割期間数に一致するか否かを判定する（ステップＳ１６１５）。
分割期間数に一致しない場合（ステップＳ１６１５：ＮＯ）、ｎを「１」だけ増やして（ステップＳ１６１６）、ステップＳ１６０２に戻る。
分割期間数に一致する場合（ステップＳ１６１５：ＹＥＳ）、全ての隣り合う分割期間同士での関連付けの処理が完了しているので、クラスタ関連付け処理を終了する。
＜１−２−５．検索処理＞
検索処理は、ユーザが選択したオブジェクトをキーとして画像を検索する処理である。
検索処理は、ユーザによる特定のオブジェクトを選択する操作により開始される。
検索処理について、図１８に示す流れ図に沿って説明する。
検索部２１１は、検索のキーとするオブジェクトｋを識別するオブジェクトＩＤを操作入力部２１０から取得する（ステップＳ１８０１）。
検索部２１１は、オブジェクトｋの属するクラスタｃを識別するクラスタＩＤをクラスタ記憶部２０７から取得する（ステップＳ１８０２）。
検索部２１１は、クラスタｃに直接的又は間接的に関連付けられた一連のクラスタを識別するクラスタＩＤを取得する（ステップＳ１８０３）。以下では、関連付けられた一連のクラスタを関連クラスタといい、関連クラスタを識別するクラスタＩＤを関連クラスタＩＤという。
例えば、図１１のように関連付けが行われていたとすると、クラスタＣＬＳ００５の関連クラスタは、クラスタＣＬＳ００５と関連付けられているクラスタＣＬＳ００３とクラスタＣＬＳ００７、クラスタＣＬＳ００３と関連付けられているクラスタＣＬＳ００２、クラスタＣＬＳ００７と関連付けられているクラスタＣＬＳ００９の合計４つのクラスタとなる。これらのクラスタＣＬＳ００３、ＣＬＳ００７、ＣＬＳ００２及びＣＬＳ００９は、クラスタＣＬＳ００５に直接的又は間接的に関連付けられているので、いずれも同一人物を示す可能性が高い。
ステップＳ１８０３の処理（クラスタｃの関連クラスタ取得処理）の内容については、後に詳しく説明する。
検索部２１１は、クラスタｃ及び各関連クラスタに属するオブジェクト（以下、関連オブジェクトという。）のオブジェクトＩＤをクラスタ記憶部２０７から取得する（ステップＳ１８０４）。
検索部２１１は、関連オブジェクトを含む画像のファイル名をオブジェクト記憶部２０４から取得する（ステップＳ１８０５）。
出力部２１２は、検索部２１１が取得したファイル名に対応する画像を画像記憶部２０２から取得し、結果画面の態様で表示装置１２０に出力する（ステップＳ１８０６）。
＜１−２−６．クラスタｃの関連クラスタ取得処理＞
クラスタｃの関連クラスタ取得処理は、関連付け情報記憶部２０９に格納されている関連付け情報をたどってクラスタｃの関連クラスタＩＤを取得する処理である。
クラスタｃの関連クラスタ取得処理について、図１９に示す流れ図に沿って説明する。
検索部２１１は、変数ｉにクラスタｃのクラスタＩＤを設定する（ステップＳ１９０１）。
次に、検索部２１１は、変数ｉに一致する第１のクラスタＩＤを含む関連付け情報が関連付け情報記憶部２０９に存在するか否かを判定する（ステップＳ１９０２）。
存在すると判定された場合（ステップＳ１９０２：ＹＥＳ）、その関連付け情報の第２のクラスタＩＤに対応するクラスタは、クラスタｃに直接的又は間接的に関連付けられている。そのため、検索部２１１は、その第２のクラスタＩＤを関連クラスタＩＤに追加する（ステップＳ１９０３）。
そして、検索部２１１は、変数ｉにステップＳ１９０３で追加された第２のクラスタＩＤを設定し（ステップＳ１９０４）、ステップＳ１９０２に戻る。
ステップＳ１９０２において、存在しないと判定がなされた場合（ステップＳ１９０２：ＮＯ）、検索部２１１は、変数ｊにクラスタｃのクラスタＩＤを設定する（ステップＳ１９０５）。
次に、検索部２１１は、変数ｊに一致する第２のクラスタＩＤを含む関連付け情報が関連付け情報記憶部２０９に存在するか否かを判定する（ステップＳ１９０６）。
存在すると判定された場合（ステップＳ１９０６：ＹＥＳ）、検索部２１１は、その関連付け情報の第１のクラスタＩＤを関連クラスタＩＤに追加する（ステップＳ１９０７）。
そして、検索部２１１は、変数ｊにステップＳ１９０７で追加された第１のクラスタＩＤを設定し（ステップＳ１９０８）、ステップＳ１９０６に戻る。
ステップＳ１９０６において、存在しないと判定された場合（ステップＳ１９０６：ＮＯ）、クラスタｃの関連クラスタ取得処理を終了する。
＜２．実施形態２＞
実施形態１では、関連付けを行うために、各分割期間及び重複期間に含まれるオブジェクトの個数が一定になるように全体期間を分割する画像管理装置１００について説明している。
各分割期間及び重複期間に含まれるオブジェクトの個数が一定になるように全体期間を分割することに代えて、ここでは、実施形態２として、全体期間を分割する際に、分割期間及び重複期間の長さが一定になるようにする画像管理装置１００ａについて説明する。
画像管理装置１００ａは、画像管理装置１００と同じ構成を有している。以下においては、画像管理装置１００との相違点を中心として説明する。
図２０は、画像管理装置１００ａにおける期間分割部２０５が行う分割のイメージを示した図である。図２０においては、図６と同様に、横軸に日時を表し、縦軸にオブジェクトの特徴量を表している。図中の複数の点７５８は、それぞれ、オブジェクトを示しており、複数の点７５８は、それぞれ、オブジェクト検出情報の撮影日時及び特徴量に基づいた位置にプロットされている。
分割は、一例として、図２０に示すように、１つの分割期間の長さがΔＴ（ΔＴは、所定の長さで、例えば１年）、１つの重複期間の長さがΔｔ（Δｔは、ΔＴより短い所定の長さで、例えば半年）となるように、行われる。ただし、最新の分割期間については、ΔＴより短くなっても良い。
なお、本実施形態では、どの分割期間にも十分な数のオブジェクトが含まれていることを前提とする。
以下、期間分割処理について、図２１に示す流れ図に沿って説明する。
まず、期間分割部２０５は、変数としての日時ｄに最も古いオブジェクトの撮影日時を設定する（ステップＳ２１０１）。
そして、期間分割部２０５は、変数ｎを「１」に初期化する（ステップＳ２１０２）。
ここで、変数ｎは、期間分割処理において各分割期間を識別する番号であり、変数ｎにより識別される分割期間は、ｎ番目に古い分割期間である。ここで、変数ｎにより識別される分割期間を、分割期間ｎと表記する。
期間分割部２０５は、分割期間ｎの開始日時に日時ｄを設定する（ステップＳ２１０３）。
次に、期間分割部２０５は、日時ｄよりΔＴだけ未来の日時が最新のオブジェクトの撮影日時より過去であるか否かを判定する（ステップＳ２１０４）。
以下の説明及び図２１中では、ｄよりΔＴだけ未来の日時をｄ＋ΔＴと表記し、ｄよりΔＴだけ過去の日時をｄ−ΔＴと表記することとする。
日時ｄ＋ΔＴが最新のオブジェクトの撮影日時より過去である場合（ステップＳ２１０４：ＹＥＳ）、期間分割部２０５は、分割期間ｎの終了日時に日時ｄ＋ΔＴを設定する（ステップＳ２１０５）。
このようにすることで、日時ｄから始まりΔＴの長さを持つ分割期間ｎが決定されたことになる。
分割期間ｎを決定したら、期間分割部２０５は、決定した分割期間ｎに分割期間ＩＤを付与して分割期間データを生成する（流れ図には示さず。）。
そして、期間分割部２０５は、次の分割期間ｎ＋１の開始日時を決定するため、日時ｄにｄ＋ΔＴ−Δｔを設定する（ステップＳ２１０６）。
そして、次なる分割期間を決定するため、期間分割部２０５は、変数ｎを「１」だけ増やして（ステップＳ２１０７）、ステップＳ２１０３に戻る。
ステップＳ２１０４の判断において、日時ｄよりΔＴだけ未来の日時が最新のオブジェクトの撮影日時より過去でない判断とされた場合（ステップＳ２１０４：ＮＯ）、期間分割部２０５は、分割期間ｎの終了日時に最新のオブジェクトの撮影日時を設定して（ステップＳ２１０８）、分割期間ｎを決定する。
そして、決定した分割期間ｎに分割期間ＩＤを付与して分割期間データを生成し、期間分割処理を終了する。
＜３．実施形態３＞
実施形態２では、期間分割部２０５が行う全体期間の分割を、分割期間及び重複期間の長さが一定になるように行っている。
以下、実施形態３として、特定の対象人物を精度良く検索できるように、全体期間の分割を行う際に、分割期間の長さを年齢によって変化させるようにする画像管理装置１００ｂについて説明する。
なお、本実施形態でも実施形態２と同様に、どの分割期間にも十分な数のオブジェクトが含まれていることを前提とする。
図２２は、画像管理装置１００ｂの機能に係る構成を示している。
図２２に示すように、画像管理装置１００ｂは、画像管理装置１００ａの構成に加えて、生年月日記憶部２２０１及び期間長対応表記憶部２２０２を備える。また、操作入力部２１０及び期間分割部２０５は、画像管理装置１００ａが有する操作入力部２１０及び期間分割部２０５とは、相違点がある。以下、これらの相違点を中心にして説明する。
生年月日記憶部２２０１は、対象人物の生年月日を記憶するメモリの領域を備えている。ここで、生年月日は、年月日で表されることとする。例えば、２０１０年６月１８日２１時５分に生まれた人物であれば、生年月日は、２０１０年６月１８日と表される。
期間長対応表記憶部２２０２は、図２３に一例として示すように、期間長対応表２３００を保持しており、期間長対応表２３００は、年齢と期間長とからなる組を複数個記憶するための領域を有する。年齢は、対象人物の年齢を幅を持って示す。また、期間長は、分割期間の長さを示す。
図２３に示す例では、期間長対応表２３００は、年齢２３０１「０歳〜３歳」と期間長２３０２「１か月」とを含む。これは、幅のある年齢「０歳〜３歳」について、分割期間として「１か月」が対応付けられていることを示す。期間長対応表２３００では、同様に、年齢「４歳〜６歳」には、期間長「２か月」が対応している。７歳以降の各年齢の幅に対しても、それぞれ、期間長が対応付けられている。
操作入力部２１０は、画像管理装置１００ａにおける操作入力部２１０の機能に加え、ユーザから人物の生年月日の入力を受け、生年月日記憶部２２０１に格納する機能を有する。
期間分割部２０５は、分割期間の長さを一定ではなく、その分割期間の開始日時における対象人物の年齢に応じて変化させる。また、生年月日以前の日時については期間の分割の対象にしないこととする。
以下、図２１に示す流れ図との相違点を中心として、図２４に示す流れ図を用いて、実施形態３の期間分割部２０５の動作について、説明する。
図２１に示すステップＳ２１０１に代えて、期間分割部２０５は、生年月日記憶部２２０１から対象人物の生年月日を取得して、日時ｄに対象人物の生年月日を設定する（ステップＳ２１０１ａ）。
ここで、日時ｄは、１日の中の時間（時分秒）を含むデータであるが、時分秒の部分については０時０分０秒に設定することとする。
次に、図２１に示すステップＳ２１０３の後において、期間分割部２０５は、対象人物の生年月日と日時ｄとから、分割期間ｎの開始日時における対象人物の年齢を算出する（ステップＳ２４０１）。
更にステップＳ２４０１の後に、期間分割部２０５は、対象人物の年齢に対応する期間長を、期間長対応表２３００を参照して取得し、取得した期間長をΔＴに設定する（ステップＳ２４０２）。
次に、図２１に示すステップＳ２１０４に制御を移す。
その他のステップについては、図２１に示す流れ図と同じであるので、説明を省略する。
＜４．実施形態４＞
本発明に係る別の実施形態としてのオブジェクト関連付け装置１００ｃについて説明する。
（１）オブジェクト関連付け装置１００ｃは、図２６に示すように、記憶部１０１、グループ化部１０２及び関連付け部１０３から構成されている。
記憶部１０１は、複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶している。
グループ化部１０２は、互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化する。
関連付け部１０３は、前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする。
（２）前記コンテンツは、画像であるとしてもよい。
オブジェクト関連付け装置１００ｃは、更に、前記画像が含むオブジェクトを検出して当該オブジェクトの特徴量を抽出する抽出部１０４（図示していない）備える。
グループ化部１０２は、前記オブジェクトそれぞれの特徴量を用いてグループ化を行う。
（３）オブジェクト関連付け装置１００ｃは、更に、前記第１の期間と前記第２の期間との重複する期間については、コンテンツ生成時情報が示す時が当該期間に含まれる各画像に含まれるオブジェクトの数の合計が１以上の所定数となり、当該第１の期間及び当該第２の期間それぞれについては、コンテンツ生成時情報が示す時が当該期間に含まれる各画像が含むオブジェクトの数の合計が前記所定数より多くなるように、当該第１の期間及び当該第２の期間を決定する決定部１０５（図示していない）を備えるとしてもよい。
（４）前記オブジェクトは人物の顔であるとしてもよい。
抽出部１０４は、人物の顔を検出する基準により人物の顔を特定することで前記オブジェクトを検出し、当該オブジェクトから人物の顔に係る特徴量を抽出するとしてもよい。
（５）オブジェクト関連付け装置１００ｃは、更に、前記第１の期間と前記第２の期間との重複する期間が所定の長さとなり、当該第１の期間及び当該第２の期間が前記所定の長さより長くなるように当該第１の期間及び当該第２の期間を決定する決定部１０５ａ（図示していない）を備えるとしてもよい。
（６）前記オブジェクトは人物の顔であるとしてもよい。
決定部１０５ａは、前記第１の期間及び前記第２の期間それぞれについて、当該期間における一の人物の年齢を算出し、当該期間の長さを当該年齢に基づいて決定する。
（７）前記コンテンツ生成時情報は、日付の情報を有するとしてもよい。
オブジェクト関連付け装置１００ｃは、更に、前記年齢を算出する基準の日付を記憶している日付記憶部１０６と、年齢と期間の長さとを対応付けて複数記憶している期間長記憶部１０７（図示していない）とを備える。
決定部１０５ａは、前記第１の期間及び前記第２の期間それぞれについて、前記算出を前記基準の日付に基づいて行い、当該期間の長さを、前記期間長記憶手段を参照して当該年齢に対応する期間の長さに決定する。
（８）オブジェクト関連付け装置１００ｃは、更に、前記第１の期間と前記第２の期間との重複する期間については、コンテンツ生成時情報が示す時が当該期間に含まれる画像の数が１以上の所定数となり、当該第１の期間及び当該第２の期間それぞれについては、コンテンツ生成時情報が示す時が当該期間に含まれる前記画像の数が前記所定数より多くなるように、当該第１の期間及び当該第２の期間を決定する決定部１０５ｂ（図示していない）を備えるとしてもよい。
（９）オブジェクト関連付け装置１００ｃは、所定の期間を、時間軸で隣接する期間が互いに一部で重複するように複数の期間に分割する分割部１０８（図示していない）を備えるとしてもよい。
グループ化部１０２は、前記複数の期間それぞれにおいて前記グループ化を行う。
関連付け部１０３は、前記複数の期間における時間軸で隣接する期間の組それぞれについて、前記組のうち早い方の期間を第１の期間とし、遅い方の期間を第２の期間として前記関連付けを行う。
＜５．変形例＞
以上、各実施形態に基づいて説明したが、本発明は上述の実施形態に限定されない。例えば、以下に列挙したような変形も本発明に含まれる。
（１）実施形態１〜３では、関連付けを行った結果を画像の検索に用いることとしているが、関連付けの用途は画像の検索には限られない。例えば、以下のような用途に用いるとしてもよい。
（ａ）画像中に含まれるオブジェクトの同一人物として関連付けられたオブジェクトの数を用いて各画像を評価する。
（ｂ）同一人物の顔を含む全ての画像に対して同じメタデータ（例えばその人物の名前）を付加する。
（ｃ）画像に含まれる人物によって各画像を分類する。
（２）実施形態１〜３では、オブジェクトは人物の顔であるとしているが、オブジェクトは、人物の顔以外であっても良い。
例えば、動植物や街並み等、時間の経過によって少しずつ特徴が変化するものに対して適用することもできる。この場合には、オブジェクト検出部２０３におけるオブジェクトの検出及び特徴量の抽出の方法を、対象を示すオブジェクトを検出できて各対象の識別ができるような特徴量を抽出する方法に変更すればよい。
また、人物の関連付けをする場合にも、顔ではなく人体をオブジェクトとして、体格等を示す特徴量を用いて関連付けすることとしても良い。
（３）実施形態１〜３では、コンテンツは静止画としているが、何らかの対象を示すオブジェクトを検出できてそのオブジェクトの特徴量を抽出できるコンテンツであれば、静止画以外のコンテンツであっても良い。
例えば、コンテンツは、動画であっても良い。この場合には、動画の各フレームやサムネイル等からオブジェクトを抽出することができる。
また、コンテンツは音声であっても良い。この場合には、例えば、オブジェクトを人物の声とし、特徴量としてＭＦＣＣ（Ｍｅｌ−Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒａｌ Ｃｏｅｆｆｉｃｉｅｎｔｓ：メル周波数ケプストラム係数）を用いることができる。
（４）実施形態１〜３において、クラスタ関連付け部２０８は、関連付けられた各クラスタに属する各オブジェクトは互いに関連付けられているため、クラスタ同士の関連付けを示す関連付け情報を出力（実施形態では関連付け情報記憶部２０９に格納）することとしているが、各オブジェクトの関連付けを直接的又は間接的に示していれば、クラスタ同士の関連付け以外の形で出力しても良い。例えば、以下のようなデータを出力しても良い。
（ａ）各クラスタについて関連クラスタの取得処理（図１８のステップＳ１８０３）を行い、その結果得られた一連の関連クラスタのクラスタＩＤをクラスタ毎に出力しても良い。
（ｂ）（ａ）の結果に基づいて各クラスタの関連オブジェクトの取得処理（図１８のステップＳ１８０４）を行い、各関連オブジェクトのオブジェクトＩＤをクラスタ毎に出力しても良い。
（ｃ）上記（ａ）及び（ｂ）の結果を、内容が重複するものを除いて出力しても良い。例えば、クラスタＡとその関連クラスタＢとの組み合わせは、クラスタＢとその関連クラスタＡとの組み合わせと、属するオブジェクトは同じであるため、いずれか一方の組み合わせによるデータのみを出力すれば良い。
（ｄ）（ａ）のように一連の関連クラスタを出力する場合、図１６に示すクラスタ関連付け処理の一部を変更して、一連の関連クラスタＩＤを記憶する関連クラスタＩＤ集合リスト２５００を作成しても良い。
関連クラスタＩＤ集合リスト２５００は、図２５に示すように、複数個の関連クラスタ集合情報を記憶するための領域を備えている。各関連クラスタ集合情報は、クラスタ集合ＩＤ及び関連クラスタＩＤ集合から構成されている。クラスタ集合ＩＤは、当該関連クラスタ集合情報を一意に識別するための識別子である。関連クラスタＩＤ集合は、１個以上の関連クラスタＩＤを含む。
図２５に一例として示す関連クラスタＩＤ集合リスト２５００は、３個の関連クラスタ集合情報を含む。第１の関連クラスタ集合情報は、クラスタ集合ＩＤ２５０２及び関連クラスタＩＤ集合２５０１を含み、第２の関連クラスタ集合情報は、クラスタ集合ＩＤ２５０４及び関連クラスタＩＤ集合２５０３を含み、第３の関連クラスタ集合情報は、クラスタ集合ＩＤ２５０６及び関連クラスタＩＤ集合２５０５を含む。
例えば、図２５に示すように、複数の関連クラスタ集合情報から構成される関連クラスタＩＤ集合リスト２５００を作成する場合、図１６に示す流れ図において、以下のようにすれば良い。
まず、ステップＳ１６０２の次に、以下の（ｄ−１）〜（ｄ−３）の処理を追加する。
（ｄ−１）関連クラスタＩＤ集合リスト２５００内の関連クラスタ集合情報の中に変数ｉの値と同一の関連クラスタＩＤを含む関連クラスタＩＤ集合が存在するか否かを判定する。
（ｄ−２）存在する場合には、ステップＳ１６０３へ進む。存在しない場合には、クラスタ集合ＩＤを生成する。クラスタ集合ＩＤの生成は、例えば、文字列“ＣＳ”と３桁の連続番号とを連結することにより行う。図２５に示す関連クラスタＩＤ集合リスト２５００においては、クラスタ集合ＩＤ２５０２、２５０４及び２５０６は、それぞれ、“ＣＳ００１”、“ＣＳ００２”及び“ＣＳ００３”である。これらは、文字列“ＣＳ”とそれぞれ、連続番号“００１”、“００２”及び“００３”を連結して生成されたものである。
（ｄ−３）クラスタ集合ＩＤを生成したら、次に、変数ｉを要素として含む関連クラスタＩＤ集合を生成し、生成したクラスタ集合ＩＤと生成した関連クラスタＩＤ集合とからなる関連クラスタ集合情報を生成し、関連クラスタ集合情報を関連クラスタＩＤ集合リスト２５００に追加して書き込む。次に、ステップＳ１６０３へ進む。
そして、ステップＳ１６１２において、クラスタｉと関連付け候補とを関連付ける処理に代えて、クラスタｉを含む関連クラスタＩＤ集合に関連付け候補のクラスタＩＤを追加する。
（５）実施形態１〜３では、特徴量の抽出をＧａｂｏｒフィルタを用いて行うこととしているが、オブジェクトの特徴を表した量を抽出できるのであれば、どのような方法を用いても良い。
例えばＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴量を抽出しても良い。
（６）実施形態１〜３では、撮影日時は秒まで含んだデータとしているが、画像の生成された時を示すデータであれば、必ずしも秒まで含むデータである必要はない。
例えば、年月日のデータでも良いし、分割期間及び重複期間の長さが十分に長ければ年と月のみを含むデータであっても差し支えない。
また、Ｅｘｉｆ情報から取得したデータである必要もなく、例えばファイルの作成日時を用いても良い。
（７）実施形態１〜３において、画像記憶部２０２に各画像をその撮影日時と対応付けて格納するのであれば、画像の取得方法は自由に変更して構わない。
例えば、メモリーカードやネットワーク等から取得しても良いし、ケーブルを用いず無線で撮影装置１１０から画像を取得しても良い。
また、外部装置から取得せず、画像管理装置自身が画像を生成しても良い。例えば、画像管理装置が撮像素子等を備え、その撮像素子により画像を生成して画像記憶部２０２に格納することとしても良い。
（８）実施形態１では、Ｙ＝Ｘ／２（Ｘ＝１０、Ｙ＝５及びＸ＝１００、Ｙ＝５０）となるようにＸ及びＹを設定する例で説明しているが、１≦Ｙ＜Ｘの関係であれば、Ｙ＜Ｘ／２でもＹ＞Ｘ／２でも構わない。
同様に、実施形態２においてΔｔ＝ΔＴ／２（ΔＴ＝１年、Δｔ＝半年）とする例を挙げたが、Δｔ＜ΔＴの関係を満たす範囲でΔＴ及びΔｔを変更しても構わない。
（９）実施形態１〜３では、クラスタリング部２０６は、Ｋ−ｍｅａｎｓ法によりクラスタリングを行うこととしているが、類似するオブジェクト毎にグループ化できれば良く、Ｋ−ｍｅａｎｓ法以外の方法でクラスタリングを行っても差し支えない。例えば、ウォード法を用いることもできる。
また、実施形態１において、各分割期間の長さに応じてクラスタリングのアルゴリズムを変化させるようにしても良い。例えば、長い分割期間では同一クラスタ（同一人物）と判定される特徴量の幅を広くするようにしても良い。
（１０）実施形態１〜３で、様々な基準に基づく期間分割処理を説明しているが、隣り合う分割期間が互いに一部の期間で重複するように分割するのであれば、実施形態において説明したものには限らない。
例えば、実施形態１の期間分割処理で、各分割期間及び重複期間に含まれるオブジェクトの数が所定数になるように分割することとしているが、オブジェクトの数に代えて画像数が所定数になるように分割しても良い。
また、各分割期間及び重複期間に含まれるオブジェクトの数が所定数以上になり、かつそれぞれの長さが所定の長さ以上になるように分割しても良い。例えば、実施形態２及び３の期間分割処理で、分割期間又は重複期間に含まれるオブジェクトの数が少ない又は存在しない場合に分割期間及び重複期間を長くするように処理を行うこととしても良い。
（１１）実施形態１〜３では、２つのクラスタを関連付けるための所定個を１個として説明しているが、２個以上であっても構わない。
所定個が１個である場合には、２つのクラスタに共通して含まれるオブジェクトが存在するか否かによってこれらのクラスタを関連付けるか否かを判定することになる。
所定個が２個以上である場合には、２つのクラスタに共通して含まれるオブジェクトが存在してなおかつそのオブジェクトの数が所定個以上だったときに関連付けることになる。
（１２）実施形態１〜３では、クラスタリング部２０６は、オブジェクトの特徴量を用いてクラスタリングを行うこととしているが、特徴量を用いていれば、更に他のパラメータも加えてクラスタリングして構わない。例えば撮影日時を加えてクラスタリングしても構わない。
（１３）実施形態１〜３のクラスタ関連付け処理では、ステップＳ１６０６において、共通オブジェクトの数が閾値ｚ以上であるか否かという条件により判定を行っているが、閾値ｚより大きいか否かという条件にしても良い。この場合、共通オブジェクトの数がｚ＋１以上であるか否かという条件と同じになる。
また、更に条件を加えても良い。例えば画像の鮮明さ、オブジェクトの画像に占める面積の割合等を加味することが考えられる。
（１４）実施形態１〜３において、各分割期間におけるクラスタリングや関連付けの結果から各クラスタや関連クラスタの時間的特性を特定し、各分割期間におけるクラスタリングの精度向上に用いても良い。
（１５）実施形態３において、年齢毎の期間長を求めるために図２３に示す期間長対応表２３００を用いることとしているが、年齢に応じて期間長２３０２を求めるのであれば、図２３通りの期間長対応表２３００を用いる方法には限られない。
例えば、図２３の例とは異なる年齢及び期間長のデータによる期間長対応表を用いても良いし、期間長対応表２３００に代えて、年齢を変数とした関数を用いても良い。
（１６）実施形態１〜３のクラスタ関連付け処理（図１６、図１７）は、各クラスタを、そのクラスタとの共通オブジェクトが所定個以上のクラスタのうち、最も共通オブジェクトの数が多いクラスタと関連付ける処理であるが、共通オブジェクトが所定個以上のクラスタと関連付けるのであれば以下のように変更しても良い。
（ａ）関連付け候補を１つ発見した時点でＳ１６０５〜１６１０の処理を打ち切り、クラスタｉと関連付け候補とを関連付ける処理（ステップＳ１６１２）を行っても良い。この場合、共通オブジェクトの数が所定個以上のクラスタのうち、最初に発見したクラスタと関連付けられることとなる。
（ｂ）ステップＳ１６０５〜ステップＳ１６１０において、関連付け候補を発見する度に閾値ｚを更新（ステップＳ１６０８）しながら処理を行うこととしているが、更新しないこととしても構わない。この場合、共通オブジェクトの数が所定個以上のクラスタのうち、最後に発見したクラスタと関連付けられることとなる。
（ｃ）関連付け候補が複数存在した場合には、分割期間ｎ又は分割期間ｎ＋１でのクラスタリングを分類感度を上げてやり直し、関連付け候補が複数発生しないようにしても良い。クラスタリングの分類感度を上げる方法には、例えばＫ−ｍｅａｎｓ法で生成するクラスタ数Ｋを元のＫより大きくするという方法がある。
（ｄ）関連付け候補となる複数のクラスタと関連付けても良い。
例えば、関連付け候補となる全てのクラスタと関連付ける場合、ステップＳ１６１１及びステップＳ１６１２の処理を省き、ステップＳ１６０７及びステップＳ１６０８に替えてクラスタｉとクラスタｊとを関連付ける処理を行うようにすることで実現できる。この場合、検索処理（図１９）において行う関連クラスタの取得処理もあわせて変更する必要がある。
また、変形例（４）（ｄ）と組み合わせて、クラスタ集合情報を作成するようにしても良い。この場合、上記のクラスタｉとクラスタｊとを関連付ける処理は、ｉを含む関連クラスタＩＤ集合にｊを追加する処理になる。
（１７）実施形態２及び３の期間分割処理では、最新の分割期間の終了日時が最新のオブジェクトの撮影日時となるように分割期間を決定しているが、最新の分割期間の終了日時が最新のオブジェクトの撮影日時を含むように決定するのであれば、終了日時が最新のオブジェクトの撮影日時以外になるように決定しても良い。
例えば、最新の分割期間の終了日時を現在日時に決定しても良いし、開始日時＋ΔＴに決定しても良い。
（１８）実施形態３の期間分割処理におけるステップＳ２１０１ａでは、ｄを生年月日の０時０分０秒としたが、生年月日の日付を含むデータであれば０時０分０秒以外としても良い。例えば、ユーザに時分秒まで入力させても良い。
（１９）実施形態１〜３のクラスタ関連付け処理では、ステップＳ１６０２において、ｉに分割期間ｎでの最初のクラスタのクラスタＩＤを設定しているが、分割期間ｎで生成された全てのクラスタに対して処理ができるのであれば、どのような順でクラスタを選んでも良い。
（２０）各実施形態における以下の点は単なる例示に過ぎず、必要に応じて自由に変更しても良い。
（ａ）画像管理装置がユーザの操作を受ける手段。コントローラ１３０以外、例えばタッチパネル付きのディスプレイを用いても良い。
（ｂ）データ及びプログラムの格納の手段。メモリ以外、例えばハードディスク等を用いても良い。
（ｃ）検索画面及び結果画面の構成。
（ｄ）各画像、オブジェクト、分割期間、クラスタ及び関連付け情報を識別する方法。ファイル名やＩＤ以外であっても良い。例えば、各画像に対し画像取得部２０１が画像ＩＤを付与し、その画像ＩＤによって各画像を識別しても良い。
（ｅ）画像蓄積処理及び検索処理の実行を開始する条件。
（２１）本発明は、実施形態で示した画像蓄積処理（図１３〜１７を参照）や検索処理等（図１８〜１９を参照）を画像管理装置のプロセッサ及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭなどがある。流通、頒布された制御プログラムはプロセッサに読み出されうるメモリなどに格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような機能が実現されるようになる。なお、制御プログラムの一部を画像管理装置とは別個のプログラム実行可能な装置（プロセッサ）に各種ネットワークを介して送信して、その別個のプログラム実行可能な装置においてその制御プログラムの一部を実行させることとしても良い。
（２２）画像管理装置を構成する構成要素の一部又は全部は、１又は複数の集積回路（ＩＣ、ＬＳＩ等）として実装されることとしても良く、画像管理装置の構成要素に更に他の要素を加えて集積回路化（１チップ化）されることとしても良い。
（２３）上記の各変形例はそれぞれ組み合わせて実施されても良い。
＜６．まとめ＞
以下、本発明に係るオブジェクト関連付け装置における構成及び効果について説明する。
（１）本発明に係るオブジェクト関連付け装置は、複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶している記憶手段と、互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化手段と、前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付け手段とを備える。
ここで、オブジェクトは各々が１つのコンテンツに含まれるものであり、１つのオブジェクトが複数のコンテンツに含まれることはない。
同一の対象を示すオブジェクトの特徴が第１の期間と第２の期間とを合わせた期間で変化したとしても、合わせた期間より短い第１の期間及び第２の期間でのその対象の変化は、合わせた期間全体における変化よりは少ないと考えられる。
そのため、第１の期間及び第２の期間それぞれにおいてグループ化を行うと、期間全体でグループ化した場合よりも時間の経過による変化の影響を受けにくく、同一の対象を示すオブジェクトのグループ化が精度良く行える。
そして、第１のグループと第２のグループとに共通して属するオブジェクトは、第１のグループに属する他のオブジェクト及び第２のグループに属する他のオブジェクトと、それぞれ同一の対象であることを示していることになる。
したがって、第１のグループと第２のグループとに共通して属するオブジェクトが所定個以上ある場合には、第１のグループのみに属するオブジェクト、第２のグループのみに属するオブジェクト及び両方に共通して属するオブジェクトはいずれも同一の対象を示していることになる。そのため、それぞれのグループに属する各オブジェクトの関連付けを行っている。
このように、第１の期間及び第２の期間それぞれで精度良くグループ化した結果を用いて、両方を合わせた期間での関連付けを行うため、同一の対象を示した各オブジェクトを従来よりも精度良く関連付けることができる。
関連付けを行った結果は、検索や分類等、オブジェクトの同一性に基づいた処理に利用することができる。
実施形態において、記憶手段は画像記憶部２０２、グループ化手段はクラスタリング部２０６、関連付け手段はクラスタ関連付け部２０８によりそれぞれ実現されている。また、実施形態ではコンテンツ生成時情報は撮影日時３０３、グループはクラスタにそれぞれ相当する。
クラスタ関連付け部２０８はクラスタ同士の関連付けを行っているが、同一のクラスタに属するオブジェクト同士はクラスタリング部２０６によって関連付けられているため、クラスタ関連付け部２０８によって関連付けられたクラスタに属するオブジェクト同士も関連付けられていることになる。
（２）（１）において、前記コンテンツは画像であり、前記オブジェクト関連付け装置は更に、前記画像が含むオブジェクトを検出して当該オブジェクトの特徴量を抽出する抽出手段を備え、前記グループ化手段は、前記オブジェクトそれぞれの特徴量を用いてグループ化を行うこととしても良い。
このようにすることで、画像に含まれるオブジェクトについて関連付けを行うことができるようになり、写真等に写る被写体の識別に有効である。
実施形態において、抽出手段はオブジェクト検出部２０３により実現されている。
（３）（２）において、前記オブジェクト関連付け装置は更に、前記第１の期間と前記第２の期間との重複する期間については、コンテンツ生成時情報が示す時が当該期間に含まれる各画像に含まれるオブジェクトの数の合計が１以上の所定数となり、当該第１の期間及び当該第２の期間それぞれについては、コンテンツ生成時情報が示す時が当該期間に含まれる各画像が含むオブジェクトの数の合計が前記所定数より多くなるように、当該第１の期間及び当該第２の期間を決定する決定手段を備えることとしても良い。
このようにすることで、重複する期間に含まれるオブジェクトの数が少ないために関連付けが行えないという状態になることを防ぐことができる。
実施形態１において、決定手段は期間分割部２０５に相当する。
（４）（３）において、前記オブジェクトは人物の顔であり、前記抽出手段は、人物の顔を検出する基準により人物の顔を特定することで前記オブジェクトを検出し、当該オブジェクトから人物の顔に係る特徴量を抽出することとしても良い。
このようにすることで、画像に写る人物の顔について関連付けを行うことができるようになり、人物の識別に有効である。
（５）（２）において、前記オブジェクト関連付け装置は更に、前記第１の期間と前記第２の期間との重複する期間が所定の長さとなり、当該第１の期間及び当該第２の期間が前記所定の長さより長くなるように当該第１の期間及び当該第２の期間を決定する決定手
段を備えることとしても良い。
このようにすることで、重複する期間に含まれるオブジェクトの数によらず第１の期間及び第２の期間を決定することができる。
実施形態２及び３において、決定手段は期間分割部２０５により実現されている。
（６）（５）において、前記オブジェクトは人物の顔であり、前記決定手段は前記第１の期間及び前記第２の期間それぞれについて、当該期間における一の人物の年齢を算出し、当該期間の長さを当該年齢に基づいて決定することとしても良い。
人物は年齢が若いうちは成長のため時間による特徴量の変化が大きく、大人になると特徴量の変化が小さくなる等、年齢によって特徴量の変化の速度が変化する。
そのため、特定の人物についてその人物を示すオブジェクト同士を関連付けたい場合、上記のような構成にして、その人物の成長に合わせた長さの第１の期間及び第２の期間に決定するとより精度良く関連付けが行えるようになる。
（７）（６）において、前記コンテンツ生成時情報は日付の情報を有し、前記オブジェクト関連付け装置は更に、前記年齢を算出する基準の日付を記憶している日付記憶手段と、年齢と期間の長さとを対応付けて複数記憶している期間長記憶手段を備え、前記決定手段は前記第１の期間及び前記第２の期間それぞれについて、前記算出を前記基準の日付に基づいて行い、当該期間の長さを、前記期間長記憶手段を参照して当該年齢に対応する期間の長さに決定することとしても良い。
このようにすることで、対象の人物の年齢を算出する基準の日付（生年月日）を用いてその人物の年齢を求め、特定の人物に着目した関連付けを行うことができる。
実施形態３において、日付記憶手段は生年月日記憶部２２０１、期間長記憶手段は期間長対応表記憶部２２０２によりそれぞれ実現されている。
（８）（２）において、前記オブジェクト関連付け装置は更に、前記第１の期間と前記第２の期間との重複する期間については、コンテンツ生成時情報が示す時が当該期間に含まれる画像の数が１以上の所定数となり、当該第１の期間及び当該第２の期間それぞれについては、コンテンツ生成時情報が示す時が当該期間に含まれる前記画像の数が前記所定数より多くなるように、当該第１の期間及び当該第２の期間を決定する決定手段を備えることとしても良い。
このようにすることで、重複する期間に含まれる画像の数が少ないためにオブジェクトの数が少なくなって関連付けが行えないという状態になることを防ぐことができる。
（９）（１）において、前記オブジェクト関連付け装置は更に、所定の期間を、時間軸で隣接する期間が互いに一部で重複するように複数の期間に分割する分割手段を備え、前記グループ化手段は前記複数の期間それぞれにおいて前記グループ化を行い、前記関連付け手段は、前記複数の期間における時間軸で隣接する期間の組それぞれについて、前記組のうち早い方の期間を第１の期間とし、遅い方の期間を第２の期間として前記関連付けを行うこととしても良い。
このようにして隣接する期間の組それぞれについて関連付けを行うことで、短い第１及び第２の期間が多数繋がった長い期間においても精度良く関連付けを行うことができる。
例えば期間Ａにおいて生成されたクラスタａのオブジェクトと期間Ｂにおいて生成されたクラスタｂのオブジェクトとが関連付けられていて、クラスタｂのオブジェクトと期間Ｃにおいて生成されたクラスタｃのオブジェクトとが関連付けられていた場合、クラスタａのオブジェクトとクラスタｃのオブジェクトも、クラスタｂを介して関連付けられていることになる。
実施形態において、分割手段は期間分割部２０５により実現されている。
（１０）次に示すように構成してもよい。
本発明の一実施態様であるオブジェクト関連付け装置は、複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶しているメモリと、互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化回路と、前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付け回路とを備える。
また、本発明の別の一実施態様であるオブジェクト関連付け装置は、集積回路と複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶しているメモリとを備えている。前記集積回路は、互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化回路と、前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付け回路とを含む。
また、本発明の別の一実施態様であるオブジェクト関連付け装置は、複数のコンピュータ命令が組み合わされて構成されるコンピュータプログラムを記憶しているメモリと、前記メモリに記憶されている前記コンピュータプログラムから１個ずつコンピュータ命令を読み出し、解読し、その解読結果に応じて動作するプロセッサとを備える。前記メモリは、また、複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶している。前記コンピュータプログラムは、前記プロセッサに、互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化ステップと、前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付けステップとを実行させる。
また、本発明の別の実施態様は、オブジェクト関連付け装置において用いられるコンピュータプログラムを記録しているコンピュータ読み取り可能な非一時的記録媒体である。オブジェクト関連付け装置は、複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶しているメモリを備える。前記コンピュータプログラムは、コンピュータに、互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化ステップと、前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付けステップとを実行させる。
本発明に係るオブジェクト関連付け装置は、画像検索装置、ファイルサーバ、デジタルカメラ等に適用することができる。
１００、１００ａ、１００ｂ 画像管理装置
１００ｃ オブジェクト関連付け装置
１０１ 記憶部
１０２ グループ化部
１０３ 関連付け部
１１０ 撮影装置
１２０ 表示装置
１３０ コントローラ
２０１ 画像取得部
２０２ 画像記憶部
２０３ オブジェクト検出部
２０４ オブジェクト記憶部
２０５ 期間分割部
２０６ クラスタリング部
２０７ クラスタ記憶部
２０８ クラスタ関連付け部
２０９ 関連付け情報記憶部
２１０ 操作入力部
２１１ 検索部
２１２ 出力部
２２０１ 生年月日記憶部
２２０２ 期間長対応表記憶部

Claims (12)

  1. 複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶している記憶手段と、
    互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化手段と、
    前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付け手段とを備える
    ことを特徴とするオブジェクト関連付け装置。
  2. 前記コンテンツは画像であり、
    前記オブジェクト関連付け装置は更に、
    前記画像が含むオブジェクトを検出して当該オブジェクトの特徴量を抽出する抽出手段を備え、
    前記グループ化手段は、前記オブジェクトそれぞれの特徴量を用いてグループ化を行う
    ことを特徴とする請求項１に記載のオブジェクト関連付け装置。
  3. 前記オブジェクト関連付け装置は更に、
    前記第１の期間と前記第２の期間との重複する期間については、コンテンツ生成時情報が示す時が当該期間に含まれる各画像に含まれるオブジェクトの数の合計が１以上の所定数となり、当該第１の期間及び当該第２の期間それぞれについては、コンテンツ生成時情報が示す時が当該期間に含まれる各画像が含むオブジェクトの数の合計が前記所定数より多くなるように、当該第１の期間及び当該第２の期間を決定する決定手段を備える
    ことを特徴とする請求項２に記載のオブジェクト関連付け装置。
  4. 前記オブジェクトは人物の顔であり、
    前記抽出手段は、
    人物の顔を検出する基準により人物の顔を特定することで前記オブジェクトを検出し、
    当該オブジェクトから人物の顔に係る特徴量を抽出する
    ことを特徴とする請求項３に記載のオブジェクト関連付け装置。
  5. 前記オブジェクト関連付け装置は更に、
    前記第１の期間と前記第２の期間との重複する期間が所定の長さとなり、当該第１の期間及び当該第２の期間が前記所定の長さより長くなるように当該第１の期間及び当該第２の期間を決定する決定手段を備える
    ことを特徴とする請求項２に記載のオブジェクト関連付け装置。
  6. 前記オブジェクトは人物の顔であり、
    前記決定手段は前記第１の期間及び前記第２の期間それぞれについて、
    当該期間における一の人物の年齢を算出し、
    当該期間の長さを当該年齢に基づいて決定する
    ことを特徴とする請求項５に記載のオブジェクト関連付け装置。
  7. 前記コンテンツ生成時情報は日付の情報を有し、
    前記オブジェクト関連付け装置は更に、
    前記年齢を算出する基準の日付を記憶している日付記憶手段と、
    年齢と期間の長さとを対応付けて複数記憶している期間長記憶手段を備え、
    前記決定手段は前記第１の期間及び前記第２の期間それぞれについて、
    前記算出を前記基準の日付に基づいて行い、
    当該期間の長さを、前記期間長記憶手段を参照して当該年齢に対応する期間の長さに決定する
    ことを特徴とする請求項６に記載のオブジェクト関連付け装置。
  8. 前記オブジェクト関連付け装置は更に、
    前記第１の期間と前記第２の期間との重複する期間については、コンテンツ生成時情報が示す時が当該期間に含まれる画像の数が１以上の所定数となり、当該第１の期間及び当該第２の期間それぞれについては、コンテンツ生成時情報が示す時が当該期間に含まれる前記画像の数が前記所定数より多くなるように、当該第１の期間及び当該第２の期間を決定する決定手段を備える
    ことを特徴とする請求項２に記載のオブジェクト関連付け装置。
  9. 前記オブジェクト関連付け装置は更に、
    所定の期間を、時間軸で隣接する期間が互いに一部で重複するように複数の期間に分割する分割手段を備え、
    前記グループ化手段は前記複数の期間それぞれにおいて前記グループ化を行い、
    前記関連付け手段は、前記複数の期間における時間軸で隣接する期間の組それぞれについて、
    前記組のうち早い方の期間を第１の期間とし、遅い方の期間を第２の期間として前記関連付けを行う
    ことを特徴とする請求項１に記載のオブジェクト関連付け装置。
  10. 複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶する記憶ステップと、
    互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化ステップと、
    前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付けステップとを含む
    ことを特徴とするオブジェクト関連付け方法。
  11. 複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶する記憶ステップと、
    互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化ステップと、
    前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付けステップとを含む処理をコンピュータに実行させる
    ことを特徴とするプログラム。
  12. 複数のコンテンツを、当該複数のコンテンツそれぞれが生成された時を示すコンテンツ生成時情報と対応付けて記憶する記憶ステップと、
    互いに一部が重複する第１の期間及び第２の期間それぞれにおいて、コンテンツ生成時情報が示す時が当該期間に含まれる各コンテンツが含む各オブジェクトを、互いに類似するオブジェクト毎にグループ化するグループ化ステップと、
    前記第１の期間と前記第２の期間との重複する期間において、第１の期間でグループ化された第１のグループと第２の期間でグループ化された第２のグループとに共通して属するオブジェクトの個数が所定個以上の場合に、第１のグループに属する各オブジェクトと第２のグループに属する各オブジェクトとを同一の対象を示すオブジェクトとして関連付けする関連付けステップとを含む処理をコンピュータに実行させるプログラムを記録している
    ことを特徴とする記録媒体。
JP2012523509A 2010-07-09 2011-06-09 オブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体 Active JP5643309B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012523509A JP5643309B2 (ja) 2010-07-09 2011-06-09 オブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2010156517 2010-07-09
JP2010156517 2010-07-09
PCT/JP2011/003263 WO2012004933A1 (ja) 2010-07-09 2011-06-09 オブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体
JP2012523509A JP5643309B2 (ja) 2010-07-09 2011-06-09 オブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2012004933A1 true JPWO2012004933A1 (ja) 2013-09-02
JP5643309B2 JP5643309B2 (ja) 2014-12-17

Family

ID=45440929

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012523509A Active JP5643309B2 (ja) 2010-07-09 2011-06-09 オブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体

Country Status (4)

Country Link
US (1) US8885942B2 (ja)
JP (1) JP5643309B2 (ja)
CN (1) CN102483767B (ja)
WO (1) WO2012004933A1 (ja)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930331B2 (en) 2007-02-21 2015-01-06 Palantir Technologies Providing unique views of data based on changes or rules
US10747952B2 (en) 2008-09-15 2020-08-18 Palantir Technologies, Inc. Automatic creation and server push of multiple distinct drafts
US9547693B1 (en) 2011-06-23 2017-01-17 Palantir Technologies Inc. Periodic database search manager for multiple data sources
US9092482B2 (en) 2013-03-14 2015-07-28 Palantir Technologies, Inc. Fair scheduling for mixed-query loads
US8799240B2 (en) 2011-06-23 2014-08-05 Palantir Technologies, Inc. System and method for investigating large amounts of data
US8732574B2 (en) 2011-08-25 2014-05-20 Palantir Technologies, Inc. System and method for parameterizing documents for automatic workflow generation
US8504542B2 (en) 2011-09-02 2013-08-06 Palantir Technologies, Inc. Multi-row transactions
AU2011253977B2 (en) * 2011-12-12 2015-04-09 Canon Kabushiki Kaisha Method, system and apparatus for selecting an image captured on an image capture device
US9348677B2 (en) 2012-10-22 2016-05-24 Palantir Technologies Inc. System and method for batch evaluation programs
US9123086B1 (en) 2013-01-31 2015-09-01 Palantir Technologies, Inc. Automatically generating event objects from images
WO2014132537A1 (ja) 2013-03-01 2014-09-04 日本電気株式会社 情報処理装置、そのデータ処理方法、およびプログラム
US10037314B2 (en) 2013-03-14 2018-07-31 Palantir Technologies, Inc. Mobile reports
US8909656B2 (en) 2013-03-15 2014-12-09 Palantir Technologies Inc. Filter chains with associated multipath views for exploring large data sets
US8937619B2 (en) 2013-03-15 2015-01-20 Palantir Technologies Inc. Generating an object time series from data objects
US8917274B2 (en) 2013-03-15 2014-12-23 Palantir Technologies Inc. Event matrix based on integrated data
US9965937B2 (en) 2013-03-15 2018-05-08 Palantir Technologies Inc. External malware data item clustering and analysis
US8868486B2 (en) 2013-03-15 2014-10-21 Palantir Technologies Inc. Time-sensitive cube
US8788405B1 (en) 2013-03-15 2014-07-22 Palantir Technologies, Inc. Generating data clusters with customizable analysis strategies
US8799799B1 (en) 2013-05-07 2014-08-05 Palantir Technologies Inc. Interactive geospatial map
JP6119439B2 (ja) * 2013-06-06 2017-04-26 富士通株式会社 画像管理プログラム、画像管理方法及び画像管理装置
US9223773B2 (en) 2013-08-08 2015-12-29 Palatir Technologies Inc. Template system for custom document generation
JP6190887B2 (ja) * 2013-10-02 2017-08-30 株式会社日立製作所 画像検索システムおよび情報記録媒体
US8938686B1 (en) 2013-10-03 2015-01-20 Palantir Technologies Inc. Systems and methods for analyzing performance of an entity
US9116975B2 (en) 2013-10-18 2015-08-25 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive simultaneous querying of multiple data stores
US8924872B1 (en) 2013-10-18 2014-12-30 Palantir Technologies Inc. Overview user interface of emergency call data of a law enforcement agency
US9021384B1 (en) 2013-11-04 2015-04-28 Palantir Technologies Inc. Interactive vehicle information map
US8868537B1 (en) 2013-11-11 2014-10-21 Palantir Technologies, Inc. Simple web search
US9105000B1 (en) 2013-12-10 2015-08-11 Palantir Technologies Inc. Aggregating data from a plurality of data sources
US9734217B2 (en) 2013-12-16 2017-08-15 Palantir Technologies Inc. Methods and systems for analyzing entity performance
US10356032B2 (en) 2013-12-26 2019-07-16 Palantir Technologies Inc. System and method for detecting confidential information emails
US8832832B1 (en) 2014-01-03 2014-09-09 Palantir Technologies Inc. IP reputation
US9483162B2 (en) 2014-02-20 2016-11-01 Palantir Technologies Inc. Relationship visualizations
US9727376B1 (en) 2014-03-04 2017-08-08 Palantir Technologies, Inc. Mobile tasks
US8935201B1 (en) 2014-03-18 2015-01-13 Palantir Technologies Inc. Determining and extracting changed data from a data source
US9857958B2 (en) 2014-04-28 2018-01-02 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive access of, investigation of, and analysis of data objects stored in one or more databases
US9009171B1 (en) 2014-05-02 2015-04-14 Palantir Technologies Inc. Systems and methods for active column filtering
US9619557B2 (en) 2014-06-30 2017-04-11 Palantir Technologies, Inc. Systems and methods for key phrase characterization of documents
US9535974B1 (en) 2014-06-30 2017-01-03 Palantir Technologies Inc. Systems and methods for identifying key phrase clusters within documents
US9256664B2 (en) 2014-07-03 2016-02-09 Palantir Technologies Inc. System and method for news events detection and visualization
US9202249B1 (en) 2014-07-03 2015-12-01 Palantir Technologies Inc. Data item clustering and analysis
US9454281B2 (en) 2014-09-03 2016-09-27 Palantir Technologies Inc. System for providing dynamic linked panels in user interface
US9767172B2 (en) 2014-10-03 2017-09-19 Palantir Technologies Inc. Data aggregation and analysis system
US9501851B2 (en) 2014-10-03 2016-11-22 Palantir Technologies Inc. Time-series analysis system
US9785328B2 (en) 2014-10-06 2017-10-10 Palantir Technologies Inc. Presentation of multivariate data on a graphical user interface of a computing system
US9984133B2 (en) 2014-10-16 2018-05-29 Palantir Technologies Inc. Schematic and database linking system
US9229952B1 (en) 2014-11-05 2016-01-05 Palantir Technologies, Inc. History preserving data pipeline system and method
US9043894B1 (en) 2014-11-06 2015-05-26 Palantir Technologies Inc. Malicious software detection in a computing system
US9348920B1 (en) 2014-12-22 2016-05-24 Palantir Technologies Inc. Concept indexing among database of documents using machine learning techniques
US10552994B2 (en) 2014-12-22 2020-02-04 Palantir Technologies Inc. Systems and interactive user interfaces for dynamic retrieval, analysis, and triage of data items
US9367872B1 (en) 2014-12-22 2016-06-14 Palantir Technologies Inc. Systems and user interfaces for dynamic and interactive investigation of bad actor behavior based on automatic clustering of related data in various data structures
US9817563B1 (en) 2014-12-29 2017-11-14 Palantir Technologies Inc. System and method of generating data points from one or more data stores of data items for chart creation and manipulation
US9870205B1 (en) 2014-12-29 2018-01-16 Palantir Technologies Inc. Storing logical units of program code generated using a dynamic programming notebook user interface
US9335911B1 (en) 2014-12-29 2016-05-10 Palantir Technologies Inc. Interactive user interface for dynamic data analysis exploration and query processing
US9727560B2 (en) 2015-02-25 2017-08-08 Palantir Technologies Inc. Systems and methods for organizing and identifying documents via hierarchies and dimensions of tags
US10453026B2 (en) * 2015-03-06 2019-10-22 Walmart Apollo, Llc System and method for forecasting high-sellers using multivariate bayesian time series
WO2016145200A1 (en) * 2015-03-10 2016-09-15 Alibaba Group Holding Limited Method and apparatus for voice information augmentation and displaying, picture categorization and retrieving
CN106033418B (zh) 2015-03-10 2020-01-31 阿里巴巴集团控股有限公司 语音添加、播放方法及装置、图片分类、检索方法及装置
EP3611632A1 (en) 2015-03-16 2020-02-19 Palantir Technologies Inc. Displaying attribute and event data along paths
US9886467B2 (en) 2015-03-19 2018-02-06 Plantir Technologies Inc. System and method for comparing and visualizing data entities and data entity series
US9392008B1 (en) 2015-07-23 2016-07-12 Palantir Technologies Inc. Systems and methods for identifying information related to payment card breaches
US9454785B1 (en) 2015-07-30 2016-09-27 Palantir Technologies Inc. Systems and user interfaces for holistic, data-driven investigation of bad actor behavior based on clustering and scoring of related data
US9996595B2 (en) 2015-08-03 2018-06-12 Palantir Technologies, Inc. Providing full data provenance visualization for versioned datasets
US9456000B1 (en) 2015-08-06 2016-09-27 Palantir Technologies Inc. Systems, methods, user interfaces, and computer-readable media for investigating potential malicious communications
US10489391B1 (en) 2015-08-17 2019-11-26 Palantir Technologies Inc. Systems and methods for grouping and enriching data items accessed from one or more databases for presentation in a user interface
US9600146B2 (en) 2015-08-17 2017-03-21 Palantir Technologies Inc. Interactive geospatial map
US10853378B1 (en) 2015-08-25 2020-12-01 Palantir Technologies Inc. Electronic note management via a connected entity graph
US11150917B2 (en) 2015-08-26 2021-10-19 Palantir Technologies Inc. System for data aggregation and analysis of data from a plurality of data sources
US10706434B1 (en) 2015-09-01 2020-07-07 Palantir Technologies Inc. Methods and systems for determining location information
US9576015B1 (en) 2015-09-09 2017-02-21 Palantir Technologies, Inc. Domain-specific language for dataset transformations
US10296617B1 (en) 2015-10-05 2019-05-21 Palantir Technologies Inc. Searches of highly structured data
US9424669B1 (en) 2015-10-21 2016-08-23 Palantir Technologies Inc. Generating graphical representations of event participation flow
US10613722B1 (en) 2015-10-27 2020-04-07 Palantir Technologies Inc. Distorting a graph on a computer display to improve the computer's ability to display the graph to, and interact with, a user
US9542446B1 (en) 2015-12-17 2017-01-10 Palantir Technologies, Inc. Automatic generation of composite datasets based on hierarchical fields
US9823818B1 (en) 2015-12-29 2017-11-21 Palantir Technologies Inc. Systems and interactive user interfaces for automatic generation of temporal representation of data objects
US10268735B1 (en) 2015-12-29 2019-04-23 Palantir Technologies Inc. Graph based resolution of matching items in data sources
US9612723B1 (en) 2015-12-30 2017-04-04 Palantir Technologies Inc. Composite graphical interface with shareable data-objects
US10698938B2 (en) 2016-03-18 2020-06-30 Palantir Technologies Inc. Systems and methods for organizing and identifying documents via hierarchies and dimensions of tags
US10650558B2 (en) 2016-04-04 2020-05-12 Palantir Technologies Inc. Techniques for displaying stack graphs
US10007674B2 (en) 2016-06-13 2018-06-26 Palantir Technologies Inc. Data revision control in large-scale data analytic systems
US10324609B2 (en) 2016-07-21 2019-06-18 Palantir Technologies Inc. System for providing dynamic linked panels in user interface
US10719188B2 (en) 2016-07-21 2020-07-21 Palantir Technologies Inc. Cached database and synchronization system for providing dynamic linked panels in user interface
US10437840B1 (en) 2016-08-19 2019-10-08 Palantir Technologies Inc. Focused probabilistic entity resolution from multiple data sources
US9881066B1 (en) 2016-08-31 2018-01-30 Palantir Technologies, Inc. Systems, methods, user interfaces and algorithms for performing database analysis and search of information involving structured and/or semi-structured data
US10318630B1 (en) 2016-11-21 2019-06-11 Palantir Technologies Inc. Analysis of large bodies of textual data
US10552436B2 (en) 2016-12-28 2020-02-04 Palantir Technologies Inc. Systems and methods for retrieving and processing data for display
US10460602B1 (en) 2016-12-28 2019-10-29 Palantir Technologies Inc. Interactive vehicle information mapping system
US10475219B1 (en) 2017-03-30 2019-11-12 Palantir Technologies Inc. Multidimensional arc chart for visual comparison
US10956406B2 (en) 2017-06-12 2021-03-23 Palantir Technologies Inc. Propagated deletion of database records and derived data
US10403011B1 (en) 2017-07-18 2019-09-03 Palantir Technologies Inc. Passing system with an interactive user interface
US10929476B2 (en) 2017-12-14 2021-02-23 Palantir Technologies Inc. Systems and methods for visualizing and analyzing multi-dimensional data
US11599369B1 (en) 2018-03-08 2023-03-07 Palantir Technologies Inc. Graphical user interface configuration system
US10754822B1 (en) 2018-04-18 2020-08-25 Palantir Technologies Inc. Systems and methods for ontology migration
US10885021B1 (en) 2018-05-02 2021-01-05 Palantir Technologies Inc. Interactive interpreter and graphical user interface
WO2020022055A1 (ja) * 2018-07-24 2020-01-30 ソニー株式会社 情報処理装置および方法、並びにプログラム
CN110020581B (zh) * 2018-12-03 2020-06-09 阿里巴巴集团控股有限公司 一种基于多帧脸部图像的比对方法、装置和电子设备
CN109639405A (zh) * 2019-01-21 2019-04-16 王良 一种通过混沌信号对信息进行加密的通信系统
CN117148795B (zh) * 2023-08-15 2024-02-27 无锡禹龙工业自动化有限公司 一种基于大数据的工业设备自动化管理系统及方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002169810A (ja) * 2000-12-04 2002-06-14 Minolta Co Ltd 画像検索プログラムを記録したコンピュータ読み取り可能な記録媒体、画像検索方法および画像検索装置
US8406481B2 (en) * 2005-02-25 2013-03-26 Hysterical Sunset Limited Automated indexing for distributing event photography
JP2007114931A (ja) 2005-10-19 2007-05-10 Konica Minolta Holdings Inc 認証装置
JP2010026661A (ja) * 2008-07-16 2010-02-04 Noritsu Koki Co Ltd 画像処理装置、画像形成装置、画像処理方法及び画像処理プログラム
AU2008264197B2 (en) * 2008-12-24 2012-09-13 Canon Kabushiki Kaisha Image selection method

Also Published As

Publication number Publication date
JP5643309B2 (ja) 2014-12-17
CN102483767B (zh) 2015-10-21
US8885942B2 (en) 2014-11-11
CN102483767A (zh) 2012-05-30
WO2012004933A1 (ja) 2012-01-12
US20120170847A1 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
JP5643309B2 (ja) オブジェクト関連付け装置、オブジェクト関連付け方法、プログラム及び記録媒体
JP5848336B2 (ja) 画像処理装置
US9141184B2 (en) Person detection system
US8583647B2 (en) Data processing device for automatically classifying a plurality of images into predetermined categories
JP6719206B2 (ja) 画像処理装置、画像処理方法、およびプログラム
US20120148118A1 (en) Method for classifying images and apparatus for the same
KR20080104034A (ko) 얼굴화상 등록 장치, 얼굴화상 등록 방법, 얼굴화상 등록 프로그램, 및 기록 매체
CN107431828A (zh) 用于识别相关媒体内容的方法和系统
US20120136823A1 (en) Audio classification device, method, program and integrated circuit
JP2009199322A (ja) 監視システム、人物検索方法
US8320609B2 (en) Device and method for attaching additional information
KR20220098030A (ko) 타깃 운동 궤적 구축 방법, 기기 및 컴퓨터 저장 매체
US20140233811A1 (en) Summarizing a photo album
JP6203188B2 (ja) 類似画像検索装置
JP6606374B2 (ja) 画像処理装置および方法およびプログラム
US20130328767A1 (en) Information processing apparatus, conference system, and information processing method
US8533196B2 (en) Information processing device, processing method, computer program, and integrated circuit
JP7435837B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP6761243B2 (ja) 画像処理装置、画像処理方法、及びプログラム
US9373021B2 (en) Method, apparatus and system for outputting a group of images
US20200311771A1 (en) Information processing device, information processing method, and program recording medium
WO2010087451A1 (ja) 画像表示装置、画像表示方法、および画像表示プログラム
US20200074218A1 (en) Information processing system, information processing apparatus, and non-transitory computer readable medium
JP6700806B2 (ja) プログラム、情報処理装置および制御方法
CN110008364B (zh) 图像处理方法、装置和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131126

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20140606

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140902

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141030

R150 Certificate of patent or registration of utility model

Ref document number: 5643309

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150