JP5403838B2 - 顔を相関させることによるデジタル画像の編成 - Google Patents

Description

本発明は、画像に表現された１つ以上の顔を相関させることによりデジタル画像のような画像を編成することに係る。

関連出願の相互参照：本出願は、２００９年５月５日に出願された米国特許出願第１２／４３６，０６９号、及び２００９年１月５日に出願された米国プロビジョナル特許出願第６１／１４２，６０６号の利益を主張するものである。

写真は、人気のある娯楽である。デジタル写真を通して発生されたデジタル画像を含む画像が広く行き渡っている。又、画像は、グラフィック編集ソフトウェア（例えば、画像編集又は製図ソフトウェア）、ビデオ装置、レンダリングシステム、スキャナ、断層撮影スキャナ、及び無線望遠鏡によって発生することもできる。

画像は、しばしば、人を表し、特に、人の顔を表す。顔の検出は、画像が１つ以上の顔を表すかどうか決定することに関する。顔認識（又は認識）は、画像に表された個人を識別することに関する。認識は、グラフィックの顔からの選択された顔の特徴を顔のデータベースと比較することにより行うことができる。顔認識アルゴリズムは、画像から顔の特徴に対応する目印を抽出することにより顔を識別することができる。例えば、あるアルゴリズムは、目、鼻、頬骨及び顎の相対的な位置、サイズ及び形状を分析することができる。認識アルゴリズムは、固有顔、フィッシャー顔、隠れマルコフモデル及び神経的に動機付けされる動的リンクマッチングを含む。

本開示は、顔を相関させることによりデジタル画像のような画像を編成するための技術について説明する。

ここに述べる技術を実施するシステムは、ユーザが、コンピュータ読み取り可能な記憶装置に記憶されたメディアのような画像を編成できるようにする。画像は、メディアに現れる１つ以上の顔の相関に基づいて特定の記憶位置へ論理的及び／又は物理的に自動的に指定することができる。例えば、特定の個人に対応するアルバムを、その個人を表すデジタル画像で自動的にポピュレートすることができる。アルバムに含まれる画像を相関させねばならない程度は、ユーザの仕様等に基づいて変更できる。

一般的に、本書に述べる要旨の１つの特徴は、画像を編成するためのコンピュータ実施方法において実施することができ、このコンピュータ実施方法は、人間の顔の表現を含む画像を受け取る段階と、人間の顔を含む１つ以上のプロフィール画像に関連した記憶された顔プロフィールに人間の顔が対応する見込みを指示する相関値を発生する段階と、受け取った画像及び発生された相関値を評価して、その評価の結果に基づき、画像がその記憶された顔プロフィールに対応するかどうか決定する段階と、受け取った画像を記憶された顔プロフィールに関連付ける段階と、その関連付けの指示を記憶する段階と、を備えている。又、この要旨の態様は、システム、コンピュータプログラム製品、並びに関連プロセッサ及び装置において実施することもできる。

これら及び他の実施は、次の特徴の１つ以上を任意に含むことができる。相関値は、画像が別の記憶された顔プロフィールに対応することを指示し、そして評価は、画像の第１メタデータ及び１つ以上のプロフィール画像の第２メタデータを評価することを含む。又、前記方法は、１つ以上のプロフィール画像、及びその１つ以上のプロフィール画像に関連したプロフィール情報をアドレス帳アプリケーションから得る段階と、１つ以上のプロフィール画像及びプロフィール情報に基づいて記憶された顔プロフィールを発生する段階とを含む。又、前記方法は、前記評価に基づいて、人間の顔が記憶された顔プロフィールに対応することを確認するようユーザを促す段階と、そのように促すことに応答して、人間の顔が記憶された顔プロフィールに対応するという確認を受け容れる段階とを含む。その受け容れは、肯定応答オプション及び否定応答オプションを有するユーザインターフェイスを経て受け容れることを含む。

又、この実施は、次の特徴の１つ以上を任意に含むこともできる。この方法は、画像が人間の顔を表す見込みが９０％未満であることを指示する検出情報にアクセスする段階と、画像が皮膚トーンカラー及び鮮明な画像細部を描写することを確立する段階と、その確立に基づいて、画像が人間の顔を表すことを確認する段階とを含む。又、この方法は、検出情報、画像又は相関値の１つ以上に基づき画像をキー画像として選択する段階と、そのキー画像を、記憶された顔プロフィールのアイコンとして表示する段階とを含む。画像は、鮮明さの指示、捕獲日付、又は画像の解像度の１つ以上を含む。検出情報は、人間の顔から画像に描写された別の人間の顔までの距離、又は画像に対する人間の顔の角度、の１つ以上を含む。人間の顔は、第１の人間の顔を含み、そして前記方法は、画像に表された第２の人間の顔と、記憶された顔プロフィールとの間の潜在的な対応性を導出する段階と、記憶された顔プロフィールに対応する第１の人間の顔及び相関値に基づいてその導出された潜在的な対応性を無視する段階とを含む。

又、前記方法は、人間の顔を表す非分類画像、非分類画像情報、及び人間の顔が記憶された顔プロフィールに対応する見込みを指示する非分類相関値を受け取る段階と、初期相関値スレッシュホールドを確立する段階と、その初期相関値スレッシュホールド及び非分類相関値に基づく非分類画像をグループ化する段階と、一緒にグループ化された非分類画像の量及び非分類画像のグループの総数に基づいて改訂された相関スレッシュホールドを導出する段階と、その改訂された相関スレッシュホールド及び非分類の相関値に基づいて非分類画像を再グループ化する段階と、その非分類画像の１つ以上のグループを、再グループ化に基づいて記憶された顔プロフィールに関連付ける段階と、を含む。記憶された顔プロフィールは、第１の記憶された顔プロフィールを含み、そして人間の顔は、第１の人間の顔を含む。前記方法は、第１の記憶された顔プロフィール及び第２の記憶された顔プロフィールをユーザインターフェイスに提示する段階であって、第２の記憶された顔プロフィールが第２の人間の顔を表す１つ以上の画像を含むような段階と、第１の記憶された顔プロフィールを第２の記憶された顔プロフィールに関連付ける指示をユーザインターフェイスにおいて受け取る段階と、第１の記憶された顔プロフィール及び第２の記憶された顔プロフィールから１つ以上のプロフィール画像を含む合成アルバムを発生する段階と、を含む。

本書に述べる技術は、次の潜在的な利点の１つ以上を実現化するように実施することができる。顔を相関させることは、画像を、フォルダ又はアルバムのような１つ以上の記憶構造体へと自動的に分類できるように実施することができる。更に、その要旨は、グラフィックな顔定義又はプロフィールが定義されていないところの新たな個人を識別できるように実施することができる。更に、その要旨は、付加的な画像と個人との関連付けに基づいて、顔の関連付けに使用される基準、例えば、定義又はプロフィールを洗練化できるように実施することができる。

以下、添付図面を参照して１つ以上の実施形態を詳細に述べる。他の特徴及び効果は、以下の説明、図面及び特許請求の範囲から明らかとなるであろう。

グラフィックの顔を相関させる規範的な概略を示す。 グラフィックの顔を相関させる規範的なシステムを示す。 規範的な相関システムを示すフローチャートである。 適応相関スレッシュホールドをセットするための規範的プロセスを示すフローチャートである。 認識をテストするための規範的プロセスを示すフローチャートである。 規範的な検出排除プロセスを示すフローチャートである。 規範的な相関排除プロセスを示すフローチャートである。 相関された顔を表示するための規範的なユーザインターフェイスを示す図である。 ユーザ入力を受け取るための規範的ユーザインターフェイスの図である。 ユーザ入力を受け取るための規範的ユーザインターフェイスの図である。 ユーザ入力を受け取るための規範的ユーザインターフェイスの図である。 アルバムを生成するための規範的ユーザインターフェイスの図である。 ユーザ入力を受け取るための規範的ユーザインターフェイスの図である。 規範的な相関技術を示す図である。 アルバムカバーの選択を示す図である。

明細書及び図面全体を通じて同じ要素が同じ参照番号で示されている。

顔を相関させることによる画像の編成は、画像にわたる同じ個人の表現を関連付けることを含む。画像に表現された人による画像の編成は、多数の潜在的な利点を与える。例えば、このような編成スキームは、画像システムのユーザにとって直観的なもので、ユーザがシステムの機能を素早く理解できるようにする。更に、多数の画像を手で編成する負担を実質的に排除することができ又は軽減することができる。更に、画像は、画像に表された個人に基づいて正確にグループ分けすることができる。画像を正確にグループ分けすることで、ユーザによる画像のアクセス、編成及び使用を改善することができる。

図１は、グラフィックの顔を相関する規範的な概略を示す。一般的に、画像は、カメラからコンピュータへ伝送することができる。コンピュータは、相関システムを備えることができる。相関システムは、同じ個人の画像をグループ化することにより画像を相関させることができる。

デジタルカメラ１０２は、デジタル画像を捕獲するカメラである。デジタルカメラ１０２は、電子画像センサを経て画像を記録することにより、ビデオ画像、静止画像又はその両方を捕獲することができる。デジタルカメラ１０２は、スタンドアローン型のデジタルカメラでもよいし、又は多数の装置のいずれかに合体されてもよい。例えば、デジタルカメラ１０２は、パーソナルデジタルアシスタント（ＰＤＡ）、移動電話、又はウェブカメラに合体されてもよい。更に、デジタルカメラ１０２は、取り外し可能な記憶媒体を使用して、捕獲した画像データを記憶することもできる。例えば、デジタルカメラ１０２は、取り外し可能なフラッシュメモリ装置（例えば、コンパクトフラッシュ及びセキュアなデジタルカード）に画像を記憶することができる。デジタルカメラ１０２は、画像を種々のフォーマット（例えば、生のフォーマット、又はジョイントホトグラフィックエクスパートグループ（ＪＰＥＧ）の規格に基づいて）で記憶することができる。又、デジタルカメラ１０２は、コンピュータと通信するための１つ以上のインターフェイスを含むことができる。例えば、デジタルカメラ１０２は、ユニバーサルシリアルバス（ＵＳＢ）又はＦｉｒｅＷｉｒｅのようなワイヤードインターフェイス、及び／又は赤外線又は高周波のようなワイヤレスインターフェイスを含むことができる。

画像１０４は、デジタルカメラ（例えば、デジタルカメラ１０２）によって発生されたデジタル画像である。画像１０４は、顔を表す。又、画像１０４は、他のアイテムの表現を含むこともできる。例えば、画像１０４は、目印の前に立っている個人の画像であり、ビルや、木や、空、等を表すことができる。更に、画像１０４は、圧縮フォーマット（例えば、ＪＰＥＧ）又は非圧縮フォーマット（例えば、ＲＡＷ）のような種々のフォーマットで記憶することができる。画像１０４は、グラフィックデータ及びメタデータを含むことができる。メタデータは、交換可能な画像ファイルフォーマット（Ｅｘｉｆ）仕様に適合することができる。Ｅｘｉｆデータは、アパーチャー、露光時間、日付及び時刻、場所及び画像１０４に関する他の情報を含むことができる。

デジタルカメラ１０２は、画像を捕獲することができる。例えば、画像１０６、１０８及び１１０は、画像１０４のような他の画像でよい。又、画像１０６、１０８及び１１０の各々は、グラフィックの顔を表すこともできる。

コンピュータシステム１１２は、デジタルカメラ１０２のようなデジタルカメラから転送された画像を受け取るように構成される。コンピュータシステム１１２は、コンピュータ（例えば、デスクトップ、ラップトップ、サーバー、等）、移動電話（例えば、ブラックベリー）、ＰＤＡ、又は他のそのような装置である。コンピュータシステム１１２は、１つ以上のソフトウェアアプリケーションを実行するように構成されたハードウェアを含むことができる。更に、コンピュータシステム１１２は、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ及びハードドライブのような電子記憶メディアを含むことができる。更に、コンピュータシステム１１２は、画像のようなデジタル情報を受け取ることのできる１つ以上の通信インターフェイスを含むことができる。１つ以上の通信インターフェイスは、ワイヤードでもワイヤレスでもよい。

相関システム１１４は、画像に表現されたグラフィックの顔を相関させるように構成することができる。相関システム１１４は、画像に表されたグラフィックの顔を相関させるように構成できる。相関システム１１４は、コンピュータシステム（例えば、コンピュータシステム１１２）で実行されるソフトウェア、コンピュータシステムの含まれるハードウェア、又はその組み合わせで具現化することができる。相関システム１１４は、画像（例えば、デジタル画像）にアクセスし、それらの画像に関連したデータを分析し、そして共通のグラフィックの顔を表すように決定された２つ以上の画像を相関させることができる。例えば、デジタル画像を分析し、そして同じ個人を含む画像を互いに関連させて画像グループを形成することができる。

相関システム１１４は、画像１０４、１０６、１０８及び１１０を処理し、そして１つ以上の画像グループを発生することができる。画像グループ１１６は、各々が同じ個人に対応する顔を表すデジタル画像を含む。画像グループ１１６のような画像グループは、非常に大きな画像グループ（例えば、数百個又は数千個の画像）、小さな画像グループ（例えば、数個又は数十個の画像）、或いは１つの画像でもよい。更に、同じ画像が複数の画像グループに属することもできる。例えば、ジャックという名の個人と、メリーという名の別の個人とを含む画像を、ジャックに関連した画像グループ及びメリーに関連した異なる画像グループの両方に含ませることができる。

画像グループ１１８は、１つの画像しか含まない。画像グループ１１８は、個人が１つの画像でしか表されない、画像に顔が現れた個人がまだ相関システム１１４に定義されていない、又は画像内の個人が相関システム１１４に既に定義されている誰かとして認識されない、等、の種々の理由で、１つの画像しか含まない。同様に、画像グループ１２０も、１つの画像しか含まない。

動作中に、画像１０４、１０６、１０８、１１０は、デジタルカメラ１０２からコンピュータシステム１１２へ伝送することができる。相関システム１１４は、コンピュータシステム１１２において動作することができ、例えば、ユーザから受け取られたコマンドに応答して、又は画像の送信に応答して自動的に、画像１０４、１０６、１０８及び１１０を処理することができる。コンピュータシステム１１２は、画像１０６及び画像１１０が同じ個人に対応する顔を表すと決定し、従って、画像１０６及び画像１１０を一緒に画像グループ１１６にグループ化することができる。又、画像グループ１１６は、同じ個人を表すコンピュータシステム１１２に既に記憶された画像を含むことができる。更に、相関システム１１４は、画像１０４及び画像１０８のような画像において１つ以上の顔を認識しないことがあり、従って、画像グループ１１８及び画像グループ１２０のような単一の画像しか含まない画像グループを生成することができる。認識されない顔を含む画像は、シングルトンと称することができる。ある実施形態において、相関システム１１４は、幾つかの又は全部のシングルトンを画像グループにグループ化することができる。

図２は、グラフィックの顔を相関させるための規範的システム２００を示す。この相関は、種々のハードウェア及びソフトウェアコンポーネントを伴う。画像及び識別情報のような入力を受け取り、それを使用して、デジタル画像に表された顔を相関させることができる。更に、相関プロセスの結果は、付加的な入力を受け取りそして付加的な相関を行うことにより繰り返し改善することができる。

図２に示すように、システム２００は、デジタルカメラ２０２を含むことができる。このデジタルカメラ２０２は、図１のデジタルカメラ１０２と同様である。

コンピュータシステム２０４は、図１のコンピュータシステム１１２と同様である。更に、コンピュータシステム２０４は、ネットワーク（例えば、ネットワーク２０６）を経て情報を受信及び送信するためのハードウェア及びソフトウェアを含むことができる。又、コンピュータシステム２０４は、記憶装置（例えば、記憶装置２１０）へ情報を送信し及びそこから情報を受信するように構成することもできる。

相関システム２１２は、デジタル画像に現れる顔を相関させるように構成することができる。相関システム２１２は、ソフトウェア及び／又はハードウェアコンポーネントを含むことができる。更に、相関システム２１２は、スタンドアローンソフトウェアアプリケーションでもよいし、又は大きなソフトウェアアプリケーションの一部分として実施することもできる。相関システム２１２は、バックグランドにおいて実行されるよう構成することができる。それとは別に、又はそれに加えて、相関システム２１２は、ユーザが１つ以上の管理及び／又は処理機能をアクティブに遂行できるようにするユーザインターフェイス２１４を含むことができる。

ユーザインターフェイス２１４は、例えば、グラフィックユーザインターフェイス（ＧＵＩ）、コマンドラインインターフェイス、触覚インターフェイス、又はリモートユーザから入力を受け取るためのネットワークインターフェイスである。ユーザインターフェイス２１４は、コマンド及びデジタル画像を含むデータを入力及び出力するためのメカニズムを含むことができる。例えば、ユーザは、相関システム２１２を操作するためにコマンド及び他の情報を入力することができる。又、ユーザインターフェイス２１４は、１つ以上のインターフェイススクリーンを通してユーザに情報を出力することもできる。

ユーザ入力モジュール２１６は、外部ソースからの入力を受け取り、記憶しそして処理するように構成することができる。例えば、ユーザ入力モジュール２１６は、デジタル画像における個人を識別するユーザからの入力を受け取ることができる。その識別は、その後、同じ個人の他の画像を識別する上で使用することができる。更に、入力は、関連情報を有する他のアプリケーションから受け取ることができる。例えば、アドレス帳アプリケーションからのデータを使用することができる。データは、画像、名前、ｅ−メールアドレス、等を含むことができる。データを使用して、システムを名前でシードすることができる。ユーザが人を識別するときには、システムは、アドレス帳から名前を示唆することができる。更に、データを使用して、システムを名前付きの顔でシードすることができる。データは、名前と顔との間の関連性を含むことができる。好都合にも、データを使用してユーザへの名前の示唆を開始した後、ユーザが確実に識別された誰かを得ることができるようにする（例えば、ユーザは、アドレス帳における連絡先の画像を得て、その情報を使用して、連絡先を表す画像を示唆することができる）。

又、ユーザ入力は、リモートサーバー２０８（例えば、ウェブサイト）からネットワーク２０６（例えば、インターネット）を通して受け取ることもできる。例えば、ユーザがソーシャルネットワークサイト（例えば、フェースブック）へ画像をアップロードする場合には、ユーザ及びユーザの友人は、画像において顔を識別することができる。識別は、入力として受け取ることができ、画像の相関に使用することができる。ネットワークを通して受け取られた入力に異なる信頼レベルを指定することができる（例えば、ユーザによる識別は、ユーザの友人による識別に確実に依存する）。

前処理モジュール２１８は、顔分析エンジン２２０へ画像を通す前に画像を処理するように構成することができる。前処理モジュール２１８は、顔分析エンジン２２０の性能を改善できるルール及びヒューリスティクスを含む機能を遂行することができる。例えば、前処理モジュール２１８は、個人が画像に一度しか現れないことを述べるルールを適用することができる。

顔分析エンジン２２０は、画像に現れる１つ以上の顔を検出しそして認識するように構成することができる。顔分析エンジン２２０は、画像及び設定を受け取り、そして画像が個人に対応する顔を表すかどうか検出することができる。設定は、顔分析エンジン２２０の動作に影響するパラメータ、例えば、顔分析エンジン２２０が（例えば、後処理モジュール２２２に）検出に関する情報を与える前に検出に関して得なければならない信頼性レベルを指示するスレッシュホールドを含むことができる。

更に、顔分析エンジン２２０は、グラフィックの顔を他のグラフィックの顔と比較してそれらが同じ個人に属するものであるかどうか決定することにより顔を相関することもできる。顔分析エンジン２２０は、固有顔又はフィッシャー顔のようなアルゴリズム、又は神経ネットワークのような技術を使用して、顔認識を遂行するように構成することができる。更に、顔分析エンジン２２０は、イリノイ州シャウムブルクのＯＭＲＯＮ社によってＯＫＡＯビジョンスイーツにおいて提供されたツールのような顔分析ツールのライブラリーとして実施することができる。

後処理モジュール２２２は、顔分析エンジン２２０からの情報を受け取るよう構成することができる。更に、後処理モジュール２２２は、エンジン２２０から受け取られた入力に基づいてルールを適用し、エンジン２２０の性能を改善することができる。例えば、後処理モジュール２２２は、画像を分析して、顔分析エンジン２２０により顔であると断言される画像の一部分が皮膚トーンであるか又は鮮明に見えるか決定することができる。これら条件の一方又は両方が欠陥である場合には、モジュール２２２は、顔の検出を無視することができる。皮膚トーン及び鮮明さは、図４を参照して以下に詳細に述べる。更に、モジュール２２２は、後処理に基づき新たな設定で再び処理するようにエンジン２２０へ情報を再提出することができる。

帰納的モジュール２２４は、帰納的推理を使用して、顔が誰に属するかについて山を掛けることができる。例えば、帰納的モジュール２２４が、２つの画像が（例えば、後処理モジュール２２２から受け取られた）同じ個人の顔を表し且つユーザが（例えば、ユーザ入力モジュール２１６から受け取られた）１つの画像における個人を識別すると信じる場合に、帰納的モジュール２２４は、他の画像も同じ個人のものであると帰納することができる。

相関モジュール２２６は、相関システム２１２に含まれた１つ以上の他のモジュールにより与えられる情報を使用して、デジタル画像に現れる顔を相関させるように構成することができる。相関プロセスは、画像を、画像に表された顔に基づいてグループへと編成することを含む。特に、ある個人に属すると分かるか又はそのように考えられる、システムにアクセス可能な全ての画像を含むグループを形成することができる。

図３は、規範的な相関プロセス３００を示すフローチャートである。この相関プロセス３００は、相関スレッシュホールドを繰り返し調整して、受け容れられる数の画像グループを発生する。グループは、「バケット」とも称される。各バケットは、同じ個人を表すと考えられる画像を含むことができる。相関スレッシュホールドが非常に高くセットされた場合には、プロセス３００は、２つの画像が同じ個人の顔を表すと実質上確認されない限り２つの画像を相関させない。従って、相関スレッシュホールドが非常に高くセットされた場合には、同じ個人の幾つかの画像がおそらく相関されないので、より少数の画像を各々伴うより多くのバケットが発生されることになる。相関スレッシュホールドが非常に低くセットされた場合には、プロセス３００は、同じ個人に対応しない顔を頻繁に相関させることができる。従って、相関スレッシュホールドを低い値にセットすることで、より多くの画像を各々伴うより少数のバケットを発生することができる。しかしながら、同じ個人に対応する顔を表さない２つの画像が相関される見込みが高まる。バケットは、同じ個人の画像をできるだけ多数含み、そしてその個人を表さない画像は少数又は全く含まないのが理想的である。

顔を表す画像を受け取ることができる（３０２）。更に、スレッシュホールドをデフォールト値にセットすることができる（３０４）。デフォールト値は、中間値である。デフォールト値がセットされると、画像を相関させることができ、同じ個人の顔を表すと考えられる画像が単一のバケットに関連付けられる（３０６）。次いで、発生されたバケットの数が受け容れられるかどうか決定することができる（３０８）。バケットの数が受け容れられる場合には（例えば、実質的に画像と同数のバケットが存在せず、且つ画像の数に対して非常に少ないバケットでもない）、プロセス３００は、残っているシングルトンが多過ぎるかどうか決定することができる（３１０）。シングルトンは、対応する個人をプロセス３００で識別できないところの１つ以上の顔を含む画像である。シングルトンが多過ぎることは、スレッシュホールド値が高くセットされ過ぎ、従って、その顔が、同じ個人の顔を含む他の画像と適切に相関されないという兆候である。

バケットが少な過ぎると決定された場合には、スレッシュホールド値を高めることができる（３１４）。スレッシュホールド値を高めるには、バケット内の顔が同じ個人に属することの付加的な信頼性をプロセス３００で得ることが必要である。スレッシュホールド値が高められると、プロセス３００は、画像の相関をもう一度遂行する（３０６）。

バケットが多過ぎると決定された場合には、スレッシュホールド値を下げることができる（３１６）。更に、プロセス３００が、３１０において、シングルトンが多過ぎる（例えば、バケットに画像を指定するのに必要な信頼性の程度が高過ぎることを指示する）と決定した場合にも、スレッシュホールド値を下げることができる（３１６）。スレッシュホールド値を下げると、プロセス３００は、低い信頼性の程度に基づいて画像を相関させることができる。スレッシュホールド値が下げられると、プロセス３００は、画像の相関をもう一度遂行する（３０６）。

受け容れられる数のシングルトンがある（例えば、全画像数に対して）と決定された場合には、プロセス３００は、ユーザ入力を受け取る（３１２）ことにより続けることができる。例えば、ユーザ入力は、１つ以上の画像に誰の顔が表されるかの情報を含むことができる。

図３Ｂは、適応相関スレッシュホールドをセットするための規範的プロセス３５０を示すフローチャートである。相関信頼性についてのスレッシュホールド値は、バケットごとにセットすることができる。最初、スレッシュホールドは、中間値にセットすることができる（３５２）。バケットサイズを増加することができる（３５４）。例えば、より多くの画像をシステムに追加することができ、又は画像内のより多くの顔を所与の個人として識別することができる。バケットサイズが増加するにつれて、スレッシュホールドを高くし（３５６）、特定のバケットに対する顔の相関をより困難なものとすることができる（低いスレッシュホールドに対して）。

図３Ｃは、潜在的な相関をテストするための規範的なプロセス３７０を示すフローチャートである。バケットに対する画像内の顔の潜在的な相関を検査することができる（３７２）。この検査は、潜在的な相関に対する信頼値が、所与のバケットに画像を含ませるためのスレッシュホールド要求のすぐ（例えば、僅かに）下であるかどうか決定することを含む（３７４）。信頼値がスレッシュホールドのすぐ下である場合には、メタデータテストを実行することができる（３７６）。このテストは、例えば、ソース画像のヒストグラム、露光値、及び捕獲日付・時刻を比較することを含む。時間的に接近して且つ同様のヒストグラム及び露光値で撮影された画像は、同じ要旨及び人を含むことができる。メタデータが同様であると決定された場合には（３７８）（例えば、画像が、バケットに既にある他の画像と同時に撮影されたことを指示する）、顔をバケットと相関させることができる（３８２）。全画像のヒストグラムを比較するのに加えて又はそれに代わって、画像が複数の顔を表すときは、顔エリアのみのヒストグラムをテストに使用することができる。

他方、信頼値がスレッシュホールドのすぐ下でないか（例えば、１０％のような所定の設定に対して）、又は換言すれば、スレッシュホールドより著しく下であると決定される場合には、相関を無視することができる。又、メタデータが同様でないと決定された場合にも（３７８）、相関を無視することができる。

図４Ａは、規範的な検出排除プロセス４００を示すフローチャートである。あるインスタンスにおいて、検出エンジンは、推定では顔を表す（即ち、検出）が、実際には顔を表さない画像のエリアを検出する。プロセス４００は、このような偽の肯定検出を排除することができる。

この検出排除プロセス４００は、検出信頼性を受け取ることにより開始される（４０２）。検出信頼性は、分析エンジンによって与えられる値で、実際に行われている顔の検出に関してエンジンがどれほど信頼できるか指示する値である。

プロセス４００は、鮮明さ及び皮膚トーンの検出についてテストすることにより続けられる（４０４）。鮮明さは、画像において顔が鮮明に表れるかどうか分析することを含む。実際の鮮明さ又は見掛け上の鮮明さのいずれか又は両方が欠けると、ボケが生じる。例えば、実際の鮮明さが欠けることは、カメラの焦点が不適切であるか、又は撮影時にカメラ又は対象物が動くことから生じる。見掛け上の鮮明さは、画像のアキュタンス（即ち、縁コントラスト）を指す。アキュタンスは、スペースに対する輝度の導関数の振幅に関連している。高いアキュタンスの画像は、より鮮明に見え、たとえ画像が、低いアキュタンスの画像より高い解像度又は実際の鮮明さを有していなくても、ユーザにより強く訴えるものとなる。鮮明でないマスキングのような画像処理技術は、画像のアキュタンスを高めるが、同時に、実際の鮮明さを下げることがある。実際の及び見掛け上の鮮明さは、検出がぼけているかどうか決定するように評価することができる。

又、プロセス４００は、検出が潜在的な皮膚トーンを表すかどうか決定することができる（４０４）。皮膚トーンは、対象の色素、照明及びカメラの露出により、例えば、画像において決定される人間の皮膚の色の範囲に対応するカラーである。例えば、明るい緑の色合いを表す検出が顔に対応することはあり得ない。

プロセス４００は、検出の信頼性が比較的高いかどうか決定することにより続けられる（４０６）。この決定は、検出の信頼性を表す値と所定の値との比較に基づいて行うことができる。例えば、１０００は、検出が顔を表すところの最も高い信頼性を示すことができる。８００より上の信頼値は、高いと決定することができる。

検出の信頼性が高い場合には、プロセス４００が続けられ、そして検出が有効であるかどうかの評価の予想において（４１２）、鮮明さ及び皮膚トーンテストを信頼性に対して小さく重み付けする（４０８）。検出の信頼性が高い場合には、プロセス４００が続けられ、そして再び、検出が有効であるかどうかの評価の予想において（４１２）、鮮明さ及び皮膚トーンテストを信頼性に対して大きく重み付けする（４１０）。

プロセス４００は、検出が有効であるかどうか決定することにより続けられる（４１２）。この決定は、信頼性の値と、鮮明さ及び皮膚トーンテストの結果とに基づいて行うことができる。信頼性の値が高いと決定されたときには（４０６）、鮮明さ及び皮膚トーンテストは、その決定において小さく重み付けされる（４０８）。対照的に、信頼性の値が低いと決定されたときには（４０６）、鮮明さ及び皮膚トーンテストは、その決定において大きく重み付けされる（４１０）。規範的なプロセス４００は、検出信頼性が高いこと（４０６）に関してバイナリ決定を使用するが、ある実施形態では、検出の信頼性及びグラフィックテストの結果をそれらの相対値に基づいて比例的に要因として考慮する。その結果は、グラフィックテストに与えられる重みが、低から高までのスケール上のどこに検出信頼性があるかに依存するスライディングスケールである（例えば、最も高い信頼性の場合に、テストは、信頼性に対して非常に小さく重み付けされる）。

鮮明さ及び皮膚トーンテストに加えて、ある実施形態では、検出が正しいかどうか決定するのに他の要因を使用することができる。例えば、検出エンジンは、検出された顔が画像に対して見える角度に関する情報を与える。画像が複数の顔を表しそして顔の１つが他の顔に対して上下逆である場合には、上下逆の検出が有効である見込みが低いと考えられる。他の要因は、正しい検出が与えられたときに、めったに生じない環境のように、決定に影響を及ぼす。

プロセス４００は、有効でないと決定された（４１２）検出を排除することにより（４１４）続けられる。この排除は、例えば、メモリから検出を削除し、検出を抑制指示に関連付け、又は検出を偽の肯定のリストに記憶することを含む。

検出が有効であると決定される場合（４１２）、又は無効検出が排除された後に（４１４）、プロセス４００は、終了となる。

図４Ｂは、規範的な相関排除プロセス４５０を示すフローチャートである。画像が他の画像にも現れる個人に対応する顔を表すという指示に基づいて画像を他の画像と相関させることができる。相関を検査することで、おそらく発生しない状態を明らかにし、そして相関を排除する基礎をなすことができる。好都合なことに、おそらく生じないと決定された相関を排除することで、ユーザに与えられる情報のクオリティを改善することができる。例えば、同じ画像に現れる２つの顔は、同じ個人に相関させることができる。画像は、同じ個人に対応する２つの顔を表すことがめったにないので、（例えば、識別信頼性スコアにより決定される）見込みの低い相関を排除することで、おそらく無効となる相関を排除することができる。従って、排除は、全体的な相関の精度を改善することができる。

相関排除プロセス４５０は、顔を相関させることにより開始する（４５２）。一般に、顔を相関させることは、顔を潜在的に識別する画像において特徴を抽出することを含む。次いで、特徴を、他の顔の特徴と比較し、どちらの顔が同じ個人に対応するか識別することができる。特に、相関は、同じ顔キー（例えば、独特の識別子）を２つ以上の顔に与えることを含む。潜在的に、同じ顔キーを有する各顔が同じ個人に対応する。同じ顔キーを有する顔のグループをバケットと称する。又、相関は、顔のオリジナル画像を識別するために各顔に画像キーを与えることも含む。ある実施において、顔の相関（４０２）は、画像ごとに行われる。このようにすることで、バケットを更新する前に無効の相関を排除することができる。

又、顔の相関は、ユーザにより行うこともできる。例えば、ユーザは、グラフィックの顔を識別することができる。顔は、異なる個人のもので、ユーザにより与えられた情報と一致しないバケットにグループ化されると既に考えられている。

相関を検査することができる（４５４）。相関の検査は、顔キーと画像キーとを比較することを含む。この検査で、起こり得ない相関を発見することができる。幾つかの相関が起こり得ないと決定される場合には（４５６）、それら相関を排除することができる（４５８）。排除は、メモリから相関を削除し、相関を抑制指示に関連付け、又は相関を偽の肯定のリストに記憶することを含む。相関が起こり得ないものではないと決定され（４５６）、又は起こり得ない相関が排除された場合には（４５８）、プロセス４５０が終了となる。

例えば、顔を相関させることで、同じ画像からの２つの顔に同じ顔キーが指定される。画像が、同じ個人に対応する２つの顔を表すことはめったにないので、起こり得ない相関（例えば、信頼性の値で決定される）を排除することができる。更に、顔がバケット（例えば、相関システムにより指定された）に属するが、ユーザにより除去される場合には、バケットに残された顔も、誤って相関されることがあり、例えば、再評価することができる。

図５は、相関された顔を表示するための規範的なユーザインターフェイス５０２の図である。ユーザは、ユーザインターフェイス５０２に表示された１つ以上の画像に示された顔に関する情報を与えることができる。ユーザによって与えられるこの肯定識別は、１人以上の個人の画像をグループ化する基礎となる。更に、相関システムは、ユーザが情報を与えていない他の画像がおそらく既知の個人を表すことを決定する。肯定的に識別される画像のグループに画像を追加するのではなく、相関された画像をユーザインターフェイスの個別のエリアに与えることができる。好都合にも、ユーザは、自己相関の利益を得ると同時に、相関システムの決定を受け容れる必要がない。

ユーザインターフェイス５０２は、ユーザが相関システムからの情報を受け取ることができるようにする。ユーザインターフェイス５０２は、ユーザに提示されるグラフィック、テキスト及び／又は聴覚情報を含むことができ、又、ユーザから制御シーケンス（例えば、コンピュータキーボードでのキーストローク、コンピュータマウスの移動、及びタッチスクリーンでの選択）を受け取るメカニズムを含むことができる。ユーザインターフェイス５０２は、グラフィックユーザインターフェイス（ＧＵＩ）であり、コンピュータキーボード及びマウスのような装置を経て入力を受け容れることができ、且つコンピュータディスプレイ（例えば、液晶ディスプレイ（ＬＣＤ）モニタ）のような１つ以上の出力装置にグラフィック出力を与えることができる。又、ユーザインターフェイス５０２は、ウェブベースのユーザインターフェイス又はウェブユーザインターフェイス（ＷＵＩ）でもあり、入力を受け容れると共に、ウェブページを発生することにより出力を与え、それらウェブページは、インターネットを経て送信され、ユーザにより、ウェブブラウザ（例えば、マイクロソフトインターネットエクスプローラ）を使用して見られる。又、ユーザインターフェイス５０２は、他の形式の出力を補足し又はそれを触覚型フィードバックに置き換える触覚インターフェイスを含むように実施することもできる。又、ユーザインターフェイス５０２は、合成入力・出力装置としてタッチスクリーンディスプレイを使用するタッチインターフェイスでもよく又はそれを含んでもよい。

ユーザインターフェイス５０２に表示されたメニュー５１６は、ユーザが相関システムの顔表示機能にアクセスするための手段を与えることができる。例えば、ユーザは、メニュー５１６の顔オプション５１８をクリックし、システムに既に利用できる個人のリスト（図示せず）が提示される。更に、ユーザは、個人のリストからある個人を選択し、個人の顔を含む画像を見ることができる。又、顔オプション５１８が選択されると、ユーザインターフェイスは、システムに表示された個人の１人以上を表示することができる。

ユーザインターフェイス５０２の顔表示エリア５１２は、所与の個人に関連した１つ以上の画像を含むことができる。規範的な顔表示エリア５１２は、個人の名前「ジェームス(James)」に関連付けられ、ジェームスに対応する２つの画像５０４及び５０６を含む。エリア５１２は、個人の画像を０（例えば、個人のプロフィールが生成されたが、それに対応する画像が識別されない場合）、１、又は多数含むことができる。更に、画像５０４及び５０６の一方又は両方は、ユーザによりジェームスと肯定的に識別された顔を含むことができる。ユーザにより肯定的に識別される顔に加えて、エリア５１２は、ユーザからの入力なしに相関システムにより識別された顔（例えば、高い信頼度でシステムにより識別された顔）を含むこともできる。

相関表示エリア５１４は、顔表示エリア５１２に含まれた画像に表示された同じ個人をおそらく表すと相関システムが決定した１つ以上の画像を含むことができる。ユーザは、ジェームスに対応する１つ以上の画像を肯定的に識別することができる。又、ユーザは、各画像における各顔を肯定的に識別する必要なく個人のより多くの画像を見る便利な手段としてエリア５１４にシステム識別画像を単に残すこともできる。これは、ユーザが数千の画像を自分のコンピュータに有するとすれば、多大な時間節約を許す。例えば、画像５０８は、たとえユーザが画像５０８における顔をジェームスに対応するものとして肯定的に識別しなかったとしても、ジェームスの他の画像と共に表示されるジェームスの画像である。或いは又、画像５１０は、ジェームスではない顔を表すことができ、ユーザは、その顔をジェームスではないとして否定的に識別することができる。このようにして、大多数の決定を正しく行う相関システムでは、ユーザは、ある顔を肯定的に識別し、その後、不一致画像だけを否定的に識別することにより、付加的な時間を節約することができる。

相関表示エリア５１４に対する画像は、バケットを使用して選択することができる。例えば、バケット内のある顔が肯定的に識別される場合には、バケット内の残りの顔を相関表示エリア５１４に表示することができる。というのは、それらが同じ個人に対応すると考えられるからである。

図６Ａは、ユーザ入力を受け取るための規範的なユーザインターフェイス６０２の図である。一般的に、システムが画像内の顔を見出したこと及びシステムがその顔に対応する個人を潜在的に識別したことの両方を指示するユーザインターフェイスを提供することができる。

ユーザインターフェイス６０２は、個人６０６の顔を含む画像を表示することができる。長方形又は他のそのような輪郭であるマーカー６０４を使用して、画像内に顔があると考えられる場所を指示することができる。ユーザインターフェイス６０２は、個人（例えば、ジェームス）のアイデンティティを確認するダイアログボックス６０８を通して入力するか、さもなければ、識別情報を与えるようにユーザを促すことができる。ある実施形態では、ダイアログボックス６０８は、「イエス」オプション６１０及び「ノー」オプション６１２を含み、顔がジェームスに属するかどうかユーザが指示できるようにする。確認オプション６１０及び６１２のみを与えるダイアログボックス６０８は、相関システムが図示された個人６０６のアイデンティティに関して非常に確信があるときに与えることができる。ユーザがオプション６１０及び６１２の一方を選択すると、相関システムは、情報を使用して（例えば、それから学習して）、将来、より正確な相関を行えるようにする。又、このシステムは、新たな情報に基づいて既になされた決定を再評価することもできる。

図６Ｂは、ユーザ入力を受け取るための規範的なユーザインターフェイス６５２の図である。一般的に、このユーザインターフェイス６５２は、システムが画像内の顔を見出したことを指示し、そしてその顔の１つ以上の潜在的なアイデンティティを示唆するように構成することができる。

ユーザインターフェイス６５２は、個人６５６の顔を含む画像を表示することができる。マーカー６５４を使用して、顔が位置すると考えられる画像内の場所を指示することができる。ユーザインターフェイス６５２は、顔がまだ識別されていないことを指示し且つシステムにおける１つ以上の潜在的な一致の名前を示唆するダイアログボックス６５８を通してユーザから入力を要求することができる。例えば、ダイアログボックス６５８は、名前を示す選択可能な「ジェームス(James)」オプション６６０及びジェームスに関連した小さなサムネール又は他のそのようなアイコンを含むことができる。又、システムが、顔がウイリアム(William)に属するとも考える場合には、選択可能なウイリアムオプション６６２を設けることができる。画像に示された個人がシステムにおいてまだ識別されない場合には、新個人生成オプション６６４を設けることができる。新個人生成オプション６６４を選択すると、ユーザは、画像に対応する個人の名前及び他の情報を入力して、その後に画像をグループ化するのに使用できるプロフィールを生成することができる。又、ダイアログボックス６０８は、ユーザが表示された個人に対応する入力を与えることを望まない場合に無視オプション６６８を含むこともできる。

図６Ｃは、ユーザ入力を受け取るための規範的なユーザインターフェイス６７２の図である。一般的に、このユーザインターフェイス６７２は、顔のアイデンティティに関する入力を受け取るように構成することができる。

ユーザインターフェイス６７２は、個人６７６の顔を含む画像を表示することができる。顔は、相関システムにより又はユーザにより画像に位置付けることができる。例えば、ユーザは、システムが画像内の顔を発見しない場合には、個人６７６の顔をクリックすることができる。このようなケースでは、システムは、自動認識のために生じる情報をもたない。しかしながら、顔の位置をユーザが指示した後に、システムは、その位置を使用して、分析プロセスを再実行することができる。このプロセスは、顔の存在に関して潜在的に低い信頼性しか要求しない。というのは、ユーザは、顔がエリア内に存在することを指示するからである。又、顔は、例えば、ユーザ入力なしにシステムへロードされるのに応答して、システムにより検出することもできる。

マーカー６７４は、画像において特定の顔を指示するのに使用することができる。マーカー６７４は、画像が複数の顔を表すときに顔を他の顔から区別することができる。ユーザは、マーカー６７４に関連したＸ６８０をクリックすることによりマーカー６７４を却下することができる。ユーザは、例えば、システムが顔を正確に表さない何かを顔として誤って識別するときにマーカー６７４を却下することを望む。

ユーザインターフェイス６７２は、ユーザからダイアログボックス６７８を通して入力を要求することができる。例えば、システムは、個人がシステムにとって未知であるときに入力を要求することができる。ユーザがテキストボックス６８２にタイプし始めると、システムは、ユーザがタイプしたものと一致する人をシステムにリストするオプションメニュー６８４を与えることができる。例えば、ユーザがテキストボックス６８２に“ja”をタイプした場合に、システムは、“Jack”及び“James”をリストするオプションメニュー６８４を与えることができる。というのは、両方の名前がユーザによりタイプされた“ja”に一致するからである。次いで、ユーザは、一方の名前、例えば、名前ジャック(Jack)６８６をクリックし、名前で個人６７６を識別する。ダイアログボックス６７８は、例えば、顔マーカー６７４に関連したＸ６８０をユーザがクリックすることにより、ユーザが名前を入力せずに、却下することができる。又、ダイアログボックス６７８は、右上隅のＸ（図示せず）のような、却下のためのメカニズムを含むこともできる。

図７は、１つ以上のアルバムを生成するための規範的ユーザインターフェイス７０２の図である。アルバムは、特定の個人又は個人のグループのようなテーマに基づく画像のグループである。例えば、親は、両方の子供を示す画像のアルバム（即ち、an “and” album）を形成することができる。従って、アルバムの各画像は、両方の子供を表す。更に、親は、２人の子供のいずれかを示す画像のアルバム（即ち、an “or” album）も形成できる。従って、アルバムの各画像は、２人の子供の少なくとも一方を表す。

ユーザインターフェイス７０２は、ユーザがユーザインターフェイス７０２内をナビゲートできるように構成されたメニュー７０４を含むことができる。又、ユーザインターフェイス７０２は、２人の識別された個人７０８及び７１０のような１人以上の個人を含むこともできる。ジェームスのアルバム７０８は、彼の名前“James”と、彼が描写された画像（例えば、写真）の枚数１４とを与える情報７１２と共に示されている。又、ジェームスアルバム７０８のカバー画像７１３も表示することができる。カバー画像は、ユーザにより選択することもできるし、或いは検出された顔の画質、又は画像が見られた回数のような１つ以上の基準に基づいて自動的に選択することができる。バートのアルバム７１０も、同様に、彼の名前と、アルバムに含まれる画像（例えば、写真）の枚数とを与える情報７１４と共に示されている。

動作中に、ジェームスアルバム７０８及びバートアルバム７１０の両方からの画像を含む新たなスマートアルバムを生成するため、ユーザは、ジェームスアルバム７０８をメニューのスマートアルバムエリア７０６へドラグし（７１６）、そしてジェームスアルバム７０８をドロップすることができる。又、ユーザは、バートアルバム７１０をスマートアルバムエリア７０６へドラグし（７１８）、そしてバートアルバム７１０もそこにドロップすることができる。両アルバム７０８及び７１０をドラグすることにより、システムは、両方の人を一緒に含む写真アルバム又はいずれかの人を含む写真アルバムのいずれかを生成することができる。名前付き個人に関連したアルバムがスマートアルバムエリア７０６にドロップされたときには、デフォールトにより一形式のアルバム又は他のものを生成することができる。或いは又、ユーザは、生成されるアルバムの形式を選択するように促されてもよい。

図８は、ユーザ入力を受け取るための規範的なユーザインターフェイス８０２の図である。一般的に、相関システムは、同じ個人を表現すると考えられる画像を単一のバケットへ一緒にグループ化することができる。バケットを、例えば、同じ個人の画像を各々含む合成された２つのバケットへと変更するためのユーザインターフェイス８０２を設けることができる。ある実施形態は、図８に示すバケットコンセプトを含むが、バケットを変更するか又はバケットと対話するためのユーザインターフェイス（例えば、ユーザインターフェイス８０２）は含まない。

ユーザインターフェイス８０２は、このユーザインターフェイス８０２をナビゲートするためのメニュー８１８を含むことができる。メニュー８１８においてバケットオプション８２０を選択することで、表示されるべき１つ以上のバケットを変更するためのインターフェイス８０２となる。例えば、相関プロセスは、３つのバケット８０４、８０６及び８０８を発生することができる。ユーザは、第１のバケット８０４を、特定の個人(例えば、ジェームス)の画像を有するものとして識別してもよい。インターフェイス８０２は、名前付き個人に関する情報８１０、例えば、その名前及び画像(例えば、写真)の枚数を第１バケット８０４に表示することができる。又、第１バケット８０４は、個人を表示するアイコン８２２を含むこともできる。同様に、インターフェイス８０２は、第２バケット８０６に対応するアイコン８２４及び情報８１２と、第３バケット８０８に対応するアイコン８２６及び情報８１４とを表示することができる。

動作中に、ユーザは、第３バケット８０８を、別のバケット、例えば、第１バケット８０４へドラグ（８１６）して、バケットを合体することができる。２つの画像グループを合併するのに加えて、第１バケット８０４を第３バケット８０８に合体することで、付加的な情報をシステムに与えることもできる。例えば、システムは、ジェームスに関連した認識基準を、第３バケット８０８に含まれた付加的な画像に基づいて洗練化することができる。２つのバケットに矛盾する名前が付いている場合には、標準的な合体ルールを使用することができる（例えば、結果的に得られる合体されたバケットに対してどの名前が正しいかユーザが選択することを必要とする）。

図９は、規範的な相関技術を示す図である。バケット内の画像をグループ化することにより、相関システムは、帰納推理を使用して、バケットの個々のメンバーについて知っている情報からバケット全体に関して決定することができる。

画像のグループ９０２は、相関システムにより処理することができる。画像のグループ９０２は、個人の顔を表現することができる。相関プロセス９０４の間に、画像のグループ９０２は、分割されて、バケット９０６、９０８又は９１０へ指定される。画像のグループ９０２の各画像は、バケット９０６、９０８及び９１０の１つのようなバケットに指定される。潜在的に、画像のグループ９０２の１つ以上を複数のバケットに指定することができる（例えば、１つの画像が２人以上の人を表す場合）。

相関９０４の後に、バケットＡ９０６は、画像１ ９１２、画像３ ９１４、画像４ ９１６及び画像５ ９１８を含む。これら画像各々は、スレッシュホールド信頼性レベルに基づいて、同じ個人の顔を表現する。更に、バケットＢ ９０８は、画像２ ９２０、画像６ ９２２及び画像８ ９２４を含む。更に、バケットＣ ９１０は、画像７ ９２６及び画像９ ９２８を含む。これらバケット９０６、９０８及び９１０の各々は、同じ相関基準に基づいて生成することができる。

動作中、相関システムは、ユーザに画像１ ９１２を提示することができる（９３０）。ユーザは、画像１ ９１２を見ることを要求するか、又は画像１ ９１２で促される。画像１ ９１２が提示されると、ユーザは、それに応答する（９３４）。この応答は、例えば、ユーザインターフェイスを通してユーザに提示されたダイアログボックス（例えば、図６Ｂに示すダイアログ６５８）内のオプションをクリックすることを含む。又、この応答は、画像１ ９１２における顔の肯定的識別（ＩＤ）９３２も含む。次いで、この肯定的ＩＤ９３２を使用して、例えば、画像３ ９１４が同じ個人のものであると決定することができる。従って、確立された信頼性レベルに基づき、バケット内の１つの画像の識別を使用して、そのバケット内の残りの画像の各々を識別することができる。同様に、相関システムは、ユーザに画像７ ９２６を提示することができる。ユーザは、それに応答し（９４６）、画像７ ９２６内の顔の肯定的ＩＤ９４４を与えることができる。次いで、肯定的ＩＤ９４４を使用して、例えば、画像９ ９２８が、識別９４４でアイデンティティが確認された同じ個人のものであることを決定する。

更に、相関システムは、ユーザに画像２ ９２０を提示することができる（９３６）。ユーザは、それに応答し（９４０）、そして画像２ ９２０における顔が特定の個人のものでないことを指示する否定的ＩＤ９３８を与えることができる。このＩＤ９３８を使用して、例えば、画像６ ９２２も、識別された個人９３８でないことを決定することができる。

又、相関システムは、ユーザにより与えられる肯定的及び否定的情報の一方又は両方を合成して、更なる決定を行うこともできる。例えば、肯定的ＩＤ９３２及び９４４が同じ個人のものである場合には、画像９ ９２８及び画像３ ９１４が潜在的に同じ個人であると決定することができる。更に、否定的ＩＤ９３８が、肯定的ＩＤ９３２と同じ個人のものである場合には、画像６ ９２２は、おそらく、画像３ ９１４に示された同じ個人ではないと決定することができる。

図１０は、アルバムカバーの選択を示す図である。アルバムは、テーマに基づく画像のグループである。例えば、名前付きの個人は、その個人の全ての画像１０３４のアルバム１００１を有することができる。ユーザは、カバーされるべきアルバムから画像１００４の１つ（例えば、アルバムをグラフィックで識別するのに使用される画像）を選択することができる。或いは又、第１の画像のように、アルバムカバーを、アルバム１００２から自動的に選択することができる。しかしながら、ユーザが画像を選択しないときには、第１の画像は、カバーとして使用するための個人の最良の表現ではないことがある。従って、ユーザ入力なしに画像を特徴づけるデータに基づいて満足なカバー画像を選択することができる。ある実施形態では、カバー画像は、アルバムに関連した個人の顔を強調するためにカバー画像を自動的に切断することもできる。

動作中に、アルバム１００２内の画像１０３４に関して知られている情報を使用してカバーを選択することができる。例えば、画像１００４は、画像データ１００６を含むことができる。グラフィックデータ１０１２、メタデータ１０２０、及び分析データ１０２８のような複数の形式の画像データ１００６が存在する。グラフィックデータ１０１２は、例えば、画像の解像度１００８、及び画像に表された顔の鮮明さ１０１０を含む。解像度の高い画像は、解像度の低い画像より良好に見える。同様に、鮮明な（例えば、焦点の合った）顔は、ぼけた顔より良好に見える。

メタデータ１０２０は、画像が撮影された日付１０１４と、格付け１０１６と、ウェブポスティングログ１０１８とを含むことができる。日付１０１４は、画像が比較的最近のもので、一時的であり且つアルバムの他の画像に対するものであるかどうか決定するのに使用できる。格付け１０１６は、画像の１つ以上のユーザ評価を指示する格付けである。ウェブポスティングログ１０１８は、例えば、ユーザが画像をソーシャルネットワークウェブサイトへアップロードすることに関する情報を含み、これは、次いで、ユーザが画像をより上位に考えることを指示する。

分析データ１０２８は、画像１００４内の他の顔からの距離１０２２、信頼性１０２４（例えば、認識又は検出の）及び顔角度１０２６を含むことができる。距離１０２２は、顔をカバーのために自動的に切断する場合に有用である。１つ以上の他の顔に接近した顔を自動的に切断すると、他の誰かの顔の一部分がカバーに表現されるか、又は対象者の顔が窮屈に切断され過ぎることになる。信頼性１０２４は、顔が実際に当該対象者に対応する可能性がどれほどあるかを指示することができる。従って、アルバムカバーは、ユーザにより肯定的に識別された顔ではなく対象者の顔を表すために相関システムにより決定される画像である。更に、たとえ画像がユーザにより肯定的に識別されたときでも、信頼性１０２４は、画像がアルバム１００２内の他の画像にどれほど密接に相関するかを評価することにより画像が個人を表すものであるかどうか決定する上で助けとなる。更に、顔の角度１０２６を使用すると、例えば、プロフィールではなく、ビューワーに直接向いた顔を選択する上で助けとなる。

アルバムにおける種々の画像１０３４は、例えば、各画像に対する画像データのコンポーネントを使用して、比較することができる（１０３０）。この比較１０３０に基づいて、視覚に訴えそして画像のグループ１０３４を表すカバーを選択することができる（１０３２）。

本書に述べる要旨及び機能的オペレーションは、電子回路、コンピュータソフトウェア、ファームウェア又はハードウェア、或いはその組み合わせ又は等効物において実施することができる。要旨は、マシン読み取り可能な記憶装置又はマシン読み取り可能な記憶メディアを含む装置又はメディアで有形に実施される１つ以上のコンピュータプログラムのような１つ以上のコンピュータプログラム製品として実施することができる。マシン読み取り可能とは、光学的に読み取り可能であることを含み、例えば、光の助けで読み取り可能な基板上に作られた光学的に読み取り可能な物理的マークを含む。又、マシン読み取り可能とは、磁化可能な材料で作られた物理的パターンを伴う磁気的に解釈可能な記憶又は記録も含む。１つ以上のプロセッサ又はコンピュータを含むデータ処理装置により実行するための、又はそのオペレーションを制御するための、コンピュータプログラム製品を使用することもできる。データ処理装置は、ハードウェア、プロセッサファームウェア、プロトコルスタック、データベースマネージメントシステム、及びオペレーティングシステムのいずれかを含むことができる。

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとしても知られている）は、コンパイルされ又は解釈された言語を含むプログラミング言語で書くことができ、そしてスタンドアローンプログラム又はモジュール、コンポーネント、サブルーチン、或いはコンピューティング環境に使用するのに適した他のユニットとして含まれる種々のフォーマットで展開することができる。コンピュータプログラムは、必ずしも、ファイルに対応しない。コンピュータプログラムは、他のプログラム又はデータを保持するファイルの一部分、当該プログラムに専用の単一のファイル、或いは複数の整合されたファイル（例えば、１つ以上のモジュール、サブプログラム、又はコードの部分を記憶するファイル）に記憶することができる。コンピュータプログラムは、１つのコンピュータ、１つのサイトにおける複数のコンピュータ、又は複数のサイトにわたって分散されて、ネットワーク又はネットワークのインターネットワーク（例えば、インターネット）のような通信ネットワークで相互接続された複数のコンピュータにおいて実行することができる。

本書に述べるプロセス及びロジックフローは、入力データに対して動作して出力を発生するコンピュータプログラム製品により遂行することができる。コンピュータプログラム製品の実行に適したプロセッサは、汎用及び特殊目的マイクロプロセッサ、並びに１つ以上のコンピュータプロセッサを含む。プロセッサは、リードオンリメモリ、ランダムアクセスメモリ、又はその両方からインストラクション及びデータを受け取り、検索し及び実行することができる。

コンピュータは、インストラクションを実行するためのプロセッサと、インストラクション及びデータを記憶するための１つ以上のメモリ装置とを含むことができる。又、コンピュータは、データを記憶するための１つ以上の大量記憶装置、例えば、磁気ディスク、磁気−光学ディスク、又は光学ディスクも備え、或いはそこからデータを受け取り、そこへデータを転送し、又はその両方を行うように作動的に結合される。コンピュータは、別の装置、例えば、移動電話、デジタルカメラ、デジタルスキャナ、デジタルビデオレコーダ、パーソナルデジタルアシスタント（ＰＤＡ）、移動オーディオプレーヤ、或いはグローバルポジショニングシステム（ＧＰＳ）受信器において実施することができる。コンピュータプログラムインストラクション及びデータを実施するのに適したマシン読み取り可能な記憶装置又は記憶メディアは、不揮発性メモリ、例えば、半導体メモリ装置（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ及びフラッシュメモリ装置）、磁気ディスク（例えば、内部ハードディスク又は取り外し可能なディスク）、磁気−光学ディスク、並びにＣＤ−ＲＯＭ及びＤＶＤ−ＲＯＭディスクを含む。プロセッサ及びメモリは、特殊目的のロジック回路により捕捉され又はそこに合体される。

ユーザ双方向作用は、ユーザに情報を表示するためのディスプレイ装置、例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタと、ユーザが入力を与えるために使用する任意の形式の入力装置、例えば、キーボード、及びポインティング装置、例えば、マウス又はトラックボールと、を有するコンピュータ又は他の装置において実施することができる。他の種類の装置を使用して、ユーザとの双方向作用を与えることもでき、例えば、ユーザに与えられるフィードバックは、任意の形態の感覚フィードバック、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであり、そしてユーザからの入力は、音響、スピーチ又は触覚入力を含む任意の形態で受け取ることができる。

幾つかの実施形態をここに開示した。それでも、本発明の精神及び範囲から逸脱せずに種々の変更がなされ得ることが理解されよう。従って、特許請求の範囲内で他の実施形態も考えられる。

１０２：デジタルカメラ
１０４、１０６、１０８、１１０：画像
１１２：コンピュータシステム
１１４：相関システム
１１６、１１８、１２０：画像グループ
２００：システム
２０２：デジタルカメラ
２０４：コンピュータシステム
２０６：ネットワーク
２０８：リモートサーバー
２１０：記憶装置
２１２：相関システム
２１４：ユーザインターフェイス
２１６：ユーザ入力モジュール
２１８：前処理モジュール
２２０：顔分析エンジン
２２２：後処理モジュール
２２４：帰納的モジュール
２２６：相関モジュール
３００：相関プロセス

Claims (20)

1. 画像を編成するためのコンピュータ実施方法において、
   人間の顔の表現を含む画像を受け取る段階と、
   受け取った画像に表された人間の顔が、記憶された顔プロフィールに対応する見込みを指示する相関値を発生する段階であって、記憶された顔プロフィールが、同じ個人に対応する人間の顔の表現をそれぞれ含む２つ以上のプロフィール画像に関連している、段階と、
   受け取った画像及び発生された相関値を評価して、その評価の結果に基づき、受け取った画像がその記憶された顔プロフィールに対応するかどうか決定する段階と、
   受け取った画像がその記憶された顔プロフィールに対応することの決定に応答して、受け取った画像を記憶された顔プロフィールに関連付ける段階と、
   その関連付けの指示を記憶する段階と、を備え、さらに、
   人間の顔を表す非分類画像、非分類画像情報、及び人間の顔が前記記憶された顔プロフィールに対応する見込みを指示する非分類相関値を受け取る段階と、
   初期相関値スレッシュホールドを確立する段階と、
   その初期相関値スレッシュホールド及び非分類相関値に基づき非分類画像をグループ化する段階と、
   一緒にグループ化された非分類画像の量及び非分類画像のグループの総数に基づき改訂された相関スレッシュホールドを導出する段階と、
   その改訂された相関スレッシュホールド及び非分類の相関値に基づいて非分類画像を再グループ化する段階と、
   その非分類画像の１つ以上のグループを、再グループ化に基づいて前記記憶された顔プロフィールに関連付ける段階と、
   を備えたコンピュータ実施方法。
2. 前記相関値は、受け取った画像が別の記憶された顔プロフィールに対応することを指示し、前記評価は、受け取った画像の第１メタデータ及び２つ以上のプロフィール画像の第２メタデータを評価することを更に含む、請求項１に記載のコンピュータ実施方法。
3. ２つ以上のプロフィール画像、及びその２つ以上のプロフィール画像に関連したプロフィール情報をアドレス帳アプリケーションから得る段階と、
   ２つ以上のプロフィール画像及びプロフィール情報に基づいて前記記憶された顔プロフィールを発生する段階と、
   を更に備えた請求項１に記載のコンピュータ実施方法。
4. 前記評価に基づいて、受け取った画像に表された人間の顔が前記記憶された顔プロフィールに対応することを確認するようユーザを促す段階と、
   そのように促すことに応答して、受け取った画像に表された人間の顔が前記記憶された顔プロフィールに対応するという確認を受け容れる段階と、
   を更に備えた請求項１に記載のコンピュータ実施方法。
5. 前記受け容れは、肯定応答オプション及び否定応答オプションを有するユーザインターフェイスを経て受け容れることを更に含む、請求項４に記載のコンピュータ実施方法。
6. 画像が人間の顔を表す見込みが９０％未満であることを指示する検出情報にアクセスする段階と、
   画像が皮膚トーンカラー及び鮮明な画像細部を描写することを確立する段階と、
   その確立に基づいて、画像が人間の顔を表すことを確認する段階と、
   を含む請求項１に記載のコンピュータ実施方法。
7. 検出情報、受け取った画像又は相関値の１つ以上に基づき、受け取った画像をキー画像として選択する段階と、
   そのキー画像を、記憶された顔プロフィールのアイコンとして表示する段階と、
   を含む請求項６に記載のコンピュータ実施方法。
8. 受け取った画像は、鮮明さの指示、捕獲日付、又は受け取った画像の解像度の１つ以上を含む、請求項７に記載のコンピュータ実施方法。
9. 前記検出情報は、受け取った画像に表された人間の顔から、受け取った画像に描写された別の人間の顔までの距離、又は受け取った画像に対する人間の顔の角度、の１つ以上を含む、請求項７に記載のコンピュータ実施方法。
10. 人間の顔は、第１の人間の顔を含み、そして前記コンピュータ実施方法は、更に、
    受け取った画像に表された第２の人間の顔と、前記記憶された顔プロフィールとの間の潜在的な対応性を導出する段階と、
    前記記憶された顔プロフィールに対応する第１の人間の顔及び前記相関値に基づき前記導出された潜在的な対応性を無視する段階と、
    を含む請求項１に記載のコンピュータ実施方法。
11. 前記記憶された顔プロフィールは、第１の記憶された顔プロフィールを含み、受け取った画像に表された前記人間の顔は、第１の人間の顔を含み、前記コンピュータ実施方法は、
    第１の記憶された顔プロフィール及び第２の記憶された顔プロフィールをユーザインターフェイスに提示する段階であって、第２の記憶された顔プロフィールが第２の人間の顔を表す１つ以上の画像を含むような段階と、
    前記第１の記憶された顔プロフィールを前記第２の記憶された顔プロフィールに関連付ける指示をユーザインターフェイスにおいて受け取る段階と、
    前記第１の記憶された顔プロフィール及び前記第２の記憶された顔プロフィールから１つ以上のプロフィール画像を含む合成アルバムを発生する段階と、
    を備えた請求項１に記載のコンピュータ実施方法。
12. ユーザインターフェイス装置と、
    実行可能なソフトウェアインストラクション及び画像データを記憶するように動作できる記憶装置と、
    前記ユーザインターフェイス装置及び前記記憶装置と対話し、且つ
    人間の顔の表現を含む画像を受け取り、
    受け取った画像に表された人間の顔が、記憶された顔プロフィールに対応する見込みを指示する相関値を発生し、記憶された顔プロフィールが、同じ個人に対応する人間の顔の表現をそれぞれ含む２つ以上のプロフィール画像に関連しており、
    受け取った画像及び発生された相関値を評価して、その評価の結果に基づき、画像がその記憶された顔プロフィールに対応するかどうか決定し、
    受け取った画像がその記憶された顔プロフィールに対応することの決定に応答して、前記ユーザインターフェイス装置を使用して、前記受け取った画像を前記記憶された顔プロフィールに関連して表示する、
    ことを含むオペレーションを遂行するように動作できる１つ以上のコンピュータと、を備えたシステムであって、さらに、
    人間の顔を表す非分類画像を、人間の顔が前記記憶された顔プロフィールに対応する見込みを指示する関連相関値と共に受け取り、
    初期相関値スレッシュホールドを確立し、
    その初期相関値スレッシュホールド及び前記関連相関値に基づき非分類画像をグループ化し、
    一緒にグループ化された非分類画像の数及び非分類画像のグループの総数に基づき改訂された相関スレッシュホールドを導出し、
    その改訂された相関スレッシュホールド及び非分類相関値に基づいて非分類画像を再グループ化し、
    その非分類画像の１つ以上のグループを、再グループ化に基づいて前記記憶された顔プロフィールに関連付ける、ことを含むシステム。
13. データを受け取り、且つ
    前記２つ以上のプロフィール画像及びその２つ以上のプロフィール画像に関連したプロフィール情報を、外部入力を経て得る、
    ことを含む入力オペレーションを遂行するように動作できる外部入力を更に備えた、請求項１２に記載のシステム。
14. 前記オペレーションは、更に、
    前記得られた２つ以上のプロフィール画像及びプロフィール情報に基づいて前記記憶された顔プロフィールを発生する、
    ことを含む請求項１３に記載のシステム。
15. 前記外部入力は、前記２つ以上のプロフィール画像及びプロフィール情報をアドレス帳アプリケーションから得るためのアドレス帳アプリケーションアダプタを備えた、請求項１３に記載のシステム。
16. 前記オペレーションは、更に、
    前記決定に基づき、受け取った画像に表された人間の顔が前記記憶された顔プロフィールに対応することを確認するよう前記ユーザインターフェイス装置を経てユーザを促し、 そのように促すことに応答して、受け取った画像に表された人間の顔が前記記憶された顔プロフィールに対応するという前記ユーザインターフェイス装置を経ての確認を受け容れる、
    ことを含む請求項１２に記載のシステム。
17. 前記オペレーションは、更に、
    受け取った前記画像又は相関値の１つ以上に基づいて、受け取った前記画像をキー画像として選択し、
    前記キー画像を前記記憶された顔プロフィールに関連したアイコンとして表示する、
    ことを含む請求項１２に記載のシステム。
18. 受け取った前記画像は、鮮明さの指示、捕獲日付、又は受け取った画像の解像度の１つ以上を含む、請求項１７に記載のシステム。
19. 受け取った画像に表された前記人間の顔は、第１の人間の顔を含み、前記オペレーションは、更に、
    受け取った画像に表された第２の人間の顔と、前記記憶された顔プロフィールとの間の潜在的な対応性を導出し、
    前記記憶された顔プロフィールに対応する第１の人間の顔及び前記相関値に基づき前記導出された潜在的な対応性を無視する、
    ことを含む請求項１２に記載のシステム。
20. 前記記憶された顔プロフィールは、第１の記憶された顔プロフィールを含み、受け取った画像に表された前記人間の顔は、第１の人間の顔を含み、前記システムは、更に、
    第１の記憶された顔プロフィール及び第２の記憶された顔プロフィールを、前記ユーザインターフェイス装置を通して提示し、第２の記憶された顔プロフィールが第２の人間の顔を表す１つ以上の画像を含み、
    前記第１の記憶された顔プロフィールを前記第２の記憶された顔プロフィールに関連付ける指示を、前記ユーザインターフェイス装置を通して受け取り、
    前記第１の記憶された顔プロフィール及び前記第２の記憶された顔プロフィールから１つ以上のプロフィール画像を含む合成アルバムを発生する、
    ことを含む請求項１２に記載のシステム。

Images