JP6858865B2 - 画像を共有する自動提案 - Google Patents

画像を共有する自動提案 Download PDF

Info

Publication number
JP6858865B2
JP6858865B2 JP2019535393A JP2019535393A JP6858865B2 JP 6858865 B2 JP6858865 B2 JP 6858865B2 JP 2019535393 A JP2019535393 A JP 2019535393A JP 2019535393 A JP2019535393 A JP 2019535393A JP 6858865 B2 JP6858865 B2 JP 6858865B2
Authority
JP
Japan
Prior art keywords
image
user
images
person
clusters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019535393A
Other languages
English (en)
Other versions
JP2020504877A (ja
Inventor
チャン、ジェイソン
プチャラ フィオレ、ローレン
プチャラ フィオレ、ローレン
コー、テレサ
ワー、キャサリン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2020504877A publication Critical patent/JP2020504877A/ja
Application granted granted Critical
Publication of JP6858865B2 publication Critical patent/JP6858865B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/30—Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Strategic Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Library & Information Science (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本願は、画像を共有する自動提案に関する。
デジタルカメラおよび内蔵カメラを有する電話等のデジタル画像取得装置の普及によって、ユーザは、多数のデジタル画像を取得することが可能になった。ユーザは、例えば結婚式または卒業のような重要な出来事中に撮られた画像等のある画像を確実に共有する場合がしばしばある。しかしながら、ユーザは、重要な出来事以外の時において撮られた画像等の他の画像を確実には共有しない場合もある。そのような画像を共有することは、ユーザおよび／またはユーザが共有する画像の受信者にとっては便利であり得る。
本明細書に述べられる背景技術の記載は、本開示の背景を一般的に提示するためのものである。ここに指定された発明者の研究は、出願時に別段、従来技術とされない記載の態様と同様に、この背景技術の欄に記載されている範囲では、明示的にも暗示的にも本開示に対する従来技術であるとは認められない。
本願は、画像を共有する自動提案に関する。
いくつかの実装は、一般的には、デジタル画像管理に関連し、特に、ユーザにとって重要であると判定された人物を含む、デジタル画像を共有する自動提案の生成に関連する。
いくつかの実装は、コンピュータが実行する方法を含んでよい。方法は、コンピュータが実行する方法を含んでよく、ユーザアカウントに関連付けられた画像の画素に基づき、画像に関連付けられた１つまたは複数のクラスタを判定する、クラスタ判定工程を含む。１つまたは複数のクラスタのうちの少なくとも第１クラスタは、ユーザアカウントの上位にランクされたクラスタであってよい。方法はまた、確率モデルに基づき、画像に対する共有確率スコアを判定する工程と、共有確率スコアが閾値を満たすと判定する工程と、を含んでよい。方法はさらに、共有確率スコアが閾値を満たすとの判定に応じて、ユーザアカウントに関連付けられたユーザに、画像を共有する提案を提供する工程を含んでよい。
ユーザアカウントは、ユーザアカウントに関連付けられた複数の画像を含んでよい。複数の画像のうちの各画像は、１つまたは複数のクラスタのうちの１つ以上のクラスタに関連付けられてよい。１つまたは複数のクラスタは、各クラスタにおける画像の顔特質、各クラスタの期間の計測値、各クラスタに関連付けられた画像の総数、各クラスタに関連付けられた画像の新しさ、および各クラスタに対するネームラベル、のうちの１つまたは複数に基づく各クラスタランク値に関連付けられてよい。
１つまたは複数のクラスタは、人物クラスタであってよい。クラスタ判定工程は、顔認識技術を適用して画像における１つまたは複数の顔を識別する工程を含んでよい。１つまたは複数の顔は各人物に対応してよい。閾値は、ユーザアカウントの構成および１つまたは複数の顔の重要度スコアのうちの１つまたは複数に基づいてよい。
方法はまた、画像における１つまたは複数の顔のうちの支配的な顔を識別する工程を含んでよい。方法はさらに、ユーザアカウントのアカウントサイズを判定する、アカウントサイズ判定工程と、アカウントサイズに基づき、共有確率スコアを正規化する、正規化工程と、を含んでよい。
アカウントサイズ判定工程は、ユーザアカウントに関連付けられた画像の総数を判定する工程を含んでよい。正規化工程は、共有確率スコアを、アカウントサイズのユーザアカウントの画像に対する確率スコアの合計をアカウントサイズのユーザアカウントの総数で除算することで算出された因数で乗算する工程を含んでよい。
確率モデルは、複数のユーザアカウントからの共有データから学習されてよく、ならびに、ユーザアカウントの各々に対して、所与の画像が共有される第１確率、共有される画像は１つ以上の上位クラスタを含む第２確率、および所与の画像が１つ以上の上位にランクされたクラスタを含む第３確率に基づいてよい。
いくつかの実装は、システムを含み、システムは、命令が記憶された非一時的なコンピュータ可読媒体に接続された１つまたは複数のプロセッサを含んでよく、命令は、１つまたは複数のプロセッサによって実行されると、１つまたは複数のプロセッサに処理を実行させてよい。処理は、ユーザアカウントに関連付けられた画像の画素に基づき、画像に関連付けられた１つまたは複数のクラスタを判定する工程を含んでよい。１つまたは複数のクラスタのうちの少なくとも第１クラスタは、ユーザアカウントの上位にランクされたクラスタであってよい。処理はまた、確率モデルに基づき、画像に対する共有確率スコアを判定する工程と、共有確率スコアが閾値を満たすと判定する工程と、を含んでよい。処理はさらに、共有確率スコアが閾値を満たすとの判定に応じて、ユーザアカウントに関連付けられたユーザに、画像を共有する提案を提供する工程を含んでよい。
ユーザアカウントは、ユーザアカウントに関連付けられた複数の画像を含んでよい。複数の画像のうちの各画像は、１つまたは複数のクラスタのうちの１つ以上のクラスタに関連付けられてよい。１つまたは複数のクラスタは、各クラスタにおける画像の顔特質、各クラスタの期間の計測値、各クラスタに関連付けられた画像の総数、各クラスタに関連付けられた画像の新しさ、および各クラスタに対するネームラベル、のうちの１つまたは複数に基づく各クラスタランク値に関連付けられてよい。処理はまた、ユーザアカウントのアカウントサイズを判定する工程と、アカウントサイズに基づき、共有確率スコアを正規化する、正規化工程と、を含んでよい。
正規化工程は、共有確率スコアを、アカウントサイズのユーザアカウントの画像に対する確率スコアの合計をアカウントサイズのユーザアカウントの総数で除算することで算出された因数で乗算する工程を含んでよい。確率モデルは、複数のユーザアカウントからの共有データから学習されてよく、ならびに、ユーザアカウントの各々に対して、所与の画像が共有される第１確率、共有される画像は１つ以上の上位クラスタを含む第２確率、および所与の画像が１つ以上の上位にランクされたクラスタを含む第３確率に基づいてよい。
いくつかの実装は、コンピュータが実行する方法を含んでよい。方法は、ユーザアカウントに関連付けられた画像アカウント情報を取得する工程と、ユーザアカウントに関連付けられた画像アカウント情報における１つまたは複数の画像に関連付けられた１つまたは複数の人物クラスタを識別する工程と、を含んでよい。方法はまた、１つまたは複数の人物クラスタ内の画像の各重要度スコアを判定する工程と、各重要度スコアに基づき閾値を決定する工程と、を含んでよい。方法はさらに、相対的重要度スコアおよび閾値に基づき画像共有提案を判定する確率モデルを提供する工程を含んでよい。
コンピュータが実行する方法はさらに、各人物クラスタに対して付与されたランクにしたがって、１つまたは複数の人物クラスタをランク付けする工程を含んでよい。ユーザが１つまたは複数の人物クラスタ内の画像を共有する確率を判定する工程は、上位クラスタに関して実行されてよい（例えば、所与のランキングパーセンタイル閾値を満たすランクを有するクラスタ）。ランクは、顔特質（例えば、顔に焦点が合っているかどうか、顔が前面にあるかどうか、顔が不明瞭かどうか、顔が微笑みの表情を有しているかどうか等に基づく）、ユーザのアカウントにおいて所与の人物が写っている画像の総数、１つまたは複数の人物クラスタにおける画像の新しさ（例えば、現在の日付から１日、１週間、１カ月以内等）、１つまたは複数の人物クラスタの期間の計測値（例えば、固有の日数、固有の週数等）、および、画像における人物が、ユーザによってネームラベルを付与されているかどうかのうちの１つまたは複数に基づいてよい。
ユーザが１つまたは複数の人物クラスタ内の画像を共有する確率は、以下にしたがって判定されてよい。
Figure 0006858865
 ここで、ｐ（ｓｋ＝１）はユーザが画像を共有する確率を表し、ｐ（ｋ∈Ｋｘ，ｒ｜ｓｋ＝１）は、画像が共有される場合に、画像が上位ｒパーセンタイルの１つ以上（ｌｅａｓｔ）のクラスタ（例えば上位クラスタ）を含む第１確率を表し、およびｐ（ｋ∈Ｋｘ，ｒ）は画像が上位ｒパーセンタイルの１つ以上のクラスタを含む第２確率を表す。
画像アカウント情報は、画像アカウント情報に関連付けられた各アカウントにおける画像の数を含んでよい。各重要度スコアは、ユーザが１つまたは複数の人物クラスタから画像を共有する確率およびユーザに関連付けられたアカウントにおける画像の数に基づいてよい。
各重要度スコアは、以下にしたがって判定されてよい。
Figure 0006858865
 ここで、ａはユーザアカウントのサイズであり、Ｘａは、各自のアカウントにおいてａ個の画像を有するユーザのセットである。ユーザアカウントのサイズは、ユーザアカウントにおける画像の数として測定されてよい。
ユーザアカウントのサイズは、ユーザアカウントにおける画像の数として測定されてよい。１つまたは複数の人物クラスタを判定する工程は、顔認識技術を適用して、１つまたは複数の顔が各人物に対応する画像における１つまたは複数の顔を識別する工程を含んでよい。
いくつかの実装は、コンピュータが実行する方法を含んでよい。方法は、ユーザアカウントに関連付けられた画像アカウント情報を取得する工程と、ユーザアカウントに関連付けられた画像アカウント情報における１つまたは複数の画像に関連付けられた１つまたは複数の人物クラスタを識別する工程と、を備える。方法はまた、１つまたは複数の人物クラスタ内の画像の各重要度スコアを判定する工程と、各重要度スコアに基づき閾値を決定する工程と、を含んでよい。方法はさらに、閾値に基づき画像共有提案を判定する確率モデルを提供する工程を含んでよい。
方法はまた、１つまたは複数の人物クラスタ内の画像がユーザアカウントから共有される確率を判定する工程であって、確率は、各人物クラスタに関連付けられた人物の重要度の相対的な尺度を表す重要度スコアに基づく工程を含んでよい。
ユーザアカウントに関連付けられたユーザが１つまたは複数の人物クラスタ内の画像を共有する確率は、ユーザが画像を共有する確率、画像が共有される場合に画像のうちの１つはパーセンタイル内の１つ以上の人物クラスタを含む確率、および画像は所与のパーセンタイル内の１つ以上の人物クラスタを含む確率に基づいてよい。各重要度スコアは、ユーザアカウントのサイズおよびユーザアカウントのサイズと同様の各アカウントサイズのアカウントを有するユーザのセットに基づき判定されてよい。ユーザアカウントのサイズは、ユーザアカウントにおける画像の総数として測定されてよい。１つまたは複数の人物クラスタを判定する工程は、顔認識技術を適用して、ユーザがそのような技術の使用に同意している場合、画像における１つまたは複数の顔を識別する工程を備え、１つまたは複数の顔は各人物に対応する。
本明細書に記載される１つまたは複数の実装において使用され得る、例示的なシステムおよびネットワーク環境のブロック図。 いくつかの実装による、確率モデルに基づき共有提案を自動的に提供する例示的な方法を説明するフロー図。 いくつかの実装による、重要人物の画像の共有提案を自動的に提供する確率モデルを構築および訓練する例示的な方法を説明するフロー図。 本明細書に記載される１つまたは複数の実装において使用され得る例示的な装置のブロック図。 いくつかの実装による、１つまたは複数の画像を共有する提案を提供するユーザインタフェースの例の概略図。
ユーザに対して共有提案をする場合、ユーザのアカウントサイズ（例えば画像数）および／または以前の画像共有アクティビティに従って共有提案をすることが画像共有提案システムにとって役立ち得る。共有提案をするために、確率モデルが使用され、ユーザがどのくらい画像または画像のグループを共有しそうかについての推定（または予測）が行われてよい。例えば、多くの題材を扱う多数の画像コレクションまたはアルバムを有するユーザは、画像を共有する確率が高くなり得て、また、比較的少ない画像コレクションを有しかつ以前の共有動作が少ないユーザよりも、多くの共有提案を結果的に歓迎し得る。したがって、確率に関して、ユーザは画像を共有するであろうと推定することが役立ち得る。確率モデルに基づく推定は、特定のユーザに対する重要人物の閾値数の予測を含み、確率モデルから推定されたそのユーザに対して予測された閾値に従い共有提案を行うことを含んでよい。確率モデルは、ユーザの以前の共有アクティビティを含むデータで訓練されてよい。確率モデルに基づく予測は、ユーザアカウントサイズ変動（例えば、アカウント中の画像数の変動）および共有アクティビティにおける変動等の因子を考慮してよい。いくつかの実装は、画像の重要度スコアに基づき、人物を含む１つまたは複数の画像についての共有提案を生成することを含んでよい。重要度スコアは、各ユーザが確率モデルの訓練について使用許可を与えたデータを用いて訓練された確率モデルからの推定に基づいてよい。そのようなデータは、ユーザ画像データ、アカウントデータ、共有データを含んでよい。各画像または画像クラスタは、画像において１人または複数の人物を有する確率、および画像における該１人または複数の人物が各ユーザにとってどのくらい重要かに関する情報の注釈が付けられてよい。
確率モデルは、訓練することが可能であり、また、画像クラスタの１つまたは複数の画像における１人または複数の人物の重要度に基づき、ユーザがどのくらい画像クラスタを共有しそうかについての推定（または予測）をするために使用することが可能である。訓練されたモデルは、ユーザのアカウントにおける画像数、および画像クラスタにおける顔クラスタのクラスタパーセンタイル順位（例えば、ユーザのアカウントにおける他の顔クラスタと比較して最高順位の顔クラスタ）に基づいた、画像共有の尤度の統計的モデルを含んでよい。統計的モデルは、人物クラスタ発生に対する共有写真の観測された度数分布に基づいた、ユーザが画像を共有する尤度の確率分布を含んでよい。
クラスタパーセンタイルは、画像における１人または複数の人物のユーザにとっての潜在的重要度を表す、顔クラスタのランキング値に基づいてよい。重要人物を判定するために使用可能な様々な基準がある。例えば、重要度は（例えばコンピュータビジョンシステムを使用して）自動的にグループ化された顔のクラスタとして表され、特定のユーザの写真コレクション、より具体的には、ユーザが共有したいと思う写真に現れる一般人を含んでよい。ユーザは写真に現れる多数の顔を自分のアカウントにおいて有し得るので、特定のユーザにとって重要な人物を含む画像に注目することは、共有提案システムにとって役立ち得る。さらに、ユーザアカウントは、サイズおよび顔／人物クラスタの数が大きく異なってよい。この変動は重要人物を判定する際に共有提案システムによって考慮されてよい。
ランキング値は、コンピュータビジョン機能を有する画像管理アプリケーションによって提供されてよく、また、クラスタのセット内でのクラスタの相対位置を指定してよい。ランキング値は、顔特質、ユーザのアカウントにおいて特定の顔／人物を有する画像の数、画像の新しさ、クラスタの固有の日数、および画像における人物はユーザによってネームラベルを付与されているか、のうちの１つまたは複数を含む、重要度を示し得る様々な因子から判定されてよい。画像管理システムは、重要人物の特定のアイデンティティを識別または判定する必要はない。システムは、（例えば、上記のランキングに基づき）人物が重要そうであると判定し、またその重要人物を含む画像の共有を、重要人物のアイデンティティを判定する必要なく提案することが可能である。
画像管理システムまたはコンピュータビジョンシステムは、重要度を判定して顔認識に基づく特定人物に対する共有提案を提供するために、顔認識を使用して画像における人物のアイデンティティを判定してよい。例えば、共有提案システムは、画像における重要人物を識別し、その後、その人物と画像を共有することを提案してよい。いくつかの実装は、個人が顔認識をオプトアウトする機能を提供してよい。例えば、ユーザは、共有提案システムにおける顔認識を停止してよい。別の例では、画像におけるユーザは、自身が関連づけられた画像（例えば、ユーザ自身のアカウントにおける画像またはユーザと親しい人物のアカウントにおける画像）上で実行される顔認識をオプトアウトしてよい。ユーザは、顔認識、顔認識データの分析、および／または顔認識データの使用をオプトアウトすることが可能である。本明細書に記載されたシステムおよび方法は、関心のある画像における人物についての匿名での認識（例えば、共有提案システムは、同一人物がユーザのアカウントにおける画像に繰り返し現れることを判定するが、画像に現れる人物のアイデンティティを判定する顔認識を実行しない）を介して重要人物を判定可能であることが理解されるであろう。
いくつかの実装は、１または複数の上位にランクされた重要人物を含む画像を、ユーザがどのくらい共有しそうかについての推定（または予測）をする確率モデルを、事前確率として使用してよい。また、いくつかの実装は、ユーザが画像を共有する確率の閾値をこのモデルから学習する。ユーザがどのくらい画像を共有しそうかについての確率分布の場合、共有する画像を提案するための閾値は、ユーザアカウントの構成および画像における人物の相対的重要度を考慮する確率モデルに基づき推定されてよい。例えば、ユーザアカウントの構成は、ユーザアカウントにおける画像の合計数、ユーザアカウントにおけるクラスタの数、ユーザアカウントにおける人物クラスタの数、（例えばユーザによって付与された）関連するネームラベルを有するクラスタの数、ユーザアカウントにおける１つまたは複数の画像に関連づけられた日時情報等の情報を含んでよい。
いくつかの実装は、高位にランクされた人物クラスタ、パーセンタイルの閾値、およびユーザアカウントサイズに対する画像共有の２変量同時度数分布を観測することを含んでよい。いくつかの実装はまた、画像共有のための確率モデルを学習するために、観測された同時度数分布を使用して、重要人物の画像を共有するための確率モデルを学習することを含んでよい。
いくつかの実装は、一定のアカウントサイズを有する特定のユーザｘが、ランキングのｒパーセンタイル内の１つ以上のクラスタを含む画像を共有する確率の予測を生成してよい。ｋが画像ｉｄをインデックスすると、ｋ∈Ｋｘであり、ここでＫｘはｘの画像のセットを表し、｜Ｋｘ｜＝ａｘはｘのアカウントサイズであり、全ての人物クラスタにおける画像の合計数として概算され得る。Ｋｘ，ｒは上位ｒパーセンタイルのクラスタを有するｘの画像のセットである。画像ｋが共有される場合はｓｋ＝１に、ｋが共有されない場合はｓｋ＝０になるよう、ｓｋをｋ∈Ｋｘに対する確率変数にする。
今のところアカウントサイズは無視して、ユーザが、ｒパーセンタイル内の１つ以上のクラスタを含む画像ｘを共有する確率は、したがって、
Figure 0006858865
 である。
ここで、数１の分子におけるｐ（ｓｋ＝１）はユーザが任意の画像を共有する確率を表し、ｐ（ｋ∈Ｋｘ，ｒ｜ｓｋ＝１）は共有される画像が上位ｒパーセンタイルの１つ以上のクラスタを含む確率であり、およびｐ（ｋ∈Ｋｘ，ｒ）は任意の画像が上位ｒパーセンタイルの１つ以上のクラスタを含む確率を表す。
単一のユーザアカウントは、アカウントサイズａを有することに注意されたい。自身のアカウントにａ個の画像を有するユーザのセットをＸａとする。全てのユーザアカウントが独立しており、等しく分布しているとすると（ｉ．ｉ．ｄ．）、上位ｒパーセンタイルの１つ以上のクラスタを含む画像が、ａ個の画像を有するユーザアカウントから共有される確率（または重要度スコア）は、
Figure 0006858865
 である。
いくつかの実装は、例えば、共有確率スコアを、アカウントサイズのユーザアカウントの画像に対する確率スコアの合計をアカウントサイズのユーザアカウントの総数で除算することで算出された因数で乗算することによる共有確率スコアの正規化を含んでよい。
いくつかの実装は、固有の日数および話題性スコアを含む、他の人物クラスタランキング関数に対する類似の度数分布の生成および、これらの信号を採用する確率モデルの学習を含んでよい。また、いくつかの実装は、どの顔が画像において支配的か、またこれらが重要人物クラスタにどのように対応するかを表す信号を含んでよい。例えば、モデルは、重要人物の支配的な顔を有する画像についての共有統計を含んでよい。
本明細書に記載されるシステムまたは方法の実装は、画像共有提案システムと一体化されてよい。例えば、本明細書に記載される重要人物に基づく共有の確率についての確率モデルは、画像共有提案システムまたはフレームワーク（例えば、サーバシステム、クラウドベースのコンピューティングシステム、またはモバイル装置、ラップトップ、またはデスクトップコンピュータ等のユーザ装置内）の構成に追加されてよい。
いくつかの実装は、（例えば、本明細書に記載される確率モデルを使用することによって）画像における人物の重要度に基づき共有提案をするかどうかを判定する方法を含んでよい。所与の画像に対して、画像において現れる人物クラスタ（例えば、１人または複数の人物が存在すると判定される画像クラスタ）が判定されてよい。各ユーザのアカウントにおける人物クラスタのリストを使用して、画像における上位にランクされたクラスタのパーセンタイルが判定されてよい。その後、確率モデルを使用して、該所与の画像に対する共有確率スコアが推定されてよい。その時、推定された共有確率スコアに基づき共有のために画像が選択されてよい。
本明細書に記載されるシステムおよび方法は、従来の画像管理システムおよび方法の１つまたは複数の不備を解決し得る。例えば、画像管理は、ユーザが画像（例えば、非一時的なコンピュータ可読媒体に記憶されたデータとして表されるデジタル画像）を取得および／または他のユーザと共有することを可能にすることを含む。デジタルカメラ、内蔵カメラを有する電話、カメラを有するウェアラブル装置、ヘッドマウント装置、タブレット、パーソナルコンピュータ等のデジタル画像取得装置が容易に利用可能であることで、ユーザは、多数（例えば百、千等）の画像を取得し得る。従来の画像管理システムは、取得した画像のうちの１つまたは複数をユーザが共有することを、例えば、オンライン画像共有アルバム、メッセージングサービス、ｅメール等を介して可能にし得る。従来の画像管理システムは、画像を共有するユーザコマンド後に共有を実行する。例えば、ユーザは、例えば結婚式、卒業等の重要な出来事からの画像を、例えば、友人、家族、同僚等の他のユーザと、これらのシステムを利用して共有し得る。ユーザは、このような重要な出来事以外（例えば、毎日の通勤、休暇、家族との再会、お祝い、および他の出来事中）で多数の画像を取得する場合がある。ユーザは、重要な出来事以外でそのような画像を取得したことを覚えておらず、またそのような画像を他のユーザとは共有したくない場合がある。このように、従来の画像管理システムは、そのような画像を共有することがユーザにとって便利である場合に、かなりの割合の画像を共有しないことがあり得る。
さらに、いくつかの従来の画像管理システムは、例えば、画像において認識されるオブジェクト（例えば１つまたは複数の顔）、以前の共有アクティビティ以後に取得された特定数の新たな画像、等に基づき画像を共有する提案を提供し得る。しかしながら、例えば、ユーザにとって重要である人物ではない画像の場合には、そのような提案は正確でも便利でもない恐れがある。例えば、ユーザは、ユーザにとって重要な人物を含む画像のグループを共有することを好むことがあり得る。従来の画像管理システムは、提案を提供する場合に、画像における人物の相対的重要度を認識しないことがあり得る。さらに、従来の画像管理システムは、ユーザにとって重要な人物を含む画像を共有する提案をするかどうかを判定する場合に、所与のユーザに対する重要人物の数の閾値を学習しない場合もあれば、ユーザの画像アカウント構成を考慮しない場合もある。
本明細書に記載される例示的なシステムおよび方法は、従来の画像管理システムおよび方法の１つまたは複数の不備を解決し、ユーザに対して、各ユーザにとって重要な人物の画像のグループを共有する提案を提供し得る。いくつかの従来の画像管理システムの技術的な問題は、そのようなシステムが、各ユーザに対する重要度スコアに基づく画像のグループを共有する提案をしないことであり得る。さらに、提案を提供する従来のシステムは、個々の画像の属性、または共有する画像に撮影された人物の相対的重要度を考慮しない他の因子に基づきそのような提案を生成する場合がある。
開示される発明は、例えば、単一の画像、画像のグループ、または画像アルバム、ビデオ、コラージュ等の画像構成として画像のグループを共有する提案を生成する特定の技術に関連する。提案は、画像クラスタが各ユーザにとって重要な人物の画像を含むかどうかを判定するためにコンピュータ上でプロセスをインスタンス化することに基づいており、画像における人物および各ユーザの以前の画像共有動作に基づき重要度が判定される。コンピュータ上のプロセスは、画像における人物およびユーザによって共有された以前の画像のグループに基づき、共有を提案される１つまたは複数の画像クラスタを判定してよい。
特定の実装は、以下の効果の１つまたは複数を実現し得る。本明細書に記載される方法およびシステムに基づき画像を共有する提案を生成する効果としては、提案が、画像における１人または複数の人物の相対的重要度に基づいていることがある。別の効果は、画像グループが、ユーザにとって重要な人物を含むと認められない場合は、画像共有提案が提供されなくてもよいことがあり、これにより、ユーザが満足しない共有提案の生成を減少または除去することになり、少ない処理動作およびそれにより全体のシステムにおいて待ち時間の減少の結果になり得る。いくつかの実装のさらなる効果としては、提案は、異なるユーザの可変のアカウントサイズに対して画像共有提案を調整することが可能な、ユーザのアカウント構成（例えば、画像の数または人物画像のクラスタ）に基づいてよいことがある。さらに別の効果は、本明細書に記載される方法およびシステムが、新たな閾値（例えば、重要人物の数、重要度スコア等）を動的に学習し、該新たな閾値に一致する画像のグループの提案を提供することが可能なことがある。本明細書に提示されるシステムおよび方法は、ユーザにより受け入れられやすく、ユーザにとって相対的重要度の人物の画像を含み、ユーザが最小の労力で画像のグループを共有することを可能にし、より多くの画像の共有を可能にするような、画像のグループを共有する提案を自動的に提供する。
図１は、本明細書に記載されるいくつかの実装において使用され得る、例示的なネットワーク環境１００のブロック図である。いくつかの実装においては、ネットワーク環境１００は、例えば、図１の例におけるサーバシステム１０２のような、１つまたは複数のサーバシステムを含む。サーバシステム１０２は、例えば、ネットワーク１３０と通信が可能である。サーバシステム１０２は、サーバ装置１０４およびデータベース１０６、または他の記憶装置を含んでよい。ネットワーク環境１００はまた、ネットワーク１３０を介して互いにおよび／またはサーバシステム１０２と通信をし得る、例えばクライアント装置１２０、１２２、１２４、および１２６のような１つまたは複数のクライアント装置を含んでよい。ネットワーク１３０は、インターネット、ＬＡＮ（ローカルエリアネットワーク）、無線ネットワーク、スイッチまたはハブ接続等のうちの１つまたは複数を含む、任意の種類の通信ネットワークであってよい。いくつかの実装においては、ネットワーク１３０は、例えば、ピアツーピアの無線プロトコルを使用する、装置間のピアツーピア通信１３２を含んでよい。
説明を簡易にするため、図１は、サーバシステム１０２、サーバ装置１０４、およびデータベース１０６に対しては単一のブロックを示し、クライアント装置１２０、１２２、１２４、および１２６に対しては４つのブロックを示す。サーバブロック１０２、１０４、および１０６は複数のシステム、サーバ装置、およびネットワークデータベースを表してよく、ブロックは示されているものとは異なる構成で与えられてよい。例えば、サーバシステム１０２は、ネットワーク１３０を介して他のサーバシステムと通信可能な複数のサーバシステムを表してよい。いくつかの例では、データベース１０６および／または他の記憶装置が、サーバ装置１０４とは別個のサーバシステムブロックにおいて与えられ、ネットワーク１３０を介してサーバ装置１０４および他のサーバシステムと通信可能であってよい。また、任意の数のクライアント装置があってよい。各クライアント装置は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、ポータブルまたはモバイル装置、カメラ、携帯電話、スマートフォン、タブレットコンピュータ、テレビ、ＴＶセットトップボックスまたはエンターテインメント装置、ウェアラブル装置（例えば、ディスプレイグラスまたはゴーグル、ＨＭＤ（ヘッドマウントディスプレイ）リストウォッチ、ヘッドセット、アームバンド、装身具等）等、ＶＲ（仮想現実）および／またはＡＲ（拡張現実）対応の装置、ＰＤＡ（パーソナルデジタルアシスタント）、メディアプレーヤ、ゲーム機等の任意の種類の電子装置でよい。いくつかのクライアント装置はまた、データベース１０６または他のストレージに類似したローカルのデータベースを有してよい。いくつかの実装では、ネットワーク環境１００は、示された構成要素の全ては有せず、および／または本明細書に記載されたものの代わりに、またはそれに加えて、他の種類の要素を含む他の要素を有してよい。
様々な実装において、エンドユーザＵ１、Ｕ２、Ｕ３、およびＵ４は、各クライアント装置１２０、１２２、１２４、および１２６を使用して、サーバシステム１０２および／または互いと通信をしてよい。いくつかの例では、ユーザＵ１、Ｕ２、Ｕ３、およびＵ４は、各クライアント装置上で動作するアプリケーションおよび／またはサーバシステム１０２、および／または例えば、サーバシステム１０２に実装された画像共有サービス、メッセージングサービス、ソーシャルネットワークサービスまたは他の種類のネットワークサービスのようなネットワークサービスを介して互いと対話してよい。例えば、各クライアント装置１２０、１２２、１２４、および１２６は、１つまたは複数のサーバシステム（例えばサーバシステム１０２）とデータを通信してよい。いくつかの実装では、サーバシステム１０２は、通信されたコンテンツまたはサーバシステム１０２および／またはネットワークサービスにアップロードされた共有コンテンツを各クライアント装置が受信可能なように、クライアント装置に適切なデータを提供してよい。いくつかの例では、ユーザは、オーディオまたはビデオ会議、オーディオ、ビデオ、またはテキストチャット、または他の通信方法もしくはアプリケーションを介して対話してよい。いくつかの例では、ネットワークサービスは、ユーザが様々な通信の実行、リンクおよびアソシエーションの形成、画像、画像構成（例えば、１つまたは複数の画像を含むアルバム、画像コラージュ、ビデオ等）、オーディオデータ、および他の種類のコンテンツ等の共有コンテンツのアップロードおよび投稿、様々な形式のデータの受信、および／または社会的に関連した機能の実行をすることが可能な任意のシステムを含んでよい。例えば、ネットワークサービスによって、ユーザは、特定または複数の他のユーザへのメッセージの送信、ネットワークサービス内で他のユーザに対するアソシエーションの形式でのソーシャルリンクの形成、ユーザリスト、フレンドリスト、または他のユーザグループにおける他のユーザのグループ化、ネットワークサービスのユーザの指定されたセットによるアクセスのためのテキスト、画像、画像構成、オーディオシーケンスまたは録音、または他の種類のコンテンツを含むコンテンツの投稿または送信、ライブビデオ、オーディオ、および／またはテキストビデオ会議、またはサービスの他のユーザとのチャットへの参加等が可能であってよい。いくつかの実装では、「ユーザ」はシステムまたはネットワークと相互作用する人物のみならず、１つまたは複数のプログラムまたは仮想的な存在を含んでよい。
ユーザインタフェースは、通信、プライバシー設定、通知、およびクライアント装置１２０、１２２、１２４、および１２６（または代わりにサーバシステム１０２）に関する他のデータのみならず、画像、画像構成、データ、および他のコンテンツの表示を可能にし得る。そのようなインタフェースは、クライアント装置上のソフトウェア、サーバ装置上のソフトウェア、および／または、例えば、サーバシステム１０２と通信をするアプリケーションソフトウェアまたはクライアントソフトウェアのような、クライアントソフトウェアおよびサーバ装置１０４上で実行されるサーバソフトウェアの組み合わせを使用して表示されてよい。ユーザインタフェースは、例えば表示スクリーン、プロジェクタ等の、クライアント装置またはサーバ装置の表示装置によって表示されてよい。いくつかの実装においては、サーバシステム上で動作するアプリケーションプログラムは、クライアント装置と通信可能であり、クライアント装置においてユーザ入力を受信し、視覚データ、オーディオデータ等のデータをクライアント装置において出力する。
いくつかの実装においては、サーバシステム１０２および／または１つまたは複数のクライアント装置１２０−１２６は、画像管理プログラムを提供してよい。画像管理プログラムは、画像および画像構成の表示および操作をするための選択肢をシステム（例えばクライアント装置またはサーバ装置）が提供することを可能にしてよい。そのうちのいくつかの例が本明細書に記載される。画像管理プログラムは、サーバ装置またはクライアント装置に関連付けられた表示装置において表示される関連するユーザインタフェースを提供してよい。ユーザインタフェースは、画像および／またはユーザを選択し、画像構成を生成する等の様々な選択肢をユーザに提供してよい。例えばブラウザ、ｅメールアプリケーション、通信アプリケーション等の、本明細書に記載される１つまたは複数の特徴と共に、他のアプリケーションもまた使用されてよい。
本明細書に記載される特徴の様々な実装は、任意の種類のシステムおよび／またはサービスを使用してよい。例えば、ソーシャルネットワーキングサービス、画像コレクションおよび共有サービス、対応のメッセージングサービス、または他のネットワーク化された（例えば、インターネットに対して接続された）サービスは、クライアントおよびサーバ装置によってアクセスされる１つまたは複数の記載される特徴を含んでよい。任意の種類の電子機器が、本明細書に記載される特徴を利用してよい。いくつかの実装は、本明細書に記載される１つまたは複数の特徴を、コンピュータネットワークから切断、またはそれに断続的に接続されるクライアントまたはサーバ装置において提供してよい。いくつかの例では、表示装置を含むまたはそれに接続されたクライアント装置は、クライアント装置にローカルな（例えば、通信ネットワークを介して接続されていない）記憶装置に記憶された画像を検査および表示してよく、また、ユーザに見える、本明細書に記載されるような特徴および結果を提供してよい。
図２は、いくつかの実装による、確率モデル（例えば本明細書に記載されるような）を使用して画像を共有する提案を提供する例示的な方法２００を説明するフロー図である。
いくつかの実装では、方法２００は、例えば、図１に示されるようなサーバシステム１０２上に実装されてよい。他の実装においては、方法２００のうちのいくつかまたは全てが、図１に示されるような１つまたは複数のクライアント装置１２０、１２２、１２４、または１２６の上、１つまたは複数のサーバ装置、および／または、サーバ装置およびクライアント装置の両方の上に実装されてよい。記載される例では、実装するシステムは、１つまたは複数のデジタルハードウェアプロセッサまたは処理回路（プロセッサ）、および１つまたは複数の記憶装置（例えば、データベース１０６または他のストレージ）を含む。いくつかの実装では、１つまたは複数のサーバおよび／またはクライアントの異なる構成要素が、方法２００の異なるブロックまたは他の部分を実行してよい。
いくつかの実装は、ユーザ入力に基づいて方法２００を開始してよい。ユーザは、例えば、表示されたユーザインタフェースから方法２００の開始を選択し得る。いくつかの実装では、方法２００またはその部分が、ユーザ入力を介してユーザによる指示により実行されてよい。
いくつかの実装では、方法２００または方法の部分は、装置によって自動的に開始されてよい。例えば、方法（またはその部分）は、定期的に実行、または、１つまたは複数の特定のイベントまたは条件の発生に基づき実行されてよい。例えば、そのようなイベントまたは条件は、ユーザによって開かれる特定のアプリケーション、装置（例えば、ユーザ装置）によって新たに取得、装置にアップロード、または他に装置によってアクセス可能にされた１つまたは複数の画像を取得すること、方法２００の最後の実行から所定の期間が経過すること、および／または方法２００を実装する装置の設定において指定可能な、１つまたは複数の他の発生するイベントまたは条件、を含んでよい。いくつかの実装では、そのような条件は、ユーザの記憶されたカスタム嗜好（ユーザ同意の上で装置または方法によりアクセス可能）においてユーザによりあらかじめ指定されてよい。いくつかの例では、装置（サーバまたはクライアント）は、例えば、ユーザの画像のコレクション（ユーザ同意が受信された場合）のような、アクセス可能な画像の大量のコレクションへのアクセスを有する方法２００を実行してよい。別の例では、カメラ、携帯電話、タブレットコンピュータ、ウェアラブル装置、または他のクライアント装置は、１つまたは複数の画像を取得し、また、方法２００を実行してよい。加えて、または代わりに、クライアント装置は、１つまたは複数の取得した画像を、ネットワークを通じてサーバに送信してよく、サーバは方法２００を使用して画像を処理してよい。
ブロック２０２では、方法２００の実装においてユーザデータを使用するためにユーザ同意（例えばユーザ許可）が取得されているかどうかをチェックする。例えば、ユーザデータは、ユーザ嗜好、画像コレクションにおけるユーザ画像（例えば、ユーザによって取得された、ユーザによってアップロードされた、または他にユーザに関連付けられた画像）、ユーザのソーシャルネットワークおよび／または連絡先に関する情報、ユーザ特性（アイデンティティ、名前、年齢、性別、職業等）、ソーシャルおよび他の種類の動作およびアクティビティ、カレンダーおよびアポイントメント、コンテンツ、評価、およびユーザによって作成または投稿された意見、ユーザの地理的位置、過去のユーザデータ等を含んでよい。本明細書に記載される方法の１つまたは複数のブロックは、いくつかの実装においてそのようなユーザデータを使用してよい。ブロック２０２は、共有提案フレームワークの一部として、および／または共有提案フレームワークレベルにおいて提供された同意を検証するために実行されてよく、共有提案フレームワークレベルにおいて、共有提案を実行することについてのユーザ同意が取得されている場合にのみ、ブロック２０４以降が呼び出される。方法２００においてユーザデータが使用され得る、関連するユーザからユーザ同意が取得されている場合は、ブロック２０４において、本明細書に記載される方法のブロックが、それらのブロックについて記載されるユーザデータが使用される可能性を有しつつ実装されてよいと判定され、方法はブロック２０６に続く。ユーザ同意が取得されていない場合は、ブロック２０６で、ユーザデータを使用せずにブロックが実装されると判定され、方法はブロック２０６に続く。いくつかの実装では、ユーザ同意が取得されていない場合は、方法２００の残りは実行されず、および／またはユーザデータを必要とする特定のブロックが実行されない。
ブロック２０８では、１つまたは複数の画像におけるクラスタが判定される。例えば、クラスタは、例えば、１つまたは複数の画像に現れる人物に関連付けられた人物クラスタであってよい。いくつかの実装では、ユーザがそのような分析に同意する場合、１つまたは複数の画像の画素を分析する顔認識技術が使用され、クラスタを判定してよい。人物クラスタは、別のアプリケーション（例えば、写真管理アプリケーション）によって判定されてよく、クラスタに対応するデータは、注釈として画像に追加され、および／または、別個のデータとして共有提案アプリケーションに提供されてよい。方法は２１０に続く。
１つまたは複数の画像の画素の分析は、１つまたは複数の画像における１つまたは複数の顔のうちの支配的な顔を識別することを含んでよい。例えば、支配的な顔は、１つまたは複数の画像における顔のうちの最大のサイズを有する（例えば、ピクセルの数で測定された）顔であってよい。別の例では、支配的な顔は、例えば、焦点の合った、画像の幾何学的な中心のような中心点に位置すると判定された顔であってよい。さらに別の例では、支配的な顔は、１つまたは複数の顔に検出された表情に基づき判定されてよい。例えば、強い表情を有する顔が支配的な顔として判定されてよい。さらなる例では、支配的な顔は、１つまたは複数の顔の特徴に基づいてよい。支配的な顔は、その後、１つまたは複数の画像が属する人物クラスタを判定するために使用されてよい。
ブロック２１０では、各ユーザのアカウントにおける人物クラスタのリストを使用して、上位にランクされた人物クラスタのパーセンタイルが判定される。方法はブロック２１２に続く。
ブロック２１２では、確率モデルを使用して、１つまたは複数の画像の共有確率スコア（または共有確率）が推定される。例えば、上記の式（２）に従って、共有確率スコア（または重要度スコア）が、１つまたは複数の画像に対して判定されてよい。方法はブロック２１４に続く。
ブロック２１４では、共有確率スコアが閾値を満たすかどうかが判定される。方法はブロック２１６に続く。
ブロック２１６では、閾値を満たす共有確率スコアを有する画像が選択され、共有提案が提供されてよい。画像の選択は、１つまたは複数の閾値に基づく画像の選択を含んでよい。例えば、重要人物の数の第１閾値（例えば、ユーザのアカウント情報に基づいてユーザに共有提案を提供する重要人物の閾値数）、および共有確率閾値に基づく第２閾値である。例えば、重要人物共有提案システムは、共有提案システムまたはフレームワークに対して、共有提案のために選択された画像の標識を提供してよい。別の例では、重要人物共有方法またはシステムは、画像共有提案システムまたはアーキテクチャ内にモジュールまたはユニットとして含まれてよい。例えば、重要人物共有提案は、提案に従ってユーザに画像を共有し、共有のために提案された画像を修正し、または画像を共有しない機会を与えるユーザインタフェース要素を表示する共有提案システムに対して提供されてよい。画像は、ｅメール、テキストメッセージング、および／またはソーシャルネットワーク内のプライベートメッセージを介して共有され得る。いくつかの実装は、共有提案に従って画像を自動的に共有することを含んでよい。自動共有は、ユーザの嗜好および自動共有の設定に従って実行されてよい。
いくつかの実装では、画像において認識される１人または複数の人物（例えば、ユーザにより許可される場合には顔認識技術を使用して）は、共有される画像の提案された受信者として選択されてよい。いくつかの実装では、選択された１人または複数の人物の画像は、共有提案システムに提供される重要人物共有提案と共に含まれてよい。別のシステム（例えば、顔認識システム、写真システム、ソーシャルネットワークシステム等）は、対応するユーザの許可によって、選択された１人または複数の人物の画像からユーザを識別してよく、また提案される画像の共有先のユーザアイデンティティを提供してよい。例えば、重要人物共有提案システムは、画像に示される２人の他のユーザとの画像の共有提案を生成してよい。共有提案は、他の２人のユーザのうちの１人または複数の人物の画像と共に、共有提案システムに提供されてよい。ユーザが同意を提供している場合、共有提案システムは、２人の他のユーザの画像を顔認識システムに送信し、例えば顔認識システムが画像とアイデンティティ情報の成功した一致を取得した場合、該２人の他のユーザのうちの１人または両者に対応するアイデンティティ情報を、返信結果として受信する。様々な例では、アイデンティティ情報は、１つまたは複数のｅメールアドレス、ユーザ名、または他のアイデンティティ情報を含んでよい。返信結果は、２人の他のユーザのうちの各ユーザによって同意されたアイデンティティ情報のみを含む。共有提案システムは、アイデンティティ情報のいくつかまたは全てを、画像を共有する提案と共にユーザに対して提供する。例えば、いくつかの実装では、アイデンティティ情報は、重要人物の画像を誰と共有するかについての提案として提示される。いくつかの実装では、アイデンティティ情報はまた、画像を共有する他の人物を判定するために使用されてよい。例えば、アイデンティティ情報が、グループまたは他の関連するアクティビティ（例えば同僚、スポーツチームメイト、クラスメイト等）における１人または複数の人物と対応するかどうかが、そのようなユーザについて同意されたグループ情報に基づき、判定されてよい。アイデンティティ情報がグループまたは関連するアクティビティにおける１人または複数の人物に対応すると判定されると、画像を共有する人物の提案は、画像において検出されていないグループまたは関連するアクティビティにおける１人または複数の人物を含んでよい。
画像は、静止画（例えば、動作のないシングルフレーム）、アニメートされた画像、ビデオ（例えば、複数のフレームを有する）等であってよい。例えば、静止画は、固定された表情を有する１つまたは複数の顔を描写し得る一方、アニメートされた画像は、画像内で変化する表情（例えば、閉じた状態と開いた状態の間を移行する眼を有する顔、微笑みのない位置から微笑みの位置まで動く口を有する顔等を捉えるライブフォト）を有する１つまたは複数の顔を描写し得る。ビデオは、１人または複数の人物を描写する複数のフレームを含んでよい。提案は、任意の種類の画像を共有するために提供されてよく、また、異なる種類の画像のグループを含んでよい。
図２においては、順番に実行されるものとして様々なブロック（例えばブロック２０２−２１６）が示されている。しかしながら、これらのブロックは、特定の実施形態に適合するように適宜並び替えられてよく、また、これらのブロックまたはその部分は、いくつかの実施形態では、同時に実行されてよいことが理解される。いくつかの例では、様々なブロックが削除、追加的なブロックに分割、および／または他のブロックと組み合わされてよいこともまた理解される。表における値に基づき閾値を決定するために、表が使用されてよい。
図２のブロック２１２は、共有確率スコアを生成する確率モデルを利用することを示す。図３は、そのような確率モデルを生成する例示的な処理を示す。
いくつかの実装では、ユーザが共有データの使用を許可した場合、確率モデルは、そのようなユーザの共有データからの共有データに基づいてよい。例えば、ユーザ同意の上で、異なる確率（例えば、以下の式１に使用される）が各ユーザアカウントに対して判定され、また、所与の画像が特定のユーザアカウントから共有される確率を判定するために使用されてよい。確率は集計され（例えば、自身の共有データのそのような使用に対する同意を提供する複数のユーザ間で）、共有確率のための統計的分布を提供してよい。そのような統計的分布は確率モデルにおいて使用される。統計的分布を生成する際に、共有データのそのような使用に同意をしないユーザのユーザアカウントは除外される。さらに、画像が共有されるかどうか、および、その画像が上位クラスタを含むかどうかに関するメタデータが使用されてよい。また、画像コンテンツおよび／またはユーザアカウント固有の、例えばクラスタ名等のクラスタ情報は使用しない。
図３は、いくつかの実装による、画像共有提案に対する推定を生成するために使用され得る確率モデルを構築および訓練する例示的な方法３００を説明するフロー図である。
いくつかの実装では、方法３００は、例えば、図１に示されるようなサーバシステム１０２上に実装されてよい。他の実装においては、方法３００のうちのいくつかまたは全てが、図１に示されるような１つまたは複数のクライアント装置１２０、１２２、１２４、または１２６の上、１つまたは複数のサーバ装置、および／または、サーバ装置およびクライアント装置の両方の上に実装されてよい。記載される例では、実装するシステムは、１つまたは複数のデジタルハードウェアプロセッサまたは処理回路（プロセッサ）、および１つまたは複数の記憶装置（例えば、データベース１０６または他のストレージ）を含む。いくつかの実装では、１つまたは複数のサーバおよび／またはクライアントの異なる構成要素が、方法３００の異なるブロックまたは他の部分を実行してよい。
いくつかの実装は、ユーザ入力に基づいて方法３００を開始してよい。ユーザは、例えば、表示されたユーザインタフェースから方法３００の開始を選択し得る。いくつかの実装では、方法３００またはその部分が、ユーザ入力を介してユーザによる指示により実行されてよい。
いくつかの実装では、方法３００または方法の部分は、装置によって自動的に開始されてよい。例えば、方法（またはその部分）は、定期的に実行、または、１つまたは複数の特定のイベントまたは条件の発生に基づき実行されてよい。例えば、そのようなイベントまたは条件は、ユーザによって開かれる特定のアプリケーション、装置（例えば、ユーザ装置）によって新たに取得、装置にアップロード、または他に装置によってアクセス可能にされた１つまたは複数の画像を取得すること、方法３００の最後の実行から所定の期間が経過すること、および／または方法３００を実装する装置の設定において指定可能な、１つまたは複数の他の発生するイベントまたは条件、を含んでよい。いくつかの実装では、そのような条件は、ユーザの記憶されたカスタム嗜好（ユーザ同意の上で装置または方法によりアクセス可能）においてユーザによりあらかじめ指定されてよい。いくつかの例では、装置（サーバまたはクライアント）は、例えば、ユーザの画像のコレクション（ユーザ同意が受信された場合）のような、アクセス可能な画像の大量のコレクションへのアクセスを有する方法３００を実行してよい。別の例では、カメラ、携帯電話、タブレットコンピュータ、ウェアラブル装置、または他のクライアント装置は、１つまたは複数の画像を取得し、また、方法３００を実行してよい。加えて、または代わりに、クライアント装置は、１つまたは複数の取得した画像を、ネットワークを通じてサーバに送信してよく、サーバは方法３００を使用して画像を処理してよい。
ブロック３０２では、方法３００の実装においてユーザデータを使用するためにユーザ同意（例えばユーザ許可）が取得されているかどうかをチェックする。例えば、ユーザデータは、ユーザ嗜好、画像コレクションにおけるユーザ画像（例えば、ユーザによって取得された、ユーザによってアップロードされた、または他にユーザに関連付けられた画像）、ユーザのソーシャルネットワークおよび／または連絡先に関する情報、ユーザ特性（アイデンティティ、名前、年齢、性別、職業等）、ソーシャルおよび他の種類の動作およびアクティビティ、カレンダーおよびアポイントメント、コンテンツ、評価、およびユーザによって作成または投稿された意見、ユーザの地理的位置、過去のユーザデータ等を含んでよい。本明細書に記載される方法の１つまたは複数のブロックは、いくつかの実装においてそのようなユーザデータを使用してよい。ブロック３０２は、共有提案フレームワークの一部として、および／または共有提案フレームワークレベルにおいて提供された同意を検証するために実行されてよく、共有提案フレームワークレベルにおいて、共有提案を実行することについてのユーザ同意が取得されている場合にのみ、ブロック３０４以降が呼び出される。方法３００においてユーザデータが使用され得る、関連するユーザからユーザ同意が取得されている場合は、ブロック３０４において、本明細書に記載される方法のブロックが、それらのブロックについて記載されるユーザデータが使用される可能性を有しつつ実装されてよいと判定され、方法はブロック３０６に続く。ユーザ同意が取得されていない場合は、ブロック３０６で、ユーザデータを使用せずにブロックが実装されると判定され、方法はブロック３０６に続く。いくつかの実装では、ユーザ同意が取得されていない場合は、方法３００の残りは実行されず、および／またはユーザデータを必要とする特定のブロックが実行されない。
ブロック３０８では、１人または複数の人物のユーザに関連付けられた画像アカウント情報が取得される。例えば、アカウント情報は、クライアント装置１２０−１２６のうちの例えば任意の装置でユーザによって取得された画像に関する情報を含んでよい。別の例では、アカウントに関連付けられた画像は、ユーザによって例えばユーザのオンライン画像ライブラリにアップロードされてよい。別の例では、ユーザによって複数の画像が、例えばプリントされた画像のスキャンを実行する（例えば光学スキャナ装置を使用して）ことで取得されてよい。別の例では、複数の画像は、例えば写真アプリケーションを介して、メッセージングサービスを通じて、ｅメールを介して、ソーシャルネットワークサービス等を通じて、ユーザによって受信されてよい。
いくつかの例では、アカウントに関連付けられた画像は、各メタデータまたは注釈を含んでよい。例えば、画像を取得するクライアント装置は、取得日、取得時、取得場所、カメラの型／型式、取得設定（例えば、絞り、シャッタースピード、ＩＳＯ、フォーカスモード等）、画像のファイル名等のメタデータを含んでよい。別の例では、画像は、例えば画像の部分に関連付けられたタグ、画像等に関連付けられたコメントまたは他のテキストのユーザ生成のメタデータを含んでよい。別の例では、画像または画像のグループは、注釈が与えられ、画像における１人または複数の人物の存在と（例えば、画像内の人物クラスタの標識として）、各ユーザにとっての潜在的重要度を示す、画像における人物のランキングとを示してよい。方法はブロック３１０に続く。
ブロック３１０では、アカウントにおける画像内の人物クラスタが識別される。方法はブロック３１２に続く。
ブロック３１２では、ユーザが画像を共有する確率が判定される。例えば、ユーザが画像を共有する確率は、上記の式（１）にしたがって判定され得る。ユーザ（ｘ）が、ランキングの所与のパーセンタイル（例えば、上位ｒパーセンタイル内）内の１人以上の画像を共有する確率は、式ｙｘ（ｒ）＝（Ｐｒ［画像が共有される］ｘＰｒ［共有される場合、画像は上位ｒパーセンタイルである］）／Ｐｒ［画像は上位ｒパーセンタイル内である］にしたがって判定され得る。ここで、Ｐｒ［画像が共有される］＝画像の総数で除算された共有される画像の数；Ｐｒ［共有される場合、画像は上位ｒパーセンタイルである］＝共有される画像の数で除算された上位ｒパーセンタイル内の共有される画像の数；および、Ｐｒ［画像は上位ｒパーセンタイル内である］＝画像の総数で除算された上位ｒパーセンタイル内の画像の数、である。方法はブロック３１４に続く。
ブロック３１４では、重要度スコアが判定される。例えば、重要度スコアは、上記の式（２）にしたがってサイズａのアカウントを有する所与のユーザに対して判定されてよい。方法はブロック３１６に続く。
ブロック３１６では、ブロック３１４で判定された重要度スコアに基づき、１つまたは複数の閾値が決定されてよい。例えば、重要度スコアのために表が作成され、また、可変の閾値を設定するために使用されてよい。表の列は、アカウントサイズａ（例えば、アカウントにおける写真の数）に対応してよい。表の行は、画像がランキングに基づく上位ｒパーセンタイル内の１つ以上の人物クラスタを含むかを示してよい。方法はブロック２１８に続く。
ブロック３１８では、訓練された確率モデルが生成される。このモデルは、重要度スコアおよび閾値に基づいてよい。確率モデルは、重要人物の画像の共有提案をするために提供されてよい。
図３においては、順番に実行されるものとして様々なブロック（例えばブロック３０２−３１６）が示されている。しかしながら、これらのブロックは、特定の実施形態に適合するように適宜並び替えられてよく、また、これらのブロックまたはその部分は、いくつかの実施形態では、同時に実行されてよいことが理解される。いくつかの例では、様々なブロックが削除、追加的なブロックに分割、および／または他のブロックと組み合わされてよいこともまた理解される。表における値に基づき閾値を決定するために、表が使用されてよい。
図４は、本明細書に記載された１つまたは複数の特徴を実装するために使用され得る例示的な装置４００のブロック図である。一例では、装置４００は、例えば、サーバ装置（例えば図１のサーバ装置１０４）のようなコンピュータ装置を実装し、本明細書に記載される適切な方法を実行するために使用されてよい。装置４００は、任意の好適なコンピュータシステム、サーバ、または他の電子もしくはハードウェア装置であってよい。例えば、装置４００は、メインフレームコンピュータ、デスクトップコンピュータ、ワークステーション、ポータブルコンピュータ、または電子装置（ポータブル装置、モバイル装置、携帯電話、スマートフォン、タブレットコンピュータ、テレビ、ＴＶセットトップボックス、ＰＤＡ（パーソナルデジタルアシスタント）、メディアプレーヤ、ゲーム機、ウェアラブル装置等）であってよい。いくつかの実装では、装置４００は、プロセッサ４０２、メモリ４０４、およびＩ／Ｏ（入出力）インタフェース４０６を含む。
プロセッサ４０２は、プログラムコードを実行し、また装置４００の基本動作を制御する１つまたは複数のプロセッサおよび／または処理回路であってよい。「プロセッサ」は、任意の好適なハードウェアおよび／またはソフトウェアシステム、データ、信号、または他の情報を処理する構造または構成要素を含む。プロセッサは、汎用のＣＰＵ（中央処理装置）、複数の処理装置、機能を実現する専用回路を有するシステム、または他のシステムを含んでよい。処理は、必ずしも特定の地理的位置に限定されず、また時間的な制限を有するようにも限定されない。例えば、プロセッサは機能を「リアルタイム」、「オフライン」、「バッチモード」等で実行してよい。処理の一部は、異なる（または同一の）処理システムによって、異なる時間および異なる場所で実行されてよい。コンピュータは、メモリと通信をする任意のプロセッサであってよい。
メモリ４０４は、プロセッサ４０２によるアクセスのため、一般的には装置４００に設けられ、プロセッサによる実行のため命令を記憶するのに好適でありまたプロセッサ４０２と別個および／またはそれと一体的に設置される、例えば、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌ Ｅｒａｓａｂｌｅ Ｒｅａｄ−ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等の任意の好適なプロセッサ可読記憶媒体であってよい。メモリ４０４は、オペレーティングシステム４０８、例えば、画像編集エンジン、ウェブホスティングエンジン、ソーシャルネットワーキングエンジン等の１つまたは複数のアプリケーション４１０、およびアプリケーションデータ４２０を含む、プロセッサ４０２によりサーバ装置４００上で動作するソフトウェアを記憶してよい。いくつかの実装では、アプリケーション４１０は、例えば図２の方法の一部または全てのような、本明細書に記載される機能をプロセッサ４０２が実行することを可能にする命令を含んでよい。
例えば、アプリケーション４１０は、本明細書に記載されるように画像の閲覧、操作、共有、および、他の機能を提供し得る、例えば、ユーザ入力に応じてユーザ選択可能な要素を表示するために表示されるユーザインタフェースを提供する、画像管理アプリケーション４１２を含んでよい。いくつかの実装では、画像管理アプリケーションは、ユーザ入力を受信し、入力画像を選択し、画像の画素を修正（例えば入力画像に対して編集処理を適用することで）し、装置４００の表示装置上で画像および／または提案の表示をする出力を提供する画像編集を含んでよい。他のアプリケーションまたはエンジン４１４はまた、あるいは代わりに、例えば、ｅメールアプリケーション、ＳＭＳおよび他の電話通信アプリケーション、ウェブブラウザアプリケーション、メディアディスプレイアプリケーション、通信アプリケーション、ウェブホスティングエンジンまたはアプリケーション、ソーシャルネットワーキングエンジンまたはアプリケーション等のアプリケーション４１０に含まれてよい。メモリ４０４における任意のソフトウェアは、代わりに任意の他の好適な記憶場所またはコンピュータ可読媒体に記憶されてよい。加えて、メモリ４０４（および／または他の接続された記憶装置）は、画像、共有されたアルバムデータ、共有モデル、ユーザデータおよび嗜好、ならびに本明細書に記載される特徴において使用される他の命令およびデータを記憶してよい。メモリ４０４および任意の他の種類のストレージ（磁気ディスク、光学ディスク、磁気テープ、または他の有形媒体）は、「ストレージ」または「記憶装置」とみなすことができる。
例えば、アプリケーションデータ４２０は、クラスタ４２２および１つまたは複数の画像４２４を含んでよい。例えば、クラスタ４２２は、人物を含むクラスタに対するクラスタランキングを含んでよい。さらに、クラスタ４２２は、上記の重要度スコア含んでよい。画像４２４は、複数の画像および関連するメタデータを含んでよい。例えば、装置４００がクライアント装置の場合、画像４２４は、クライアント装置のカメラ（図示略）によって取得された画像でよい。別の例では、装置４００がサーバ装置の場合、画像４２４は、サーバに記憶された（例えばクライアント装置からサーバにアップロードされた）画像でよい。いくつかの実装では、画像メタデータが、画像４２４と共にまたは別個に記憶されてよい。
Ｉ／Ｏインタフェース４０６は、装置４００と他のシステムおよび装置との相互作用を可能にする機能を提供してよい。例えば、ネットワーク通信装置、記憶装置（例えばメモリおよび／またはデータベース１０６）、および入出力装置はインタフェース４０６を介して通信が可能である。いくつかの実装では、Ｉ／Ｏインタフェースは、入力装置（キーボード、ポインティングディバイス、タッチスクリーン、マイクロフォン、カメラ、スキャナ等）および／または出力装置（表示装置、スピーカ装置、プリンタ、モータ等）を含むインタフェース装置に接続してよい。表示装置４３０は、例えば、本明細書に記載される画像共有インタフェースまたは他のアプリケーションにおいて提供される、１つまたは複数の画像のようなコンテンツを表示するために使用され得る出力装置の一例である。表示装置４３０は、ローカルな接続（例えば表示バス）を介して、および／またはネットワーク化された接続を介して装置４００に接続されてよく、任意の好適な表示装置であってよい。そのいくつかの例が以下に記載される。
説明を簡単にするために、図４は、プロセッサ４０２、メモリ４０４、Ｉ／Ｏインタフェース４０６、ならびにソフトウェアブロック４０８および４１０の各々に対し１つのブロックを示す。これらのブロックは、１つまたは複数のプロセッサまたは処理回路、オペレーティングシステム、メモリ、Ｉ／Ｏインタフェース、アプリケーション、および／またはソフトウェアモジュールを表してよい。他の実装では、装置４００は、示される構成要素の全ては有しなくてもよく、および／または本明細書に示されるものの代わりに、またはそれに加えて、他の種類の要素を含む他の要素を有してよい。サーバシステム１０２は、本明細書のいくつかの実装に記載される処理を実行するものとして記載されるが、任意の好適な構成要素もしくはシステム１０２の構成要素の組み合わせもしくは類似のシステム、または任意の好適なプロセッサもしくはそのようなシステムに関連付けられたプロセッサが、記載された処理を実行してよい。
クライアント装置はまた、例えば、図１に示されるクライアント装置１２０−１２６のような本明細書に記載された特徴を実装してよく、および／またはその特徴と使用されてよい。例示的なクライアント装置は、例えば、プロセッサ４０２、メモリ４０４、およびＩ／Ｏインタフェース４０６のような装置４００としていくつかの類似の構成要素を含むコンピュータ装置であってよい。クライアント装置に好適なオペレーティングシステム、ソフトウェア、およびアプリケーションは、メモリにおいて提供され、例えば、画像管理ソフトウェア、クライアントグループ通信アプリケーションソフトウェア等のプロセッサによって使用されてよい。クライアント装置用のＩ／Ｏインタフェースは、入出力装置に対してのみならず、例えば、音を収集するマイクロフォン、画像もしくはビデオを取得するカメラ、音を出力するオーディオスピーカ装置、画像もしくはビデオを出力するディスプレイ装置、または他の出力装置のようなネットワーク通信装置に対して接続されてよい。表示装置４３０は、例えば、装置４００に対して接続（または含まれて）され、本明細書に記載された画像前処理および後処理を表示してよい。そのような表示装置は、例えば、ＬＣＤ、ＬＥＤ、もしくはプラズマディスプレイスクリーン、ＣＲＴ、テレビ、モニタ、タッチスクリーン、３Ｄディスプレイスクリーン、プロジェクタ、または他の視覚表示装置のような任意の好適な表示装置を含んでよい。いくつかの実装は、例えばテキストを読み上げる音声出力または音声合成のようなオーディオ出力装置を提供してよい。
図５は、いくつかの実装による、１つまたは複数の画像の共有提案を提供するユーザインタフェース５００の例の概略図である。ユーザインタフェース５００は、サムネイル画像（５０２、５０４、５０６、５０８、および５１０）を含む。例えば、画像５０２−５１０は、本明細書に記載されたように重要度が判定される、所与のユーザにとって重要であると判定される人物に関連付けられたものとして識別される複数の画像に対応するサムネイルであってよい。図５は５つの画像５０２−５１０を示すが、様々な実装において、ユーザインタフェース５００には任意の数の画像が含まれてよい。例えば、画像プレビューを含まない実装のようないくつかの実装では、サムネイル画像５０２−５１０はユーザインタフェース５００に含まれなくてよい。いくつかの実装では、例えば、撮影された人物、タイムスタンプ、場所、ラベル等の画像に関する情報が、サムネイル５０２−５１０に加えて、または代わりに表示されてよい。
ユーザインタフェース５００はさらに、「きのうのジェーンの画像のあるアルバムを共有しますか？」というテキスト５２０を含む。いくつかの実装では、画像（例えば画像５０２−５１０）のうちの１つまたは複数に撮影された人物が、上位にランクされた人物クラスタに一致し（例えば図２および３を参照に上記されるように）、テキスト５２０のうちの１つまたは複数の部分が第１クラスタに基づく場合がある。例えば、図５に示されるように、例えばテキスト「ジェーン」が上位にランクされた人物クラスタに関連付けられている場合、該部分は「ジェーン」でよい。いくつかの実装では、テキスト５２０は省略されてよい。いくつかの実装では、ユーザが画像データの使用に同意する場合、テキスト５２０は、複数の画像（例えば画像５０２−５１０）のうちの１つまたは複数に関連付けられたデータ、例えば画像メタデータ、例えば場所、タイムスタンプ等に基づく、例えば「きのうの」のような１つまたは複数の追加的部分を含んでよい。いくつかの実装では、テキスト５２０は、例えば「アルバム」のような共有される構成の種類を示してよい。いくつかの実装では、テキスト５２０は、例えば「これらの画像を共有しますか？」のようなデフォルトのテキストを含んでよく、第１クラスタおよび／または複数の画像に関連付けられたデータに基づく部分を含まなくてよい。
ユーザインタフェース５００はさらに、１つまたは複数の要素５２２（「ジェイソン」、「テレサ」、「キャサリン」、「その他」）を含む。いくつかの実装では、要素５２２は、ユーザ選択可能であってよい。例えば、ユーザは、画像構成を要素５２２（例えば「ジェイソン」）に対応するユーザと共有するかどうかを指定するための要素を選択してよい。いくつかの実装では、ユーザ要素５２２（例えば「その他」）が選択された場合は、例えば画像構成を共有する追加のユーザを選択するために、追加の選択肢を提示してよい。いくつかの実装では、要素５２２は、画像５０２−５１０に関連付けられた人物クラスタに基づき選択されてよい。例えば、要素５２２は、画像５０２−５１０に関連付けられた（例えば画像に描写された、画像のうちの１つまたは複数を含むクラスタに関連付けられた等）ユーザ「ジェーン」を含むよう選択されてよい。いくつかの実装では、要素５２２は、他のユーザに対応する要素の代わりに、またはそれに加えて、共有手段（例えば、ｅメール、ソーシャルネットワーク、インスタントメッセージ、ウェブサイト等）を参照してよい。いくつかの実装では、共有手段のうちの１つまたは複数が、デフォルトで示されてよい。例えば、ユーザが以前の共有動作の分析を許可している場合、ユーザが以前ｅメールを使用して画像を共有したことに基づき、ｅメールがデフォルトで示されてよい。いくつかの実装では、ユーザインタフェース５００は、写真または画像管理アプリケーションの一部として表示されてよい。いくつかの実装では、ユーザインタフェース５００は、例えば、提案カードのような通知として表示されてよい。
ユーザインタフェース５００はまた、ユーザ選択可能な要素５２４（「ＹＥＳ」）および５２６（「ＮＯ」）を含む。いくつかの実装では、１つまたは複数の画像は、ユーザ入力（例えばユーザ選択可能な要素５２４の選択）を受信することに応じて共有されてよく、またはユーザ入力（例えばユーザ選択可能な要素５２６の選択）を受信することに応じて共有されなくてよい。いくつかの実装では、例えば、ユーザが画像の自動的な共有に対する好みを指定した場合、画像は自動的に共有されてよく、またユーザ選択可能な要素５２４および５２６は省略されてよい。
異なる実装では、ユーザインタフェース５００は、様々な異なるインタフェース構成要素（例えば図５に示されるような）を含んでよい。いくつかの実装では、１つまたは複数のユーザインタフェース構成要素が省略されてよく、または図５に示されていない追加の構成要素が含まれてよい。
本明細書に記載された１つまたは複数の方法（例えば方法２００または３００）は、コンピュータ上で実行され得るコンピュータプログラム命令またはコードによって実装されてよい。例えば、コードは、１つまたは複数のデジタルプロセッサ（例えばマイクロプロセッサまたは他の処理回路）によって実装されてよく、また非一時的なコンピュータ可読媒体（例えば記憶媒体）を含むコンピュータプログラム製品に記憶されてよい。それらは例えば、半導体またはソリッドステートメモリ、磁気テープ、取り外し可能なコンピュータディスケット、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリーメモリ）、フラッシュメモリ、リジッド磁気ディスク、光学ディスク、ソリッドステートメモリドライブ等を含む、磁気、光学、電磁気、または半導体記憶媒体である。プログラム命令はまた、サーバ（例えば分散システムおよび／またはクラウドコンピューティングシステム）から配信される例えばＳａａＳ（ｓｏｆｔｗａｒｅ ａｓ ａ ｓｅｒｖｉｃｅ）の形式で、電子信号に含まれてよく、また該電子信号として提供されてよい。これに代えて、１つまたは複数の方法は、ハードウェア（ロジックゲート等）において、またはハードウェアとソフトウェアとの組み合わせにおいて実装されてよい。例示的なハードウェアは、プログラム可能なプロセッサ（例えばＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＣＰＬＤ（Ｃｏｍｐｌｅｘ Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ））、汎用プロセッサ、グラフィックスプロセッサ、ＡＳＩＣ（特定用途向けＩＣ）、その他であってよい。１つまたは複数の方法は、システム上で動作するアプリケーションの一部もしくは構成要素として、または他のアプリケーションおよびオペレーティングシステムと連動して動作するアプリケーションもしくはソフトウェアとして実行されてよい。
本明細書に記載された１つまたは複数の方法は、任意の種類のコンピューティング装置上で実行されるスタンドアロンプログラム、ウェブブラウザ上で実行されるプログラム、モバイルコンピューティング装置上（例えば、携帯電話、スマートフォン、タブレットコンピュータ、ウェアラブル装置（リストウォッチ、アームバンド、装身具、ヘッドウェア、ゴーグル、眼鏡等）、ラップトップコンピュータ等）で実行されるモバイルアプリケーション（「アプリ」）において実行されてよい。一例では、クライアント／サーバ構成が使用されてよい。例えば、モバイルコンピューティング装置は（クライアント装置として）、ユーザ入力データをサーバ装置に送信し、出力用（例えば表示用）の最終出力データをサーバ装置から受信する。別の例では、全ての演算は、モバイルコンピューティング装置上のモバイルアプリ（および／または他のアプリ）内で実行されてよい。別の例では、演算は、モバイルコンピューティング装置および１つまたは複数のサーバ装置の間で分担されてよい。
本明細書の記載は、その特定の実装に関して記載されているが、これらの特定の実装は、単に説明のためであり、限定的ではない。例に説明された概念は、他の例および実装に対して適用されてよい。
画像に撮影された人物の分析に基づき共有提案を生成する特性のため、本明細書で検討された実装は、画像および関連するユーザの現在、過去、または未来の画像共有動作等のユーザデータへのアクセスを必要とし得る。本明細書で検討されたある実装がユーザに関する個人情報（例えばユーザデータ、ユーザ画像データ、画像共有データ、ユーザのソーシャルネットワークに関する情報、ユーザの場所および時間、ユーザのバイオメトリクス情報、ユーザのアクティビティ、および人口統計上の情報）を収集または使用し得る状況では、個人情報が収集されてよいかどうか、個人情報が記憶されてよいかどうか、個人情報が使用されてよいかどうか、ならびにどのようにその情報がユーザに関して収集、記憶、および使用されてよいかどうか、を管理する１つまたは複数の機会がユーザに対して提供される。つまり、本明細書で検討されたシステムおよび方法は、関連するユーザからのそのようにしてよいという明示的な認可を具体的に受信した後で、ユーザ個人情報を収集し、記憶および／または使用する。加えて、個人を特定可能な情報が除去されるように（例えば、共有提案システムは、名前またはユーザ名等の個人を特定可能な情報以外の特徴で匿名的に重要人物を識別してよい）、あるデータは、記憶または使用される前に１つまたは複数の方法で処理されてよい。一例としては、個人を特定可能な情報が判定されないように、ユーザのアイデンティティが処理されてよい。別の例としては、ユーザの地理的位置またはユーザ画像に関連付けられた位置は、ユーザの特定の位置が判定され得ないように、より大きな地域に一般化されてよい。本開示において記載された機能ブロック、処理、特徴、方法、装置、およびシステムは、一体化されてよく、または当事者に周知であるシステム、装置、および機能ブロックの異なる組み合わせに分割されてよいことに留意すべきである。任意の好適なプログラミング言語およびプログラミング技術は、特定の実装のルーチンを実装するために使用されてよい。異なるプログラミング技術は、例えば手続き型またはオブジェクト指向のように用いられてよい。ルーチンは、単一の処理装置または複数のプロセッサ上で実行されてよい。ステップ、処理、または演算は、特定の順番で提示され得るが、この順番は異なる特定の実装において変更されてよい。いくつかの実装では、本明細書においては連続するものとして示された複数のステップまたは処理は、同時に実行されてよい。

Claims (12)

  1. コンピュータが実行する方法であって、前記方法は、
    画像に関連付けられた１つまたは複数の人物クラスタを、前記画像に対応する画素のセットを分析して、前記画像における１つまたは複数の顔のうちの支配的な顔を識別することによって判定する、人物クラスタ判定工程であって、前記支配的な顔は、前記支配的な顔に関連付けられた画素のセットにおける画素の数により定められ、前記１つまたは複数の人物クラスタのうちの少なくとも第１クラスタは、前記画像に関連付けられているユーザアカウントの上位にランクするクラスタである工程と、
    確率モデルに基づき、前記ユーザアカウントに関連付けられているユーザが前記画像を共有する確率を示す共有確率スコアを判定する工程と、
    前記共有確率スコアが閾値を満たすと判定する工程と、
    前記共有確率スコアが前記閾値を満たすとの判定に応じて、前記ユーザアカウントに関連付けられた前記ユーザに、前記画像を共有する提案を提供する工程と、を備える、コンピュータが実行する方法。
  2. 前記ユーザアカウントは、前記ユーザアカウントに関連付けられた複数の画像を有し、前記複数の画像のうちの各画像は、前記１つまたは複数の人物クラスタのうちの１つ以上のクラスタに関連付けられており、前記１つまたは複数の人物クラスタは、各クラスタにおける画像の顔特質、前記各クラスタの期間の計測値、前記各クラスタに関連付けられた画像の総数、前記各クラスタに関連付けられた画像の新しさ、および前記各クラスタに対するネームラベル、のうちの１つまたは複数に基づくクラスタランク値にそれぞれ関連付けられている請求項１に記載の方法。
  3. 前記人物クラスタ判定工程は、顔認識技術を適用して前記画像における前記１つまたは複数の顔から前記支配的な顔を識別する工程を備え、前記１つまたは複数の顔は各人物に対応する請求項１に記載の方法。
  4. 前記閾値は、前記ユーザアカウントの構成および前記１つまたは複数の顔の重要度スコアのうちの１つまたは複数に基づく請求項３に記載の方法。
  5. 前記１つまたは複数の人物クラスタに対して付与されたランクにしたがって、前記１つまたは複数の人物クラスタをランク付けする工程をさらに備える請求項１に記載の方法。
  6. コンピュータが実行する方法であって、前記方法は、
    ユーザアカウントに関連付けられた画像の画素に基づき、前記画像に関連付けられた１つまたは複数の人物クラスタを判定する、人物クラスタ判定工程であって、前記１つまたは複数の人物クラスタのうちの少なくとも第１クラスタは、前記ユーザアカウントの上位にランクするクラスタである工程と、
    確率モデルに基づき、前記画像に対する共有確率スコアを判定する工程と、
    前記共有確率スコアが閾値を満たすと判定する工程と、
    前記共有確率スコアが前記閾値を満たすとの判定に応じて、前記ユーザアカウントに関連付けられたユーザに、前記画像を共有する提案を提供する工程と、を備え、
    前記確率モデルは、複数のユーザアカウントからの共有データから学習され、ならびに、前記複数のユーザアカウントの各々に対して、所与の画像が共有される第１確率、共有される画像は１つ以上の上位にランクするクラスタを含む第２確率、および前記所与の画像が前記１つ以上の上位にランクするクラスタを含む第３確率に基づく方法。
  7. システムであって、前記システムは、
    命令が記憶された非一時的なコンピュータ可読媒体に接続された１つまたは複数のプロセッサを備え、前記命令は、前記１つまたは複数のプロセッサによって実行されると、前記１つまたは複数のプロセッサに処理を実行させ、前記処理は、
    画像に関連付けられた１つまたは複数の人物クラスタを、前記画像に対応する画素のセットを分析して、前記画像における１つまたは複数の顔のうちの支配的な顔を識別することによって判定する工程であって、前記支配的な顔は、前記支配的な顔に関連付けられた画素のセットにおける画素の数により定められ、前記１つまたは複数の人物クラスタのうちの少なくとも第１クラスタは、ユーザアカウントの上位にランクするクラスタである工程と、
    確率モデルに基づき、前記ユーザアカウントに関連付けられているユーザが前記画像を共有する確率を示す共有確率スコアを判定する工程と、
    前記共有確率スコアが閾値を満たすと判定する工程と、
    前記共有確率スコアが前記閾値を満たすとの判定に応じて、前記ユーザアカウントに関連付けられた前記ユーザに、前記画像を共有する提案を提供する工程と、を含むシステム。
  8. 前記ユーザアカウントは、前記ユーザアカウントに関連付けられた複数の画像を有し、前記複数の画像のうちの各画像は、前記１つまたは複数の人物クラスタのうちの１つ以上のクラスタに関連付けられており、前記１つまたは複数の人物クラスタは、各クラスタにおける画像の顔特質、前記各クラスタの期間の計測値、前記各クラスタに関連付けられた画像の総数、前記各クラスタに関連付けられた画像の新しさ、および前記各クラスタに対するネームラベル、のうちの１つまたは複数に基づくクラスタランク値にそれぞれ関連付けられている請求項７に記載のシステム。
  9. コンピュータが実行する方法であって、前記方法は、
    ユーザアカウントに関連付けられた画像アカウント情報を取得する工程と、
    複数の画像に関連付けられた１つまたは複数の人物クラスタを、前記複数の画像の各々に対応する画素のセットを分析して、前記画像における１つまたは複数の顔のうちの支配的な顔を識別することによって判定する工程であって、前記支配的な顔は、前記支配的な顔に関連付けられた画素のセットにおける画素の数により定められる、工程と、
    前記１つまたは複数の人物クラスタ内の前記画像の重要度スコアをそれぞれ判定する工程と、
    前記重要度スコアの各々に基づき閾値を決定する工程と、
    前記閾値に基づき画像共有提案を判定する確率モデルを提供する工程と、を備える方法。
  10. 前記１つまたは複数の人物クラスタ内の画像が前記ユーザアカウントから共有される確率を判定する工程であって、前記確率は、各人物クラスタに関連付けられた人物の重要度の相対的な尺度を表す重要度スコアに基づく工程をさらに備える請求項９に記載の方法。
  11. コンピュータが実行する方法であって、前記方法は、
    ユーザアカウントに関連付けられた画像アカウント情報を取得する工程と、
    前記ユーザアカウントに関連付けられた前記画像アカウント情報における１つまたは複数の画像に関連付けられた１つまたは複数の人物クラスタを識別する工程と、
    前記１つまたは複数の人物クラスタ内の前記１つまたは複数の画像の重要度スコアをそれぞれ判定する工程と、
    前記重要度スコアの各々に基づき閾値を決定する工程と、
    前記閾値に基づき画像共有提案を判定する確率モデルを提供する工程と、
    前記１つまたは複数の人物クラスタ内の前記１つまたは複数の画像が前記ユーザアカウントから共有される確率を判定する工程であって、前記確率は、各人物クラスタに関連付けられた人物の重要度の相対的な尺度を表す重要度スコアに基づく工程と、を備え、
    前記ユーザアカウントに関連付けられたユーザが前記１つまたは複数の人物クラスタ内の前記１つまたは複数の画像を共有する前記確率は、前記ユーザが画像を共有する確率、前記１つまたは複数の画像が共有される場合に前記画像のうちの１つはパーセンタイル内の１つ以上の人物クラスタを含む確率、および前記１つまたは複数の画像は所与のパーセンタイル内の１つ以上の人物クラスタを含む確率に基づく方法。
  12. コンピュータが実行する方法であって、前記方法は、
    ユーザアカウントに関連付けられた画像アカウント情報を取得する工程と、
    前記ユーザアカウントに関連付けられた前記画像アカウント情報における１つまたは複数の画像に関連付けられた１つまたは複数の人物クラスタを識別する工程と、
    前記１つまたは複数の人物クラスタ内の前記画像の重要度スコアをそれぞれ判定する工程と、
    前記重要度スコアの各々に基づき閾値を決定する工程と、
    前記閾値に基づき画像共有提案を判定する確率モデルを提供する工程と、を備え、
    各重要度スコアは、前記ユーザアカウントのサイズと、前記ユーザアカウントの前記サイズと同様の対応するアカウントサイズのアカウントを有するユーザのセットとに基づき判定される方法。
JP2019535393A 2017-03-31 2017-10-31 画像を共有する自動提案 Active JP6858865B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/476,631 US10394881B2 (en) 2017-03-31 2017-03-31 Automatic suggestions to share images
US15/476,631 2017-03-31
PCT/US2017/059403 WO2018182787A1 (en) 2017-03-31 2017-10-31 Automatic suggestions to share images

Publications (2)

Publication Number Publication Date
JP2020504877A JP2020504877A (ja) 2020-02-13
JP6858865B2 true JP6858865B2 (ja) 2021-04-14

Family

ID=60655044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019535393A Active JP6858865B2 (ja) 2017-03-31 2017-10-31 画像を共有する自動提案

Country Status (5)

Country Link
US (2) US10394881B2 (ja)
JP (1) JP6858865B2 (ja)
KR (1) KR102246241B1 (ja)
CN (1) CN110476182B (ja)
WO (1) WO2018182787A1 (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830727B2 (en) * 2015-07-30 2017-11-28 Google Inc. Personalizing image capture
CN106095465B (zh) * 2016-06-23 2019-12-27 北京小米移动软件有限公司 设置身份图像的方法及装置
US10356027B2 (en) 2016-10-03 2019-07-16 HYP3R Inc Location resolution of social media posts
US10706265B2 (en) * 2017-07-28 2020-07-07 Qualcomm Incorporated Scanning a real-time media stream to detect one or more faces that are prevalent among a set of media files stored on a user equipment
JP6741899B2 (ja) * 2018-03-06 2020-08-19 富士フイルム株式会社 積層体の製造方法
US10769101B2 (en) * 2018-08-23 2020-09-08 Oath Inc. Selective data migration and sharing
US11423167B2 (en) * 2018-08-27 2022-08-23 Box, Inc. Secure content leakage prevention
US10621473B1 (en) * 2019-01-30 2020-04-14 StradVision, Inc. Method for providing object detecting system capable of updating types of detectable classes in real-time by using continual learning and devices using the same
US10635918B1 (en) * 2019-01-30 2020-04-28 StradVision, Inc. Method and device for managing smart database for face recognition based on continual learning
CN110008999B (zh) * 2019-03-07 2021-07-27 腾讯科技（深圳）有限公司 目标帐号的确定方法、装置、存储介质及电子装置
US11256907B2 (en) * 2019-10-25 2022-02-22 Adobe Inc. Classification of subjects within a digital image
KR102454421B1 (ko) * 2019-12-13 2022-10-14 구글 엘엘씨 개인화된 자동 비디오 자르기
KR20210130583A (ko) * 2020-04-22 2021-11-01 라인플러스 주식회사 인스턴트 메시징 애플리케이션을 통해 콘텐츠를 공유하는 방법 및 시스템
WO2021244287A1 (en) * 2020-06-01 2021-12-09 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Method and system for instant sharing of media
CN112153288B (zh) * 2020-09-25 2023-10-13 北京字跳网络技术有限公司 用于发布视频或图像的方法、装置、设备和介质
US20220414396A1 (en) * 2021-06-28 2022-12-29 International Business Machines Corporation Image dispositioning using machine learning
US20230376168A1 (en) * 2022-05-10 2023-11-23 Apple Inc. User interfaces for managing media libraries
US20240233445A1 (en) * 2023-01-09 2024-07-11 Xailient Systems and methods for image privacy

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7668405B2 (en) * 2006-04-07 2010-02-23 Eastman Kodak Company Forming connections between image collections
US8345934B2 (en) 2010-07-19 2013-01-01 Telefonica, S.A. Method for automatic storytelling for photo albums using social network context
US10089327B2 (en) * 2011-08-18 2018-10-02 Qualcomm Incorporated Smart camera for sharing pictures automatically
US9122912B1 (en) 2012-03-15 2015-09-01 Google Inc. Sharing photos in a social network system
CN102663010A (zh) * 2012-03-20 2012-09-12 复旦大学 基于标注语义的个性化图像浏览与推荐方法及系统
US8688782B1 (en) * 2012-05-22 2014-04-01 Google Inc. Social group suggestions within a social network
US9325783B2 (en) * 2013-08-07 2016-04-26 Google Inc. Systems and methods for inferential sharing of photos
US9405964B1 (en) * 2013-09-09 2016-08-02 Amazon Technologies, Inc. Processes for generating content sharing recommendations based on image content analysis
JP2015141530A (ja) * 2014-01-28 2015-08-03 ソニー株式会社 情報処理装置、スコア算出方法、プログラム、およびシステム
US20150319217A1 (en) * 2014-04-30 2015-11-05 Motorola Mobility Llc Sharing Visual Media
JP2016051980A (ja) * 2014-08-29 2016-04-11 株式会社ニコン 画像共有サーバ、画像共有システム、及び撮像装置
CN107710197B (zh) * 2015-09-28 2021-08-17 谷歌有限责任公司 在通信网络上共享图像和图像相册
US11070501B2 (en) * 2017-01-31 2021-07-20 Verizon Media Inc. Computerized system and method for automatically determining and providing digital content within an electronic communication system

Also Published As

Publication number Publication date
JP2020504877A (ja) 2020-02-13
US20200042550A1 (en) 2020-02-06
CN110476182A (zh) 2019-11-19
CN110476182B (zh) 2023-07-04
US10394881B2 (en) 2019-08-27
KR20190084278A (ko) 2019-07-16
WO2018182787A1 (en) 2018-10-04
KR102246241B1 (ko) 2021-04-28
US10872112B2 (en) 2020-12-22
US20180285357A1 (en) 2018-10-04

Similar Documents

Publication Publication Date Title
JP6858865B2 (ja) 画像を共有する自動提案
US10885380B2 (en) Automatic suggestion to share images
US10896478B2 (en) Image grid with selectively prominent images
US11778028B2 (en) Automatic image sharing with designated users over a communication network
US11829404B2 (en) Functional image archiving
CN107710197B (zh) 在通信网络上共享图像和图像相册
US11209442B2 (en) Image selection suggestions
EP3063731B1 (en) Image cache for replacing portions of images
JP7158478B2 (ja) 画像選択提案
KR101686830B1 (ko) 온라인 소셜 네트워크 상의 이미지를 위한 태그 제안
US9495789B2 (en) Information processing apparatus, information processing method and computer program
JP2023529380A (ja) ユーザの好みを反映した機械学習ベースの画像圧縮設定
CN114402355A (zh) 个性化自动视频裁切

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210309

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210324

R150 Certificate of patent or registration of utility model

Ref document number: 6858865

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250