JP7232478B2 - コンテキストに基づく画像選択 - Google Patents

コンテキストに基づく画像選択 Download PDF

Info

Publication number
JP7232478B2
JP7232478B2 JP2020522368A JP2020522368A JP7232478B2 JP 7232478 B2 JP7232478 B2 JP 7232478B2 JP 2020522368 A JP2020522368 A JP 2020522368A JP 2020522368 A JP2020522368 A JP 2020522368A JP 7232478 B2 JP7232478 B2 JP 7232478B2
Authority
JP
Japan
Prior art keywords
image
images
context
user
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020522368A
Other languages
English (en)
Other versions
JP2021501508A (ja
JP2021501508A5 (ja
Inventor
ジェラルド ヒューズ,
ジョー リーガン,
デイビッド ベナイム,
ジョセフ シー. ジュニア クッチネリ,
アンドリュー ゴールドファーブ,
Original Assignee
フォト バトラー インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フォト バトラー インコーポレイテッド filed Critical フォト バトラー インコーポレイテッド
Publication of JP2021501508A publication Critical patent/JP2021501508A/ja
Publication of JP2021501508A5 publication Critical patent/JP2021501508A5/ja
Application granted granted Critical
Publication of JP7232478B2 publication Critical patent/JP7232478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/98Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/993Evaluation of the quality of the acquired pattern
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/35Categorising the entire scene, e.g. birthday party or wedding scene
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02Preprocessing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10Recognition assisted with metadata

Description

関連出願への相互参照
本出願は、2017年10月17日に出願された、同時係属米国仮出願第62/573645号の利益を主張する。その開示の全体は、本明細書でその全体を説明してあるかのように、参照によって援用される。
技術分野
本明細書で説明される実施形態は、概して、複数の画像から1又は複数の画像を選択するためのシステム及び方法、より詳しく、しかし排他的でなく言えば、画像と関連したコンテキスト情報を考慮して1又は複数の画像を選択するためのシステム及び方法に関する。
背景
携帯電話のカメラ及び画像収集機能を有するその他のモバイルデバイスによるデジタル写真の出現は、ユーザがこれまでよりも多くの画像を収集することを可能にした。写真のデジタル化と増加したストレージ能力とにより、デバイスが撮影できるピクチャー、ビデオ、ライブ写真などの数に事実上制限はない。しかしこの結果、ユーザは最終的に、例えば素晴らしい写真と最適とは言えない写真の混ざったものを含む非常に大きな画像のライブラリを有することになってしまう。
従って、画像のコレクションから、最も所望の、さもなくは「最良の」画像を自主的に選択できるシステム及び方法に対するニーズが存在する。
概要
この概要は、詳細な説明の章において以下にさらに説明される概念の選択を、簡単化した形式で紹介するために提供される。この概要は、請求される主題の重要な特徴又は不可欠な特徴を特定し、又は、除外することを意図したものでもなく、請求される主題の範囲を決定する際の助力として用いられることを意図したものでもない。
1つの側面において、実施形態は、少なくとも1つの画像を選択するためのコンピュータ実施方法に関する。本方法は、コンピュータへのインターフェースを用いて複数の画像を受け取ることと、メモリ上に記憶された命令を実行する少なくとも1つのプロセッサにおいて複数の画像に関連するコンテキストを受け取ることと、プロセッサを用いてコンテキストに関連する少なくとも1つのルーチンを実行することによって、複数の画像を分析することと、プロセッサを用いて少なくとも1つの実行されたルーチンの結果に基づいて、複数の画像のうちの少なくとも1つを選択することとを含む。
いくつかの実施形態において、コンテキストはユーザから受け取られる。
いくつかの実施形態において、本方法は、プロセッサを用いて、複数の画像のそれぞれにコンテキストスコアを割り当てることをさらに含み、コンテキストスコアは、コンテキストに関連する少なくとも1つのルーチンによって決定される。いくつかの実施形態において、コンテキストスコアは、画像のコンテキスト、画像のEXIFデータ、場所データ、画像の撮影者、画像にアクセスするユーザ、画像中の物体、画像中の人々、画像の焦点、及び、ユーザの画像との相互作用のうちの少なくとも1つに基づく。
いくつかの実施形態において、複数の画像のうちの少なくとも1つを選択することは、画像の向き、画像捕捉時間、画像中の人々、場所データ、及び画像中の物体のうちの少なくとも1つを用いて、複数の画像のうちの少なくとも1つを選択することを含む。
いくつかの実施形態において、本方法は、コンテキストを提供するために、プロセッサを用いて、複数の画像のコンテキストを予測することをさらに含む。
いくつかの実施形態において、本方法は、選択された複数の画像のうちの少なくとも1つの第1の画像を第1のユーザへ提示することと、選択された複数の画像のうちの少なくとも1つの第2の画像を第2のユーザへ提示することとをさらに含む。
いくつかの実施形態において、本方法は、少なくとも1つの選択された画像を、権限のある複数のユーザへ共有することをさらに含む。
いくつかの実施形態において、選択された複数の画像は、異なる時期にわたって撮影された。
いくつかの実施形態において、選択された複数の画像は、異なる場所にわたって撮影されたものである。
別の側面において、実施形態は、少なくとも1つの画像を選択するためのコンピュータ実施システムに関する。本システムは、少なくとも複数の画像を受け取るためのコンピュータへのインターフェースと、少なくとも1つのプロセッサとを含む。少なくとも1つのプロセッサは、複数の画像に関連するコンテキストを受け取ることと、コンテキストに関連する少なくとも1つのルーチンを実行することによって、複数の画像を分析することと、少なくとも1つの実行されるルーチンの結果に基づいて、複数の画像のうちの少なくとも1つを選択することとを行うために、メモリ上に記憶される命令を実行する。
いくつかの実施形態において、コンテキストはユーザから受け取られる。
いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも1つのプロセッサを用いて複数の画像のそれぞれにコンテキストスコアを割り当てるようにさらに構成される。コンテキストスコアは、コンテキストに関連する少なくとも1つのルーチンによって決定される。いくつかの実施形態において、コンテキストスコアは、画像のコンテキスト、画像のEXIFデータ、場所データ、画像の撮影者、画像にアクセスするユーザ、画像中の物体、画像中の人々、画像の焦点、及び、ユーザの画像との相互作用のうちの少なくとも1つに基づく。
いくつかの実施形態において、少なくとも1つのプロセッサは、画像の向き、画像捕捉時間、画像中の人々、場所データ、及び、画像中の物体のうちの少なくとも1つを用いて、複数の画像のうちの少なくとも1つを選択する。
いくつかの実施形態において、少なくとも1つのプロセッサは、コンテキストを提供するために、複数の画像のコンテキストを予測するようにさらに構成される。
いくつかの実施形態において、少なくとも1つのプロセッサは、複数の画像のうちの少なくとも1つの第1の画像を第1のユーザへ提示することと、複数の画像のうちの少なくとも1つの第2の画像を第2のユーザへ提示することとを行うように、さらに構成される。
いくつかの実施形態において、少なくとも1つのプロセッサは、少なくとも1つの選択された画像を、権限のある複数のユーザへ共有するようにさらに構成される。
いくつかの実施形態において、選択された複数の画像は、異なる時期にわたって撮影された。
いくつかの実施形態において、選択された複数の画像は、異なる場所にわたって撮影された。
本願明細書は、例えば、以下の項目も提供する。
(項目1)
少なくとも1つの画像を選択するためのコンピュータ実施方法であって、前記方法は、
前記コンピュータへのインターフェースを用いて複数の画像を受け取ることと、
メモリ上に記憶される命令を実行する少なくとも1つのプロセッサにおいて、前記複数の画像に関連するコンテキストを受け取ることと、
前記プロセッサを用いて、前記コンテキストに関連する少なくとも1つのルーチンを実行することによって、前記複数の画像を分析することと、
前記プロセッサを用いて、前記少なくとも1つの実行されたルーチンの結果に基づいて、前記複数の画像のうちの少なくとも1つを選択することと
を備える、方法。
(項目2)
前記コンテキストはユーザから受け取られる、項目1に記載の方法。
(項目3)
前記プロセッサを用いて、前記複数の画像のそれぞれにコンテキストスコアを割り当てることをさらに備える、項目1に記載の方法であって、前記コンテキストスコアは、前記コンテキストと関連する前記少なくとも1つのルーチンによって決定される、方法。
(項目4)
前記コンテキストスコアは、画像のコンテキスト、画像のEXIFデータ、場所データ、画像の撮影者、画像にアクセスするユーザ、画像中の物体、画像中の人々、画像の焦点、及び、ユーザの画像との相互作用のうちの少なくとも1つに基づく、項目3に記載の方法。
(項目5)
前記複数の画像のうちの前記少なくとも1つを選択することは、画像の向き、画像捕捉時間、画像中の人々、場所データ、及び画像中の物体のうちの少なくとも1つを用いて、前記複数の画像のうちの少なくとも1つを選択することを含む、項目1に記載の方法。
(項目6)
前記コンテキストを提供するために、前記プロセッサを用いて、前記複数の画像の前記コンテキストを予測することをさらに備える、項目1に記載の方法。
(項目7)
前記選択された複数の画像のうちの少なくとも1つの第1の画像を第1のユーザへ提示することと、前記選択される複数の画像のうちの少なくとも1つの第2の画像を第2のユーザへ提示することとをさらに備える、項目1に記載の方法。
(項目8)
前記少なくとも1つの選択された画像を、権限のある複数のユーザへ共有することをさらに備える、項目1に記載の方法。
(項目9)
前記選択された複数の画像は、異なる時期にわたって撮影された、項目1に記載の方法。
(項目10)
前記選択された複数の画像は、異なる場所にわたって撮影された、項目1に記載の方法。
(項目11)
少なくとも1つの画像を選択するためのコンピュータ実施システムであって、前記システムは、
少なくとも複数の画像を受け取るための前記コンピュータへのインターフェースと、
少なくとも1つのプロセッサと
を備え、前記プロセッサは、
前記複数の画像に関連するコンテキストを受け取ることと、
前記コンテキストに関連する少なくとも1つのルーチンを実行することによって、前記複数の画像を分析することと、
前記少なくとも1つの実行されるルーチンの結果に基づいて、前記複数の画像のうちの少なくとも1つを選択することと
を行うように、メモリ上に記憶される命令を実行する、方法。
(項目12)
前記コンテキストはユーザから受け取られる、項目11に記載のシステム。
(項目13)
前記少なくとも1つのプロセッサは、前記少なくとも1つのプロセッサを用いて、前記複数の画像のそれぞれにコンテキストスコアを割り当てるようにさらに構成され、前記コンテキストスコアは、前記コンテキストに関連する前記少なくとも1つのルーチンによって決定される、項目11に記載のシステム。
(項目14)
前記コンテキストスコアは、画像のコンテキスト、画像のEXIFデータ、場所データ、画像の撮影者、画像にアクセスするユーザ、画像中の物体、画像中の人々、画像の焦点、及び、ユーザの画像との相互作用のうちの少なくとも1つに基づく、項目13に記載のシステム。
(項目15)
前記プロセッサは、画像の向き、画像捕捉時間、画像中の人々、場所データ、及び画像中の物体のうちの少なくとも1つを用いて、前記複数の画像のうちの少なくとも1つを選択する、項目11に記載のシステム。
(項目16)
前記少なくとも1つのプロセッサは、前記コンテキストを提供するために、前記複数の画像の前記コンテキストを予測するようにさらに構成される、項目11に記載のシステム。
(項目17)
前記少なくとも1つのプロセッサは、前記複数の画像のうちの少なくとも1つの第1の画像を第1のユーザへ提示することと、前記複数の画像のうちの少なくとも1つの第2の画像を第2のユーザへ提示することを行うようにさらに構成される、項目11に記載のシステム。
(項目18)
前記少なくとも1つのプロセッサは、前記少なくとも1つの選択された画像を、権限のある複数のユーザへ共有するようにさらに構成される、項目11に記載のシステム。
(項目19)
前記選択された複数の画像は、異なる時期にわたって撮影された、項目11に記載のシステム。
(項目20)
前記選択された複数の画像は、異なる場所にわたって撮影された、項目11に記載のシステム。
図面の簡単な説明
制限的でなく、かつ網羅的でない本開示の実施形態が、次の図面を参照しながら説明される。他に明記がなければ終始、同様の参照数字は種々の図において同様の部分を参照する。
図1は、1の実施形態における、画像を選択するためのコンピュータにより実施されるシステムの概要を例示する。
図2は、1の実施形態における、少なくとも1つの画像を選択するためのシステムを提示する。
図3は、1の実施形態における、図2のシステムを運用するための方法のフローチャートを描写する。
図4は、1の実施形態における、写真をスコアリングするための方法のフローチャートを描写する。
図5は、1の実施形態における、結婚式のコンテキストにおいての写真を分析する方法のフローチャートを描写する。
図6は、1の実施形態における、図2の分配モジュールを例示する。
図7は、1の実施形態における、少なくとも1つの画像を選択するための方法のフローチャートを描写する。
詳細な説明
本明細書の一部を構成し、特定の典型的な実施形態を示す添付の図面を参照しながら、種々の実施形態が以下に、より十分に説明される。しかし、本開示の概念は、多くの異なる形式で実施され得、本明細書で説明する実施形態に限定されるとして解釈されるべきではない。むしろ、これらの実施形態は、当業者に対して本開示の概念、技術、及び実施の範囲を十分に知らせるために、徹底的で完全な開示の1部分として提供される。実施形態は、方法、システム、又はデバイスとして実践され得る。よって、実施形態は、ハードウェア実施、全体的なソフトウェア実施、又はソフトウェアの側面及びハードウェアの側面を組み合わせた実施の形式をとり得る。従って、以下の詳細な説明は、限定する意味にとられるものではない。
本明細書中の「1の実施形態」又は「ある実施形態」への言及は、実施形態と結びついて説明される特定の特徴、構造、又は特性が、本開示の少なくとも1つの実施例又は技術例に含まれているという意味である。本明細書中の種々の箇所における「1の実施形態において」という表現の出現は、必ずしも全てが同一の実施形態を参照するものではない。本明細書中の種々の箇所における「いくつかの実施形態においては」という表現の出現は、必ずしも全てが同一の実施形態を参照するものではない。
次の説明のいくつかの部分は、コンピュータメモリー内に記憶された過渡的でない信号のオペレーションの象徴的な表現によって提示される。これらの説明及び表現は、データ処理技術における当業者によって、他の当業者に彼らの仕事の本質を最も効果的に伝えるために用いられる。そのようなオペレーションは一般的に、物理量の物理的操作を必要とする。たいてい、必ずしもではないが、これらの物理量は、記憶され、転送され、組み合わされ、比較され、及び別様に操作されることができる電気信号、磁気信号、又は光信号の形式をとる。主に一般的利用という理由から、ビット、値、要素、シンボル、記号、ターム、又は数などとしてこれらの信号を参照することは時々便利である。さらに、普遍性を喪失せずに、モジュール又はコードデバイスとしての物理量の物理的操作を求めるステップの特定の配置を参照することも時々便利である。
しかし、これらの用語及び同様の用語の全ては、適切な物理量と関連付けられるべきものであり、単にこれらの物理量に適用される便利なラベルに過ぎない。次の検討から明らかなように、特段別様に述べなくとも、説明全体で、「処理する」、又は「計算する」、又は「算出する」、又は「決定する」又は「表示する」などの用語を活用する検討が、コンピュータシステムメモリー、レジスター、又は他のそのような情報ストレージ、トランスミッション、又はディスプレイデバイスの中で、物理(電気的な)量として表現されるデータを操作し変換するコンピュータシステム、又は同様の電子計算デバイスの機能及び処理へ言及していることは正しく認識される。本開示の部分は処理及び命令を含む。この処理及び命令は、ソフトウェア、ファームウェア、又はハードウェアにおいて具体化され得、またソフトウェアにおいて具体化されるときには、搭載されるためにダウンロードされ得、種々のオペレーティングシステムによって用いられる異なるプラットフォームから運用され得る。
本開示はまた、本明細書におけるオペレーションを実行するための装置にも関する。この装置は、必要な目的のために特別に構築され、又は、コンピュータ内に記憶されたコンピュータプログラムによって、選択的に起動され、又は再構成される汎用コンピュータを備え得る。そのようなコンピュータプログラムは、限定されないが、フロッピーディスクを含む種々のディスク、光ディスク、CD-ROM、光磁気ディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、EPROM、EEPROM、磁気又は光カード、専用集積回路(ASIC)、又は電気的命令を記憶することに適した種々のメディアのようなコンピュータ読み取り可能なストレージ媒体に記憶され得、それぞれがコンピュータシステムバスと連結され得る。さらに、本明細書で言及されるコンピュータは、シングルプロセッサを含み、又は増加した計算能力のためのマルチプロセッサの設計を使用するアーキテクチャであり得る。
本明細書に提示される処理及び表示は、本質的に、いずれの特定のコンピュータ又はその他の装置にも関するものではない。種々の汎用システムは、本明細書で教授するプログラムとともにも用いられ得、又は、1又は複数の方法ステップを実行するためのより専門的な装置を構築するのに便利であることを証明し得る。種々のこれらのシステムの構造は、下の説明において検討されている。加えて、本開示の技術及び実施を達成するために十分な、種々の特定のプログラム言語が用いられ得る。種々のプログラム言語が、本明細書で検討される本開示を実施するために用いられる。
加えて、本明細書で用いられる言語は、主に読みやすさ、及び教授上の目的のために選択されており、開示された主題を線引きし、又は限定するために選択されたものでなくてもよい。よって、本開示は本明細書で検討される概念の範囲の実例となり、限定するものではないことを意図したものである。
前に検討されたように、デジタル画像収集デバイス及び増加したストレージ能力の出現によって、ユーザは、彼らの収集された画像の非常に大きなライブラリを有することになり得る。この画像は、写真、ビデオ、ライブアクション写真、又はGIFなど(簡単化のために、「写真」又は「画像」)を含み得る。従って、これらのライブラリは、共有及び保存するにふさわしい、素晴らしい写真を含み得るが、最適とは言えない写真をも含み得る。このことは、ユーザにとって、例えば特定のイベントをハイライトするために他人と共有するための、又はプリントした写真のアルバム、年単位のカレンダーなどのより永久的な思い出へと写真を変換するための最良の写真を選択することの難題を作り出す。ほとんどの場合、写真はまさしくユーザのカメラ又はコンピュータに残っている。
この問題を解決する試みは、AppleのMemories、Google Photo、EyeEmによる「The Roll」、及びFlayvr MediaのMy Rollなどの最近提案された自動アプローチを含む。これらのシステムの詳細は、概して非公開である。しかし、基本的な画像処理アルゴリズムの多くが発表されている。
これらの既存技術は、写真のコンテキストを考慮しないという点で限定的である。むしろ、これらの技術は概して、写真が家族のイベントの写真なのか、旅行の写真なのかなどに関わらず、全ての写真に対して同一のアルゴリズムを適用する。このことは、最良の写真の最適とは言えない選択へ潜在的に導く。
本明細書で説明される種々の実施形態のシステム及び方法は、写真のコレクションから最良の写真を自動で選択するために、既存技術の制限に対処する。本システム及び方法は、写真に関連したコンテキスト情報を考慮することで、これらの最良の写真を選択し得る。ユーザが写真のコレクションを作るとき、ユーザはコンテキストデータを明示的に提供し得、又は、本明細書で説明されるシステム及び方法は、写真のコンテキストを自主的に予測し得る。
本明細書で説明されるシステム及び方法は、写真のコンテキストに基づいて写真を分析するために最も適切なエンジン又はサブシステムを選択し得る。つまり、写真のコンテキストは、写真を分析するためにどのエンジン又はサブシステム(簡単化のために、「エンジン」)が用いられるかを制御する。それぞれのエンジンは、最良の写真(単数又は複数)を選択するために、コンテキストに特有の1又は複数のルーチンを実行し得る。
図1は、少なくとも1つの画像を選択するためのコンピュータ実行システムの大まかな概要100を例示する。図1を見ると、収集された画像001及び収集された画像001と関連付けられたコンテキストデータ002は、「ベストショットシステム」003へ伝達される。簡単化のために、全ての画像001が、共通のコンテキスト002に属していることが仮定され得る。
ベストショットシステム003は、画像001を分析するために、コンテキストデータ002に基づいて1又は複数の適切なエンジンを実行し得る。それからベストショットシステム003は、分析の結果に基づいて、最良の画像004のランキング/選択を出力し得る。
いくつかの実施形態において、ユーザは一度に利用できるセット内の全ての画像をアップロードし、または別様に作り得る。他の実施形態においては、ユーザは、それぞれの写真を一度に一つ提示し、または別様に撮影し得、システム003は、規則的な時間間隔で、又はユーザが写真のセットを閲覧しているときはいつでも、それぞれの写真がアップロードされた後、最良の写真のおすすめを継続的にアップデートし得る。
ベストショットシステム003は、モバイルデバイスからなされたウェブサービスコールを通して、又はそのシステムに写真を提示するために設計されたウェブベースのアプリケーションを通して、実行されることが可能である。いくつかの実施形態においては、ユーザは、セット内の写真を検索するために、URL又はURIなどの識別子を供給し得る。
図2は、1の実施形態において少なくとも1つの画像を選択するためのシステム200を例示する。システム200は、図1の概要100と同様であるが、より詳細に例示されている。
システム200は、1又は複数のユーザ206によってアクセス可能なユーザインタフェース204を実行するユーザデバイス202を含み得る。システム200に、ユーザ206及び/又は(図2には示されていない)追加のユーザによって提供される写真のコレクションから最良の写真を選択させることに、ユーザは関心があるだろう。
ユーザデバイス202は、ユーザインタフェース204を実行できる任意のハードウェアデバイスであり得る。ユーザデバイス202は、ラップトップ、PC、タブレット、又はモバイルデバイスなどとして構成され得る。ユーザデバイス202の正確な構成は、それがユーザインタフェース204を実行及びユーザ206へ提示できさえすれば、変更され得る。いくつかの実施形態においては、ユーザデバイス202それ自体が、画像収集能力を含み得る。
本願のコンテキストにおいて、「ストリーム」という語は、ユーザのグループがアクセスできる写真のコレクションへ言及し得る。例えば、特定のストリームへアクセスするユーザは、他のユーザがアップロードされた写真を閲覧することができるように、写真をストリームへアップロードし得る。
ユーザインタフェース204は、ユーザ206が分析のために写真をアップロードし、または別様に提供することを可能とし得る。ユーザインタフェース204は、例えば、ユーザ206が、ストリームに参加するために他者を招待することを可能とし得、ユーザ206が1又は複数の写真と関連するコンテキストを明示的に特定することを可能とし得、そしてユーザ206が写真の分析に関する任意の特定の命令を入力することを可能とし得る。
写真を提供するユーザ206に加えて、1又は複数のネットワーク210を通して通信するユーザデバイス208のユーザも、写真を指定場所(例えば、複数のユーザによってアクセス可能なファイル212)へ収集及び提供し得る。これらのユーザデバイス208は、携帯電話、デジタルカメラ、タブレット、ラップトップ、スマートウォッチ、スマートジュエリー、又は現在利用可能又は今後発明される画像を収集するための任意の他のタイプのデバイスをも含み得る。
ユーザ206は、例えば、全てのユーザが写真を提供できるファイル場所212へのリンクを送ることによって、デバイス208のユーザをストリームに参加するように招待し得る。ユーザは、ファイル場所へのアクセスを入手するために、リンクをクリックし得、任意の求められる認証情報又は他の情報を提供し得る。
収集された写真は、1又は複数のネットワーク210を通してインターフェース214へ伝達され得る。ネットワーク(単数又は複数)210は種々のデバイスを種々のタイプのネットワーク接続につなぎ得る。ネットワーク(単数又は複数)210は、インターネット、イントラネット、パーソナルエリアネットワーク(PAN)、ローカルエリアネットワーク(LAN)、ワイドエリアネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、ストレージエリアネットワーク(SAN)、フレームリレー接続、高度インテリジェントネットワーク(AIN)接続、同期光ファイバーネットワーク(SONET)接続、デジタルT1、T3、E1又はE3ライン、デジタルデータサービス(DDS)接続、デジタル加入者線(DSL)接続、イーサネット接続、統合サービスデジタルネットワーク(ISDN)ライン、V.90、V.34又はV.34bisのようなダイアルアップ式ポートのアナログモデム接続、ケーブルモデム、非同期転送モード(ATM)接続、ファイバーデータ分散インターフェース(FDDI)接続、銅線データ分散インターフェース(CDDI)接続、又は、光/DWDMネットワークのうちの任意の1つ又は複数から構成され得、又はこれらのうちの任意の1つ又は複数へのインターフェースとなり得る。
ネットワーク(単数又は複数)210はまた、ワイヤレスアプリケーションプロトコル(WAP)リンク、Wi-Fiリンク、マイクロ波リンク、汎用パケット無線サービス(GPRS)リンク、グローバル移動通信システム(GSM)リンク、符号分割多重接続(CDMA)リンク、携帯電話の伝送路などの時分割多元接続(TDMA)リンク、全地球測位システム(GPS)リンク、セルラーデジタルパケットデータ(CDPD)リンク、リサーチ・イン・モーション社(RIM)の二重ページングタイプデバイス、Bluetooth無線リンク、又はIEEE802.11を基にしたリンクのうちの任意の1つ又は複数を備え、含み、又はこれらのうちの任意の1つ又は複数へのインターフェースとなり得る。
インターフェース214は、収集された写真を受け取り、ストレージ場所212(例えば指定されたファイル場所)及び/又はプロセッサ216へ写真を伝達し得る。プロセッサ216は、本明細書で説明される実施形態に従って最良の写真(単数又は複数)を選択するために、メモリ218上の命令を実行可能な任意のハードウェアデバイスであり得る。プロセッサ216は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、グラフィックプロセッシングユニット、専用集積回路(ASIC)、又は、現在利用可能又は今後発明される他の同様のデバイスであり得る。
1又は複数のASICに依存しているようないくつかの実施形態において、ソフトウェアを通して一部分が提供されるとして説明される機能は、代わりにASICの設計の中に構成され得、その場合、関連するソフトウェアは省略され得る。プロセッサ216は、ラップトップなどの、ユーザインタフェース204が実行するユーザデバイス202の一部分として構成され得、又はいくらか遠く離れた場所に位置し得る。
システム200を始めるために、ユーザ206はまず、ユーザインタフェース204を用いて、収集された写真と関連付けられるコンテキストを提供し得る。例えば、ユーザインタフェース204は、予め定義されたコンテキストのドロップダウンメニューを提示し得る。ユーザ206は、そのドロップダウンメニューから、収集された写真と関連付けられるコンテキストを選び得る。
加えて、又は代わりとして、プロセッサ216は、コンテキスト特定モジュール220を提供するために、メモリ218に記憶された命令を実行し得る。例えば、ユーザ206がコンテキストを提供しない場合、又は写真がストリーム外で撮影され、後にアップロードされる場合、コンテキスト特定モジュール220は、そのコンテキストを予測するために、収集された写真のうちの任意の1又は複数を分析し得る。例示するために、コンテキスト特定モジュール220は、白いドレス、花、ウェディングケーキ、人々の大集団、及び/又、は結婚式又は披露宴に関連するその他の物体又は人々のタイプの存在に基づいて、結婚式のコンテキストを特定し得る。他の例として、コンテキスト特定モジュール220は、日付、七面鳥の夕食の存在、家族の人々などに基づいて、感謝祭のコンテキストを特定し得る。さらに他の例として、コンテキスト特定モジュール220は、誕生日ケーキ上のキャンドルなどを検出することで、誕生日のコンテキストを特定し得る。
本明細書で説明されるシステム及び方法における使用に対応できるコンテキストは、結婚式、スポーツイベント、コンサート、チャリティーレース、フェスティバル(例えば7月4日に関するフェスティバル)、資金調達のための催し、ホリデーパーティー、抗議、行進、トレードショー、会社の遠足、会社の/チャリティーのイベント、キャンプ、学校のイベント(例えば卒業式)、旅行(例えば休暇)、ランドマーク、自然/風景(例えばハイキングで撮影された写真)、ペット、家で、職場で、食事のイベント、事業などを含み得るが、これらに限定されない。このコンテキストのリストは単に例示的に過ぎず、本明細書で説明されるシステム及び方法と併せて他のコンテキストが考えられ得る。
いくつかの実施形態において、ユーザ206は、特定のコンテキストを定義するためにストリームをセットアップし得る。1つのストリームにおける写真のセットをグループ化することは、システム200がコンテキストの連続性を特定することに役立つ。例えば、大学の卒業式は、キャンパスでの卒業の写真を含み得、同様にして卒業の前/後の友人及び家族との式典の写真も含み得る。
本明細書で説明されるシステム及び方法はまた、写真がアップロードされる前にストリームが定義されることを必要としない。つまり、写真は、ストリーム又は1又は複数のストリームの一部とは独立して選択され得る。
プロセッサ216は、図1のシステム003と同様であり得る「ベストショットシステム」222を実行し得る。ベストショットシステム222は、上記に列挙されたような特定のコンテキストのために、1又は複数のルーチンをそれぞれ実行する複数のエンジン224a-hを備え得る。例えば、エンジン224aは、結婚式のコンテキストに特有の1又は複数のルーチンを実行し得、エンジン224bは、休暇のコンテキストに特有の1又は複数のルーチンを実行し得、エンジン224cは、プロサッカーの試合のコンテキストに特有の1又は複数のルーチンを実行し得るなどである。
よって、コンテキストに基づいて(ユーザ206によって供給されたかコンテキスト特定モジュール220によって予測されたかいずれにせよ)、エンジン選択モジュール226は、受け取った写真を分析するための最も適切なエンジン224a-hを選択し得る。エンジンは、人々がそれぞれのコンテキストの写真にあるべきものへの期待を有するという事実に基づいて、選択され、運用される。例えば、結婚式の写真を閲覧するとき、人々は、花嫁、花婿、誓いの取り交わし、ケーキ入刀などのピクチャーを閲覧することを期待し/望むだろう。よって、結婚式分析エンジンは、これらのアイテム、人々、又はイベントを含むピクチャーを探し得る。
他の例として、レースイベントについては、対応するエンジンは、フィニッシュラインのショットを含む画像を探し、選択し得る。旅行のコンテキストにおいては、対応するエンジンは、エッフェル塔のようなランドマークを含む写真を探し、選択し得る。コンサートのコンテキストについては、適切なエンジンが、演奏者及びステージの写真を探し、選択し得る。
既存の写真分析技術は、写真の中の物体を認識するが、しかし概して、認識されるべき異なった物体の数が増加するにつれて追加の処理リソースを必要とする。加えて、前に述べたように、分析において助力となる写真のコンテキストについての考慮は存在しない。
コンテキストを考慮し、専門的なエンジン224a-hを用いることは、より専門的なアルゴリズム及び例えばニューラルネットワークの訓練を可能にする。このことは、本明細書で説明されるシステム及び方法が分析の複雑性を制御し、従って、より目的に合った分析を提供することを可能とする。このことは、必要よりも多く計算リソースを費やさないことで、プロセッサ216の機能を不可避的に向上させる。それは、検出する写真の中の標的となる物体/人々があるため、その写真の分析が、コンテキストが考慮されない他のものに比べて速くなる結果として起こる。
ストリームからの最良の写真の選択は、2つの段階で実施され得る。まず、ランク付けモジュール228は、エンジン224a-hによって出力され、または別様に選択されたそれぞれの写真をランク付けし得る。一度その処理が完了すると、分配モジュール230は、多くの属性についての写真の適切な分配を達成することを保証し得る。
ランク付けモジュール228は、当てはまるエンジン224によって分析された写真にスコアを生成し得る。加えて、又は代わりとして、写真を分析するエンジン224は、分析された写真にスコアを提供し得る。この「スコアリング」の段階の間、ランク付けモジュール228は、コンテキスト、写真自体、写真のEXIFデータ、撮影者、写真にアクセスした(例えばファイル場所212にアクセスした)ユーザ、写真中に検出された物体、写真が撮影されたとき(日、年などに基づく)、写真が撮影された場所、ユーザの写真との相互作用(例えば、閲覧、ズーム、いいね、共有、コメントなど)、及び外的データソース232(会場でのイベントスケジュール、式典のデータベースなど)のうちの少なくとも1つに基づいて、「コンテキストスコア」を計算し得る。
ランク付けモジュール228(又はエンジン自体)は、そのスコアを生成するために写真の深層分析を実行し得る。この深層分析は写真中の全ての物体を特定し、写真中の全ての人々、画像中でのその人々の場所を特定し、画像中の人々の精神状態(例えば、彼らが笑っているかどうか、目を開けているかどうか、顔がフォーカスされているかどうか、顔が切り取られているかどうかなど)を特定し得る。ランク付けモジュール228はまた、画像中の物体及び人々の位置、写真の色/光の分配及び配置、写真の空白部分、写真の鮮明さなども考慮する。
ランク付けモジュール228はまた、選択されるべきでない写真も認識し得る。つまり、点数の低い写真である。これらのタイプの写真は、ストリームの一部分であったとしても、スクリーンショット、密かな又は「偶発的な」写真、ホワイトボード、レシート、製品タグ、シリアルナンバー、または練習や他の目的のために別様に撮影された写真を含み得る。
本願のコンテキストにおいては、「分配」という語は、種々の写真の特性を保証することへ言及し得る。適当な分配は、システム200が似すぎた(例えば、全く同じの)写真を返還しないことを保証することに役立つ。つまり、分配モジュール230は、システム200が、異なるクラスの(縦向き、横向き、「セルフィー」、集団写真、物体、都市など)、異なるときから、異なる人々又は物体などの写真を選択することを保証する。
分配モジュール230及び/又は特定のエンジンはまた、特定の順番で写真の提示を編成する。例えば、結婚式の写真を分析し、選択し、編成するためのエンジンは、写真を提示するときに、ケーキ入刀の儀式の写真の前に誓いの取り交わしの写真を示し得る。
同様に、分配モジュール230は、時間によって写真を選択し、編成し得る。例えば、分配モジュール230は、旅のそれぞれの日、または別様に画像のそれぞれの主な集団にちなんで、最良の写真を選択し得る。
加えて、又は代わりとして、分配モジュール230は、写真がどこで撮影された所に基づいて、写真を選択及び編成し得る。例えば、分配モジュール230又は適切なエンジンは、教会での写真、披露宴での写真、夕食での写真などによってグループ化された結婚式の写真を提供し得る。
分配モジュール230はまた、ストリームの、異なるメンバーに対するプレゼンテーションのために、異なる写真を選択し得る。つまり、第1のユーザのために選択された写真は、第2のユーザのために選択された写真とは異なり得る。例えば、第1のユーザのために選択された写真は、第1のユーザを含む数枚の写真を含み得、第2のユーザのために選択された写真は、第2のユーザを含む数枚の写真を含み得るなどである。
分配モジュール230は、例えば、撮影された写真の全体枚数、写真の平均の質、又はコンテキストなどに基づいて、選択される写真のパーセンテージを適合させ得る。例えば、ユーザが200枚の風景写真を撮影した場合、分配モジュール230は、風景写真のうちの小さな集合を選択し得る(例えば、撮影された風景写真の全体量の10%のみを選択する)。分配モジュール230は、写真が多いのか、又は質が低いのか、又は退屈な写真なのかということに基づいて、この閾値をさらに修正し得る。一方、分配モジュール230は、記念日などの、とりわけ写真の多くが、複数の人物写真を含む質の高いものであるコンテキストのためには、多くのパーセンテージの写真を選択し得る。
上述したように、システム200はまた、画像の選択処理をさらに高めるために、1又は複数の外的データソース232を含み得、又は、1又は複数の外的データソース232と別様に通信し得る。例えば、外的データソース232は、休日(例えば、バレンタインデー、戦没将兵記念日の週末、7月4日、感謝祭、クリスマス、神殿奉献記念祭など)についての収集された画像のタイミングを特定するのに役立つようなカレンダーを含む。これらの外的データソース232はまた、有名人のスケジュール、イベント会場のスケジュールに関するデータなども含み得る。
図3は、1の実施形態に従った図のシステム200を運用する方法300を描写する。まず、ステップ304において、図1のユーザ206のようなユーザ302は、コンテキストを作り出す。このコンテキストは、ストリーム/特定のファイル場所に対応し得、そこにユーザが写真をアップロードし得、且つ、そこからユーザがアップロードした写真を閲覧し得る。ステップ306では、ユーザ302は、コンテキストのカテゴリを割り当て得る。前述したように、いくつかの実施形態においては、システムはコンテキストを自主的に割り当て、または別様に予測し得る。
ステップ308において、1又は複数のユーザは、写真などの画像をアップロードし得る。一度アップロードされると、システムによるさらなるアクセスのために、ステップ310において、画像は、データベース又は何らかの指定された場所に記憶され得る。アップロードされた写真を表示し、且つ/又は、適切なエンジン(単数又は複数)によって画像を分析するために、システムは、これらの場所にアクセスし得る。
ステップ312において、適切なエンジン又は別個のランク付けモジュールが、それから、ステップ308でアップロードされた写真にスコア付けする。図3に見られるように、ステップ308及びステップ312は、複数回繰り返され得る。つまり、1又は複数のユーザが1又は複数の写真をアップロードし得、それから写真は、システム200によってスコア付けされる。
ステップ314において、写真はそれらのスコアに基づいてランク付けされ、最良の/最高のランク付けがされた写真が選択される。いくつかの実施形態においては、写真のランク付け及び選択は、アップロードされた写真ごとに、又は特定の枚数の写真がアップロードされた後になされる。いくつかの実施形態においては、特定の時間間隔で、写真は選択され、ランク付けされ得る。いくつかの実施形態においては、写真は、写真が閲覧さられたときに選択され、ランク付けされ得る。さらに他の実施形態においては、ステップ316において、写真のスコア及びランキングが、データストレージに記憶される。
(ユーザ302と同一であり得、又は異なり得る)ユーザ318は、コンテキストの最良の写真を要求し得る。ステップ320において、ユーザ318はストリームを閲覧し得てもよく、ステップ322においてベストショットが返される。システム200はまた、返される写真にいくつの/どれくらいのパーセンテージの写真が含まれるべきかも決定し得る。
ストリームを閲覧しているとき、ステップ324において、ユーザ318はまた、写真と相互作用し得る。例えば、ユーザ318は、写真をズームインし、特定の時間写真を閲覧し、ユーザが写真を「いいね」していることを示す何らかの相互作用を提供し、写真にコメントし、他のユーザと写真を共有するなどし得る。これらの相互作用は、最良の写真を選択するときにも考慮される。
図4は、1の実施形態に従った、写真をスコア付けするための方法400のフローチャートである。図3のように、ステップ402において、ユーザは、写真などの画像をアップロードし得る。スコア付けサブメソッド404は、プロセッサ216及び、特にエンジン224a-h、ランク付けモジュール228などによって実行され得る。
ステップ406において、アップロードされた写真は、コンテキストのストリームと関連付けられ、対応する場所へ伝達される。ユーザがコンテキストを明示的に特定すること基づいて、又はシステムが自主的にコンテキストを予測することによって、写真はコンテキストのストリームに関連付けられ得る。
ステップ408は、アップロードされた写真を分析するためのエンジンを選択することを含む。図2のエンジン選択モジュール226は、ステップ406において特定されたコンテキストに基づいて、適切なエンジンを選択し得る。前述したように、それぞれのエンジンがそれぞれの方法で写真を分析し得る。
ステップ410は、ステップ408において選択されたエンジンを実行することを含む。選択されたエンジンは、種々の計算機視覚技術を用いて、1又は複数のルーチンを実行するために構成され得る。例えば、エンジンは、アップロードされた写真を分析するために、スケール不変特徴量変換(SIFT)技術、及び/又は、スピードアップロブスト特徴量(SURF)技術のうち任意の1つを実行し得る。認識されるべき物体に関するデータは、1又は複数の又はストレージ場所に記憶され得る。例えば、結婚式のコンテキストにおいて、図2のシステム200は、写真におけるウェディングケーキを認識するために、ウェディングケーキのライブラリを記憶しているストレージ場所と通信し得る。
いくつかの実施形態において、1つの与えられたコンテキストのための1つのエンジンがあり得る。他の実施形態においては、1つのエンジンは、関連する1より多いコンテキストを分析し得る。または、1つの与えられたコンテキストのための複数のエンジンがあり得る。例えば、安定したシステムを達成し、どのエンジン(単数又は複数)が最も良く機能するかを判断するための変量を提供するために、複数のエンジンが利用可能であり得る。
エンジンは、分析の結果に基づいて、それぞれの写真にスコアを提供し得る。または、写真を分析するための1又は複数のルーチンを実行するときに、エンジンによって収集されるデータに基づいて、別個のモジュールがスコアを提供し得る。
ステップ412は、それぞれの写真のスコア(単数又は複数)を記憶することを含む。スコア(及び写真)は、ストレージ場所414へ伝達され得、そこに記憶され得る。ストレージ場所414は、ユーザによって、及び/又は写真を選択する際にシステムによって、要求されるときに検索され得る。
図5は、1の実施形態に従った、結婚式のコンテキストの写真を分析するための方法500のフローチャートを描写する。方法500は、ベストショットシステム222及び図2の結婚式分析エンジン224aによって実行され得、または別様にこれらを含み得る。
一度結婚式のコンテキストが特定され、エンジン選択モジュール226が、適切なエンジン(すなわち、結婚式及び結婚披露宴の写真を分析するために構成された、結婚式分析エンジン224a)を選択すると、エンジン224aは、ストリームの一部である写真(単数又は複数)を分析するために、1又は複数のルーチンを実行し得る。
結婚式分析エンジン224aはまず、写真の構造を分析するために、画像分析ルーチン502を実行し得る。このルーチン502は、画像の全体又は一部分に焦点が合っていないかどうかを決定し、過度に暗い又は明るい画像を軽視するために写真の平均の明るさを分析し、EXIFデータを分析し、他の同様の写真の特徴を分析するなどし得る。好ましい特性を有する写真は、望ましくない特性を有する写真よりも高いスコアが付けられ得る。
顔/人々分析ルーチン504は、写真の中の顔を検出/認識し、写真中に検出された人数を出力し得る。従って、このルーチン504は、特定の範囲に焦点が当てられていない大規模の群衆を軽視し得る一方で、人物写真及び少人数の集団を支持し得る。顔/人々分析ルーチン504は、写真中に共通するユーザを認識し得る。複数の写真に登場するユーザは重要であると考えられ得、従って、彼らが映っている写真のスコアは、彼らが映っていない写真のものよりも高くなり得る。
一般物特定ルーチン506は、写真から一般物を探し得る。特殊物特定ルーチン508は、結婚式で典型的に見つけられる物体を写真から探す。これらの物体は、ウェディングケーキ、シャンパンボトル、教会の祭壇、白いドレス、馬車などを含み得る。いくつかの実施形態において、何らかの物体の存在は、それらの物体を含む写真のスコアを向上させ、他の物体の存在は、写真のスコアを低下させるだろう。
いくつかの実施形態において、汎用深層ニューラルネットワークルーチン510は、ユーザに返され又は提示されるべき「ベストショット」としての資格がある写真なのかを評価することを試み得る。また別の実施形態において、あるコンテキストに特有の深層ニューラルネットワークは、ある写真が選択されるべきかどうかを予測し得る。
いくつかの実施形態において、結婚式分析エンジン224aは、花嫁及び/又は花婿を認識するために、花婿/花嫁特定ルーチン512を実行し得る。このルーチンは、概念において、特殊物特定ルーチン508と同様である。例えば、花婿/花嫁特定ルーチン512は、白いドレスの存在を検出することによって、又は祭壇上の女性の存在によって、花嫁を特定しようと試み得る。花婿/花嫁特定ルーチン512は、花嫁の隣の、祭壇上の花婿の存在に基づいて、花婿を認識し得る。花嫁及び/又は花婿を含む任意の写真は、花嫁及び/又は花婿を含まない写真よりも高いスコアを有し得る。
画像クラス分類ルーチン514は、写真のクラスを決定するために、写真を分析する。例えば、写真の分類は、風景モード又は人物モードなのか、セルフィーの写真又は集団の写真なのかなどに関連し得る。
分配モジュール230は、分析された写真が複製かどうか(又は、少なくとも別の写真と実質的に同様であるか)を特定するために、同様画像分析ルーチン516を実行し得る。同様に、分配モジュール230は、前に検討したような適切な分配を保証するために、特定の写真のコレクションを選択し得る。いくつかの実施形態において、同様画像分析ルーチン516は、エンジンによって分析する前に、写真に対して実行され得る。
図6は、1の実施形態に従った、プロセッサ216によって実行される分配モジュール230を描写する。分配モジュール230は、適切な分配を保証するために、複数のルーチンを実行し得る。写真クラスルーチン602は、異なるクラスの写真(例えば、人物写真、セルフィー写真、集団の写真、風景写真、物体を含む写真など)があることを保証するために、写真を分析し得る。写真場所ルーチン604は、種々の場所で撮影された写真があることを保証するために(例えば、最良の画像の全てが同一の一箇所からのものではないことを保証するために)、写真を分析し得る。写真時間ルーチン606は、異なる時間にわたって撮影された写真があることを保証するために、写真を分析し得る。
ユーザ相互作用ルーチン608は、写真の閲覧者による相互作用を調査し得る。例えば、ユーザ相互作用ルーチン608は、いいね、コメント、閲覧数、ズーム、共有などに基づいて、写真のスコアを向上させ得る。
ステップ610において、写真はランク付けされる。それから、特定の順序で画像が提示されるように、画像順序ルーチン612が、画像を並び替える。
図5に戻って参照すると、図2の結婚式分析エンジン224a又はランク付けモジュール228は、ルーチン502-514の結果に基づいて、ステップ518において、最終的な画像スコアを生成し得る。例えば、それぞれのルーチン(及び/又は分配モジュール230)によって生成されたスコアは、1又は複数のスコアへ組み合され得る。これらのスコアは、最良の写真として写真をランク付けするために用いられ得、また、ステップ520において将来の使用のために記憶され得る。
図7は、1の実施形態に従った、少なくとも1つの画像を選択するためのコンピュータ実施方法700のフローチャートを描写する。方法700は、例えば図2のシステムの種々の構成要素によって実行され得、例えば図3-6のフロー図の特徴又はステップを組み込み得る。
ステップ702は、コンピュータへのインターフェースを用いて、複数の画像を受け取ることを含む。複数の画像は、インターフェースにおいて受け取られ得、それらは1又は複数のユーザによって収集された画像を含み得る。
ステップ704は、メモリ上に記憶された命令を実行するプロセッサにおいて、複数の画像に関連するコンテキストを受け取ることを含む。前に検討されたように、本明細書で説明される種々の実施形態のシステム及び方法は、画像をより良く分析するために、受け取った画像(例えば写真)に関するコンテキストデータを考慮し得る。ユーザは、画像に関連するコンテキストを明示的に入力し得、または別様に提供し得る。加えて、又は代わりとして、図2のプロセッサ216のようなプロセッサが、コンテキストを予測するために、受け取った画像を分析し得る。
ステップ706は、プロセッサを用いて、コンテキストに関連する少なくとも1つのルーチンを実行することによって、複数の画像を分析することを含む。ステップ704において受け取ったコンテキストに基づいて、図2のプロセッサ216のようなプロセッサは、受け取った画像を分析するための1又は複数のルーチンを実行するために、エンジンを選択し得る。つまり、画像のコンテキストは、どのエンジンが画像を分析するのかを決定する。これらのルーチンは、特定の物体、人々のタイプ、及び受け取った画像からの他の情報を検出するために設計された、種々の計算機視覚アルゴリズムを含み得る。
ステップ708は、プロセッサを用いて、少なくとも1つの実行されたルーチンに基づいて、複数の画像のうちの少なくとも1つを選択することを含む。実行されたルーチンはまた、画像に関連するスコアを提供し得る。スコアは、受け取ったコンテキストに関連する特定の要求又は期待を、画像がどの程度満足しているかを表し得る。加えて、又は代わりとして、別個のランク付けモジュールが、ルーチンの結果に基づいて、画像のためのスコアを生成し得る。
特定の人々又は物体を含む画像は、コンテキストに基づいて、より高くランク付けされる。例えば、前にも述べたように、コンテキストが結婚式のコンテキストである場合、花嫁及び花婿を含む写真は、花嫁及び/又は花婿を含まない写真よりも高くスコア付けされ得、又は別様にランク付けされ得る。
これらの高くスコア付けがされ、または別様に高くランク付けされた写真は、1又は複数のユーザへのプレゼンテーションのために選択され得る。加えて、又は代わりとして、これらの「最良の」写真は、デジタル写真アルバムに選択され得、且つ、デジタル写真アルバムへアップロードされ得る。
上記で検討した方法、システム、及びデバイスは、実施例である。種々の構成は、必要に応じて、種々の手順又は構成要素を省略し得、代用し得、又は追加し得る。例えば、代替となる構成において、説明されたものとは異なる順序で、方法が遂行され得、その種々のステップは追加され得、省略され得、組み合わされ得る。また、特定の構成について説明された特徴は、種々の他の構成に組み合わされ得る。構成のそれぞれの側面及び要素は、同様の方法で組み合わされ得る。また技術が発展するに従って、要素の多くが実施例となり、本開示及び本請求の範囲を限定しなくなる。
本開示の実施形態は、例えば、本開示の実施形態に従った、ブロック図、及び/又は、方法、システム及びコンピュータプログラム製品の運用の例示を参照しながら上述される。任意のフローチャートにおいて示されたような順序でなくとも、ブロックで表された機能/作用は生じ得る。例えば、含まれる機能/作用に応じて、連続して示される2つのブロックは、実際、同時に十分実行され得、又は、これらのブロックは、時には反対の順序で実行され得る。加えて、又は代わりとして、任意のフローチャートに示される全てのブロックが遂行され、且つ/又は、実行される必要はない。例えば、与えられたフローチャートが、機能/作用を含む5つのブロックを有している場合、5つのブロックのうちたった3つのみが遂行され得、且つ/又は、実行され得るというわけである。この例において、5つのブロックのうちの3つのいずれかが遂行され、且つ/又は、実行され得る。
ある値が、第1の閾値を上回る(又は、より大きい)という陳述は、その値が、第1の閾値より僅かに大きい第2の閾値を満たす又は上回るという陳述と同等であり、例えば、第2の閾値は、関連する系の解像度において、第1の閾値よりも1の値大きい。ある値が、第1の閾値より小さい(又は、その範囲内である)という陳述は、値が、第1の閾値より僅かに小さい第2の閾値より小さい又は等しいという陳述と同等であり、例えば、第2の閾値は、関連する系の解像度において、第1の閾値よりも1の値小さい。
特定の詳細は、(実施を含めた)構成例の徹底的な理解を提供するために、説明において与えられる。しかし、構成は、これらの特定の詳細を含まずとも実践され得る。例えば、構成を不明確にすることを避けるために、周知の回路、手順、アルゴリズム、構造及び技術は、不必要な詳細なしに示されている。この説明は、構成例のみを提供しており、請求の範囲、適用可能性、又は構成を限定しない。むしろ、先述の構成の説明は、説明された技術を実施するための実現可能な説明を、当業者に提供するだろう。本開示の意図及び範囲から逸脱することなく、機能及び要素の配置において、種々の変化がなされ得る。
説明したいくつかの構成例、種々の修正、代替となる構成、及び同等の物は、本開示の意図及び範囲から逸脱することなく、用いられ得る。例えば、上記の要素は大きなシステムの構成要素であり得、他の規則は、本開示の種々の実施又は技術の適用を優位に立ち得、又は別様にこれを修正し得る。また、上記の要素を考慮する前、考慮している間、考慮した後で、いくつかのステップが行われ得る。
本願の説明及び例示が提供されたことで、当業者は、以下の請求項の範囲から逸脱しない、本願において検討された包括的な発明の概念の範囲に属する変化物、修正物、及び代替となる実施形態を構想し得る。

Claims (18)

  1. 少なくとも1つの画像を選択するためのコンピュータ実施方法であって、前記方法は、
    前記コンピュータへのインターフェースを用いて複数の画像を受け取ることと、
    メモリ上に記憶される命令を実行する少なくとも1つのプロセッサによって、前記複数の画像に関連するコンテキストを受け取ることと、
    少なくとも1つのエンジンを選択して、前記受け取られたコンテキストに基づいて前記複数の画像を分析することであって、前記選択されたエンジンは、前記複数の画像の好ましいコンテンツを検出するための前記コンテキストに関連するルーチンを実行する、ことと、
    前記少なくとも1つの選択されたエンジンを用いて、前記複数の画像の好ましいコンテンツを検出するための前記コンテキストに関連する前記ルーチンを実行することによって、前記複数の画像を分析することと、
    前記プロセッサを用いて、少なくとも1つの実行されたルーチンの結果に基づいて、前記複数の画像のうちの少なくとも1つを選択することと
    を備え、前記コンテキストはユーザから受け取られる、方法。
  2. 前記プロセッサを用いて、前記複数の画像のそれぞれにコンテキストスコアを割り当てることをさらに備える、請求項1に記載の方法であって、前記コンテキストスコアは、前記コンテキストと関連する前記少なくとも1つのルーチンによって決定される、方法。
  3. 前記コンテキストスコアは、画像のコンテキスト、画像のEXIFデータ、場所データ、画像の撮影者、画像にアクセスするユーザ、画像中の物体、画像中の人々、画像の焦点、及び、像とのユーザ相互作用のうちの少なくとも1つに基づく、請求項に記載の方法。
  4. 前記複数の画像のうちの前記少なくとも1つを選択することは、画像の向き、画像捕捉時間、画像中の人々、場所データ、及び画像中の物体のうちの少なくとも1つを用いて、前記複数の画像のうちの少なくとも1つを選択することを含む、請求項1に記載の方法。
  5. 前記コンテキストを提供するために、前記プロセッサを用いて、前記複数の画像の前記コンテキストを予測することをさらに備える、請求項1に記載の方法。
  6. 前記選択された複数の画像のうちの少なくとも1つの第1の画像を第1のユーザへ提示することと、前記選択され複数の画像のうちの少なくとも1つの第2の画像を第2のユーザへ提示することとをさらに備える、請求項1に記載の方法。
  7. 前記少なくとも1つの選択された画像を、権限のある複数のユーザへ共有することをさらに備える、請求項1に記載の方法。
  8. 前記選択された複数の画像は、異なる時期にわたって撮影された、請求項1に記載の方法。
  9. 前記選択された複数の画像は、異なる場所にわたって撮影された、請求項1に記載の方法。
  10. 少なくとも1つの画像を選択するためのコンピュータ実施システムであって、前記システムは、
    少なくとも複数の画像を受け取るための前記コンピュータへのインターフェースと、
    少なくとも1つのプロセッサと
    を備え、前記少なくとも1つのプロセッサは、
    前記複数の画像に関連するコンテキストを受け取ることと、
    少なくとも1つのエンジンを選択して、前記受け取られたコンテキストに基づいて前記複数の画像を分析することであって、前記選択されたエンジンは、前記複数の画像の好ましいコンテンツを検出するための前記コンテキストに関連するルーチンを実行する、ことと、
    前記少なくとも1つの選択されたエンジンを用いて、前記複数の画像の好ましいコンテンツを検出するための前記コンテキストに関連する前記ルーチンを実行することによって、前記複数の画像を分析することと、
    少なくとも1つの実行されるルーチンの結果に基づいて、前記複数の画像のうちの少なくとも1つを選択することと
    を行うように、メモリ上に記憶される命令を実行し、前記コンテキストはユーザから受け取られるシステム
  11. 前記少なくとも1つのプロセッサは、前記少なくとも1つのプロセッサを用いて、前記複数の画像のそれぞれにコンテキストスコアを割り当てるようにさらに構成され、前記コンテキストスコアは、前記コンテキストに関連する前記少なくとも1つのルーチンによって決定される、請求項10に記載のシステム。
  12. 前記コンテキストスコアは、画像のコンテキスト、画像のEXIFデータ、場所データ、画像の撮影者、画像にアクセスするユーザ、画像中の物体、画像中の人々、画像の焦点、及び、像とのユーザ相互作用のうちの少なくとも1つに基づく、請求項11に記載のシステム。
  13. 前記プロセッサは、画像の向き、画像捕捉時間、画像中の人々、場所データ、及び画像中の物体のうちの少なくとも1つを用いて、前記複数の画像のうちの少なくとも1つを選択する、請求項10に記載のシステム。
  14. 前記少なくとも1つのプロセッサは、前記コンテキストを提供するために、前記複数の画像の前記コンテキストを予測するようにさらに構成される、請求項10に記載のシステム。
  15. 前記少なくとも1つのプロセッサは、前記複数の画像のうちの少なくとも1つの第1の画像を第1のユーザへ提示することと、前記複数の画像のうちの少なくとも1つの第2の画像を第2のユーザへ提示することを行うようにさらに構成される、請求項10に記載のシステム。
  16. 前記少なくとも1つのプロセッサは、前記少なくとも1つの選択された画像を、権限のある複数のユーザへ共有するようにさらに構成される、請求項10に記載のシステム。
  17. 前記選択された複数の画像は、異なる時期にわたって撮影された、請求項10に記載のシステム。
  18. 前記選択された複数の画像は、異なる場所にわたって撮影された、請求項10に記載のシステム。
JP2020522368A 2017-10-17 2018-10-17 コンテキストに基づく画像選択 Active JP7232478B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762573645P 2017-10-17 2017-10-17
US62/573,645 2017-10-17
PCT/US2018/056389 WO2019079526A1 (en) 2017-10-17 2018-10-17 IMAGE SELECTION BASED ON THE CONTEXT

Publications (3)

Publication Number Publication Date
JP2021501508A JP2021501508A (ja) 2021-01-14
JP2021501508A5 JP2021501508A5 (ja) 2021-11-25
JP7232478B2 true JP7232478B2 (ja) 2023-03-03

Family

ID=66170016

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020522368A Active JP7232478B2 (ja) 2017-10-17 2018-10-17 コンテキストに基づく画像選択

Country Status (5)

Country Link
US (1) US10885619B2 (ja)
EP (1) EP3698278A4 (ja)
JP (1) JP7232478B2 (ja)
CN (1) CN111480168B (ja)
WO (1) WO2019079526A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11691083B2 (en) * 2018-11-26 2023-07-04 Photo Butler Inc. Scavenger hunt facilitation
US11831832B2 (en) * 2021-10-06 2023-11-28 Relevant, Inc. Scannable thumbnails for association with data objects
US11895387B2 (en) * 2022-07-08 2024-02-06 I & EyeEnterprises, LLC Modular camera that uses artificial intelligence to categorize photos

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267682A (ja) 2008-04-24 2009-11-12 Nikon Corp 代表画像決定装置およびカメラ
JP2011215963A (ja) 2010-03-31 2011-10-27 Sony Corp 電子機器、画像処理方法及びプログラム
JP2015095848A (ja) 2013-11-14 2015-05-18 オリンパス株式会社 撮像装置および撮影制御方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993180B2 (en) * 2001-09-04 2006-01-31 Eastman Kodak Company Method and system for automated grouping of images
US8732025B2 (en) * 2005-05-09 2014-05-20 Google Inc. System and method for enabling image recognition and searching of remote content on display
US20090313239A1 (en) * 2008-06-16 2009-12-17 Microsoft Corporation Adaptive Visual Similarity for Text-Based Image Search Results Re-ranking
US8589402B1 (en) * 2008-08-21 2013-11-19 Adobe Systems Incorporated Generation of smart tags to locate elements of content
EP2629211A1 (en) * 2009-08-21 2013-08-21 Mikko Kalervo Väänänen Method and means for data searching and language translation
US9164577B2 (en) * 2009-12-22 2015-10-20 Ebay Inc. Augmented reality system, method, and apparatus for displaying an item image in a contextual environment
US9053103B2 (en) * 2010-11-23 2015-06-09 Nokia Technologies Oy Method and apparatus for interacting with a plurality of media files
JP5740210B2 (ja) * 2011-06-06 2015-06-24 株式会社東芝 顔画像検索システム、及び顔画像検索方法
US20150161177A1 (en) * 2012-06-13 2015-06-11 Google Inc. Search result image processing
CN103546803B (zh) * 2012-07-11 2016-09-21 腾讯科技(深圳)有限公司 一种图像处理的方法、客户端和图像处理的系统
WO2015161487A1 (en) * 2014-04-24 2015-10-29 Nokia Technologies Oy Apparatus, method, and computer program product for video enhanced photo browsing
KR20160008920A (ko) * 2014-07-15 2016-01-25 엘지전자 주식회사 이동 단말기 및 그 제어 방법
AU2015299073A1 (en) 2014-08-04 2016-12-15 Ventana Medical Systems, Inc. Image analysis system using context features
KR102179958B1 (ko) * 2015-09-02 2020-11-17 삼성전자주식회사 LFD(large format display) 장치 및 그 제어 방법
US20170083519A1 (en) * 2015-09-22 2017-03-23 Riffsy, Inc. Platform and dynamic interface for procuring, organizing, and retrieving expressive media content
US10380256B2 (en) * 2015-09-26 2019-08-13 Intel Corporation Technologies for automated context-aware media curation
US9672632B2 (en) * 2015-10-21 2017-06-06 Disney Enterprises, Inc. Device and method for camera driven background subtraction
EP3371712A1 (en) * 2015-11-06 2018-09-12 Thomson Licensing Method and apparatus for generating codebooks for efficient search
KR102421487B1 (ko) * 2017-04-24 2022-07-15 엘지전자 주식회사 인공 지능 기기
US10567674B2 (en) * 2017-06-30 2020-02-18 Harman International Industries, Incorporated Systems and methods for detecting objects in imaging systems
KR20190024249A (ko) * 2017-08-31 2019-03-08 삼성전자주식회사 광고를 제공하는 방법 및 전자 장치
KR20190100097A (ko) * 2019-08-08 2019-08-28 엘지전자 주식회사 디스플레이 상의 화면의 화질 또는 화면 내용을 추론하여 화면을 조정하는 방법, 제어기 및 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009267682A (ja) 2008-04-24 2009-11-12 Nikon Corp 代表画像決定装置およびカメラ
JP2011215963A (ja) 2010-03-31 2011-10-27 Sony Corp 電子機器、画像処理方法及びプログラム
JP2015095848A (ja) 2013-11-14 2015-05-18 オリンパス株式会社 撮像装置および撮影制御方法

Also Published As

Publication number Publication date
CN111480168B (zh) 2023-10-24
US20190122354A1 (en) 2019-04-25
CN111480168A (zh) 2020-07-31
JP2021501508A (ja) 2021-01-14
EP3698278A1 (en) 2020-08-26
US10885619B2 (en) 2021-01-05
EP3698278A4 (en) 2021-07-21
WO2019079526A1 (en) 2019-04-25

Similar Documents

Publication Publication Date Title
US11778028B2 (en) Automatic image sharing with designated users over a communication network
US10885380B2 (en) Automatic suggestion to share images
US11209442B2 (en) Image selection suggestions
US10891526B2 (en) Functional image archiving
US8447769B1 (en) System and method for real-time image collection and sharing
US10459968B2 (en) Image processing system and image processing method
JP7232478B2 (ja) コンテキストに基づく画像選択
US11775139B2 (en) Image selection suggestions
KR101832680B1 (ko) 참석자들에 의한 이벤트 검색
US20150242405A1 (en) Methods, devices and systems for context-sensitive organization of media files
KR101479260B1 (ko) 사진 기반 인물 친밀도 검색 방법
EP3948659B1 (en) Automatic generation of people groups and image-based creations
Hu et al. Tag recommendations in social media for popularity boosting
KR20140075903A (ko) 소셜 네트워크 서비스 아카이브의 분류방법
Tretter et al. Multimedia Experience on Web-Connected CE Devices

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211015

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230130

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230210

R150 Certificate of patent or registration of utility model

Ref document number: 7232478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150