JP6479142B2 - ユーザ介入なくレイアウトに従った画像識別及び編成 - Google Patents

ユーザ介入なくレイアウトに従った画像識別及び編成 Download PDF

Info

Publication number
JP6479142B2
JP6479142B2 JP2017218908A JP2017218908A JP6479142B2 JP 6479142 B2 JP6479142 B2 JP 6479142B2 JP 2017218908 A JP2017218908 A JP 2017218908A JP 2017218908 A JP2017218908 A JP 2017218908A JP 6479142 B2 JP6479142 B2 JP 6479142B2
Authority
JP
Japan
Prior art keywords
image
layout
user
criteria
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017218908A
Other languages
English (en)
Other versions
JP2018077851A (ja
Inventor
ピー. カナン,ラモナ
ピー. カナン,ラモナ
ユー,ダヘイ
ジェイ. チャン,チュンキット
ジェイ. チャン,チュンキット
ローゼンスタイン,ダニエル
ディー. ロマシカ,イワン
ディー. ロマシカ,イワン
エヌ. ペス,イアン
エヌ. ペス,イアン
ケイ. アヴェリ,アダム
ケイ. アヴェリ,アダム
ズラテフ,カルメン
ジー. ウィード,ブラッドリー
ジー. ウィード,ブラッドリー
アナンド メヘンデイル,オムカー
アナンド メヘンデイル,オムカー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2018077851A publication Critical patent/JP2018077851A/ja
Application granted granted Critical
Publication of JP6479142B2 publication Critical patent/JP6479142B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/20Processor architectures; Processor configuration, e.g. pipelining
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/30Scenes; Scene-specific elements in albums, collections or shared content, e.g. social network photos or video
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/02Networking aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)
  • Editing Of Facsimile Originals (AREA)

Description

本発明は、ユーザ介入なくレイアウトに従った画像識別及び編成に関する。
ユーザが、日々の生活でキャプチャし、対話する画像の量は常に増え続けている。例えばモバイルフォンへのカメラ機能の追加により、ユーザは手軽に、多数の画像、例えば静止画像及びビデオをキャプチャすることがある。さらに、ユーザは、様々な他のユーザから、彼らのモバイルフォンでキャプチャした画像を受け取ることがある。
これらの画像は、電子メール、写真共有サイト、ソーシャルネットワーク等を含め、様々な異なるサービスを使用して共有され得る。その結果、典型的なユーザであっても、様々な異なるソースに広がる大量の画像を有することがあり、これは、ユーザが興味のある特定の画像を探すことを難しくすることがある。
画像キュレーション技術を説明する。1つ以上の実装において、1つ以上のモジュールが、コンピューティングデバイスにおける実行のために起動される。この起動に応答して、基準が、コンピューティングデバイスによる1つ以上のモジュールの実行を通して、自動的かつユーザ介入なしに生成される。画像は、1つ以上のモジュールの実行を通して自動的かつユーザ介入なしに生成された基準を使用して、キュレートされる。キュレートされた画像は、1つ以上のモジュールの実行を通して自動的かつユーザ介入なしに、コンピューティングデバイスのディスプレイデバイスにより表示されることになる。
1つ以上の実装において、1つ以上のコンピュータ読取可能記憶媒体は、コンピューティングデバイスによる実行に応答して、該コンピューティングデバイスに、自動的かつユーザ介入なしに動作を実行させる命令を備える。この動作は、基準を生成することと、生成された基準を使用して、複数の異なる画像ソースから、ユーザに関連付けられる画像を識別することと、表示用に、識別された画像のサブセットを選択することと、選択された画像のサブセットのうちの1つ以上の画像を、画像レイアウト内の位置に合致させることと、画像レイアウトにおける、選択された画像のサブセットのうちの少なくとも1つの画像の表示を、選択された画像のサブセットの別の画像に置換することとを含む。
1つ以上の実装において、システムは、少なくとも部分的にハードウェアで実装される1つ以上のモジュールを備え、該1つ以上のモジュールは動作を実行するように構成される。動作は、自動的にユーザ介入なしに生成される基準を使用して、画像をキュレートすることを含み、該キュレートされた画像は、ユーザに関連付けられる、複数の異なる画像ソースから識別される。動作は、キュレートされた画像を、ディスプレイデバイスによって自動的かつユーザ介入なしに表示させることも含み、キュレートされた画像は、第1の画像ソースからの少なくとも1つの画像が、第2の画像ソースからの第2の画像と同時に表示されるよう、レイアウトに従って表示される。
この「発明の概要」の記載は、以下で「発明を実施するための形態」の項において更に説明される概念の選択を、簡略化された形式で紹介するために提供される。この「発明の概要」の記載は、特許請求に係る主題の主要な特徴又は本質的特徴を特定するようには意図されておらず、また、特許請求に係る主題の範囲を確定する際の助けとして使用されるようにも意図されていない。
詳細な説明は、添付の図面との関連で記述される。図面において、参照番号の1番左の桁は、その参照番号が最初に現れる図面を特定する。説明中の異なる例における同じ参照番号の使用は、同様又は同一のアイテムを示すことがある。図面内に現れるエンティティは、1つ以上のエンティティを示す可能性があり、したがって、本説明では、単数形のエンティティと複数形のエンティティへの参照は交換可能に行われることがある。
本明細書で説明される画像キュレーション技術を用いるように動作可能な例示の実装の環境を示す図である。 図1の画像モジュールが、より詳細に示されており、様々な異なる画像ソースからの画像にアクセスするように構成される、例示の実装のシステムを示す図である。 図2の画像モジュールが画像レイアウトを用いてレイアウトを追加する、例示の実装を示す図である。 画像が、自動的かつユーザ介入なしに、自動的に生成される基準に基づいて表示され、該表示がアプリケーションの起動に応答して行われる、例示の実装のプロシージャを示すフロー図である。 識別された画像のサブセットが、画像レイアウトに合致され、レイアウトの表示の一部として時間とともに順次置換される、例示の実装のプロシージャを示すフロー図である。 画像が、自動的かつユーザ介入なしに生成される基準を使用してキュレートされる、例示の実装のプロシージャを示すフロー図である。 本明細書で説明される技術の実施形態を実装するために、図1〜図6に関連して説明されるような任意のタイプのコンピューティングデバイスとして実装され得る、例示のデバイスの様々なコンポーネントを含む例示のシステムを示す図である。
<概要>
ユーザは、静止画とビデオの双方の画像を、様々な異なる場所に記憶させることがある。このような場所には、そのユーザの異なるデバイス(例えばモバイルフォン、タブレット、デスクトップコンピュータ)、異なるサービス(例えばソーシャルネットワーク、写真共有サービス)等が含まれることがある。その結果、ユーザが、これらの画像に効率的な手法でアクセスすることが難しいことがある。
画像キュレーション技術を説明する。1つ以上の実装では、モジュールを使用して、様々な異なる画像ソースからの画像を自動的にキュレートする(例えば識別して編成する)ことがある。例えばモジュールは、自動的かつユーザ介入なしに「興味ある」画像をコレクションから識別するために使用され得る基準を生成するように構成されることがある。表示用の画像のサブセットを、この潜在的に興味ある画像のプールから選択する技術も用いてよい。ユーザによる閲覧のために、「マルチアップ(multi-up)」レイアウトのような出力の画像の自動的な置換をサポートするモジュールも用いることができ、画像の置換及び追加の基準の後の生成を含んでもよい。このようにして、ユーザには、幅広いソースからの画像に対して、効率的な手法によるアクセスが与えられる。これら及び他の技術の更なる議論は、以下のセクションに関連して見つかるであろう。
以下の議論では、まず、本明細書で説明される技術を用いることができる例示の環境を説明する。次いで、例示のプロシージャが説明される。この例示のプロシージャは、例示の環境だけでなく他の環境において実行されてもよい。したがって、例示のプロシージャの実行は例示の環境に限定されず、また例示の環境は、例示のプロシージャの実行に限定されない。
<例示の環境>
図1は、本明細書で説明される技術を用いるように動作可能な例示の実装における環境100を示す図である。図示される実施形態100は、処理システム104及びメモリ106として図示されているコンピュータ読取可能記憶媒体を有するコンピューティングデバイス102を含むが、図7に関連して下記に更に説明されるように、他の構成も考えられる。
コンピューティングデバイス102は、様々な方法で構成され得る。例えばコンピューティングデバイスは、ネットワーク上で通信する能力を有するコンピュータとして構成されてよく、例えばデスクトップコンピュータ、モバイルステーション、エンターテイメント機器、ディスプレイデバイスに通信上結合されるセットトップボックス、ワイヤレスフォン、ゲームコンソール等である。したがって、コンピューティングデバイス102は、十分なメモリ及びプロセッサリソースを有する完全リソースデバイス(例えばパーソナルコンピュータ、ゲームコンソール)から、限られたメモリ及び/又は処理リソースしか有さない低リソースデバイス(例えば従来的なセットトップボックス、ハンドヘルドゲームコンソール)にまで及ぶことがある。さらに、単一のコンピューティングデバイス102が示されているが、コンピューティングデバイス102は、例えばウェブサービス、リモートコントロールとセットトップボックスの組合せ、画像キャプチャデバイス及びジェスチャをキャプチャするように構成されるゲームコンソール等によって動作を実行するために企業によって用いられる複数のサーバのような、複数の異なるデバイスを表してもよい。
コンピューティングデバイス102は更に、オペレーティングシステム108を含むように図示されている。オペレーティングシステム108は、コンピューティングデバイス102の基礎となる機能性を、コンピューティングデバイス102上で実行可能なアプリケーション110に対して抽象化するように構成される。例えばオペレーティングシステム108は、処理システム104、メモリ106、ネットワーク112及び/又はコンピューティングデバイス102のディスプレイデバイスの機能性を抽象化することができ、この基礎となる機能性が「どのように」実装されるかを知る必要なく、アプリケーション110を書くことができる。アプリケーション110は、例えば図示されたディスプレイデバイスによってレンダリング及び表示されるデータを、このレンダリングがどのように行われるかを理解する必要なく、オペレーティングシステム108に提供することができる。オペレーティングシステム108は、ファイルシステム及びコンピューティングデバイス102のユーザによってナビゲート可能なユーザインタフェースを管理することや、ユーザに固有のリソースへのアクセスを提供するユーザログインを管理すること等のような、様々な他の機能性も表してよい。
アプリケーション110は、画像の管理に関する機能性を表す画像モジュール114を含むように図示されている。アプリケーション110の一部として図示されているように、画像モジュール114の機能性は、様々な方法で実装されてよく、例えばオペレーティングシステム108の一部として、環境にわたって分散され、ネットワークサービスの一部として用いられるスタンドアロンのアプリケーション等として実装されることがある。その更なる例は、図7に関連して説明される。
画像モジュール114による画像の管理に関する機能性の一例は、画像のキューレーションに関する。これは、潜在的に「興味ある」画像を探すために用いられ得る基準の生成を含み、この基準の生成は、画像モジュール114によって、自動的かつユーザ介入なしに実行され得る。基準の例には、時間ベースの基準(例えば8月)、人ベースの基準(例えばユーザ、ユーザの子供、ユーザの友達)、位置ベースの基準(例えば位置スポット)、ピクセルベースの基準(例えば特定の色のピクセル)及び他のものが含まれる。
画像モジュール114は、様々な異なるソースからの画像にアクセスするようにも構成されることがある。このようなソースは、コンピューティングデバイス102に対してローカルにあるストレージ、例えばメモリ106を含んでもよい。また、このようなソースは、ネットワーク112を介してアクセス可能な画像ソースを含んでもよい。この例は、画像118に関連するネットワークサービスをサポートするように構成される、複数の異なるサービスプロバイダ116のうちの1つである。このようなサービスには、ソーシャルネットワーク、画像共有サービス、画像記憶サービス等が含まれ得る。したがって、画像モジュール114は、様々な異なるソースからの画像との対話をサポートするように構成され、またこのような対話のサポートを、自動的に、ユーザ介入なしに行うことができる。この例は、後続の図面との関連で説明される。
図2は、例示の実装のシステム200を示す図であり、このシステム200において、より詳細に示されている画像モジュール114は、様々な異なる画像ソースからの画像にアクセスするように構成される。前述したように、画像モジュール114は、様々な異なる画像ソース202からの画像にアクセスすることができる。説明される一例は、画像モジュール114を実行したコンピューティングデバイス102のような、コンピューティングデバイスのローカルストレージ204を含む。コンピューティングデバイスのローカルストレージ204は、例えば画像が管理される1つ以上のフォルダを含むことがある。
別の例において、画像ソース202は、ユーザに関連する他のコンピューティングデバイス206を含むことがある。ユーザは、例えば図7に図示されるようなモバイルフォン、タブレットコンピュータ、ゲームコンソール、デスクトップコンピュータを使用して、画像を格納する。したがって、画像モジュール114は、これらの他のデバイスからの画像に、画像モジュール114に対してアクセス可能な認証情報を使用するログインプロシージャ等を通じてアクセスことができる。
更なる例では、画像ソース202は、ユーザに関連するリモートストレージ208を含む。これには、ネットワーク112上でアクセス可能なストレージとして動作するようユーザに利用可能にされるストレージが含まれ、この例は「SkyDrive」である(SkyDriveは、ワシントン州レドモンドのマイクロソフト社の登録商標である)。更なる例では、画像ソース202は、ネットワーク112を介してリモートにアクセス可能な写真共有サービス210を含むことがある。写真共有サービス210は、ユーザに対して(例えばバックアップとして)アクセス可能にされ、他のユーザと共有されることもある画像のアップロードをサポートするように構成される。他のユーザは、例えば電子メールアドレスの指定等を通じて、リンクを含む電子メールの受信により、画像にアクセスする権限を与えられる。
画像ソース202は、ユーザのソーシャルネットワークアカウント212も含むことがある。画像は、例えば他のユーザ(例えばユーザの「友達」)と共有するためにユーザによりアップロードされ、及び/又はソーシャルネットワークサービスを介して、他のユーザからそのユーザに共有され得る。したがって、「友達」又は指定される他の関係を使用して、ユーザが他のユーザに画像へのアクセスを許可することができ、またその反対も可能である。更なる例において、画像のメタデータの一部として格納されるタグに基づいて見つけられる画像のように、ユーザを識別するタグを有する画像214を、画像ソース202として使用してもよい。したがって、画像モジュール114を使用して、多様な異なるソースからの画像にアクセスすることができる。他の例も考えられる。
画像ソース202に関わらず、画像モジュール114は、様々な異なる技術を用いて、ユーザにとって潜在的に興味がある可能性のある画像を識別することができる。画像モジュール114は、例えば基準生成モジュール216を用いてもよい。この基準生成モジュール216は、潜在的に興味がある可能性のある画像のコレクションを識別するために使用され得る基準を生成する機能を表す。この生成は、アプリケーション110の起動、オペレーティングシステム108によってサポートされる画像閲覧モードの選択等に応答して、自動的にユーザ介入なしに実行され得る。
様々な異なる基準が、基準生成モジュール216によって生成され得る。この基準は、時間ベースの基準を含んでもよく、この時間ベースの基準では、複数年にわたる特定の時間枠(timeframe)、例えば週、休日、月、季節、年等からの画像を含み得る。別の例では、この時間ベースの基準は、所定の時間内に撮影、編集及び/又はアクセス可能にされ、最近コメントを受け取った「最近の」画像を含んでもよい。したがって、時間ベースの基準は、以下で更に説明されるように、画像を識別するために、画像に関連付けられるメタデータと比較され得る。
別の例では、基準は、画像に含まれる人に基づくものであってもよい。画像は、例えば画像内に含まれる人々を記述するメタデータ(例えばタグ)を含み得る。画像分析により複数の画像内で同様のユーザを識別するような他の技術も考えられる。更なる例では、基準は位置ベースであってもよい。例えば画像がキャプチャされた場所を記述する座標が、画像に関連するメタデータ内に含まれるように、画像に位置情報タグ(geo-tag)を付けてもよい。したがって、これらの例では、メタデータを用いて、興味ある画像を識別するために使用される基準を定義することができる。
メタデータでは定義されない他の基準を使用する、他の例も考えられる。例えば画像のピクセル自体を使用して、例えば色、特定のユーザの識別情報、位置、目印等に基づいて、基準を定義してもよい。さらに、画像がぼやけているかどうか、ビデオが動かないかどうか及び他の視覚的な審美性のような、画像の品質を基準として使用してもよい。
基準生成モジュール216は、潜在的に興味ある画像を識別するために使用されることになる基準の生成に、ルール218も用いることがある。ルール218は、例えば連続する出力に同じ基準が使用されないよう基準の置換を指定し、モニタされるユーザ対話に基づいて基準を変更するヒューリスティックを用いることがある。ルール218は、例えば以前の基準が繰り返し使用されないよう、以前の出力に使用された基準に少なくとも部分的に基づいて基準を生成させるようにすることがある。したがって、基準生成モジュール216は、様々な異なる技術を用いて、自動的かつユーザ介入なしに基準を生成することができる。
基準は、次いで画像モジュール114の画像識別モジュール220によって使用されて、生成された基準に適合する画像を識別することができる。この識別は、モジュールによって自動的かつユーザ介入なしに、様々な方法で実行され得る。例えば画像識別モジュール220は、実際の画像はダウンロードせずに、ネットワーク112を介してリモートに配置された画像ソース202のメタデータを検査することができ、それにより、ネットワークの帯域幅を節約し、効率性を向上させることができる。ダウンロードを実行する他の例も考えられる。このようにして、画像識別モジュール220は、基準生成モジュール216によって生成される基準に対応する画像を識別することができる。
画像識別モジュール220によって、January Momentsのような興味あるコレクションが識別されると、表示すべき画像のサブセットを識別するために、サブセット選択モジュール222によって、コレクションに対する分析が自動的かつユーザ介入なしに行われる。例えばサブセット選択モジュール222は、コレクションにわたって均等な分布が確実に取得されるように、コレクションに対して固有の確率曲線を有するアルゴリズムを用いることがある。クラスタ化(例えば同じグループショットのバリエーションである3つの写真を表示すること)を避けるために、「十分に離れた」画像を選択するように「撮影日付」フィールドを有する画像を用いることがある。マルチアップレイアウトによって示されるような横方向対縦方向の所望の比を有する画像が、サブセット選択モジュール222によって選択され得る。更なる例では、サブセット選択モジュール222は、例えば画像がそれぞれ単一のソースから取得されないよう、確実に異なる画像ソースを用いるようにする。
この時点で、画像モジュール114は、表示すべき画像のキュレート済みのサブセットを識別している。画像モジュール114は、次いで画像レイアウトモジュール224を用いて、表示用に画像をレイアウト内に配置(populate)することができる。レイアウトは、スライドショー等のような様々な異なる形式を取り、複数の画像の同時ビューをサポートし得る。このレイアウトを保存し、他のユーザと共有し、印刷してもよい。さらに、レイアウトは、サイズ調整やトリミング、レイアウト内に入れるための画像の他の修正を要することもあり、後続の図面に関連して更に説明されるように、画像置換モジュール226を用いて、サブセット内の画像の表示を回転させてもよい。
図3は、図2の画像モジュール114が、画像レイアウトモジュール224を用いてマルチアップレイアウトを配置する例示の実装300を示している。例示の実装300は、第1の段階302と第2の段階304を使用して示されている。第1の段階302では、未配置のレイアウト306が、図1のコンピューティングデバイス102のディスプレイデバイスによる表示のために、サブセットから取った複数の画像を含むように構成されるものとして示されている。図示されるように、レイアウト306は、レイアウトに含まれる画像について異なるサイズ及び方向を含み得る。
第2の段階304では、画像レイアウトモジュール224は、レイアウト306を配置している。これには、所与の画像についてレイアウト内の位置を決定するルールの適用が含まれることがある。これらのレイアウトは、横方向の画像を横方向のレイアウト位置に合致させること、縦方向の画像を縦方向のレイアウト位置に合致させること、同様の画像がレイアウト内で間隔をあけて置かれるような画像の配置を含み得る。
図示される例では、レイアウトを見ているときに事前構成された境界がユーザに対して可視にならないように、画像が表示されている。例えば画像のピクセルは、隣接する画像のピクセル間に別のソースからのピクセルが表示されないように、相互に近接して表示され得る。当然、第1の段階302において図示されるような境界が表示される実装を含め、他の実装も考えられる。また、図示される例では、レイアウトが、ウィンドウ、メニュー、スライダのような「クローム」の表示を要しない没入型又は現代的なシェル(modern shell)内に表示されているように示されているが、他の例も考えられる。
画像の初期配置によりレイアウトが埋まると、画像置換モジュール226によって上記と同じ又は異なるレイアウト合致ルールを用いて、キュレートされたサブセットから新たな画像を使用して、既存の画像(例えば一度に1つ、同時にサブセットの全て等)を置換することができる。図示された例では、レイアウト306は、画像を識別するために使用される少なくとも1つの基準の記述、例えば図示された例では「8月」も含む。
キュレートされたサブセットの表示が完了すると、適用可能であれば、追加のキュレートされたサブセットが選択されて、新たな記述とともに表示され得る。このようにして、新たなキュレート画像を使用して、例えば一度に1つ又はサブセット等で、古いキュレート画像を置換することができる。したがって、ユーザがレイアウトを見続けていると、ユーザには、画像により記録されるような、順次キュレートされる記憶のセットが提示される。
前述したように、画像モジュール114は、次のキュレート画像のセットの選択にルールを用いて、同一のセットが連続して現れないことを保証することができる。コレクションを再分析して、所与のセットが閲覧された後に異なる写真のサブセットを選択するよう、ルールが用いられてもよい。例えば「January Moments」が閲覧された後、Januaryからの画像の母集団を再分析し、次回「January Moments」が現れるときに異なる画像が選択されるよう新たなサブセットが選択される。様々な他の例も考えられ、その更なる議論は、以下の項に関連して見られるであろう。
<例示のプロシージャ>
以下の記載では、前述のシステム及びデバイスを用いて実装され得る画像キュレーション技術を説明する。それぞれのプロシージャの態様は、ハードウェア、ファームウェア又はソフトウェア又はこれらの組合せで実装され得る。プロシージャは、1つ以上のデバイスによって実行される動作を示すブロックのセットとして示されているが、必ずしも、個々のブロックによって示される動作を実行する順序に限定されない。以下の記載の一部では、図1〜図3を参照することがある。
図4に、自動的に生成される基準に基づいて、画像が自動的かつユーザ介入なしに表示される、例示の実装のプロシージャ400を示す。1つ以上のモジュールが、コンピューティングデバイスにおける実行のために起動される(ブロック402)。画像モジュール114は、例えばアプリケーション110、オペレーティングシステム108等の一部として含まれ得る。
上記の起動に応答して、コンピューティングデバイスによる1つ以上のモジュールの実行を通して自動的かつユーザ介入なしに、基準が生成される(ブロック404)。基準は、例えば静止画像及び/又はビデオ画像を含め、潜在的に興味ある画像を識別するためにどの基準を使用すべきかを決定する、ルール218を使用して選択され得る。
1つ以上のモジュールの実行を通して自動的かつユーザ介入なしに生成された基準を使用して、画像がキュレートされる。キュレートされる画像は、ユーザに関連付けられる、複数の異なる画像ソースから識別される(ブロック406)。画像モジュール114は、例えば様々な異なる画像ソース202にアクセスして画像をキュレートすることができる。これには、画像を識別する動作と、画像を取得する動作と、図3に関連して説明したようなレイアウトに従って編成する動作とが含まれ得る。
キュレートされた画像は、コンピューティングデバイスのディスプレイデバイスによって、1つ以上のモジュールの実行を通して自動的かつユーザ介入なしに、表示されることになる(ブロック408)。前述の例を続けると、アプリケーションの起動の後にユーザ入力を必要とせずに画像が表示されるよう、キュレートされた画像はアプリケーションの起動の際に表示され得る。このようにして、ユーザに、潜在的に興味ある画像のコレクションの自動的な表示が提供される。様々な他の例も考えられる。
図5に、識別された画像のサブセットを、画像レイアウトに合致させて、レイアウトの表示の一部として時間とともに順次置換する、例示の実装のプロシージャ500を示す。基準は、図2に関連して前述したような基準生成モジュール216の実行等を通して、自動的かつユーザ介入なしに生成される(ブロック502)。
ユーザに関連付けられる画像が、複数の異なる画像ソースから、生成された基準を使用して識別される(ブロック504)。前述の例を続けると、画像識別モジュール220は、画像ソース202からの画像のうち、どの画像が、基準生成モジュール216によって生成された基準に適合するかを識別することができる。
識別された画像のサブセットが表示用に選択される(ブロック506)。このサブセットは、サブセット選択モジュール222によって、前述のような様々な考慮事項に基づいて選択され得る。画像の選択されたサブセットのうちの1つ以上の画像を、画像レイアウト内の位置に合致させる(ブロック508)。画像レイアウト内における、選択された画像のサブセットのうちの少なくとも1つの画像の表示が、選択された画像のサブセットの別の画像の表示と置換される(ブロック510)。図3に示されるように、例えば画像レイアウトモジュール224は、画像を、画像レイアウト内の特定の位置に割り当てる。これらの画像は、時間とともに順次置換されて、アクティブな閲覧経験を提供し得る。様々な他の例も考えられる。
図6に、画像が、自動的かつユーザ介入なしに生成された基準を使用してキュレートされる、例示の実装のプロシージャ600を示す。画像は、自動的かつユーザ介入なしに生成された基準を使用してキュレートされ、該キュレートされる画像は、ユーザに関連付けられる、複数の異なる画像ソースから識別される(ブロック602)。画像は、例えば画像モジュール114の実行を通して、ユーザインタフェース内の表示用に画像を識別して編成するように、キュレートされ得る。図2に示されるように、これらの画像は、様々な異なる画像ソース202から取得され得る。
キュレートされた画像を、ディスプレイデバイスにより自動的かつユーザ介入なしに表示させ、この場合、キュレートされた画像は、第1の画像ソースからの少なくとも1つの画像が、第2の画像ソースからの第2の画像と同時に表示されるよう、レイアウトに従って表示される(ブロック604)。例えば画像は、コンピューティングデバイスのローカルストレージ204、ユーザに関連する他のコンピューティングデバイス206(例えばユーザの電話のようなリモートデバイス)、ユーザに関連するリモートストレージ208、写真共有サービス210、ユーザのソーシャルネットワークアカウント212、ユーザを識別するタグを有する画像214等から取得され得る。別の画像も取得されることがあり、この画像は、最初の画像とは異なるソースからのものである。これらの画像は、その後、図3に示されるような「マルチアップレイアウト」のように同時に表示され得るが、様々な他のレイアウトの例も考えられる。
<例示のシステム及びデバイス>
図7は、全体的に700として例示のシステムを図示している。このシステムは、本明細書で説明される様々な技術を実装することができる1つ以上のコンピューティングシステム及び/又はデバイスを表す、例示のコンピューティングデバイス702を含む。これは、例示のコンピューティングデバイス702の一部としての画像モジュール114の組み込みを通して図示されている。コンピューティングデバイス702は、例えばサービスプロバイダのサーバ、クライアント(例えばクライアントデバイス)に関連付けられたデバイス、オンチップシステム及び/又は任意の他の適切なコンピューティングデバイス若しくはコンピュータシステムとすることができる。
図示されるように、例示のコンピューティングデバイス702は、相互に通信可能に接続される処理システム704と、1つ以上のコンピュータ読取可能媒体706と、1つ以上のI/Oインタフェース708とを含む。図示されていないが、コンピューティングデバイス702は更に、様々なコンポーネントを相互に結合するシステムバスあるいは他のデータ及びコマンド転送システムを含んでもよい。システムバスは、メモリバス若しくはメモリコントローラ、周辺バス、ユニバーサルシリアルバス及び/又は様々なバスアーキテクチャのいずれかを使用するプロセッサ若しくはローカルバスのような、異なるバス構造のうちのいずれか1つ又は組合せを含むことができる。制御及びデータ回線のような様々な他の例も考えられる。
処理システム704は、ハードウェアを使用して1つ以上の動作を実行する機能性を表す。したがって、処理システム704は、プロセッサ、機能ブロック等として構成され得るハードウェア要素710を含むように図示されている。これは、特定用途向け集積回路又は1つ若しくは複数の半導体を使用して形成される他の論理デバイスとして、ハードウェアの実装を含むことがある。ハードウェア要素710は、これらが形成される材料や用いられる処理機構に制限されない。例えばプロセッサは、半導体及び/又はトランジスタ(例えば電子集積回路(IC))から構成されることがある。そのようなコンテキストにおいて、プロセッサ実行可能命令は、電子的に実行可能な命令であってよい。
コンピュータ読取可能記憶媒体706は、メモリ/ストレージ712を含むように図示されている。メモリ/ストレージ712は、1つ以上のコンピュータ読取可能媒体に関連付けられたメモリ/記憶機能を表す。メモリ/ストレージコンポーネント712は、揮発性媒体(ランダムアクセスメモリ(RAM)等)及び/又は非揮発性媒体(読取専用メモリ(ROM)、フラッシュメモリ、光ディスク、磁気ディスク等)を含むことができる。メモリ/ストレージコンポーネント712は、固定の媒体(例えばRAM、ROM、固定のハードドライブ等)並びに取外し可能媒体(例えばフラッシュメモリ、取外し可能ハードドライブ、光ディスク等)を含むことができる。コンピュータ読取可能媒体706は、以下で更に説明されるように様々な他の方法で構成されてもよい。
入出力(I/O)インタフェース708は、ユーザがコマンド及び情報をコンピューティングデバイス702に入力するのを可能にし、また様々な入出力デバイスを使用して、情報をユーザ及び/又は他のコンポーネント若しくはデバイスに提示することを可能にする機能性を表す。入力デバイスの例には、キーボード、カーソル制御デバイス(例えばマウス)、マイク、スキャナ、タッチ機能(例えば物理的な接触を検出するように構成される容量式センサ又は他のセンサ)、カメラ(例えば赤外線周波数のような可視又は非可視の波長を用いて、接触を伴わない動きをジェスチャとして認識し得るもの)等が含まれる。出力デバイスの例には、ディスプレイデバイス(例えばモニタ又はプロジェクタ)、スピーカ、プリンタ、ネットワークカード、触覚応答デバイス等が含まれる。したがって、コンピューティングデバイス702は、以下で更に説明されるように、ユーザ対話をサポートするように様々な方法で構成され得る。
本明細書では、様々な技術がソフトウェア、ハードウェア要素又はプログラムモジュールの一般的なコンテキストにおいて説明され得る。一般に、そのようなモジュールは、特定のタスクを実行するか特定の抽象データ型を実装するルーチン、プログラム、オブジェクト、要素、コンポーネント、データ構造等を含む。本明細書で使用されるとき、「モジュール」、「機能(性)」及び「コンポーネント」という用語は、一般的に、ソフトウェア、ファームウェア、ハードウェア又はこれらの組合せを表す。本明細書で説明される技術の特徴はプラットフォーム独立であるが、これは、本技術が、様々なプロセッサを有する様々な市販のコンピューティングプラットフォームにおいて実装され得ることを意味する。
説明されるモジュール及び技術の実装は、何らかの形式のコンピュータ読取可能媒体に格納されるか、そのコンピュータ読取可能媒体によって伝送され得る。コンピュータ読取可能媒体は、コンピューティングデバイス702によってアクセスされ得る様々な媒体を含み得る。限定ではなく例として、コンピュータ読取可能媒体は、「コンピュータ読取可能記憶媒体」と「コンピュータ読取可能信号媒体」とを含むことがある。
「コンピュータ読取可能記憶媒体」は、単なる信号伝送や、搬送波又は信号自体等とは対照的に、情報の持続的及び/又は非一時的な記憶を可能にする媒体及び/又はデバイスを指すことができる。したがって、コンピュータ読取可能記憶媒体は、非信号担持媒体を指す。コンピュータ読取可能媒体は、コンピュータ読取可能命令、データ構造、プログラムモジュール、ロジック要素/回路又は他のデータのような情報の記憶に適した方法又は技術で実装される、揮発性及び非揮発性、取外し可能及び取外し不可能の媒体及び/又はストレージデバイスのようなハードウェアを含む。コンピュータ読取可能記憶媒体の例には、これらに限られないが、RAM、ROM、EEPROM、フラッシュメモリ若しくは他のメモリ技術、CD−ROM、デジタル多用途ディスク(DVD)若しくは他の光ストレージ、ハードディスク、磁気カセット、磁気テープ、磁気ディスクストレージ若しくは他の磁気ストレージデバイス、あるいは所望の情報を格納することに適切であって、コンピュータによってアクセス可能な他の記憶デバイス、有形の媒体又は製品が含まれる。
「コンピュータ読取可能信号媒体」は、命令を、ネットワークを介するなどしてコンピューティングデバイス702のハードウェアに伝送するように構成される信号担持媒体を指すことがある。信号媒体は典型的に、コンピュータ読取可能命令、データ構造、プログラムモジュール又は他のデータを、搬送波、データ信号又は他の伝送機構のような変調データ信号で具現化することができる。信号媒体は、任意の情報配信媒体も含む。「変調データ信号」という用語は、情報を信号にエンコードするような方法で設定又は変更された特性の1つ又は複数を有する信号を意味する。限定ではなく例として、通信媒体は、有線ネットワーク又は直接有線接続のような有線媒体と、音響、RF、赤外線及び他の無線媒体のような無線媒体とを含む。
上述のように、ハードウェア要素710及びコンピュータ読取可能媒体706は、一部の実施形態において、1つ以上の命令を実行するような、説明される技術の少なくとも一部の態様を実装するために用いられるハードウェア形式で実装されるモジュール、プログラマブルデバイスロジック及び/又は固定のデバイスロジックを表す。ハードウェアは、集積回路若しくはオンチップシステム、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、結合プログラム可能論理回路(CPLD)及びシリコンでの他の実装や他のハードウェアが含まれる。このコンテキストにおいて、ハードウェアは、命令によって定義されるプログラムタスク及び/又はハードウェアによって具現化されるロジックを実行する処理デバイス、並びに実行のために命令を格納するために用いられるハードウェア、例えば前述したコンピュータ読取可能記憶媒体として動作してもよい。
上述の組合せを用いて、本明細書で説明される様々な技術を実装することもできる。したがって、ソフトウェア、ハードウェア又は実行可能モジュールを、何らかの形式のコンピュータ読取可能記憶媒体において及び/又は1つ以上のハードウェア要素710によって具現化される1つ以上の命令及び/又はロジックとして実装してもよい。コンピューティングデバイス702は、ソフトウェア及び/又はハードウェアモジュールに対応する特定の命令及び/又は機能を実装するように構成され得る。したがって、コンピューティングデバイス702によって実行可能なモジュールのソフトウェアとしての実装は、少なくとも部分的にハードウェアで、例えばコンピュータ読取可能記憶媒体及び/又は処理システム704のハードウェア要素710の使用を通して達成され得る。命令及び/又は機能は、本明細書で説明される技術、モジュール及び実施例を実装するよう1つ以上の製品(例えば1つ以上のコンピューティングデバイス702及び/又は処理システム704)によって実行可能/動作可能である。
図7に更に図示されるように、例示システム700は、アプリケーションをパーソナルコンピュータ(PC)、テレビジョンデバイス及び/又はモバイルデバイス上で実行するときに、シームレスなユーザ経験のためのユビキタス環境を可能にする。サービス及びアプリケーションは実質的に、アプリケーションを使用している間、ビデオゲームをプレイしている間、ビデオを観ている間等に、あるデバイスから次のデバイスに遷移する際に、共通のユーザ経験のために3つの全ての環境において同様に動作する。
例示システム700において、複数のデバイスは中央コンピューティングデバイスを通して相互接続される。中央コンピューティングデバイスは、複数のデバイスにローカルであってもよく、複数のデバイスからリモートに配置されてもよい。一実施形態において、中央コンピューティングデバイスは、複数のデバイスにネットワーク、インターネット又は他のデータ通信リンクを通して接続される、1つ以上のサーバコンピュータのクラウドであってよい。
一実施形態において、この相互接続アーキテクチャは、複数のデバイスにわたって配信され、複数のデバイスのユーザに共通でシームレスな経験を提供するのを可能にする。複数のデバイスの各々は、異なる物理的要件及び能力を有し、中央コンピューティングデバイスは、プラットフォームを使用して、デバイスへの経験の配信を可能にするが、この経験は、そのデバイスに対して調整されるが、全てのデバイスに対して共通でもある。一実施形態において、ターゲットデバイスのクラスを作成し、経験をデバイスの汎用クラスに対して調整する。デバイスのクラスを、物理的な特徴、利用のタイプ又はデバイスの他の共通の特性によって定義してもよい。
様々な実装において、コンピューティングデバイス702は、コンピュータ714用、モバイル716用、テレビジョン718用の使用のような様々な異なる構成を想定してもよい。これらの構成の各々は、一般に異なる構成及び能力を有することがあるデバイスを含み、したがって、コンピューティングデバイス702は、異なるデバイスクラスの1つ又は複数に従って構成され得る。例えばコンピューティングデバイス702は、パーソナルコンピュータ、デスクトップコンピュータ、マルチスクリーンコンピュータ、ラップトップコンピュータ、ネットブック等を含むデバイスのコンピュータ714クラスとして実装され得る。
コンピューティングデバイス702は、モバイルフォン、ポータブル音楽プレイヤ、ポータブルゲームデバイス、タブレットコンピュータ、マルチスクリーンコンピュータ等のモバイルデバイスを含むデバイスのモバイル716クラスとして実装されてもよい。コンピューティングデバイス702は、簡潔な視聴環境において一般的に大きなスクリーンを有するか、これと接続されるデバイスを含むテレビジョン718クラスとして実装されてもよい。これらのデバイスは、テレビジョン、セットトップボックス、ゲームコンソール等を含む。
本明細書で説明される技術は、コンピューティングデバイス702のこれらの様々な構成によってサポートされ、本明細書で説明される技術の特定の実施例に限定されない。この機能性は、以下で説明されるように、分散システムの使用を通して、プラットフォーム722を介して「クラウド」720上に、全て又は部分的に実装され得る。
クラウド720は、リソース724のためのプラットフォーム722を含むか、及び/又はこれを表す。プラットフォーム722は、クラウド720のハードウェア(例えばサーバ)及びソフトウェアリソースの機能を抽象化する。リソース724は、コンピューティングデバイス702からリモートのサーバ上でコンピュータ処理が実行されている間に用いることができるアプリケーション及び/又はデータを含み得る。リソース724は、インターネット上で及び/又はセルラ若しくはWi−Fiネットワークのような加入者ネットワークを通して提供されるサービスを含むこともできる。
プラットフォーム722は、コンピューティングデバイス702を他のコンピューティングデバイスに接続するリソース及び機能を抽出する。プラットフォーム722は、リソースのスケーリングを抽象化して、スケールの対応するレベルを、プラットフォーム722を介して実装されるリソース724について生じた要求に提供するように機能することもある。したがって、相互接続されるデバイスの実施形態において、本明細書で説明される機能性の実装をシステム700にわたって分散してもよい。例えば機能性は、部分的にコンピューティングデバイス702内に実装されてもよく、クラウド720の機能性を抽象化するプラットフォーム722を介して実装されてもよい。
<結論>
本発明を、構造的特徴及び/又は方法的動作に特有の言語で説明してきたが、添付の特許請求の範囲において定義される発明は、必ずしも説明される具体的な特徴又は動作に限定されない。むしろ、具体的な特徴及び動作は、特許請求される発明を実装するための例示の形式として開示される。

Claims (20)

  1. 命令が記憶される1つ以上のコンピュータ読取可能記憶メモリと;
    1つ以上のプロセッサであって、前記命令を実行して、
    コンピューティングデバイスにおける実行のためにアプリケーションを起動する動作と、
    前記アプリケーションの起動に応答して、自動的かつユーザ介入なしに、
    画像キュレーションの基準を生成する動作と、
    前記生成された画像キュレーションの基準を使用して、ユーザに関連付けられる画像をキュレートする動作と、
    前記キュレートされた画像及び前記基準のインジケータを、前記コンピューティングデバイスのディスプレイデバイスにより表示させる動作と、
    を含む動作を実行するように構成される、1つ以上のプロセッサと;
    を具備するシステム。
  2. 前記アプリケーションは、オペレーティングシステムの一部であり、前記の起動する動作は、前記キュレートされた画像を出力するために前記ユーザによるオプションの選択に応答して実行される、
    請求項1に記載のシステム。
  3. 前記基準は、前記画像に対応する1つ以上のピクセルについて実行すべき分析を指定する、
    請求項1に記載のシステム。
  4. 前記基準は、前記画像に関連付けられるメタデータに対応する、
    請求項1に記載のシステム。
  5. 前記のキュレートする動作は、前記アプリケーションの実行を通して、ネットワークを介してリモートにアクセス可能な少なくとも1つの画像について、該少なくとも1つの画像をダウンロードすることなく該少なくとも1つの画像を識別するために実行される、
    請求項1に記載のシステム。
  6. 前記少なくとも1つの画像は、前記基準を使用して、前記少なくとも1つの画像の識別に応答してダウンロードされる、
    請求項5に記載のシステム。
  7. 前記画像をキュレートする動作は、
    自動的かつユーザ介入なしに、前記画像を識別する動作と、
    自動的かつユーザ介入なしに、表示すべき前記識別された画像のサブセットを選択する動作と、
    自動的かつユーザ介入なしに、前記選択された画像のサブセットのうちの1つ以上の画像を、画像レイアウト内の位置に合致させる動作と、
    自動的かつユーザ介入なしに、前記画像レイアウト内の前記選択された画像のサブセットのうちの少なくとも1つの表示を置換する動作と、
    を含む、請求項1に記載のシステム。
  8. 所定の時間の経過後に追加の基準を生成する動作と、前記追加の基準の生成に応答して追加の画像をキュレートする動作と、
    を更に含む、請求項7に記載のシステム。
  9. 前記追加の基準の生成は、以前に生成された前記基準に少なくとも部分的に基づく、
    請求項8に記載のシステム。
  10. 前記の置換する動作は、前記画像レイアウト内の第1の画像について実行され、前記画像レイアウト内の第2の画像については同じ時点では実行されず、前記第1及び第2の画像は、以前の時点で同時に表示されている、
    請求項7に記載のシステム。
  11. 前記画像のソースは、前記コンピューティングデバイスに記憶されるユーザの認証情報を使用して、ネットワークを介してリモートにアクセス可能である、
    請求項1に記載のシステム。
  12. 前記認証情報は、前記ユーザのログインがあると、前記コンピューティングデバイスに対してアクセス可能である、
    請求項11に記載のシステム。
  13. 前記画像は、静止画像又はビデオ画像を含む、
    請求項1に記載のシステム。
  14. 命令が記憶される1つ以上のコンピュータ読取可能記憶メモリと、
    1つ以上のプロセッサであって、前記命令を実行して、
    前記命令を備えるアプリケーションの実行を開始したことに応答して、自動的かつユーザ介入なしに基準を生成する動作と、
    前記の生成する動作に応答して、前記生成された基準を使用して、自動的かつユーザ介入なしに、ユーザに関連付けられる画像を識別する動作と、
    前記の識別する動作に応答して、自動的かつユーザ介入なしに、表示用に前記識別された画像のサブセットを選択する動作と、
    前記の選択する動作に応答して、自動的かつユーザ介入なしに、前記識別された画像の前記選択されたサブセットを画像レイアウト内に表示する動作であって、前記画像レイアウトは、前記画像レイアウト内に表示されている少なくとも1つの画像を識別するために使用される、前記生成された基準のうちの少なくとも1つの説明を含む、動作と、
    を含む動作を実行するように構成される、1つ以上のプロセッサと;
    を具備するシステム。
  15. 前記基準のうちの少なくとも1つは、人々、時間又は位置に基づく、
    請求項14に記載のシステム。
  16. 前記基準のうちの少なくとも1つは、前記画像内に含まれるピクセルに基づく、
    請求項14に記載のシステム。
  17. コンピューティングデバイスにおける実行のためにアプリケーションを起動するステップと;
    前記アプリケーションを起動することに応答して、自動的かつユーザ介入なしに生成される画像キュレーションの基準を使用して、自動的かつユーザ介入なしに画像をキュレートするステップと;
    前記キュレートするステップに応答して、自動的かつユーザ介入なしに、前記キュレートされた画像をディスプレイデバイスにより表示させるステップであって、前記キュレートされた画像は、該キュレートされた画像のうちの少なくとも2つ以上が同時に表示されるようレイアウトに従って表示され、該レイアウトは、前記キュレートされた画像のうち前記レイアウトに従って表示されている少なくとも1つの画像を識別するために使用される、前記生成された基準のうちの少なくとも1つの説明を含む、ステップと;
    を具備する方法。
  18. 前記レイアウトは、該レイアウトを見るときにユーザに対して可視の事前構成された境界を含まない、
    請求項17に記載の方法。
  19. 前記アプリケーションは、オペレーティングシステムの一部であり、前記の起動するステップは、前記キュレートされた画像を出力するためにユーザによるオプションの選択に応答して実行される、
    請求項17に記載の方法。
  20. 前記画像は、静止画像又はビデオ画像を含む、
    請求項17に記載の方法。
JP2017218908A 2012-07-17 2017-11-14 ユーザ介入なくレイアウトに従った画像識別及び編成 Active JP6479142B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/551,297 2012-07-17
US13/551,297 US9092455B2 (en) 2012-07-17 2012-07-17 Image curation

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015523164A Division JP6249419B2 (ja) 2012-07-17 2013-07-16 ユーザー介入なくレイアウトに従った画像識別及び編成

Publications (2)

Publication Number Publication Date
JP2018077851A JP2018077851A (ja) 2018-05-17
JP6479142B2 true JP6479142B2 (ja) 2019-03-06

Family

ID=48906496

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2015523164A Active JP6249419B2 (ja) 2012-07-17 2013-07-16 ユーザー介入なくレイアウトに従った画像識別及び編成
JP2017218908A Active JP6479142B2 (ja) 2012-07-17 2017-11-14 ユーザ介入なくレイアウトに従った画像識別及び編成

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2015523164A Active JP6249419B2 (ja) 2012-07-17 2013-07-16 ユーザー介入なくレイアウトに従った画像識別及び編成

Country Status (11)

Country Link
US (2) US9092455B2 (ja)
EP (1) EP2875450A1 (ja)
JP (2) JP6249419B2 (ja)
KR (1) KR102083696B1 (ja)
CN (1) CN104471574B (ja)
AU (2) AU2013290458B2 (ja)
BR (1) BR112015000841A8 (ja)
CA (1) CA2878647A1 (ja)
MX (2) MX343516B (ja)
RU (1) RU2639651C2 (ja)
WO (1) WO2014014855A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
US9075566B2 (en) 2012-03-02 2015-07-07 Microsoft Technoogy Licensing, LLC Flexible hinge spine
US9134807B2 (en) 2012-03-02 2015-09-15 Microsoft Technology Licensing, Llc Pressure sensitive key normalization
US20130300590A1 (en) 2012-05-14 2013-11-14 Paul Henry Dietz Audio Feedback
US9092455B2 (en) 2012-07-17 2015-07-28 Microsoft Technology Licensing, Llc Image curation
US10373212B2 (en) * 2013-03-14 2019-08-06 Facebook, Inc. Methods for linking images in social feeds to branded content
US9696874B2 (en) * 2013-05-14 2017-07-04 Google Inc. Providing media to a user based on a triggering event
US10324733B2 (en) 2014-07-30 2019-06-18 Microsoft Technology Licensing, Llc Shutdown notifications
US9787576B2 (en) 2014-07-31 2017-10-10 Microsoft Technology Licensing, Llc Propagating routing awareness for autonomous networks
US9836464B2 (en) 2014-07-31 2017-12-05 Microsoft Technology Licensing, Llc Curating media from social connections
US10678412B2 (en) 2014-07-31 2020-06-09 Microsoft Technology Licensing, Llc Dynamic joint dividers for application windows
US10254942B2 (en) 2014-07-31 2019-04-09 Microsoft Technology Licensing, Llc Adaptive sizing and positioning of application windows
US10592080B2 (en) 2014-07-31 2020-03-17 Microsoft Technology Licensing, Llc Assisted presentation of application windows
US10317677B2 (en) 2015-02-09 2019-06-11 Microsoft Technology Licensing, Llc Display system
US9372347B1 (en) 2015-02-09 2016-06-21 Microsoft Technology Licensing, Llc Display system
US9423360B1 (en) 2015-02-09 2016-08-23 Microsoft Technology Licensing, Llc Optical components
US9513480B2 (en) 2015-02-09 2016-12-06 Microsoft Technology Licensing, Llc Waveguide
US9535253B2 (en) 2015-02-09 2017-01-03 Microsoft Technology Licensing, Llc Display system
US9429692B1 (en) 2015-02-09 2016-08-30 Microsoft Technology Licensing, Llc Optical components
US11086216B2 (en) 2015-02-09 2021-08-10 Microsoft Technology Licensing, Llc Generating electronic components
US9827209B2 (en) 2015-02-09 2017-11-28 Microsoft Technology Licensing, Llc Display system
US10018844B2 (en) 2015-02-09 2018-07-10 Microsoft Technology Licensing, Llc Wearable image display system
US9916075B2 (en) 2015-06-05 2018-03-13 Apple Inc. Formatting content for a reduced-size user interface
US10210598B2 (en) 2015-06-17 2019-02-19 Samsung Electronics Co., Ltd. Electronic device for displaying a plurality of images and method for processing an image
CN109478192B (zh) * 2016-06-02 2023-08-29 柯达阿拉里斯股份有限公司 用于提供一种或多种定制的以媒体为中心的产品的方法
DK201670595A1 (en) 2016-06-11 2018-01-22 Apple Inc Configuring context-specific user interfaces
DK201670608A1 (en) * 2016-06-12 2018-01-02 Apple Inc User interfaces for retrieving contextually relevant media content
US10324973B2 (en) 2016-06-12 2019-06-18 Apple Inc. Knowledge graph metadata network based on notable moments
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
WO2018057272A1 (en) 2016-09-23 2018-03-29 Apple Inc. Avatar creation and editing
US11361018B2 (en) * 2017-11-28 2022-06-14 Adobe Inc. Automatically curated image searching
WO2019183393A1 (en) * 2018-03-21 2019-09-26 Lei Zhou Controlling movement of an automated guided vehicle
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11243996B2 (en) 2018-05-07 2022-02-08 Apple Inc. Digital asset search user interface
US11086935B2 (en) 2018-05-07 2021-08-10 Apple Inc. Smart updates from historical database changes
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10803135B2 (en) 2018-09-11 2020-10-13 Apple Inc. Techniques for disambiguating clustered occurrence identifiers
US10846343B2 (en) 2018-09-11 2020-11-24 Apple Inc. Techniques for disambiguating clustered location identifiers
US11170035B2 (en) * 2019-03-29 2021-11-09 Snap Inc. Context based media curation
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
CN111629452A (zh) * 2020-04-02 2020-09-04 北京大米科技有限公司 一种数据传输控制方法、装置、存储介质及电子设备
KR20230073875A (ko) * 2021-11-19 2023-05-26 삼성전자주식회사 이미지를 적응적으로 디스플레이하는 전자 장치 및 그 동작 방법

Family Cites Families (88)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU649455B2 (en) 1990-07-11 1994-05-26 American Telephone And Telegraph Company Distributed computing system
US6034652A (en) 1996-03-22 2000-03-07 Interval Research Corporation Attention manager for occupying the peripheral attention of a person in the vicinity of a display device
US8621032B2 (en) 1996-07-18 2013-12-31 Ca, Inc. Method and apparatus for intuitively administering networked computer systems
US20030033402A1 (en) 1996-07-18 2003-02-13 Reuven Battat Method and apparatus for intuitively administering networked computer systems
US6396941B1 (en) 1996-08-23 2002-05-28 Bacus Research Laboratories, Inc. Method and apparatus for internet, intranet, and local viewing of virtual microscope slides
JP2000076267A (ja) * 1998-08-31 2000-03-14 Sharp Corp 情報検索方法、情報検索装置、及び情報検索プログラムを記録したコンピュータ読み取り可能な記録媒体
DE69915566T2 (de) 1998-11-25 2005-04-07 Eastman Kodak Co. Zusammenstellung und Änderung von Fotocollagen durch Bilderkennung
US6924828B1 (en) 1999-04-27 2005-08-02 Surfnotes Method and apparatus for improved information representation
JP2001290820A (ja) 2000-01-31 2001-10-19 Mitsubishi Electric Corp 映像収集装置、映像検索装置および映像収集検索システム
US6901403B1 (en) 2000-03-02 2005-05-31 Quovadx, Inc. XML presentation of general-purpose data sources
US7221395B2 (en) * 2000-03-14 2007-05-22 Fuji Photo Film Co., Ltd. Digital camera and method for compositing images
US7209874B2 (en) 2002-02-25 2007-04-24 Zoran Corporation Emulator-enabled network connectivity to a device
US7966184B2 (en) 2006-03-06 2011-06-21 Audioeye, Inc. System and method for audible web site navigation
JP2006518507A (ja) 2003-02-19 2006-08-10 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ポータブル装置間でのコンテンツアイテムのアドホック共有のためのシステムと、そのインタラクション方法
JP4126699B2 (ja) 2003-11-05 2008-07-30 インターナショナル・ビジネス・マシーンズ・コーポレーション コンテンツの再生を制限するコンテンツ再生装置、情報処理システム、再生制限方法、コンテンツ再生プログラム、及び記録媒体
US7992103B2 (en) 2004-04-26 2011-08-02 Microsoft Corporation Scaling icons for representing files
US8028323B2 (en) 2004-05-05 2011-09-27 Dryden Enterprises, Llc Method and system for employing a first device to direct a networked audio device to obtain a media item
US7730012B2 (en) 2004-06-25 2010-06-01 Apple Inc. Methods and systems for managing data
US7366742B1 (en) 2004-09-10 2008-04-29 Symantec Operating Corporation System and method for distributed discovery and management of frozen images in a storage environment
US20060107056A1 (en) 2004-11-17 2006-05-18 Dhiraj Bhatt Techniques to manage digital media
JP2006155459A (ja) * 2004-12-01 2006-06-15 Casio Comput Co Ltd 画像再生装置およびプログラム
JP2006203574A (ja) * 2005-01-20 2006-08-03 Matsushita Electric Ind Co Ltd 画像表示装置
US20070050467A1 (en) 2005-04-06 2007-03-01 Chris Borrett Digital asset management system, including customizable metadata model for asset cataloging and permissioning of digital assets, such as for use with digital images and songs
WO2006127660A2 (en) 2005-05-23 2006-11-30 Picateers, Inc. System and method for collaborative image selection
US10769215B2 (en) * 2005-07-14 2020-09-08 Conversant Wireless Licensing S.A R.L. Method, apparatus and computer program product providing an application integrated mobile device search solution using context information
US7636509B2 (en) 2005-08-04 2009-12-22 Microsoft Corporation Media data representation and management
EP2541430A2 (en) 2005-12-22 2013-01-02 Catalog.Com, Inc. Social network-enabled interactive media player
US7945848B2 (en) 2006-06-21 2011-05-17 Microsoft Corporation Dynamically modifying a theme-based media presentation
US8060514B2 (en) 2006-08-04 2011-11-15 Apple Inc. Methods and systems for managing composite data files
US8104048B2 (en) 2006-08-04 2012-01-24 Apple Inc. Browsing or searching user interfaces and other aspects
US20110161174A1 (en) 2006-10-11 2011-06-30 Tagmotion Pty Limited Method and apparatus for managing multimedia files
US8756510B2 (en) 2006-10-17 2014-06-17 Cooliris, Inc. Method and system for displaying photos, videos, RSS and other media content in full-screen immersive view and grid-view using a browser feature
TW200823739A (en) 2006-11-22 2008-06-01 Ulead Systems Inc Method for displaying digital items
US20080215984A1 (en) * 2006-12-20 2008-09-04 Joseph Anthony Manico Storyshare automation
US7856380B1 (en) 2006-12-29 2010-12-21 Amazon Technologies, Inc. Method, medium, and system for creating a filtered image set of a product
WO2008085205A2 (en) 2006-12-29 2008-07-17 Prodea Systems, Inc. System and method for providing network support services and premises gateway support infrastructure
JP4983655B2 (ja) * 2007-03-07 2012-07-25 ソニー株式会社 表示制御装置、表示制御方法、表示制御プログラム及び表示システム
US8094948B2 (en) * 2007-04-27 2012-01-10 The Regents Of The University Of California Photo classification using optical parameters of camera from EXIF metadata
US8554784B2 (en) 2007-08-31 2013-10-08 Nokia Corporation Discovering peer-to-peer content using metadata streams
US8634674B2 (en) * 2007-09-11 2014-01-21 Vistaprint Schweiz Gmbh Dynamic sizing and positioning of multiple images
US9704532B2 (en) * 2008-01-14 2017-07-11 Apple Inc. Creating and viewing preview objects
US20090198581A1 (en) 2008-02-06 2009-08-06 Lidestri James M Digital creative works widgets
US8612888B2 (en) * 2008-04-01 2013-12-17 Litl, Llc Method and apparatus for managing digital media content
US8285810B2 (en) 2008-04-17 2012-10-09 Eloy Technology, Llc Aggregating media collections between participants of a sharing network utilizing bridging
WO2009149063A1 (en) 2008-06-02 2009-12-10 Azuki Systems, Inc. Media mashup system
US8307066B2 (en) 2008-06-06 2012-11-06 International Business Machines Corporation Automated digital media content filtration based on relationship monitoring
US11017160B2 (en) 2008-07-03 2021-05-25 Ebay Inc. Systems and methods for publishing and/or sharing media presentations over a network
US8893015B2 (en) 2008-07-03 2014-11-18 Ebay Inc. Multi-directional and variable speed navigation of collage multi-media
KR101182523B1 (ko) 2008-07-28 2012-09-12 삼성전자주식회사 홈 네트워크에서 브라우징 속도를 향상하기 위한 시스템 및방법
US8190639B2 (en) 2008-08-15 2012-05-29 International Business Machines Corporation Ordering content in social networking applications
US8930817B2 (en) * 2008-08-18 2015-01-06 Apple Inc. Theme-based slideshows
US7752265B2 (en) 2008-10-15 2010-07-06 Eloy Technology, Llc Source indicators for elements of an aggregate media collection in a media sharing system
KR20100052676A (ko) * 2008-11-11 2010-05-20 삼성전자주식회사 컨텐츠 앨범화 장치 및 그 방법
US8412266B2 (en) * 2008-11-26 2013-04-02 Nec Corporation Portable terminal device, image display system, image display method, and computer-readable storage medium
US8442922B2 (en) 2008-12-24 2013-05-14 Strands, Inc. Sporting event image capture, processing and publication
US9014832B2 (en) 2009-02-02 2015-04-21 Eloy Technology, Llc Augmenting media content in a media sharing group
US20100262582A1 (en) 2009-04-10 2010-10-14 Microsoft Corporation Content synchronization across multiple computers
US8631326B2 (en) 2009-04-30 2014-01-14 Apple Inc. Segmented timeline for a media-editing application
US8281343B2 (en) 2009-05-19 2012-10-02 Cisco Technology, Inc. Management and display of video content
US8402071B2 (en) 2009-06-19 2013-03-19 Aptare, Inc. Catalog that stores file system metadata in an optimized manner
US20100333116A1 (en) 2009-06-30 2010-12-30 Anand Prahlad Cloud gateway system for managing data storage to cloud storage sites
US20110029635A1 (en) 2009-07-30 2011-02-03 Shkurko Eugene I Image capture device with artistic template design
BR112012006469A2 (pt) 2009-09-24 2017-02-21 Ringguides Inc métodos implementados por computador para permitir a criação e o compartilhamento de coleção de ativos definida pelo usuário e para forencer coleções dispostas de modo hierárquico de ativos e links e guia de programa para conteúdo de vídeo, produto extensível de programa de computador e serviço de hospedagem de mídia.
US9031860B2 (en) 2009-10-09 2015-05-12 Visa U.S.A. Inc. Systems and methods to aggregate demand
US8577872B2 (en) 2009-10-13 2013-11-05 Microsoft Corporation Selection of photos based on tagging history
US20110099199A1 (en) * 2009-10-27 2011-04-28 Thijs Stalenhoef Method and System of Detecting Events in Image Collections
US10509709B2 (en) 2009-10-30 2019-12-17 Pure Storage, Inc. Indirect storage of data in a dispersed storage system
US20110106798A1 (en) 2009-11-02 2011-05-05 Microsoft Corporation Search Result Enhancement Through Image Duplicate Detection
US8341037B2 (en) 2009-12-18 2012-12-25 Apple Inc. Mixed source media playback
US20110231745A1 (en) 2010-03-15 2011-09-22 TripAdvisor LLC. Slideshow creator
US8296380B1 (en) 2010-04-01 2012-10-23 Kel & Partners LLC Social media based messaging systems and methods
US9405845B2 (en) 2010-05-17 2016-08-02 Microsoft Technology Licensing, Llc Adaptable layouts for social feeds
US20110289067A1 (en) 2010-05-18 2011-11-24 Rovi Technologies Corporation User interface for content browsing and selection in a search portal of a content system
US20120154419A1 (en) * 2010-07-02 2012-06-21 Minehisa Nagata Image output device, image output method, and image display apparatus
US20130091204A1 (en) 2010-08-12 2013-04-11 Joheem Loh System and method of integrating various platforms and methods of using the same
US20120078952A1 (en) 2010-09-24 2012-03-29 Rovi Technologies Corporation Browsing hierarchies with personalized recommendations
US9588992B2 (en) * 2010-09-30 2017-03-07 Microsoft Technology Licensing, Llc Displaying images interesting to a user
EP2628143A4 (en) 2010-10-11 2015-04-22 Teachscape Inc METHOD AND SYSTEMS FOR RECORDING, PROCESSING, MANAGING AND / OR EVALUATING MULTIMEDIA CONTENT OF OBSERVED PERSONS IN EXECUTING A TASK
US8266115B1 (en) 2011-01-14 2012-09-11 Google Inc. Identifying duplicate electronic content based on metadata
US20120271823A1 (en) 2011-04-25 2012-10-25 Rovi Technologies Corporation Automated discovery of content and metadata
EP2521374B1 (en) 2011-05-03 2016-04-27 LG Electronics Inc. Image display apparatus and methods for operating the same
US20120290308A1 (en) 2011-05-12 2012-11-15 Detwiller Dennis Rewarding Users for Sharing Digital Content
AU2011202609B2 (en) * 2011-05-24 2013-05-16 Canon Kabushiki Kaisha Image clustering method
JP5449460B2 (ja) * 2011-06-28 2014-03-19 富士フイルム株式会社 画像処理装置、画像処理方法および画像処理プログラム
US20130067346A1 (en) 2011-09-09 2013-03-14 Microsoft Corporation Content User Experience
US8934661B2 (en) * 2011-12-09 2015-01-13 Facebook, Inc. Automatic photo album creation based on social information
US20130191767A1 (en) 2012-01-25 2013-07-25 Sap Ag Semantic Zooming of Data Object Representations in a User Interface
US9092455B2 (en) 2012-07-17 2015-07-28 Microsoft Technology Licensing, Llc Image curation

Also Published As

Publication number Publication date
KR20150034724A (ko) 2015-04-03
BR112015000841A8 (pt) 2021-06-01
US9317890B2 (en) 2016-04-19
JP2018077851A (ja) 2018-05-17
MX2015000816A (es) 2015-04-08
CA2878647A1 (en) 2014-01-23
RU2015101250A (ru) 2016-08-10
AU2018206841B2 (en) 2019-11-14
MX343516B (es) 2016-10-24
KR102083696B1 (ko) 2020-03-02
US9092455B2 (en) 2015-07-28
WO2014014855A1 (en) 2014-01-23
US20150287162A1 (en) 2015-10-08
AU2013290458A1 (en) 2015-02-05
JP6249419B2 (ja) 2017-12-20
JP2015529891A (ja) 2015-10-08
US20140022265A1 (en) 2014-01-23
RU2639651C2 (ru) 2017-12-21
BR112015000841A2 (pt) 2017-06-27
CN104471574A (zh) 2015-03-25
MX359661B (es) 2018-10-05
CN104471574B (zh) 2018-08-21
EP2875450A1 (en) 2015-05-27
AU2013290458B2 (en) 2018-05-10
AU2018206841A1 (en) 2018-08-09

Similar Documents

Publication Publication Date Title
JP6479142B2 (ja) ユーザ介入なくレイアウトに従った画像識別及び編成
US20140279075A1 (en) Interactive advertising
US20160179844A1 (en) Neural Network Image Curation Control
US20160306505A1 (en) Computer-implemented methods and systems for automatically creating and displaying instant presentations from selected visual content items
CN110347472A (zh) 可扩展应用表示、活动水平和桌面表示
JP2017523515A (ja) アイコンサイズ変更
CN105359094A (zh) 可扩展应用表示
KR20130018701A (ko) 다축 내비게이션
JP6300792B2 (ja) キャプチャされたデータの強化
KR20160140932A (ko) 확장 가능한 애플리케이션 표시 및 콘텐트 전송
KR20170097161A (ko) 브라우저 디스플레이 캐스팅 기법들
US20170004211A1 (en) Search Recommendation Method and Apparatus
CN107111418B (zh) 具有最小破坏性的图标位移
US20170091152A1 (en) Generating grid layouts with mutable columns
KR20170042345A (ko) 직접 액세스 애플리케이션 표현
KR20160022362A (ko) 상태 정보를 위한 동기화 지점
US10102395B2 (en) System and method for creating and transitioning to multiple facets of a social media object in a social network
US10270721B2 (en) Method and apparatus for uploading an attachment
JP6406028B2 (ja) ドキュメント表示支援装置、端末装置、ドキュメント表示方法、およびコンピュータプログラム
TWI514319B (zh) 藉由虛擬物件編輯資料之方法及系統,及相關電腦程式產品
US20150293888A1 (en) Expandable Application Representation, Milestones, and Storylines
US20180300301A1 (en) Enhanced inking capabilities for content creation applications
US20170228136A1 (en) Content providing method, content providing apparatus, and computer program stored in recording medium for executing the content providing method
JP2019531019A (ja) コンテンツ提供方法およびシステム
US20230333727A1 (en) Immersive gallery with linear scroll

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180918

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190205

R150 Certificate of patent or registration of utility model

Ref document number: 6479142

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250