JP6938680B2 - 関連コンテンツを使用した画像の効率的な増強 - Google Patents
関連コンテンツを使用した画像の効率的な増強 Download PDFInfo
- Publication number
- JP6938680B2 JP6938680B2 JP2019563199A JP2019563199A JP6938680B2 JP 6938680 B2 JP6938680 B2 JP 6938680B2 JP 2019563199 A JP2019563199 A JP 2019563199A JP 2019563199 A JP2019563199 A JP 2019563199A JP 6938680 B2 JP6938680 B2 JP 6938680B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- text
- search
- block
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Library & Information Science (AREA)
- General Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- User Interface Of Digital Computer (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
110 ユーザデバイス
111 画像アプリケーション
112 カメラ
113 画像
114 テキストプロセッサ
115 画像データ
116 コンテンツ取得部
118 ユーザインターフェースコントローラ、コンテンツ取得部
118 UIコントローラ
119 要求データ
120 ディスプレイ
122 ユーザインターフェース
123 要求データ
124 ローカルメモリ
130 クエリデータ
132 コンテンツ
140 データ通信ネットワーク
150 検索システム
152 検索エンジン
154 コンテキスト分類器
156 インデックス
205 ユーザインターフェース
210 第1のスクリーンショット
211 画像
220 第2のスクリーンショット
221 ユーザ選択可能なターゲット
222 ユーザ選択可能なターゲット
223 ユーザ選択可能なターゲット
224 ユーザ選択可能なターゲット
226 ポインタ
227 アレルギーインジケータ
230 スクリーンショット
231 ユーザ選択可能なターゲット
232 ユーザ選択可能なターゲット
233 ユーザ選択可能なターゲット
234 ユーザ選択可能なターゲット
236 ポインタ
240 スクリーンショット
241 ユーザ選択可能なターゲット
243 ユーザ選択可能なターゲット
305 ユーザインターフェース
310 スクリーンショット
311〜314 ユーザ選択可能なターゲット
311 ユーザ選択可能なターゲット
316 ポインタ
320 スクリーンショット
322 テキストブロック
323 画像
324 画像
405 ユーザインターフェース
410 スクリーンショット
411〜414 ユーザ選択可能なターゲット
411 ユーザ選択可能なターゲット
416 ポインタ
420 スクリーンショット
421 検索結果ページ
422 検索ボックス
423〜425 検索結果
500 プロセス
600 プロセス
Claims (59)
- ユーザデバイスによって、キャプチャされた画像からテキストを抽出するステップと、
前記ユーザデバイスによって、前記抽出されたテキストを複数のブロックに分割するステップと、
前記ユーザデバイスによって、第1のズームレベルにおいて、前記ユーザデバイスのユーザインターフェース上にそれぞれのユーザ選択可能なターゲットとして前記ブロックを提示するステップと、
前記複数のブロックのうちの第1のブロックのユーザ選択を検出するステップと、
前記第1のブロックの前記ユーザ選択の検出に応答して、前記ユーザデバイスによって、前記第1のズームレベルより大きい第2のズームレベルにおいて、前記第1のブロック内の前記抽出されたテキストの一部を、前記ユーザデバイスの前記ユーザインターフェース上にそれぞれの第2のユーザ選択可能なターゲットとして提示するステップと、
前記第1のブロック内の前記抽出されたテキストの一部のユーザ選択の検出に応答して、前記ユーザデバイスによって、前記ユーザ選択のテキストのコンテンツに基づいてアクションを開始するステップと
を備える、方法。 - 前記アクションを開始するステップが、前記ユーザ選択のテキストによって識別される宛先アドレスへの通信を開始するステップを備える、請求項1に記載の方法。
- 前記アクションを開始するステップが、
前記ユーザ選択のテキストの前記コンテンツに基づいて検索クエリを生成するステップと、
前記ユーザデバイスによって、検索エンジンに前記検索クエリを送信するステップと
を備える、請求項1に記載の方法。 - 前記アクションを開始するステップが、
前記ユーザ選択のテキストの前記コンテンツに基づいて、2つ以上の候補検索クエリを生成するステップと、
前記ユーザインターフェースに前記候補検索クエリを表示するステップと、
前記候補検索クエリのうちの1つのユーザ選択に応じて、前記ユーザデバイスによって、選択された候補検索クエリを検索エンジンに送信するステップと
を備える、請求項3に記載の方法。 - 前記ユーザデバイスによって、前記画像からコンテキストを抽出するステップをさらに備え、
前記検索クエリまたは前記候補検索クエリを生成するステップが、前記画像の前記抽出されたコンテキストにさらに基づいて、前記検索クエリまたは前記候補検索クエリを生成するステップを備える、請求項4に記載の方法。 - 前記ユーザデバイスによって、前記画像からコンテキストを抽出するステップと、
前記ユーザデバイスによって、前記画像の前記抽出されたコンテキストを使用して、前記画像が複数のあらかじめ定義されたカテゴリの1つに該当するかどうかを決定するステップと
をさらに備え、
前記検索クエリまたは前記候補検索クエリを生成するステップが、前記画像が前記あらかじめ定義されたカテゴリの1つに該当する場合、前記抽出されたコンテキストにさらに基づいて前記検索クエリまたは前記候補検索クエリを生成するステップを備え、該当しない場合、前記検索クエリまたは前記候補検索クエリを生成するステップが、前記ユーザ選択のテキストの前記コンテンツのみに基づく、請求項4に記載の方法。 - ユーザが前記ブロックのうちのいずれかを選択する前に、
少なくとも1つのブロックについて、前記ユーザデバイスによって、前記ブロックの前記抽出されたテキストに基づいて1つまたは複数の検索クエリを生成するステップと、
前記ユーザデバイスから検索エンジンに前記1つまたは複数の検索クエリを送信するステップと、
をさらに備える、請求項1から6のいずれか一項に記載の方法。 - 前記ユーザデバイスが、前記ユーザインターフェース上にユーザ選択可能なそれぞれのターゲットとして前記ブロックを提示する前に、前記1つまたは複数の検索クエリを生成して送信する、請求項7に記載の方法。
- 前記ユーザデバイスにおいて、前記1つまたは複数の検索クエリに基づいて前記検索エンジンから検索結果コンテンツを受信するステップと、
前記受信した検索結果コンテンツを前記ユーザデバイスのローカルメモリに記憶するステップと
をさらに備える、請求項7または8に記載の方法。 - 前記ブロックの前記抽出されたテキストに基づいて前記1つまたは複数の検索クエリを生成するステップが、
前記ブロックの前記抽出されたテキストを、第1のレベルのテキストベースの粒度においてテキストの複数の第1のセットに解析するステップと、
テキストの第1のセットごとに検索クエリを生成するステップと
を備える、請求項7、8、または9に記載の方法。 - 前記ブロックの前記ユーザ選択の検出に応答して、
前記ユーザデバイスによって、前記ブロックの前記抽出されたテキストを、テキストベースの粒度の前記第1のレベルよりも大きい第2のレベルのテキストベースの粒度においてテキストの複数の第2のセットに解析するステップと、
前記第1のブロック内の前記抽出されたテキストの一部の前記ユーザ選択を受信する前に、
前記ユーザデバイスによって、テキストの第2のセットごとに追加の検索クエリを生成するステップと、
前記ユーザデバイスから前記検索エンジンに各追加の検索クエリを送信するステップと、
前記ユーザデバイスによって、および前記検索エンジンから、前記追加の検索クエリに基づく追加の検索結果コンテンツを受信するステップと、
前記追加の検索結果コンテンツを前記ユーザデバイスのローカルメモリに記憶するステップと
をさらに備える、請求項10に記載の方法。 - 前記抽出されたテキストを前記ブロックに分割するステップが、前記抽出されたテキストの意味解析に少なくとも部分的に基づく、請求項1から11のいずれか一項に記載の方法。
- 前記ユーザインターフェース上に、検索エンジンから前記ユーザデバイスにおいて受信したコンテンツを表示するステップをさらに備える、請求項3から11のいずれか一項、または請求項3から11のいずれか一項に従属する請求項12に記載の方法。
- 1つまたは複数のコンピュータによって実行されると、前記1つまたは複数のコンピュータに、請求項1から13のいずれか一項において定義された方法を実行させる命令でエンコードされたコンピュータストレージ媒体。
- ユーザデバイスによって、画像からテキストを抽出するステップと、
前記ユーザデバイスによって、前記抽出されたテキストを複数のブロックに分割するステップと、
前記ユーザデバイスによって、第1のズームレベルにおいて、前記ユーザデバイスのユーザインターフェース上にそれぞれの第1のユーザ選択可能なターゲットとして前記複数のブロックを提示するステップと、
前記複数のブロックのうちの第1のブロックのユーザ選択を検出するステップと、
前記第1のブロックの前記ユーザ選択の検出に応答して、前記ユーザデバイスによって、前記第1のズームレベルより大きい第2のズームレベルにおいて、前記第1のブロック内の前記抽出されたテキストの一部を、前記ユーザデバイスの前記ユーザインターフェース上にそれぞれの第2のユーザ選択可能なターゲットとして提示するステップと、
前記第1のブロック内の前記抽出されたテキストの一部のユーザ選択の検出に応答して、前記ユーザデバイスによって、前記ユーザ選択のテキストのコンテンツに基づいてアクションを開始するステップと
を備える、方法。 - 前記アクションを開始するステップが、前記ユーザ選択のテキストによって識別される宛先アドレスへの通信を開始するステップを備える、請求項15に記載の方法。
- 前記アクションを開始するステップが、
前記ユーザ選択のテキストの前記コンテンツに基づいて検索クエリを生成するステップと、
前記ユーザデバイスによって、検索エンジンに前記検索クエリを送信するステップと
を備える、請求項15に記載の方法。 - 前記ユーザデバイスによって、前記画像からコンテキストを抽出するステップと、
前記画像の前記抽出されたコンテキストを使用して、前記画像が複数のあらかじめ定義されたカテゴリの1つに属すると決定するステップと、
前記画像が前記あらかじめ定義されたカテゴリの1つに属すると決定するステップに応答して、前記抽出されたコンテキストに基づいて前記検索クエリを調整するステップと
をさらに備える、請求項17に記載の方法。 - 前記ユーザデバイスによって、および前記検索エンジンから、前記検索クエリに基づいて選択された検索結果コンテンツを受信するステップをさらに備え、前記検索エンジンが、前記画像が属する前記1つのあらかじめ定義されたカテゴリに基づいて検索結果をランク付けする、請求項18に記載の方法。
- 前記ユーザデバイスによって、前記画像からコンテキストを抽出するステップと、
前記抽出された前記画像のコンテキストを使用して、前記画像が複数のあらかじめ定義されたカテゴリの1つに属さないと決定するステップと
をさらに備え、
前記検索クエリを生成するステップが、前記ユーザ選択のテキストのみに基づいて一般的な検索クエリを生成するステップを備える、請求項17に記載の方法。 - 前記アクションを開始するステップが、
前記ユーザ選択のテキストの前記コンテンツに基づいて、2つ以上の候補検索クエリを生成するステップと、
前記ユーザインターフェースに前記候補検索クエリを表示するステップと、
前記候補検索クエリのうちの1つのユーザ選択に応じて、前記ユーザデバイスによって、前記ユーザ選択の候補検索クエリを検索エンジンに送信するステップと
を備える、請求項15に記載の方法。 - ユーザが前記ブロックのうちのいずれかを選択する前に、
前記第1のブロックについて、前記ユーザデバイスによって、前記第1のブロックの前記抽出されたテキストに基づいて1つまたは複数の検索クエリを生成するステップと、
前記ユーザデバイスから検索エンジンに前記1つまたは複数の検索クエリを送信するステップと、
をさらに備える、請求項15に記載の方法。 - 前記ユーザデバイスが、前記複数のブロックを前記ユーザインターフェース上にそれぞれの第1のユーザ選択可能なターゲットとして提示する前に、前記1つまたは複数の検索クエリを生成して送信する、請求項22に記載の方法。
- 前記ユーザデバイスによって、前記1つまたは複数の検索クエリに基づいて前記検索エンジンから検索結果コンテンツを受信するステップと、
前記受信した検索結果コンテンツを前記ユーザデバイスのローカルメモリに記憶するステップと
をさらに備える、請求項22に記載の方法。 - 前記第1のブロックの前記抽出されたテキストに基づいて前記1つまたは複数の検索クエリを生成するステップが、
前記第1のブロックの前記抽出されたテキストを、第1のレベルのテキストベースの粒度においてテキストの複数の第1のセットに解析するステップと、
テキストの第1のセットごとに検索クエリを生成するステップと
を備える、請求項22に記載の方法。 - 前記第1のブロックの前記ユーザ選択の検出に応答して、
前記ユーザデバイスによって、前記第1のブロックの前記抽出されたテキストを、前記第1のレベルのテキストベースの粒度よりも大きい第2のレベルのテキストベースの粒度においてテキストの複数の第2のセットに解析するステップと、
前記第1のブロック内の前記抽出されたテキストの一部の前記ユーザ選択を受信する前に、
前記ユーザデバイスによって、テキストの第2のセットごとに追加の検索クエリを生成するステップと、
前記ユーザデバイスから前記検索エンジンに各追加の検索クエリを送信するステップと、
前記ユーザデバイスによって、および前記検索エンジンから、前記追加の検索クエリに基づく追加の検索結果コンテンツを受信するステップと、
前記追加の検索結果コンテンツを前記ユーザデバイスのローカルメモリに記憶するステップと
をさらに備える、請求項25に記載の方法。 - 前記抽出されたテキストを前記ブロックに分割するステップが、前記抽出されたテキストの意味解析に少なくとも部分的に基づく、請求項15に記載の方法。
- 前記ユーザインターフェース上に、検索エンジンから前記ユーザデバイスにおいて受信したコンテンツを表示するステップをさらに備える、請求項15に記載の方法。
- 前記ユーザインターフェース上に、前記検索エンジンから前記ユーザデバイスにおいて受信したコンテンツを表示するステップが、前記画像の少なくとも一部とともに前記コンテンツを前記ユーザデバイスのビューポートに表示するステップを備える、請求項28に記載の方法。
- データ処理装置と、
前記データ処理装置とデータ通信し、前記データ処理装置によって実行可能な命令を記憶するメモリ装置であって、前記命令が、前記データ処理装置による実行時に、前記データ処理装置に、
画像からテキストを抽出することと、
前記抽出されたテキストを複数のブロックに分割することと、
第1のズームレベルにおいて、ユーザインターフェース上にそれぞれの第1のユーザ選択可能なターゲットとして前記複数のブロックを提示することと、
前記複数のブロックのうちの第1のブロックのユーザ選択を検出することと、
前記第1のブロックの前記ユーザ選択の検出に応答して、前記第1のズームレベルより大きい第2のズームレベルにおいて、前記第1のブロック内の前記抽出されたテキストの一部を、前記ユーザインターフェース上にそれぞれの第2のユーザ選択可能なターゲットとして提示することと、
前記第1のブロック内の前記抽出されたテキストの一部のユーザ選択の検出に応答して、前記ユーザ選択のテキストのコンテンツに基づいてアクションを開始することと
を備える動作を実行させる、メモリ装置と
を備える、システム。 - 前記アクションを開始することが、前記ユーザ選択のテキストによって識別される宛先アドレスへの通信を開始することを備える、請求項30に記載のシステム。
- 前記アクションを開始することが、
前記ユーザ選択のテキストの前記コンテンツに基づいて検索クエリを生成することと、
検索エンジンに前記検索クエリを送信することと
を備える、請求項30に記載のシステム。 - 前記動作が、
前記画像からコンテキストを抽出することと、
前記画像の前記抽出されたコンテキストを使用して、前記画像が複数のあらかじめ定義されたカテゴリの1つに属すると決定することと、
前記画像が前記あらかじめ定義されたカテゴリの1つに属すると決定することに応答して、前記抽出されたコンテキストに基づいて前記検索クエリを調整することと
をさらに備える、請求項32に記載のシステム。 - 前記動作が、前記検索エンジンから、前記検索クエリに基づいて選択された検索結果コンテンツを受信することをさらに備え、前記検索エンジンが、前記画像が属する前記1つのあらかじめ定義されたカテゴリに基づいて検索結果をランク付けする、請求項33に記載のシステム。
- 前記動作が、
前記画像からコンテキストを抽出することと、
前記抽出された前記画像のコンテキストを使用して、前記画像が複数のあらかじめ定義されたカテゴリの1つに属さないと決定することと
をさらに備え、
前記検索クエリを生成することが、前記ユーザ選択のテキストのみに基づいて一般的な検索クエリを生成することを備える、請求項32に記載のシステム。 - 前記アクションを開始することが、
前記ユーザ選択のテキストの前記コンテンツに基づいて、2つ以上の候補検索クエリを生成することと、
前記ユーザインターフェースに前記候補検索クエリを表示することと、
前記候補検索クエリのうちの1つのユーザ選択に応じて、選択された候補検索クエリを検索エンジンに送信することと
を備える、請求項30に記載のシステム。 - 前記動作が、ユーザが前記ブロックのうちのいずれかを選択する前に、
前記第1のブロックについて、前記第1のブロックの前記抽出されたテキストに基づいて1つまたは複数の検索クエリを生成することと、
検索エンジンに前記1つまたは複数の検索クエリを送信することと、
をさらに備える、請求項30に記載のシステム。 - 前記データ処理装置が、前記複数のブロックを前記ユーザインターフェース上にそれぞれの第1のユーザ選択可能なターゲットとして提示する前に、前記1つまたは複数の検索クエリを生成して送信する、請求項37に記載のシステム。
- 前記動作が、
前記1つまたは複数の検索クエリに基づいて前記検索エンジンから検索結果コンテンツを受信することと、
前記受信した検索結果コンテンツを前記データ処理装置のローカルメモリに記憶することと
をさらに備える、請求項37に記載のシステム。 - 前記第1のブロックの前記抽出されたテキストに基づいて前記1つまたは複数の検索クエリを生成することが、
前記第1のブロックの前記抽出されたテキストを、第1のレベルのテキストベースの粒度においてテキストの複数の第1のセットに解析することと、
テキストの第1のセットごとに検索クエリを生成することと
を備える、請求項37に記載のシステム。 - 前記動作が、
前記第1のブロックの前記ユーザ選択の検出に応答して、
前記第1のブロックの前記抽出されたテキストを、前記第1のレベルのテキストベースの粒度よりも大きい第2のレベルのテキストベースの粒度においてテキストの複数の第2のセットに解析することと、
前記第1のブロック内の前記抽出されたテキストの一部の前記ユーザ選択を受信する前に、
テキストの第2のセットごとに追加の検索クエリを生成することと、
前記検索エンジンに各追加の検索クエリを送信することと、
前記検索エンジンから、前記追加の検索クエリに基づく追加の検索結果コンテンツを受信することと、
前記追加の検索結果コンテンツを前記データ処理装置のローカルメモリに記憶することと
をさらに備える、請求項40に記載のシステム。 - 前記抽出されたテキストを前記ブロックに分割することが、前記抽出されたテキストの意味解析に少なくとも部分的に基づく、請求項30に記載のシステム。
- 前記動作が、検索エンジンから受信したコンテンツを前記ユーザインターフェース上に表示することをさらに備える、請求項30に記載のシステム。
- 前記検索エンジンから受信したコンテンツを前記ユーザインターフェース上に表示することが、前記画像の少なくとも一部とともに前記データ処理装置のビューポートに前記コンテンツを表示することを備える、請求項43に記載のシステム。
- データ処理装置によって実行されると、前記データ処理装置に、
画像からテキストを抽出することと、
前記抽出されたテキストを複数のブロックに分割することと、
第1のズームレベルにおいて、ユーザインターフェース上にそれぞれの第1のユーザ選択可能なターゲットとして前記複数のブロックを提示することと、
前記複数のブロックのうちの第1のブロックのユーザ選択を検出することと、
前記第1のブロックの前記ユーザ選択の検出に応答して、前記第1のズームレベルより大きい第2のズームレベルにおいて、前記第1のブロック内の前記抽出されたテキストの一部を、前記ユーザインターフェース上にそれぞれの第2のユーザ選択可能なターゲットとして提示することと、
前記第1のブロック内の前記抽出されたテキストの一部のユーザ選択の検出に応答して、前記ユーザ選択のテキストのコンテンツに基づいてアクションを開始することと
を備える動作を実行させる命令を記憶した、非一時的コンピュータ可読ストレージ媒体。 - 前記アクションを開始することが、前記ユーザ選択のテキストによって識別される宛先アドレスへの通信を開始することを備える、請求項45に記載の非一時的コンピュータ可読ストレージ媒体。
- 前記アクションを開始することが、
前記ユーザ選択のテキストの前記コンテンツに基づいて検索クエリを生成するステップと、
検索エンジンに前記検索クエリを送信することと
を備える、請求項45に記載の非一時的コンピュータ可読ストレージ媒体。 - 前記動作が、
前記画像からコンテキストを抽出することと、
前記画像の前記抽出されたコンテキストを使用して、前記画像が複数のあらかじめ定義されたカテゴリの1つに属すると決定することと、
前記画像が前記あらかじめ定義されたカテゴリの1つに属すると決定することに応答して、前記抽出されたコンテキストに基づいて前記検索クエリを調整することと
をさらに備える、請求項47に記載の非一時的コンピュータ可読ストレージ媒体。 - 前記動作が、前記検索エンジンから、前記検索クエリに基づいて選択された検索結果コンテンツを受信することをさらに備え、前記検索エンジンが、前記画像が属する前記1つのあらかじめ定義されたカテゴリに基づいて検索結果をランク付けする、請求項48に記載の非一時的コンピュータ可読ストレージ媒体。
- 前記動作が、
前記画像からコンテキストを抽出することと、
前記抽出された前記画像のコンテキストを使用して、前記画像が複数のあらかじめ定義されたカテゴリの1つに属さないと決定することと
をさらに備え、
前記検索クエリを生成することが、前記ユーザ選択のテキストのみに基づいて一般的な検索クエリを生成することを備える、請求項47に記載の非一時的コンピュータ可読ストレージ媒体。 - 前記アクションを開始することが、
前記ユーザ選択のテキストの前記コンテンツに基づいて、2つ以上の候補検索クエリを生成することと、
前記ユーザインターフェースに前記候補検索クエリを表示することと、
前記候補検索クエリのうちの1つのユーザ選択に応じて、前記ユーザ選択の候補検索クエリを検索エンジンに送信することと
を備える、請求項45に記載の非一時的コンピュータ可読ストレージ媒体。 - 前記動作が、ユーザが前記ブロックのうちのいずれかを選択する前に、
前記第1のブロックについて、前記第1のブロックの前記抽出されたテキストに基づいて1つまたは複数の検索クエリを生成することと、
検索エンジンに前記1つまたは複数の検索クエリを送信することと、
をさらに備える、請求項45に記載の非一時的コンピュータ可読ストレージ媒体。 - 前記データ処理装置が、前記複数のブロックを前記ユーザインターフェース上にそれぞれの第1のユーザ選択可能なターゲットとして提示する前に、前記1つまたは複数の検索クエリを生成して送信する、請求項52に記載の非一時的コンピュータ可読ストレージ媒体。
- 前記動作が、
前記1つまたは複数の検索クエリに基づいて前記検索エンジンから検索結果コンテンツを受信することと、
前記受信した検索結果コンテンツを前記データ処理装置のローカルメモリに記憶することと
をさらに備える、請求項52に記載の非一時的コンピュータ可読ストレージ媒体。 - 前記第1のブロックの前記抽出されたテキストに基づいて前記1つまたは複数の検索クエリを生成することが、
前記第1のブロックの前記抽出されたテキストを、第1のレベルのテキストベースの粒度においてテキストの複数の第1のセットに解析することと、
テキストの第1のセットごとに検索クエリを生成することと
を備える、請求項52に記載の非一時的コンピュータ可読ストレージ媒体。 - 前記動作が、
前記第1のブロックの前記ユーザ選択の検出に応答して、
前記第1のブロックの前記抽出されたテキストを、前記第1のレベルのテキストベースの粒度よりも大きい第2のレベルのテキストベースの粒度においてテキストの複数の第2のセットに解析することと、
前記第1のブロック内の前記抽出されたテキストの一部の前記ユーザ選択を受信する前に、
テキストの第2のセットごとに追加の検索クエリを生成することと、
前記検索エンジンに各追加の検索クエリを送信することと、
前記検索エンジンから、前記追加の検索クエリに基づく追加の検索結果コンテンツを受信することと、
前記追加の検索結果コンテンツを前記データ処理装置のローカルメモリに記憶することと
をさらに備える、請求項55に記載の非一時的コンピュータ可読ストレージ媒体。 - 前記抽出されたテキストを前記ブロックに分割することが、前記抽出されたテキストの意味解析に少なくとも部分的に基づく、請求項45に記載の非一時的コンピュータ可読ストレージ媒体。
- 前記動作が、検索エンジンから受信したコンテンツを前記ユーザインターフェース上に表示することをさらに備える、請求項45に記載の非一時的コンピュータ可読ストレージ媒体。
- 前記検索エンジンから受信したコンテンツを前記ユーザインターフェース上に表示することが、前記画像の少なくとも一部とともに前記データ処理装置のビューポートに前記コンテンツを表示することを備える、請求項58に記載の非一時的コンピュータ可読ストレージ媒体。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021142388A JP7204847B2 (ja) | 2017-09-13 | 2021-09-01 | 関連コンテンツを使用した画像の効率的な増強 |
JP2022210457A JP7448628B2 (ja) | 2017-09-13 | 2022-12-27 | 関連コンテンツを使用した画像の効率的な増強 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2017/051333 WO2019054999A1 (en) | 2017-09-13 | 2017-09-13 | EFFICIENT AUGMENTATION OF IMAGES WITH RELATED CONTENT |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021142388A Division JP7204847B2 (ja) | 2017-09-13 | 2021-09-01 | 関連コンテンツを使用した画像の効率的な増強 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020521219A JP2020521219A (ja) | 2020-07-16 |
JP6938680B2 true JP6938680B2 (ja) | 2021-09-22 |
Family
ID=59966865
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563199A Active JP6938680B2 (ja) | 2017-09-13 | 2017-09-13 | 関連コンテンツを使用した画像の効率的な増強 |
JP2021142388A Active JP7204847B2 (ja) | 2017-09-13 | 2021-09-01 | 関連コンテンツを使用した画像の効率的な増強 |
JP2022210457A Active JP7448628B2 (ja) | 2017-09-13 | 2022-12-27 | 関連コンテンツを使用した画像の効率的な増強 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021142388A Active JP7204847B2 (ja) | 2017-09-13 | 2021-09-01 | 関連コンテンツを使用した画像の効率的な増強 |
JP2022210457A Active JP7448628B2 (ja) | 2017-09-13 | 2022-12-27 | 関連コンテンツを使用した画像の効率的な増強 |
Country Status (5)
Country | Link |
---|---|
US (3) | US11231832B2 (ja) |
EP (1) | EP3602321B1 (ja) |
JP (3) | JP6938680B2 (ja) |
CN (2) | CN110651267B (ja) |
WO (1) | WO2019054999A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110651267B (zh) * | 2017-09-13 | 2023-09-19 | 谷歌有限责任公司 | 有效地增强具有相关内容的图像 |
US10891800B1 (en) | 2017-09-29 | 2021-01-12 | Apple Inc. | Providing features of an electronic product in an augmented reality environment |
US11341207B2 (en) * | 2018-12-10 | 2022-05-24 | Ebay Inc. | Generating app or web pages via extracting interest from images |
KR102616156B1 (ko) * | 2019-01-30 | 2023-12-21 | 삼성전자주식회사 | 컨텐츠를 생성하기 위한 전자 장치 |
US20210133262A1 (en) * | 2019-10-31 | 2021-05-06 | The Goodyear Tire & Rubber Company | Tire purchase method |
CN111309200B (zh) * | 2020-01-17 | 2021-11-12 | 百度在线网络技术(北京)有限公司 | 一种扩展阅读内容的确定方法、装置、设备及存储介质 |
US11423019B2 (en) | 2020-03-24 | 2022-08-23 | Rovi Guides, Inc. | Methods and systems for modifying a search query having a non-character-based input |
US11978096B2 (en) * | 2020-06-29 | 2024-05-07 | Snap Inc. | Providing travel-based augmented reality content relating to user-submitted reviews |
US11671696B2 (en) | 2021-04-19 | 2023-06-06 | Apple Inc. | User interfaces for managing visual content in media |
US12001642B2 (en) | 2021-04-19 | 2024-06-04 | Apple Inc. | User interfaces for managing visual content in media |
US11696017B2 (en) * | 2021-05-19 | 2023-07-04 | Apple Inc. | User interface for managing audible descriptions for visual media |
US20230350941A1 (en) * | 2022-04-29 | 2023-11-02 | Apple Inc. | Contextual text lookup for images |
Family Cites Families (52)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7128270B2 (en) * | 1999-09-17 | 2006-10-31 | Silverbrook Research Pty Ltd | Scanning device for coded data |
NO316480B1 (no) * | 2001-11-15 | 2004-01-26 | Forinnova As | Fremgangsmåte og system for tekstuell granskning og oppdagelse |
JP4176364B2 (ja) * | 2002-03-22 | 2008-11-05 | 富士通株式会社 | 画像対応付け装置及び画像対応付け方法並びに画像対応付けプログラム |
US7505946B2 (en) * | 2004-03-31 | 2009-03-17 | Microsoft Corporation | High performance content alteration architecture and techniques |
JP2006072744A (ja) | 2004-09-02 | 2006-03-16 | Canon Inc | 文書処理装置、その制御方法、プログラム、及び記憶媒体 |
CN1782977A (zh) * | 2004-12-03 | 2006-06-07 | 皮克塞(研究)有限公司 | 具有增强的用户界面的数据处理设备和系统 |
JP4533273B2 (ja) * | 2005-08-09 | 2010-09-01 | キヤノン株式会社 | 画像処理装置及び画像処理方法、プログラム |
US7457825B2 (en) * | 2005-09-21 | 2008-11-25 | Microsoft Corporation | Generating search requests from multimodal queries |
US20100045705A1 (en) * | 2006-03-30 | 2010-02-25 | Roel Vertegaal | Interaction techniques for flexible displays |
WO2007146298A2 (en) * | 2006-06-12 | 2007-12-21 | Metacarta, Inc. | Systems and methods for hierarchical organization and presentation of geographic search results |
JP2008234147A (ja) * | 2007-03-19 | 2008-10-02 | Ricoh Co Ltd | 文書画像表示装置、文書画像表示方法及び文書画像表示プログラム |
US7768536B2 (en) * | 2007-04-11 | 2010-08-03 | Sony Ericsson Mobile Communications Ab | Methods of displaying information at different zoom settings and related devices and computer program products |
US20110043869A1 (en) * | 2007-12-21 | 2011-02-24 | Nec Corporation | Information processing system, its method and program |
KR20140147136A (ko) * | 2008-04-15 | 2014-12-29 | 오페라 소프트웨어 에이에스에이 | 전자 문서의 선택 영역 표시 시 텍스트의 동적 래핑 방법 및 장치 |
WO2009153392A1 (en) * | 2008-06-20 | 2009-12-23 | Nokia Corporation | Method and apparatus for searching information |
JP2010218322A (ja) * | 2009-03-18 | 2010-09-30 | Nec Corp | 携帯通信端末及びそれに用いる通信先情報取得方法並びにそのプログラム |
US9135277B2 (en) | 2009-08-07 | 2015-09-15 | Google Inc. | Architecture for responding to a visual query |
CN101882055A (zh) * | 2010-06-21 | 2010-11-10 | 中兴通讯股份有限公司 | 一种终端上缩放显示页面的方法及装置 |
US9116895B1 (en) * | 2011-08-25 | 2015-08-25 | Infotech International Llc | Document processing system and method |
US20130085845A1 (en) * | 2011-10-04 | 2013-04-04 | Yahoo! Inc. | Facilitating deal comparison and advertising in association with emails |
US20130085852A1 (en) * | 2011-10-04 | 2013-04-04 | Yahoo! Inc. | Deal and ad targeting in association with emails |
US10467273B2 (en) * | 2011-10-24 | 2019-11-05 | Image Scan, Inc. | Apparatus and method for displaying search results using cognitive pattern recognition in locating documents and information within |
US10289660B2 (en) * | 2012-02-15 | 2019-05-14 | Apple Inc. | Device, method, and graphical user interface for sharing a content object in a document |
US8942921B1 (en) | 2012-04-24 | 2015-01-27 | Google Inc. | Displaying dynamic entertainment information on marquees in street-level imagery |
US9514536B2 (en) * | 2012-10-10 | 2016-12-06 | Broadbandtv, Corp. | Intelligent video thumbnail selection and generation |
US9342930B1 (en) * | 2013-01-25 | 2016-05-17 | A9.Com, Inc. | Information aggregation for recognized locations |
US9247309B2 (en) * | 2013-03-14 | 2016-01-26 | Google Inc. | Methods, systems, and media for presenting mobile content corresponding to media content |
US10482512B2 (en) * | 2013-05-31 | 2019-11-19 | Michele Meek | Systems and methods for facilitating the retail shopping experience online |
US11250203B2 (en) * | 2013-08-12 | 2022-02-15 | Microsoft Technology Licensing, Llc | Browsing images via mined hyperlinked text snippets |
JP6261237B2 (ja) * | 2013-08-28 | 2018-01-17 | キヤノン株式会社 | 画像表示装置、画像表示装置の制御方法およびコンピュータプログラム |
US11017003B2 (en) * | 2013-12-12 | 2021-05-25 | Samuel S. Epstein | Methods and apparatuses for content preparation and/or selection |
US10157222B2 (en) * | 2013-12-12 | 2018-12-18 | Samuel S. Epstein | Methods and apparatuses for content preparation and/or selection |
US10565268B2 (en) * | 2013-12-19 | 2020-02-18 | Adobe Inc. | Interactive communication augmented with contextual information |
JP2015141234A (ja) | 2014-01-27 | 2015-08-03 | ブラザー工業株式会社 | 情報取得プログラム、情報取得方法及び情報処理装置 |
KR20150104022A (ko) * | 2014-02-03 | 2015-09-14 | 가부시키가이샤 프로스퍼 크리에이티브 | 화상검사장치 및 화상검사 프로그램 |
JP6164361B2 (ja) * | 2014-03-25 | 2017-07-19 | 富士通株式会社 | 端末装置、表示制御方法及びプログラム |
AU2015280256A1 (en) * | 2014-06-24 | 2016-10-13 | Apple Inc. | Column interface for navigating in a user interface |
US10725614B2 (en) * | 2014-11-06 | 2020-07-28 | Dropbox, Inc. | Searching digital content |
US9836542B2 (en) * | 2015-01-19 | 2017-12-05 | Microsoft Technology Licensing, Llc | Web application retrieval and display of web content based information with web content |
WO2016192762A1 (en) | 2015-05-29 | 2016-12-08 | Deutsche Telekom Ag | Augmented reality systems and methods to access optical information |
CN104965928B (zh) * | 2015-07-24 | 2019-01-22 | 北京航空航天大学 | 一种基于形状匹配的汉字图像检索方法 |
US10691473B2 (en) * | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
CN107273106B (zh) * | 2016-04-08 | 2021-07-06 | 北京三星通信技术研究有限公司 | 物体信息翻译、以及衍生信息获取方法和装置 |
GB2550131A (en) * | 2016-05-09 | 2017-11-15 | Web Communications Ltd | Apparatus and methods for a user interface |
JP6745173B2 (ja) * | 2016-09-06 | 2020-08-26 | 株式会社キーエンス | 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
US20180089316A1 (en) * | 2016-09-26 | 2018-03-29 | Twiggle Ltd. | Seamless integration of modules for search enhancement |
CN110651267B (zh) * | 2017-09-13 | 2023-09-19 | 谷歌有限责任公司 | 有效地增强具有相关内容的图像 |
JP6977573B2 (ja) * | 2018-01-12 | 2021-12-08 | 京セラドキュメントソリューションズ株式会社 | 情報端末装置、情報処理システムおよび表示制御プログラム |
US11093103B2 (en) * | 2018-04-09 | 2021-08-17 | Spatial Systems Inc. | Augmented reality computing environments-collaborative workspaces |
US10614345B1 (en) * | 2019-04-12 | 2020-04-07 | Ernst & Young U.S. Llp | Machine learning based extraction of partition objects from electronic documents |
KR20190104487A (ko) * | 2019-08-21 | 2019-09-10 | 엘지전자 주식회사 | 인공지능 기반의 사용자 상태에 따른 식품 추천 방법 및 그 장치 |
US11275493B1 (en) * | 2020-12-22 | 2022-03-15 | Oracle International Corporation | Semantic detail selection for object resizing |
-
2017
- 2017-09-13 CN CN201780090761.2A patent/CN110651267B/zh active Active
- 2017-09-13 US US16/069,071 patent/US11231832B2/en active Active
- 2017-09-13 EP EP17772558.7A patent/EP3602321B1/en active Active
- 2017-09-13 CN CN202311174993.XA patent/CN117194753A/zh active Pending
- 2017-09-13 JP JP2019563199A patent/JP6938680B2/ja active Active
- 2017-09-13 WO PCT/US2017/051333 patent/WO2019054999A1/en unknown
-
2021
- 2021-09-01 JP JP2021142388A patent/JP7204847B2/ja active Active
- 2021-12-28 US US17/563,695 patent/US11747960B2/en active Active
-
2022
- 2022-12-27 JP JP2022210457A patent/JP7448628B2/ja active Active
-
2023
- 2023-07-18 US US18/354,101 patent/US20230359329A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
JP7204847B2 (ja) | 2023-01-16 |
WO2019054999A1 (en) | 2019-03-21 |
US20220121331A1 (en) | 2022-04-21 |
JP7448628B2 (ja) | 2024-03-12 |
US20210208741A1 (en) | 2021-07-08 |
EP3602321A1 (en) | 2020-02-05 |
CN117194753A (zh) | 2023-12-08 |
US11231832B2 (en) | 2022-01-25 |
JP2021192267A (ja) | 2021-12-16 |
US20230359329A1 (en) | 2023-11-09 |
CN110651267A (zh) | 2020-01-03 |
US11747960B2 (en) | 2023-09-05 |
JP2020521219A (ja) | 2020-07-16 |
JP2023040119A (ja) | 2023-03-22 |
CN110651267B (zh) | 2023-09-19 |
EP3602321B1 (en) | 2023-09-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6938680B2 (ja) | 関連コンテンツを使用した画像の効率的な増強 | |
RU2632144C1 (ru) | Компьютерный способ создания интерфейса рекомендации контента | |
JP6474769B2 (ja) | 画像内に描かれたテキストの翻訳の提示 | |
US8996516B2 (en) | Adjacent search results exploration | |
KR102455232B1 (ko) | 콘텍스트 기반 탭 관리를 위한 방법 및 전자 장치 | |
JP7283067B2 (ja) | 通信プラットフォームにおける割り込み会話のデタングル化システムと方法、非構造化メッセージを解析する方法、プログラム、及びコンピュータ装置 | |
US10565268B2 (en) | Interactive communication augmented with contextual information | |
KR102297392B1 (ko) | 이미지 응답형 자동화 어시스턴트를 위한 시스템, 방법 및 장치 | |
US8510287B1 (en) | Annotating personalized recommendations | |
DE202017104110U1 (de) | Bildsuchanfragevorhersagen durch eine Tastatur | |
CN114375435A (zh) | 增强物理活动表面上的有形内容 | |
WO2023279843A1 (zh) | 内容搜索方法、装置、设备和存储介质 | |
KR20150048751A (ko) | 피처 기반 후보 선택 | |
JP2019522852A (ja) | 文脈情報を提供するためのシステムおよび方法 | |
JP2021522612A (ja) | ヒューマンマシン会話方法、クライアント、電子デバイス、およびプログラム | |
US20210019026A1 (en) | Contextual information for a displayed resource that includes an image | |
WO2016082624A1 (zh) | 一种用于提供图片的呈现信息的方法和设备 | |
US10628493B2 (en) | Method and system for generating search query suggestions | |
CN113557504A (zh) | 用于基于媒体内容项的目的地的对媒体内容项的改进的搜索和分类的系统和方法 | |
CN111104026A (zh) | 推荐服务的方法和设备 | |
KR101546502B1 (ko) | 페이지의 텍스트를 활용한 키워드 검색시스템 및 검색방법 | |
KR102688534B1 (ko) | 미디어 콘텐츠 아이템에 대한 목적지에 기초하여 미디어 콘텐츠 아이템의 개선된 검색 및 분류를 위한 시스템 및 방법 | |
KR20240117649A (ko) | 미디어 콘텐츠 아이템에 대한 목적지에 기초하여 미디어 콘텐츠 아이템의 개선된 검색 및 분류를 위한 시스템 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191122 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201224 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210901 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6938680 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |