JP6025812B2 - 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス - Google Patents
視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス Download PDFInfo
- Publication number
- JP6025812B2 JP6025812B2 JP2014254890A JP2014254890A JP6025812B2 JP 6025812 B2 JP6025812 B2 JP 6025812B2 JP 2014254890 A JP2014254890 A JP 2014254890A JP 2014254890 A JP2014254890 A JP 2014254890A JP 6025812 B2 JP6025812 B2 JP 6025812B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- search
- query
- query image
- results
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000000007 visual effect Effects 0.000 title claims description 339
- 230000002452 interceptive effect Effects 0.000 claims description 91
- 238000000034 method Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 31
- 230000002085 persistent effect Effects 0.000 claims description 11
- 230000004913 activation Effects 0.000 claims description 9
- 230000003190 augmentative effect Effects 0.000 claims description 5
- 230000001815 facial effect Effects 0.000 claims description 5
- 239000000047 product Substances 0.000 description 40
- 238000012545 processing Methods 0.000 description 39
- 238000012015 optical character recognition Methods 0.000 description 37
- 238000004891 communication Methods 0.000 description 34
- 238000007781 pre-processing Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 15
- 238000010191 image analysis Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 12
- 239000007787 solid Substances 0.000 description 12
- 230000014509 gene expression Effects 0.000 description 9
- 230000001419 dependent effect Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012552 review Methods 0.000 description 3
- 230000026676 system process Effects 0.000 description 3
- 241001481833 Coryphaena hippurus Species 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000000006 pectoral fin Anatomy 0.000 description 2
- 241001125840 Coryphaenidae Species 0.000 description 1
- 241000255777 Lepidoptera Species 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/538—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
- G06F16/43—Querying
- G06F16/438—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/53—Querying
- G06F16/532—Query formulation, e.g. graphical querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
Description
・ 様々な基本システムサービスを処理し、ハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム716。
・ クライアントシステム102を、1つまたは複数の通信ネットワークインターフェイス704(有線または無線)、およびインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つまたは複数の通信ネットワークを介して他のコンピュータに接続するために使用するネットワーク通信モジュール718。
・ 画像取込装置/カメラ710が取り込んだそれぞれの画像を処理するための画像取込モジュール720であって、それぞれの画像は(例えばクライアントアプリケーションモジュールにより)、視覚クエリとして視覚クエリサーバシステムに送ってもよい。
・ これだけに限定されないが、視覚クエリサーバシステムに視覚クエリをサブミットするための画像によるクエリサブミットモジュール724、場合により、画像内の関心領域が選択されたこと(タッチセンスディスプレイ706/709上でのジェスチャなど)を検出し、その関心領域を視覚クエリとして準備する関心領域選択モジュール725、視覚クエリの結果を表示するための結果ブラウザ726、および場合により、フォームに記入するなどの構造化された注釈テキスト入力のためのオプションモジュール730を有し、または様々な形式からの注釈を受け付けることができる自由形式の注釈テキスト入力のためのオプションモジュール732を有し、ユーザが注釈用に画像の特定の副部分を選択することを可能にする画像領域選択モジュール734(本明細書では結果選択モジュールと呼ぶこともある)を有する注釈モジュール728を含んでもよい、画像によるクエリを行う様々な側面を処理するための1つまたは複数のクライアントアプリケーションモジュール722。
・ 画像取込装置710により単に画像を取り込むのではなく、画像を作成しまたは編集することによりユーザが視覚クエリを作成することを可能にする、1つまたは複数のオプションのコンテンツオーサリングアプリケーション736、場合により、そのようなアプリケーション736の1つは、視覚クエリとして使用するための画像の副部分をユーザが選択できるようにする命令を含んでもよい。
・ 視覚クエリサーバシステムに送る前に視覚クエリを事前処理する、オプションのローカル画像解析モジュール738。ローカル画像解析は、特定の種類の画像または画像内の副領域を認識し得る。そのようなモジュール738が認識し得る画像の種類の例には、顔タイプ(視覚クエリ内で認識される顔画像)、バーコードタイプ(視覚クエリ内で認識されるバーコード)、およびテキストタイプ(視覚クエリ内で認識されるテキスト)のうちの1つまたは複数が含まれる。
・ 電子メールアプリケーション、電話アプリケーション、ブラウザアプリケーション、マッピングアプリケーション、インスタントメッセージングアプリケーション、ソーシャルネットワーキングアプリケーションなど、さらなるオプションのクライアントアプリケーション740。一部の実施形態では、作動可能検索結果を選択すると、該当する作動可能検索結果に対応するアプリケーションを起動し、またはそのアプリケーションにアクセスすることができる。
・ 様々な基本システムサービスを処理し、ハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム816。
・ フロントエンドサーバシステム110を、1つまたは複数の通信ネットワークインターフェイス804(有線または無線)、およびインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つまたは複数の通信ネットワークを介して他のコンピュータに接続するために使用するネットワーク通信モジュール818。
・ クライアントシステム102から来る視覚クエリを処理し、それらの視覚クエリを複数の並列検索システムに送るためのクエリマネージャ820であって、本明細書のいたるところに記載するように、視覚クエリがクライアントによって生成された命令(例えば「顔認識検索のみ」)を含む場合など、一部の特別な状況では視覚クエリを検索システムのうちの1つだけに導くことがある。
・ 1つまたは複数の並列検索システムからの結果を場合によりフィルタし、提示するために最上位のまたは「関連する」結果をクライアントシステム102に送るための結果フィルタリングモジュール822。
・ 1つまたは複数の並列検索システムからの結果を場合によりランク付けし、提示するために結果をフォーマットするための結果ランク付け/フォーマットモジュール824。
・ 結果ドキュメント作成モジュール826は、対話型検索結果ドキュメントを作成するために適切な場合に使用し、モジュール826は、これだけに限定されないが、境界ボックス作成モジュール828およびリンク作成モジュール830を含むサブモジュールを含んでもよい。
・ 視覚クエリのそれぞれの副部分の視覚的識別子であるラベルを作成するための、ラベル作成モジュール831。
・ ユーザから注釈を受け取り、それらの注釈を注釈データベース116に送るための注釈モジュール832。
・ 視覚クエリに応答し、クライアント側のアクションを起動するようにそれぞれが構成される、1つまたは複数の作動可能検索結果要素を生成するための作動可能検索結果モジュール838であって、作動可能検索結果要素の例は、通話を開始するためのボタン、電子メールメッセージを開始するためのボタン、住所の地図を描くためのボタン、レストランを予約するためのボタン、および製品を購入するオプションを提供するためのボタンである。
・ データベース自体834およびデータベースの索引836を含む、クエリ/注釈データベース116。
・ 様々な基本システムサービスを処理し、ハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム516。
・ 汎用サーバシステム112−Nを、1つまたは複数の通信ネットワークインターフェイス504(有線または無線)、およびインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つまたは複数の通信ネットワークを介して他のコンピュータに接続するために使用するネットワーク通信モジュール518。
・ 特定のサーバシステムに固有の検索アプリケーション520であって、検索アプリケーション520は、例えばバーコード検索アプリケーション、色認識検索アプリケーション、製品認識検索アプリケーション、オブジェクトまたはオブジェクトカテゴリ検索アプリケーション等としてもよい。
・ 特定の検索アプリケーションが索引を利用する場合は、オプションの索引522。
・ 特定の検索アプリケーションに関連する画像を記憶するためのオプションの画像データベース524であって、記憶される画像データは、もしあれば、検索処理の種類に依拠する。
・ 検索アプリケーションからの結果にランク付けするためのオプションの結果ランク付けモジュール526(関連性スコアリングモジュールと呼ぶこともある)であって、このランク付けモジュールは、検索アプリケーションからの結果ごとに関連性スコアを割り当ててもよく、所定の最小スコアに達する結果がない場合、このサーバシステムの結果が関連しないことを示すヌルまたはゼロ値スコアをフロントエンド視覚クエリ処理サーバに返してもよい。
・ 注釈データベース(図1、116)から注釈情報を受け取り、注釈情報のいずれかが特定の検索アプリケーションに関連するかどうかを判定し、注釈情報のうちの決定した任意の関連部分をそれぞれの注釈データベース530内に取り入れるための注釈モジュール528。
・ 様々な基本システムサービスを処理し、ハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム616。
・ OCR検索システム112−Bを、1つまたは複数の通信ネットワークインターフェイス604(有線または無線)、およびインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つまたは複数の通信ネットワークを介して他のコンピュータに接続するために使用するネットワーク通信モジュール618。
・ 視覚クエリ内のテキストを認識しようと試み、文字画像を文字へと変換する光学的文字認識(OCR)モジュール620。
・ OCRモジュール620が特定のフォント、テキストパターン、および文字認識に固有の他の特徴を認識するために利用する、オプションのOCRデータベース114−B。
・ 変換された語を辞書と突き合わせて確認し、さもなければ辞書の語に一致する語の中のもしかしたら誤変換された文字を置換することにより、文字画像の文字への変換を改善するオプションのスペルチェックモジュール622。
・ 変換されたテキスト内で固有表現を探し、認識した固有表現を用語クエリ内の用語として用語クエリサーバシステム(図1、118)に送り、用語クエリサーバシステムからの結果を、認識した固有表現に関連するOCR済みテキスト内に埋め込まれたリンクとして提供する、オプションの固有表現認識モジュール624。
・ 変換されたセグメント(変換された文や段落など)をテキストセグメントのデータベースと突き合わせて確認し、さもなければテキスト一致アプリケーションのテキストセグメントに一致するOCR済みテキストセグメントの中のもしかしたら誤変換された文字を置換することにより、文字画像の文字への変換を改善するオプションのテキスト一致アプリケーション632であって、一部の実施形態では、テキスト一致アプリケーションが見つけるテキストセグメントがリンクとしてユーザに提供される(例えばユーザがNew York Timesの1ページをスキャンした場合、テキスト一致アプリケーションはNew York Timesのウェブサイト上に投稿されたすべての記事へのリンクを提供してもよい)。
・ OCRされた結果を提示するためにフォーマットし、固有表現へのオプションのリンクをフォーマットし、さらにテキスト一致アプリケーションからの関係する任意の結果を場合によりランク付けするための結果ランク付け/フォーマットモジュール626。
・ 注釈データベース(図1、116)から注釈情報を受け取り、注釈情報のいずれかがOCR検索システムに関連するかどうかを判定し、注釈情報のうちの決定した任意の関連部分をそれぞれの注釈データベース630内に取り入れるためのオプションの注釈モジュール628。
・ 様々な基本システムサービスを処理し、ハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム916。
・ 顔認識検索システム112−Aを、1つまたは複数の通信ネットワークインターフェイス904(有線または無線)、およびインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つまたは複数の通信ネットワークを介して他のコンピュータに接続するために使用するネットワーク通信モジュール918。
・ 視覚クエリ内で提示される1つまたは複数の顔に一致する顔画像を顔画像データベース114−A内で検索し、顔画像データベース114−A内で見つかったそれぞれの一致に関連する情報を求めてソーシャルネットワークデータベース922を検索するための、顔認識検索アプリケーション920。
・ 複数のユーザの1つまたは複数の顔画像を記憶するための顔画像データベース114−Aであって、場合によりこの顔画像データベースは、家族や、ユーザおよび顔画像データベース114−A内に含まれる画像内にいると確認されている人物が知っている他者など、ユーザ以外の人物の顔画像を含み、場合によりこの顔画像データベースは、パブリックドメイン内で適法な顔画像の供給業者など、外部の情報源から得た顔画像を含んでもよい。
・ 場合により、図12Aに関してより詳細に論じるように、ソーシャルネットワークのユーザに関する名前、住所、職業、グループの帰属関係、ソーシャルネットワークのつながり、モバイル機器の現在のGPS位置、共有設定、関心、年齢、出身地、個人的統計、仕事情報などの情報を含む、ソーシャルネットワークデータベース922。
・ 顔画像データベース114−Aからの潜在的な顔の一致をランク付けし(例えば、潜在的な顔の一致に関連性スコアおよび/または一致品質スコアを割り当て)、提示するために結果をフォーマットするための結果ランク付け/フォーマットモジュール924であって、一部の実施形態では、結果のランク付けまたはスコア付けに、前述のソーシャルネットワークデータベースから取得した関連情報を利用し、一部の実施形態では、フォーマットされた検索結果が、潜在的な画像の一致ならびにソーシャルネットワークデータベースからの情報の一部を含む。
・ 注釈データベース(図1、116)から注釈情報を受け取り、注釈情報のいずれかが顔認識検索システムに関連するかどうかを判定し、注釈情報のうちの決定した任意の関連部分をそれぞれの注釈データベース928内に記憶するための注釈モジュール926。
・ 様々な基本システムサービスを処理し、ハードウェア依存タスクを実行するためのプロシージャを含むオペレーティングシステム1016。
・ 画像−用語検索システム112−Cを、1つまたは複数の通信ネットワークインターフェイス1004(有線または無線)、およびインターネット、他の広域ネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワークなどの1つまたは複数の通信ネットワークを介して他のコンピュータに接続するために使用するネットワーク通信モジュール1018。
・ 画像検索データベース114−C内で、視覚クエリ内の1つまたは複数のサブジェクトに一致する画像を検索する、画像−用語検索アプリケーション1020。
・ 視覚クエリの1つまたは複数のサブジェクトに似た画像を探すために、検索アプリケーション1020によって検索され得る画像検索データベース114−C。
・ テキストベースクエリ検索エンジン1006を使用して画像を検索する際にユーザが使用するテキスト用語を記憶する、用語−画像逆索引1022。
・ 潜在的な画像の一致をランク付けし、かつ/または用語−画像逆索引1022内で確認される、潜在的な画像の一致に関連する用語をランク付けするための、結果ランク付け/フォーマットモジュール1024。
・ 注釈データベース(図1、116)から注釈情報を受け取り、注釈情報のいずれかが画像−用語検索システム112−Cに関連するかどうかを判定し、注釈情報のうちの決定した任意の関連部分をそれぞれの注釈データベース1028内に記憶するための注釈モジュール1026。
Claims (20)
- コンピュータによって実施される方法であって、
クエリ画像がサブミットされる少なくとも第1および第2の画像検索コンポーネントのそれぞれから、前記画像検索コンポーネントに固有の画像ベース検索処理に対して前記クエリ画像を適用することに基づいて、前記クエリ画像に一致すると前記画像検索コンポーネントが識別する1組のリソースを得るステップと、
(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する特定のリソースおよび(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する特定のリソースを選択するステップと、
(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連する前記クエリ画像の領域および(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースに関連する前記クエリ画像の領域を決定するステップと、
(i)前記第1の画像検索コンポーネントに関連する検索結果ページの第1の領域において、前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると決定される前記クエリ画像の前記領域に関連するサムネイル画像を含む第1の対話型検索結果であって、ここで前記第1の対話型検索結果が、前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースにリンクされる、第1の対話型検索結果および(ii)異なる、前記第2の画像検索コンポーネントに関連する前記検索結果ページの第2の領域において、前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースに関連すると決定される前記クエリ画像の前記領域に関連するサムネイル画像を含む第2の対話型検索結果であって、ここで前記第2の対話型検索結果が、前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースにリンクされる、第2の対話型検索結果および(iii)前記クエリ画像に関連する前記検索結果ページの第3の領域を含む画像検索結果ページを生成するステップと
を含む、コンピュータによって実施される方法。 - 前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると判断される前記クエリ画像の前記領域は、前記クエリ画像の副部分内の識別可能エンティティの境界の輪郭を描く境界ボックスを含む、請求項1に記載のコンピュータによって実施される方法。
- 前記境界ボックスは、ユーザ選択可能リンクの活性化領域に関連し、前記ユーザ選択可能リンクは、前記クエリ画像の前記副部分に対応する1つまたは複数の検索結果に関連する、請求項2に記載のコンピュータによって実施される方法。
- 前記クエリ画像の前記副部分内の前記識別可能エンティティの種類を識別するステップと、
前記クエリ画像の前記副部分内の前記識別可能エンティティの前記識別された種類に基づいて、前記境界ボックスの視覚表示をフォーマットするステップと
をさらに含む、請求項2に記載のコンピュータによって実施される方法。 - 前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると判断される前記クエリ画像の前記領域は、テキスト要素を含み、
前記方法は、
用語クエリ検索コンポーネントから、前記テキスト要素に基づいて追加の組のリソースを得るステップと、
前記画像検索結果ページを増補して前記追加の組のリソースを含むステップと
をさらに含む、請求項1に記載のコンピュータによって実施される方法。 - 前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると判断される前記クエリ画像の前記領域は、顔画像を含み、
前記方法は、
前記顔画像に一致する人物に関連する1つまたは複数の属性を識別するステップと、
前記画像検索結果ページを増補して前記顔画像に一致する前記人物に関連する前記1つまたは複数の属性を含むステップと
をさらに含む、請求項1に記載のコンピュータによって実施される方法。 - 前記画像検索結果ページを生成するステップは、
前記画像検索結果ページを生成して(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースおよび(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースに関連する検索結果一覧を含むステップと、
(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースおよび(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースのうちの1つに関連するユーザ選択可能リンクの選択を受け取るステップと、
前記ユーザ選択可能リンクの前記選択に対応する前記検索結果一覧の検索結果を識別するステップと
をさらに含む、請求項1に記載のコンピュータによって実施される方法。 - (i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースおよび(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースのうちの1つに関連するユーザ選択可能リンクの選択を受け取るステップと、
前記ユーザ選択可能リンクの前記選択に基づいて、(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースおよび(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースのうちの1つに関連する1組の検索結果を提供するステップと
をさらに含む、請求項1に記載のコンピュータによって実施される方法。 - 前記第1の画像検索コンポーネントおよび前記第2の画像検索コンポーネントは、実質的に同一である、請求項1に記載のコンピュータによって実施される方法。
- 前記第1の画像検索コンポーネントおよび前記第2の画像検索コンポーネントは、異なる、請求項1に記載のコンピュータによって実施される方法。
- 1つまたは複数のコンピュータと、前記1つまたは複数のコンピュータによって実行される場合、動作可能な命令を記憶して前記1つまたは複数のコンピュータに動作を実行させる1つまたは複数の記憶デバイスとを含み、前記動作は、
クエリ画像がサブミットされる少なくとも第1および第2の画像検索コンポーネントのそれぞれから、前記画像検索コンポーネントに固有の画像ベース検索処理に対して前記クエリ画像を適用することに基づいて、前記クエリ画像に一致すると前記画像検索コンポーネントが識別する1組のリソースを得ることと、
(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する特定のリソースおよび(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する特定のリソースを選択することと、
(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連する前記クエリ画像の領域および(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースに関連する前記クエリ画像の領域を決定することと、
(i)前記第1の画像検索コンポーネントに関連する検索結果ページの第1の領域において、前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると決定される前記クエリ画像の前記領域に関連するサムネイル画像を含む第1の対話型検索結果であって、ここで前記第1の対話型検索結果が、前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースにリンクされる、第1の対話型検索結果および(ii)異なる、前記第2の画像検索コンポーネントに関連する前記検索結果ページの第2の領域において、前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースに関連すると決定される前記クエリ画像の前記領域に関連するサムネイル画像を含む第2の対話型検索結果であって、ここで前記第2の対話型検索結果が、前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースにリンクされる、第2の対話型検索結果および(iii)前記クエリ画像に関連する前記検索結果ページの第3の領域を含む画像検索結果ページを生成することと
を含む、システム。 - 前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると判断される前記クエリ画像の前記領域は、前記クエリ画像の副部分内の識別可能エンティティの境界の輪郭を描く境界ボックスを含む、請求項11に記載のシステム。
- 前記境界ボックスは、ユーザ選択可能リンクの活性化領域に関連し、前記ユーザ選択可
能リンクは、前記クエリ画像の前記副部分に対応する1つまたは複数の検索結果に関連する、請求項12に記載のシステム。 - 前記動作は、
前記クエリ画像の前記副部分内の前記識別可能エンティティの種類を識別することと、
前記クエリ画像の前記副部分内の前記識別可能エンティティの前記識別された種類に基づいて、前記境界ボックスの視覚表示をフォーマットすることと
をさらに含む、請求項12に記載のシステム。 - 前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると判断される前記クエリ画像の前記領域は、テキスト要素を含み、
前記動作は、
用語クエリ検索コンポーネントから、前記テキスト要素に基づいて追加の組のリソースを得ることと、
前記画像検索結果ページを増補して前記追加の組のリソースを含むことと
をさらに含む、請求項11に記載のシステム。 - 前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると判断される前記クエリ画像の前記領域は、顔画像を含み、
前記動作は、
前記顔画像に一致する人物に関連する1つまたは複数の属性を識別することと、
前記画像検索結果ページを増補して前記顔画像に一致する前記人物に関連する前記1つまたは複数の属性を含むことと
をさらに含む、請求項11に記載のシステム。 - 前記画像検索結果ページを生成することは、
前記画像検索結果ページを生成して(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースおよび(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースに関連する検索結果一覧を含むことと、
(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースおよび(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースのうちの1つに関連するユーザ選択可能リンクの選択を受け取ることと、
前記ユーザ選択可能リンクの前記選択に対応する前記検索結果一覧の検索結果を識別することと
をさらに含む、請求項11に記載のシステム。 - 1つまたは複数のコンピュータによって実行可能な命令であって、実行の際、前記1つまたは複数のコンピュータに動作を実行させる命令を含むソフトウェアを記憶する持続性コンピュータ可読記憶媒体であって、前記動作は、
クエリ画像がサブミットされる少なくとも第1および第2の画像検索コンポーネントのそれぞれから、前記画像検索コンポーネントに固有の画像ベース検索処理に対して前記クエリ画像を適用することに基づいて、前記クエリ画像に一致すると前記画像検索コンポーネントが識別する1組のリソースを得ることと、
(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する特定のリソースおよび(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する特定のリソースを選択することと、
(i)前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連する前記クエリ画像の領域および(ii)前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースに関連する前記クエリ画像の領域を決定することと、
(i)前記第1の画像検索コンポーネントに関連する検索結果ページの第1の領域において、前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると決定される前記クエリ画像の前記領域に関連するサムネイル画像を含む第1の対話型検索結果であって、ここで前記第1の対話型検索結果が、前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースにリンクされる、第1の対話型検索結果および(ii)異なる、前記第2の画像検索コンポーネントに関連する前記検索結果ページの第2の領域において、前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースに関連すると決定される前記クエリ画像の前記領域に関連するサムネイル画像を含む第2の対話型検索結果であって、ここで前記第2の対話型検索結果が、前記クエリ画像に一致すると前記第2の画像検索コンポーネントが識別する前記特定のリソースにリンクされる、第2の対話型検索結果および(iii)前記クエリ画像に関連する前記検索結果ページの第3の領域を含む画像検索結果ページを生成することと
を含む、持続性コンピュータ可読記憶媒体。 - 前記クエリ画像に一致すると前記第1の画像検索コンポーネントが識別する前記特定のリソースに関連すると判断される前記クエリ画像の前記領域は、前記クエリ画像の副部分内の識別可能エンティティの境界の輪郭を描く境界ボックスを含む、請求項18に記載の持続性コンピュータ可読記憶媒体。
- 前記境界ボックスは、ユーザ選択可能リンクの活性化領域に関連し、前記ユーザ選択可能リンクは、前記クエリ画像の前記副部分に対応する1つまたは複数の検索結果に関連する、請求項19に記載の持続性コンピュータ可読記憶媒体。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US23239709P | 2009-08-07 | 2009-08-07 | |
US61/232,397 | 2009-08-07 | ||
US26612209P | 2009-12-02 | 2009-12-02 | |
US61/266,122 | 2009-12-02 | ||
US12/850,513 US9087059B2 (en) | 2009-08-07 | 2010-08-04 | User interface for presenting search results for multiple regions of a visual query |
US12/850,513 | 2010-08-04 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012523961A Division JP2013501976A (ja) | 2009-08-07 | 2010-08-05 | 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015062141A JP2015062141A (ja) | 2015-04-02 |
JP6025812B2 true JP6025812B2 (ja) | 2016-11-16 |
Family
ID=43544672
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012523961A Pending JP2013501976A (ja) | 2009-08-07 | 2010-08-05 | 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス |
JP2014254890A Active JP6025812B2 (ja) | 2009-08-07 | 2014-12-17 | 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012523961A Pending JP2013501976A (ja) | 2009-08-07 | 2010-08-05 | 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス |
Country Status (8)
Country | Link |
---|---|
EP (1) | EP2462518A1 (ja) |
JP (2) | JP2013501976A (ja) |
KR (1) | KR101670956B1 (ja) |
CN (1) | CN102667764A (ja) |
AU (1) | AU2010279334A1 (ja) |
BR (1) | BR112012002803A2 (ja) |
CA (1) | CA2770186C (ja) |
WO (1) | WO2011017558A1 (ja) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6153086B2 (ja) | 2011-12-14 | 2017-06-28 | 日本電気株式会社 | 映像処理システム、映像処理方法、携帯端末用またはサーバ用の映像処理装置およびその制御方法と制御プログラム |
CN102594896B (zh) * | 2012-02-23 | 2015-02-11 | 广州商景网络科技有限公司 | 电子相片共享方法及系统 |
JP6046393B2 (ja) * | 2012-06-25 | 2016-12-14 | サターン ライセンシング エルエルシーSaturn Licensing LLC | 情報処理装置、情報処理システム、情報処理方法および記録媒体 |
EP2891068A4 (en) * | 2012-08-31 | 2016-01-20 | Hewlett Packard Development Co | ACTIVE REGIONS OF AN IMAGE COMPRISING ACCESSIBLE LINKS |
CN103488769B (zh) * | 2013-09-27 | 2017-06-06 | 中国科学院自动化研究所 | 一种基于多媒体数据挖掘的地标信息检索方法 |
RU2580431C2 (ru) | 2014-03-27 | 2016-04-10 | Общество С Ограниченной Ответственностью "Яндекс" | Способ и сервер для обработки поискового запроса и машиночитаемый носитель |
KR101588950B1 (ko) * | 2014-03-28 | 2016-01-26 | 주식회사 에스원 | 시장 점유율 판별 시스템, 시장 점유율 판별 방법 및 그 판별 시스템을 실행할 수 있는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 |
CN105373552A (zh) * | 2014-08-25 | 2016-03-02 | 中兴通讯股份有限公司 | 基于显示终端的数据处理方法 |
WO2016049799A1 (en) * | 2014-09-29 | 2016-04-07 | Microsoft Technology Licensing, Llc | Customizable data services |
US20160132567A1 (en) * | 2014-11-12 | 2016-05-12 | Microsoft Corporation | Multi-search and multi-task in search |
US10102565B2 (en) | 2014-11-21 | 2018-10-16 | Paypal, Inc. | System and method for content integrated product purchasing |
CN105868385B (zh) * | 2014-12-12 | 2020-02-07 | 北京奇虎科技有限公司 | 基于终端界面触控操作进行搜索的方法及系统 |
CN104462423A (zh) * | 2014-12-15 | 2015-03-25 | 百度在线网络技术(北京)有限公司 | 搜索方法、装置和移动终端 |
KR102339461B1 (ko) * | 2014-12-18 | 2021-12-15 | 삼성전자 주식회사 | 전자 장치의 텍스트 기반 컨텐츠 운용 방법 및 장치 |
WO2016101768A1 (zh) * | 2014-12-26 | 2016-06-30 | 北京奇虎科技有限公司 | 终端以及基于触摸操作的搜索方法和装置 |
JP2018506087A (ja) * | 2015-02-04 | 2018-03-01 | バットボックス・リミテッドVatbox, Ltd. | 複数の文書を盛り込んだ画像から文書画像を抽出するためのシステムおよび方法 |
RU2015111360A (ru) | 2015-03-30 | 2016-10-20 | Общество С Ограниченной Ответственностью "Яндекс" | Способ (варианты) и система (варианты) обработки поискового запроса |
US10579330B2 (en) * | 2015-05-13 | 2020-03-03 | Microsoft Technology Licensing, Llc | Automatic visual display of audibly presented options to increase user efficiency and interaction performance |
US20180322208A1 (en) * | 2015-08-03 | 2018-11-08 | Orand S.A. | System and method for searching for products in catalogs |
BR112018008266A2 (pt) * | 2015-10-25 | 2018-10-23 | Alva Alta Lda | embalagem reconhecível por diferentes tipos de meios, sistema e processo para preparação de produtos edíveis com base nas referidas embalagens reconhecíveis |
US10528613B2 (en) * | 2015-11-23 | 2020-01-07 | Advanced Micro Devices, Inc. | Method and apparatus for performing a parallel search operation |
US9779293B2 (en) * | 2016-01-27 | 2017-10-03 | Honeywell International Inc. | Method and tool for post-mortem analysis of tripped field devices in process industry using optical character recognition and intelligent character recognition |
DE102016201373A1 (de) | 2016-01-29 | 2017-08-03 | Robert Bosch Gmbh | Verfahren zu einer Erkennung von Objekten, insbesondere von dreidimensionalen Objekten |
US20190072407A1 (en) * | 2016-07-26 | 2019-03-07 | Google Llc | Interactive Geo-Contextual Navigation Tool |
CN106484817B (zh) * | 2016-09-26 | 2020-06-26 | 广州致远电子有限公司 | 一种数据搜索方法及系统 |
US10346727B2 (en) * | 2016-10-28 | 2019-07-09 | Adobe Inc. | Utilizing a digital canvas to conduct a spatial-semantic search for digital visual media |
US10558857B2 (en) * | 2018-03-05 | 2020-02-11 | A9.Com, Inc. | Visual feedback of process state |
CN109168069A (zh) * | 2018-09-03 | 2019-01-08 | 聚好看科技股份有限公司 | 一种识别结果分区域显示方法、装置及智能电视 |
CN109189289B (zh) * | 2018-09-03 | 2021-12-24 | 聚好看科技股份有限公司 | 一种基于截屏图像生成图标的方法及装置 |
TWI768232B (zh) * | 2019-08-07 | 2022-06-21 | 上銀科技股份有限公司 | 線性傳動裝置的影像判定系統及其影像判定方法 |
CN112417192A (zh) * | 2019-08-21 | 2021-02-26 | 上银科技股份有限公司 | 线性传动装置的影像判定系统及其影像判定方法 |
JP7379059B2 (ja) * | 2019-10-02 | 2023-11-14 | キヤノン株式会社 | 中間サーバ装置、情報処理装置、通信方法 |
CN114581360B (zh) * | 2021-04-01 | 2024-03-12 | 正泰集团研发中心(上海)有限公司 | 光伏组件标签检测方法、装置、设备和计算机存储介质 |
CN113901257B (zh) | 2021-10-28 | 2023-10-27 | 北京百度网讯科技有限公司 | 地图信息的处理方法、装置、设备和存储介质 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09330336A (ja) * | 1996-06-11 | 1997-12-22 | Sony Corp | 情報処理装置 |
US7016532B2 (en) * | 2000-11-06 | 2006-03-21 | Evryx Technologies | Image capture and identification system and process |
JP2003150617A (ja) * | 2001-11-12 | 2003-05-23 | Olympus Optical Co Ltd | 画像処理装置およびプログラム |
JP2005165461A (ja) * | 2003-11-28 | 2005-06-23 | Nifty Corp | 情報提供装置及び情報提供プログラム |
JP4413633B2 (ja) * | 2004-01-29 | 2010-02-10 | 株式会社ゼータ・ブリッジ | 情報検索システム、情報検索方法、情報検索装置、情報検索プログラム、画像認識装置、画像認識方法および画像認識プログラム、ならびに、販売システム |
US7751805B2 (en) * | 2004-02-20 | 2010-07-06 | Google Inc. | Mobile image-based information retrieval system |
WO2006043319A1 (ja) * | 2004-10-20 | 2006-04-27 | Fujitsu Limited | 端末及びサーバ |
US7809722B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for enabling search and retrieval from image files based on recognized information |
US7809192B2 (en) * | 2005-05-09 | 2010-10-05 | Like.Com | System and method for recognizing objects from images and identifying relevancy amongst images and information |
JP2007018166A (ja) * | 2005-07-06 | 2007-01-25 | Nec Corp | 情報検索装置、情報検索システム、情報検索方法及び情報検索プログラム |
JP2007018456A (ja) * | 2005-07-11 | 2007-01-25 | Nikon Corp | 情報表示装置及び情報表示方法 |
JP2007026316A (ja) * | 2005-07-20 | 2007-02-01 | Yamaha Motor Co Ltd | 画像管理装置、ならびに画像管理用コンピュータプログラムおよびそれを記録した記録媒体 |
US8849821B2 (en) * | 2005-11-04 | 2014-09-30 | Nokia Corporation | Scalable visual search system simplifying access to network and device functionality |
US20080267504A1 (en) * | 2007-04-24 | 2008-10-30 | Nokia Corporation | Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search |
-
2010
- 2010-08-05 CN CN2010800451970A patent/CN102667764A/zh active Pending
- 2010-08-05 CA CA2770186A patent/CA2770186C/en active Active
- 2010-08-05 EP EP10742686A patent/EP2462518A1/en not_active Ceased
- 2010-08-05 BR BR112012002803A patent/BR112012002803A2/pt not_active IP Right Cessation
- 2010-08-05 AU AU2010279334A patent/AU2010279334A1/en not_active Abandoned
- 2010-08-05 KR KR1020127006115A patent/KR101670956B1/ko active IP Right Grant
- 2010-08-05 JP JP2012523961A patent/JP2013501976A/ja active Pending
- 2010-08-05 WO PCT/US2010/044604 patent/WO2011017558A1/en active Application Filing
-
2014
- 2014-12-17 JP JP2014254890A patent/JP6025812B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
CA2770186C (en) | 2018-05-22 |
JP2013501976A (ja) | 2013-01-17 |
WO2011017558A1 (en) | 2011-02-10 |
JP2015062141A (ja) | 2015-04-02 |
KR20120055627A (ko) | 2012-05-31 |
BR112012002803A2 (pt) | 2019-09-24 |
CA2770186A1 (en) | 2011-02-10 |
CN102667764A (zh) | 2012-09-12 |
AU2010279334A1 (en) | 2012-03-15 |
KR101670956B1 (ko) | 2016-10-31 |
EP2462518A1 (en) | 2012-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6148367B2 (ja) | 視覚クエリに応答するためのアーキテクチャ | |
JP6025812B2 (ja) | 視覚クエリの複数の領域についての検索結果を提示するためのユーザインターフェイス | |
JP6470713B2 (ja) | 画像に基づいて検索結果を提供する方法、システム、およびコンピュータ読取可能記憶装置 | |
US9087059B2 (en) | User interface for presenting search results for multiple regions of a visual query | |
US20110128288A1 (en) | Region of Interest Selector for Visual Queries | |
AU2016200659B2 (en) | Architecture for responding to a visual query |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141225 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141225 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20150522 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20150528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151216 |
|
AA92 | Notification that decision to refuse application was cancelled |
Free format text: JAPANESE INTERMEDIATE CODE: A971092 Effective date: 20160105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160118 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20160418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160912 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161011 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6025812 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |