JP6895978B2 - 動的検索入力選択 - Google Patents

Description

関連出願の相互参照
本願は、「ＤＹＮＡＭＩＣ ＳＥＡＲＣＨ ＩＮＰＵＴ ＳＥＬＥＣＴＩＯＮ」と題する、２０１５年１０月５日に出願された米国出願第１４／８７５，０１０号の優先権を主張し、その全体が参照により本願に援用される。

ユーザー及びカスタマが入手できるアクセス可能なデジタルコンテンツの量が拡大し続ける中、ユーザーが検索しているコンテンツを発見することはますます難しくなり続けている。キーワード検索等のいくつかの異なる検索技術が存在するが、係るシステムには多くの非効率性がある。

発明を実施するための形態は、添付の図を参照して説明される。

実施態様に従って動的検索コントロールを使用し、関心のあるオブジェクトを選択するためのグラフィックユーザーインタフェースの表現の図である。 実施態様に従って動的検索コントロールを使用し、関心のあるオブジェクトを選択するためのグラフィックユーザーインタフェースの表現の図である。 実施態様に従って動的検索コントロールを使用し、関心のあるオブジェクトを選択するためのグラフィックユーザーインタフェースの表現の図である。 実施態様に従って動的検索コントロールを使用し、関心のあるオブジェクトを選択するためのグラフィックユーザーインタフェースの表現の図である。 実施態様に従って動的検索コントロールを使用し、関心のあるオブジェクトを選択するためのグラフィックユーザーインタフェースの表現の図である。 実施態様に従って動的検索コントロールを使用し、関心のあるオブジェクトを選択するためのグラフィックユーザーインタフェースの表現の図である。 実施態様に従って動的検索コントロールを使用し、関心のあるオブジェクトを選択するための別のグラフィックユーザーインタフェースの表現の図である。 実施態様に従って動的検索コントロールを使用し、関心のあるオブジェクトを選択するための別のグラフィックユーザーインタフェースの表現の図である。 実施態様に従って、例の動的検索プロセスを示す流れ図である。 実施態様に従って、別の例の動的検索プロセスを示す流れ図である。 実施態様に従って、例の画像検索処理プロセスを示す流れ図である。 実施態様に従って、例のキーワード決定プロセスを示す流れ図である。 例の検索結果精緻化及び選択プロセスを示す流れ図である。 実施態様に従って、例のコンピューティング装置を示す。 図１４に示されるコンピューティング装置等の、コンピューティング装置の構成要素の例の構成を示す。 多様な実施態様のために使用され得るサーバシステムの例示的な実施態様の絵図である。

実施態様が例として本明細書に説明されているが、当業者は、実施態様が説明される例または図面に限定されないことを認識するであろう。図面及びその詳細な説明は、実施態様を開示されている特定の形式に限定することを意図しておらず、逆に、その意図は添付の特許請求の範囲によって定義される精神及び範囲に含まれるすべての変形、均等物、及び代替策に及ぶことを理解するべきである。本明細書に使用される見出しは、構成の目的のみに使用され、説明または特許請求の範囲の範囲を制限するために使用することを意図していない。本出願を通じて使用されるように、単語「ｍａｙ（してよい）」は、必須の意味（すなわち、ｍｕｓｔ（しなければならない）を意味する）ではなく、許容的な意味（すなわち、ｈａｖｉｎｇ ｔｈｅ ｐｏｔｅｎｔｉａｌ ｔｏ（する可能性がある）を意味する）で使用される。同様に、単語「ｉｎｃｌｕｄｅ（含む）」、「ｉｎｃｌｕｄｉｎｇ（含む）」、及び「ｉｎｃｌｕｄｅｓ（含む）」はｉｎｃｌｕｄｉｎｇ，ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ（を含むが、これに限定されるものではない）を意味する。

より大きい画像の一部分の選択に基づいて情報を検索することを容易にするシステム及び方法が本明細書に記載される。画像全体を処理するように試みる及び／または検索入力（画像、キーワード（複数可）等）が統計的に位置決めされた検索コントロールで提供されることを必要とするのではなくむしろ、説明されているシステム及び方法は、表示情報の任意の部分の上に位置決めされ得る動的位置決め可能検索コントロールを提供する。例えば、検索コントロールは、それがユーザーインタフェースに提示される表示情報をオーバレイするように見え、表示情報の一部分を包囲するように視覚的に提示されてよい。ユーザーは検索コントロールの位置を移動もしくは改変してよい、及び／または検索コントロールのサイズを調整してよい。ユーザーが検索コントロールを移動する及び／または検索コントロールのサイズを改変するにつれ、検索コントロールによって包囲されるオブジェクトに類似する追加画像が決定され、ユーザーに提示される。ユーザーが検索コントロールを移動する及び／または検索コントロールのサイズを改変するにつれ、追加画像は、それらが検索コントロールによって包囲される表示情報の部分に表されるオブジェクトと対応するように更新される。

検索コントロールが所望される位置にある（例えば、ユーザーが検索コントロールを移動する及び／または検索コントロールのサイズを改変することを停止する）とき、視覚的に類似する及び／または検索コントロールによって包囲されるオブジェクトの表現に視覚的に類似するオブジェクトの表現を含む追加画像を提示することに加えて、１つ以上のキーワードがユーザーに提示されてよい。キーワードは、どの追加画像がユーザーに対する提示のために決定されるのかを改変するために選択されてよい。

ユーザーはキーワード及び／または提示された追加画像と相互に作用してよい。例えば、ユーザーはキーワードの１つ以上を選択してよく、追加画像の提示は、キーワードに対応し、検索コントロールによって包囲される表示情報の一部分に視覚的に類似する追加画像を提示するために更新される。同様に、ユーザーは、例えば追加画像を見る、選択する等によって提示された追加画像と相互に作用してよい。追加画像が選択されると、ユーザーは、開始されてよい、選択された追加画像と関連付けられた１つ以上のアクションを提示されてよい。例のアクションは、画像に表されるオブジェクトの購入を開始する、画像を共有する、画像を保存する、画像を電子メールする、画像及び／または画像に表されるオブジェクトについての追加の情報を入手する等を含むが、これに限定されるものではない。

動的位置決め可能検索コントロールを提供することによって、ユーザーは、画像全体を検索する、及び／またはユーザーにとって関心がある場合もあれば、関心がない場合もある結果を受信することを必要とするよりむしろ、関心のある表示情報または関心のあるオブジェクトの表現を含む表示情報の一部分を選択し、表示情報及び／または関心のあるオブジェクトのその部分に関連する検索結果を受信することができる。同様に、ユーザーが検索コントロールを移動するにつれ、提示された追加画像を更新することによって、ユーザーは、体系的な方法で表示情報を探索し、オブジェクト単位で、表示情報に含まれるオブジェクトに視覚的に類似するオブジェクトの表現を含む追加画像を見ることができる。

図１〜図６は、実施態様に従って、検索コントロールを動的に位置決めし、関心のあるオブジェクトを選択するためのユーザーインタフェースの表現の図である。ユーザーは、クライアント装置を介して表示情報を含むグラフィックユーザーインタフェースを提示されてよい。クライアント装置は、例えばパーソナルコンピュータ、タブレットコンピュータ、電子書籍リーダー装置、ラップトップコンピュータ、デスクトップコンピュータ、ネットブック、パーソナルデジタルアシスタント（ＰＤＡ）、携帯ゲーム機、スマートフォンまたは携帯電話機等の無線通信装置、セットトップボックス、ゲームコンソール、カメラ、またはその任意の組み合わせを含んでよい。クライアント装置を活用し、ユーザーは表示情報と相互に作用してよい。

最初に図１を参照すると、Ｔｉｇｅｒ Ｌｅｇｇｉｎｇｓ１０２、スーツを着用した男性の画像１０４、画像の一部分１０６、及び画像の一部分１０８等の表示情報を含むユーザーインタフェース１００が示される。理解されるように、表示情報は、ユーザーに視覚的に提示できる任意のタイプ、スタイル、量等の情報であってよい。例えば、表示情報は画像、ビデオ、テキスト、ウェブページ、電子メール、ワード文書、プレゼンテーション、スプレッドシート等、またはその任意の組み合わせを含んでよい。

ユーザーは情報及び／または項目を検索しているとき、彼らは多くの場合、ユーザーインタフェース１００に表される表示情報の特定のオブジェクトまたは部分にしか関心がない。例えば、ユーザーはレギンス１０２−１、靴１０２−２、男性のネクタイ１０４−１、男性のスーツのジャケット１０４−２等にしか関心がない場合がある。追加の情報及び／または関心のあるオブジェクトに視覚的に類似するオブジェクトを含む追加画像を入手するために、ユーザーは検索コントロールアイコン１１０を選択することによって動的検索コントロールを開始してよい、または呼び出してよい。

検索コントロールアイコン１１０を選択すると、検索コントロールはユーザーインタフェース１００に視覚的に提示される。例えば、図２は、動的検索コントロール２０５がアクティブにされた状態の、ユーザーインタフェース１００に対応するグラフィックユーザーインタフェース２００を示す。示されるように、動的検索コントロール２０５は動的検索コントロールが表示情報の上に視覚的に提示され、表示情報のすべてに満たない情報を包囲するように見えるように、表示情報と同時に視覚的に提示される。

ユーザーは、動的検索コントロールをユーザーインタフェース２００の回りで移動し、検索コントロールのサイズを調整する等によって動的検索コントロールと相互に作用してよい。ユーザーが検索コントロールを調整する（例えば、検索コントロールを移動する及び／または検索コントロールのサイズを改変する）につれ、追加画像２１０が決定され、ユーザーに提示される。図２に示されるように、ユーザーはスーツを着用した男性の画像２０４の上に検索コントロールを位置決めし、検索コントロール２０５がおもに画像２０４で表されるネクタイ２０４−１を包囲するように検索コントロール２０５のサイズを調整した。レギンスの画像２０２等の、動的検索コントロール２０５によって包囲されない表示情報は難読化される場合がある、または灰色にされる場合がある、またはそれ以外の場合検索コントロール２０５から区別される場合がある。

動的検索コントロールは任意のサイズまたは形状であってよく、ユーザーインタフェース２００上の任意の場所に動的に位置決めされてよい。この例では、動的な検索コントロール２０５は実質的に円形であり、実質的に円形の形状の半径は、サイズコントロール２０６を使用し、拡大または縮小されてよい。他の実施態様では、動的検索コントロールは、任意のサイズ及び／または形状であってよい。例えば、動的検索コントロール２０５は、正方形、矩形、八角形、楕円形、または任意の他の多角形もしくは表示情報の一部分を包囲する他の形状であってよい。

ユーザーは、検索コントロールと相互に作用することによって検索コントロール２０５のサイズ及び／または位置を調整してよい。例えば、表示情報が提示されるクライアント装置がタッチセンサ式のディスプレイを含む場合、ユーザーはタッチセンサ式ディスプレイに触れるまたはそれ以外の場合タッチセンサ式ディスプレイと相互に作用し、検索コントロールをユーザーインタフェース上の所望される位置に移動する及び／または検索コントロールを所望されるサイズに調整することによって検索コントロールの位置及び／またはサイズを改変してよい。音声制御、マウス、キーボード等を含むが、これに限定されるものではない他の形式の調整が同様に活用されてよい。

この例では、検索コントロール２０５が、ネクタイ２０４−１を含む画像２０４の一部分を包囲するように、ユーザーは検索コントロール２０５のサイズを調整し、検索コントロール２０５を位置決めしている。示されるように、検索コントロール２０５によって包囲されるユーザーインタフェース２００に提示された表示情報の一部分は、表示情報の他の部分とは区別される。

ユーザーが表示情報の異なる部分の上で検索コントロールを移動するにつれ、表示情報の包囲された部分を含む画像セグメントが生成される。図９及び図１０に関してさらに説明されるように、一部の実施態様では、表示情報全体の画像が入手され、クライアント装置上でキャッシュに格納されてよい。検索コントロールが移動されるにつれ、検索コントロールの位置は、表示情報のキャッシュに格納された画像から対応する画像セグメントを入手するために活用される。他の実施態様では、ページ情報（例えば、ユニフォームリソースロケータ、画像署名）及び検索コントロール位置情報はリモートコンピューティングリソースに送信されてよく、リモートコンピューティングリソースはその情報を活用して画像セグメントを生成してよい。画像セグメントは、検索コントロールによって包囲される表示情報の部分を含む。

画像セグメントは、検索コントロールが移動される、及び／またはそれ以外の場合調整されるにつれて定期的に生成されてよい。一部の実施態様では、画像セグメントは、検索コントロールが移動または調整されるのにつれ、定められた間隔（例えば、毎秒、２秒ごとに）で生成されてよい。他の実施態様では、画像セグメント生成の頻度は、検索コントロールが移動している速度及び／または方向に基づいてよい、検索コントロールのサイズに基づいてよい、表示情報の色変動に基づいてよい、ユーザー設定値または好みに基づいてよい等である。他の実施態様では、画像セグメントは、検索コントロール２０５が所望される位置にある及び／または所望されるサイズであると判断されるまで入手されなくてよい。例えば、ユーザーからの表示を受信する（例えば、ユーザーがマウスボタンを放すまたはタッチセンサ式画面からタッチ入力を削除する）ことに応えて、検索コントロール２０５の位置及び／またはサイズをまったく改変せずに定められた時間の量（例えば、２秒）が経過したと例えば判断することによって、検索コントロールが所望される位置にあると判断されてよい。

各画像セグメントが生成されるにつれ、画像セグメントは、関心があるオブジェクトと本明細書で呼ばれる画像セグメントに表されるオブジェクト、及び視覚的に類似するオブジェクトを含む及び／または画像セグメントに視覚的に類似する他の追加画像を決定するために処理される。画像セグメントを処理し、追加の視覚的に類似する画像を決定することは、図１１に関して以下にさらに詳細に説明される。

視覚的に類似する画像は、追加画像２１０としてユーザーに提示される。この例では、検索コントロール２０５によって包囲される表示情報に対応する画像セグメント２０８の一部分は、ユーザーインタフェース２００の一部として追加画像２１０と同時に提示される。任意の数の追加画像２１０が提示されてよい。この例では、検索コントロール２０５によって包囲される表示情報の部分に表されるオブジェクトに視覚的に類似すると判断される、ユーザーインタフェース２００に提示される７つの追加画像２１０−１、２１０−２、２１０−３〜２１０−Ｎがある。他の実施態様では、ユーザーインタフェース２００に提示されるより少ないまたはより多い追加画像があってよい。

関心のある選択されたオブジェクトに視覚的に類似するオブジェクトの表現を含むと判断される追加画像は、一部の実施態様でランク付けされてよく、（例えば、選択された関心のあるオブジェクトに対する視覚的な類似性に基づいて）最高のランクを有する画像が追加画像２１０として提示される。

ユーザーが検索コントロール２０５を移動するまたはそれ以外の場合改変するにつれ、追加画像セグメントが生成され、処理され、検索コントロールによって包囲されるオブジェクトの表現に対応する追加画像がユーザーに提示される。例えば、図３は、ユーザーが、図２に示されるネクタイの表現から検索コントロール３０５のサイズ及び位置を改変したユーザーインタフェース３００を示し、これにより検索コントロール３０５は、スーツジャケット３０４−２の表現を包囲する。具体的には、この例では、ユーザーは、サイズコントロール３０６を操作することによって検索コントロール３０５の半径を拡大し、検索コントロール３０５の位置を調整している。検索コントロール３０５によって包囲される表示情報の部分を含む画像セグメントが生成される。画像セグメントが次いで処理され、画像セグメントに表される関心のあるオブジェクトが男性用スーツのジャケットであると判断される。この例では、検索コントロールによって包囲されるオブジェクトの複数の表現、すなわちスーツジャケット３０４−２の表現及びネクタイ３０４−１の表現があっても、処理は、関心のあるオブジェクトはスーツジャケットであると判断してよい。この判断は、検索コントロールのサイズ及び／もしくは位置、ユーザーの好み、並びに／または他の情報に基づいてよい。他の実施態様では、画像セグメントに表される各オブジェクトが決定されてよい。

上述のように、画像セグメントに表されるオブジェクトに基づいて、オブジェクトの視覚的に類似する表現を有する追加画像３１０が決定され、ユーザーに提示される。同様に、画像セグメント３０８の表現は、追加画像と同時にユーザーに提示されてもよい。

例を続けると、ユーザーが検索コントロールの位置及び／またはサイズを改変し続けると、追加画像セグメントが生成され、処理され、検索コントロールによって包囲される表されたオブジェクトに対応する追加画像が決定され、ユーザーに提示される。ユーザーが検索コントロールの位置及び／またはサイズを改変するにつれ追加画像を更新することは、表示情報のリアルタイム探索を提供し、ユーザーにとって関心があり、検索コントロールによって包囲される表示情報の部分に関連する追加画像を提供する。

例えば、図４を参照すると、ユーザーは、検索コントロール４０５が、ユーザーインタフェース４００に提示される表示情報の画像４０２に含まれるタイガーレギンス４０２−１の表現の上に位置決めされるように、検索コントロール４０５の位置を改変している。上述のように、検索コントロール４０５によって包囲される表示情報の部分を含む画像セグメントが生成され、その画像セグメントは、ユーザーインタフェース４００の一部としてユーザーに提示される追加画像４１０を決定するために処理される。

一部の実施態様においては、追加画像４１０を提示することに加えて、追加画像に対応するキーワード４１２が提示されてよい。追加画像４１０のように、任意の数のキーワード４１２が選択のためにユーザーに提示されてよい。図１２に関して以下にさらに説明されるように、キーワードは追加画像４１０の１つ以上と関連付けられてよく、キーワードが追加画像と関連付けられる頻度に基づいてランク付けされてよい。最高頻度を有するキーワード４１２は、ユーザーインタフェースに提示されてよい。この例では、ユーザーインタフェースに提示される１０のキーワード４１２−１、４１２−２、４１２−３、４１２−Ｎがある。他の実施態様では、ユーザーインタフェース４００に提示されるより少ないまたは追加のキーワードがあってよい。

一部の実施態様では、キーワードは、検索コントロールが決定された期間（例えば、２秒）の間静止しているときだけ提示されてよい。他の実施態様では、キーワードは追加画像と同じ頻度で提示されてよい。

ユーザーは、追加画像４１０を選択してよい、キーワード４１２の１つ以上を選択してよい、及び／または検索コントロール４０５を位置決めし直してよい、もしくはサイズを変更してよい。ユーザーが検索コントロール４０５を位置決めし直す及び／またはサイズを変更する場合、新しい画像セグメントが生成され、その新しい画像セグメントに対応する追加画像及び／またはキーワードが決定され、ユーザーに提示される。ユーザーがキーワード４１２の１つ以上を選択する場合、追加画像が提示される順序は、選択されたキーワード（複数可）及び追加画像の画像セグメントとの類似性に基づいて調整される。同様に、キーワードが提示される順序は、選択されたキーワードに対応する追加画像に基づいて更新されてよい。

例えば、図５は、追加画像５１０の順序、及びキーワード５１２の順序の提示が、「レギンス」及び「プリント柄レギンス」の２つのキーワード５１２−１、５１２−２の選択に対応して更新されるユーザーインタフェース５００を示す。図１３に関して以下にさらに説明されるように、キーワードが選択されるたびに、選択されたキーワードと関連付けられる追加画像が決定され、再ランク付けされる。この例では、選択されたキーワード５１２−１、５１２−２の両方とも追加画像と関連付けられる追加画像が決定され、他の追加画像よりも高くランク付けされる。両方のキーワードを含む追加画像の場合、追加画像は、画像セグメントとの類似性に基づいてさらにランク付けされる。例えば、最初の２つの追加画像５１０−１及び５１０‐２はそれぞれ両方のキーワード５１２−１、５１２−２と関連付けられており、したがって他の追加画像５１０−３〜５１０−Ｎよりも高くランク付けされる。同様に、追加画像５１０−１は、画像セグメントに対してより高い類似性を有し、追加画像５１０−２よりも高くランク付けされる。ユーザーは、キーワードの選択及び／または選択解除を続行してもよく、追加画像５１０の提示される順序は相応して更新される。

一部の実施態様では、選択されたキーワード関連付けを有する追加画像だけが提示されてよい。他の実施態様では、図５に示されるように、関連付けられたキーワードを有する追加画像は、それと関連付けられた選択されたキーワードを有さない他の追加画像よりも高くランク付けされてよい。

選択されたキーワード、及び選択されたキーワードと関連付けられると判断された追加画像に基づいて、キーワードが提示される順序は調整されてよい。例えば、図１１に関して以下にさらに説明されるように、キーワードの選択時、選択されたキーワードと関連付けられた追加画像が決定される。同様に、それらの追加画像と関連付けられた他のキーワードが決定されてよく、キーワードは、すでに選択されたキーワードと関連付けられる追加画像と関連付けられたキーワードが、それと関連付けられていないすでに選択されたキーワードを有していない追加画像と関連付けられたキーワードよりも高くランク付けされ得るように、再ランク付けされてよい。再ランク付けされたキーワードは、次いで再ランク付けされた追加画像と同時にユーザーに提示されてよい。

また、ユーザーは追加画像５１０を選択し、選択された追加画像に関して追加の詳細及び／またはアクションを入手してもよい。例えば、図６は、ユーザーが追加画像５１０−３（図５）を選択するのに応えて提示されるユーザーインタフェース６００を含む。示されるように、選択された追加画像は、追加画像６１０−３としてより大きいビューに提示される。同様に、選択された追加画像に関して始動されてよい１つ以上のアクション６０２も提示される。追加のアクションは、「保存する」６０２−１、「共有する」６０２−２、及び「買う」６０２−Ｎ、または購入を含むが、これに限定されるものではない。他の実施態様では、追加のより少ない及び／または異なるアクションがある場合がある。選択された追加画像に関して関連付けられてよい、または開始されてよい他のアクションは、送信アクション（例えば、追加画像を電子メールする）、投稿アクション（例えば、ソーシャルウェブサイトに追加画像を投稿する）等を含むが、これに限定されるものではない。

ユーザーはアクションの１つ以上を選択してよく、対応するアクションが追加画像に関して開始される。例えば、ユーザーが「買う」６０２−Ｎアクションを選択する場合、追加画像に表されるオブジェクトを購入するアクション、つまり追加画像の購入が開始される。アクションの開始は、表されているオブジェクトに関する追加の詳細を入手すること、価格情報、販売者情報、出荷詳細を提供すること等を含んでよい。理解されるように、あらゆるさまざまなアクションは追加画像の１つ以上と関連付けられてよく、それらのアクションは選択された追加画像に関して開始されてよい。

図７は、実施態様に従って、別のクライアント装置に提示されるユーザーインタフェース７００を示す。この例のユーザーインタフェース７００は、ユーザーインタフェース５００（図５）に対応し、異なるフォームファクタクライアント装置７０１に提示される。上記の例と同様に、検索コントロール７０５が、クライアント装置７０１によってユーザーインタフェース７００に提示される表示情報に含まれる画像７０２に提示されるタイガーレギンス７０２−１の表現を包囲するために位置決めされるように、ユーザーは検索コントロール７０５を位置決めし、サイズコントロール７０６を使用し、検索コントロールのサイズを調整している。同様に、ユーザーは２つのキーワード７１２「レギンス」及び「プリント柄レギンス」を選択している。上述のように、検索コントロール７０５によって包囲される表示情報の部分を含む画像セグメントが生成され、追加画像７１０を決定し、選択されたキーワード７１２に基づいてそれらの追加画像７１０を再ランク付けし、クライアント装置７０１のユーザーインタフェース７００に再ランク付けされた追加画像７１０を提示している。この例では、追加画像７１０−１は追加画像５１０−１に対応し、追加画像７１０−２は追加画像５１０−２に対応し、追加画像７１０−３は追加画像５１０−３に対応し、追加画像７１０−Ｎは追加画像５１０−Ｎに対応する等である。

ユーザー経験または使用されるクライアント装置に関わらず、本明細書に説明される実施態様は、ユーザーが、表示情報の部分を動的に選択し、表示情報の選択された部分に表されるオブジェクトに視覚的に類似する追加画像を入手することを可能にする。ユーザーは、それらの追加画像と相互に作用し、提示されたキーワードを選択し、検索コントロールを移動し続けることによって表示情報を探索し続ける等であってよい。例えば、図８を参照すると、上記の例と同様に、ユーザーは追加画像７１０−３を選択し、ユーザーによって開始されてよいアクション８０２−１、８０２−２〜８０２−Ｎとともに追加画像８１０−３を提示される。

図９は、実施態様に従って例の動的検索プロセス９００を示す流れ図である。このプロセス及び本明細書に説明される各プロセスは、本明細書に説明されるアーキテクチャまたは他のアーキテクチャによって実装されてよい。プロセスは、論理フローグラフでブロックの集合体として示される。ブロックのいくつかは、ハードウェア、ソフトウェア、またはその組み合わせで実施できる動作を表す。ソフトウェアの文脈では、ブロックは、１つ以上のプロセッサによって実行されるときに列挙される動作を実行する１つ以上のコンピュータ可読媒体に記憶されたコンピュータ実行可能命令を表す。概して、コンピュータ実行可能命令は、特定の機能を実行するまたは特定の抽象データ型を実装するプロセス、プログラム、オブジェクト、構成要素、データ構造等を含む。

コンピュータ可読媒体は、ハードドライブ、フロッピーディスケット、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気カードもしくは光カード、ソリッドステートメモリ装置、または電子命令を記憶するために適した他のタイプの記憶媒体を含んでよい非一過性コンピュータ可読記憶媒体を含んでよい。さらに、一部の実施態様では、コンピュータ可読媒体は（圧縮された形式または圧縮されていない形式で）一過性のコンピュータ可読信号を含んでよい。コンピュータ可読信号の例は、搬送波を使用し、変調されるかどうかに関わらず、インターネットまたは他のネットワークを通してダウンロードされる信号を含む、コンピュータプログラムをホストするまたは実行するコンピュータシステムがアクセスするように構成できる信号を含むが、これに限定されるものではない。最後に、動作が説明される順序は限定として解釈されることを意図しておらず、説明された任意の数の操作を、任意の順序及び/または同時に組み合わせて、プロセスを実施することができる。

例のプロセス９００は、９０２でのように動的に調整可能な検索コントロールを使用し、検索を開始する呼び出しまたは要求の受信時に始まる。呼び出しを受信すると、動的検索コントロールは、それが、９０４でのようにユーザーインタフェースに提示される表示情報の上に位置決めされているように見えるように、ユーザーインタフェースに提示される。例えば、検索コントロールによって包囲されていない表示情報の一部分は、難読化される場合がある、灰色にされる場合がある、ビューから隠される場合等があり、これにより動的検索コントロール及び検索コントロールによって包囲される表示情報の部分は区別される。他の実施態様では、検索コントロールによって包囲される表示情報の部分は、ユーザーが表示情報のどの部分が検索コントロールによって包囲されているのかを識別できるように、強調表示されてよい、拡大されてよい、またはそれ以外の場合表示情報の他の部分から区別されてよい。

ユーザーは、表示情報の異なる部分が検索コントロールによって包囲されるように、例えばユーザーインタフェースの異なる位置に検索コントロールを位置決めし直すことによって検索コントロールと相互に作用してよい。同様に、検索コントロールのサイズ及び／または形状は、表示情報のより多いまたはより少ない情報が検索コントロールによって包囲されるように改変されてよい。

検索コントロールが移動される、及び／またはサイズが調整されるにつれ、９０８でのように、検索コントロールに対応する位置情報が決定される。位置情報は、検索コントロールのサイズ、形状、及び／または寸法、ならびにユーザーインタフェースでの及び／または表示情報に関して検索コントロールの水平位置及び垂直位置を含む。例えば、検索コントロールの中心点が決定されてよく、ユーザーインタフェース上での中心点の水平位置及び垂直位置が決定されてよく、検索コントロールの寸法（例えば、高さ、幅、形状）が中心点に関して決定されてよい。別の例では、検索コントロールの外周または外周の点が、ユーザーインタフェースに関して水平位置及び垂直位置で決定されてよい。

検索コントロールの位置情報、及びユーザーインタフェースに提示される表示情報に対応するユーザーインタフェース情報が、９１０でのようにリモートコンピューティングリソースに送信される。ユーザーインタフェース情報は、例えばユーザーインタフェースに表示情報として提示されるウェブページのユニフォームリソースロケータ（ＵＲＬ）を含んでよい。別の例として、ユーザーインタフェース情報は、検索コントロールによって部分的に包囲される表示情報の中の画像に対応する画像署名を含んでよい。係る実施態様では、リモートコンピューティングリソースは、クライアント装置に提示される表示情報を維持する、及び／または提供している。例えば、表示情報は、リモートコンピューティングリソースによってクライアント装置に送信されたまたは提供されたウェブページに対応してよい。代わりに、表示情報は、別の装置によってクライアント装置に及びリモートコンピューティングリソースに提供された可能性がある。ソースに関わらず、図９に関して説明された実施態様では、リモートコンピューティングリソースは、クライアント装置のディスプレイに提示される表示情報に関する情報を有する。

リモートコンピューティングリソースは、ユーザーインタフェース情報及び検索コントロールの位置情報を受信すると、９１２でのように、検索コントロールによって包囲された表示情報の部分に対応する画像セグメントを決定する。例えば、リモートコンピューティングリソースは、受信したユーザーインタフェース情報に基づいて、表示情報、及びユーザーインタフェースでの表示情報の位置を決定してよい。同様に、検索コントロールの中に包囲される表示情報の部分は、決定された表示情報の上に検索コントロールの位置情報をオーバレイすることによって決定されてよく、位置情報の中に含まれる表示情報の部分は、画像セグメントとして分割されてよい。

画像セグメントは、次いで１１００でのように、画像セグメントに表されるオブジェクト、及び画像セグメントに表されるオブジェクトに視覚的に類似するオブジェクトの表現を含む複数の追加画像を決定するために処理される。画像セグメントの処理は、図１１に関して以下にさらに詳細に説明される。同様に、１２００でのように、追加画像と関連付けられる１つ以上のキーワードも決定されてよい。キーワードの決定は、図１２に関して以下にさらに詳細に説明される。

例のプロセス１１００によって返されるランク付けされた追加画像、及び例のプロセス１２００によって返されるランク付けされたキーワードは、９１４でのように、リモートコンピューティングリソースによってクライアント装置に送信される。一部の実施態様では、例のプロセス１１００及び例のプロセス１２００によって返されるすべての追加画像及び／または追加のキーワードは、クライアント装置に送信されてよい。他の実施態様では、追加画像及び／または追加のキーワードの一部分だけがクライアント装置に送信されてよく、リモートコンピューティングリソースは、追加画像及び／または追加のキーワードのすべてのレコード、並びにどの追加画像及び／または追加のキーワードがクライアント装置に送信されたことがあるのかの表示を維持してよい。

最後に、クライアント装置は、９１６でのように、追加画像及び／または追加のキーワードを受信すると、追加画像を提示する。追加画像を提示することに加えて、９１８でのように、動的検索コントロールが位置決めし直されたかどうかに関する判断が下される。動的検索コントロールが位置決めし直されたと判断される場合、例のプロセス９００はブロック９０８に戻り、続行し、それによって位置決めし直された検索コントロールによって包囲されるオブジェクトの表現に対応するために、ユーザーに提示される追加画像を更新する。動的検索コントロールが位置決めし直されていないと判断される場合、９２０でのように、ランク付けされたキーワードがユーザーに提示される。一部の実施態様では、検索コントロールが位置決めし直されていないと判断される前に、及びキーワードが提示される前に遅延がある場合がある。例えば、例のプロセスは、検索コントロールが位置決めし直されなかったと判断され、キーワードが提示される前に２秒の遅延を含む場合がある。一部の実施態様では、画像セグメント、検索コントロール、及び／または表示情報は、追加画像及び／または追加のキーワードとともに提示されてもよい。

図１０は、実施態様に従って、別の例の動的検索プロセス１０００を示す流れ図である。例のプロセス１０００は、１００２でのように、動的に調整可能な検索コントロールを使用し、検索を開始する呼び出しまたは要求の受信時に始まる。呼び出しを受信すると、動的検索コントロールは、１００４でのように、それが、ユーザーインタフェースに提示される表示情報の上に位置決めされているように見えるように、ユーザーインタフェースに提示される。例えば、検索コントロールによって包囲されていない表示情報の一部分は、難読化される場合がある、灰色にされる場合がある、ビューから隠される場合等があり、これにより動的検索コントロール及び検索コントロールによって包囲される表示情報の部分は区別される。他の実施態様では、検索コントロールによって包囲される表示情報の部分は、ユーザーが、表示情報のどの部分が検索コントロールによって包囲されるのかを識別できるように、強調表示されてよい、拡大されてよい、またはそれ以外の場合、表示情報の他の部分から区別されてよい。

ユーザーは、表示情報の異なる部分が検索コントロールによって包囲されるように、例えばユーザーインタフェース上の異なる位置に検索コントロールを位置決めし直すことによって検索コントロールと相互に作用してよい。同様に、検索コントロールのサイズ及び／または形状が、表示情報のより多いまたはより少ない情報が検索コントロールによって包囲されるように改変されてよい。

検索コントロールを提示することに加えて、１００７でのように、ユーザーインタフェースに提示される表示情報の画像が入手され、キャッシュに格納される、またはそれ以外の場合、クライアント装置のメモリに記憶される。一部の実施態様では、表示情報の画像は、検索コントロール呼び出しが受信されるとき（ブロック１００２）に入手され、キャッシュに格納される。他の実施態様では、表示情報の画像は、検索コントロールがユーザーによって移動されるのにつれて画像セグメントが生成されるたびに、入手され、キャッシュに格納される。

表示情報の画像を入手することに加えて、１００８でのように、検索コントロールに対応する位置情報が決定される。位置情報は、検索コントロールのサイズ、形状、及び／または寸法、並びにユーザーインタフェース上での及び／または表示情報に関する検索コントロールの水平位置及び垂直位置を含む。例えば、検索コントロールの中心点が決定されてよく、ユーザーインタフェース上の中心点の水平位置及び垂直位置が決定されてよく、検索コントロールの寸法（例えば、高さ、幅、形状）が中心点に関して決定されてよい。別の例では、検索コントロールの外周または外周の点は、ユーザーインタフェースに関して水平位置及び垂直位置で決定されてよい。

表示情報の入手された画像は、１００９でのように位置情報に基づいて分割される。具体的には、包囲された表示情報に対応する入手された画像の部分を含む画像セグメントは、表示情報の入手されキャッシュに格納された画像から生成される。画像セグメントは次いで、１０１０でのようにリモートコンピューティングリソースに送信される。一部の実施態様では、クライアント装置で画像セグメントを生成するよりむしろ、表示情報の入手された画像全体がリモートコンピューティングリソースに送信されてよく、リモートコンピューティングリソースは画像セグメントを生成してよい。係る実施態様では、検索コントロールの位置情報が決定されるたびに、位置情報はリモートコンピューティングリソースに送信され、リモートコンピューティングリソースは受信された位置情報及び表示情報の入手された画像を使用して、画像セグメントを生成する。

リモートコンピューティングリソースは、１１００でのように、画像セグメント、及び画像セグメントに表されるオブジェクトに視覚的に類似するオブジェクトの表現を含む複数の追加画像に表されるオブジェクトを決定するために画像セグメントを処理する。画像セグメントの処理は、図１１に関して以下にさらに詳細に説明される。同様に、１２００でのように追加画像と関連付けられる１つ以上のキーワードも決定されてよい。キーワードの決定は、図１２に関して以下にさらに詳細に説明される。

例のプロセス１１００によって返されるランク付けされた追加画像、及び例のプロセス１２００によって返されるランク付けされたキーワードは、１０１４でのように、リモートコンピューティングリソースによってクライアント装置に送信される。一部の実施態様では、例のプロセス１１００及び例のプロセス１２００によって返される追加画像及び／または追加のキーワードのすべては、クライアント装置に送信されてよい。他の実施態様では、追加画像及び／または追加のキーワードの一部だけがクライアント装置に送信されてよく、リモートコンピューティングリソースは、追加画像のすべて及び／または追加のキーワードのすべてのレコード、ならびにどの追加画像及び／または追加のキーワードがクライアント装置に送信されたのかの表示を維持してよい。

最後に、クライアント装置は、１０１６に示されるように、追加画像及び／または追加のキーワードを受信すると、追加画像を提示する。追加画像を提示することに加えて、１０１８でのように、動的検索コントロールが位置決めし直されたかどうかに関する判断が下される。動的検索コントロールが位置決めし直されたと判断される場合、例のプロセス１０００はブロック１００８に戻り、続行し、それによって位置決めし直された検索コントロールによって包囲されるオブジェクトの表現に対応するために、ユーザーに提示される追加画像を更新する。動的検索コントロールが位置決めし直されなかったと判断される場合、１０２０でのように、ランク付けされたキーワードがユーザーに提示される。一部の実施態様では、検索コントロールが位置決めし直されなかったと判断される前に、及びキーワードが提示される前に遅延がある場合がある。例えば、例のプロセスは、検索コントロールが位置決めし直されず、キーワードが提示されると判断される前に２秒の遅延を含む場合がある。一部の実施態様では、画像セグメント、検索コントロール、及び／または表示情報も追加画像及び／または追加のキーワードとともに提示されてよい。

図１１は、実施態様に従って、例の画像処理プロセス１１００を示す流れ図である。例のプロセス１１００は、１１０２でのように、画像セグメントの受信時に始まる。上述されたように、画像セグメントは、動的に位置決め可能な検索コントロールによって包囲されるユーザーインタフェースの表示情報の一部に対応すると判断される。

受信された画像セグメントは、１１０４でのように画像セグメントに表されるオブジェクトを決定するために処理される。画像セグメントに表されるオブジェクトを決定するために、１つ以上の技術が活用されてよい。例えば、オブジェクト検出アルゴリズム、エッジ検出アルゴリズム等のオブジェクト検出アルゴリズムの１つ以上がオブジェクトを検出するために使用されてよい。他の実施態様では、画像及び／または画像セグメントに表されるオブジェクトに対応する色ヒストグラムまたは色署名は、画像に表されるオブジェクトを表すとして決定され、活用されてよい。一部の実態態様では、「Ｉｍａｇｅ Ｂａｓｅｄ Ｓｅａｒｃｈ」と題する共同所有された米国特許出願第１４／２７９，８７１号に説明される技術は、その内容がその全体として参照により本明細書に援用され、画像セグメントに表されるオブジェクトを決定するために使用されてよい。

１１０６でのように、決定されたオブジェクトに基づいて、視覚的に類似するオブジェクトを含む１つ以上の追加画像が決定されてよい。例えば、リモートコンピューティングリソースによってデータストアで維持される画像は、類似するオブジェクト検出技術を使用し処理され、オブジェクトタイプ、形状、サイズ、色、ブランド等によってインデックスを付けられてよい。画像セグメントに表されるオブジェクトが決定されると、該オブジェクトは、同じまたは類似するタイプ、形状、サイズ、色、ブランド等を有するオブジェクトを含む追加画像を決定するためにリモートコンピューティングリソースによって維持されるインデックスと比較されてよい。視覚的に類似すると判断されたオブジェクトを有する追加画像は、画像セグメントのオブジェクトの表現が追加画像に表されるオブジェクトにどれほど視覚的に類似するのかに基づいてランク付けされてよい、または重みを付けられてよい。例えば、画像セグメントに表されるオブジェクトの単一の特色ベクトルは、オブジェクト間の類似性を決定するために視覚的に類似するオブジェクトの特色ベクトルと比較されてよい。

追加画像の類似性スコアに基づいて、追加画像は、１１０８でのようにランク付けされ、１１１０でのように、最高のランクが付けられた画像は返される。一部の実施態様では、視覚的に類似するオブジェクトを有する画像の一部分だけが、追加画像として返されてよい。例えば、視覚的に類似するオブジェクトを含む追加画像のセグメントだけが返されてよい。他の実施態様では、視覚的に類似するオブジェクトを含む追加画像全体が返されてよい。同様に、追加画像はランク付けに対応する順序集合で返されてよい、及び／または追加画像ランク付けもしくは追加画像ランク付けリストは、追加画像を提供されてよい。

上述のように、一部の実施態様では、ユーザーにも提示される１つ以上のキーワードが決定されてもよい。係る実施態様では、例のプロセス１２００（図１２）は、追加のキーワードを決定するために実行されてよい。図１２に示される例のプロセス１２００は、１２０２でのように、例のプロセス１１００（図１１）によって決定される追加画像と関連付けられたキーワードのそれぞれを決定することによって始まる。例えば、追加画像の一部またはすべては、１つ以上のキーワード、キーワードとして分析され、使用されてよい、属性、メタデータ、説明等を有してよい。決定されたキーワードごとに、頻度またはカウントが、追加画像のどれほど多くが各キーワードと関連付けられるのかに基づいて決定される。例えば、キーワード「レギンス」が９００の追加画像の中から１１５の画像と関連付けられる場合、キーワード「レギンス」は、それが９００の追加画像と関連付けられる１１５回を表す頻度またはカウントを有する。

キーワードは、次いで、１２０４でのようにキーワードごとに決定された頻度に基づいてランク付けされ、１２０６でのように、ランク付けられたキーワードは返される。一部の実施態様では、追加のキーワードのすべてはランク付けされた順序で返されてよい。他の実施態様では、ランク付けされたキーワードの一部分だけが返されてよい。同様に、キーワードはランク付けに対応する順序集合で返されてよい、及び／またはキーワードランク付けもしくはキーワードのキーワードランク付けリストで返されてよい。一部の実施態様では、キーワードランク付けリストは、各キーワードの使用の頻度とともにキーワードのそれぞれを識別してよい。

図１３は、実施態様に従って、例の検索結果精緻化及び選択プロセス１３００を示す流れ図である。例のプロセス１３００は、１３０２でのように、提示されたキーワードが選択されたかどうかを判断することによって始まる。キーワードが選択されたと判断される場合、判断された追加画像は、１３０４でのように、選択されたキーワード、及び追加画像の画像セグメントとの類似性に基づいて再ランク付けされる。例えば、それと関連付けられた選択されたキーワード（複数可）を有する追加画像は、それらが他の追加画像よりも高くランク付けされるように、他の追加画像よりも高い重みを与えられる。同様に、選択されたキーワード（複数可）との関連付けを含む追加画像の場合、それらの追加画像は画像セグメントとのその類似性に従ってランク付けされ、これにより関連付けられたキーワード及び最高の視覚的類似性を有する追加画像は最高にランク付けされる。

選択されたキーワードに基づいて追加画像を再ランク付けすることに加えて、１３０５でのように、キーワードも再ランク付けされてよい。例えば、キーワードの集合は、選択されたキーワードと関連付けられる追加画像と関連付けられたキーワードだけを含むように削減されてよい。係る例では、削減されたキーワードの集合は次いで、それらのキーワードが追加画像と関連付けられる頻度に基づいて再ランク付けされてよい。一例では、削減されたキーワードの集合の頻度は、追加画像のすべてに基づいて決定されてよい。別の例では、削減されたキーワードの集合の頻度は、選択されたキーワードと関連付けられる追加画像だけに基づいて決定されてよい。再ランク付けされた画像及び／または再ランク付けされた非選択キーワードは、１３０６でのように次いで送信され、ユーザーに提示される。

一部の実施態様では、追加画像を再ランク付けすること及び／またはキーワードを再ランク付けすることのプロセスは、クライアント装置で実行されてよい。他の実施態様では、追加画像及び／またはキーワードの再ランク付けはリモートコンピューティングリソースで実行されてよい。例えば、クライアント装置が追加画像及び対応するキーワードのすべてを受信している場合、キーワードの選択時、クライアント装置は選択されたキーワードに基づいて提示のための追加画像を再ランク付けしてよい。同様に、クライアント装置はキーワードの集合を削減し、削減されたキーワードの集合を再ランク付けしてよい。代わりに、キーワードの選択時、クライアント装置は選択されたキーワードの表示をリモートコンピューティングリソースに送信してよい。リモートコンピューティングリソースは次いで、選択されたキーワードに基づいて追加画像を再ランク付けし、キーワードの集合を削減し、削減されたキーワードの集合を再ランク付けし、クライアント装置に再ランク付けされた追加画像及び再ランク付けされ選択解除されたキーワードを提供してよい。代わりに、リモートコンピューティングリソースはクライアントデバイスに更新された追加画像ランク付けリスト、ならびに／または追加画像及び／もしくは非選択キーワードが提示される順序を示す更新されたキーワードランク付けリスト、またはその組み合わせを提供してよい。例えば、リモートコンピューティングリソースがクライアント装置に、提示された最高のランク付けされた画像だけを送信した場合、再ランク付け時、リモートコンピューティングリソースは、どの追加画像が提示されるのかを判断し、それらの追加画像のどれがすでにクライアント装置に送信されたのかを判断し、クライアント装置に、更新された追加画像ランク付けリスト、及び更新された追加画像ランク付けリストに従って提示されるあらゆる追加画像を提供してよい。クライアント装置は、更新された追加画像ランク付けリスト及びそれがすでに有していなかったあらゆる追加画像を受信すると、更新された追加画像ランク付けリストに従って追加画像を再度並べ替え、提示する。同じような方法で、キーワードの提示は同様に更新されてよい。

図１３を参照すると、１３０８でのように、追加のキーワードが選択されたかどうかに関する判断が次いで下される。追加のキーワードが選択されたと判断される場合、例のプロセス１３００はブロック１３０４に戻り、各選択されたキーワード、及び追加画像と画像セグメントとの間の視覚的な類似性を考慮し、続行する。

決定ブロック１３０８で追加のキーワードが選択されなかったと判断される場合、または決定ブロック１３０２でキーワードが選択されなかったと判断される場合、１３１０でのように、追加画像が選択されるかどうかに関する判断が下される。追加画像が選択されていないと判断される場合、例のプロセス１３００は決定ブロック１３０８に戻り、続行する。追加画像が選択されたと判断される場合、１３１２でのように、選択された追加画像及び１つ以上の対応するアクションが提示される。例えば、選択された追加画像はより大きいサイズで及び／または選択された追加画像についての追加の情報とともに提示されてよい。同様に、１つ以上の対応するアクションは、ユーザーによって選択または開始されてよいコントロールとして提示されてよい。例のアクションは、画像に表されるオブジェクトの購入を開始すること、画像を共有すること、画像を保存すること、画像を電子メールすること、画像及び／または画像に表されるオブジェクトについての追加の情報を入手すること等を含むが、これに限定されるものではない。一部の実施態様では、アクションの選択時、クライアント装置は選択されたアクションの表示をリモートコンピューティングリソースに提供し、リモートコンピューティングリソースは選択されたアクションを開始してよい。

１３１４でのように、提示されたアクションの１つが選択されるかどうかに関する判断が次いで下される。アクションが選択されたと判断される場合、１３１６でのように、選択されたアクションが開始される。アクションが選択されていないと判断される場合、１３１８でのように、例のプロセス１３００は完了する。ユーザーはアクションの１つ以上を選択してよく、対応するアクションは選択された追加画像に関して開始される。例えば、ユーザーが買うアクションまたは購入アクションを選択する場合、追加画像に表されるオブジェクトを購入するアクション、つまり追加画像の購入が開始される。アクションの開始は、表されるオブジェクトに関して追加の詳細を入手すること、価格情報、販売者情報、出荷詳細を提供すること等を含んでよい。理解されるように、あらゆるさまざまなアクションは、追加画像の１つ以上と関連付けられてよく、それらのアクションは選択された追加画像に関して開始されてよい。

図１４は、本明細書に説明される多様な実施態様に従って使用できる例のクライアント装置１４００を示す。この例では、クライアント装置１４００は、ディスプレイ１４０２、及び任意選択でディスプレイ１４０２と装置の同じ側にある、カメラ等の少なくとも１つの入力構成要素を含む。また、クライアント装置１４００は、スピーカ等の音声変換器、及び任意選択でマイクも含んでよい。概して、クライアント装置１４００は、ユーザーが機械コントロール１４０８等のクライアント装置１４００と相互に作用できるようにする任意の形式の入力／出力構成要素を有してよい。装置とのユーザー相互作用を可能にするための多様な他の入力構成要素は、タッチベースのディスプレイ１４０２（例えば、抵抗、容量）、（ジェスチャ追跡用等の）カメラ、マイク、グローバルポジショニングシステム（ＧＰＳ）、コンパス、またはその任意の組み合わせを含んでよい。これらの入力構成要素の内の１つ以上は、装置上にまたはそれ以外の場合、装置と通信して含まれてよい。他の入力構成要素、及び入力構成要素の組み合わせは、本明細書に含まれる教示及び示唆を鑑みて明らかになるはずであるように、多様な実施態様の範囲内でも使用できる。

本明細書に説明される多様な機能性を提供するために、図１５は、図１４に関して説明され、本明細書に説明されるクライアント装置１４００等のクライアント装置１４００の基本構成要素１５００の例の集合を示す。本例では、装置は、少なくとも１つのメモリ装置または要素１５０４に記憶できる命令を実行するための少なくとも１つの中央処理装置１５０２を含む。当業者に明らかとなるように、装置は、処理装置１５０２による実行のためのプログラム命令のための第１のデータストレージ等の、多くのタイプのメモリ、データストレージ、またはコンピュータ可読記憶媒体を含む場合がある。

メモリ１５０４は、プロセッサ（複数可）１５０２によってアクセス可能な実行可能命令を記憶するように構成された非一過性コンピュータ可読記憶媒体であってよい。多様な実施態様では、非一過性コンピュータ可読記憶媒体は、例えばスタティックランダムアクセスメモリ（ＳＲＡＭ）、同期性ダイナミックＲＡＭ（ＳＤＲＡＭ）、不揮発性／フラッシュタイプメモリ、または任意の他のタイプの揮発性メモリもしくは固定記憶装置等の任意の適切なメモリ技術を使用し、実装されてよい。示されている実施態様では、例えば本明細書に説明される機能等の所望される機能を実施するプログラム命令及びデータは、非一過性コンピュータ可読記憶媒体の中に記憶されていると示される。他の実施態様では、プログラム命令は、非一過性媒体等の異なるタイプのコンピュータアクセス可能媒体上に、または非一過性コンピュータ可読記憶媒体とは別個の類似する媒体で受信されてよい、送信されてよい、または記憶されてよい。一般的に言えば、非一過性コンピュータ可読記憶媒体は、例えばディスクまたはＣＤ／ＤＶＤ−ＲＯＭ等の磁気媒体または光媒体等の記憶媒体またはメモリ媒体を含んでよい。非一過性コンピュータ可読媒体を介して記憶されたプログラム命令及びデータは、伝送媒体によって、または例えばネットワークインタフェースを介して実装されてよい等、ネットワーク及び／または無線リンク等の通信媒体を介して伝達されてよい電気信号、電磁信号、もしくはデジタル信号等の信号によって伝送されてよい。

また、着脱式記憶メモリが他の装置等と情報を共有するために利用可能であってもよい。装置は、通常、タッチベースのディスプレイ、電子インク（ｅ−インク）、有機発光ダイオード（ＯＬＥＤ）、または液晶ディスプレイ（ＬＣＤ）等の何らかのタイプのディスプレイ１５０６を含む。一部の実施態様の装置では、装置の近傍でオブジェクトを撮像できる１つ以上のカメラ等の少なくとも１つの画像取り込み素子１５０８を含んでよい。画像取り込み素子は、決定された解像度、焦点範囲、可視領域、及び取り込み速度を有するＣＣＤまたはＣＭＯＳ画像取り込み素子等の任意の適切な技術を含む場合がある、または任意の適切な技術に少なくとも部分的に基づく場合がある。装置は、動的検索コントロールを呼び出し、動的検索コントロールの位置、サイズ、及び／または形状に対する調整を受信し、表示情報の画像を入手する、及び／または画像を分割するために少なくとも１つの動的検索コントロール構成要素１５１０を含む場合がある。また、装置は、ＧＰＳ、ＮＦＣ位置追跡、またはＷｉ‐Ｆｉ位置モニタリング等の少なくとも１つの位置設定構成要素１５１２を含む場合もある。

また、例のクライアント装置は、ユーザーから従来の入力を受信することができる少なくとも１つの追加の入力装置を含んでもよい。この従来の入力は、例えば、プッシュボタン、タッチパッド、タッチベースのディスプレイ、ホイール、ジョイスティック、キーボード、マウス、トラックボール、キーパッド、またはユーザーが装置にコマンドを入力できる任意の他の係る装置もしくは要素を含む場合がある。これらのＩ／Ｏ装置は、一部の実施態様で、無線リンク、赤外線リンク、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンク、または他のリンクによっても接続できるだろう。ただし、一部の実施態様では、係る装置はまったくボタンを含まない可能性があり、タッチ（例えば、タッチベースのディスプレイ）、音声（例えば、発話）コマンド、またはその組み合わせによってのみ制御される可能性がある。

図１６は、本明細書に説明される実施態様の１つ以上とともに使用され得る、リモートコンピューティングリソース等のサーバシステム１６００の例示的な実施態様の絵図である。サーバシステム１６００は、１つ以上の冗長プロセッサ等のプロセッサ１６０１、ビデオディスプレイアダプタ１６０２、ディスクドライブ１６０４、入力／出力インタフェース１６０６、ネットワークインタフェース１６０８、及びメモリ１６１２を含んでもよい。プロセッサ１６０１、ビデオディスプレイアダプタ１６０２、ディスクドライブ１６０４、入力／出力インタフェース１６０６、ネットワークインタフェース１６０８、及びメモリ１６１２は、通信バス１６１０によって互いに通信可能に結合されてよい。

ビデオディスプレイアダプタ１６０２は、サーバシステム１６００のオペレータがサーバシステム１６００の動作をモニタし、構成することを可能にする（図１６に図示されない）ローカルディスプレイに表示信号を提供する。入力／出力インタフェース１６０６は、同様に、マウス、キーボード、スキャナ、またはサーバシステム１６００のオペレータが操作できる他の入力装置及び出力装置等の、図１６に図示されていない外部の入力／出力装置と通信する。ネットワークインタフェース１６０８は、他のコンピューティング装置と通信するためにハードウェア、ソフトウェア、またはその任意の組み合わせを含む。例えば、ネットワークインタフェース１６０８は、サーバシステム１６００と、クライアント装置１４００（図１４）等の他のコンピューティング装置との間で通信を提供するように構成されてよい。

メモリ１６１２は、プロセッサ１６０１によってアクセス可能な実行可能命令を記憶するように構成された非一過性コンピュータ可読記憶媒体であってよい。多様な実施態様では、非一過性コンピュータ可読記憶媒体は、例えばＳＲＡＭ、ＳＤＲＡＭ、不揮発性／フラッシュタイプメモリ等の任意の適切なメモリ技術、または任意の他のタイプの揮発性メモリもしくは固定記憶装置を使用し、実装されてよい。示されている実施態様では、本明細書に説明される機能等の所望される機能を実施するプログラム命令及びデータは、非一過性コンピュータ可読記憶媒体の中に記憶されていると示される。他の実施態様では、プログラム命令は、非一過性媒体等の異なるタイプのコンピュータアクセス可能媒体に、または非一過性コンピュータ可読記憶媒体とは別個の類似する媒体で受信されてよい、送信されてよい、または記憶されてよい。一般的に言えば、非一過性コンピュータ可読記憶媒体は、例えばディスクまたはＣＤ／ＤＶＤ−ＲＯＭ等の磁気媒体または光媒体等の記憶媒体またはメモリ媒体を含んでよい。非一過性コンピュータ可読媒体を介して記憶されたプログラム命令及びデータは、伝送媒体によって、または例えばネットワークインタフェースを介して実装されてよい等、ネットワーク及び／もしくは無線リンク等の通信媒体を介して伝達されてよい電気信号、電磁信号、もしくはデジタル信号等の信号によって伝送されてよい。

サーバシステム１６００の動作を制御するためのオペレーティングシステム１６１４を記憶するメモリ１６１２が示される。サーバシステム１６００の低レベル動作を制御するためのバイナリ入出力システム（ＢＩＯＳ）１６１６もメモリ１６１２に記憶される。メモリ１６１２は、クライアント装置１４００及び外部ソースがサーバシステム１６００と情報及びデータファイルを交換できるようにするネットワークサービスを提供するためにプログラムコード及びデータをさらに記憶する。したがって、メモリ１６１２はブラウザアプリケーション１６１８を記憶してよい。ブラウザアプリケーション１６１８は、プロセッサ１６０１による実行時に、ウェブページ等の構成可能なマークアップ文書を生成するまたはそれ以外の場合入手するコンピュータ実行可能命令を含む。ブラウザアプリケーション１６１８は、データストア１６０３、クライアント装置１４００等のクライアント装置、外部ソース等の間でのデータ交換及びマッピングを容易にするためにデータストアマネージャアプリケーション１６２０と通信する。

本明細書で使用されるように、用語「データストア」は、任意の標準的な環境、分散環境、またはクラスタ化された環境で、任意の組み合わせ及び任意の数のデータサーバ、データベース、データストレージ装置、及びデータストレージ媒体を含んでよい、データを記憶する、データにアクセスする、及びデータを取り出すことができる任意の装置または装置の組み合わせを指す。サーバシステム１６００は、クライアント装置１４００、外部ソース、及び／または検索サービス１６０５のために１つ以上のアプリケーションの態様を実行するために、必要に応じて、データストア１６０３と統合するための任意の適切なハードウェア及びソフトウェアを含む場合がある。サーバシステム１６００は、データストア１６０３と協調してアクセス制御サービスを提供し、例えば一致する検索結果、視覚的に類似するオブジェクトを含む画像、視覚的に類似するオブジェクトを有する画像のインデックス、キーワード等、コンテンツを生成できる。

データストア１６０３は、特定の態様に関係するデータを記憶するためのいくつかの別々のデータテーブル、データベース、または他のデータストレージ機構、及び媒体を含む場合がある。例えば、示されているデータストア１６０３は、デジタルアイテム（例えば、画像）及びそれらの画像についての対応するメタデータ（例えば、インデックス、キーワード）を含む。検索履歴、ユーザーの好み、プロファイル、及び他の情報は、同様にデータストアに記憶されてよい。

必要に応じて上に列挙した機構のいずれかに、またはデータストアのいずれかの追加の機構に記憶できる、データストア１６０３に記憶されてよい、多くの他の態様がある場合があることが理解されるべきである。データストア１６０３は、サーバシステム１６００から命令を受信し、それに応えてデータを入手する、更新する、またはそれ以外の場合処理するために、それと関連付けられた論理を通して操作可能であってよい。

また、メモリ１６１２は検索サービス１６０５を含んでもよい。検索サービス１６０５は、サーバシステム１６００の機能の１つ以上を実装するためにプロセッサ１６０１によって実行可能であってよい。一実施態様では、検索サービス１６０５は、メモリ１６１２に記憶される１つ以上のソフトウェアプログラムで実施される命令を表してよい。別の実施態様では、検索サービス１６０５は、ハードウェア、ソフトウェア命令、またはその組み合わせを表す場合がある。検索サービスは、上述したように、クライアント装置から画像セグメントを受信する、画像セグメントに表されるオブジェクトを決定するためにそれらの画像セグメントを処理する、視覚的に類似するオブジェクトの表現を含む追加画像を決定する、及び／または追加画像に対応するキーワードを決定するように構成される。同様に、検索サービス１６０５は、各追加画像またはその中で表されるオブジェクトの、画像セグメント及び／または画像セグメントに表されるオブジェクトに対する類似性に基づいて、追加画像ランク付けリスト等の追加画像のランク付けを決定してよい。同様に、検索サービスは、各キーワードが追加画像と関連付けられる頻度に基づいて決定されたキーワードをランク付けしてよい。

サーバシステム１６００は、一実施態様では、１つ以上のコンピュータネットワークまた直接接続を使用し、通信リンクを介して相互接続されるいくつかのコンピュータシステム及び構成要素を活用する分散環境である。しかしながら、係るシステムが、図１６に示されているよりも少ないまたは多い数の構成要素を有するシステムでも等しくよく動作できることが当業者によって理解される。したがって、図１６の表示は、本質的に例示的であり、本開示の範囲に限定的ではないとして解釈されるべきである。

本明細書に開示される実施態様は、実行可能命令で構成された１つ以上のコンピューティングシステムの制御下で、検索呼び出しを受信することと、表示情報に視覚的に位置決めされる動的検索コントロールを提示することと、表示情報の画像を入手し、画像をメモリに記憶することと、動的検索コントロールの位置に対応する位置情報を決定することと、動的検索コントロールの位置情報に対応する記憶された画像から画像セグメントを生成することと、画像セグメントに表される第１のオブジェクトを決定するために画像セグメントを処理することと、複数の追加画像のそれぞれが第１のオブジェクトに視覚的に類似する追加のオブジェクトの表現を含む複数の追加画像を決定することと、複数の追加画像の少なくとも一部分を提示することとを含むコンピュータによって実装される方法を含んでよい。

任意選択で、コンピュータによって実装される方法は、複数のキーワードのそれぞれが複数の追加画像の少なくとも１つと関連付けられる複数のキーワードを決定することと、複数の追加画像の少なくとも一部分と同時に、複数のキーワードの少なくとも一部分を提示することをさらに含んでよい。任意選択で、コンピュータによって実装される方法は、複数の追加画像の少なくとも一部分を提示する前に、複数の追加画像の提示された少なくとも一部分が最高のランク付けされた画像と一致するように画像セグメントとの類似性に少なくとも部分的に基づいて複数の追加画像をランク付けすることと、複数のキーワードの少なくとも一部分を提示する前に、複数のキーワードの提示された少なくとも一部分が最高の頻度を有するキーワードと対応するように、複数の追加画像との各キーワードの関連付けの頻度に基づいて複数のキーワードをランク付けすることとをさらに含んでよい。任意選択で、コンピュータによって実装される方法は、キーワードの選択を受信することと、キーワードに少なくとも部分的に基づいて複数の追加画像を再ランク付けすることと、複数の追加画像の再ランク付けされた部分がキーワードとの関連付けを有する複数の追加画像の再ランク付けされた部分を提示することとをさらに含んでよい。任意選択で、コンピュータによって実装される方法は、複数の追加画像の提示された少なくとも一部分から画像の選択を受信することと、画像に関して開始されてよい複数のアクションを提示することと、複数のアクションの内のアクションの選択を受信することと、アクションの開始を生じさせることとをさらに含んでよい。

本明細書に開示される実施態様はまた、プロセッサによる実行時に、プロセッサに少なくとも、動的検索コントロールが表示情報に関して視覚的に区別可能であり、動的検索コントロールが表示情報のすべてに満たない情報を包囲し、動的検索コントロールが表示情報の任意の部分に位置決めされるように表示情報の上に動的検索コントロールを視覚的に提示させ、表示情報に関して動的検索コントロールの位置を決定させ、動的検索コントロールによって包囲される表示情報の一部分に対応する表示情報の画像セグメントを決定させ、画像セグメントに表される第１のオブジェクト決定するために画像セグメントを処理させ、複数の追加画像のそれぞれが、第１のオブジェクトに視覚的に類似する追加のオブジェクトの表現を含む複数の追加画像を決定させ、複数の追加画像の少なくとも一部分を提示させる命令を記憶する非一過性コンピュータ可読記憶媒体を含んでもよい。

任意選択で、オブジェクトは、オブジェクトの形状、サイズ、色、またはブランドに少なくとも部分的に基づいて視覚的に類似すると判断される。任意選択で、命令は、実行時にプロセッサにさらに少なくとも、複数の追加画像に少なくとも部分的に基づいて、複数のキーワードのそれぞれが複数の追加画像の少なくとも１つと関連付けられる複数のキーワードを決定させ、複数の追加画像の少なくとも一部分と同時に、複数のキーワードの少なくとも一部分を提示させる。任意選択で、動的検索コントロールの形状が実質的に円形であり、実質的に円形の形状の半径は調整可能である。任意選択で、動的検索コントロールは、動的検索コントロールの中に包囲されていない表示情報を少なくとも部分的に難読化することによって表示情報に関して視覚的に区別可能である。任意選択で、動的検索コントロールの位置は表示情報に関して水平位置、表示情報に関して垂直位置、高さ、及び幅を含む。任意選択で、命令は、プロセッサによる実行時に、プロセッサにさらに少なくとも、表示情報の画像を入手させ、画像をメモリに記憶させる。任意選択で、画像セグメントは、表示情報の記憶された画像から入手され、画像セグメントは、記憶された画像に表される表示情報に関して動的検索コントロールの位置に対応する。任意選択で、画像セグメントは記憶された画像全体に満たない。

また、本明細書に開示される実施態様は、プロセッサと、プロセッサに結合され、プロセッサによる実行時に、プロセッサに少なくとも、動的検索コントロールを提示する要求を受信させ、要求を受信することに応えて、動的検索コントロールが表示情報から視覚的に区別可能であり、表示情報のすべてに満たない情報を包囲するように、表示情報と同時に動的検索コントロールを視覚的に提示させ、動的検索コントロールに対応する位置入力またはサイズ入力の少なくとも１つを受信させ、位置入力またはサイズ入力の受信された少なくとも１つに従って動的検索コントロールの視覚的な提示を調整させ、表示情報の画像を入手及び記憶させ、動的検索コントロールの視覚的な提示が調整された後に動的検索コントロールの位置及びサイズに対応する記憶された画像の一部分を記憶された画像から分割させ、記憶された画像からセグメントをリモートコンピューティングリソースに送信させ、リモートコンピューティングリソースから、記憶された画像からセグメントに表されるオブジェクトに視覚的に類似する複数のランク付けされた追加画像を受信させ、複数のランク付けされた追加画像の少なくともいくつかを提示させるプログラム命令を記憶するメモリとを含むコンピューティングシステムを含んでもよい。

任意選択で、プログラム命令は、プロセッサによる実行時、プロセッサにさらに少なくとも、リモートコンピューティングリソースから複数の追加画像と対応する複数のキーワードを受信させ、複数のキーワードの少なくとも一部分を提示させる。任意選択で、プログラム命令は、プロセッサによる実行時、プロセッサにさらに少なくとも、複数のキーワードの提示された少なくとも一部分からキーワードの選択を受信させ、選択されたキーワードをリモートコンピューティングリソースに送信させ、複数の追加画像の第２のランク付けを受信させ、複数の追加画像の少なくとも一部を第２のランク付けに従って提示させる。任意選択で、プログラム命令は、プロセッサによる実行時に、プロセッサにさらに少なくとも、複数の追加画像の提示させた少なくとも一部の画像の選択を受信させ、選択された画像に関して開始されてよい複数のアクションを提示させ、複数のアクションからアクションの選択を受信させ、アクションを開始させる。任意選択で、複数のアクションは、画像を共有するアクション、画像に表されるオブジェクトを購入するアクション、画像を記憶するアクション、または画像を送信するアクションの少なくとも２つを含む。任意選択で、表示情報は、ウェブページ、電子メール、ビデオ、画像、またはコンピューティングプログラムによって生成される提示を含む、ユーザーに提示される任意の視覚情報であってよい。

主題は構造上の特色及び／または方法論的行為に特有の言語で説明されてきたが、添付の特許請求の範囲に定義される主題が、必ずしも説明された特有の特色または行為に限定されないことが理解されるべきである。むしろ、特有の特色及び行為は、特許請求の範囲を実施する例示的な形式として開示される。

Claims (17)

1. コンピュータによって実装される方法であって、
   実行可能命令で構成された１つ以上のコンピューティングシステムの制御下で、
   （ａ）検索呼び出しを受信する工程と、
   （ｂ）表示情報の上に視覚的に位置決めされる動的検索コントロールを提示する工程と、
   （ｃ）前記表示情報の画像を入手し、前記画像をメモリに記憶する工程と、
   （ｄ）前記動的検索コントロールの位置に対応する位置情報を決定する工程と、
   （ｅ）前記動的検索コントロールの前記位置情報に対応する前記記憶された画像から画像セグメントを生成する工程と、
   （ｆ）前記画像セグメントに表される第１のオブジェクトを決定するために前記画像セグメントを処理する工程と、
   （ｇ）複数の追加画像のそれぞれが前記第１のオブジェクトに視覚的に類似する追加のオブジェクトの表現を含む、前記複数の追加画像を決定する工程と、
   （ｈ）複数のキーワードのそれぞれが前記複数の追加画像の少なくとも１つと関連付けられた、前記複数のキーワードを決定する工程と、
   （ｉ）前記複数の追加画像の少なくとも一部分を提示する工程と、を含み、
   前記動的検索コントロールが位置決めし直しされたと決定することに応じて、前記（ｄ）工程から前記（ｉ）工程を繰り返し、
   前記動的検索コントロールが位置決めし直しされていないと決定することに応じて、前記複数のキーワードを提示する、前記コンピュータによって実装される方法。
2. 前記複数の追加画像の前記少なくとも一部分を提示する前に、前記複数の追加画像の前記提示された少なくとも一部分が最高のランク付けされた画像に対応するように、前記画像セグメントとの類似性に基づいて前記複数の追加画像をランク付けする工程と、
   前記複数のキーワードの前記少なくとも一部分を提示する前に、前記複数のキーワードの前記提示された少なくとも一部分が前記最高の頻度を有するキーワードに対応するように、各キーワードの前記複数の追加画像との関連付けの頻度に基づいて前記複数のキーワードをランク付けする工程と、
   をさらに含む、請求項１に記載のコンピュータによって実装される方法。
3. キーワードの選択を受信することと、
   前記キーワードに基づいて前記複数の追加画像を再ランク付けする工程と、
   前記複数の追加画像の再ランク付けされた部分が前記キーワードとの関連付けを有する、前記複数の追加画像の前記再ランク付けされた部分を提示する工程と、
   をさらに含む、請求項１または請求項２に記載のコンピュータによって実装される方法。
4. 前記複数の追加画像の前記提示された少なくとも一部分から画像の選択を受信する工程と、
   前記画像に関して開始されてよい複数のアクションを提示する工程と、
   前記複数のアクションの内のアクションの選択を受信する工程と、
   前記アクションの開始を生じさせる工程と、
   をさらに含む、請求項１から請求項３のいずれかに記載のコンピュータによって実装される方法。
5. 非一過性コンピュータ可読記憶媒体であって、
   プロセッサによる実行時に、前記プロセッサに少なくとも、
   （ａ） 動的検索コントロールが表示情報に関して視覚的に区別可能であり、
   前記動的検索コントロールが前記表示情報のすべてに満たない情報を包囲し、
   前記動的検索コントロールが前記表示情報の任意の部分に位置決めされ得るように、前記表示情報の上に、前記動的検索コントロールを視覚的に提示させ、
   （ｂ）前記表示情報に関して前記動的検索コントロールの位置を決定させ、
   （ｃ）前記動的検索コントロールによって包囲される前記表示情報の一部分に対応する前記表示情報の画像セグメントを決定させ、
   （ｄ）前記画像セグメントに表される第１のオブジェクトを決定するために前記画像セグメントを処理させ、
   （ｅ）複数の追加画像のそれぞれが前記第１のオブジェクトに視覚的に類似する追加のオブジェクトの表現を含む、前記複数の追加画像を決定させ、
   （ｆ）前記複数の追加画像に基づいて、前記複数の追加画像の少なくとも１つと関連付けられた複数のキーワードを決定させ、
   （ｇ） 前記複数の追加画像の少なくとも一部分を提示させ、
   前記動的検索コントロールが位置決めし直しされたと決定することに応じて、前記（ｂ）から前記（ｇ）を繰り返し、
   前記動的検索コントロールが位置決めし直しされていないと決定することに応じて、前記複数のキーワードを提示させる
   命令を記憶する、前記非一過性コンピュータ可読記憶媒体。
6. 前記追加のオブジェクトが、前記第１のオブジェクトの形状、サイズ、色、またはブランドに基づいて視覚的に類似すると判断される、請求項５に記載の非一過性コンピュータ可読記憶媒体。
7. 前記動的検索コントロールの形状が実質的に円形であり、
   前記実質的に円形の形状の半径が調整可能である、
   請求項５または請求項６に記載の非一過性コンピュータ可読記憶媒体。
8. 前記動的検索コントロールが、前記動的検索コントロールの中に包囲されていない前記表示情報を少なくとも部分的に難読化することによって前記表示情報に関して視覚的に区別可能である、
   請求項５から請求項７のいずれかに記載の非一過性コンピュータ可読記憶媒体。
9. 前記動的検索コントロールの前記位置が、前記表示情報に関して水平位置、前記表示情報に関して垂直位置、高さ、及び幅を含む、請求項５から請求項８のいずれかに記載の非一過性コンピュータ可読記憶媒体。
10. 前記命令が、前記プロセッサによる実行時に、前記プロセッサにさらに少なくとも、
    前記表示情報の画像を入手させ、
    前記画像をメモリに記憶させる、
    請求項５または請求項９のいずれかに記載の非一過性コンピュータ可読記憶媒体。
11. 前記画像セグメントが前記表示情報の前記記憶された画像から入手され、
    前記画像セグメントが、前記記憶された画像に表されるように前記表示情報に関して前記動的検索コントロールの前記位置に対応する、
    請求項１０に記載の非一過性コンピュータ可読記憶媒体。
12. 前記画像セグメントが前記記憶された画像全体に満たない、請求項１１に記載の非一過性コンピュータ可読記憶媒体。
13. コンピューティングシステムであって、
    プロセッサと、
    前記プロセッサに結合され、前記プロセッサによる実行時に、前記プロセッサに少なくとも、
    （ａ）動的検索コントロールを提示する要求を受信させ、
    （ｂ）前記要求を受信することに応えて、前記動的検索コントロールが表示情報から視覚的に区別可能であり、前記表示情報のすべてに満たない情報を包囲するように前記表示情報と同時に動的検索コントロールを視覚的に提示させ、
    （ｃ）前記動的検索コントロールに対応する位置入力またはサイズ入力の少なくとも１つを受信させ、
    （ｄ）前記位置入力または前記サイズ入力の前記受信された少なくとも１つに従って前記動的検索コントロールの前記視覚的な提示を調整させ、
    （ｅ）前記表示情報の画像を入手及び記憶させ、
    （ｆ）前記動的検索コントロールの前記視覚的な提示が調整された後に、前記動的検索コントロールの位置及びサイズに対応する前記記憶された画像の一部分を前記記憶された画像から画像セグメントとして分割させ、
    （ｇ）前記記憶された画像から前記画像セグメントをリモートコンピューティングリソースに送信させ、
    （ｈ）前記リモートコンピューティングリソースから、前記記憶された画像からの前記画像セグメントに表されるオブジェクトに視覚的に類似する複数のランク付けされた追加画像を受信させ、
    （ｉ）前記複数の追加画像に基づいて、前記複数の追加画像の少なくとも１つと関連付けられた複数のキーワードを決定させ、
    （ｊ）前記複数のランク付けされた追加画像の少なくとも一部を提示させ、
    前記動的検索コントロールが位置決めし直しされたと決定することに応じて、前記（ｃ）から前記（ｊ）を繰り返し、
    前記動的検索コントロールが位置決めし直しされていないと決定することに応じて、前記複数のキーワードを提示させる
    プログラム命令を記憶するメモリと、
    を備える、前記コンピューティングシステム。
14. 前記プログラム命令が、前記プロセッサによる実行時に、前記プロセッサにさらに少なくとも
    前記複数のキーワードの前記提示された少なくとも一部分からキーワードの選択を受信させ、
    前記選択されたキーワードを前記リモートコンピューティングリソースに送信させ、
    前記複数の追加画像の第２のランク付けを受信させ、
    前記第２のランク付けに従って前記複数の追加画像の少なくとも一部を提示させる、
    請求項１３に記載のコンピューティングシステム。
15. 前記プログラム命令が、前記プロセッサによる実行時に、前記プロセッサにさらに少なくとも
    前記複数の追加画像の前記提示された少なくとも一部の画像の選択を受信させ、
    前記選択された画像に関して開始されてよい複数のアクションを提示させ、
    前記複数のアクションからアクションの選択を受信させ、
    前記アクションを開始させる
    請求項１３又は請求項１４のいずれかに記載のコンピューティングシステム。
16. 前記複数のアクションが、前記画像を共有するアクション、前記画像に表されるオブジェクトを購入するアクション、前記画像を記憶するアクション、または前記画像を送信するアクションの少なくとも２つを含む、請求項１５に記載のコンピューティングシステム。
17. 前記表示情報が、ウェブページ、電子メール、ビデオ、画像、またはコンピューティングプログラムによって生成される提示を含む、ユーザーに提示される任意の視覚的な情報であってよい、請求項１３から請求項１６のいずれかに記載のコンピューティングシステム。
    

Images