JP6391234B2 - 情報検索方法、そのような機能を有するデバイス及び記録媒体 - Google Patents

Description

本発明は、情報検索方法に係り、特に、ディスプレイになるイメージ基盤の情報検索方法に関する。

デバイスに装着されるメモリ容量と、クラウドサーバを利用したデータ保存量との増加により、ユーザ所望の情報を、さらに正確で早く提供するための情報検索方法が提案されている。

しかし、既存に提案されている情報検索方法は、一般的に、ユーザの質疑（query）を基に遂行されている。従って、さらに容易で直観的な情報検索方法が要求されている。

本発明が解決しようとする課題は、ディスプレイされているイメージ基盤の直観的な情報検索方法、そのような機能を有するデバイス及び記録媒体を提供するところにある。

本発明が解決しようとする他の課題は、ディスプレイされているイメージを基に選択された複数のオブジェクト間の検索関係に基づいた情報検索方法、そのような機能を有するデバイス及び記録媒体を提供するところにある。

本発明が解決しようとするさらに他の課題は、ディスプレイされているイメージを基に選択された複数のオブジェクト間の関係に基づいたサービス提供方法、そのような機能を有するデバイス及び記録媒体を提供するところにある。

前記課題を解決するための本発明の望ましい実施形態によるデバイスにディスプレイされているイメージ基盤の情報検索方法は、前記イメージに含まれた複数のオブジェクトに対する選択を示す第１入力を認識する段階と、前記選択された複数のオブジェクト間の検索関係を示す第２入力を認識する段階と、前記第１入力と前記第２入力とに基づいて、情報を検索する段階と、前記検索された情報を、前記デバイスを介して出力する段階と、を含むことが望ましい。

前記複数のオブジェクト間の検索関係は、前記情報の検索時、前記複数のオブジェクト間の関係が同一レベルであるということを示す同一階層関係、及び前記情報の検索時、前記複数のオブジェクト間の関係が上下レベルであるということを示す上下階層関係のうち一つを含むことが望ましい。

前記複数のオブジェクト間の検索関係が、前記同一階層関係であるということを示す場合、前記第２入力は、前記選択された複数のオブジェクトを集めることを示すタッチ基盤ジェスチャ、前記選択された複数のオブジェクトを、前記選択された複数のオブジェクトのディスプレイ位置以外の少なくとも１つの位置に移動することを示すタッチ基盤ジェスチャのうち一つを含むことが望ましい。

前記複数のオブジェクトの検索関係が、前記上下階層関係であるということを示す場合、前記第２入力は、前記選択された複数のオブジェクトのうち１つのオブジェクトのディスプレイ位置に、残りのオブジェクトを移動させることを示すタッチ基盤ジェスチャ、及び前記選択された複数のオブジェクトのうち１つのオブジェクトのディスプレイ位置に、少なくとも１つのオブジェクトを移動させることを示すタッチ基盤ジェスチャを含むことが望ましい。

前記タッチ基盤ジェスチャは、タッチ・アンド・ドラッグを含むことが望ましい。

前記情報を検索する段階は、前記複数のオブジェクト間の検索関係が同一階層関係である場合、前記複数のオブジェクトをいずれも含む情報を検索する段階と、前記複数のオブジェクトの検索関係が上下階層関係である場合、前記複数のオブジェクトの上下階層関係によって、情報を検索する段階と、を含むことが望ましい。

前記情報を検索する段階は、前記複数のオブジェクト間の検索関係が、前記同一階層関係である場合、前記複数のオブジェクトのうち少なくとも１つのオブジェクトを含む情報を検索する段階と、前記複数のオブジェクトの検索関係が、前記上下階層関係である場合、前記複数のオブジェクトの前記上下階層関係によって、情報を検索する段階と、を含むことが望ましい。

前記情報を検索する段階は、前記複数のオブジェクト間の検索関係が同一階層関係である場合、前記複数のオブジェクトのうち少なくとも１つのオブジェクトを含む情報検索項目と、前記複数のオブジェクトをいずれも含む情報検索項目と、を選択することができる情報をディスプレイする段階と、前記ディスプレイされる情報に基づいて選択された情報検索項目によって、情報を検索する段階と、前記複数のオブジェクト間の検索関係が上下階層関係である場合、前記複数のオブジェクト間の上下階層関係によって、情報を検索する段階と、を含むことが望ましい。

前記第１入力は、前記複数のオブジェクトまたは各オブジェクトに対するロングタッチを示すタッチ基盤ジェスチャ、及び前記複数のオブジェクトまたは前記各オブジェクトに係わる閉領域を示すタッチ基盤ジェスチャのうち一つを含むことが望ましい。

前記情報を検索する段階は、前記第１入力及び前記第２入力によって決定された少なくとも１つの検索項目をディスプレイする段階と、前記ディスプレイされる少なくとも１つの検索項目のうち選択された検索項目に基づいて、前記情報を検索する段階と、を含むことが望ましい。

前記イメージ基盤の情報検索方法は、前記デバイスによる前記第１入力に係わる認識を示す情報を、前記デバイス上にディスプレイする段階をさらに含むことが望ましい。

前記デバイスによる前記第１入力に係わる認識を示す情報は、前記選択された複数のオブジェクトまたは各オブジェクトのアウトラインに基づいた閉領域を示す情報、前記選択された複数のオブジェクトまたは各オブジェクトのアウトラインに基づいた切断された（または、カットアウト）イメージ基盤の情報、及び前記切断されたイメージ基盤のマルチスクリーンのうち一つを含むことが望ましい。

前記イメージ基盤の情報検索方法は、前記デバイスによって、第２入力に係わる情報を示す情報をディスプレイする段階をさらに含むことが望ましい。

前記情報検索段階は、前記デバイス、及び前記デバイスに連結された少なくとも１つの外部機器のうち少なくとも一つに対して遂行されることが望ましい。

前記検索された情報は、イメージ基盤情報及びテキスト基盤情報のうち少なくとも一つを含むことが望ましい。

前記課題を解決するための本発明の望ましい実施形態によるデバイスは、少なくとも１つの情報、及び少なくとも１つのプログラムを保存する保存部；イメージをディスプレイし、前記ディスプレイされているイメージに含まれた複数のオブジェクトに対する選択を示す第１入力、及び前記選択された複数のオブジェクト間の検索関係を示す第２入力を受信し、前記第１入力と前記第２入力とによって検索された情報をディスプレイするタッチスクリーン；及び前記タッチスクリーンに基づいたユーザ・インターフェースを提供し、前記タッチスクリーンを介して受信された前記第１入力と前記第２入力とをそれぞれ認識し、前記第１入力と第２入力とによって、前記保存部から情報を検索し、前記検索された情報を、前記タッチスクリーンを介して出力するプロセッサ；を含むことが望ましい。

前記課題を解決するための本発明の望ましい実施形態によるデバイスは、イメージをディスプレイし、前記ディスプレイされているイメージ基盤のユーザ入力を受信するタッチスクリーン；前記タッチスクリーンに基づいたユーザ・インターフェースを提供するプロセッサ；及び前記プロセッサによって実行可能になるように構成された少なくとも１つのプログラム、及び前記イメージ基盤で検索可能な情報を保存する保存部；を含み、前記プログラムは、前記イメージに含まれた複数のオブジェクトに対する選択を示す第１入力を認識し、前記選択された複数のオブジェクト間の検索関係を示す第２入力を認識し、前記第１入力と前記第２入力とに基づいて、情報を検索し、前記検索された情報を、前記タッチスクリーンを介して出力する命令語を含むことが望ましい。

前記課題を解決するための本発明の望ましい実施形態によるサービス提供方法は、前記イメージに含まれた複数のオブジェクトに対する選択を示す第１入力を認識する段階と、前記選択された複数のオブジェクト間の関係を示す第２入力を認識する段階と、前記第１入力と前記第２入力とに基づいて、提供可能な少なくとも１つのサービス項目をディスプレイする段階と、前記ディスプレイされているサービス項目に基づいて、選択されたサービス項目によるサービスを行う段階と、を含むことが望ましい。

前記課題を解決するための本発明の望ましい実施形態によるディスプレイされているイメージ基盤の情報検索方法を実行する命令語を含む一つ以上のプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記イメージ基盤の情報検索方法は、前述のイメージ基盤の情報検索方法と共に遂行される。

前記課題を解決するための本発明の望ましい実施形態によるディスプレイされているイメージ基盤のサービス提供方法を実行する命令語を含む一つ以上のプログラムが記録されたコンピュータで読み取り可能な記録媒体において、前記イメージ基盤のサービス提供方法は、前述のイメージ基盤のサービス提供方法と共に遂行される。

前記課題を解決するための本発明の望ましい実施形態による情報検索方法を遂行するデバイスは、前記デバイスのスクリーン上に、一つ以上のオブジェクトを含むイメージをディスプレイするためのディスプレイパネル、前記ディスプレイパネルのイメージから、前記オブジェクトの選択を第１入力として受信し、前記選択されたオブジェクトのうち他の一つに対する前記選択されたオブジェクトの少なくとも１つの位置の移動を、第２入力として受信し、前記第１入力と前記第２入力とによって検索された一つ以上のイメージをディスプレイするために、前記ディスプレイパネルを制御するように構成されたプロセッサを含んでもよい。

前記ディスプレイパネルは、前記ディスプレイパネル上のユーザ入力の存在によって選択されたオブジェクトと非選択オブジェクトとを異なってディスプレイすることができる。

前記ディスプレイパネルは、他の位置に前記選択されたオブジェクトの前記少なくとも１つの位置をディスプレイすることができる。

前記ディスプレイパネルのスクリーンは、前記オブジェクトを含むイメージをディスプレイするための第１スクリーン、前記オブジェクトの前記選択をディスプレイするための第２スクリーン、前記移動の表示をディスプレイするための第３スクリーン、及び前記少なくとも１つの検索されたイメージをディスプレイするための第４スクリーンを含んでもよい。

前記ディスプレイパネルは、前記ディスプレイパネルと前記ユーザとのインタラクションによって、前記第２スクリーンと、前記第３スクリーンとをディスプレイすることができる。前記ディスプレイパネルは、前記ディスプレイパネルと前記ユーザとのインタラクションなしに、前記プロセッサの動作によって、前記第１スクリーン及び前記第４スクリーンをディスプレイすることができる。

前記第２スクリーンは、前記１スクリーンを含んでもよい。

前記第２スクリーンは、前記第１スクリーンと異なってもよい。

前記第３スクリーンは、前記第１スクリーンと前記第２スクリーンとを含んでもよい。

前記第３スクリーンは、前記第１スクリーン及び前記第２スクリーンと異なってもよい。

前記課題を解決するための本発明の望ましい実施形態によるディスプレイされているイメージに基づいた情報検索方法は、ディスプレイパネルのスクリーン上に、一つ以上のオブジェクトを含むイメージをディスプレイする段階、前記ディスプレイパネルのイメージから、前記オブジェクトの選択を第１入力として受信する段階、前記選択されたオブジェクトの他の一つに対する前記選択されたオブジェクトの少なくとも１つの位置の移動を、第２入力として受信する段階、並びに前記第１入力及び前記第２入力によって検索された一つ以上のイメージをディスプレイする段階を含んでもよい。

望ましい一実施形態によるデバイスの機能ブロック図である。 図１Ａのデバイスの保存部に保存されるプログラム及び／または命令語セットをモジュール別に分類した例である。 望ましい一実施形態によるイメージ基盤の情報検索方法について説明するためのフローチャートである。 望ましい実施形態において、第１入力の例示図である。 望ましい実施形態において、複数のオブジェクトの検索関係が同一階層関係であるときの第２入力の例示図である。 望ましい実施形態において、複数のオブジェクトの検索関係が上下階層関係であるときの第２入力の例示図である。 図５に図示された第２入力の例をイメージに適用した例示図である。 第１入力と、第２入力と、検索された情報とのスクリーン例示図である。 第１入力と、第２入力と、検索された情報とのスクリーン例示図である。 第１入力と、第２入力と、検索された情報とのスクリーン例示図である。 望ましい他の実施形態によるイメージ基盤の情報検索方法について説明するためのフローチャートである。 図１０での第１入力を認識した結果情報がディスプレイされるスクリーンの例である。 図１０での第１入力を認識した結果情報がディスプレイされるスクリーンの例である。 図１０での第１入力を認識した結果情報がディスプレイされるスクリーンの例である。 望ましいさらに他の実施形態によるイメージ基盤の情報検索方法について説明するためのフローチャートである。 図１４のフローチャートによってディスプレイされるスクリーンの例示図である。 複数の検索項目がディスプレイされるスクリーンの例示図である。 望ましい他の実施形態によるデバイスの機能ブロック図である。 図１及び図１７に図示されたデバイスが適用されたネットワークの構成図である。 望ましいさらに他の実施形態によるサービス提供方法について説明するためのフローチャートである。

本発明は、多様な変換を加えることができ、さまざまな実施形態を有することができるが、特定実施形態を図面に例示し、詳細な説明で詳細に説明する。しかし、それは、本発明を特定実施形態について限定しようとするものではなく、本発明の思想及び技術範囲に含まれる全ての変換、均等物ないし代替物を含むと理解しなければならない。本発明について説明するにあたり、関連公知技術に係わる具体的な説明が、本発明の要旨を不明確にすると判断される場合、その詳細な説明を省略する。

第１、第２のような用語は、多様な構成要素について説明するところに使われるが、構成要素は、用語によって限定されるものではない。用語は、１つの構成要素を他の構成要素から区別する目的のみに使用される。

本出願で使用された用語は、ただ特定の実施形態について説明するために使われたものであり、本発明を限定しようとする意図ではない。本出願で使用した用語は、本発明での機能を考慮しながら、可能な限り現在広く使用される一般的な用語を選択したが、それは当分野の当業者の意図、判例または新たな技術の出現などによって異なりもする。また、特定の場合は、出願人が任意に選定した用語もあり、その場合、当該発明の説明部分で詳細にその意味を記載する。従って、本発明で使用される用語は、単純な用語の名称ではない、その用語が有する意味と、本発明の全般にわたった内容とを基に定義されなければならない。

単数の表現は、文脈上、明白に他の意味を有さない限り、複数の表現を含む。本出願で、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはそれらを組み合わせたものが存在するということを指定するものであり、一つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはそれらを組み合わせたものなどの存在または付加の可能性をあらかじめ排除するものではないと理解されなければならない。

明細書全般で言及される入力は、ユーザの入力であり、タッチ基盤入力である。タッチ基盤入力は、ユーザの要請（request）、ユーザの選択（selection）（例えば、イメージ上の複数のオブジェクトの選択）またはユーザのコマンド（command）（例えば、選択された複数のオブジェクトの検索関係を設定するコマンド）などを含んでもよいが、それらに制限されるものではない。タッチ基盤入力は、タッチ基盤のユーザのジェスチャ（gesture）に依存する。タッチ基盤のユーザのジェスチャは、例えば、タップ（tapまたはタッチ）、ロングタップ（long tapまたはロングタッチ）、タッチ・アンド・ホールド（touch and hold）、タッチ・アンド・ドラッグ（touch and drag）、ダブルタップ（double tap）、ドラッグ（drag）、パニング（panning）、フリック（flick）、ドラッグ・アンド・ドロップ（drag and drop）、及びスウィープ（sweep）などを含んでもよいが、それらに制限されるものではない。

入力は、前述のタッチ基盤のユーザのジェスチャに制限されるものではない。例えば、入力は、モーション基盤（motion-based）またはビジョン基盤（vision-based）で定義されもする。

モーション基盤の入力は、ユーザによるデバイスの動き基盤のユーザのジェスチャ（例えば、デバイス振り、デバイスたたきなど）に基づく。例えば、後述する実施形態で言及される選択されたオブジェクトの検索関係は、デバイスを振るパターン、または方向によって、同一階層関係（same layer relationship）または上下階層関係（high-low Layla relationship）に設定されもする。選択されたオブジェクトの検索関係を同一階層関係または上下階層関係に設定するためのデバイスを振るパターンまたは方向は、前もって設定される。例えば、デバイスを左右に振る場合、選択されたオブジェクトの検索関係は、同一階層関係に設定され、デバイスを上下に振る場合、選択されたオブジェクトの検索関係は、上下階層関係に設定されもするように、モーション基盤の入力は、前もって定義される。上下階層関係は、親子階層関係（parent-child layer relationship）とも見なされる。

ビジョン基盤の入力は、デバイスとの接触なしに、カメラを利用して獲得された入力映像の分析を介して認識されたユーザのジェスチャに基づく。例えば、後述する実施形態で言及される選択されたオブジェクトの検索関係は、タッチ基盤のユーザジェスチャのようなユーザの空間ジェスチャ（例えば、指を集める空間ジェスチャ）を含むカメラを利用して獲得された入力映像の分析を介して、同一階層関係または上下階層関係に設定されもする。同一階層関係と上下階層関係とを設定するためのユーザの空間ジェスチャは、前もって設定される。

以下、本発明の実施形態について、添付図面を参照して詳細に説明するが、添付図面を参照して説明するにおいて、同一であるか、あるいは対応する構成要素は、同一の図面番号を付し、それに係わる重複説明は省略する。

図１Ａは、本発明の望ましい実施形態によるデバイス１００の機能ブロック図である。図１Ａに図示されたデバイス１００は、一例であり、スマートフォン（smart phone）、スマートＴＶ（television）、ＰＣ（personal computer）、デスクトップ（desktop）ＰＣ、ノート型パソコン（notebook）、スマートボード（smart board）、テブレット（tablet）ＰＣ、モバイル機器（mobile device）、ハンドヘルド（handheld）機器またはハンドヘルド・コンピュータ、メディアプレイヤ、電子ブック端末機、ＰＤＡ（personal digital assistant）、タッチ基盤のユーザのジェスチャを入力することができるデジタルカメラ、及びデジタルＣＥ（consumer electronics；例えば、イメージディスプレイ及びタッチ基盤のユーザのジェスチャを入力することができる機能を有する装置）などになるが、それらに制限されるものではない。

デバイス１００は、情報入力部１０１、センシング部１０２、タッチスクリーン１０３、カメラ１０４、オーディオ入力部１０５、オーディオ出力部１０６、保存部１０７、無線通信部１０８、有線通信部１０９、プロセッサ１１０、及び電源部１１１を含む。しかしデバイス１００の構成は、図１Ａに図示されたところに制限されるものではない。すなわち、デバイス１００の構成は、図１Ａに図示された構成要素よりさらに多くの構成要素を含んだり、あるいはさらに少ない構成要素を含んでもよい。

情報入力部１０１は、デバイス１００の動作を制御するための入力データ、及び望ましい実施形態によるイメージ基盤の情報検索方法の実行を要請する情報を受信することができるが、受信される情報は、それに制限されるものではない。情報入力部１０１は、キーパッド（keypad）、ドームスイッチ（dome switch）、ジョグホイール（jog wheel）、ジョグスイッチ（jog switch）、ハードウェア（Ｈ／Ｗ）ボタン、ホットキー（hot key）及びタッチパネルなどを含んでもよいが、それらに制限されるものではない。

センシング部１０２は、デバイス１００の位置、デバイス１００とユーザとの接触有無、デバイス１００の移動、デバイス１００の方位、デバイス１００の加速または減速などのようにデバイス１００の現在状態を感知し、デバイス１００の動作を制御するためのセンシング信号を発する。センシング部１０２は、近接センサ及びモーションセンサを含んでもよい。センシング部１０２は、センサ基盤のユーザのジェスチャを認識した信号を発することができる。

近接センサは、既設定の検出面に近付く物体、または近辺に存在する物体の有無を電子系の力または赤外線を利用して、機械的接触なしに検出するセンサをいう。近接センサの例として、透過型光電センサ、直接反射型光電センサ、ミラー反射型光電センサ、高周波発振型近接センサ、静電容量型近接センサ、磁気型近接センサ、赤外線近接センサなどがある。

タッチスクリーン１０３は、抵抗膜（減圧）方式または静電容量方式で構成されるが、それらに制限されるものではない。タッチスクリーン１０３は、前述のユーザのタッチ基盤ジェスチャに依存するユーザの要請、ユーザの選択またはユーザのコマンドを受信することができる。ユーザのタッチ基盤ジェスチャは、タッチ回数、タッチパターン、タッチ面積及びタッチ強度などの多様な組み合わせによって、前述のタッチ基盤のユーザのジェスチャが定義される。しかし、定義可能なタッチ基盤のユーザのジェスチャは、前述のところに制限されるものではない。

タッチスクリーン１０３は、タッチスクリーン１０３のタッチまたは近接タッチを感知するための多様なセンサが具備されもする。タッチスクリーン１０３に具備されるセンサは、前述のタッチ基盤のユーザのジェスチャまたはパターンをセンシングした信号を発することができる。タッチスクリーン１０３と共に使用することができる近接センサは、センシング部１０２に含まれる近接センサと同一でもある。

タッチスクリーン１０３のタッチを感知するためのセンサの一例として、触覚センサを含んでもよい。触覚センサは、接触面の粗度、接触物体の硬度、接触地点の温度などの多様な情報を感知することができる。近接センサは、既設定の検出面に近付く物体、または近辺に存在する物体の有無を電子系の力または赤外線を利用して、機械的接触なしに検出するセンサをいう。近接センサの例として、透過型光電センサ、直接反射型光電センサ、ミラー反射型光電センサ、高周波発振型近接センサ、静電容量型近接センサ、磁気型近接センサ、赤外線近接センサなどがある。

タッチスクリーン１０３のタッチは、ポインタ（pointer）によるタッチパネルのタッチにもなる。タッチスクリーン１０３の近接タッチ（proximity-touch）は、ポインタがタッチパネルに実際にタッチされず、タッチパネルから所定距離内に接近するポインタの移動にもなる。ポインタは、タッチスクリーン１０３の特定部分をタッチしたり、あるいは近接タッチするためのツールである。ポインタの例として、スタイラスペン、指などを挙げることができるが、それらに制限されるものではない。

タッチスクリーン１０３は、デバイス１００で処理される情報をディスプレイする。例えば、タッチスクリーン１０３は、タッチスクリーン１０３に具備されたセンサを介して、センシングされたユーザのジェスチャまたはタッチパターン、または情報入力部１０１を介して入力された制御データまたはユーザの入力情報、またはセンシング部１０２を介してセンシングされた信号に応答するスクリーンをディスプレイすることができる。

本発明の望ましい実施形態によるイメージ基盤の情報検索方法を遂行するために、タッチスクリーン１０３は、ディスプレイされているイメージ基盤の複数のオブジェクトに対する選択を示すユーザの入力（以下、第１入力とする）と、選択された複数のオブジェクトの検索関係を示すユーザの入力（以下、第２入力とする）とを受信し、受信された第１入力及び第２入力をプロセッサ１１０に伝送する。プロセッサ１１０から、第１入力と第２入力とに基づいて検索された情報が受信されれば、タッチスクリーン１０３は、受信された検索された情報をディスプレイする。

タッチスクリーン１０３は、第１入力と第２入力とが受信されるとき、プロセッサ１１０から提供される第１入力と第２入力との受信を認識した結果情報を出力することができる。タッチスクリーン１０３を介して出力される前記結果情報は、前記第１入力と第２入力とに係わるＵＩ（user interface）的なフィードバック（feedback）情報といえる。

タッチスクリーン１０３は、入力装置及び出力装置といえる。タッチスクリーン１０３にディスプレイされているスクリーンは、ＵＩ基盤のＧＵＩ（graphic user interface）スクリーンを含む。

タッチスクリーン１０３は、液晶ディスプレイ（liquid crystal display）、薄膜トランジスタ液晶ディスプレイ（thin film transistor-liquid crystal display）、有機発光ダイオード（organic light-emitting diode）、フレキシブル・ディスプレイ（flexible display）、三次元ディスプレイ（３Ｄ display）及びＡＭＯＬＥＤ（active-matrix organic light-emitting diode）などを含んでもよいが、それらに制限されるものではない。タッチスクリーン１０３は、ディスプレイといえる。タッチスクリーン１０３は、デバイス１００の具現形態によって、２個以上存在することができる。

カメラ１０４は、映像通話モードまたは撮影モードで、イメージセンサ（または、光センサ）によって得られる静止映像または動画などの画像フレームを処理する。そして、処理された画像フレームは、タッチスクリーン１０３にディスプレイされる。それによって、カメラ１０４によって得られた静止映像または動画に含まれた画像フレームに基づいて、本発明の望ましい実施形態によるイメージ基盤の情報検索方法を遂行することができる。

カメラ１０４で処理された画像フレームは、保存部１０７に保存されたり、あるいは無線通信部１０８または有線通信部１０９を介して外部に伝送される。カメラ１０４のイメージフレームは、イメージ基盤情報検索方法を遂行するためのプロセッサ１１０で使用されるイメージにもなる。カメラ１０４は、デバイス１００の構成によって、２個以上が具備される。また、カメラ１０４は、ユーザの空間ジェスチャを認識する入力装置として使用されもする。

オーディオ入力部１０５は、通話モード、録画モードまたは音声認識モードなどで、外部の音響信号を入力され、電気的な音声データに変換し、プロセッサ１１０に伝送する。オーディオ入力部１０５は、例えば、マイクロホンで構成される。オーディオ入力部１０５は、外部の音響信号を入力される過程で発生する雑音（noise）を除去するための多様なノイズ除去アルゴリズムを含むように構成される。

オーディオ入力部１０５を利用して入力される前記音響信号は、本発明の望ましい実施形態によるイメージ基盤の情報検索方法の実行を要請するユーザの入力情報を含んでもよい。前記音響信号が、自然語基盤のユーザの入力情報である場合、前記音響信号は、音声認識基盤のユーザの入力といえる。オーディオ入力部１０５を介して入力される外部の音響信号は、プロセッサ１１０を介して、保存部１０７に保存されたり、あるいはプロセッサ１１０及び無線通信部１０８、またはプロセッサ１１０及び有線通信部１０９を介して外部に伝送される。

オーディオ出力部１０６は、通話モードまたはオーディオ再生モードなどで、外部から受信されたり、あるいは保存部１０７から読み取られる音響信号またはオーディオ信号を出力する。オーディオ出力部１０６は、スピーカによって構成される。オーディオ出力部１０６は、コンテンツが再生されるとき、再生されるコンテンツにオーディオ信号が含まれていれば、再生されるコンテンツに含まれているオーディオ信号を出力する。オーディオ入力部１０５とオーディオ出力部１０６は、例えば、ヘッドセットのように、シングルユニットで構成される。

保存部１０７は、後述するプロセッサ１１０で実行可能になるように構成された少なくとも１つのプログラム及び／または命令語セットと、資源（resource）とを保存する。少なくとも１つのプログラムは、本発明の望ましい実施形態によるイメージ基盤の情報検索方法を実行するための少なくとも１つのプログラム、デバイス１００のオペレーティングシステム（operating system）プログラム、デバイス１００で遂行される各種機能（または、サービス）に係わるアプリケーション・プログラム、及びデバイス１００に含まれたハードウェア・コンポーネント（component）を駆動させるプログラムを含むが、それらに制限されるものではない。

資源は、前述の第１入力と第２入力とに基づいて検索される情報を含んでもよい。検索される情報は、イメージ基盤の情報と、テキスト基盤の情報とのうち少なくとも一つを含んでもよい。例えば、検索される情報は、選択された一つ以上のオブジェクトをいずれも含んだ一つ以上のイメージまたはテキスト、複数のオブジェクトのうち少なくとも１つのオブジェクトを含んだイメージまたはテキスト、第２入力によって選択可能な検索項目に係わるテキスト情報を含んでもよいが、それらに制限されるものではない。

選択可能な検索項目に係わるテキスト情報は、第１入力と第２入力とによって決定される。第１入力と第２入力とによって決定される検索項目に係わるテキスト情報の例は、後述するスクリーン例について説明するときに、さらに詳細に言及する。

また、資源はデバイス１００のユーザ情報、デバイス１００に設定されたアプリケーション・プログラムの運用に必要な情報、及び前述のハードウェア・コンポーネントの駆動に必要なプログラムを実行するに必要な情報を含んでもよいが、それらに制限されるものではない。

保存部１０７は、フラッシュメモリ・タイプ、ハードディスク・タイプ、マルチメディアカードマイクロ・タイプ、カードタイプのメモリ（例えば、ＳＤメモリ、ＸＤメモリなど）、ＲＯＭ（read-only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、ＰＲＯＭ（programmable read-only memory）、磁気メモリ、光ディスクのうち少なくとも１つのタイプの記録媒体を含んでもよいが、それらに制限されるものではない。保存部１０７は、例えば、揮発性メモリまたは不揮発性メモリのような保存ユニットを含む。

保存部１０７に保存される少なくとも１つのプログラム及び／または命令語セットは、対応する機能によって、複数個のモジュールに分類することができる。

図１Ｂは、保存部１０７に保存されるプログラム及び／または命令語セットをモジュール別に分類した例である。図１Ｂを参照すれば、保存部１０７は、オペレーティングシステム１０７−１、無線通信モジュール１０７−２、有線通信モジュール１０７−３、グラフィック・モジュール１０７−４、ＧＰＳ（global positioning system）モジュール１０７−５、ＵＩモジュール１０７−６、センシング・モジュール１０７−７、接触及び動きモジュール１０７−８、電源モジュール１０７−９及びアプリケーション・モジュール１０７−１０を含んでもよいが、それらに制限されるものではない。

アプリケーション・モジュール１０７−１０は、イメージ再生モジュール１０７−１１、情報検索モジュール１０７−１２及びカメラ・モジュール１０７−１３を含むが、それらに制限されるものではない。例えば、アプリケーション・モジュール１０７−１０は、電子メールモジュール、ＳＮＳ（social networking service）モジュール、画像会議モジュール、イメージ管理モジュール、ブラウジング・モジュール、カレンダー・モジュール、ウィゼット・モジュール、検索モジュール及びワード文書作成モジュールなど多様なモジュールをさらに含んでもよい。

オペレーティングシステム１０７−１は、デバイス１００の一般的な機能を制御して管理するものであり、デバイス１００内のハードウェア・コンポーネント及びソフトウェア・コンポーネントの間の通信を可能にするソフトウェア・コンポーネントを含む。

無線通信モジュール１０７−２は、無線通信部１０８を介して、少なくとも１つの外部デバイス（図示せず）との通信を可能にし、無線通信部１０８を介して、少なくとも１つの外部デバイスから受信されるデータと、少なくとも１つの外部デバイスに送信されるデータとを処理するためのソフトウェア・コンポーネントを含む。少なくとも１つの外部デバイスは、クラウドサーバとデバイス１００とに有線または無線で連結されたり、あるいは周辺のデバイスのうち少なくとも一つを含んでもよい。

本発明の望ましい実施形態によって、無線通信モジュール１０７−２は、情報の検索時、外部デバイスに情報検索を要請し、外部デバイスから検索された情報を受信することができる。

有線通信モジュール１０７−３は、ＵＳＢ（universal serial bus）ポートのようなエレメントから構成された有線通信部１０９と、外部デバイス（図示せず）との通信を可能にし、有線通信部１０９を介して、外部デバイス（図示せず）から受信されるデータと、外部デバイス（図示せず）に送信されるデータとを処理するためのソフトウェア・コンポーネントを含む。

グラフィック・モジュール１０７−４は、タッチスクリーン１０３にディスプレイされているグラフィックの明度調節及びレンダリングのためのソフトウェア・コンポーネント、並びにアプリケーション・モジュール１０７−１０で、テキストを入力するための仮想キーボード（または、ソフトキーボード）を提供するソフトウェア・コンポーネントを含む。

ＧＰＳモジュール１０７−５は、デバイス１００の位置を決め、決定された位置情報を、位置基盤サービスを提供するアプリケーションに提供するソフトウェア・コンポーネントを含む。ＵＩモジュール１０７−６は、タッチスクリーン１０３基盤のＵＩ情報を提供するアプリケーションに必要なＵＩを提供するソフトウェア・コンポーネントを含む。

センシング・モジュール１０７−７は、センシング部１０２のセンシング情報を、センシング部１０２基盤センシング情報として決定し、決定されたセンシング情報基盤のサービスを提供するアプリケーション・モジュール１０７−１０に提供するソフトウェア・コンポーネントを含む。接触及び動きモジュール１０７−８は、タッチスクリーン１０３のタッチ接触を、タッチスクリーン１０３基盤のタッチ接触として感知し、接触に基づいた動きを追跡し、それを必要とするアプリケーション・モジュール１０７−１０に提供するソフトウェア・コンポーネントを含む。

電源モジュール１０７−９は、オペレーティングシステム１０７−１と連動され、デバイス１００内のハードウェア・コンポーネントに係わる電源供給を制御し、タッチスクリーン１０３に供給される電源に係わる節電モードを制御するソフトウェア・コンポーネントを含む。

アプリケーション・モジュール１０７−１０に含まれるモジュールの機能は、その名称によって、当業者が直観的に推論することができると考えられるので、本発明の望ましい実施形態に係わるアプリケーション・モジュールのみを図示して説明する。

例えば、イメージ再生モジュール１０７−１１を実行させ、イメージ（または、１つのイメージ）がタッチスクリーン１０３上にディスプレイされているとき、情報検索モジュール１０７−１２を実行させ、ディスプレイされているイメージ基盤の情報検索サービスを遂行する。イメージ基盤の情報検索サービスを行った後、接触及び動きモジュール１０７−８及び／またはセンシング・モジュール１０７−７によってセンシングされた情報によって、前述の第１入力及び第２入力が認識されれば、認識された第１入力及び第２入力に基づいて、保存部１０７、無線通信部１０８及び有線通信部１０９を介して連結された少なくとも１つの外部デバイス（図示せず）のうち少なくとも一つから情報を検索する。

情報が検索されれば、情報検索モジュール１０７−１２は、検索された情報を、タッチスクリーン１０３を介して出力する。ＵＩモジュール１０７−６は、検索された情報を、タッチスクリーン１０３にディスプレイし、第１入力及び第２入力が認識されるとき、認識された結果情報をタッチスクリーン１０３上に出力することができる。

第１入力または第２入力に基づいて処理される検索は、ユーザとデバイス１００とのインタラクションといえる。すなわち、第１入力の認識は、複数のオブジェクトの選択に係わるユーザとデバイス１００とのインタラクションと定義され、第２入力を認識することは、複数のオブジェクトの検索関係に係わるユーザとデバイス１００とのインタラクションと定義され、検索された情報をタッチスクリーン１０３にディスプレイすることは、ユーザとデバイス１００との検索インタラクションと定義される。例えば、デバイス１００は、タッチスクリーン１０３からユーザ入力を受信することができ、受信されたユーザ入力を第１入力として認識することができる。第１入力が認識されれば、デバイス１００は、タッチスクリーン１０３から他のユーザ入力を受信し、受信された他のユーザ入力を第２入力として受信することができる。

図１Ａの保存部１０７は、図１Ｂに図示されたプログラム及び／または命令語セットのうち、アプリケーション・モジュール１０７−１０に含まれるモジュールを保存しないか、あるいはアプリケーション・モジュールのＵＲＬ（uniform resource locator）のような位置情報、及びアプリケーション・モジュールを示すことができるディスプレイ情報のみを保存することができる。保存部１０７に、アプリケーション・モジュール１０７−１０に含まれるモジュールが保存されていない場合、プロセッサ１１０は、無線通信部１０８または有線通信部１０９を介して、外部デバイスと接続し、外部デバイスに保存されているアプリケーション・モジュール１０７−１０に対応するプログラム及び／または命令語セットを使用することができる。

保存部１０７に、アプリケーション・モジュールの位置情報、及びアプリケーション・モジュールを示すことができるディスプレイ情報のみ保存されている場合、タッチスクリーン１０３を介してディスプレイされているアプリケーション・モジュールのディスプレイ情報に基づいたユーザの選択信号に対応するアプリケーションの位置情報を利用して、プロセッサ１１０は、無線通信部１０８または有線通信部１０９を介して、外部デバイスに保存されている情報を検索することができる。

無線通信部１０８は、無線インターネット、無線イントラネット、無線電話ネットワーク、無線ＬＡＮ（local area network）、Ｗｉ−Ｆｉ（wireless fidelity）、Ｗｉ−Ｆｉダイレクト（ＷＦＤ：Ｗｉ−Ｆｉ direct）、３Ｇ（generation），４Ｇ（４ generation）ＬＴＥ（long term evolution）、ブルートゥース（登録商標）（Bluetooth（登録商標））、赤外線通信（ＩｒＤＡ：infrared data association）、ＲＦＩＤ（radio frequency identification）、ＵＷＢ（ultra wideband）、ジグビー（Zigbee(登録商標)）のような無線ネットワークを介して、外部デバイスとデータを送受信することができる。

無線通信部１０８は、放送受信モジュール、移動通信モジュール、無線インターネット・モジュール、有線インターネット・モジュール、近距離通信モジュール及び位置情報モジュールのうち少なくとも一つを含んでもよいが、それらに制限されるものではない。

有線通信部１０９は、有線インターネットのような有線ネットワークを介して外部デバイスとデータを送受信することができる。有線通信部１０９は、ＵＳＢポート（図示せず）のようなプラグ・アンド・プレイ（plug and play）インターフェースを利用して、外部デバイス（図示せず）とデータを送受信することができる。有線通信部１０９は、デバイス１００の構成要素に含まれないこともある。

電源部１１１は、デバイス１００に含まれたハードウェア・コンポーネントに電力を供給する。電源部１１１は、バッテリ及び交流電源のような一つ以上の電源を含む。デバイス１００は、電源部１１１を含まず、外部電源提供部（図示せず）と連結される連結部（connection unit）（図示せず）を含んでもよい。

プロセッサ１１０は、デバイス１００の全般的な動作を制御するものであり、一つ以上のプロセッサといえる。プロセッサ１１０は、保存部１０７に保存されたオペレーティングシステム１０７−１と、各種モジュール１０７−２〜１０７−１３とを利用して、情報入力部１０１、センシング部１０２、タッチスクリーン１０３、カメラ１０３、オーディオ入力部１０５、オーディオ出力部１０６、保存部１０７、無線通信部１０８、有線通信部１０９及び電源部１１１を全般的に制御することができる。従って、プロセッサ１１０は、制御器やマイクロプロセッサ、デジタル信号処理器（digital signal processor）などといえる。

また、プロセッサ１１０は、オペレーティングシステム１０７−１と、ＵＩモジュール１０７−６とを利用して、情報入力部１０１、センシング部１０２、タッチスクリーン１０３、カメラ１０４及びオーディオ入力部１０５を利用して、ユーザ・インターフェースを提供することができる。

プロセッサ１１０は、本発明の望ましい実施形態によるイメージ基盤の情報検索方法に係わる少なくとも１つのプログラムを実行させ、後述する図２、図１０及び図１４に図示された動作フローチャートを遂行することができる。プロセッサ１１０は、前記プログラムを保存部１０７から読み取って実行させたり、あるいは無線通信部１０８または有線通信部１０９を介して連結された外部デバイスからダウンロードされて実行させることができる。そのとき、外部デバイスは、アプリケーション提供サーバまたはアプリケーションマーケット・サーバといえる。外部デバイスは、クラウドサーバ、またはデバイス１００周辺の通信可能なデバイスを含む。外部デバイスは、デバイス１００と類似しているか、あるいは同一のデバイスでもある。プロセッサ１１０は、デバイス１００内の各種ハードウェア・コンポーネントとプロセッサ１１とのインターフェース機能部を含むものであると理解される。

図２は、本発明の望ましい実施形態によるイメージ基盤の情報検索方法の動作フローチャートである。図２の動作フローチャートは、図１Ａのプロセッサ１１０で遂行される。

図２を参照すれば、プロセッサ１１０は、タッチスクリーン１０３にディスプレイされているイメージに含まれた複数のオブジェクトに対する選択を示す第１入力を認識する（Ｓ２０１）。

図３は、本発明の望ましい実施形態によるイメージ基盤の情報検索方法において、第１入力の入力例について説明するための図面である。図３の（３１０）は、タッチスクリーン１０３にディスプレイされているイメージ３１０ａに含まれた複数のオブジェクト３１０ａ１，３１０ａ２に対してタッチして、第１入力を入力する場合である。ここで、タッチは、基準時間より長い時間タッチされるロングタッチといえる。それによって、プロセッサ１１０は、図３のスクリーン３１０に図示されたイメージで、タッチ地点に対応するオブジェクト３１０ａ１，３０１Ａ２の選択を認識する。タッチ地点に係わるタッチは、基準時間より長い時間タッチされるロングタッチといえる。複数のオブジェクトの選択を示すタッチ基盤のユーザのジェスチャは、前述のロングタッチに制限されず、同時に発生しないこともある。オブジェクトは、同時に選択される。オブジェクトは、独立して選択される。選択が独立して遂行されれば、第２オブジェクトの第２選択は、第１オブジェクトの第１選択から基準時間以内に遂行される。オブジェクトは、対応するスクリーン上にディスプレイされている他のイメージから選択される。プロセッサ１１０は、オブジェクトの選択を第１入力として認識することができる。

図３の（３２０）は、タッチスクリーン１０３にディスプレイされているイメージ３２０ａの複数のオブジェクト３２０ａ１，３２０ａ２に対して、それぞれ円形（circle）の閉領域を設定するユーザのジェスチャによって、第１入力が入力される場合である。閉領域を設定するユーザのジェスチャは、図３の（３２０）に図示されたように、円形に制限されるものではない。すなわち、閉領域を設定するユーザのジェスチャは、選択しようとするオブジェクトを含む四角形（square）または三角形（triangle）を設定するユーザのジェスチャを含んでもよい。また、前述の閉領域は、必ずしも開始地点と終了地点とが出合うように設定されず、前述の開始地点と終了地点との出合いを示すユーザジェスチャを含んでもよい。ユーザジェスチャは、オブジェクトを表示するラインを形成するためのジェスチャにもなる。オブジェクトは同時に選択される。また、オブジェクトは、独立して選択される。選択が独立して遂行されれば、第２オブジェクトの第２選択は、第１オブジェクトの第１選択からの基準時間以内に遂行される。オブジェクトは、対応するスクリーン上に表示されている他のイメージから選択される。プロセッサ１１０は、前述のところのように、オブジェクトの選択を第１入力として認識したり、あるいは以下の説明のように、オブジェクトの選択を第１入力と認識することができる。

プロセッサ１１０は、タッチスクリーン１０３にディスプレイされているイメージ基盤の選択された複数のオブジェクトの検索関係を示す第２入力を認識する（Ｓ２０２）。

図４は、本発明の望ましい実施形態によるイメージ基盤の情報検索方法において、第２入力が入力される例について説明するための図面である。図４での第２入力は、情報の検索時、選択された複数のオブジェクトの検索関係を同一階層関係で設定するためのものである。

図４の（４０１）は、選択された複数のオブジェクトを１ヵ所で集めることを意味するタッチ基盤のユーザのジェスチャによる第２入力の例である。すなわち、１つのイメージに含まれた５個のオブジェクトに対する選択を示す第１入力（例えば、ロングタッチ）を入力した後、第１入力が入力された地点から、ディスプレイされているイメージ内の一地点にドラッグする第２入力を入力して選択された５個のオブジェクトに係わる検索関係を同一階層関係で設定した場合である。

そのとき、第２入力は、第１入力を入力した後、タッチ状態を維持しながら、前述のドラッグを連続的に遂行することと定義されもするが、第１入力を入力した後、さらに第１入力を入力した地点をタッチした後、前述の一地点にドラッグするタッチ・アンド・ドラッグとも定義される。第１入力を入力した地点をさらにタッチする場合、タッチ地点に係わる以前のｘ，ｙ座標と現在のｘ，ｙ座標との間に誤差があり得る。しかし、現在のｘ，ｙ座標が同一のオブジェクトのディスプレイ領域内であるならば、前述の誤差は、無視される。（４０１）に図示されたところによって分かるように、（４０１）での１地点は、５つのオブジェクトに対応する５本指がいずれも出合うことができる地点であると定義される。

図４の（４０２）は、選択された複数のオブジェクトを、選択された複数のオブジェクトのディスプレイ位置以外の位置に移動させることを意味するタッチ基盤のユーザのジェスチャによる第２入力の例である。すなわち、１つのイメージに含まれた５個のオブジェクトに対する選択を示す第１入力を入力した後、第１入力が入力された地点から、下に一定長ほどドラッグする第２入力を入力して選択された５個のオブジェクトに係わる検索関係を同一階層関係で設定した場合である。

図４の（４０２）で、第２入力は、前述の（４０１）で説明したように、第１入力を入力した後、タッチ状態を維持しながら、前述のドラッグを連続的に遂行するものであると定義されもするが、第１入力を入力した後、さらに第１入力を入力した地点をタッチした後、前述の一定長の下にドラッグするタッチ・アンド・ドラッグと定義されもする。

図４の（４０３）は、前述の（４０２）のように選択された複数のオブジェクトを、選択された複数のオブジェクトのディスプレイ位置以外の位置にタッチ地点が移動させることを意味するタッチ基盤のユーザのジェスチャによる第２入力の例である。図４の（４０３）は、第１入力が入力された地点から上に一定長ほどドラッグする第２入力を入力する場合である。

図４の（４０４）は、選択された２個のオブジェクトを一地点に集めることを意味するタッチ基盤のユーザのジェスチャによる第２入力の例である。（４０４）で言及される１地点は、２個のオブジェクトを選択した指が出合うか、あるいはオブジェクトをオーバーラップするために配置される地点と定義される。

図４の（４０５）は、選択された２個のオブジェクトを、第１入力が入力された地点から内側にタッチ地点が移動されることを意味するタッチ基盤のユーザのジェスチャによる第２入力の例である。内側に移動される距離は、前述の（４０２）と（４０３）とで言及された一定距離以内に設定される。

図４の（４０６）は、選択された２個のオブジェクトを、第１入力が入力された地点から外側に一定距離以内タッチ地点が移動されることを意味するタッチ基盤のユーザのジェスチャによる第２入力の例である。

前述の図４及び後述する図５を含めた明細書全般で言及される移動は、イメージ上にディスプレイされている複数のオブジェクトのディスプレイ位置の移動を意味することができる。しかし、前述の移動は、オブジェクトのディスプレイ位置の実質的な移動ではない、ディスプレイされているイメージ上のタッチ地点の移動を意味することができる。

図５は、本発明の望ましい実施形態によるイメージ基盤の情報検索方法において、第２入力が入力される例について説明するための図面である。図５での第２入力は、情報の検索時、選択された複数のオブジェクトの検索関係を上下階層関係で設定する場合である。

図５の（５０１）は、選択された５個のオブジェクトのうち１つのオブジェクトのディスプレイ位置に、残りのオブジェクトを移動させることを意味するタッチ基盤のユーザのジェスチャによる第２入力の例である。その場合、１つのオブジェクトは、残りのオブジェクトに属する。

図５の（５０２）は、選択された２個のオブジェクトのうち１つのオブジェクトのディスプレイ位置から、他のオブジェクトのディスプレイ位置に移動されることを意味するタッチ基盤のユーザのジェスチャによる第２入力の例である。その場合、前述の他のオブジェクトが前述の１つのオブジェクトに属する。

図２の段階Ｓ２０３で、プロセッサ１１０は、タッチスクリーン１０３にディスプレイされているイメージを基に、第１入力と第２入力とが認識されれば、認識された第１入力と第２入力とに基づいて情報を検索することができる。すなわち、認識された第１入力によって選択されたオブジェクトを検出する。選択されたオブジェクトを検出する方式は、タッチされた地点を基準に、オブジェクトのアウトラインを検出する方式を使用することができるが、それらに制限されるものではない。選択されたオブジェクトが検出されれば、プロセッサ１１０は、第２入力によって選択された複数のオブジェクトの検索関係によって検索式を決定する。

選択されたオブジェクトが同一階層関係であるならば、選択されたオブジェクトをいずれも含む情報を検索したり、あるいは選択されたオブジェクトのうち少なくとも１つのオブジェクトを含む情報を検索することができる。選択されたオブジェクトが同一階層関係であるとき、選択されたオブジェクトをいずれも含む情報を検索するか否か、あるいは少なくとも１つのオブジェクトを含む情報を検索するか否かということは、前もって定義される。

すなわち、既選択のオブジェクトが同一階層関係であるとき、選択されたオブジェクトをいずれも含む情報を検索するように設定された場合、プロセッサ１１０は、選択されたオブジェクトをいずれも含む情報を、保存部１０７と、前述の外部デバイスとのうち少なくとも一つから検索する。

既選択のオブジェクトが同一階層関係であるとき、選択されたオブジェクトを少なくとも一つを含む情報を検索するように設定された場合、プロセッサ１１０は、選択されたオブジェクトを少なくとも一つ含む情報を、保存部１０７と、前述の外部デバイスとのうち少なくとも一つから検索する。

既選択のオブジェクトが同一階層関係であるとき、選択されたオブジェクトをいずれも含む情報の検索と、少なくとも一つを含む情報の検索とを選択的に使用するように設定された場合、プロセッサ１００は、情報を検索する前に、情報検索項目（例えば、いずれも含む情報検索アイテム、または少なくとも一つを含む情報検索アイテム）に対応する情報を、タッチスクリーン１０３にディスプレイする。

タッチスクリーン１０３にディスプレイされる情報検索項目情報に基づいて選択された複数のオブジェクトをいずれも含む情報検索アイテムが選択されれば、プロセッサ１１０は、選択された複数のオブジェクトをいずれも含む情報を検索する。しかし、ディスプレイされる情報検索項目に対応する情報に基づいて選択された少なくとも１つのオブジェクトを含む情報検索アイテムが選択されれば、プロセッサ１１０、は少なくとも１つの選択されたオブジェクトを含む情報を検索する。

選択されたオブジェクトの検索関係が上下階層関係であるならば、プロセッサ１１０は選択されたオブジェクト間の主従関係によって、検索式を決めて情報を検索する。

すなわち、図６に図示されたスクリーン６１０のように、選択されたオブジェクトが、イメージ６１０ａのかばん６１０ａ１と顔６１０ａ２とであり、かばん６１０ａ１から顔６１０ａ２にタッチ地点が移動されることを意味する第２入力が認識されれば、プロセッサ１１０は、検索式を「かばんを持っている人」に設定する。それによって、プロセッサ１１０は、「Ａが有しているかばんと同一のかばんを有している任意の人」に係わる情報を、保存部１０７と外部デバイスとのうち少なくとも一つから検索する。

図６に図示されたスクリーン６２０のように、選択されたオブジェクトが、かばん６１０ａ１と顔６１０ａ２とであり、顔６１０ａ２からかばん６１０ａ１にタッチ地点が移動されることを意味する第２入力が認識されれば、プロセッサ１１０は、検索式を「Ａが有しているかばん」と設定する。それによって、プロセッサ１１０は、「Ａが有している全てのかばん」に係わる情報を、保存部１０７と外部デバイスとのうち少なくとも一つから検索する。

図６に図示されたスクリーン６３０のように、選択されたオブジェクトが、かばん６１０ａ１、顔６１０ａ２、服６１０ａ３であるとき、服６１０ａ３からかばん６１０ａ１にタッチ地点が移動されることを意味する第２入力と、かばん６１０ａ１から顔６１０ａ２にタッチ地点が移動されることを意味する第２入力とが認識されれば、プロセッサ１１０は、検索式を「服のかばん」及び「かばんを有している人」と設定する。それによって、プロセッサ１１０は「同一の服と任意のかばんとを含んだ情報」と「同一のかばんを有している任意の人」とを含む情報を、保存部１０７と外部デバイスとのうち少なくとも一つから検索する。

図６に図示されたスクリーン６４０のように、選択されたオブジェクトが、かばん６１０ａ１、顔６１０ａ２、服６１０ａ３であり、服６１０ａ３から顔６１０ａ２にタッチ地点が移動されることを意味する第２入力と、かばん６１０ａ１から顔６１０ａ２にタッチ地点が移動されることを意味する第２入力とが認識されれば、プロセッサ１１０は、検索式を「同一の服を着ている任意の人」を含む情報と、「同一のかばんを有している任意の人」とを含む情報を、保存部１０７及び外部デバイスのうち少なくとも一つから検索する。

図６に図示されたスクリーン６５０は、選択された複数のオブジェクトの検索関係が同一階層関係を示す第２入力が入力された場合である。もしデバイス１００に設定された条件が、選択された複数のオブジェクトが同一階層関係であるとき、検索式が論理積（ＡＮＤ）と定義された場合、プロセッサ１１０は、「同一のかばん及び人Ａ」を含んでいる情報を、保存部１０７及び外部デバイスのうち少なくとも一つから検索する。

検索される情報は、イメージ基盤情報及びテキスト基盤情報のうち少なくとも一つを含んでもよい。また、検索を、保存部１０７で行うか、外部デバイスから行うか、あるいは保存部１０７と外部デバイスとでいずれも行うかということは、ユーザによって設定される。ユーザが、前述の検索範囲を設定するようにプロセッサ１１０は、タッチスクリーン１０３を介して選択可能な検索範囲情報をディスプレイすることができる。

図２の段階Ｓ２０４で、プロセッサ１１０は、検索された情報を、タッチスクリーン１０３にディスプレイする。検索された情報は、ディスプレイされているイメージに重畳された形態でディスプレイされもするが、別途のページ、またはディスプレイされているイメージ上に、ポップアップ・ウィンドー形態でもディスプレイされる。

図７ないし図９は、選択された複数のオブジェクトの検索関係が同一階層関係であるとき、前述の第１入力と、第２入力と、ディスプレイされる検索された情報との関係の例示図である。

図７は、スクリーン７１０において、ディスプレイされているイメージ７１０ａに含まれた２個のオブジェクト７１０ａ１，７１０ａ２を選択する第１入力を入力する場合であり、スクリーン７２０において、第１入力を入力した後、選択された２個のオブジェクト７１０ａ１，７１０ａ２のディスプレイ位置から１地点に集めるユーザのジェスチャに基づいた第２入力を入力する場合であり、スクリーン７３０において、選択された全てのオブジェクトを含むイメージ７３０ａが検索され、独立したページにディスプレイされる場合である。

図８は、スクリーン８１０において、ディスプレイされているイメージ８１０ａに含まれた２個のオブジェクト８１０ａ１，８１０ａ２を選択する第１入力を入力する場合であり、スクリーン８２０において、第１入力を入力した後、選択された２個のオブジェクト８０１Ａ１，８０１Ａ２のディスプレイ位置を上側に同時に移動させるユーザのジェスチャに基づいた第２入力を入力する場合であり、スクリーン８３０において、選択された複数のオブジェクト８０１Ａ１，８０１Ａ２のうち少なくとも一つを含むイメージ８３０ａ１〜８３０ａ７が検索され、独立したページにディスプレイされる場合である。

図９は、スクリーン９１０において、ディスプレイされているイメージ９１０ａに含まれた２個のオブジェクト９１０ａ１，９１０ａ２を選択する第１入力を入力する場合であり、スクリーン９２０において、第１入力を入力した後、選択された２個のオブジェクト９１０ａ１，９１０ａ２のディスプレイ位置を下側に同時に移動させるユーザのジェスチャに基づいた第２入力を入力する場合であり、スクリーン９３０において、選択された複数のオブジェクト９１０ａ１，９１０ａ２のうち少なくとも一つを含むイメージ９３０ａ１〜９３０ａ７が検索され、独立したページにディスプレイされる場合である。

前述の図７ないし図９を基に、選択された複数のオブジェクトが同一階層関係であるということを示す第２入力の入力パターンによって選択された複数のオブジェクトをいずれも含むイメージ（または、情報）を検索したり、あるいは選択された複数のオブジェクトのうち少なくとも一つを含むイメージ（または、情報）を検索することができるということが分かる。

図１０は、本発明の望ましい他の実施形態によるイメージ基盤の情報検索方法の動作フローチャートである。図１０は、図２の動作フローチャートに、第１入力が認識された後、認識された結果情報をタッチスクリーン１０３にディスプレイする機能と、第２入力が認識された後、認識された結果情報をタッチスクリーン１０３にディスプレイする機能とがさらに追加された場合である。

すなわち、段階Ｓ１００１で、プロセッサ１１０は、図２の段階Ｓ２０１のように、タッチスクリーン１０３にディスプレイされているイメージに含まれた複数のオブジェクトに対する選択を示す第１入力を認識する。

それによって、プロセッサ１１０は、第１入力を認識した結果情報をタッチスクリーン１０３にディスプレイする。前述の結果情報は、第１入力によって、オブジェクトに係わるアウトラインを検出し、検出された輪郭線を含む領域が閉領域の形態で出力される。

図１１及び図１２は、第１入力が認識された結果情報が、タッチスクリーン１０３にディスプレイされるスクリーンの例である。すなわち、図１１は、イメージ１１１０ａから、複数のオブジェクト１１１０ａ１，１１１０ａ２をロングタッチすることによって選択されたオブジェクト１１１０ａ１，１１１０ａ２に係わる認識された結果情報が、四角形の閉領域１１２０ｂ１，１１２０ｂ２でディスプレイされる場合である。四角形の閉領域１１２０ｂ１，１１２０ｂ２は、第１入力が認識された後、前述のアウトライン検出方式によって生成され、図１１の（１１２０）のように、タッチスクリーン１０３上にディスプレイされる。

図１２は、図１１でのように、イメージ１２１０の選択されたオブジェクト１２１０ａ１，１２１０ａ２のアウトライン検出によって、四角形の閉領域１２２０ｂ１，１２２０ｂ２が生成されれば、生成された閉領域１２２０ｂ１，１２２０ｂ２を切り取り、切断された領域１２２０ｂ１，１２２０ｂ２をマルチスクリーン形態でディスプレイする場合である。図１２は、切り取られた領域１２２０ｂ１，１２２０ｂ２のディスプレイ・サイズが、本来のディスプレイ・サイズを維持している。しかし、ディスプレイ・サイズを拡大しても、２個の切り取られた領域１２２０ｂ１，１２２０ｂ２が、全スクリーンに拡大されたり、あるいはディスプレイ・サイズを縮小し、スクリーン１２１０の一部領域にディスプレイされる。切り取られた領域のサイズは、選択されたオブジェクト間の検索関係によって、互いに異なってもよい。

段階Ｓ１００３でプロセッサ１１０は、選択された複数のオブジェクトの検索関係を示す第２入力を、図２の段階Ｓ２０２でのように認識する。それにより、プロセッサ１１０は、段階Ｓ１００４で、第２入力に係わる認識結果をタッチスクリーン１０３にディスプレイする。

第２入力に係わる認識結果は、図４ないし図６での説明の一助とするために図示されたタッチ地点が移動される方向を示す矢印が、タッチスクリーン１０３上にディスプレイされたり、あるいは図１３に図示されたように、切り取られたイメージ基盤のマルチスクリーン形態でディスプレイされる。

図１３を参照すれば、タッチスクリーン１０３上にディスプレイされているイメージ１３１０ａから、それぞれ独立してオブジェクト１３１０ａ１，１３１０ａ２を選択する（スクリーン１３１０、スクリーン１３２０）。スクリーン１３１０，１３２０の場合には、選択されたオブジェクト１３１０ａ１，１３１０ａ２に係わる認識結果を、選択と同時に、選択されたパターン（円形）をタッチスクリーン１０３上にディスプレイした場合である。しかし、選択されたオブジェクト１３１０ａ１，１３１０ａ２に係わる認識結果は、タッチスクリーン１０３上にディスプレイされないこともある。

図１３のスクリーン１３３０において、選択された複数のオブジェクト１３１０ａ１，１３１０ａ２に係わる検索関係を示す第２入力が入力されれば、プロセッサ１１０は、スクリーン１３４０に図示されたように、選択された複数のオブジェクト１３１０ａ１，１３１０ａ２を、切り取ったイメージを基に、マルチスクリーン１３４０ａをディスプレイすることができるが、それに制限されるものではない。

段階Ｓ１００５で、プロセッサ１１０は、図２の段階Ｓ２０３でのように、第１入力と第２入力とを利用して情報を検索し、段階Ｓ１００６で、プロセッサ１１０は、図２の段階Ｓ２０４でのように、検索された情報を、デバイス１００のタッチスクリーン１０３を利用して出力する。

図１０は、第１入力に係わる認識された結果のみをタッチスクリーン１０３にディスプレイするように変形されたり、あるいは第２入力に係わる認識された結果のみをタッチスクリーン１０３にディスプレイするように変形されもする。

図１４は、本発明の望ましいさらに他の実施形態によるイメージ基盤の情報検索方法の動作フローチャートである。図１４は、図２の動作フローチャートで、第１入力と第２入力とによって決定された少なくとも１つの検索項目をディスプレイし、ディスプレイされる検索項目のうち、選択された検索項目に基づいて、情報を検索する機能が追加された場合である。従って、図１４の段階Ｓ１４０１，Ｓ１４０２，Ｓ１４０４，Ｓ１４０５は、図２の段階Ｓ２０１ないし段階Ｓ２０４と同一に遂行されるので、以下で説明を省略する。

段階Ｓ１４０３で、プロセッサ１１０は、第１入力と第２入力とによって決定された検索項目をディスプレイする。例えば、第１入力及び第２入力が、図６のスクリーン６１０のように入力された場合、プロセッサ１１０は、前述のような検索式で、「同一のかばんを有している任意の人」に係わる情報を検索することができるが、前述の検索式を基に細分化された検索項目を決定し、ディスプレイすることができる。例えば、プロセッサ１１０は、検索式が、前述のようであるとき、地域情報を検索項目として決定することができる。すなわち、「１．ソウル、２．釜山、３．光州、４．韓国、５．アメリカ」などを検索項目として決め、それをディスプレイすることができる。

図１５は、図１４の段階Ｓ１４０３について説明するためのスクリーン例である。すなわち、複数のオブジェクト１５１０ａ１，１５１０ａ２を選択する第１入力が、スクリーン１５１０のイメージ１５１０ａのように入力され、選択された複数のオブジェクト１５２０ａ１，１５２０ａ２の間の検索関係を設定する第２入力が、スクリーン１５２０に図示されたように入力（例えば、一地点に集まるユーザのジェスチャ）された場合、第１入力と第２入力とによって、検索項目情報が、例えば、「Function １、Function ２、Function ３、Function ４、Function ５、Function ６、Function ７、Function ８」に決まり、スクリーン１５３０のイメージ１５３０ａに図示されたようにディスプレイされる。

図１５で、ディスプレイされる前述の検索項目情報は、例えば、選択された二人がそれぞれ使用していたサービス情報検索、二人が含まれた写真及び動画検索、二人に共通して推薦される写真及び動画検索、二人がそれぞれ最近使用したデバイス検索、二人がそれぞれ最も多く使用したデバイス検索、二人がいずれも最も多く使用したデバイス検索、二人に共通して推薦するデバイス検索などを挙げることができるが、提供可能な検索項目情報は、それらに制限されるものではない。

図１５のスクリーン１５３０に図示されているように、検索項目情報がディスプレイされるとき、１つの検索項目情報が選択されれば、プロセッサ１１０は、選択された検索項目に基づいて、情報を検索する。

図１５のスクリーン１５３０は、８個の検索項目情報がディスプレイされるスクリーン例である。しかし、図１６に図示されているように、第１入力と第２入力とによって提供可能な検索項目は、図１６のスクリーン１６２０またはスクリーン１６３０のように、４個の検索項目情報がディスプレイされもするが、それらに制限されるものではない。提供される検索項目情報の数は、既設定である。

図１７は、本発明の望ましい実施形態によるデバイス１７００の機能ブロック図である。図１７に図示されたデバイス１７００は、図１Ａに図示されたデバイス１００と異なる機能ブロック図を有する。

図１７を参照すれば、デバイス１７００は、情報入出力部１７１０、通信部１７２０、プロセッサ１７３０及び保存部１７４０を含むが、それらに制限されるものではない。すなわち、デバイス１７００は、ユーザの選好度またはデザインによって、図１Ａに図示されたデバイス１００のように、図１７に図示された構成要素よりさらに多くの構成要素を含んだり、あるいは図１７に図示された構成要素よりさらに少ない構成要素を含んでもよい。

デバイス１７００が、図１７に図示された構成要素よりさらに少ない構成要素を含む場合は、デバイス１７００が通信部１７２０を含まなかったり、あるいは保存部１７４０を含まない場合を有することができる。通信部１７２０を含まない場合、イメージ基盤の情報検索方法による情報検索を、保存部１７４０に保存された情報を対象にして、保存部１７４０に保存される情報は、情報入出力部１７１０から入力された情報である場合である。保存部１７４０を含まない場合、デバイス１７００は、通信部１７２０を介して、前述の外部デバイスから情報を検索する。

情報入出力部１７１０は、ユーザの入力を受信し、デバイス１７００の出力情報を出力する。例えば、ユーザの入力は、前述のように、タッチ基盤入力、物理的なボタン制御基盤の入力、ユーザのジェスチャ基盤の入力、ユーザの音声認識基盤の入力、顔認識基盤の入力、及び遠隔制御器（図示せず）基盤の入力を含んでもよいが、それらに制限されるものではない。

本発明の望ましい実施形態によって情報入出力部１７１０は、第１入力及び第２入力を受信し、第１入力と第２入力との受信を認識した結果情報をそれぞれ出力することができ、第１入力と第２入力とによって検索された情報を出力することができる。

情報入出力部１７１０は、ダイヤル、スライダ・スイッチ、ジョイ・スティック、クリックホイール、タッチパッド、タッチスクリーン、マイクロホン、スピーカ、センサ、コネクタ、表示灯、キーパッド、ディスプレイ機器、スクロールホイール、及び無線通信に基づいた遠隔信号受信部などを含んでもよいが、それらに制限されるものではない。
通信部１７２０は、ネットワークを介して、外部デバイスと通信することができる。通信部１７２０は、外部デバイスに保存された情報を検索することができるが、外部デバイスと、ネットワークを介してメッセンジャ・サービス（messenger service）、メッセージ・サービス（message service）、電子メールサービス（e-mail service）、映像通話サービス及び音声通話サービスなどの通信サービスを遂行することができるが、それらに制限されるものではない。通信部１７２０は、図１Ａの無線通信部１０８及び有線通信部１０９のうち少なくとも一つを含むように構成される。

プロセッサ１７３０は、保存部１７４０に保存された本発明の望ましい実施形態によるイメージ基盤の情報検索方法を遂行するための少なくとも１つのプログラムを実行させる。すなわち、プロセッサ１７３０は、前記プログラムを実行させ、情報入出力部１７１０にディスプレイされているイメージ基盤の第１入力と第２入力との受信が認識されれば、認識された結果によって、保存部１７４０で情報を検索し、検索された結果を情報入出力部１７１０に出力する。

保存部１７４０は、前述の少なくとも１つのプログラム、及びデバイス１００との通信のための少なくとも１つの通信アプリケーションを保存するが、それらに制限されるものではない。保存部１７４０は、フラッシュメモリ・タイプ、ハードディスク・タイプ、マルチメディアカードマイクロ・タイプ、カードタイプのメモリ（例えばＳＤメモリ、ＸＤメモリなど）、ＲＯＭ（read-only memory）、ＥＥＰＲＯＭ（electrically erasable programmable read-only memory）、ＰＲＯＭ（programmable read-only memory）、磁気メモリ、光ディスクのうち少なくとも１つのタイプの記録媒体を含む。

プロセッサ１７３０は、前述の図１Ａのプロセッサ１１０のように、前述の図２、図１０及び図１４の動作フローチャートに基づいた動作を遂行することができる。

図１８は、本発明の望ましい実施形態によるデバイス１００，１７００を含むネットワーク構成図である。図１８は、デバイス１００，１７００、複数の外部デバイス１８２０，１８３０及びネットワーク１８１０を含む。

複数の外部デバイス１８２０，１８３０は、サーバと、デバイス１００，１７００の周辺デバイスとのうち少なくとも一つを含んでもよい。図１８での外部デバイス１８２０，１８３０は、前述の実施形態で言及された外部デバイスを含む。従って、デバイス１００，１７００で情報を検索するとき、外部デバイス１８２０，１８３０に保存された情報を検索することができる。ネットワーク１８１０は、図１Ａでの無線通信部１０８及び有線通信部１０９のうち少なくとも利用して、データを送受信することができるネットワークによって構成される。

前述のイメージ基盤の情報検索方法で言及された複数のオブジェクトは、マルチオブジェクトといえる。また、前述のイメージ基盤の情報検索方法は、イメージ基盤のサービス提供方法に適用される。

図１９は、イメージ基盤のサービス提供方法に係わる動作フローチャートである。図１９の動作フローチャートは、図１Ａのプロセッサ１１０または図１７のプロセッサ１７３０で遂行される。しかし、説明の便宜のために、以下の説明は、プロセッサ１１０で遂行されるとして説明する。

段階Ｓ１９０１で、プロセッサ１１０は、タッチスクリーン１０３にディスプレイされているイメージに含まれた複数のオブジェクトに対する選択を示す第１入力を認識する。タッチスクリーン１０３にディスプレイされるイメージは、デバイス１００で再生される静止イメージ、写真、または動画のうち一時静止したイメージでもあり、カメラ１０４によって獲得された入力映像でもある。そのようなタッチスクリーン１０３にディスプレイされているイメージに係わる定義は、前述の実施形態にも適用される。

段階Ｓ１９０２で、プロセッサ１１０は、選択された複数のオブジェクトの関係を示す第２入力を認識する。選択された複数のオブジェクトの関係は、前述の実施形態で言及された対応関係と上下階層関係とを含む。

段階Ｓ１９０３で、プロセッサ１１０は、第１入力と第２入力とを利用して提供可能な少なくとも１つのサービス項目を決定し、タッチスクリーン１０３上にディスプレイする。サービス項目は、前述の図１６のスクリーン１６１０，１６２０，１６３０のようにディスプレイされる。

しかし、決定されたサービス項目は、図１６に図示されたスクリーン１６１０，１６２０，１６３０のようにディスプレイされず、１つのサービス項目を含むクラウドが漂うＧＵＩ情報が提供されてもよい。サービス項目は、例えば、前述の図１５で言及された検索項目と類似したサービス項目を含んでもよいが、デバイス１００または外部デバイス１８２０，１８３０に提供可能なアプリケーションと、選択されたオブジェクトとの関係によって、最も多く使用したアプリケーション情報、推薦アプリケーション情報などをさらに含んでもよいが、サービス項目は、それらに制限されるものではない。

すなわち、サービス項目は、複数のオブジェクトの関係が同一階層関係である場合、選択された複数のオブジェクトそれぞれに提供可能なサービス項目を含み、複数のオブジェクトの関係が上下階層関係である場合、選択された複数のオブジェクトの主従関係によって提供可能なサービス項目を含んでもよいが、それらに制限されるものではない。

段階Ｓ１９０４で、プロセッサ１１０は、タッチスクリーン１０３にディスプレイされるサービス項目から選択されたサービス項目を実行する。

本発明の実施形態によるイメージ基盤の情報検索方法及びサービス提供方法を、コンピュータで具現する方法を遂行させる命令語を含む一つ以上のプログラムは、コンピュータで読み取り可能な記録媒体に、コンピュータで読み取り可能なコードとして記録されることが可能である。コンピュータで読み取り可能な記録媒体は、コンピュータ・システムによって読み取り可能なデータが保存される全ての種類の保存装置を含む。コンピュータで読み取り可能な記録媒体のとしては、ＲＯＭ、ＲＡＭ、ＣＤ（compact disc）−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ保存装置などがある。また、コンピュータで読み取り可能な記録媒体は、ネットワークに連結されたコンピュータ・システムに分散され、分散方式で、コンピュータで読み取り可能なコードとして保存されて実行される。

以上、本発明に対して、その望ましい実施形態を中心に説明した。本発明が属する技術分野で当業者であるならば、本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現されるということを理解することができるであろう。従って、開示された実施形態は、限定的な観点ではなくして、説明的な観点から考慮されなければならない。本発明の範囲は、前述の説明ではなく、特許請求の範囲に示されており、それと同等な範囲内にある全ての差異は、本発明に含まれたものであると解釈されなければならないのである。

本発明の情報検索方法、そのような機能を有するデバイス及び記録媒体は、例えば、情報検索関連の技術分野に効果的に適用可能である。

１００，１７００ デバイス
１０１ 情報入力部
１０２ センシング部
１０３ タッチスクリーン
１０４ カメラ
１０５ オーディオ入力部
１０６ オーディオ出力部
１０７，１７４０ 保存部
１０８ 無線通信部
１０９ 有線通信部
１１０，１７３０ プロセッサ
１１１ 電源部
１７１０ 情報入出力部
１７２０ 通信部
１８１０ ネットワーク
１８２０，１８３０ 外部デバイス

Claims (13)

1. デバイスにディスプレイされているイメージ基盤の情報検索方法において、
   イメージに含まれた複数のオブジェクトに対する選択を示す第１入力を認識する段階と、
   前記選択された複数のオブジェクト間の検索関係を示す第２入力を認識する段階と、
   前記第１入力と前記第２入力とに基づいて、情報を検索する段階と、
   前記検索された情報を、前記デバイスを介して出力する段階と、
   を含み、
   前記複数のオブジェクト間の検索関係は、
   前記情報の検索時、前記複数のオブジェクト間の関係が同一レベルであるということを示す同一階層関係と、
   前記情報の検索時、前記複数のオブジェクト間の関係が上下レベルであるということを示す上下階層関係と、
   のうち一つを含むイメージ基盤の情報検索方法。
2. 前記複数のオブジェクト間の検索関係が、前記同一階層関係であるということを示す場合、前記第２入力は、
   前記選択された複数のオブジェクトを集めることを示すタッチ基盤ジェスチャと、
   前記選択された複数のオブジェクトを、前記選択された複数のオブジェクトのディスプレイ位置以外の少なくとも１つの位置に移動することを示すタッチ基盤ジェスチャと、
   のうち一つを含むことを特徴とする請求項１に記載のイメージ基盤の情報検索方法。
3. 前記複数のオブジェクト間の検索関係が、前記上下階層関係であるということを示す場合、前記第２入力は、
   前記選択された複数のオブジェクトのうち、１つのオブジェクトのディスプレイ位置に、前記選択された複数のオブジェクトのうち、前記１つのオブジェクトを除いた前記一つ以上の選択されたオブジェクト移動を示すタッチ基盤ジェスチャと、
   前記選択された複数のオブジェクトのうち、１つのオブジェクトのディスプレイ位置に、前記選択された複数のオブジェクトのうち少なくとも１つのオブジェクト移動を示すタッチ基盤ジェスチャと、
   を含むことを特徴とする請求項１に記載のイメージ基盤の情報検索方法。
4. 前記情報を検索する段階は、
   前記複数のオブジェクト間の検索関係が、前記同一階層関係である場合、前記複数のオブジェクトをいずれも含む情報を検索する段階と、
   前記複数のオブジェクト間の検索関係が、前記上下階層関係である場合、前記複数のオブジェクト間の前記上下階層関係によって、情報を検索する段階と、
   を含むことを特徴とする請求項１に記載のイメージ基盤の情報検索方法。
5. 前記情報を検索する段階は、
   前記複数のオブジェクト間の検索関係が、前記同一階層関係である場合、前記複数のオブジェクトのうち少なくとも１つのオブジェクトを含む情報を検索する段階と、
   前記複数のオブジェクト間の検索関係が、前記上下階層関係である場合、前記複数のオブジェクト間の前記上下階層関係によって、情報を検索する段階と、
   を含むことを特徴とする請求項１に記載のイメージ基盤の情報検索方法。
6. 前記複数のオブジェクト間の検索関係が、前記同一階層関係である場合、前記情報を検索する段階は、
   前記選択された複数のオブジェクトのうち少なくとも１つのオブジェクトを含む情報検索項目と、前記選択された複数のオブジェクトをいずれも含む情報検索項目と、のうち一つを選択することができる情報をディスプレイする段階と、
   前記ディスプレイされる情報に基づいて選択された情報検索項目によって、情報を検索する段階と、
   を含み、
   前記複数のオブジェクト間の検索関係が、前記上下階層関係である場合、前記情報を検索する段階は、前記複数のオブジェクト間の前記上下階層関係によって、情報を検索する段階を含むことを特徴とする請求項１に記載のイメージ基盤の情報検索方法。
7. 前記情報を検索する段階は、
   前記第１入力及び前記第２入力によって決定された少なくとも１つの検索項目をディスプレイする段階と、
   前記ディスプレイされる少なくとも１つの検索項目のうち選択された検索項目に基づいて、前記情報を検索する段階と、
   を含むことを特徴とする請求項１に記載のイメージ基盤の情報検索方法。
8. 前記イメージ基盤の情報検索方法は、
   前記デバイスによる前記第１入力に係わる認識を示す情報を、前記デバイスにディスプレイする段階をさらにことを特徴とする請求項１に記載の含むイメージ基盤の情報検索方法。
9. 前記イメージ基盤の情報検索方法は、
   前記デバイスによる前記第２入力に係わる認識を示す情報をディスプレイする段階をさらに含むことを特徴とする請求項１に記載のイメージ基盤の情報検索方法。
10. 少なくとも１つの情報、及び少なくとも１つのプログラムを保存する保存部と、
    イメージをディスプレイし、前記ディスプレイされているイメージに含まれた複数のオブジェクトに対する選択を示す第１入力と、前記選択された複数のオブジェクト間の検索関係を示す第２入力と、を受信し、前記第１入力と前記第２入力とによって検索された情報をディスプレイするタッチスクリーンと、
    前記タッチスクリーンに基づいたユーザ・インターフェースを提供し、前記タッチスクリーンを介して受信された前記第１入力と前記第２入力とをそれぞれ認識し、前記第１入力と第２入力とによって、前記保存部から情報を検索し、前記検索された情報を、前記タッチスクリーンを介して出力するプロセッサと、
    を含み、
    前記選択された複数のオブジェクト間の検索関係は、
    前記情報の検索時、前記複数のオブジェクトが同一レベルであるということを示す同一階層関係と、
    前記情報の検索時、前記複数のオブジェクトが上下レベルであるということを示す上下階層関係と、
    のうち一つを含むデバイス。
11. 前記複数のオブジェクト間の検索関係が、前記同一階層関係を示す場合、
    前記第２入力は、
    前記選択された複数のオブジェクトを集めることを示すタッチ基盤ジェスチャと、
    前記選択された複数のオブジェクトを、前記選択された複数のオブジェクトのディスプレイ位置以外の少なくとも１つの位置に移動させることを示すタッチ基盤ジェスチャと、
    のうち一つを含むことを特徴とする請求項１０に記載のデバイス。
12. 前記複数のオブジェクト間の検索関係が、前記上下階層関係であるということを示す場合、
    前記第２入力は、
    前記選択された複数のオブジェクトのうち１つのオブジェクトのディスプレイ位置に、残りのオブジェクトを移動させることを示すタッチ基盤ジェスチャと、
    前記選択された複数のオブジェクトのうち１つのオブジェクトのディスプレイ位置に、少なくとも１つのオブジェクトを移動させることを示すタッチ基盤ジェスチャと、
    を含むことを特徴とする請求項１０に記載のデバイス。
13. 前記複数のオブジェクト間の検索関係が、前記同一階層関係である場合、
    前記プロセッサは、
    前記選択された複数のオブジェクトのうち少なくとも１つのオブジェクトを含む情報検索項目と、前記選択された複数のオブジェクトをいずれも含む情報検索項目と、を選択することができる情報を前記タッチスクリーンにディスプレイし、
    前記ディスプレイされている情報に基づいて、前記タッチスクリーンを介して選択された情報検索項目によって、情報を検索し、
    前記複数のオブジェクト間の検索関係が、前記上下階層関係である場合、
    前記プロセッサは、
    前記複数のオブジェクト間の上下階層関係によって、情報を検索することを特徴とする請求項１０に記載のデバイス。

Images