JP5947131B2 - 領域選択方式による検索の入力方法及びそのシステム - Google Patents

Description

本発明は、領域選択方式による検索の入力方法、システム及びその装置に関し、特に検索しようとする文字及び／又は画像を直接に領域選択して検索を行うことができる入力方法、システム及びその装置に関する。

近年、電子装置（例えば、コンピューターや携帯型装置）がますます便利になるにつれ、これらの装置はすでに人々の生活になくてはならないものの１つになってきている。その他、ネットワークアーキテクチャの普及により、電子装置とネットワークを結びつけた応用も徐々に重視されてきている。

例を挙げると、ネットワークサービス供給者は、検索エンジンを提供して使用者のキーワードを受信し、これらのキーワードに基づいて関連するネットワーク検索を行うことができる。一般に、どのような検索を行っても、文字の入力又は知られている画像によって検索を行い、電子装置を介して対応する検索エンジンのネットワーク位置に入って検索エンジンに接続することが必要である。その後、使用者は、手動で検索しようとするキーワードを検索エンジンに入力して、検索を行う必要がある。

現在、電子装置に利用されている検索方法については、概ね以下の３種類に分けられる。
１．文字又は画像を検索キーワードとして検索エンジンで検索する。
２．光学式ピックアップレンズを情報入力装置の媒体とする。
３．タッチ面積を情報入力の方法とする。

しかしながら、上述した検索方法には、いずれも不便なところがあり、従来の技術の欠点は、以下の通りである。
１．入力媒体として、キーボード又はマウスを使用することが必要である。しかし、新世代の携帯型装置においては使いにくく、使用者は手書きによって文字を入力したり、バーチャルキーボードを用いて入力を操作したりする必要がある。
２．従来の技術は、入力の特性が直感的ではなく、入力時の簡便さに欠ける。特に携帯型装置においては、他の操作インターフェイスに切り換えたり、他の操作インターフェイスを起動したりし、手書き又は操作を行う必要が多々あり、使用者が勉強しなければ使用できない。
３．従来の技術は、同時に画像と文字の特徴に基づいて検索を行うことができず、文字検索エンジンにより操作インターフェイスを提供して文字を入力し、画像検索エンジンにより別の操作インターフェイスを提供して画像ファイルを選択／入力することになっているので、検索した結果に関連性がない。
４．従来の技術は、一部の画像の特徴を用いて検索を行うことに長けていない。通常、画像ファイル全体を選択し検索の入力条件とすることはできるが、使用者は、画像における一部の特徴だけに対して検索を行おうとする場合がよくある。画像ファイル全体を用いた検索結果は使用者からすれば十分に精確とは言えない。

本発明は、直接に領域選択する方式で検索しようとする文字及び／又は画像を領域選択することによって、使用者が電子装置を用いて文字及び／又は画像の検索を行うときの利便性を向上させる領域選択方式による検索の入力方法、システム及びその装置を提供する。

本発明は、電子装置に適用される領域選択方式による検索の入力方法を提案し、この入力方法は以下の通りである。まず、選択モジュールにより電子情報に少なくとも１つの閉領域の軌跡を形成する。閉領域の軌跡内の文字情報と画像情報の少なくとも一方を一時記憶メモリに記憶し、文字情報と画像情報の少なくとも一方に基づいて、文字検索情報と画像検索情報の少なくとも一方を生成し、文字情報は文字検索転換モジュールに転送されて文字検索情報を生成し、画像情報は画像検索転換モジュールに転送されて画像検索情報を生成し、最後に、処理ユニットによって文字検索情報又は画像検索情報を少なくとも１つの検索エンジンに転送して検索を行う。

本発明は、表示ユニットと、タッチパネルと、一時記憶メモリと、転換モジュールと、処理ユニットとを備える領域選択方式による検索の入力装置を提案する。表示ユニットは、電子情報を表示し、タッチパネルは、表示ユニットに設けられ、オブジェクトがその上を滑走し、電子情報に少なくとも１つの閉領域の軌跡を形成し、一時記憶メモリは、タッチパネルに接続され、少なくとも１つの閉領域の軌跡内の文字情報と画像情報との少なくとも一方を記憶し、転換モジュールは、一時記憶メモリに接続されて、文字情報と画像情報との少なくとも一方に基づいて、文字検索情報と画像検索情報の少なくとも一方を生成し、処理ユニットは、表示ユニット、タッチパネル、一時記憶メモリ及び転換モジュールに接続され、文字検索情報と画像検索情報の少なくとも一方を少なくとも１つの検索エンジンに転送する。

本発明は、電子情報に少なくとも１つの閉領域の軌跡を形成する選択モジュールと、該電子情報に形成された少なくとも１つの該閉領域の軌跡内の文字情報と画像情報の少なくとも一方を記憶する一時記憶メモリと、文字検索転換モジュールと画像検索転換モジュールを含み、文字検索情報と画像検索情報の少なくとも一方を生成し、文字検索転換モジュールが文字情報に基づいて文字検索情報を生成し、画像検索転換モジュールが画像情報に基づいて画像検索情報を生成する転換モジュールと、文字検索情報と画像検索情報の少なくとも一方を少なくとも１つの検索エンジンに転送する処理ユニットとを備える電子装置に適用される領域選択方式による検索の入力システムを提案する。

本発明の一実施例において、上述した方法、装置及びシステムでは、マウスの移動軌跡を検出して少なくとも１つの閉領域の軌跡にでき、マウスによってクリックした後で生成したウインドウ範囲を検出して少なくとも１つの閉領域の軌跡とできる、又はタッチパネルを介してオブジェクトの移動軌跡を検出し、軌跡信号を出力して少なくとも１つの閉領域の軌跡とすることもできる。

本発明の一実施例において、上述した方法、装置及びシステムでは、電子装置は、コンピューター、ノートパソコン、タブレット型コンピューター、スマートフォン、個人用携帯型情報端末、対話型マルチメディアキオスク端末及び携帯型電子装置等のいずれか１つである。

本発明の一実施例において、上述した方法、装置及びシステムでは、更に生成した軌跡信号が少なくとも１つの閉領域を形成したかどうかを判断でき、少なくとも１つの閉領域の軌跡を形成した場合に、電子情報及び少なくとも１つの閉領域の軌跡に基づいて、電子情報における少なくとも１つの閉領域の内部に対応する文字情報と画像情報の少なくとも一方をキャプチャーする。

本発明の一実施例において、上述した方法、装置及びシステムでは、更に電子情報から少なくとも１つの閉領域の内部に対応する文字情報と画像情報とを同時にキャプチャーした場合に、文字情報と画像情報を分割し、文字検索情報と画像検索情報とを生成することができる。

本発明の一実施例において、上述した方法、装置及びシステムでは、更に文字情報と画像情報を分割した後、画像情報を画像検索情報とし、画像情報に基づいて、文字情報から一部の文字をキャプチャーし、文字検索情報とすることができる。

本発明の一実施例において、上述した方法、装置及びシステムでは、更に、文字情報から一部の文字をキャプチャーすることについて、文字情報に対して単語抽出処理を行い、少なくとも１つの単語を取り出し、画像情報との関連性を判断して、関連性が閾値よりも高い単語を文字検索情報とすることができる。

図１は、本発明の領域選択方式による検索の一実施例の入力システムの各要素のブロック図である。 図２は、図１に対応する領域選択方式による検索のステップの流れ図である。 図３は、本発明の領域選択方式による検索のもう１つの実施例の入力システムの各要素のブロック図である。 図４は、本発明の文字検索実施例のステップの流れ図である。 図５は、本発明の画像検索実施例のステップの流れ図である。 図６は、本発明の文字と画像を同時に領域選択して検索入力を行うステップの流れ図である。

本発明の特徴と長所をより分かりやすくするために、以下、特に実施例を挙げて、添付図面を参照しながら、下記に詳しく説明する。本発明は、一般のコンピューター、ノートパソコン、タブレット型コンピューター、スマートフォン、個人用携帯型情報端末（ＰＤＡ）、対話型マルチメディアキオスク端末（ＫＩＯＳＫ）及び携帯型電子装置等のようなウインドウ操作インターフェイスを提供できる電子装置に適用され、特に、タッチパネルを有する、もしくは搭載する電子装置に適用される。上述したタッチパネルとは、手指又はオブジェクトでタッチ操作を行うことができるスクリーンであり、通常、半反射式液晶パネルに圧力に高い感度を有する１層の接触制御圧力板を覆い、物体が圧力をその上に加えると、電流信号を生成して圧力源の位置を確定して、動態的な追跡を行う。

図１と図２を同時に参照する。図１は、領域選択方式による検索の一実施例の入力システムの素子のブロック図であり、図２は、図１に対応する領域選択方式による検索のステップの流れ図である。図１において、領域選択方式による検索の入力システムは、電子装置１００に設けられており、主に、選択モジュール１１０と、一時記憶メモリ１２０と、転換モジュール１３０と、処理ユニット１４０とを備える。処理ユニット１４０は、選択モジュール１１０、一時記憶メモリ１２０、転換モジュール１３０に電気的に接続される。電子装置１００は、更にディスプレイ（図１に示されておらず、ディスプレイが一般のスクリーン又はタッチパネルであってもよい）を介して電子情報１５０を表示することができ、使用者に閲覧される。電子情報１５０は、ウェブページ、電子ブック又は他のアプリケーションプログラム／ビジネスソフトウェアによって提供される情報／表示画面／操作インターフェイス／ウインドウ等でよい。

選択モジュール１１０は、電子情報１５０に少なくとも１つの閉領域の軌跡を形成する（ステップＳ２１０）。また、選択モジュール１１０は、マウスの移動軌跡を検出して少なくとも１つの閉領域の軌跡とすることができ或いはマウスによってクリックして、ドラッグした後で生成したウインドウ範囲を検出して少なくとも１つの閉領域の軌跡としてもよい。他の実施例においては、タッチパネルの接触制御操作を介し、接触制御軌跡を検出して少なくとも１つの閉領域の軌跡としてもよい。少なくとも１つの閉領域の軌跡とは、１つの閉領域の軌跡、又は複数のそれぞれが閉鎖されて独立した閉領域の軌跡である。使用者は、複数の閉鎖軌跡を領域選択したときに、各閉領域の軌跡の間が他の閉領域の軌跡と重なっているかどうかを問わず、それぞれ以下のステップに進み、データ処理を行う。即ち、各閉領域の軌跡をそれぞれ電子情報１５０と比較して、該閉領域の軌跡内に対応する情報を取り出す。

一時記憶メモリ１２０は、電子情報１５０に形成された少なくとも１つの閉領域の軌跡内の文字情報と画像情報の少なくとも一方を記憶する（ステップＳ２２０）。一時記憶メモリは、例えばＳＲＡＭ、ＤＲＡＭ、ＤＤＲ２ ＳＤＲＡＭ、ＤＤＲ３ ＳＤＲＡＭ又は他のメモリのような、一般に市販によって得られる製品でよい。

本実施例において、各閉領域内の文字情報と画像情報の一方を取得するステップにおいて、文字情報を取得したり、画像情報を取得したり、文字情報と画像情報を同時に取得したりするようにしてもよい。文字情報と画像情報を同時に取得した場合に、更に文字情報と画像情報を分割するステップを行ってよく、文字検索情報と画像検索情報を生成する。また、画像情報は、電子情報１５０における画像ファイルの一部でも、画像ファイル全体でもよい。他の実施例において、このステップでは複数の文字情報又は複数の画像情報を同時に取得するようにしてもよく、同時に検索条件として入力を行う。

転換モジュール１３０は、文字検索転換モジュール１６０と、画像検索転換モジュール１７０とを備え、文字検索情報と画像検索情報の少なくとも一方を生成し（ステップＳ２３０）、中でも文字検索転換モジュール１６０は文字情報に基づいて文字検索情報を生成し、画像検索転換モジュール１７０は画像情報に基づいて画像検索情報を生成する。

このステップにおいて、ステップＳ２２０で文字情報しか取得しなかった場合に、取得された文字情報に基づいて文字検索情報を生成することができ、ステップＳ２２０で画像情報しか取得しなかった場合に、取得された画像情報に基づいて画像検索情報を生成することができる。ステップＳ２２０で文字情報と画像情報を同時に取得した場合に、取得された文字情報に基づいて文字検索情報を生成し、且つ取得された画像情報に基づいて画像検索情報を生成することができる。他の実施例において、複数の文字情報又は複数の画像情報を同時に取得してもよく、１つ又は複数の文字検索情報、或いは１つ又は複数の画像検索情報を生成する。

処理ユニット１４０は、文字検索情報と画像検索情報の少なくとも一方を少なくとも１つの検索エンジン２００に転送する（ステップＳ２４０）。

このステップにおいて、少なくとも１つの検索エンジンは、文字検索エンジン及び／又は図形検索エンジンでよい。他のいくつかの実施例においても、検索エンジンは文字検索機能と図形検索機能を同時に有する検索エンジンであってもよい。

本実施例において、電子装置１００は、通信ネットワークを介して検索エンジン２００に接続してもよく、検索情報を検索エンジン２００に転送し、検索エンジン２００から転送されてきた検索結果を受信する。他の実施例において、少なくとも１つの検索エンジン２００は、電子装置１００に設けられてもよく、検索情報を直接検索エンジン２００に転送し、検索エンジン２００の検索結果を受信する処理ユニット１４０に電気的に接続される。

本実施例において、処理ユニット１４０は、更にステップＳ２１０で、選択モジュール１１０の生成した軌跡信号が少なくとも１つの閉領域を形成したかどうかを判断することができ、少なくとも１つの閉領域の軌跡を形成した場合に、電子情報１５０及び少なくとも１つの閉領域の軌跡に基づいて、電子情報１５０における少なくとも１つの閉領域の内部に対応する文字情報と画像情報の少なくとも一方をキャプチャーする。

更に、処理ユニット１４０は、更にステップＳ１２０の前に、形成された閉領域の軌跡中の内部情報が文字と画像を含むかどうかを先に判断することができる。文字を含むと判断した場合に、それを取り出して文字情報とし、画像を含むと判断した場合に、それを取り出して画像情報とする。

処理ユニット１４０は、更に文字情報と画像情報を分割した後、分割された画像情報を画像検索情報とし、分割された文字情報から、一部の文字をキャプチャーして文字検索情報とする。更に、処理ユニット１４０が文字情報から一部の文字をキャプチャーすることについては、文字情報に対して単語抽出処理を行い、少なくとも１つの単語を取り出して、画像情報との関連性を判断し、関連性が閾値よりも高い単語を文字検索情報とする。文字情報と画像情報の分割は、従来の画像文字分割技術を用いて行い、以下でより詳しく説明する。

図３は、本発明のもう１つの実施例の領域選択方式による検索の入力システムの各要素のブロック図である。図３において、領域選択方式による検索の入力システムは、電子装置１００に設けられており、表示ユニット２１０と、タッチパネル２２０と、一時記憶メモリ１２０と、転換モジュール１３０と、処理ユニット１４０とを備える。処理ユニット１４０は、表示ユニット２１０、タッチパネル２２０、一時記憶メモリ１２０、転換モジュール１３０に電気的に接続される。

表示ユニット２１０は、電子情報１５０を表示し、タッチパネル２２０は、表示ユニット２１０に設けられており、オブジェクトがその上を滑走し、電子情報１５０に少なくとも１つの閉領域の軌跡を形成することに用いられる。本実施例において、タッチパネル２２０は、図１の選択モジュールであり、接触制御圧力板と接触制御軌跡検出モジュールからなり、接触制御圧力板が表示ユニット２１０に設けられており、オブジェクトの接触制御圧力板における移動軌跡を検出し、接触制御軌跡検出モジュールを介して軌跡信号を出力して、少なくとも１つの閉領域の軌跡とする。中でも、軌跡検出技術は主に、接触制御軌跡検出モジュールを用いて選択モジュールのタッチパネルにおける移動軌跡を検出し、軌跡信号を出力することに使用される。

一時記憶メモリ１２０は、タッチパネル２２０に接続され、少なくとも１つの閉領域の軌跡内の文字情報、画像情報、及び文字情報と画像情報を記憶することに用いられる。転換モジュール１３０は、一時記憶メモリ１２０に接続されて、文字情報と画像情報の少なくとも一方に基づいて、文字検索情報と画像検索情報の少なくとも一方を生成する。処理ユニット１４０は、表示ユニット２１０、タッチパネル２２０、一時記憶メモリ１２０及び転換モジュール１３０に接続され、文字検索情報と画像検索情報の少なくとも一方を少なくとも１つの検索エンジン２００に転送することに用いられる。

一実施例において、電子装置１００は、通信ユニット（図３に示されていない）を更に含んでもよく、有線又は無線の通信ネットワークを介して検索エンジン２００にリンクされる。もう１つの実施例において、電子装置１００は、検索エンジン２００を更に含んでもよく、処理ユニット１４０に電気的に接続される。

図４は、本発明の実施例の文字検索の各ステップの流れ図であり、図４において、図３のシステムの各要素を同時に参照する。主なステップは、以下の通りである。

ステップＳ４１０：表示ユニット２１０に電子情報１５０を表示する。

ステップＳ４２０：オブジェクトを用いて表示ユニット２１０におけるタッチパネル２２０を滑走し、電子情報１５０に少なくとも１つの閉領域を形成する。

ステップＳ４３０：各閉領域内の文字情報を取得する。

ステップＳ４４０：文字情報を一時記憶メモリ１２０に記憶する。

ステップＳ４５０：文字情報を転換モジュール１３０の文字検索転換モジュール１６０に転送して、文字検索情報を生成する。

ステップＳ４６０：処理ユニット１４０によって文字検索情報を検索エンジンに転送して、検索を行う。

図５は、本発明の実施例の画像検索の各ステップの流れ図であり、図５において、図１のシステムの各要素を同時に参照する。主なステップは、以下の通りである。

ステップＳ５１０：選択モジュール１１０によって電子情報１５０に少なくとも１つの閉領域の軌跡を形成する。

ステップＳ５２０：電子情報１５０に形成された少なくとも１つの閉領域の軌跡内の画像情報を一時記憶メモリ１２０に記憶する。

このステップにおいて、画像情報が画像ファイル全体であってもよく、又は例えば一枚の写真の中の１人の顔のような画像ファイルの一部であってもよい。

ステップＳ５３０：画像情報を画像検索転換モジュール１７０に転送して、画像検索情報を生成する。

ステップＳ５４０：処理ユニット１４０によって画像検索情報を検索エンジンに転送して、検索を行う。

図４及び図５の実施例において、使用者が電子情報においてそれぞれ文字又は画像を領域選択したときの処理ステップを説明する。以下、もう１つの実施例で使用者が領域選択した閉領域内に文字と画像を同時に含むときの処理ステップを説明する。

本発明の文字と画像を同時に領域選択して検索入力を行うステップの流れ図である図６を参照する。その主なステップは、以下の通りである。

ステップＳ６１０：選択モジュールによって電子情報に少なくとも１つの閉領域の軌跡を形成する。

ステップＳ６２０：電子情報に形成された少なくとも１つの閉領域の軌跡内の情報を取得する。

ステップＳ６３０：閉領域内の情報を文字情報と画像情報に分割して、文字検索情報と画像検索情報を生成する。

更に、処理モジュールは、更に文字情報と画像情報の分割後、分割して取得された画像情報を画像検索情報とし、分割して取得された文字情報から文字の全部又は一部をキャプチャーして文字検索情報とするようにしてもよい。

一般に、領域選択方式を用いて画像を領域選択するときに、例えば一枚の画像には複数の顔を含む可能性があり、使用者がその中の１つの顔を領域選択して入力したいときに、顔の範囲よりもやや大きい画像範囲を領域選択することになる可能性がある。１つの実施例として、領域選択軌跡範囲内の全ての画像を直接画像検索情報とすることができる。もう１つの実施例として、先に画像処理技術、顔識別技術又は他の従来の背景フィルタリング技術を用いて領域選択軌跡範囲内の画像に対して背景フィルタリングを行い、顔部分を取得して画像検索情報としてもよい。更に、画像情報が１つの顔であるときに、領域選択された文字情報が人名を含む複数の文字である可能性があり、この場合、自然言語処理技術（Natural Language Processing；ＮＬＰ、自動的な単語分割／単語抽出、品詞のタグ付け、構文解析、自然言語の生成、文字分類、情報検索、情報抽出、文字チェック等の各種の技術を含んでよい）によって、領域選択軌跡範囲内の複数の文字から、例えば人名のような特別な意味を有する実体名詞を取り出して、文字検索情報としてもよい。

更に、上述した自然言語処理技術は、文字情報に対して単語抽出処理を行うことができ、少なくとも１つの単語を取り出して、画像情報との関連性を判断して、関連性が閾値よりも高い単語を文字検索情報とする。

ステップＳ６３０において、閉領域内の情報を文字情報と画像情報に分割して、文字検索情報と画像検索情報を生成し、中でも情報分割は、従来の画像文字分割技術を用いて行うことができる。一実施例において、閉領域内の情報は、文字が画像を取り囲む方式で現れるときに、画像の縁によって閉領域内の情報を二部分に分けることができ、一部が画像であり、他の一部が文字である。もう１つの実施例において、従来の他の画像文字分割法を用いて複雑な画像文字を分割することもでき、例えば、（ａ）クラスタ分析、（ｂ）図形・文字ブロック検索、（ｃ）文字前景分離及び（ｄ）図形背景補間等の複数のステップを経て、文字と図形を分割する。また１つの実施例において、閉領域内の情報は、図形と文字を組み合わせた後の映像データである場合に、（ａ）図形・文字ブロック検索、（ｂ）映像におけるカラー数、投影ヒストグラム、フラクタル次元等の３特徴パラメーターの抽出及び（ｃ）３パラメーターを求める等のステップを経て、ファジールールを用いて映像における図形部分と文字部分を分離させて、画像文字を分割することができる。

ステップＳ６４１：文字情報を文字検索転換モジュールに転送して、文字検索情報を生成する。文字検索転換モジュールが文字検索情報を生成する関連技術として、上述した自然言語処理技術によって実現できる。更に、文字検索情報は、１つ又は１つ以上のキーワードである可能性がある。

ステップＳ６４２：画像情報を画像検索転換モジュールに転送して、画像検索情報を生成する。画像検索転換モジュールが画像検索情報を生成する関連技術として、上述した画像処理技術又は他の識別技術を用いてよい。

ステップＳ６５０：処理ユニットによって文字検索情報と画像検索情報を検索エンジンに転送して検索を行う。

このステップにおいて、文字検索情報を文字検索エンジンに転送して検索を行うようにでき、画像検索情報を画像検索エンジンに転送して検索を行うようにできる。更に、文字検索エンジンと画像検索エンジンは、それぞれ検索結果を生成したときに、文字検索結果と画像検索結果を処理ユニットに返すことができる。処理ユニットは、更に、文字検索結果と画像検索結果をまとめてから表示することができる。

本実施例において、電子装置は、コンピューター、ノートパソコン、タブレット型コンピューター、スマートフォン、個人用携帯型情報端末、対話型マルチメディアキオスク端末及び携帯型電子装置等のいずれか１つでよい。

本実施例において、電子装置がタッチパネルを有したり、タッチパネルに接続されたりする装置である場合に、領域選択方式による検索の入力システムは、更に、オブジェクトのタッチパネルにおける移動軌跡を検出して軌跡信号を出力する接触制御軌跡検出モジュールを含む。処理ユニットは、軌跡信号に基づいて演算してオブジェクトのタッチパネルにおける移動軌跡が閉領域を形成したかどうかを判断する。少なくとも１つの閉領域の軌跡を形成した場合に、電子情報と少なくとも１つの閉領域の軌跡に基づいて、電子情報における少なくとも１つの閉領域の内部に対応する文字情報と画像情報の少なくとも一方をキャプチャーする。

以上を纏めれば、本発明は、以下のような長所を有するべきである。
１．本発明は、領域選択の方式を用いて検索の検索ワードを生成し、直接且つ迅速に検索ワードを入力することができる。
２．本発明は、便利に画像文字情報を入力でき、且つ情報を閲覧しているときに迅速且つ便利に関連情報検索を行うことができる。
３．本発明は、便利に画像又は画像の情報の一部を用いて検索を行うことができ、画像本体以外の背景が複雑すぎることで、分析結果と本体との関連度が低下し過ぎることがない。
４．本発明は、キーボードを主な入力装置としなくてもよい。

本発明は、前記実施例で以上のように開示したが、本発明を限定するためのものではなく、いかなる当業者が本発明の精神と範囲から逸脱することなく行った変更や追加のような効果が同等な置き換えであっても、本発明の特許請求の範囲内に含まれる。

１００ 電子装置
１１０ 選択モジュール
１２０ 一時記憶メモリ
１３０ 転換モジュール
１４０ 処理ユニット
１５０ 電子情報
１６０ 文字検索転換モジュール
１７０ 画像検索転換モジュール
２００ 検索エンジン
２１０ 表示ユニット
２２０ タッチパネル
Ｓ２１０〜Ｓ２４０ 流れ図の各ステップ
Ｓ４１０〜Ｓ４６０ 流れ図の各ステップ
Ｓ５１０〜Ｓ５４０ 流れ図の各ステップ
Ｓ６１０〜Ｓ６５０ 流れ図の各ステップ

Claims (13)

1. 選択モジュールによって電子情報に少なくとも１つの閉領域の軌跡を形成するステップと、
   前記電子情報に形成された少なくとも１つの前記閉領域の軌跡内の文字情報と画像情報との少なくとも一方を一時記憶メモリに記憶するステップと、
   前記文字情報と前記画像情報との少なくとも一方に基づいて、文字検索情報と画像検索情報との少なくとも一方を生成し、前記文字情報が文字検索転換モジュールに転送されて前記文字検索情報を生成し、前記画像情報が画像検索転換モジュールに転送されて前記画像検索情報を生成するステップと、
   処理ユニットによって前記文字検索情報と前記画像検索情報との少なくとも一方を少なくとも１つの検索エンジンに転送して検索を行うステップと、
   を含み、
   前記処理ユニットが１つの閉領域の前記文字情報から一部の文字をキャプチャーし、前記文字情報に対して単語抽出処理を行い、少なくとも１つの単語を取り出して、前記１つの閉領域の前記画像情報との関連性を判断し、前記関連性が閾値よりも高い単語を前記文字検索情報とするステップを含む、電子装置に適用される領域選択方式による検索の入力方法。
2. 前記電子装置に、タッチパネルが更に設けられて、前記選択モジュールによって表示ユニットにおける前記タッチパネルを滑走し、前記電子情報に少なくとも１つの閉領域を形成するステップにおいて、接触制御軌跡検出モジュールで前記選択モジュールの前記タッチパネルにおける移動軌跡を検出して、軌跡信号を出力する軌跡検出技術を更に含む、請求項１に記載の領域選択方式による検索の入力方法。
3. 各前記閉領域内の文字情報と画像情報の一方を取得するステップにおいて、文字情報を取得したり、画像情報を取得したり、文字情報と画像情報を同時に取得したりする、請求項１に記載の領域選択方式による検索の入力方法。
4. 前記閉領域内に文字情報と画像情報が同時に存在する場合に、前記文字情報と前記画像情報を分割するステップを更に含む、請求項３に記載の領域選択方式による検索の入力方法。
5. 電子情報に少なくとも１つの閉領域の軌跡を形成する選択モジュールと、
   前記電子情報に形成された少なくとも１つの前記閉領域の軌跡内の文字情報と画像情報の少なくとも一方を記憶する一時記憶メモリと、
   文字検索情報と画像検索情報の少なくとも一方を生成する文字検索転換モジュールと画像検索転換モジュールを含み、前記文字検索転換モジュールが前記文字情報に基づいて前記文字検索情報を生成し、前記画像検索転換モジュールが前記画像情報に基づいて前記画像検索情報を生成する転換モジュールと、
   前記文字検索情報と前記画像検索情報の少なくとも一方を少なくとも１つの検索エンジンに転送する処理ユニットと、
   を備え、
   前記処理ユニットが１つの閉領域の前記文字情報から一部の文字をキャプチャーし、前記文字情報に対して単語抽出処理を行い、少なくとも１つの単語を取り出して、前記１つの閉領域の前記画像情報との関連性を判断し、前記関連性が閾値よりも高い単語を前記文字検索情報とする、電子装置に適用される領域選択方式による検索の入力システム。
6. 前記選択モジュールは、マウスの移動軌跡を検出して前記少なくとも１つの閉領域の軌跡とする、請求項５に記載の領域選択方式による検索の入力システム。
7. 前記選択モジュールは、マウスによってクリックした後で生成したウインドウ範囲を検出して前記少なくとも１つの閉領域の軌跡とする、請求項５に記載の領域選択方式による検索の入力システム。
8. 前記選択モジュールは、接触制御圧力板と接触制御軌跡検出モジュールであり、前記接触制御圧力板が前記表示ユニットに設けられており、オブジェクトの前記接触制御圧力板における移動軌跡を検出し、前記接触制御軌跡検出モジュールを介して軌跡信号を出力して、前記少なくとも１つの閉領域の軌跡とする、請求項５に記載の領域選択方式による検索の入力システム。
9. 前記電子装置は、コンピューター、ノートパソコン、タブレット型コンピューター、スマートフォン、個人用携帯型情報端末、対話型マルチメディアキオスク端末、携帯型電子装置等のいずれか１つである、請求項５に記載の領域選択方式による検索の入力システム。
10. 前記処理ユニットは、前記選択モジュールの生成した軌跡信号が前記少なくとも１つの閉領域を形成したかどうかを判断し、前記少なくとも１つの閉領域の軌跡を形成した場合に、前記電子情報及び前記少なくとも１つの閉領域の軌跡に基づいて、前記電子情報における前記少なくとも１つの閉領域の内部に対応する前記文字情報と前記画像情報の少なくとも一方をキャプチャーする、請求項５に記載の領域選択方式による検索の入力システム。
11. 前記画像情報が前記電子情報における画像ファイルの一部である、請求項５に記載の領域選択方式による検索の入力システム。
12. 前記処理ユニットは、前記電子情報から前記少なくとも１つの閉領域の内部に対応して前記文字情報と前記画像情報を同時にキャプチャーした場合に、前記文字情報と前記画像情報を分割して、前記画像情報を前記画像検索情報とし、前記文字情報から全部又は一部の文字をキャプチャーして、前記文字検索情報とする、請求項５に記載の領域選択方式による検索の入力システム。
13. 電子情報を表示するための表示ユニットと、
    表示ユニットに設けられ、オブジェクトがその上を滑走し、電子情報に少なくとも１つの閉領域の軌跡を形成することに用いられるタッチパネルと、
    前記タッチパネルに接続され、前記少なくとも１つの閉領域の軌跡内の文字情報と画像情報の少なくとも一方を記憶するための一時記憶メモリと、
    前記一時記憶メモリに接続されて、前記文字情報と前記画像情報の少なくとも一方に基づいて、文字検索情報と画像検索情報の少なくとも一方を生成する転換モジュールと、
    前記表示ユニット、前記タッチパネル、前記一時記憶メモリ及び前記転換モジュールに接続され、前記文字検索情報と前記画像検索情報の少なくとも一方を少なくとも１つの検索エンジンに転送するための処理ユニットと、
    を備え、
    前記処理ユニットが１つの閉領域の前記文字情報から一部の文字をキャプチャーし、前記文字情報に対して単語抽出処理を行い、少なくとも１つの単語を取り出して、前記１つの閉領域の前記画像情報との関連性を判断し、前記関連性が閾値よりも高い単語を前記文字検索情報とする、領域選択方式による検索の入力装置。

Images