JP6731985B2 - ユーザ端末装置及び制御方法 - Google Patents

Description

本発明は、ユーザ端末装置及びその制御方法に関し、より詳細には、文書作成ウィンドウで直接イメージを検索して挿入できるユーザ端末装置及び制御方法に関する。

ユーザは、電子装置で文書作成プログラムを用いて多様な文書を作成することができる。文書は、テキストを含むコンテンツからなり、文書に含まれたテキストとともにイメージも含まれる場合が多い。よって、文書作成プログラムを用いて作成される文書は、テキストとイメージを最も多く含んでいる。

ユーザが文書作成プログラムを用いてイメージを挿入するためには、挿入メニューを用いて電子装置の保存部に保存されたイメージを検索して入れなければならない。しかし、保存部に保存されたイメージには限界があるため、ユーザはウェブブラウザ等を通じてイメージを検索し、ウェブブラウザを使って検索されたイメージを選択して挿入したりもする。

ユーザが、保存部に保存されたイメージを挿入する過程は次のとおりである。文書作成プログラム上の挿入メニューを選択したり、イメージを挿入するための機能を実行する。ユーザが、挿入メニュー及び／またはイメージ挿入機能を使うと、ユーザは所望のイメージの存在するディレクトリを探し、ディレクトリ内にある所望のイメージを選択すると、作成中の文書内に所望のイメージが挿入される。

一方、ユーザがウェブブラウザを用いてイメージを挿入する過程は次のとおりである。
ユーザは、ウェブブラウザウィンドウを開いてインターネット上のイメージを検索するためのキーワードを入力し、イメージを検索したり定められた適切な方式に従いインターネット上のイメージの位置を検索する。そして、ユーザは、イメージの検索結果の中からイメージを選択する。ユーザは、検索されたイメージをダウンロードして電子装置の保存部に保存したり、コピーして文書作成プログラムウィンドウに貼り付ける。

上述のように、ユーザが文書を作成している途中に、イメージを挿入するためには、多くの段階及び／または過程を経なければならない。すなわち、保存部に保存されたイメージを挿入するためには、所望のイメージがどこに保存されているかを把握していなければならないという不都合があった。ウェブブラウザを用いてイメージを検索して挿入するためには、検索ウィンドウ及び／またはウェブブラウザウィンドウを別途に開かなければならないうえに、検索結果からイメージを選択した後は再び文書作成プログラムウィンドウに切り替えなければならないという不都合があった。
よって、ユーザ端末装置のような電子装置でユーザが文書作成をするときは、イメージをより便利に検索し、イメージを挿入することができるシステム及び方法に対する必要性が生じている。

米国特許第７０５１０１９号明細書

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、文書作成ウィンドウで便利にイメージを検索して挿入することができるユーザ端末装置及び制御方法を提供することにある。

本発明の上述の目的を達成するための一実施形態に係るユーザ端末装置は、文書作成ウィンドウをディスプレイするディスプレイ部と、前記文書作成ウィンドウにディスプレイされた文書内でテキストを選択するための選択命令が入力される入力部と、サーバに接続される通信部と、前記テキストが選択されると、前記文書作成ウィンドウ内の一領域に活性化された検索ボタンを表示し、前記検索ボタンが選択されると、前記通信部を用いて前記選択されたテキストに対応する少なくとも１つのイメージを検索する制御部とを含み、前記制御部は、前記サーバ及び前記ユーザ端末装置の保存部のうち少なくとも１つから検索されたイメージを前記ディスプレイ部に表示し、前記検索されたイメージのうち１つが選択されると、選択されたイメージを前記文書作成ウィンドウ内で定められた位置に挿入する。

一方、前記制御部は、前記選択されたテキストが複数の単語を含むと、各単語単位で検索される単語イメージと、前記複数の単語を組み合わせた単位で検索される関連性イメージとを前記ディスプレイ部に表示してよい。

そして、前記制御部は、前記選択されたイメージを前記選択されたテキストの一側に挿入してよい。

なお、前記制御部は、前記テキストが選択された状態で予め設定された時間の間に入力がなければ、前記検索ボタンを活性化させてよい。

なお、前記制御部は、ユーザの身体の一部及び入力ペンのうち少なくとも１つが前記ディスプレイ部に接近すると、前記検索ボタンを活性化させてよい。

一方、前記ディスプレイ部は、検索語入力ウィンドウを更に表示し、前記制御部は、前記検索語入力ウィンドウを介して入力された検索語に対応するイメージを検索してよい。

本発明の上述の目的を達成するための別の実施形態に係るユーザ端末装置は、文書作成ウィンドウをディスプレイするディスプレイ部と、前記文書作成ウィンドウに表示されるテキストが入力される入力部と、前記文書作成ウィンドウ内に、前記入力部を介して入力されるテキストを表示する制御部と、予め設定された時間の間テキスト入力が中断されると、前記入力されたテキストのうち少なくとも１つのテキストに対応するイメージをサーバから検索する通信部とを含み、前記制御部は、前記通信部によって検索されたイメージをディスプレイし、前記検索されたイメージのうち１つが選択されると、選択されたイメージを前記文書作成ウィンドウ内で定められた位置に挿入する。

この場合、前記制御部は、予め設定された時間の間テキスト入力が中断されると、前記ユーザ端末装置の保存部で前記入力されたテキストのうち少なくとも１つのテキストに対応するイメージを検索し、前記検索されたイメージを表示し、前記検索されたイメージのうちいずれか１つが選択されると、前記文書作成ウィンドウの予め設定された位置に前記選択されたイメージを挿入してよい。

本発明の上述の目的を達成するための一実施形態に係るユーザ端末装置の制御方法は、文書作成ウィンドウをディスプレイするステップと、前記文書作成ウィンドウにディスプレイされた文書内でテキストを選択する選択命令が入力されるステップと、前記テキストが選択されると、前記文書作成ウィンドウ内の一領域に活性化された検索ボタンを表示するステップと、前記検索ボタンが選択されると、前記選択されたテキストに対応する少なくとも１つのイメージを検索するステップと、検索されたイメージを表示するステップと、前記検索されたイメージのうち１つが選択されると、選択されたイメージを前記文書作成ウィンドウ内で定められた位置に挿入するイメージ挿入ステップとを含む。

一方、前記少なくとも１つのイメージを検索するステップは、前記選択されたテキストが複数の単語を含むと、前記複数の単語の各単語単位の単語イメージと、前記複数の単語のうちの一部を組み合わせた単位の関連性イメージを検索してよい。

そして、前記イメージ挿入ステップは、前記選択されたイメージを前記選択されたテキストの一側に挿入してよい。

なお、前記検索ボタンを表示するステップは、前記テキストが選択された状態で予め設定された時間の間に入力がなければ、前記検索ボタンを活性化させてよい。

なお、前記検索ボタンを表示するステップは、ユーザの身体の一部または入力ペンがディスプレイ部に接近すると、前記検索ボタンを活性化させてよい。

本発明の上述の目的を達成するための別の実施形態に係るユーザ端末装置の制御方法は、文書作成ウィンドウをディスプレイするステップと、テキストが入力されるステップと、前記文書作成ウィンドウ内に前記テキストを表示するステップと、予め設定された時間の間テキスト入力が中断されると、前記入力されたテキストのうち少なくとも１つのテキストに対応するイメージを検索するステップと、検索されたイメージを表示するステップと、前記検索されたイメージのうち１つが選択されると、前記選択されたイメージを前記文書作成ウィンドウ内で定められた位置に挿入するイメージ挿入ステップとを含む。

この場合、前記イメージを検索するステップは、予め設定された時間の間テキスト入力が中断されると、前記ユーザ端末装置の保存部及びサーバのうち少なくとも１つで前記入力されたテキストのうち少なくとも１つのテキストに対応するイメージを検索してよい。

以上説明したように、本発明によれば、ユーザはユーザ端末装置を用いて文書作成プログラムで便利にイメージを検索して挿入することができるようになる。

本発明の一実施形態に係るユーザ端末装置の構成を示すブロック図である。 本発明の一実施形態に係る単語イメージ検索方法を説明する図である。 本発明の一実施形態に係る関連性イメージ検索方法を説明する図である。 本発明の一実施形態に係る関連性イメージ検索方法を説明する図である。 文書作成ウィンドウでイメージ検索を行うための多様な実施形態を説明する図である。 文書作成ウィンドウでイメージ検索を行うための多様な実施形態を説明する図である。 文書作成ウィンドウでイメージ検索を行うための多様な実施形態を説明する図である。 文書作成ウィンドウでイメージ検索を行うための多様な実施形態を説明する図である。 本発明の一実施形態に係るイメージ検索結果を表示する画面を説明する図である。 本発明の一実施形態に係る検索されたイメージを挿入する過程を説明する図である。 多様な実施形態に係るユーザ端末装置制御方法を説明するフローチャートである。 多様な実施形態に係るユーザ端末装置制御方法を説明するフローチャートである。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。なお、本発明を説明するうえで、関連の公知機能或いは構成に対する具体的な説明が本発明の要旨を不要に曖昧にしかねないと判断された場合には、その詳細な説明は省略する。そして、後述の用語は、本発明における機能を考慮して定義された用語として、それは使用者や運用者の意図または慣例等によって異なることはある。そのため、その定義は、本明細書の全般にわたる内容に基づいて下されるべきである。

図１は、本発明の一実施形態に係るユーザ端末装置の構成を示すブロック図である。

図１によると、ユーザ端末装置１００は、入力部１１０と、ディスプレイ部１２０と、通信部１３０及び制御部１４０を含む。

入力部１１０には、文書作成ウィンドウに表示されるテキストが入力される。そして、本発明の実施形態によって、文書作成ウィンドウでディスプレイされた文書内でテキストを選択する選択命令が入力されてよい。入力部１１０は、ユーザ端末装置１００を含む多様な装置で実現されてよく、外部装置と接続された多様な入力手段で実現されてよい。例えば、入力部１１０は、ユーザ端末装置１００と一体に形成されたキーパッド、タッチジェスチャを認識するタッチセンサ、ユーザの身体または電子ペンの接近を認識することができる近接センサ等を含んでよい。または、ユーザ端末装置１００と別のキーパッド、キーボード、電子ペン等、情報を入力するのに適し、それに類似する構成または手段のような入力手段からユーザ制御命令の入力を受けるユニットまたはモジュールで実現されてよい。

ディスプレイ部１２０は、文書作成ウィンドウをディスプレイする。そして、一定のテキストに対応するイメージを検索した後、検索されたイメージを表示する。ディスプレイ部１２０は、液晶ディスプレイパネル（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＬＣＤ Ｐａｎｅｌ）、プラズマディスプレイパネル（Ｐｌａｓｍａ Ｄｉｓｐｌａｙ Ｐａｎｅｌ：ＰＤＰ）、有機発光素子（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ：ＯＬＥＤ）、ＶＦＤ（Ｖａｃｕｕｍ Ｆｌｕｏｒｅｓｃｅｎｔ Ｄｉｓｐｌａｙ）、ＦＥＤ（Ｆｉｅｌｄ Ｅｍｉｓｓｉｏｎ Ｄｉｓｐｌａｙ）、ＥＬＤ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等のような多様なディスプレイユニットで実現されてよい。

ディスプレイ部１２０は、タッチ入力機能のない通常のディスプレイパネルで実現されてよく、ユーザ操作を認識できる近接センサやタッチセンサを含むディスプレイパネルで実現されてよい。タッチセンサを含むディスプレイパネルで実現される場合、ユーザの身体（例えば、親指を含む指）または検知可能な入力手段（例えば、スタイラすペン）を通じて少なくとも１つのタッチジェスチャを受信することができる。このようなユーザインターフェースは、所定のタッチ領域、ソフトキー及びソフトメニューを含んでよい。

通信部１３０は、サーバと接続して一定のテキストに対応するイメージの検索を要請する。一定のテキストは単語であってよく、複数の単語が組み合わせられたフレーズまたは語句であってよい。場合によって、少なくとも１つの文章であってよい。検索する具体的な過程は後述する。通信部１３０は、検索されたイメージをサーバから伝送される。

制御部１４０は、入力部１１０を介して入力されるテキストを文書作成ウィンドウ内に表示する。一実施形態として、入力されたテキストのうち、単語または語句が選択されると、文書作成ウィンドウ内の一領域に活性化された検索ボタンを表示し、検索ボタンが選択されると、通信部を用いて選択されたテキストに対応する少なくとも１つのイメージを検索する。別の実施形態として、予め設定された時間の間テキストの入力が中断されると、入力されたテキストのうち少なくとも１つのテキストに対応するイメージを検索する。

制御部１４０は、サーバから検索されたイメージを通信部１３０を介して受信すると、検索されたイメージをディスプレイ部１２０に表示する。検索されたイメージのうち１つが選択されると、選択されたイメージを文書作成ウィンドウ内で定められた位置に挿入する。

ユーザ端末装置１００は、文書作成ウィンドウ内で選択されたテキストまたは予め定義されたテキストに対するイメージを検索し、検索されたイメージを表示する。検索されたイメージのうち１つが選択されると、選択されたイメージは文書作成ウィンドウ内に直接挿入されてよい。

ユーザ端末装置１００は、文書作成機能を備えた全ての電子装置であってよい。例えば、ユーザ端末装置１００は、パソコン、ノートパソコン、スマートフォン、タブレット、文書作成または編集機能が備えられたテレビ等であってよい。

以下では、テキストに対応するイメージを検索する方法について説明する。

図２は、本発明の一実施形態に係る単語イメージ検索方法を説明する図である。図２を参照すると、ＡＡＡＡという単語が本実施形態に係る単語イメージ検索方法によって検索される。

一実施形態として、ユーザ端末装置１００から検索を要請されたウェブサーバは、ＡＡＡＡを検索キーワードとして検索可能な全ての文書からＡＡＡＡの含まれた文書を検索する。検索された全ての文書のそれぞれに含まれたイメージが検索され、検索された文書に含まれたイメージが検索結果となる。より詳細には、テキスト基盤イメージ検索（Ｔｅｘｔ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ：ＴＢＩＲ）方法を用いて検索することができる。別の実施形態として、内容基盤イメージ検索（Ｃｏｎｔｅｎｔ−Ｂａｓｅｄ Ｉｍａｇｅ Ｒｅｔｒｉｅｖａｌ：ＣＢＩＲ）方法を用いて検索することができる。

内容基盤イメージ検索（ＣＢＩＲ）は、検索要請に対応する単語ＡＡＡＡのイメージの有する模様、色相、パターン、その他の特徴等を内容（ｃｏｎｔｅｎｔ）にし、類似する内容のイメージを１つのグループに分類して検索する方法を意味する。

図２においては、テキスト基盤イメージ検索方法を用いて検索した結果を示している。
ＡＡＡＡを検索キーワードとして検索すると、ロゴ、系列会社、経営陣、広告、生産する製品、競合する製品等に対するイメージが検索されてよい。図２を参照すると、検索結果はＡＡＡＡのロゴ、ＡＡＡＡが生産する電子製品、自動車に関するイメージを含む。

図３ないし図４は、本発明の一実施形態に係る関連性イメージ検索方法を説明する図である。関連性イメージとは、検索キーワードとして、複数の単語が組み合わせられた場合、単語間の関連性等を用いて検索されたイメージを意味する。

図３を参照すると、ユーザ端末装置１００は関連性イメージ検索のために、テキスト情報を用いて単語の組み合わせを抽出する（Ｓ３１０）。例えば、ＡＡＡ単語、ＢＢＢ単語が組み合わせられたＡＡＡ＋ＢＢＢに対するイメージを検索するとしたら、ユーザ端末装置１００はＡＡＡ、ＢＢＢ、ＡＡＡ＋ＢＢＢの単語の組み合わせを抽出することができる。

ユーザ端末装置１００は、単語の組み合わせをウェブブラウザ検索語として入力する（Ｓ３２０）。ウェブブラウザ検索結果値を抽出する（Ｓ３３０）。上述のＡＡＡ、ＢＢＢ、ＡＡＡ＋ＢＢＢが検索キーワードとなるため、ＡＡＡ、ＢＢＢ、ＡＡＡ＋ＢＢＢの含まれた文書を検索する。検索された文書内でＡＡＡ、ＢＢＢ、ＡＡＡ＋ＢＢＢの頻度数を判断する。場合によって、上述の検索キーワードと連結された他の単語に対する検索を行うこともできる。例えば、ａａ＋ＡＡＡ、ＡＡＡ＋ＢＢＢ＋ｂｂの語句が含まれた場合、ａａまたはｂｂの含まれた文書、ａａまたはｂｂの頻度数を更に判断することができる。

結果値を分析して単語の頻度数を抽出する（Ｓ３４０）。全体の文書から各キーワードの頻度数を抽出する。このとき、加重値を用いて頻度数抽出に反映することができる。例えば、ＡＡＡ＋ＢＢＢが検索キーワードであるため、加重値を１としたら、ＡＡＡまたはＢＢＢは０.９、ａａまたはｂｂは０.７のように加重値を与えることができる。

上位頻度数の単語を用いてウェブブラウザでイメージを検索する（Ｓ３５０）。頻度数による単語の順位を決定し、上位順位の単語に対するイメージを検索する。イメージ結果値をユーザに出力する（Ｓ３６０）。関連性イメージ検索方法の具体的な実施形態について、図４を参照して説明する。

図４は、本発明の一実施形態に係る関連性イメージ検索方法を説明する図である。図４を参照すると、検索キーワードはＡＡＡＡ ｓｍａｒｔｐｈｏｎｅ ｓａｌｅｓ ｖｏｌｕｍｅという複数の単語の組み合わせから構成されている。図３の例示で説明したように、ユーザ端末装置１００は関連性イメージ検索のために、テキスト情報を用いて単語の組み合わせを抽出する。例えば、ＡＡＡＡ、ｓｍａｒｔｐｈｏｎｅ、ｓａｌｅｓ、ｖｏｌｕｍｅ、ｓａｌｅｓ ｖｏｌｕｍｅ等のようなテキスト情報が単語の組み合わせから抽出されてよい。単語または単語の組み合わせをウェブブラウザ検索キーワードとして用いて検索結果値を抽出する。上述の検索キーワードだけでなく、検索キーワードと連結された他の単語に対する検索も同時に行われてよい。

ユーザ端末装置１００は、検索された結果値を分析して単語の頻度数を抽出する。図４を参照すると、単語「ＡＡＡＡ」は１３５、単語「ｓｍａｒｔｐｈｏｎｅ」は１１１、単語「ｓａｌｅｓ ｖｏｌｕｍｅ」は９７、単語「２０１２」は９０、そして単語「ＰＣ」
は５４の頻度数を有するものとして表示されている。よって、ＡＡＡＡが最高の頻度数の単語になり、ｓｍａｒｔｐｈｏｎｅが次の順位の頻度数の単語となる。

ユーザ端末装置１００は、上位頻度数を有する単語を用いてウェブブラウザでイメージを検索し、イメージ結果値をユーザに出力する。図４によると、上述の過程を経て販売量グラフ、スマートフォン等のイメージが検索結果としてディスプレイ部１２０に表示される。イメージ検索は、ローカル保存装置に保存されたイメージの中から行われてよく、ウェブサーバ等と接続して検索されてよい。なお、ローカル保存装置に対する検索とウェブサーバ接続を通じた検索とを両方行うこともできる。本発明は、上述の実施形態に限定されるものではなく、イメージは適切な情報源、リソース及び／または客体から検索されてよい。

図５ないし図８は、文書作成ウィンドウでイメージ検索を行うための多様な実施形態を説明する図である。

図５を参照すると、テキストを選択してイメージ検索を行う画面５０１の一実施形態が示される。ディスプレイ部１２０に文書作成ウィンドウ１０が画面５０１にディスプレイされている。文書作成ウィンドウ１０には、ユーザの作成したテキストが表示される。ユーザがテキストを選択するまではイメージ検索ボタン２３ａは非活性化されている。図５の実施形態に係る「非活性化」の意味は、イメージ検索ボタン２３ａが表示されはするが、選択できない状態であってよく、イメージ検索ボタン２３ａが表示されていない状態であってよい。

ユーザが選択領域２１において“ＡＡＡＡ ｓｍａｒｔｐｈｏｎｅ ｓａｌｅｓ ｖｏｌｕｍｅ”をキーワードとして選択する。図５においては、複数の単語の含まれたテキストを選択する例を示しているが、ユーザは１つの単語のみを選択することもできる。ユーザの選択によってＡＡＡＡ ｓｍａｒｔｐｈｏｎｅ ｓａｌｅｓ ｖｏｌｕｍｅは選択領域２１に表示される。

図５の画面５０２は、選択領域２１に表示されたテキストがユーザによって選択されたとき、文書作成ウィンドウ１０の表示を示している。テキストが選択されると、イメージ検索ボタン２３ｂが活性化させる。画面５０１に示されたイメージ検索ボタン２３ａが表示されはするが、選択できない状態なら、選択できるように表示される。もし、画面５０１にイメージ検索ボタン２３ａが表示されていない状態なら、文書作成ウィンドウ１０の一領域にイメージ検索ボタン２３ｂが表示されてよい。

画面５０１、５０２においては、イメージ検索ボタン２３ａ、２３ｂが文書作成ウィンドウ１０の左側下段部に表示されるものとして示しているが、イメージ検索ボタン２３ａ、２３ｂの表示領域は図示の領域に限定されずに、文書作成ウィンドウ１０の別の適切な部分に表示されてよい。

図６を参照すると、イメージ検索ボタン２５の表示される位置に関する一実施形態が示される。画面６０１において、ユーザは選択領域２１でＡＡＡＡ ｓｍａｒｔｐｈｏｎｅ ｓａｌｅｓ ｖｏｌｕｍｅをキーワードとして選択する。ユーザの選択によってＡＡＡＡ ｓｍａｒｔｐｈｏｎｅ ｓａｌｅｓ ｖｏｌｕｍｅは選択領域２１に表示される。

画面６０２に示すように、テキストの選択によってイメージ検索ボタン２５が活性化される。活性化されたイメージ検索ボタン２５の表示される領域は、文書作成ウィンドウ１０で選択されたテキストの右側端領域である。図示はしていないが、ユーザがイメージ検索のためにテキストを選択したとき、ポインタは文書作成ウィンドウ１０で選択されたテキストの左側端や右側端に位置することができる。ポインタは、ディスプレイ画面上で入力手段（例えば、キーボード、マウス）に対応する位置を表示するＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）客体を意味する。よって、イメージ検索ボタン２５が選択されたテキストと離れている場合、ユーザがポインタを用いてイメージ検索ボタン２５を選択してイメージ検索を実行するために、ポインタを多く移動させなければならないため不便だった。よって、ユーザがイメージ検索のためにテキストを選択したとき、ポインタが選択したテキストから近くにいると、テキストを選択して即座にイメージを検索することができるため、便利になる。よって、イメージ検索ボタン２５は、文書作業ウィンドウ１０で選択されたテキストに隣接して表示されてよい。もし、ユーザが左側から始まり右側で終るドラッグ（ｄｒａｇ）動作でテキストを選択する場合、イメージ検索ボタン２５はテキストの右側端領域に表示されてよい。逆に、ユーザが右側から始まり左側で終るドラッグ（ｄｒａｇ）動作でテキストを選択する場合、イメージ検索ボタン２５はテキストの左側端領域に表示されてよい。

この場合、非活性化されたイメージ検索ボタン２５が常に表示されるとしたら、ユーザが文書作成ウィンドウ１０を見るときに、ユーザが不便に感じたり、困る状況が発生するおそれがある。よって、ユーザ端末装置１００は、通常の状況でイメージ検索ボタン２５を表示せずに、テキストが選択されたときにのみ、イメージ検索ボタン２５を表示することが望ましい。

図７を参照すると、近接センシングによるイメージ検索ボタン２５を表示する画面７０１、７０２を示す。上述のように、ディスプレイ部１２０はユーザ操作を認識することができる近接センサやタッチセンサを含むディスプレイパネルで実現されてよい。

画面７０１をみると、ユーザはＡＡＡＡ ｓｍａｒｔｐｈｏｎｅ ｓａｌｅｓ ｖｏｌｕｍｅのテキストを選択する。文書作成ウィンドウ１０には、選択されたテキストが選択領域２１に表示される。しかし、イメージ検索ボタン２７は表示されない。画面７０１に見えるように、テキストの選択後に、ユーザ客体５１（例えば、ユーザの手や電子ペン等）がディスプレイ部１２０に接近する。

画面７０２において、ユーザ客体５１がディスプレイ部１２０から一定距離内に接近すると、イメージ検索ボタン２７が表示される。イメージ検索ボタン２７は文書作成ウィンドウ１０の特定領域に表示されてよい。この場合、ユーザ客体５１は、イメージ検索ボタン２７の表示される特定領域に接近しなければならない。または、イメージ検索ボタン２７は、文書作成ウィンドウ１０領域に関係なく、ユーザ客体５１が接近する任意の領域に表示されてよい。この場合、イメージ検索メニューを含むメニューウィンドウ（図示せず）が表示されてよい。イメージ検索メニューを含むメニューウィンドウが表示される場合、メニューウィンドウにはユーザが予め設定したメニューが含まれてよい。例えば、メニューウィンドウには、削除、コピー、リンク等の動作及び機能を含むメニューが含まれてよい。

図５ないし図７においては、イメージ検索ボタンが活性化される実施形態について説明してきた。ユーザが活性化されたイメージ検索ボタンを選択すると、ユーザ端末装置１００はイメージを検索する。別の実施形態として、ユーザ端末装置１００はユーザが選択することなく、予め設定された条件を満たす場合、自動でイメージ検索を行うこともできる。

図８は、予め設定された条件を満たす場合、自動でイメージ検索を行う一実施形態を説明する図である。

画面８０１をみると、ユーザは一定のテキストを入力してエンター（ｅｎｔｅｒ）３１と呼ばれるキャリッジリターン（ｃａｒｒｉａｇｅ ｒｅｔｕｒｎ）を入力する。次に、テキスト“ＡＡＡＡ ｓｍａｒｔｐｈｏｎｅ ｓａｌｅｓ ｖｏｌｕｍｅ”を入力する。テキスト“ＡＡＡＡ ｓｍａｒｔｐｈｏｎｅ ｓａｌｅｓ ｖｏｌｕｍｅ”を入力した後に予め設定された時間の間入力を中断する。予め設定された時間が経過すると、ユーザ端末装置１００は自動でイメージを検索する。例えば、予め設定された時間が５秒なら、ユーザが入力を中断して５秒が経過すると、ユーザ端末装置１００は自動でテキスト“ＡＡＡＡ ｓｍａｒｔｐｈｏｎｅ ｓａｌｅｓ ｖｏｌｕｍｅ”に対応するイメージを検索する。予め設定された時間は３秒、５秒または７秒のように設定されてよい。しかし、それは一実施形態に過ぎず、多様に設定可能である。または、ユーザが設定時間を任意に設定することができ、自動検索機能を使用しないように設定することもできる。

自動で検索するための検索入力の単位ーそれは検索単位と呼ばれてよいーは、１つの文章単位で検索を行うことができる。１つの文章は句点またはエンター３１によって判断されてよい。例えば、ユーザ端末装置１００は、以前のエンター３１入力または句点入力から次のエンター３１入力または句点入力まで続くテキストを１つの文章として認識することができる。または、ユーザ端末装置１００は、１つの文章単位の中に含まれた複数の単語に対して検索を行うこともできる。検索単位及び予め設定された時間は、ユーザが設定することもできる。ユーザ端末装置１００は、予め設定された時間の間に入力がない場合、設定された検索単位に対して自動で検索を行う。

画面８０２は検索された結果を示す。ここで、ユーザ端末装置１００は複数の単語を組み合わせて検索した関連性イメージと単語に対して検索した単語イメージとを検索結果として表示する。検索された関連性イメージは関連性イメージおすすめウィンドウ１２に表示され、検索された単語イメージは単語イメージおすすめウィンドウ１３に表示される。検索結果は、またポップアップ形態で新たなウィンドウを開いて表示されてよい。または、文書作成ウィンドウ１０の一部の領域に表示されてよい。ユーザは、取消しボタン１１を選択して検索結果ウィンドウを閉じることができる。関連性イメージおすすめウィンドウ１２と単語イメージおすすめウィンドウ１３には、「全てをみる」ボタン３３が表示されてよい。ユーザが「全てをみる」ボタン３３を選択すると、当該検索イメージのみが表示される新たなウィンドウを開くこともできる。検索結果ウィンドウには、ユーザ検索ウィンドウ１４が含まれてよい。ユーザ検索ウィンドウ１４は、ユーザが直接テキストを入力して検索することができる領域である。ユーザは、ユーザ検索ウィンドウ１４で検索しようとするテキストを入力して検索ボタンを選択し、入力されたテキストに対応する新たなイメージを検索することができる。

検索されたイメージの表示方法は、ユーザの選択によって変更されてよい。

図９は、本発明の一実施形態に係るイメージ検索結果を表示する画面を説明する図である。

図９を参照すると、検索結果の表示された画面９０１が示されている。ここで、画面９０１の検索結果表示ウィンドウは、図８で説明したのと同様であるため、具体的な説明は省略する。検索結果表示ウィンドウは、画面切替ボタン３５、３６を含むことができる。ユーザが画面切替ボタン３５、３６を選択すると、関連性イメージおすすめウィンドウ１２、単語イメージおすすめウィンドウ１３、関連性イメージおすすめウィンドウ１２と単語イメージおすすめウィンドウ１３とを同時に表示する画面９０１を予め設定された順に沿って切り替えることができる。画面９０１の右側に配置された右側画面切替ボタン３６をユーザが選択すると、画面９０２に示された単語イメージおすすめウィンドウに切り替えられる。

画面９０２をみると、ユーザ端末装置１００は単語イメージおすすめウィンドウ１６を表示している。よって、ユーザ端末装置１００は選択された単語に対して検索されたイメージをより多く表示することができる。ユーザが「全てをみる」ボタン３４を選択すると、単語に対して検索されたイメージのみを表示する画面に切り替えることができる。ユーザが画面９０２の左側に配置された左側画面切替ボタン３６を選択すると、関連性イメージおすすめウィンドウと単語イメージおすすめウィンドウとを同時に表示する画面９０１に切り替えることができる。ユーザがもう一度画面切替ボタン３６を選択すると、画面９０２は、画面９０３に示された関連性イメージおすすめウィンドウ１８に切り替えられる。

ユーザ端末装置１００は、画面９０３に関連性イメージおすすめウィンドウ１８を表示している。よって、ユーザ端末装置１００は、選択されたテキストに対して検索された関連性イメージをより多く表示することができる。画面９０３の基本的な構成や動作は、画面９０２と同様であるため、省略する。

ユーザは、いずれかの画面９０１、９０２、９０３から検索されたイメージのうち１つを選択して文書作成ウィンドウ１０に挿入することができる。
図１０は、本発明の一実施形態に係る検索されたイメージを挿入する過程を説明する図である。

画面１００１をみると、ユーザ端末装置１００は関連性イメージおすすめウィンドウと単語イメージおすすめウィンドウとを同時に表示するウィンドウを表示している。ユーザは、画面１００１の関連性イメージおすすめウィンドウでグラフを含む１つのイメージ４１ａを選択する。画面１００１では、１つのイメージを挿入する実施形態について説明するが、ユーザは複数のイメージを選択して挿入することもできる。

画面１００２に示すように、選択されたイメージ４１ｂは文書作成ウィンドウ１０内に挿入される。選択されたイメージ４１ｂの挿入される位置はイメージ検索を行う直前のカーソルの存在していた位置に挿入されてよい。または、検索のために選択されたテキストの次の行に挿入されてよい。ユーザは、文書作成ウィンドウ１０内で挿入されたイメージ４１ｂに対して、大きさ調整、色相調整、テキスト入力等のような編集を行うこともできる。

これまで、ユーザが文書作成ウィンドウ１０内のテキストに対してイメージを検索し、文書作成ウィンドウ１０に挿入する実施形態について説明してきた。以下では、ユーザ端末装置１００の制御方法のフローチャートについて説明する。

図１１及び図１２は、多様な実施形態に係るユーザ端末装置の制御方法のフローチャートである。

図１１を参照すると、ユーザがテキストを選択してイメージを検索するユーザ端末装置の制御方法に関するフローチャートが示される。

ユーザ端末装置は、文書作成ウィンドウをディスプレイする（Ｓ１１１０）。文書作成ウィンドウには予め作成された文書が表示されてよく、ユーザが文書作成ウィンドウ内で新たなテキストを入力することもできる。テキスト選択命令が入力される（Ｓ１１２０）。ユーザ端末装置はキーボードのような外部の入力手段を介してテキスト選択命令を受信することができる。タッチセンサを含むユーザ端末装置はタッチジェスチャまたはドラッグジェスチャによってテキスト選択命令を受信することができる。ステップＳ１１２０において、テキスト選択命令が受信された後、予め設定された位置にイメージ検索ボタンを表示する（Ｓ１１３０）。

ユーザ端末装置は、ユーザがステップＳ１１３０で表示されたイメージ検索ボタンを選択すると、イメージを検索する（Ｓ１１４０）。イメージの検索はユーザ端末装置の通信部を介してウェブサーバに検索を要請して行われる。ユーザ端末装置は、内部の保存部またはユーザ端末装置と接続された保存装置に保存されたイメージを同時に検索することもできる。検索されたイメージを表示してイメージが選択されると、選択されたイメージを挿入する（Ｓ１１５０）。具体的な過程は、既に上述しているため省略する。

図１２を参照すると、予め設定された条件に応じてイメージを検索するユーザ端末装置の制御方法に関するフローチャートが示される。

ユーザ端末装置は、文書作成ウィンドウをディスプレイする（Ｓ１２１０）。テキストを受信して文書作成ウィンドウ内に表示する（Ｓ１２２０）。図１１を参照して説明したのと同様であるため、具体的な説明は省略する。

予め設定された時間の間テキスト入力が中断されると、イメージを自動で検索する（Ｓ１２３０）。予め設定された時間は調整可能である。検索されたイメージを表示して１つが選択されると、選択されたイメージを挿入する（Ｓ１２４０）。しかし、本発明はそれに限定されずに、１つまたは複数のイメージが選択されて表示されてよい。

上述の多様な実施形態に係るディスプレイ装置の制御方法はプログラムで実現されてディスプレイ装置に提供されてよい。

一例として、文書作成ウィンドウでディスプレイされた文書内でテキストを選択する選択命令が入力されるステップと、前記テキストが選択されると、前記文書作成ウィンドウ内の一領域に活性化された検索ボタンを表示するステップと、前記検索ボタンが選択されると前記選択されたテキストに対応する少なくとも１つのイメージを検索するステップと、検索されたイメージを表示し、前記検索されたイメージのうち１つが選択されると、選択されたイメージを前記文書作成ウィンドウ内で定められた位置に挿入するイメージ挿入ステップとを行うプログラムが保存された非一時的な読み取り可能な媒体（Ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）が提供されてよい。

非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のような短い間データを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り（ｒｅａｄｉｎｇ）が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、ＣＤやＤＶＤ、ハードディスク、ブルーレイディスク、ＵＳＢ、メモリカード、ＲＯＭ等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１００ ユーザ端末装置
１１０ 入力部
１２０ ディスプレイ部
１３０ 通信部
１４０ 制御部

Claims (15)

1. 電子機器上のワードプロセッシングアプリケーションを用いて文書を編集する方法において、
   ワードプロセッシングアプリケーションウィンドウ内の一領域にワードを含む文書をディスプレイするステップと、
   前記ディスプレイされた文書に含まれた１つのワードを選択するためのドラッグ入力を受信するステップと、
   前記１つのワードが選択されることで非活性化状態から活性化状態になる検索ボタンを表示するステップと、
   前記ワードプロセッシングアプリケーションにおいて、前記検索ボタンが選択され、ウェブサーチを行うためのコマンドが受信されると、前記ドラッグ入力によって選択された１つのワード及び前記選択された１つのワードに関連する少なくとも１つの別のワードを検索ワードとして用いてウェブサーチを行うステップと、
   前記文書がディスプレイされる状態で、前記ワードプロセッシングアプリケーションウィンドウ内の別の領域に前記ウェブサーチによる結果として獲得した複数のイメージを同時にディスプレイするステップと、
   前記ディスプレイされた複数のイメージの中から選択された一イメージを前記文書に挿入するための入力が受信されると、前記選択されたイメージを前記文書内の一位置に挿入するステップと
   を含み、
   前記ウェブサーチを行うステップは、
   前記選択された１つのワードと前記選択された１つのワードに関連する少なくとも１つの別のワードとをウェブサーバに伝送し、前記ウェブサーバから、前記ウェブサーバで行われたウェブサーチによって獲得された前記複数のイメージを受信することを特徴とする方法。
2. 前記ウェブサーチを行うステップは、
   前記選択された１つのワードの他に、前記少なくとも１つの別のワードを検索ワードとして用いてウェブサーチを行う前記ワードプロセッシングアプリケーション内のウェブサーチプログラムを実行することを含むことを特徴とする請求項１に記載の方法。
3. 前記１つのワードを選択するためのドラッグ入力が受信されると、ユーザからウェブサーチを行うためのコマンドを受信するためのメニューをディスプレイするステップを更に含むことを特徴とする請求項１に記載の方法。
4. 前記選択されたイメージを前記文書内の一位置に挿入するステップは、
   ユーザによってカーソルの置かれた位置に前記選択されたイメージを挿入するか、前記選択された１つのワードの位置する行の次行に前記選択されたイメージを挿入することを含むことを特徴とする請求項１に記載の方法。
5. 前記複数のイメージをディスプレイするステップは、
   前記ウェブサーチによる結果として、複数のイメージを前記ディスプレイされた文書に関連する検索結果ウィンドウ内にディスプレイすることを含むことを特徴とする請求項１に記載の方法。
6. 電子機器において、
   指示を保存するメモリと、
   前記保存された指示を実行するプロセッサと
   を含み、
   前記保存された指示は、
   ワードプロセッシングアプリケーションのウィンドウ内の一領域にワードを含む文書を提供するように制御する指示と、
   前記提供される文書内に含まれた１つのワードを選択するためのドラッグ入力を受信するように制御する指示と、
   前記１つのワードが選択されることで非活性化状態から活性化状態になる検索ボタンを表示する指示と、
   前記ワードプロセッシングアプリケーションにおいて、前記検索ボタンが選択され、ウェブサーチを行うためのコマンドが受信されると、前記ドラッグ入力によって選択された１つのワード及び前記選択された１つのワードに関連する少なくとも１つの別のワードを検索ワードとして用いてウェブサーチを行うように制御する指示と、
   前記文書がディスプレイされる状態で、前記ワードプロセッシングアプリケーションのウィンドウ内の別の領域に前記ウェブサーチによる結果として複数のイメージをディスプレイするように制御する指示と、
   前記ディスプレイされた複数のイメージの中から選択された一イメージを前記文書に挿入するための入力が受信されると、前記選択されたイメージを前記文書内の一位置に挿入するように制御する指示と
   を含み、
   前記ウェブサーチを行うように制御する指示は、
   前記選択された１つのワードと前記選択された１つのワードに関連する少なくとも１つの別のワードとをウェブサーバに伝送し、前記ウェブサーバから、前記ウェブサーバで行われたウェブサーチによって獲得された前記複数のイメージを受信するように制御することを特徴とする電子機器。
7. 前記プロセッサは、
   前記選択された１つのワードに加え、前記少なくとも１つの別のワードを検索ワードとして用いてウェブサーチを行う前記ワードプロセッシングアプリケーション内のウェブサーチプログラムを実行するように制御する指示を更に実行することを特徴とする請求項６に記載の電子機器。
8. 前記プロセッサは、
   前記１つのワードを選択するためのドラッグ入力が受信されると、ユーザからウェブサーチを行うためのコマンドを受信するためのメニューを提供するように制御する指示を更に実行することを特徴とする請求項６に記載の電子機器。
9. 前記選択されたイメージを前記文書内の一位置に挿入するように制御する指示は、
   ユーザによってカーソルの置かれた位置に前記選択されたイメージを挿入するか、前記選択された１つのワードの位置する行の次行に前記選択されたイメージを挿入するように制御することを特徴とする請求項６に記載の電子機器。
10. 前記プロセッサは、
    前記ウェブサーチによる結果として、複数のイメージを前記ディスプレイされた文書に関連する検索結果ウィンドウ内に提供するように制御する指示を更に実行することを特徴とする請求項６に記載の電子機器。
11. 電子機器のプロセッサによって実行可能な指示を保存するコンピュータ読取可能な非一時的記録媒体において、
    ワードプロセッシングアプリケーションのウィンドウ内の一領域にワードを含む文書を提供するようにする指示と、
    前記提供される文書内に含まれた１つのワードを選択するためのドラッグ入力を受信するようにする指示と、
    前記１つのワードが選択されることで非活性化状態から活性化状態になる検索ボタンを表示する指示と、
    前記ワードプロセッシングアプリケーションにおいて、前記検索ボタンが選択され、ウェブサーチを行うためのコマンドが受信されると、前記ドラッグ入力によって選択された１つのワード及び前記選択された１つのワードに関連する少なくとも１つの別のワードを検索ワードとして用いてウェブサーチを行うようにする指示と、
    前記文書がディスプレイされる状態で、前記ワードプロセッシングアプリケーションのウィンドウ内の別の領域に前記ウェブサーチによる結果として複数のイメージをディスプレイするようにする指示と、
    前記ディスプレイされた複数のイメージの中から選択された一イメージを前記文書に挿入するための入力が受信されると、前記選択されたイメージを前記文書内の一位置に挿入するようにする指示とを保存し、
    前記ウェブサーチを行うようにする指示は、
    前記選択された１つのワードと前記選択された１つのワードに関連する少なくとも１つの別のワードとをウェブサーバに伝送し、前記ウェブサーバから、前記ウェブサーバで行われたウェブサーチによって獲得された前記複数のイメージを受信するようにすることを特徴とするコンピュータ読取可能な非一時的記録媒体。
12. 前記プロセッサが、前記選択された１つのワードに加え、前記少なくとも１つの別のワードを検索ワードとして用いてウェブサーチを行う前記ワードプロセッシングアプリケーション内のウェブサーチプログラムを実行するように制御するようにする指示を更に保存することを特徴とする請求項１１に記載のコンピュータ読取可能な非一時的記録媒体。
13. 前記プロセッサが、前記ウェブサーチによる結果として、複数のイメージを前記ディスプレイされた文書に関連する検索結果ウィンドウ内に提供するように制御するようにする指示を更に保存することを特徴とする請求項１１に記載のコンピュータ読取可能な非一時的記録媒体。
14. 前記１つのワードを選択するためのドラッグ入力が受信されると、ユーザからウェブサーチを行うためのコマンドを受信するためのメニューを提供するように制御するようにする指示を更に保存することを特徴とする請求項１１に記載のコンピュータ読取可能な非一時的記録媒体。
15. 前記選択されたイメージを前記文書内の一位置に挿入するようにする指示は、
    ユーザによってカーソルの置かれた位置に前記選択されたイメージを挿入するか、前記選択された１つのワードの位置する行の次行に前記選択されたイメージを挿入するようにすることを特徴とする請求項１１に記載のコンピュータ読取可能な非一時的記録媒体。

Images