以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、通信機器として携帯電子通信機器、より具体的には、携帯電話機を例として説明するが、本発明の適用対象は携帯電話機に限定されるものではなく、例えば、PHS(Personal Handy phone System)、PDA、ナビゲーション装置、ノートパソコン、ゲーム機等に対しても本発明は適用できる。
図1は、本発明にかかる通信機器並びに携帯電子機器の一実施形態である携帯電子通信機器の概略構成を示すブロック図である。図1に示すように携帯電子通信機器10は、基本的に、CPU(Central Processing Unit)22と、通信部26と、音声処理部30と、表示デバイス32と、入力デバイス34と、ROM36と、RAM38と、内部ストレージ40と、外部ストレージインターフェース(I/F、interface)42を有する。また、携帯電子通信機器10は、外部ストレージI/F42を介して外部ストレージ46と接続されている。なお、携帯電子通信機器10は、上記構成の他にも撮像部や、各種端子等、携帯電子通信機器として有する各種構成を有している。また、携帯電子通信機器の外形形状は、ヒンジで連結された2つの部材で構成され、折りたたみ可能な形状や、2つの部材をスライドさせる形状や、1つの箱型の形状等、種々の形状とすることができる。
CPU22は、携帯電子通信機器10の全体的な動作を統括的に制御する処理部である。すなわち、携帯電子通信機器10の各種の処理が、入力デバイス34の操作や携帯電子通信機器10のROM36、内部ストレージ40に保存されるソフトウェアに応じて適切な手順で実行されるように、通信部26や、表示デバイス32等の動作を制御する。携帯電子通信機器10の各種の処理としては、例えば、回線交換網を介して行われる音声通話、電子メールの作成及び送受信、インターネットのWeb(World Wide Web)サイトの閲覧等がある。また、通信部26、音声処理部30、表示デバイス32等の動作としては、例えば、通信部26による信号の送受信、音声処理部30による音声の入出力、表示デバイス32による画像の表示等がある。
CPU22は、ROM36、内部ストレージ40に保存されているプログラム(例えば、オペレーティングシステムプログラム、アプリケーションプログラム等)に基づいて処理を実行する。CPU22は、例えば、マイクロプロセッサユニット(MPU:Micro Processor Unit)で構成され、前記ソフトウェアで指示された手順にしたがって上述した携帯電子通信機器10の各種の処理を実行する。すなわち、CPU22は、ROM36、内部ストレージ40に保存されるオペレーティングシステムプログラムやアプリケーションプログラム等から命令コードを順次読み込んで処理を実行する。
CPU22は、複数のアプリケーションプログラムを実行する機能を有する。CPU22が実行するアプリケーションプログラムとしては、例えば、表示デバイス32に画像を表示させる画像表示アプリケーションプログラムや、入力デバイス34で検出した入力に基づいて入力された操作を算出する操作検出アプリケーションプログラムや、絞り込み検索を行う検索アプリケーションプログラムや、インターネット通信を行うインターネットアプリケーションプログラムや、メールを作成するメールアプリケーションプログラム、電話をかけるための電話アプリケーションプログラム等の複数のアプリケーションプログラムがある。
通信部26は、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA方式などによる無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。
音声処理部30は、マイク50に入力される音声信号やレシーバ52から出力される音声信号の処理を実行する。すなわち、音声処理部30は、マイク50から入力される音声を増幅し、AD変換(Analog Digital変換)を実行した後さらに符号化等の信号処理を施して、ディジタルの音声データに変換してCPU22へ出力する。また、CPU22から送られる音声データに対して復号化、DA変換(Digital Analog変換)、増幅等の処理を施してアナログの音声信号に変換してから、レシーバ52へ出力する。
表示デバイス32は、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネルなどの表示パネルを備え、CPU22から供給される映像データに応じた映像、画像データに応じた画像を表示パネルに表示させる。
入力デバイス34は、表示デバイス32の前面に配置されたタッチパネルであり、操作者が表面を触るとその接触を入力として検出する。なお、入力デバイス34は、接触された位置や、その接触の強さ等を検出する。タッチパネルとしては、マトリクススイッチ、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式等種々の方式のタッチパネルを用いることができる。ここで、表示デバイス32に電源キー、通話キー、数字キー、文字キー、方向キー、決定キー、発信キーなど、各種の機能が割り当てられたキーの画像を表示させた状態のときに操作者によって入力デバイス34が押されたら、入力デバイス34は、押された位置(接触があった位置)を検出する。携帯電子通信機器10のCPU22は、入力デバイス34が接触を検出した位置に対応するキーの操作が入力されたとして、その処理を行う。
ROM(Read Only Memory)36は、読み取り専用の記憶デバイスであり、BIOS等携帯電子通信機器10の駆動に用いるファームウェアが記憶されている。RAM(Random Access Memory)38は、読み書き可能な記憶デバイスであり、(例えば、SRAM:Static Random Access Memory、DRAM:Dynamic Random Access Memory)等で構成される。ROM36とRAM38とで、主記憶装置が構成される。また、ROM36やRAM38は、ソフトウェアの処理過程で用いられるコンピュータプログラムや一時的なデータが、CPU22により割り当てられ、割り当てられたデータを一時的に作業領域に保存する。
内部ストレージ(内部メモリ)40は、携帯電子通信機器10に備え付けられた読み取り及び書き込み可能な記憶装置、例えば、ハードディスクである。内部ストレージ40は、補助記憶装置として利用され、CPU22での処理に利用されるソフトウェアやデータが保存されている。また、内部ストレージ40には、これらのタスク以外に、通信、ダウンロードされた画像データを保存する画像フォルダや、待ち受け画像に使用される画像ファイルを保存する待ち受け画像フォルダ等も有する。また、内部ストレージ40には、これら以外にも、例えば、通信、ダウンロードされた音声データ、あるいは内部ストレージ40に対する制御にCPU22が用いるソフトウェア、通信相手の電話番号やメールアドレス等を保存し、管理するアドレス帳、発信音や着信音等の音声ファイル、ソフトウェアの処理過程で用いられる一時的なデータ等が保存されている。
外部ストレージI/F42は、着脱可能な外部ストレージ46と接続する端子である。外部ストレージI/F42と外部ストレージ46とを接続することで、CPU22と外部ストレージ46との間でデータの送受信を行うことが可能となる。外部ストレージ(外部メモリ)46は、外部ストレージI/F42を介して、携帯電子通信機器10に着脱可能な記憶装置であり、SDカード(登録商標)、コンパクトフラッシュ(登録商標)等のメモリーカードや、着脱可能なHDD(Hard Disk Drive)を用いることができる。また、外部ストレージI/F42と外部ストレージ46との組み合わせとしては、リムーバブルディスクドライブ(Removable Disk Drive)と、リムーバブルディスクを組み合わせてもよい。
次に、図2を用いて、携帯電子通信機器10のソフトウェアの構成について説明する。ここで、図2は、携帯電子通信機器のソフトウェアの概略構成を示すブロック図であり、図3は、表示デバイスに表示される画像の一例を示す説明図である。なお、図2では、説明のために、各ソフトウェア(アプリケーションプログラム)が個別に設けられているように示すが、CPU22、ROM36、RAM38、内部ストレージ40等の間で、信号のやり取り、データの処理が行われているものであり、各部が目視上別々に設けられているわけではない。また、図2には、ソフトウェアとして項目オブジェクトの絞り込み検索と画像表示に関するソフトウェアを示しているが、携帯電子通信機器10は、図2に示すソフトウェア以外にも種々のソフトウェアを備えている。なお、オブジェクトとは、操作者による操作の対象となるアイテム(操作の対象となるデータ等を抽象化して表示したもの)であり、グループオブジェクト(フォルダ)や、項目オブジェクト(ファイル)、キーオブジェクト(検索条件)等である。なお、フォルダ(ディレクトリ)としては、操作者により作成されたフォルダのみならず、絞り込み検索によって携帯電子通信機器10により作成されたフォルダや、絞り込み検索によって検出されたファイルの集合を管理するために一時的に作成されたフォルダも含まれる。また、ファイルとしては、画像データ、音声データ、また、インターネットホームページのデータ、メールアドレスや電話番号が登録されたアドレス帳のデータ等が例示される。さらに、検索条件としては、キーワードとなる文字や、閾値となる数値(日時やサイズ、画像の場合は人数)、ファイルのジャンル(例えば、画像の場合は風景、人物写真等、音楽の場合は、クラシック、ヒップホップ、ロック等、アドレス帳の場合はグループカテゴリ等)等がある。
ここで、図3を用いて、絞り込み検索が行われる際に画面上に表示される各部を説明する。図3に示すように、表示デバイスには、複数の項目オブジェクト104を有するグループオブジェクト102と、検索条件である(検索条件を抽象化した)キーオブジェクト106とが表示されている。ここで、図3に示す例では、グループオブジェクト102は、複数の項目オブジェクト104が記憶されたフォルダであり、「Aさん」という名称のグループオブジェクトと、「Bさん」という名称のグループオブジェクトが表示されている。また、各グループオブジェクト102は、グループオブジェクトの表示領域の外周が点線で囲われている。つまり、グループオブジェクトと他の部分との境界線が表示されている。また、グループオブジェクト102の内部には、グループオブジェクト102に所属する項目オブジェクト104が表示されている。
また、項目オブジェクト104は、画像ファイルで構成されており、表示デバイスには、項目オブジェクト104として画像ファイルのサムネイル画像が表示されている。また、キーオブジェクト106は、絞り込み条件となる文言が記載されており、グループオブジェクト102とは、一定距離以上離間した位置に表示されている。なお、表示デバイス32に表示された画像の操作方法、またその操作に基づいた絞り込み検索の制御方法については、後ほど説明する。
図2に示すように、携帯電子通信機器10のソフトウェアは、絞り込み検索を行う検索部60と、表示デバイス32に表示する画像を制御する表示部62と、入力デバイス34からの入力を検出する入力部64と、内部ストレージ40及び外部ストレージ46とデータの送受信を行うコンテンツ制御部66とを有する。以下、各部の構成を説明する。
検索部60は、検索制御部68と、オブジェクト制御部70と、オブジェクト表示部72と、オブジェクト操作部74と、オブジェクト管理部76と、オブジェクト情報データベース78と、コンテンツ管理部80と、検索インデックスデータベース82と、コンテンツ情報データベース84と、コンテンツアクセス部86とを有する。検索部60は、複数の項目オブジェクトが集められたグループオブジェクトを読み出し、グループオブジェクト内の各項目オブジェクトと検索条件との適合率を算出し、グループオブジェクト内の項目オブジェクトの中から適合率が条件を満たす、つまり、適合率が所定の範囲の項目オブジェクトを抽出することで絞り込み検索を行う。また、本実施形態では、検索部60は、適合率が高いものから抽出を行い、適合率が100%から決定された割合までの間に含まれると判定された項目オブジェクトを抽出する。なお、抽出する適合率の範囲を決定する方法は、後ほど説明する。
検索制御部68は、オブジェクト制御部70及びコンテンツ管理部80との間で、情報のやり取りを行い、各部から供給される情報に基づいて、項目オブジェクトの絞り込み検索を行う。オブジェクト制御部70は、オブジェクト表示部72、オブジェクト操作部74、オブジェクト管理部76と情報のやり取りを行い、グループオブジェクト、項目オブジェクト、キーオブジェクト等、種々のオブジェクトの挙動を制御する。具体的には、表示させるオブジェクトの選択、オブジェクトを表示させる位置の決定、また、検索制御部68の決定に基づいた新たなグループオブジェクトの作成、また、各項目オブジェクトが所属するグループオブジェクトの決定、移動、キーオブジェクトの生成等を行う。
オブジェクト表示部72は、オブジェクト制御部70による制御に基づいて決定された、表示するオブジェクトの情報を表示部62の表示制御部88に送る。つまり、オブジェクト表示部72は、どのグループオブジェクト、項目オブジェクト、キーオブジェクトを表示させるか、また各オブジェクトをどの位置にどのように表示させるかの情報を表示制御部88に送る。
オブジェクト操作部74は、入力部64から送られてきた入力信号に基づいて、操作するオブジェクト及びそのオブジェクトの操作を決定して、決定した操作対象のオブジェクトの信号及び決定した操作の信号をオブジェクト制御部70に送る。
オブジェクト管理部76は、各オブジェクトを管理する機能を有し、オブジェクト情報データベース78は、各オブジェクトに関する情報を記憶する記憶手段である。ここで、各オブジェクトに関する情報としては、オブジェクトがどのグループオブジェクトに所属しているかを示す情報、絞り込み検索の際にオブジェクトの適合率を算出するための情報や、キーオブジェクトの情報等、絞り込み検索やオブジェクトの操作に必要な種々の情報が記憶されている。なお、オブジェクト情報データベース78には、表示デバイス32の画面上に表示されているオブジェクトに関する情報が記憶されている。オブジェクト管理部76は、オブジェクト情報データベース78の情報を適宜読み出し、オブジェクト制御部70に送り、また、オブジェクトに関する情報が更新されたら、オブジェクト情報データベース78に記憶されている情報を更新する。
次に、コンテンツ管理部80は、検索インデックスデータベース82、コンテンツ情報データベース84、コンテンツアクセス部86を有し、内部ストレージ40や外部ストレージ46に記憶されている写真や、音楽データ、アドレス帳のデータ等のファイルを、コンテンツ制御部66を介して読み出したり、各ファイルを内部ストレージ40や外部ストレージ46に書き込んだりする。
検索インデックスデータベース82は、絞り込み検索に用いる検索条件に関する情報が記憶されている。なお、検索インデックスデータベース82は、必要に応じて、表示デバイス32の画面上にキーオブジェクトとして表示されている検索条件に関する情報以外の検索条件に関する情報についても記憶されている。
コンテンツ情報データベース84は、項目オブジェクトとなっている音声データや、画像ファイル、インターネットサイト等のデータが記憶されている。つまり、画面上に表示されている項目オブジェクトに対応するファイルの情報(音声情報や、画像情報)が記憶されている。なお、コンテンツ情報データベース84は、必要に応じて、表示デバイス32に表示されている項目オブジェクト以外の項目オブジェクトのファイルの情報も記憶している。コンテンツアクセス部86は、コンテンツ制御部66と情報のやり取りを行い、コンテンツ制御部66が取得したファイルの情報や、ソフトウェアの情報等を読み取り、コンテンツ管理部80から送られるファイルの情報や、ソフトウェアの情報をコンテンツ制御部66に送る。
表示部62は、表示制御部88と、描画エンジン部90とを有し、検索部60のオブジェクト表示部72から送られる情報に基づいて、表示デバイス32に表示させる画像の画像信号を生成し、表示デバイス32に送る。表示制御部88は、オブジェクト表示部72から送られる情報、つまり、どのオブジェクトをどの位置にどのように表示させるかの情報に基づいて、表示させる画像を作成する。描画エンジン部90は、表示制御部88で作成された画像を画像信号に変換し、変換した画像信号を表示デバイス32に送る。このようにして、表示デバイス32は、検索部60から送られた情報に基づいて表示部62で作成された画像を表示させる。なお、表示部62は、他のソフトウェアが起動されている場合は、オブジェクト表示部72から送られた情報以外の種々のソフトウェアから送られる情報にも基づいて画像を生成する。
入力部64は、入力インターフェース(I/F)制御部92を有し、入力デバイス34で検出された操作者の操作をオブジェクト操作部74に送る。入力インターフェース制御部92は、入力デバイス34から送られる信号を検索部60で解析可能な信号に変換して、オブジェクト操作部74に送る。
コンテンツ制御部66は、ファイルシステム94を有し、内部ストレージ40及び/または外部ストレージ46から情報の読み取りを行い、読み取った情報をコンテンツアクセス部86に送り、コンテンツアクセス部86から送られた情報を、内部ストレージ40及び/または外部ストレージ46に書き込む。なお、ファイルシステム94は、情報の読み取り、書き込みの管理を行う機能である。
次に、図4から図12を用いて携帯電子通信機器10の動作、具体的には、絞り込み検索の検索方法およびそれに伴う画像表示方法ついて説明する。ここで、図4は、携帯電子通信機器の処理動作の一例を示すフロー図である。
まず、図2に示す各ソフトウェアが起動されている場合は、画面上には、図3に示すように、複数の項目オブジェクトを有するグループオブジェクトと、複数のキーオブジェクトが表示デバイス32に表示されている。このように、複数の項目オブジェクトを有するグループオブジェクトと、複数のキーオブジェクトが表示されている場合に、所定の操作が行われた場合に絞り込み検索が行われる。なお、キーオブジェクトは、AモードキーオブジェクトとBモードキーオブジェクトの2種類のキーオブジェクトがそれぞれ複数個ずつ表示されている。なお、AモードとBモードとは、キーオブジェクトの操作に基づいて決定される抽出する項目オブジェクトの適合率の範囲(閾値)を異なる方法で求めている点が異なる。そのため、AモードキーオブジェクトとBモードキーオブジェクトでは、絞り込みを行う検索条件(キーワード、基準値、基準条件)が同一のものもある。
検索部60は、ステップS12として、タッチ操作されたかを判定する。つまり、入力デバイス34が、操作者による操作を検出し、その信号が入力部64を介してオブジェクト操作部74に入力されたかを判定する。検索部60は、ステップS12でタッチ操作がされていない(No)と判定したら、処理を終了する。
検索部60は、ステップS12でタッチ操作された(Yes)と判定したら、ステップS14として、タッチ座標がオブジェクト領域内かを判定する。つまり、操作者により接触した位置がオブジェクトに対応する領域であるかを判定する。ここで、表示デバイス32の画面に表示されているオブジェクトは、表示デバイス32の画面表示に対応する入力デバイス34の領域がオブジェクト領域として設定されている。検索部60は、タッチ座標がオブジェクト領域内である(Yes)と判定したら、ステップS16に進み、オブジェクト領域内ではない(No)と判定したら、処理を終了する。つまり、検索部60は、タッチ座標がオブジェクト領域内である場合は、そのオブジェクトを操作する指示が入力されたと判定し、オブジェクトの操作に移行する。
検索部60は、ステップS14でYesと判定したら、ステップS16として、タッチ座標がグループオブジェクトの領域内であるかを判定する。つまり、操作の対象として、グループオブジェクトが指定されたか否かを判定する。検索部60は、ステップS16で、タッチ座標がグループオブジェクトの領域内である(Yes)、つまり、グループオブジェクトが操作対象であると判定したら、ステップS18として、オブジェクト移動モードに移行する。ここで、オブジェクト移動モードとは、操作者がグループオブジェクトを指定した状態から、入力デバイス34の接触している位置を移動させたら、つまり、タッチ座標を変化させたら、その変化に応じて、グループオブジェクトの位置を移動させるモードである。また、オブジェクト移動モードでは、タッチ操作が終了したら、つまり、操作者が入力デバイス34にタッチしていない状態となったら、グループオブジェクトの移動が終了したと判定して、タッチ操作が終了した位置をグループオブジェクトとして設定して、処理を終了する。
また、検索部60は、ステップS16で、タッチ座標がグループオブジェクトの領域内ではない(No)、つまり、グループオブジェクトが操作対象ではないと判定したら、ステップS20として、タッチ座標がAモードキーオブジェクトの領域内であるかを判定する。つまり、操作の対象として、Aモードキーオブジェクトが指定されたか否かを判定する。検索部60は、ステップS20で、タッチ座標がAモードキーオブジェクトの領域内である(Yes)と判定したら、ステップS22として、オブジェクト吸着Aモードに移行する。なお、オブジェクト吸着Aモードについては、図4に示すフロー図の説明が終了した後、説明する。検索部60は、ステップS22でのオブジェクト吸着Aモードの処理が終了したら、処理を終了する。
次に、ステップS20で、タッチ座標がAモードキーオブジェクトの領域内ではない(No)、つまり、Aモードキーオブジェクトが操作対象ではないと判定したら、ステップS24として、タッチ座標がBモードキーオブジェクトの領域内であるかを判定する。つまり、操作の対象として、Bモードキーオブジェクトが指定されたか否かを判定する。検索部60は、ステップS24で、タッチ座標がBモードキーオブジェクトの領域内である(Yes)と判定したら、ステップS26として、オブジェクト吸着Bモードに移行する。なお、オブジェクト吸着Bモードについては、後ほど説明する。検索部60は、ステップS26でのオブジェクト吸着Bモードの処理が終了したら、処理を終了する。
検索部60は、ステップS24で、タッチ座標がBモードキーオブジェクトの領域内ではない(No)、つまり、Bモードキーオブジェクトが操作対象ではないと判定したら、処理を終了する。なお、検索部60は、ステップS14から処理終了(エンド)の前までの処理を項目オブジェクトの個数に対応する回数分、繰り返し行う。つまり、グループオブジェクトに含まれる項目オブジェクトの数の分だけ、上記判定を繰り返し、グループオブジェクトの操作や、キーオブジェクトの操作に対応させて、各項目オブジェクトも操作する。具体的には、グループオブジェクトが移動されたら、その移動に応じて、グループオブジェクトに含まれる各項目オブジェクトも移動させる。検索部60は、このように制御を行うことで、操作者によりタッチされた項目オブジェクトに応じて操作を行うことができる。
また、検索部60は、画面上にグループオブジェクトが複数ある場合はそれぞれのグループオブジェクトに対してステップS16の判定を行い、Aモードキーオブジェクトが複数ある場合はそれぞれのAモードキーオブジェクトに対してステップS20の判定を行い、Bモードキーオブジェクトが複数ある場合はそれぞれのBモードキーオブジェクトに対してステップS24の判定を行う。
次に、図5、図6−1から図6−5を用いて、オブジェクト吸着Aモードについて説明する。図5は、オブジェクト吸着Aモードに移行した場合の携帯電子通信機器の処理動作の一例を示すフロー図である。ここで、オブジェクト吸着Aモードとは、キーオブジェクトとグループオブジェクトとの距離に応じて、グループオブジェクトの中から抽出する項目オブジェクトの適合率の範囲を変動させるモードである。つまり、キーオブジェクトとグループオブジェクトとの距離に応じて、キーオブジェクトに吸着させる項目オブジェクトの適合率の閾値を変動させるモードである。具体的には、キーオブジェクトとグループオブジェクトとの距離が近いほど、抽出する項目オブジェクトの適合率の範囲を広くし、適合率の低い項目オブジェクトも抽出し、キーオブジェクトとグループオブジェクトとの距離が遠いほど、抽出する項目オブジェクトの適合率の範囲を狭くし、適合率の高い項目オブジェクトのみ抽出する。なお、本実施形態では、適合率の高い項目オブジェクトから順に抽出する設定となっているため、適合率の範囲が広くなると、適合率がより低い項目オブジェクトも抽出することになる。
まず、検索部60は、ステップS22で、オブジェクト吸着Aモードに移行したら、ステップS30として、キーオブジェクトと対象グループオブジェクトとの距離を算出する。ここで、キーオブジェクトは、操作者により移動しているため、キーオブジェクトの位置は、ステップS30での計算時に検出されるキーオブジェクトの位置となる。また、グループオブジェクトの基準とする位置は、グループオブジェクトの領域の予め設定してある位置であり、例えば、領域の中心や、領域の端部である。さらに対象グループオブジェクトとは、絞り込み検索を行う対象となるグループオブジェクトである。
検索部60は、ステップS30で距離を算出したら、ステップS32として、オブジェクト間(キーオブジェクトとグループオブジェクトと)の距離がD以内であるかを判定する。ここで、距離Dとは、キーオブジェクトとグループオブジェクトとの距離が所定以上離れている距離であり、絞り込み検索を行わないと設定されている距離である。
検索部60は、ステップS32でオブジェクト間の距離がD以内である(Yes)と判定したら、ステップS34として、吸着保留タイマーを停止する。なお、吸着保留タイマーは、オブジェクト間の距離がDよりも大きい場合に作動するタイマーである。詳しくは後ほど後述する。なお、対象グループオブジェクトが、後述する吸着保留モードである場合は、吸着保留タイマーを停止した後、後述する吸着モードに移行する。
検索部60は、ステップS34で吸着保留タイマーを停止させたら、ステップS36として、対象グループオブジェクトは、通常モードであるかを判定する。ここで、通常モードとは、初期状態のモードであり、グループオブジェクト内の項目オブジェクトの、キーオブジェクトに対する適合率が算出されていない状態である。検索部60は、ステップS36で対象グループオブジェクトが通常モードではない(No)と判定したらステップS42に進む。なお、ステップS36で通常モードでない場合は、吸着モードが選択されている。
検索部60は、ステップS36で、対象グループオブジェクトが通常モードである(Yes)と判定したら、ステップS38として、オブジェクト状態を吸着モードに移行する。つまり、オブジェクト状態を通常モードから吸着モードに移行する。検索部60は、ステップS38で吸着モードに移行したら、ステップS40として、対象グループオブジェクトをキーオブジェクトで検索する。具体的には、キーオブジェクトに対する適合率を、対象グループオブジェクトに所属する(含まれる)項目オブジェクト毎に算出する。
検索部60は、ステップS40で各項目オブジェクトの適合率を算出したら、または、ステップS36でNoと判定したら、ステップS42として、距離間から吸着する適合率を算出する。つまり、ステップS30で算出した、キーオブジェクトと対象グループオブジェクトとの距離に基づいて、キーオブジェクトに吸着させる適合率の範囲を算出する。ここで、適合率の範囲は、上述したように、距離が狭いほど広い範囲が算出され、遠いほど狭い範囲が算出される。
検索部60は、ステップS42で適合率の範囲を算出したら、ステップS44として吸着対象を取り出し表示する。つまり、グループオブジェクトに含まれる項目オブジェクトの中から、ステップS40で算出した適合率が、ステップS42で算出した適合率の範囲に含まれる項目オブジェクトを抽出し、抽出した項目オブジェクトを吸着対象として、キーオブジェクトの周囲に表示させる。検索部60は、ステップS44で、吸着対象をキーオブジェクトの周囲に表示させたら、ステップS52に進む。
次に、検索部60はステップS32でオブジェクト間の距離がD以内ではない(No)と判定したら、つまり、オブジェクト間の距離がDより大きいと判定したら、ステップS46として、対象グループオブジェクトが吸着モードであるかを判定する。検索部60は、ステップS46で吸着モードではない(No)と判定したら、ステップS52に進む。
検索部60は、ステップS46で吸着モードである(Yes)と判定したら、ステップS48として、オブジェクト状態を吸着保留モードに移行する。つまり対象グループオブジェクトのモードを吸着保留モードにする。ここで、吸着保留モードとは、適合率の範囲を算出や、対象グループオブジェクトから項目オブジェクトの抽出を行わない処理である。また、上述したように、対象グループオブジェクトとキーオブジェクトとが一定距離以上離れた状態となっている。
検索部60は、ステップS48で吸着保留モードに移行したら、ステップS50として、吸着保留タイマーのカウントを開始する。ここで、吸着保留タイマーとは、吸着保留モードから通常モードに移行するかの判定の基準となる計測手段である。なお、時間の計測は、装置に内蔵されている時間計測手段や、時間計測ソフトを利用することで実行することができる。検索部60は、ステップS50で、タイマーのカウントを開始したら、ステップS52に進む。なお、検索部60は、ステップS30から、ステップS52の直前までの処理をオブジェクト分繰り返して行う。つまり、対象グループオブジェクトが複数選択されている場合は、それぞれのグループに対して、上記処理を行う。
次に、検索部60は、ステップS46でNoと判定されたら、ステップS44またはステップS50の処理が終了したら、ステップS52として、吸着保留タイマーがタイムアウトしたかを判定する。なお、タイムアウトの基準となる時間は予め設定されている。
検索部60は、ステップS52でタイムアウトしていない(No)と判定したら、ステップS58に進む。検索部60は、ステップS52でタイムアウトした(Yes)と判定したら、ステップS54として、オブジェクト状態を通常モードに移行する。つまり、オブジェクト状態を吸着保留モードから通常モードに移行する。なお、吸着モードの場合は、吸着保留タイマーがカウントされないため、ステップS54には進まない。検索部60は、ステップS54で通常モードに移行したら、ステップS56として、対象グループオブジェクトの検索情報を破棄する。つまり、ステップS40で算出した、対象グループオブジェクトに含まれる各項目オブジェクトの、キーオブジェクトに対する適合率の情報を破棄する。その後、検索部60は、ステップS58に進む。
検索部60は、ステップS52でNoと判定したら、または、ステップS56の処理を終了したら、ステップS58としてドラッグ状態は解放されたかを判定する。つまり、操作者による入力デバイスへの入力が終了し、キーオブジェクトが選択されていない状態となっているかを判定する。検索部60は、ステップS58でドラッグ状態が解除されていない(No)と判定したら、ステップS30に進み上記処理を繰り返す。また、検索部60は、ステップS58で、ドラッグ状態が解除された(Yes)と判定したら、処理を終了する。
次に、図6−1から図6−5を用いて、具体的な操作例の一例を説明する。ここで、図6−1から図6−5は、それぞれオブジェクト吸着Aモードで操作が行われた場合の携帯電子通信機器の動作を説明するための説明図である。なお、図6−1から図6−5は、画面表示の一例を示している。また、図6−1から図6−5に示す説明図では、1つのグループオブジェクト及びそれに含まれる項目オブジェクトと、4つのAモードキーオブジェクトのみを示し、他のグループオブジェクト及びそれに含まれる項目オブジェクトとキーオブジェクトの図示は省略している。
まず、図6−1に示すように、キーオブジェクトの1つ、本実施形態では「単独」のキーオブジェクト106aに対応する領域が操作者によりタッチされると、検索部60は、「単独」のキーオブジェクト106aが選択されたと判定して、オブジェクト吸着Aモードに移行する。
次に、操作者により「単独」のキーオブジェクト106aが移動され、図6−2に示すように、キーオブジェクト106aとグループオブジェクト102aとの距離が一定距離以内となると、グループオブジェクト102aが吸着モードとなり、グループオブジェクト102aに含まれる各項目オブジェクトの、キーオブジェクト106aの検索条件に対する適合率を算出する。本実施形態では、項目オブジェクトが画像ファイルであり、キーオブジェクトが「単独」であるので、人物が単独で写っている画像ファイルであるかを判断基準として適合率(この場合は一致率にもなる)を算出する。なお、適合率の高さは、完全に一人で写っていると判定できる画像ファイルが適合率100%となり、不明瞭な状態になったり、小さく他の人物が写っていると判定できたりという画像ファイルでは、適合率が低くなる。また、画像に何か写っているかは、画像解析ソフト、顔認識システムを用いることで、自動的に解析することができる。検索部60は、各項目オブジェクトの適合率を算出したら、キーオブジェクト106aとグループオブジェクト102aとの距離に基づいて、吸着させる項目オブジェクトの適合率の範囲を算出し、グループオブジェクト102aの項目オブジェクトの中から、その適合率の範囲に含まれる適合率の項目オブジェクトを抽出し、図6−2に示すように、抽出した項目オブジェクト104aを、「単独」のキーオブジェクト106a側に移動させて、キーオブジェクト106aに吸着された状態とする。
また、「単独」のキーオブジェクト106aが図6−2に示す位置からさらにグループオブジェクト102a側に移動され、キーオブジェクト106aとグループオブジェクト102aとの距離が狭く(短く)なったら、吸着させる項目オブジェクトの適合率の範囲がより広く算出され、より適合率の低い項目オブジェクトも抽出され、図6−3に示すように、より多くの項目オブジェクト104bが「単独」のキーオブジェクト106aに吸着された状態となる。
次に、操作者が入力デバイス34から手を離し、入力デバイス34にタッチしていない状態としてドラッグ状態を解除すると、検索部60により抽出(吸着)される項目オブジェクトが確定される。つまり、抽出する項目オブジェクトの適合率の範囲が確定し、その適合率の範囲を満たす項目オブジェクトが抽出される。抽出された項目オブジェクトの集団は、新たなグループオブジェクト102bとなる。
次に、操作者が、図6−4に示すように、抽出した項目オブジェクトの集団にタッチして、抽出した項目オブジェクトの集団を元のグループオブジェクト102aから離すと、図6−5に示すように、新たなグループオブジェクト102bとして分離して表示される。また、このとき新たなグループオブジェクト102bは、元のグループオブジェクト102aの名称にキーオブジェクト106aの名称を加えたものとなる。つまり、抽出に用いた検索条件がグループオブジェクト102bの名称として表示される。これにより、グループオブジェクトの属性をわかりやすくすることができる。
次に、図7−1から図12を用いて、オブジェクト吸着Bモードについて説明する。図7−1及び図7−2は、オブジェクト吸着Bモードに移行した場合の携帯電子通信機器の処理動作の一例を示すフロー図である。ここで、オブジェクト吸着Bモードは、キーオブジェクトがグループオブジェクト内で移動した距離に応じて、グループオブジェクトの中から抽出する項目オブジェクトの適合率の範囲を変動させるモードである。つまり、キーオブジェクトがグループオブジェクト内で移動した距離に応じて、キーオブジェクトに吸着させる項目オブジェクトの適合率の閾値を変動させるモードである。具体的には、キーオブジェクトがグループオブジェクト内で移動した距離が長いほど、抽出する項目オブジェクトの適合率の範囲を広くし、適合率の低い項目オブジェクトも抽出し、キーオブジェクトがグループオブジェクト内で移動した距離が短いほど、抽出する項目オブジェクトの適合率の範囲を狭くし、適合率の高い項目オブジェクトのみ抽出する。なお、本実施形態でも、適合率の高い項目オブジェクトから順に抽出する設定となっているため、適合率の範囲が広くなると、適合率がより低い項目オブジェクトも抽出することになる。
まず、検索部60は、ステップS26でオブジェクト吸着Bモードに移行したら、ステップS60として、グループオブジェクトの領域内であるかを判定する。つまり、キーオブジェクトを操作している状態で、タッチ座標がグループオブジェクトの領域内であるかを判定する。すなわち、キーオブジェクトをグループオブジェクトの領域内まで移動させた状態であるかを判定する。
検索部60は、ステップS60でグループオブジェクトの領域内である(Yes)と判定したら、ステップS62として、吸着保留タイマーを停止する。なお、吸着保留タイマーとは、キーオブジェクトがグループオブジェクトの領域内にはない場合に時間がカウントされるタイマーであり、グループオブジェクトのオブジェクト状態が後述する吸着保留モードの場合に使用される。
検索部60は、ステップS62で吸着保留タイマーを停止させたら、ステップS64として、対象グループオブジェクトの状態(オブジェクト状態)は吸着モードかを判定する。ここで、対象グループオブジェクトとは、項目オブジェクトの抽出の対象となるグループオブジェクトである。また、吸着モードとは、グループオブジェクトに含まれる各項目オブジェクトの、キーオブジェクトに対する適合率が算出され、キーオブジェクトに対象グループオブジェクトを吸着させることができるモードである。なお、吸着モードは後述するステップS92、ステップS94の処理を行うことで移行可能となる。また、吸着保留モードの場合は、吸着保留タイマーを停止することで、吸着モードに移行する。
検索部60は、ステップS64で吸着モードである(Yes)と判定したら、ステップS66として、前回座標と現座標、前回時間と現時間から移動距離と速度を算出する。その後、検索部60は、ステップS68として、移動距離(もしくは速度)から減算する適合率を算出し、取得適合率に減算する。ここで、取得適合率とは、閾値となる適合率である。本実施形態では、適合率が高い項目オブジェクトから順に抽出させるため、移動距離に基づいて減算する適合率を算出して、下限値となる取得適合率を設定することで、抽出する項目オブジェクトの適合率の範囲を設定することができる。また、座標と時間の検出タイミングが同一であるため、移動距離と移動速度は、比例関係となるため、移動距離、速度のどちらを用いて算出しても算出される取得適合率は、同一となる。
検索部60は、ステップS68で取得適合率を算出したら、ステップS70として取得適合率以上の項目オブジェクトは存在するかを判定する。つまり、適合率の範囲に含まれる適合率の項目オブジェクトがあるかを判定する。検索部60は、ステップS70で、取得適合率以上の項目オブジェクトは存在する(Yes)と判定したら、ステップS72として、取得適合率以上の項目オブジェクトをキーオブジェクトに移動させる。つまり、適合率の範囲に含まれる適合率の項目オブジェクトをキーオブジェクトに吸着させる。その後、ステップS88に進む。また、検索部60は、ステップS70で、取得適合率以上の項目オブジェクトは存在しない(No)と判定したら、吸着させる項目オブジェクトは存在しないため、ステップS88に進む。なお、ステップS70、ステップS72で、対象となる項目オブジェクトは、前回処理分の差分の項目オブジェクトとしてもよい。つまり新たに吸着させる項目オブジェクトがあるか否かを判定し、新たに吸着させる項目オブジェクトがある場合は、キーオブジェクトに吸着させるようにしてもよい。
次に、検索部60は、ステップS64で吸着モードではない(No)と判定したら、ステップS74として、対象グループオブジェクトのオブジェクト状態は通常モードであるかを判定する。検索部60は、ステップS74で通常モードではない(No)と判定したら、ステップS88に進む。また、検索部60は、ステップS74で、通常モードである(Yes)と判定したら、ステップS76として、オブジェクト状態を吸着候補モードに移行し、ステップS78として、吸着候補タイマーのカウントを開始させた後、ステップS88に進む。ここで、吸着候補モードとは、通常モードから吸着モードに移行する間に設定されているモードである。吸着候補モードである間は、キーオブジェクトがグループオブジェクトの領域内あっても吸着は行われない。また、吸着候補モードで一定時間、キーオブジェクトがグループオブジェクトの領域内にあると吸着モードに移行する。これにより、吸着開始前に、キーオブジェクトを移動させるため、所望のグループオブジェクト以外のグループオブジェクトの領域を短時間で通過しても、通過したグループオブジェクトの項目オブジェクトを吸着させないようにすることができる。
次に、検索部60は、ステップS60でグループオブジェクトの領域内にはない(No)と判定したら、ステップS80として、吸着候補タイマーを停止する。検索部60は、ステップS80で吸着候補タイマーを停止させたら、ステップS82として、対象グループオブジェクトのオブジェクト状態は、吸着モードであるかを判定する。検索部60は、ステップS82で吸着モードでない(No)と判定したら、ステップS88に進む。また、検索部60は、ステップS82で吸着モードである(Yes)と判定したら、ステップS84として、オブジェクト状態を吸着保留モードに移行した後、ステップS86として、吸着保留タイマーを開始する。なお、ステップS84とステップS86は、図5に示すフロー図のステップS48とステップS50と同様の処理であるので、説明は省略する。なお、検索部60は、ステップS60から、ステップS88の直前までの処理をオブジェクト分繰り返して行う。つまり、対象グループオブジェクトが複数選択されている場合は、それぞれのグループに対して、上記処理を行う。
次に、検索部60は、ステップS70、ステップS74、ステップS82でNoと判定されたら、ステップS72、ステップS78、ステップS86の処理が終了したら、ステップS88として現座標を前回座標とし、現時間を前回座標に退避させる。つまり、座標と時間を更新する。検索部60は、ステップS88で座標と時間を更新したら、ステップS90として、吸着候補タイマーがタイムアウトしたかを判定する。つまり、キーオブジェクトが対象グループオブジェクトの領域に入った状態で一定時間以上経過したかを判定する。
検索部60は、ステップS90で、タイムアウトした(Yes)と判定したら、ステップS92として、オブジェクト状態を吸着モードに移行した後、ステップS94として、対象グループオブジェクトをキーオブジェクトで検索する。具体的には、キーオブジェクトに対する適合率を、対象グループオブジェクトに所属する(含まれる)項目オブジェクト毎に算出する。検索部60は、ステップS94で検索を行ったら、ステップS102に進む。
また、検索部60は、ステップS90でタイムアウトしていない(No)と判定したら、ステップS96として、吸着保留タイマーがタイムアウトしたかを判定する。検索部60は、ステップS96でタイムアウトしていない(No)と判定したら、ステップS102に進む。検索部60は、ステップS96でタイムアウトした(Yes)と判定したら、ステップS98として、オブジェクト状態を通常モードに移行する。つまり、オブジェクト状態を吸着保留モードから通常モードに移行する。次に、検索部60は、ステップS98で通常モードに移行したら、ステップS100として、対象グループオブジェクトの検索情報を破棄する。つまり、ステップS94で算出した、対象グループオブジェクトに含まれる各項目オブジェクトの、キーオブジェクトに対する適合率の情報を破棄する。その後、検索部60は、ステップS102に進む。
検索部60は、ステップS96でNoと判定したら、または、ステップS94、ステップS100の処理を終了したら、ステップS102としてドラッグ状態は解除されたかを判定する。つまり、操作者による入力デバイスへの入力が終了し、キーオブジェクトが選択されていない状態となっているかを判定する。検索部60は、ステップS102でドラッグ状態が解除されていない(No)と判定したらステップS60に進み上記処理を繰り返す。また、検索部60は、ステップS102で、ドラッグ状態が解除された(Yes)と判定したら、ステップS104に進む。
検索部60は、ステップS104として、対象グループオブジェクトは吸着モードであるかを判定する。検索部60は、ステップS104で吸着モードではない(No)と判定したらそのまま処理を終了する。
検索部60は、ステップS104で吸着モードである(Yes)と判定したら、ステップS106としてオブジェクト状態を叩きモードに移行し、ステップS108に進む。ここで、叩きモードとは、キーオブジェクトが対象グループオブジェクトの領域内にある状態で、入力デバイス34でタップ(クリック)処理を検出したら、取得適合率を変動させ、適合率の範囲を狭くするモードである。
検索部60は、ステップS108として、タッチされたかを判定する。つまり、操作者により入力デバイス34がタッチされたかを判定する。検索部60は、ステップS108でタッチされていない(No)と判定したら、ステップS120に進む。また、検索部60は、ステップS108でタッチされている(Yes)と判定したら、ステップS110として、タッチされたのは検索キーオブジェクト、つまり、絞り込み検索を行っているキーオブジェクトかを判定する。検索部60は、ステップS110で、キーオブジェクトがタッチされていない(No)、つまり別の部分がタッチされていると判定した場合は、処理を終了する。
検索部60は、ステップS110でキーオブジェクトがタッチされている(Yes)と判定したら、ステップS112として、叩き解除タイマーのカウントを開始する。ここで、叩き解除タイマーとは、叩きモードを解除するかの判定の基準となる計測手段である。検索部60は、ステップS112で叩き解除タイマーを開始したら、ステップS114として、取得適合率を加算する。具体的には、ステップS108で検出したタッチとその前のタッチの解除(ステップS104でドラッグ解除か、前回のステップS108でタッチが解除されたとき)との間隔に応じて、加算する取得適合率を算出する。本実施形態では、時間間隔が長いほど、加算する取得適合率(つまり、取得適合率を変化させる値)を大きくし、時間間隔が短いほど、加算する取得適合率を小さくする。つまり、時間間隔が長いほど、取得適合率を高くする変動幅を大きくして適合率の範囲を狭くし、時間間隔が短いほど、取得適合率を高くする変動幅を小さくして適合率の範囲をあまり狭くしない。
検索部60は、ステップS114で取得適合率を加算したら、ステップS116として、取得適合率以下の項目オブジェクトは存在するかを判定する。つまり、キーオブジェクトに吸着させている項目オブジェクトの中に、取得適合率以下(適合率の範囲に含まれない)の項目オブジェクトは存在するかを判定する。検索部60は、ステップS116で取得適合率以下の項目オブジェクトは存在しない(No)と判定したら、ステップS120に進む。また、検索部60は、ステップS116で取得適合率以下の項目オブジェクトは存在する(Yes)と判定したら、ステップS118として、取得適合率以下の項目ブジェクトを元のグループオブジェクトに移動させる。つまり、取得適合率以下の項目オブジェクトをキーオブジェクトに吸着させていた状態から、元のグループオブジェクトに所属している状態に戻す。検索部60は、その後、ステップS120に進む。
検索部60は、ステップS108、ステップS116でNoと判定されたら、また、ステップS118の処理を終了したら、ステップS120として、叩き解除タイマーはタイムアウトしたかを判定する。検索部60は、ステップS120でタイムアウトしていない(No)と判定したらステップS108に進み上記処理を繰り返し、タイムアウトしている(Yes)と判定したら、処理を終了する。つまり、検索部60は、タイムアウトするか、キーオブジェクト以外の領域がタッチされるまで、叩きモードの処理を繰り返し行う。
次に、図8−1から図12を用いて、具体的な操作例の一例を説明する。図8−1から図8−3は、それぞれオブジェクト吸着Bモードで操作が行われた場合の携帯電子通信機器の動作を説明するための説明図である。また、図9は、携帯電子通信機器の動作を説明するためのグラフである。また、図10−1、図10−2及び図11も、それぞれオブジェクト吸着Bモードで操作が行われた場合の携帯電子通信機器の動作を説明するための説明図である。また、図12は、携帯電子通信機器の動作を説明するためのグラフである。なお、図8−1から図8−3、図10−1、図10−2及び図11もそれぞれ、操作の対象に関係のあるグループオブジェクト、キーオブジェクトを表示させ、一部のグループオブジェクト、キーオブジェクトを省略した。
まず、図8−1に示すように、キーオブジェクトの1つ、本実施形態では「複数」のキーオブジェクト106bに対応する領域が操作者によりタッチされると、検索部60は、「複数」のキーオブジェクト106bが選択されたと判定して、オブジェクト吸着Bモードに移行する。
次に、操作者により「複数」のキーオブジェクト106bが移動される。このとき、キーオブジェクト106bが短時間で通過するとグループオブジェクト102aは、吸着モードにならないため、絞り込み検索は行われず、図8−2に示すように、キーオブジェクト106bには、項目オブジェクトが吸着されない。このように、短時間のみで通過した場合は吸着モードに移行しないように設定することで、キーオブジェクト106bでグループオブジェクト102cの絞り込み検索を行いたい場合でも、キーオブジェクト106bをグループオブジェクト102aの領域を迂回させるように移動させる必要がなくなる。
また、操作者により操作され、一定時間以上、一定速度以上でキーオブジェクト106bがグループオブジェクト102aの領域内を移動させられると、グループオブジェクト102aが吸着モードとなる。これにより、検索部60は、グループオブジェクト102aに含まれる各項目オブジェクトの、キーオブジェクト106bの検索条件に対する適合率を算出する。本実施形態では、項目オブジェクトが画像ファイルであり、キーオブジェクトが「複数」であるので、人物が複数で写っている画像ファイルであるかを判断基準として適合率(この場合は一致率にもなる)を算出する。なお、適合率の高さは、完全に複数で写っていると判定できる画像ファイルが適合率100%となり、不明瞭な状態になったり、人物と思われる対象が複数写っていると判定できたりという画像ファイルでは、適合率が低くなる。検索部60は、各項目オブジェクトの適合率を算出したら、キーオブジェクト106bの移動距離、移動速度に基づいて、取得適合率(つまり適合率の範囲)を算出し、グループオブジェクト102aの項目オブジェクトの中から、その適合率の範囲に含まれる適合率の項目オブジェクトを抽出し、図8−3に示すように、抽出した項目オブジェクト104cを、「複数」のキーオブジェクト106b側に移動させて、キーオブジェクト106bに吸着された状態とする。
ここで、取得適合率は、グループオブジェクトの領域内での移動距離、移動速度に応じて、図9に示すグラフのように変化する。具体的には、図9に示すように、グループオブジェクトの領域内に入って一定時間経過後の時間t1で、オブジェクト状態が吸着モードとなり、取得適合率の算出が開始する。その後、時間t1から時間t2の間のように、キーオブジェクトがゆっくり移動されている間は、取得適合率の変化の割合が小さく、つまり徐々に変化し、時間t2から時間t3の間のように、キーオブジェクトがはやく移動されている間は、取得適合率の変化の割合が大きく、つまり、取得適合率が大きく変化するする。これにより、操作者のキーオブジェクトの移動のさせ方により、適合率の範囲の変化のさせ方を調整することができ、操作性を高くすることができる。
次に、図10−1に示すように、グループオブジェクト内の項目オブジェクト104cがキーオブジェクト106bに吸着された状態で、キーオブジェクトをグループオブジェクトの領域の外に移動させた後、ドラッグ状態から解放させると、図10−2に示すように、新たなグループオブジェクト102dとして分離して表示される。また、このとき新たなグループオブジェクト102dは、元のグループオブジェクト102aの名称にキーオブジェクト106bの名称を加えたものとなる。つまり、抽出に用いた検索条件がグループオブジェクトの名称として表示される。これにより、グループオブジェクトの属性をわかりやすくすることができる。
また、図11に示すように、キーオブジェクト106bがグループオブジェクト102aの領域内にある状態で、キーオブジェクト106bをドラッグした状態から解放され、また、キーオブジェクト106bにタッチされると、つまり、キーオブジェクト106bがグループオブジェクト102aの領域内にある状態で、キーオブジェクト106bがクリックされると、検索部60は、取得適合率を算出しなおし、取得適合率をより高く変更する。これにより、キーオブジェクトに吸着されている項目オブジェクトのうち、取得適合率以下の適合率の項目オブジェクトは、吸着されている状態からグループオブジェクトに所属している状態に戻る。つまり、吸着されていない状態となる。このように、クリックされたら、取得適合率を高くするようにすることで、項目オブジェクトを吸着させすぎた場合に、適合率の低い項目オブジェクトを外すことができる。このため、処理を最初からやり直すことなく、所望の数の項目オブジェクトを吸着させることが可能となる。
ここで、キーオブジェクトのクリック(つまりタップ)により取得適合率を変化させる場合は、図12に示すように、クリックのタイミングによって、取得適合率の変化の割合(傾き)を変化させることが好ましい。例えば、図12に示すように、クリックの間隔がゆっくりの場合は、取得適合率の変化の割合(傾き)を緩やかに、つまり、取得適合率が徐々に上昇するようにし、クリックの間隔が早い(短い間隔でクリックされる)場合は、取得適合率の変化の割合(傾き)を急激に、つまり、取得適合率が急激に上昇するようにすることが好ましい。このように、クリックのタイミング(間隔)によって、取得適合率の変化の割合(傾き)を変化させることで、操作者が項目オブジェクトの吸着状態を簡単かつ適切に調整することが可能となり、操作性を高くすることができる。なお、上記実施形態では、クリックの間隔と時間に基づいて取得変化率を変化させたが、本発明はこれに限定されず、一回のクリックで変換させる取得適合率を予め設定しておき、クリックの回数に基づいて、取得適合率の変化量(変化させる割合)を決定するようにしてもよい。
携帯電子通信機器10は、このように、グループオブジェクトとキーオブジェクトとの位置関係に基づいて、抽出する項目オブジェクトの適合率の範囲を算出し、適合率の範囲を満たす項目オブジェクトを抽出するようにすることで、操作者が、視覚的に検索結果の状態を認識することができる。これにより、操作者の所望の検索結果を簡単に得ることが可能となる。また、操作者の操作により適合率の程度を簡単に調整することが可能となることで、操作者の操作性を高くすることができる。
また、抽出した項目オブジェクトをキーオブジェクトに吸着させて表示することで、抽出された項目オブジェクトの数を認識することが可能となり、この点でも操作性を高くすることができる。なお、本実施形態では、項目オブジェクトをキーオブジェクトに吸着させて表示することで、抽出されたことを示したが、本発明はこれに限定されない。キーオブジェクトの検索により項目オブジェクトが抽出されたことを視覚的に認識できればよく、抽出した項目オブジェクトの数を表示させるようにしてもよい。
また、グループオブジェクトは、所属している項目オブジェクトの数に比例して表示領域を設定することが好ましい。つまり、所属している項目オブジェクトの数が少ないグループオブジェクトは、より小さい領域で表示し、所属している項目オブジェクトの数が多いグループオブジェクトは、より大きい領域で表示するようにすることが好ましい。また、キーオブジェクトで吸着している項目オブジェクトの集合体の場合も同様に表示することが好ましい。これにより、項目オブジェクトの吸着状態を視覚で簡単に把握することができ、操作性を高くすることができる。
また、グループオブジェクト及び/または項目オブジェクトの集合体は、その表示領域の外周(輪郭線)に線を表示することが好ましい。このように、表示領域の外周を線で明示することで、表示領域の大きさを的確に把握することができ、操作者によるタッチ操作も適切に行うことが可能となる。
ここで、上記実施形態では、各項目オブジェクトの適合率を算出した後、適合率の範囲を算出したが、適合率の算出と、適合率の範囲の算出の処理の順番は、どちらでもよい。なお、計算量を少なくすることができるため、項目オブジェクトの適合率は、一度算出したら、破棄するまで、流用するようにすることが好ましい。また、本実施形態では、検索部で各項目オブジェクトの適合率を算出するようにしたが、本発明はこれに限定されない。各項目オブジェクトの適合率を求めることができればよく、ネットワーク等を介して外部の装置から供給された適合率の情報を用いるようにしてもよい。
また、上記実施形態では、画像ファイルを例として説明したが、上述したように、音楽ファイルの検索、ホームページの検索等にも用いることができる。さらに、通信先(連絡を取る相手先)の検索に用いるようにしてもよい。この場合は、グループオブジェクトが、いわゆるアドレス帳となり、項目オブジェクトが、個別アドレス(通信先特定オブジェクト)となる。また、この場合キーオブジェクトは、「アドレスの名前が、あ行」、電話番号の一部、メールアドレスの一部、アドレスのグループ等が例示される。なお、個別アドレスには、氏名や、電話番号、メールアドレス、住所等の情報が記憶されている。また、アドレス帳で検索した結果で抽出した個別アドレスに対して電話をかけるモードに移行するようにしてもよく、また、抽出した個別アドレスに対して送信するメールを作成するメール作成画面に移行するようにしてもよい。この場合は、抽出した個別アドレスの中から操作者の入力デバイスへの操作により選択された少なくとも1つの個別アドレスに記憶された情報に基づいて、特定された通信先に通信部で通信を行うことで、メールを送信したり、電話をかけたりする。
例えば、項目オブジェクトがアドレス帳データ内の電話番号を表す画像であった場合、ユーザーにより複数の項目オブジェクトから1つが選択されると、CPU22は、選択された項目オブジェクトに対応する電話番号との通話を要求する処理を実行する。また、項目オブジェクトがアドレス帳データ内のメールアドレスを表す画像であった場合、ユーザーにより複数の項目オブジェクトから1つが選択されると、CPU22は、選択された項目オブジェクトに対応するメールアドレスへ送信するメールを作成するための画面を表示デバイスに表示する。また、項目オブジェクトがWEBページのアドレス(URL:Uniform Resource Locator)を表す画像であった場合、ユーザーにより複数の項目オブジェクト14から1つが選択されると、CPU22は、選択された項目オブジェクトに対応するURLへの接続(リンク先のファイルのダウンロードし、ファイルに対応したアプリケーションプログラムを実行)する。
また、上記実施形態では、適合率をキーワードや条件との一致度に基づいて算出したが、本発明はこれに加え、閲覧回数や、人気度等のパラメータも加味して適合率を算出するようにしてもよい。
また、上記実施形態では、好適な態様として、タッチパネルを備えた携帯電話機を例として説明したが、これに限定されない。上述したように、各種通信機器に用いることができる。また通信部としては、基地局を介して公衆通信網と接続する通信部や、他の端末と直接通信する通信部が例示される。また、接続先は、サーバや、他の端末等が例示される。
また、上記実施形態では、表示デバイスとして液晶表示装置を用い、入力デバイスとしてタッチパネルを用いたが、これにも限定されない。例えば、表示デバイスとしてプロジェクタ等の投影表示手段を用い、入力デバイスとして、投影された画像の表示領域に入力される接触を検出する接触検出手段を用いてもよい。具体的には、操作者が表示領域に手をいれ、その手をオブジェクトが表示された領域に持っていき、その状態から表示領域内で手を動かす。このような手の動作を接触検出手段で検出することで、同様の制御を行うことができる。
ところで、絞り込み検索において、(1)抽出された項目オブジェクトを対象グループオブジェクト(以下、「抽出前グループオブジェクト」ともいう場合がある。)に含ませたくない(抽出された項目オブジェクトを抽出前グループオブジェクトから除きたい)場合と、(2)抽出された項目オブジェクトを抽出前グループオブジェクトに含ませたい(抽出された項目オブジェクトを抽出前グループオブジェクトから除きたくない)場合とが考えられる。
上記(1)の例として、例えば、図6−1〜図6−5、並びに、図8−1〜図8−3及び図10−1〜図10−2を参照すると、抽出された項目オブジェクトが、抽出前グループオブジェクトから除かれている。これは、例えば、抽出前グループオブジェクトに対して複数の絞り込み検索を順次実施し、抽出前グループオブジェクトに含まれる項目オブジェクトを徐々に減らして行って、抽出前グループオブジェクトに最後まで残った項目オブジェクトの中から所望の項目オブジェクトを見つけ出したい場合等に好適である。
一方、上記(2)は、例えば、抽出前グループオブジェクトに対して複数の絞り込み検索を別個独立に順次実施する場合等に好適である。
そこで、本実施形態においては、操作者が上記(1)、(2)を直感的、視覚的な操作で使い分けることが出来るようにすることとした。
図13は、携帯電子通信機器の処理動作の一例を示すフロー図である。図13のフロー図に示す処理は、図4、図5、図7−1、図7−2のフロー図に示す絞り込み検索処理の実行後に実行される。
まず、検索部60は、ステップS130として、抽出前グループオブジェクト又は抽出された項目オブジェクトの集団であるグループオブジェクト(以下、「抽出後グループオブジェクト」ともいう場合がある。)のドラッグ操作の開始であるかを判定する。
検索部60は、ステップS130で抽出前グループオブジェクト又は抽出後グループオブジェクトのドラッグ操作の開始である(Yes)と判定したら、ステップS132として、ドラッグ操作の対象が抽出後グループオブジェクトであるかを判定する。なお、検索部60は、各オブジェクトを現状の位置に表示させる。
検索部60は、ステップS132でドラッグ操作の対象が抽出後グループオブジェクトである(Yes)と判定したら、ステップS134として、ドラッグ操作対象を抽出後グループオブジェクトに設定し、その後、ステップS156として、グループオブジェクトの描画を更新し、処理をステップS130に戻す。なお、グループオブジェクトの描画の更新では、検索部60は、抽出後グループオブジェクトをドラッグされた位置に描画すること等を行う。
検索部60は、ステップS132でドラッグ操作の対象が抽出後グループオブジェクトではない(No)と判定したら、ステップS136として、ドラッグ操作対象を抽出前グループオブジェクトに設定し、その後、ステップS156として、グループオブジェクトの描画を更新し、処理をステップS130に戻す。なお、グループオブジェクトの描画の更新では、検索部60は、抽出前グループオブジェクトをドラッグされた位置に描画すること等を行う。
検索部60は、ステップS130で抽出前グループオブジェクト又は抽出後グループオブジェクトのドラッグ操作の開始ではない(No)と判定したら、ステップS138として、ドラッグ操作の途中であるかを判定する。
検索部60は、ステップS138でドラッグ操作の途中である(Yes)と判定したら、ステップS140として、ドラッグ操作の対象が抽出後グループオブジェクトであるかを判定する。
検索部60は、ステップS140でドラッグ操作の対象が抽出後グループオブジェクトではない(No)と判定したら、ステップS156として、グループオブジェクトの描画を更新し、処理をステップS130に戻す。
検索部60は、ステップS140でドラッグ操作の対象が抽出後グループオブジェクトである(Yes)と判定したら、ステップS142として、抽出後グループオブジェクトのドラッグ移動先が抽出前グループオブジェクトの表示領域内部であるかを判定する。なお、抽出後グループオブジェクトのドラッグ移動先が抽出前グループオブジェクトの表示領域内部であるか否かの判定基準として、例えば、操作者がタッチしている座標が抽出前グループオブジェクトの表示領域内部であるか否か、抽出後グループオブジェクトの表示領域と抽出前グループオブジェクトの表示領域とが重なっているか否か等を用いることができる。
検索部60は、ステップS142で抽出後グループオブジェクトのドラッグ移動先が抽出前グループオブジェクトの表示領域内部ではない(No)と判定したら、ステップS156として、グループオブジェクトの描画を更新し、処理をステップS130に戻す。
検索部60は、ステップS142で抽出後グループオブジェクトのドラッグ移動先が抽出前グループオブジェクトの表示領域内部である(Yes)と判定したら、ステップS144として、抽出前グループオブジェクト内に抽出後グループオブジェクト内の項目オブジェクトを複製(コピーを生成)し、その後、ステップS156として、グループオブジェクトの描画を更新し、処理をステップS130に戻す。なお、ステップS130〜ステップS156がループを構成しており、既に抽出前グループオブジェクト内に抽出後グループオブジェクト内の項目オブジェクトが複製されている場合には、検索部60は、再度の複製は行わない。
検索部60は、ステップS138で抽出前グループオブジェクト又は抽出後グループオブジェクトのドラッグ操作の途中ではない(No)と判定したら、ステップS146として、ドラッグ操作の完了であるかを判定する。
検索部60は、ステップS146でドラッグ操作の完了ではない(No)と判定したら、ステップS148として、ドラッグ操作の対象が抽出後グループオブジェクトであるかを判定する。
検索部60は、ステップS148でドラッグ操作の対象が抽出後グループオブジェクトではない(No)と判定したら、ステップS156として、グループオブジェクトの描画を更新し、処理をステップS130に戻す。
検索部60は、ステップS148でドラッグ操作の対象が抽出後グループオブジェクトである(Yes)と判定したら、ステップS150として、抽出後グループオブジェクトのドラッグ移動先が抽出前グループオブジェクトの表示領域内部であるかを判定する。
検索部60は、ステップS150で抽出後グループオブジェクトのドラッグ移動先が抽出前グループオブジェクトの表示領域内部である(Yes)と判定したら、ステップS152として、抽出後グループオブジェクトと抽出前グループオブジェクトとを合成する。これにより、抽出前グループオブジェクトは、絞り込み検索前の状態(元通り)になる。なお、抽出前グループオブジェクト内に抽出後グループオブジェクト内の項目オブジェクトが複製されている場合には、検索部60は、複製された項目オブジェクトを取り除く(削除する)。検索部60は、その後、ステップS156として、グループオブジェクトの描画を更新し、処理をステップS130に戻す。
検索部60は、ステップS150で抽出後グループオブジェクトのドラッグ移動先が抽出前グループオブジェクトの表示領域内部ではない(No)と判定したら、ステップS154として、抽出後グループオブジェクトを新たな抽出前グループオブジェクトとして生成(確定)し、その後、ステップS156として、グループオブジェクトの描画を更新し、処理をステップS130に戻す。
検索部60は、ステップS146でドラッグ操作の完了である(Yes)と判定したら、ステップS156として、グループオブジェクトの描画を更新し、処理をステップS130に戻す。
次に、図14−1から図14−6を用いて、具体的な操作例の一例を説明する。ここで、図14−1から図14−6は、オブジェクト吸着Aモードによって抽出された抽出後グループオブジェクトに対する操作が行われた場合の携帯電子通信機器の動作を説明するための説明図である。なお、図14−1から図14−6は、画面表示の一例を示している。また、図14−1から図14−6に示す説明図では、1つの抽出前グループオブジェクトと、1つの抽出後グループオブジェクトのみを示し、他のグループオブジェクト及びそれに含まれる項目オブジェクトとキーオブジェクトの図示は省略している。また、抽出前グループオブジェクトに含まれている項目オブジェクトの集合を「A」で示している。
まず、図14−1に示すように、キーオブジェクト106aが操作者によりタッチされると、検索部60は、キーオブジェクト106aが選択されたと判定して、オブジェクト吸着Aモードに移行する。
次に、操作者によりキーオブジェクト106aが移動され、図14−2に示すように、キーオブジェクト106aとグループオブジェクト102aとの距離が一定距離以内となると、グループオブジェクト102aが吸着モードとなり、グループオブジェクト102aに含まれる各項目オブジェクトの、キーオブジェクト106aの検索条件に対する適合率を算出する。
検索部60は、各項目オブジェクトの適合率を算出したら、キーオブジェクト106aとグループオブジェクト102aとの距離に基づいて、吸着させる項目オブジェクトの適合率の範囲を算出し、グループオブジェクト102aの項目オブジェクトの中から、その適合率の範囲に含まれる適合率の項目オブジェクトを抽出し、図14−2に示すように、抽出した項目オブジェクトの集合(ここでは、「C」で示している。)を、キーオブジェクト106a側に移動させて、キーオブジェクト106aに吸着された状態とする。
次に、操作者が入力デバイス34から手を離し、入力デバイス34にタッチしていない状態としてドラッグ状態を解除すると、検索部60により抽出(吸着)される項目オブジェクトが確定される。つまり、抽出する項目オブジェクトの適合率の範囲が確定し、その適合率の範囲を満たす項目オブジェクトが抽出される。抽出された項目オブジェクトの集団は、新たなグループオブジェクト(抽出後グループオブジェクト)102bとなる。
ここで、操作者が、図14−3に示すように、抽出後グループオブジェクト102bにタッチして、図14−4に示すように、抽出後グループオブジェクト102bを抽出前グループオブジェクト102aの表示領域内部にドラッグすると、抽出後グループオブジェクト102bに含まれている項目オブジェクトの集合「C」が抽出前グループオブジェクト102a内に複製(コピー)される。その後、操作者が、図14−5に示すように、抽出後グループオブジェクト102bを抽出前グループオブジェクト102aの表示領域外部にドラッグすると、抽出前グループオブジェクト102a内と抽出後グループオブジェクト102b内の両方に抽出された項目オブジェクトの集合「C」が含まれることとなる。
一方、図14−6において、操作者が、抽出後グループオブジェクト102bにタッチして、抽出後グループオブジェクト102bを抽出前グループオブジェクト102aの表示領域内部にドラッグすることなく抽出前グループオブジェクト102aの表示領域から遠ざかる方向にドラッグすると、抽出後グループオブジェクト102bに含まれている項目オブジェクトの集合「C」は抽出前グループオブジェクト102a内に複製(コピー)されない。つまり、抽出前グループオブジェクト102a内には、項目オブジェクトの集合「A−C」が含まれることとなる。
なお、ここでは、オブジェクト吸着Aモードによって抽出された抽出後グループオブジェクトに対する操作が行われた場合について説明したが、オブジェクト吸着Bモードによって抽出された抽出後グループオブジェクトに対しても同様に適用可能である。
携帯電子通信機器10は、このように、抽出後グループオブジェクトが移動された方向に基づいて、抽出された項目オブジェクトを抽出前グループオブジェクトに含ませるか否かを決定することで、操作者が、直感的、視覚的に抽出された項目オブジェクトを抽出前グループオブジェクトに含ませるか否かの操作を行うことが可能となる。これにより、抽出前グループオブジェクトに対して絞り込み検索を実行した後の抽出前グループオブジェクトに関する取り扱いの操作性をも高くすることができ、操作者の所望の検索結果を簡単に得ることが可能となる。例えば、抽出前グループオブジェクトに対して複数の絞り込み検索を別個独立に順次実施する場合の操作性を高くすることができる。
なお、本実施形態では、抽出後グループオブジェクトが抽出前グループオブジェクトの表示領域内に移動された後に抽出前グループオブジェクトの表示領域外に移動されたことを検出したら、抽出された項目オブジェクトが複製(コピー)されることとした例を示したが、本発明はこれに限定されない。例えば、抽出された項目オブジェクトを複製(コピー)することなく、抽出された項目オブジェクトを抽出後グループオブジェクト及び抽出前グループオブジェクトの両方から参照可能とすることで、抽出された項目オブジェクトを抽出後グループオブジェクト内及び抽出前グループオブジェクト内の両方に含ませる(表示させる)ようにすることとしても良い。
また、本実施形態では、抽出後グループオブジェクトの全体が抽出前グループオブジェクトの表示領域内に移動された後に抽出前グループオブジェクトの表示領域外に移動されたことを検出したら、抽出された項目オブジェクトを抽出後グループオブジェクト内及び抽出前グループオブジェクト内の両方に含ませる(表示させる)こととした例を示したが、本発明はこれに限定されない。例えば、抽出後グループオブジェクトの一部が抽出前グループオブジェクトの表示領域内に移動された後に抽出前グループオブジェクトの表示領域外に移動されたことを検出したら、抽出された項目オブジェクトを抽出後グループオブジェクト内及び抽出前グループオブジェクト内の両方に含ませる(表示させる)こととしても良い。
なお、本実施形態の携帯電子通信機器10は、WEBページを表示できるWEBブラウザを搭載し、当該WEBブラウザでWEBページの検索結果に対応する画像を表示デバイスに表示する携帯電子機器にも適用できる。この場合、項目オブジェクトは、URLを表す画像である。また、グループオブジェクトは、検索によって抽出されたURL群を囲う画像である。携帯電子機器1は、これらの画像を表示デバイスに表示し、1つの項目オブジェクトが表示されている領域に接触されて選択されると、選択された項目オブジェクトに対応するURLにより指定されるWEBページを通信部により取得して表示デバイスに表示する。