図1〜4は、本実施の形態に係る電子機器100の外観を示す斜視図である。電子機器100は、一種のコンピュータであって、例えば、開閉可能な携帯電話機である。電子機器100は、第1筐体1と第2筐体2とを備えている。図1は、閉じた状態(閉状態)の電子機器100を第1筐体1側から見た場合の図であり、図2は、閉じた状態の電子機器100を第2筐体2側から見た場合の図である。図3,4は、開いた状態(開状態)の電子機器100を示している。
ここで、電子機器100が閉じた状態とは、図1,2に示されるように、第1筐体1に設けられた第1表示部3aの第1表示画面4aが露出した状態で、第1筐体1と第2筐体2とが互いに重なるように配置された状態である。この場合、第1表示画面4aと、第2筐体2に設けられた第2表示部3bの第2表示画面4bとは、間をあけて重なり合った状態となるので、両者の成す角度は0度と言うことができる。
一方で、電子機器100が開いた状態とは、図3,4に示されるように、第1表示部3aの第1表示画面4aと、第2表示部3bの第2表示画面4bとが、同時に視認可能となるように、第1筐体1と第2筐体2とが重ならないように配置された状態である。図3に示される電子機器100は、第1表示画面4a及び第2表示画面4bが180度を成すように、言い換えれば、同一平面上に位置するように開いている。図4に示される電子機器100は、第1表示画面4a及び第2表示画面4bが0度よりも大きく180度よりも小さい角度を成すように開いている。
以後、図3に示されるように、第1表示画面4a及び第2表示画面4bが同一平面上に位置する状態を「フラット状態」と呼ぶ。また、図4に示されるように、第1表示画面4a及び第2表示画面4bが0度よりも大きく180度よりも小さい角度を成すように開いている状態を「チルト状態」と呼ぶ。
第1表示画面4aは、タッチパネルであって、ユーザの当該第1表示画面4aに対する画面操作を受け付ける。同様に、第2表示画面4bは、タッチパネルであって、ユーザの当該第2表示画面4bに対する画面操作を受け付ける。以後、第1表示部3a及び第2表示部3bを特に区別する必要がない場合には、それぞれを「表示部3」と呼び、それぞれの表示画面を「表示画面4」と呼ぶ。
第1筐体1と第2筐体2とは、ヒンジ部5及びアーム部6によって連結されている。ヒンジ部5は、第2筐体2に設けられている。アーム部6は、第2筐体2に対して角度変更可能となるようにヒンジ部5に接続されている。また、アーム部6は、第1筐体1に対して角度変更可能となるように当該第1筐体1に接続されている。電子機器100では、ヒンジ部5及びアーム部6の働きによって、図1,2の閉状態から、図4のチルト状態に遷移することができ、図4のチルト状態から図3のフラット状態に遷移することができる。また、電子機器100では、ヒンジ部5及びアーム部6の働きによって、図3のフラット状態から図4のチルト状態へ、図4のチルト状態から図1,2の閉状態へ遷移することが可能である。
第1筐体1には、第1表示部3a以外にも、音入力部7、第1音出力部8及び第1操作部10が設けられている。また、第2筐体2には、第2表示部3b以外にも、第2音出力部9、第2操作部11、第3操作部12、メモリカード挿入スロット13及び充電端子14が設けられている。
音入力部7はマイク及びアンプ等で構成されている。第1音出力部8及び第2音出力部9のそれぞれはスピーカ及びアンプ等で構成されている。第1音出力部8は通話用であって、その音量は、ユーザが第1音出力部8に耳を近づけることによって、当該第1音出力部8から出力される音が聞こえるような、比較的小さな音量となっている。一方で、第2音出力部9の音量は、電子機器100を持つユーザが耳を第2音出力部9に近づけなくてもそこから出力される音が聞こえるような、比較的大きな音量となっている。
第1操作部10は、ホームキー10a、メニューキー10b及びバックキー10cを備えている。これらの操作キーは、第1筐体1における、第1表示画面4a側の主面に設けられており、それぞれユーザの接触操作を受け付ける。ホームキー10aは、第1表示画面4aに、ホーム画面(初期画面)を表示するための操作キーである。メニューキー10bは、メニュー画面を表示するための操作キーである。バックキー10cは、第1表示画面4aの表示を一つ前の表示に戻すための操作キーである。
第2操作部11は、第1操作部10と同様に、ホームキー11a、メニューキー11b及びバックキー11cを備えている。これらのキーは、第2筐体2における、第2表示画面4b側の主面に設けられており、それぞれユーザの接触操作を受け付ける。ホームキー11a、メニューキー11b及びバックキー11cの機能は、第1操作部10のホームキー10a、メニューキー10b及びバックキー10cの機能と同様である。
第3操作部12は、電源キー12a及び調整キー12bを備えている。電源キー12aは電子機器100の電源をオンしたり、オフしたりするための操作キーである。調整キー12bは、表示画面4の輝度を調整したり、第1音出力部8及び第2音出力部9の音量を調整したりするための操作キーである。これらの操作キーは、第2筐体2の側面に設けられており、ユーザの押下操作を受け付ける。
メモリカード挿入スロット13には、カード状の記憶媒体であるメモリカードが挿入される。充電端子14には、電子機器100を充電するための充電器に接続されたケーブルが接続される。
<電気的構成>
図5は電子機器100の電気的構成を示すブロック図である。図5に示されるように、電子機器100は、上述の第1表示部3a及び第2表示部3bなどの構成要素以外にも、制御部20、無線通信部21、記憶部22及び電池23を備えている。
制御部20は、CPU(Central Processing Unit)及びDSP(Digital Signal Processor)などで構成されており、電子機器100の他の構成要素を制御することによって、電子機器100の動作を統括的に管理する。また、制御部20は、第1表示部3a、第2表示部3b、第1操作部10、第2操作部11及び第3操作部12が受け付けたユーザ操作に応じて、各種動作を行う。
記憶部22は、ROM(Read Only Memory)及びRAM(Random Access Memory)等で構成されている。記憶部22には、電子機器100を制御するための制御プログラムであるメインプログラム220及び複数のアプリケーションプログラム221(図では1つのアプリケーションプログラム221だけを示している)等が記憶されている。制御部20の各種機能は、制御部20のCPU及びDSPが記憶部22内の各種プログラムを実行することによって実現される。また記憶部22には、後述する対応関係テーブル222が記憶されている。この対応関係テーブル222は、後述する処理実行部200での処理で使用される。
無線通信部21は、電子機器100とは別の携帯電話機や、インターネットに接続されたウェブサーバ等の通信装置からの信号を、基地局を通じてアンテナ21aで受信する。無線通信部21は、受信信号に対して増幅処理やダウンコンバートを行って制御部20に出力する。制御部20は、入力された受信信号に対して復調処理等を行って、当該受信信号に含まれる、音声データ、画像データ等の各種データを取得する。また無線通信部21は、制御部20で生成された、音声データ等を含む送信信号に対してアップコンバートや増幅処理を行って、処理後の送信信号をアンテナ21aを通じて、電子機器100とは別の携帯電話機や、インターネットに接続された通信装置に向けて無線送信する。
音入力部7は、外部から入力される音声などの音を音データに変換して制御部20に出力する。第1音出力部8及び第2音出力部9のそれぞれは、制御部20からの音声データや音楽データ等の音データを音に変換して外部に出力する。
第1表示部3aと第2表示部3bとは同様の構成を有している。各表示部3は、例えば、カラー表示を行うバックライト方式の液晶表示部であって、液晶表示パネルと、それに光を照射するバックライトとを備えている。各表示部3は、制御部20による制御によって、その表示画面4に文字、記号、図形などの各種情報を表示する。なお、表示部3は、液晶表示部以外の表示部であっても良い。例えば、表示部3は、有機ELディスプレイであっても良いし、複数のLEDがマトリックス状に配列された表示部であっても良い。
電池23は、電子機器100の電源を生成する。電池23で生成された電源は、電子機器100が備える制御部20及び無線通信部21などに含まれる各電子部品に対して供給される。
記憶部22には様々なアプリケーションプログラム221(以後、単に「アプリケーション221」と呼ぶ)が記憶されている。記憶部22には、例えば、音声通信を行うための通話アプリケーション、ウェブサイトを表示するためのブラウザ、電子メールの作成・閲覧・送受信を行うためのメールアプリケーション、電子書籍を閲覧するための電子書籍閲覧アプリケーションなどが記憶されている。
制御部20のCPUあるいはDSPが、記憶部22内のアプリケーション221を読み出して実行すると、当該アプリケーション221が電子機器100内で起動する。アプリケーション221を実行している制御部20が、無線通信部21及び表示部3等の、電子機器100内の他の構成要素を制御することによって、当該アプリケーション221に対応する機能(音声通信を行う機能、ウェブサイトを表示する機能など)が電子機器100で実行される。
次に制御部20が有する複数の機能ブロックについて説明する。図6は当該複数の機能ブロックを示す図である。制御部20のCPUが記憶部22内のメインプログラム220を実行することによって、制御部20には、図6に示されるように、処理実行部200、画面操作特定部210及びキー操作特定部211などの機能ブロックが形成される。
画面操作特定部210は、第1表示画面4aが受け付けた画面操作の内容を特定する。例えば、画面操作特定部210は、第1表示画面4aに対して行われた画面操作が、第1表示画面4aのある部分を指で押す操作であることを特定したり、第1表示画面4aに対して指が接触した状態である部分から別の部分まで移動する操作であることを特定したりする。同様にして、画面操作特定部210は、第2表示画面4bが受け付けた画面操作の内容を特定する。
キー操作特定部211は、第1操作部10が備える複数の操作キーのうちどの操作キーが操作されたかを特定する。また、キー操作特定部211は、第2操作部11が備える複数の操作キーのうちどの操作キーが操作されたかを特定する。そして、キー操作特定部211は、第3操作部12が備える複数の操作キーのうちどの操作キーが操作されたかを特定する。
処理実行部200は、画面操作特定部210で特定された画面操作に応じた処理を実行するとともに、キー操作特定部211において特定されたキー操作に応じた処理を行う。処理実行部200は、アプリケーション実行部201、通信制御部202、音出力制御部203及び表示制御部204などを備えている。
アプリケーション実行部201は、記憶部22内のアプリケーション221を実行する。具体的には、アプリケーション実行部201は、画面操作特定部210が、表示画面4に対して、あるアプリケーション221の実行を指示する画面操作が行われたことを特定すると、記憶部22内の当該アプリケーション221を実行する。本実施の形態では、表示画面4に表示されるホーム画面には、アプリケーション221に対応するアイコンが示され、当該アイコンがユーザによって操作されると、当該アイコンに対応するアプリケーション221が実行される。このアイコンに対する操作が、表示画面4に対する、アプリケーション221の実行を指示する画面操作である。
音出力制御部203は第1音出力部8の音出力を制御する。音出力制御部203は、第1音出力部8に対して音データを出力して当該第1音出力部8に音を外部に出力させる。また、音出力制御部203は、第1音出力部8に対する音データの出力を停止して、当該第1音出力部8が音を外部に出力することを停止する。また、音出力制御部203は、第1音出力部8の音量を制御することが可能である。同様にして、音出力制御部203は第2音出力部9の音出力も制御する。
表示制御部204は、第1表示部3a及び第2表示部3bの表示を制御する。第1表示部3aは、表示制御部204による制御によって、第1表示画面4aに文字等の情報を表示する。同様に、第2表示部3bは、表示制御部204による制御によって、第2表示画面4bに文字等の情報を表示する。
通信制御部202は、無線通信部21を制御して、通信相手先と様々な通信を行う。例えば、通信制御部202は、通信相手の携帯電話機と、音声通信や電子メール通信を行う。音声通信を行う際には、通信制御部202は、音入力部7から入力される音声データを含む送信信号を生成し、当該送信信号を無線通信部21を通じて通信相手の携帯電話機に対して送信する。また、通信制御部202は、無線通信部21が受信した信号から音声データを取得して、当該音声データを第1音出力部8に出力する。また、通信制御部202はウェブサーバとデータ通信を行う。通信制御部202がウェブサーバから無線通信部21を通じて受信したウェブページは、表示制御部204の表示部3に対する制御により、当該表示部3の表示画面4に表示される。
<対応関係テーブルを用いた処理について>
次に、処理実行部200での対応関係テーブル222を用いた処理について説明する。図7は対応関係テーブル222の一例を示す図である。対応関係テーブル222は、表示画面4に表示されている情報を用いた処理と、当該処理の実行を指示する、表示画面4に対する画面操作とが対応付けられて登録された対応関係情報である。以後、表示画面4に表示されている情報、例えば、文字、記号、図形あるいは画像を用いた処理を「表示情報利用処理」と呼ぶ。また、表示情報利用処理の実行を指示する、表示画面4に対する画面操作を「実行指示操作」と呼ぶ。対応関係テーブル222では、複数の表示情報利用処理のそれぞれに対して、当該表示情報利用処理の実行を指示する実行指示操作が対応付けられている。
処理実行部200は、画面操作特定部210において、表示画面4に表示される情報を選択する画面操作が当該表示画面4に対して行われた後に、当該画面操作に続いて、表示画面4に対して実行指示操作が行われたことが特定されると、対応関係テーブル222において当該実行指示操作に対応付けられている表示情報利用処理を、当該画面操作によって選択された情報を用いて実行する。
以後、表示画面4に表示される情報を選択する、当該表示画面4に対する画面操作を「表示情報選択操作」と呼ぶ。また、表示情報選択操作によって選択された情報を「選択情報」と呼ぶ。表示情報選択操作としては、例えば、表示画面4において選択対象の情報が表示されている領域を画面操作手段でなぞり、その後、当該画面操作手段を当該表示画面4から離す操作が採用される。画面操作特定部210は、表示画面4において選択対象の情報が表示されている領域が画面操作手段でなぞられ、その後、当該画面操作手段が当該表示画面4から離れた時点で、表示情報選択操作が完了したと判断する。画面操作手段としては、ユーザの指あるいはユーザが所持するペン状部材などが挙げられる。
本実施の形態では、実行指示操作として、例えば、表示画面4に表示されている選択情報から所定方向に向かうスライド操作が採用されている。つまり、本実施の形態では、ユーザが、表示画面4に対して画面操作手段を接触させた状態で、当該画面操作手段を当該表示画面4に表示されている選択情報から所定方向に向かって移動する操作が、実行指示操作として採用されている。
対応関係テーブル222には、実行指示操作として、選択情報から向かう方向が互いに異なる複数種類のスライド操作が登録されている。図7の例では、対応関係テーブル222には、右上スライド操作、真上スライド操作、左上スライド操作、左下スライド操作、真下スライド操作及び右下スライド操作が登録されている。
ここで、「右上スライド操作」とは、表示画面4を見ているユーザが、画面操作手段を、選択情報から、当該ユーザにとっての右上方向に向かってスライドさせる操作である。「真上スライド操作」とは、表示画面4を見ているユーザが、画面操作手段を、選択情報から、当該ユーザにとっての真上方向に向かってスライドさせる操作である。「左上スライド操作」とは、表示画面4を見ているユーザが、画面操作手段を、選択情報から、当該ユーザにとっての左上方向に向かってスライドさせる操作である。「左下スライド操作」とは、表示画面4を見ているユーザが、画面操作手段を、選択情報から、当該ユーザにとっての左下方向に向かってスライドさせる操作である。「真下スライド操作」とは、表示画面4を見ているユーザが、画面操作手段を、選択情報から、当該ユーザにとっての真下方向に向かってスライドさせる操作である。そして、「右下スライド操作」とは、表示画面4を見ているユーザが、画面操作手段を、選択情報から、当該ユーザにとっての右下方向に向かってスライドさせる操作である。以後、右方向、左方向などの方向については、表示画面4を見ているユーザによっての方向を意味するものとする。
図7の例では、対応関係テーブル222においては、右上スライド操作に対して、選択情報をコピーする処理が対応付けられており、真上スライド操作に対して、選択情報を、当該選択情報が示されている文書内で検索する文書内検索が対応付けられている。また、対応関係テーブル222においては、左上スライド操作に対して、選択情報を検索サイトを利用してインターネット上で検索するネット検索が対応付けられており、左下スライド操作に対して、選択情報を辞書登録する処理が対応付けられている。そして、対応関係テーブル222においては、真下スライド操作に対して、選択情報を翻訳する処理(例えば英語に翻訳する処理)が対応付けられており、右下スライド操作に対して、選択情報を当該選択情報が示される文書から切り取る処理が対応付けられている。
図8は、図7に示される対応関係テーブル222での実行指示操作と表示情報利用処理との対応関係を視覚的に分かりやすくするために、当該対応関係テーブル222を円230を用いて図形化したものである。円230の中心点230aは、表示画面4上での選択情報の位置を示している。
図8に示されるように、円230は、中心点230aを基準にして上下に2分割されており、上側の半円と下側の半円のそれぞれが、3つの扇形領域230bに区分されている。そして、中心点230a(選択情報の位置)から右上方向の扇形領域230bには「コピー」の文字列が示されている。これにより、右上スライド操作に対しては、選択情報をコピーする処理が対応付けられていることが理解できる。
中心点230a(選択情報の位置)から真上方向の扇形領域230bには「文書内検索」の文字列が示されている。これにより、真上スライド操作に対しては、選択情報を、当該選択情報が示されている文書内で検索する文書内検索が対応付けられていることが理解できる。
中心点230a(選択情報の位置)から左上方向の扇形領域230bには「ネット検索」の文字列が示されている。これにより、左上スライド操作に対しては、選択情報を検索サイトを利用してインターネット上で検索するネット検索が対応付けられていることが理解できる。
中心点230a(選択情報の位置)から左下方向の扇形領域230bには「辞書登録」の文字列が示されている。これにより、左下スライド操作に対しては、選択情報を辞書登録する処理が対応付けられていることが理解できる。
中心点230a(選択情報の位置)から真下方向の扇形領域230bには「翻訳」の文字列が示されている。これにより、真下スライド操作に対しては、選択情報を翻訳する処理が対応付けられていることが理解できる。
そして、中心点230a(選択情報の位置)から右下方向の扇形領域230bには「切り取り」の文字列が示されている。これにより、右下スライド操作に対しては、選択情報を当該選択情報が示される文書から切り取る処理が対応付けられていることが理解できる。
なお、表示画面4に表示されている情報の選択解除は、例えば、表示画面4において当該情報が表示されている領域以外の領域に対してタップ操作が行われると実行される。つまり、処理実行部200は、画面操作特定部210において、表示情報選択操作が行われた後に、表示画面4において選択情報が表示されている領域以外の領域に対してタップ操作が行われたことが特定されると、当該表示情報選択操作によって選択された情報の選択を解除する。タップ操作とは、画面操作手段が、表示画面に対して接触してから、その接触箇所が変化せずに離れるまでの操作である。表示画面4に表示されている情報の選択が解除されている状態において、実行指示操作が表示画面4に対して行われたとしても、当該実行指示操作に対応する表示情報利用処理は行われない。
次に、表示画面4に対して表示情報選択操作が行われてから、当該表示情報選択操作によって選択された情報を用いた表示情報利用処理が実行されるまでの電子機器100での一連の動作について説明する。以下では、アプリケーション実行部201において、ウェブブラウザ、メールアプリケーションあるいは電子書籍閲覧アプリケーションなどが実行されている場合に表示画面4(第1表示画面4aあるいは第2表示画面4b)に表示される文字列がユーザによって選択される場合についての電子機器100の動作について説明する。以後、説明の対象となる表示画面4を「対象表示画面4」と呼ぶことがある。
図9に示されるように、ユーザが、自身の指250によって、対象表示画面4における、選択対象の文字列が表示されている領域を右方向になぞり、その後、指250を対象表示画面4から離すと、画面操作特定部210では、当該文字列を選択する表示情報選択操作が対象表示画面4に対して行われたことが特定される。そうすると、処理実行部200では、表示制御部204が、対象表示画面4を有する表示部3を制御して、図10に示されるように、対象表示画面4において、選択情報である選択された文字列260(以後、「選択文字列260」と呼ぶ)をハイライト表示(強調表示)する。
ユーザが、表示情報選択操作に続いて、図11に示されるように、自身の指250を対象表示画面4に接触させた状態で、選択文字列260から右上方向にスライドさせると、画面操作特定部210では、対象表示画面4に対して、表示情報選択操作に続いて右上スライド操作が行われたことが特定される。そうすると、処理実行部200は、対応関係テーブル222を参照して、右上スライド操作に対応する表示情報利用処理を選択文字列260を用いて実行する。具体的には、処理実行部200は、選択文字列260をコピーして、記憶部22に記憶する。
処理実行部200では、表示情報利用処理が完了すると、対象表示画面4を有する表示部3が、表示制御部204による制御によって、図12に示されるように、表示情報利用処理が完了したことを示す処理完了通知情報270、ここでは、選択文字列260のコピーが完了したことを示す処理完了通知情報270を対象表示画面4に表示する。対象表示画面4を有する表示部3は、対象表示画面4において、処理完了通知情報270が一定時間表示されると、当該処理完了通知情報270の表示を消去する。これにより、処理完了通知情報270は一定時間表示された後に、自動的に消去される。
図13は、ユーザが、対象表示画面4に対して、表示情報選択操作に続いて、右下スライド操作を行う様子を示す図である。図13に示されるように、ユーザが、表示情報選択操作に続いて、自身の指250を対象表示画面4に接触させた状態で、選択文字列260から右下方向にスライドさせると、画面操作特定部210では、対象表示画面4に対して、表示情報選択操作に続いて右下スライド操作が行われたことが特定される。そうすると、処理実行部200は、対応関係テーブル222を参照して、右下スライド操作に対応する切り出し処理を選択文字列260を用いて実行する。具体的には、処理実行部200は、選択文字列260を、当該選択文字列260を示す文書から切り取る。
処理実行部200では、切り出し処理が完了すると、対象表示画面4を有する表示部3が、表示制御部204による制御によって、図14に示されるように、対象表示画面4において、切り出し処理が完了したことを示す処理完了通知情報270を対象表示画面4に表示する。この処理完了通知情報270は、一定時間表示された後に、自動的に消去される。
図15は、ユーザが、対象表示画面4に対して、表示情報選択操作に続いて、真下スライド操作を行う様子を示す図である。図15に示されるように、ユーザが、表示情報選択操作に続いて、自身の指250を対象表示画面4に接触させた状態で、選択文字列260から真下方向にスライドさせると、画面操作特定部210では、対象表示画面4に対して、表示情報選択操作に続いて真下スライド操作が行われたことが特定される。そうすると、処理実行部200は、対応関係テーブル222を参照して、真下スライド操作に対応する翻訳処理を選択文字列260を用いて実行する。具体的には、処理実行部200は、選択文字列260を英語に翻訳する。
処理実行部200では、翻訳処理が完了すると、対象表示画面4を有する表示部3が、表示制御部204による制御によって、図16に示されるように、表示情報利用処理の処理結果を示す処理結果通知情報280、ここでは、選択文字列260の翻訳結果(選択文字列260の英語訳)を示す処理結果通知情報280を対象表示画面4に表示する。
ここで、処理結果通知情報280が、処理完了通知情報270と同様にして、一定時間表示された後に自動的に消去されると、ユーザは、電子機器100に実行させた表示情報利用処理の処理結果を十分に確認できない可能性がある。そこで、本実施の形態では、処理結果通知情報280の表示をユーザの意志によって消去できるようにしている。具体的には、図16に示されるように、対象表示画面4には、処理結果通知情報280とともに、その表示を消去するための表示消去ボタン280aが表示されている。画面操作特定部210において、表示消去ボタン280aがユーザによって操作されたことが特定されると、対象表示画面4を有する表示部3は、表示制御部204の制御によって、処理結果通知情報280の表示を消去する。
なお、表示消去ボタン280aを設ける代わりに、ユーザが、表示画面4において、選択文字列260が表示されている領域及び処理結果通知情報280が表示されている領域を除く領域に対してタップ操作を行うと、当該処理結果通知情報280の表示を消去しても良い。
図17は、ユーザが、対象表示画面4に対して、表示情報選択操作に続いて、真上スライド操作を行う様子を示す図である。図17に示されるように、ユーザが、表示情報選択操作に続いて、自身の指250を対象表示画面4に接触させた状態で、選択文字列260から真上方向にスライドさせると、画面操作特定部210では、対象表示画面4に対して、表示情報選択操作に続いて真上スライド操作が行われたことが特定される。そうすると、処理実行部200は、対応関係テーブル222を参照して、真上スライド操作に対応する文書内検索を選択文字列260を用いて実行する。具体的には、処理実行部200は、選択文字列260を、当該選択文字列260を示す文書内において検索する。
処理実行部200では、文書内検索が完了すると、対象表示画面4を有する表示部3が、表示制御部204による制御によって、図18に示されるように、対象表示画面4において、文書内検索が完了したことを示す処理完了通知情報270を対象表示画面4に表示する。処理完了通知情報270は、一定時間表示された後に、自動的に消去される。
さらに、対象表示画面4には、選択文字列260の文書内検索の結果が示される。具体的には、図18に示されるように、選択文字列260を含む文書において、選択文字列260と一致する文字列290がハイライト表示される。このとき、選択文字列260と、それに一致する文字列290とを、異なる態様でハイライト表示しても良い。
図19は、ユーザが、対象表示画面4に対して、表示情報選択操作に続いて、左上スライド操作を行う様子を示す図である。図19に示されるように、ユーザが、表示情報選択操作に続いて、自身の指250を対象表示画面4に接触させた状態で、選択文字列260から左上方向にスライドさせると、画面操作特定部210では、対象表示画面4に対して、表示情報選択操作に続いて左上スライド操作が行われたことが特定される。そうすると、処理実行部200は、対応関係テーブル222を参照して、左上スライド操作に対応するネット検索を選択文字列260を用いて実行する。具体的には、処理実行部200は、選択文字列260を検索サイトを利用してインターネット上で検索する。
処理実行部200では、ネット検索が完了すると、対象表示画面4を有する表示部3が、表示制御部204による制御によって、図20に示されるように、ネット検索の処理結果を示す処理結果通知情報280を対象表示画面4に表示する。図20の例では、処理結果通知情報280として、検索キーワードとして選択文字列260が入力された際の検索結果を示す検索サイトのサムネイルが表示されている。この処理結果通知情報280については、図16の例と同様に、画面操作特定部210において、表示消去ボタン280aがユーザによって操作されたことが特定されると対象表示画面4から消去される。この場合であっても、表示消去ボタン280aを設ける代わりに、ユーザが、表示画面4において、選択文字列260が表示されている領域及び処理結果通知情報280が表示されている領域を除く領域に対してタップ操作を行うと、当該処理結果通知情報280の表示を消去しても良い。
なお、処理結果通知情報280として、ウェブブラウザを利用して、検索キーワードとして選択文字列260が入力された際の検索結果を示す検索サイトをそのまま表示画面4に表示しても良い。
また、ネット検索において使用する検索サイトが画像検索サイトである場合には、処理結果通知情報280として、当該画像検索サイトにおいて、検索キーワードとして選択文字列260が入力された際の検索結果として得られる画像のサムネイルを表示しても良い。
図21は、ユーザが、対象表示画面4に対して、表示情報選択操作に続いて、左下スライド操作を行う様子を示す図である。図21に示されるように、ユーザが、表示情報選択操作に続いて、自身の指250を対象表示画面4に接触させた状態で、選択文字列260から左下方向にスライドさせると、画面操作特定部210では、対象表示画面4に対して、表示情報選択操作に続いて左下スライド操作が行われたことが特定される。そうすると、処理実行部200は、対応関係テーブル222を参照して、左下スライド操作に対応する辞書登録処理を選択文字列260を用いて実行する。具体的には、処理実行部200は、選択文字列260を、記憶部22に記憶されている辞書データベースに登録する。
処理実行部200では、辞書登録処理が完了すると、対象表示画面4を有する表示部3が、表示制御部204による制御によって、図22に示されるように、対象表示画面4において、辞書登録処理が完了したことを示す処理完了通知情報270を対象表示画面4に表示する。処理完了通知情報270は、一定時間表示された後に、自動的に消去される。
なお、上記の例では、選択情報が文字である場合での電子機器100の動作について説明したが、選択情報が記号である場合、選択情報が図形である場合、選択情報が画像である場合であっても、電子機器100は同様にして選択情報を用いて表示情報利用処理を行う。
ただし、選択情報が図形あるいは画像である場合には、選択情報を辞書登録したり、選択情報を翻訳することはできないことから、本実施の形態では、このような場合には、表示画面4に対する左下スライド操作と真下スライド操作は無効となっている。具体的には、選択情報が図形あるいは画像である場合には、画面操作特定部210において、表示画面4に対して左下スライド操作が行われたことが特定されても、処理実行部200は、当該左下スライド操作に対応する表示情報利用処理を行わない。また、選択情報が図形あるいは画像である場合には、画面操作特定部210において、表示画面4に対して真下スライド操作が行われたことが特定されても、処理実行部200は、当該真下スライド操作に対応する表示情報利用処理を行わない。
また、ウェブサイトや電子書籍に示されている文字等の情報については、切り取り処理が禁止されている場合もある。また、文書ファイルを作成するアプリケーションの種類によっては、当該アプリケーションを用いて作成した文書内の文字等のコピー等を禁止することができる機能が存在し、表示情報選択操作によって選択された情報のコピー等ができないことがある。
本実施の形態では、表示情報選択操作に続けて実行指示操作が行われた場合において、当該表示情報選択操作によって選択された情報を用いて、当該実行指示操作に対応する表示情報利用処理を行うことが禁止されている際には、処理実行部200では、当該表示情報利用処理は実行されない。このとき、図23に示されるように、実行指示操作が行われた後、それに対応する表示情報利用処理を行うことができないことを通知する実行不可通知情報300を表示画面4に表示しても良い。なお、上記のように、選択情報が図形あるいは画像である場合に、表示画面4に対して左下スライド操作あるいは真下スライド操作が行われた場合にも同様に、当該表示画面4に実行不可通知情報300を表示しても良い。
<実行指示操作の特定方法の詳細について>
本実施の形態では、画面操作特定部210は、表示画面4に対してスライド操作が行われると直ちに表示画面4に対して実行指示操作が行われたと特定するのではなく、表示画面4に対して所定距離以上スライド操作が行われると、表示画面4に対して実行指示操作が行われたと特定するようになっている。つまり、本実施の形態に係る実行指示操作は、単なるスライド操作ではなく、所定距離以上のスライド操作となっている。これにより、ユーザが意図しない操作を行ったとしたとしても、所定距離以上のスライド操作でなければ反応することがないことから、操作性が向上する。以下に、画面操作特定部210での実行指示操作の特定方法について図24を用いて詳細に説明する。図24は画面操作特定部210の動作を説明するための図である。
ユーザは、表示情報選択操作を行った後、実行指示操作を行うために、まず、表示画面4において選択情報(図24の例では選択文字列260)が表示されている領域310に対して画面操作手段(指あるいはペン状部材など)を接触させる。画面操作特定部210は、この画面操作手段の接触点を中心点320とした所定半径の円330を考える。そして、画面操作特定部210は、円330を中心点320を基準にして上下に2分割し、それによって得られる上側の半円と下側の半円のそれぞれを3つの扇形領域330aに区分する。画面操作特定部210は、表示画面4での画面操作手段の接触点が中心点320から移動すると、その接触点が移動する扇形領域330aを特定することによって、当該画面操作手段のスライド方向、つまり、実行指示操作として、どの方向へのスライド操作が行われているかを特定する。例えば、画面操作特定部210は、表示画面4での画面操作手段の接触点が、中心点320の右上の扇形領域330aを移動している場合には、実行指示操作として、選択情報から右上方向に向かうスライド操作(右上スライド操作)が行われていると判定する。そして、画面操作特定部210は、図24の矢印350に示されるように、表示画面4での画面操作手段の接触点が扇形領域330aを通って円330の外側まで移動すると、表示画面4に対して実行指示操作が行われた(完了した)と判定する。このとき、画面操作特定部210は、表示画面4での画面操作手段の接触点が円330の外側まで移動して、当該画面操作手段が当該表示画面4から離れたときに、当該表示画面4に対して実行指示操作が行われたと判定しても良い。つまり、画面操作手段が表示画面4から離れるまでをスライド操作に含めても良い。処理実行部200では、画面操作特定部210において特定された実行指示操作に応じた表示情報利用処理が行われる。
一方で、画面操作特定部210は、図24の矢印360に示されるように、表示画面4での画面操作手段の接触点が円330の外側まで移動せずに、当該画面操作手段が表示画面4から離れたときには、表示画面4に対して実行指示操作が行われなかった(完了しなかった)と判定する。この場合には、処理実行部200では、選択情報を使用した表示情報利用処理は行われない。
なお、表示画面4での画面操作手段の接触点が円330の外側まで移動せずに、当該画面操作手段が表示画面4から離れた場合には、選択情報の選択を解除しても良いし、選択情報の選択を維持しても良い。選択情報の選択が解除される場合には、ユーザは、あらためて表示情報選択操作を行って上で、実行指示操作を行うことになる。一方で、選択情報の選択が維持される場合には、ユーザは、あらためて表示情報選択操作を行うことなく、実行指示操作を行うことができる。
<実行指示操作と表示情報利用処理との対応関係の設定方法について>
本実施の形態では、上述の対応関係テーブル222での実行指示操作と表示情報利用処理との対応関係をユーザが設定することが可能となっている。以下に、実行指示操作と表示情報利用処理との対応関係の設定方法について説明する。
図25は、対応関係テーブルでの実行指示操作と表示情報利用処理との対応関係を設定する際に使用されるテーブル設定画面400が表示画面4に表示されている様子を示す図である。メニューキー10bあるいはメニューキー11bが操作されると、第1筐体1及び第2筐体2のうち、操作されたメニューキーが設けられた筐体から露出する表示画面4にメニュー画面が表示される。このメニュー画面には、電子機器100に対して各種設定を行うための設定ボタンが表示される。ユーザが設定ボタンを操作すると、表示画面4には設定項目ごとの設定項目ボタンが表示される。この設定項目ボタンの中に、実行指示操作と表示情報利用処理との対応関係を設定するための設定項目ボタンが含まれており、ユーザがこの設定項目ボタンを操作すると、図25に示されるテーブル設定画面400が表示画面4に表示される。
図25に示されるように、テーブル設定画面400では、右側に対応関係テーブル222に登録することが可能な複数の表示情報利用処理の名称が示されており、左側に円410が示されている。円410においては、上側の半円と下側の半円のそれぞれが3つの扇形領域410aに区分されている。円410を構成する6つの扇形領域410aは、対応関係テーブル222に登録することが可能な6種類の実行指示操作、本例では6種類のスライド操作にそれぞれ対応している。具体的には、円410の中心点410bから見て右上、真上及び左上に位置する扇形領域410aは、それぞれ、右上スライド操作、真上スライド操作及び左上スライド操作にそれぞれ対応している。そして、円410の中心点410bから見て左下、真下及び右下に位置する扇形領域410aは、それぞれ、左下スライド操作、真下スライド操作及び右下スライド操作にそれぞれ対応している。
ユーザは、ある表示情報利用処理を、ある実行指示操作に対応付けようとする際には、テーブル設定画面400において、当該表示情報利用処理の名称が示されている領域に対して画面操作手段を接触させて、その後、当該画面操作手段を、当該実行指示操作に対応する扇形領域410aまでスライドさせる。処理実行部200は、画面操作特定部210においてこのようなスライド操作が特定されると、対応関係テーブル222に対して、当該表示情報利用処理と当該実行指示操作とを対応付けて登録する。
図26は、ユーザが自身の指250を使用して「コピー」と「右上スライド操作」とを対応付けようとしている様子を示す図である。図26に示されるように、ユーザが、テーブル設定画面400において「コピー」という文字列が示される領域460aに対して指250を接触させて、その後、当該指250を、「右上スライド操作」に対応する扇形領域410aまでスライドさせると、対応関係テーブル222に対して、「コピー」と「右上スライド操作」とが対応付けられて登録される。そうすると、図27に示されるように、「右上スライド操作」に対応する扇形領域410aには、「コピー」という文字列が示されるようになる。
その後、図28に示されるように、ユーザが、テーブル設定画面400において「文書内検索」という文字列が示される領域460bに対して指250を接触させて、その後、当該指250を、「真上スライド操作」に対応する扇形領域410aまでスライドさせると、対応関係テーブル222に対して、「文書内検索」と「真上スライド操作」とが対応付けられて登録される。そうすると、図29に示されるように、「真上スライド操作」に対応する扇形領域410aには、「文書内検索」という文字列が示されるようになる。
その後、同様にして、「ネット検索」と「左上スライド操作」とが対応付けられ、「辞書登録」と「左下スライド操作」とが対応付けられ、「翻訳」と「真下スライド操作」とが対応付けられ、「切り取り」と「右下スライド操作」とが対応付けられると、テーブル設定画面400の表示は図30のようになる。これにより、上述の図7に示されるよう対応関係テーブル222が生成される。
以上のように、本実施の形態に係る電子機器100では、表示画面4に対して、表示情報選択操作に続けて実行指示操作が行われると、対応関係テーブル222において当該実行指示操作に対応付けられている表示情報利用処理が、選択情報を用いて実行される。したがって、ユーザは、表示画面4に表示されている情報を選択した後に、当該表示画面4に対する簡単な操作で、当該情報を使用した所望の表示情報利用処理を電子機器100に実行させることができる。よって、電子機器100の操作性が向上する。
これに対して、ユーザがマウスを利用してパーソナルコンピュータにコピー等の処理を行うように指示を与える場合には、ユーザは、マウスを使用して表示画面に表示される情報を選択する操作を行った後に、マウスに対して右クリックを行って、パーソナルコンピュータに実行させたい処理を選択するためのコンテキストメニューを表示させる必要がある。そして、ユーザは、表示されたコンテキストメニューから、パーソナルコンピュータに実行させたい処理を選択することになる。つまり、この場合には、ユーザは、表示画面に表示される情報を選択する操作を行った後に、パーソナルコンピュータに実行させたい処理を選択するためのコンテキストメニューを表示する操作を行う必要がある。
本実施の形態では、ユーザは、表示画面4に表示されている情報を選択した後には実行指示操作を行うだけで表示情報利用処理を電子機器100に実行させることができることから、コンテキストメニューを表示する操作を行うことなく所望の処理を電子機器100に実行させることができる。
また、本実施の形態では、実行指示操作としてスライド操作が採用されているため、ユーザは簡単な操作によって表示情報利用処理の実行を電子機器100に対して指示することができる。
また、本実施の形態では、対応関係テーブル222には、向かう方向が互いに異なる複数種類のスライド操作が登録されているため、ユーザは、スライド操作の方向を変えるだけで、電子機器100に実行させる情報表示利用処理を変更することができる。よって、電子機器100の操作性がさらに向上する。
<各種変形例>
<第1変形例>
上記の例では、実行指示操作としてスライド操作を採用したが、他の画面操作を採用しても良い。例えば、フリック操作を実行指示操作として採用しても良い。ここで、フリック操作とは、画面操作手段が表示画面に対して接触してから離れるまでの時間が所定時間内であって、かつ画面操作手段が表示画面に対して接触してから離れるまで所定距離以上移動する操作である。
実行指示操作としてフリック操作が採用される場合には、対応関係テーブル222に対して、右上スライド操作、真上スライド操作、左上スライド操作、左下スライド操作、真下スライド操作及び右下スライド操作の代わりに、右上方向へのフリック操作、真上方向へのフリック操作、左上方向へのフリック操作、左下方向へのフリック操作、真下方向へのフリック操作及び右下方向へのフリック操作がそれぞれ登録される。
このように、実行指示操作としてフリック操作を採用する場合にも、ユーザは簡単な操作によって表示情報利用処理の実行を電子機器100に対して指示することができる。
また、対応関係テーブル222に対して、向かう方向が互いに異なる複数種類のフリック操作を登録することによって、ユーザは、フリック操作の方向を変えるだけで、電子機器100に実行させる情報表示利用処理を変更することができる。よって、電子機器100の操作性がさらに向上する。
<第2変形例>
上記の例では、対応関係テーブル222に対して、6つの表示情報利用処理を登録したが、6つよりも少ない数の表示情報利用処理を登録しても良いし、6つよりも多い数の表示情報利用処理を登録しても良い。
また、表示情報利用処理については、図7に示される処理以外の処理を対応関係テーブル222に登録しても良い。例えば、選択情報をフランス語に翻訳する処理あるいは選択情報を韓国語に翻訳する処理などを対応関係テーブル222に登録しても良い。
図31は、対応関係テーブル222において、「コピー」と「翻訳」の2つの表示情報利用処理だけが登録されている様子を示す図である。図31に示される対応関係テーブル222では、「コピー」と「上スライド操作」とが対応付けられており、「翻訳」と「下スライド操作」とが対応付けられている。ここで、「上スライド操作」とは、ユーザが画面操作手段を選択情報から上方向に向かってスライドさせる操作である。また「下スライド操作」とは、ユーザが画面操作手段を選択情報から下方向に向かってスライドさせる操作である。
図32は、上述の図8と同様に、図31に示される対応関係テーブル222での実行指示操作と表示情報利用処理との対応関係を視覚的に分かりやすくするために、当該対応関係テーブル222を円500を用いて図形化したものである。円500の中心点500aは、表示画面4上での選択情報の位置を示している。
図32に示されるように、円500は中心点500aを基準にして上下に2分割されており、中心点500a(選択情報の位置)の上側の半円500bに「コピー」の文字列が示されており、中心点500a(選択情報の位置)の下側の半円500cに「翻訳」の文字列が示されている。これにより、上スライド操作に対しては、選択情報をコピーする処理が対応付けられており、下スライド操作に対しては、選択情報を翻訳する処理が対応付けられていることが理解できる。
図33は、図31に示される対応関係テーブル222が使用される際の画面操作特定部210での実行指示操作の特定方法を説明するための図である。
上述のように、ユーザは、表示情報選択操作を行った後、実行指示操作を行うために、まず、表示画面4において選択情報(図33の例では選択文字列260)が表示されている領域510に対して画面操作手段を接触させる。画面操作特定部210は、この画面操作手段の接触点を中心点520とした所定半径の円530を考える。そして、画面操作特定部210は、中心点520を基準にして円530を上下2つの半円530aに区分する。画面操作特定部210は、図33の矢印550に示されるように、表示画面4での画面操作手段の接触点が中心点520から上側の半円530a内を移動して円530の外側まで移動すると、表示画面4に対して上スライド操作が行われたと判定する。つまり、ユーザが、画面操作手段を中心点520から上側の半円530a内を通って円530の外側までスライドさせると、画面操作特定部210は、表示画面4に対して上スライド操作が行われたと判定する。処理実行部200では、画面操作特定部210で特定された上スライド操作に対応するコピー処理が行われる。
これに対して、図33の矢印560に示されるように、表示画面4での画面操作手段の接触点が中心点520から下側の半円530a内を移動して円530の外側まで移動すると、画面操作特定部210は、表示画面4に対して下スライド操作が行われたと判定する。つまり、ユーザが、画面操作手段を中心点520から下側の半円530a内を通って円530の外側までスライドさせると、画面操作特定部210は、表示画面4に対して下スライド操作が行われたと判定する。これにより、処理実行部200では、画面操作特定部210で特定された下スライド操作に対応する翻訳処理が行われる。
また、画面操作特定部210は、表示画面4での画面操作手段の接触点が円530の外側まで移動せずに、当該画面操作手段が表示画面4から離れたときには、つまり、ユーザが画面操作手段のスライドを円530内で終了したときには、表示画面4に対して実行指示操作が行われなかったと判定する。この場合には、処理実行部200では、選択情報を使用した表示情報利用処理は行われない。
なお、本例においても、表示画面4での画面操作手段の接触点が円530の外側まで移動せずに、当該画面操作手段が表示画面4から離れた場合には、選択情報の選択を解除しても良いし、選択情報の選択を維持しても良い。選択情報の選択が解除される場合には、ユーザは、あらためて表示情報選択操作を行って上で、実行指示操作を行うことになる。一方で、選択情報の選択が維持される場合には、ユーザは、あらためて表示情報選択操作を行うことなく、実行指示操作を行うことができる。
また、本例においては、表示画面4での画面操作手段の接触点が、中心点520から上側の半円530a内を通って円530の外側まで移動する場合だけではなく、図34の矢印570に示されるように、中心点520から一度下側の半円530b内に移動するものの、最終的には上側の半円530a内を通って円530の外側まで移動する場合であってもコピー処理を行っても良い。後者のスライド操作については、選択情報(選択文字列260)から上方向へのスライド操作とは言えないが、後者のスライド操作についても上スライド操作として、画面操作特定部210は特定することになる。
同様にして、表示画面4での画面操作手段の接触点が、中心点520から下側の半円530a内を通って円530の外側まで移動する場合だけではなく、図35の矢印580に示されるように、中心点520から一度上側の半円530b内に移動するものの、最終的には下側の半円530a内を通って円530の外側まで移動する場合であっても、表示画面4に対して下スライド操作が行われたと判定して、当該下スライド操作に対応する翻訳処理を行っても良い。
画面操作特定部210において、図33の矢印550,560のようなスライド操作だけではなく、図34の矢印570及び図35の矢印580のようなスライド操作も実行指示操作として特定される場合には、円530内でのスライド操作の軌跡、つまり表示画面4での画面操作手段の接触点の円530内での移動軌跡については無視される。そして、画面操作特定部210では、当該接触点が円530の外側に出た時点での当該接触点の位置が、中心点520の上方にあれば、上スライド操作が行われたと特定され、中心点520の下方にあれば、下スライド操作が行われたと特定される。言い換えれば、画面操作特定部210では、表示画面4での画面操作手段の接触点が円530の外側に出る直前において上方向のスライド操作が行われていれば、上スライド操作(実行指示操作)が行われたと判断され、当該接触点が円530の外側に出る直前において下方向のスライド操作が行われていれば、下スライド操作(実行指示操作)が行われたと判断される。
このように、表示画面4での画面操作手段の接触点が円530の外側に出る直前でのスライド操作の方向に応じて、実行する表示情報利用処理を決定することによって、電子機器100の操作性が向上する。
例えば、コピーを行いたいと考えるユーザが、選択情報から誤って下方向にスライド操作を行ったが、すぐに誤りに気づいた場合には、スライド操作を上方向に変更することによって、電子機器100にコピーを実行させることができる。
また、翻訳を行いたいと考えたユーザが下方向に少しスライド操作を行った後、コピーを行いたいと考え直した場合には、ユーザはスライド操作を上方向に変更することによって、処理実行部200にコピーを実行させることができる。
<第3変形例>
表示画面4に対して、連続して複数の実行指示操作が行われる場合には、当該複数の実行指示操作にそれぞれ対応する表示情報利用処理を連続して行っても良い。
例えば、上述の図7に示される対応関係テーブル222が使用される場合において、画面操作特定部210が、表示情報選択操作の後に続いて、右上スライド操作と真下スライド操作とが連続して行われたことを特定すると、処理実行部200は、右上スライド操作及び真下スライド操作にそれぞれ対応するコピー処理及び翻訳処理を、選択情報を使用して連続的に行う。このとき、図36に示されるように、上方向のスライド操作に対応するコピー処理が完了したことを示す処理完了通知情報270は選択情報(選択文字列260)の上方に表示し、下方向のスライド操作に対応する翻訳処理の結果を示す処理結果通知情報280は選択情報(選択文字列260)の下側に表示することが望ましい。これにより、同時に表示される処理完了通知情報270及び処理結果通知情報280のそれぞれが、連続して行われた2つのスライド操作のどちらに対応するのかを直感的に理解することができる。つまり、実行指示操作であるスライド操作に対応する表示情報利用処理が完了した後に表示される、処理完了通知情報270等の情報(以後、「処理完了後表示情報」と呼ぶ)が位置する場所(選択情報に対して上側あるいは下側)と、当該スライド操作の方向(上方あるいは下方向)とが対応するため、連続して実行される複数の実行指示操作にそれぞれ対応する複数の表示情報利用処理が完了した後に、複数の処理完了後表示情報が同時に表示される場合であっても、各実行指示操作に対応する処理完了後表示情報がどこに表示されているのかを容易に特定することができる。
<第4変形例>
表示画面4に表示される、縦書きの文字列あるいは記号列を選択する場合には、画面操作手段を上下方向に移動させる必要がある。このとき、実行指示操作として、上記のように、上方向のスライド操作あるいは下方向のスライド操作を採用すると、表示情報選択操作と実行指示操作とが似たような操作となり、両者が紛らわしくなる。
そこで、実行指示操作として上方向のスライド操作及び下方向のスライド操作が登録されている対応関係テーブル222とは別に、選択情報が縦書きの情報である場合に使用される対応関係テーブル622を設けて、当該対応関係テーブル622に対して実行指示操作として右方向のスライド操作及び左方向のスライド操作を登録する。図37は当該対応関係テーブル622の一例を示す図である。
図37に示されるように、対応関係テーブル622では、「コピー」、「文書内検索」、「ネット検索」、「辞書登録」、「翻訳」及び「切り取り」が、「右下スライド操作」、「真右スライド操作」、「右上スライド操作」、「左上スライド操作」、「真左スライド操作」及び「左下スライド操作」とそれぞれが対応付けられている。
ここで、「真右スライド操作」とは、ユーザが画面操作手段を選択情報から真右方向に向かってスライドさせる操作である。また「真左スライド操作」とは、ユーザが画面操作手段を選択情報から真左方向に向かってスライドさせる操作である。
図38は、上述の図8と同様に、図37に示される対応関係テーブル622での実行指示操作と表示情報利用処理との対応関係を視覚的に分かりやすくするために、当該対応関係テーブル622を円630を用いて図形化したものである。円630の中心点630aは、表示画面4上での選択情報の位置を示している。
図38に示されるように、円630は、中心点630aを基準にして左右に2分割されており、右側の半円と左側の半円のそれぞれが、3つの扇形領域630bに区分されている。そして、中心点630a(選択情報の位置)から右下方向の扇形領域630bには「コピー」の文字列が示されている。これにより、右下スライド操作に対しては、選択情報をコピーする処理が対応付けられていることが理解できる。
中心点630a(選択情報の位置)から真右方向の扇形領域630bには「文書内検索」の文字列が示されている。これにより、真右スライド操作に対しては、選択情報を、当該選択情報が示されている文書内で検索する文書内検索が対応付けられていることが理解できる。
中心点630a(選択情報の位置)から右上方向の扇形領域630bには「ネット検索」の文字列が示されている。これにより、右上スライド操作に対しては、選択情報を検索サイトを利用してインターネット上で検索するネット検索が対応付けられていることが理解できる。
中心点630a(選択情報の位置)から左上方向の扇形領域630bには「辞書登録」の文字列が示されている。これにより、左上スライド操作に対しては、選択情報を辞書登録する処理が対応付けられていることが理解できる。
中心点630a(選択情報の位置)から真左方向の扇形領域630bには「翻訳」の文字列が示されている。これにより、真左スライド操作に対しては、選択情報を翻訳する処理が対応付けられていることが理解できる。
そして、中心点630a(選択情報の位置)から左下方向の扇形領域630bには「切り取り」の文字列が示されている。これにより、左下スライド操作に対しては、選択情報を当該選択情報が示される文書から切り取る処理が対応付けられていることが理解できる。
処理実行部200は、選択情報が縦書きの文字列である場合と縦書きの記号列である場合には、対応関係テーブル622を参照して、画面操作特定部210で特定された実行指示操作に応じた表示情報利用処理を実行する。
一方で、処理実行部200は、選択情報が、縦書きの文字列及び縦書きの記号列以外の場合には、上述のようにして、対応関係テーブル222を参照して、画面操作特定部210で特定された実行指示操作に応じた表示情報利用処理を実行する。
次に、対象表示画面4に表示される縦書きの文字列を選択する表示情報選択操作が行われてから、当該文字列を用いた表示情報利用処理が実行されるまでの電子機器100での一連の動作について説明する。
図39は、ユーザが縦書きの文字列を選択する様子を示す図である。図39に示されるように、ユーザが、自身の指250によって、対象表示画面4における、選択対象の縦書きの文字列が表示されている領域を下方向になぞり、その後、指250を対象表示画面4から離すと、画面操作特定部210では、当該文字列を選択する表示情報選択操作が対象表示画面4に対して行われたことが特定される。そうすると、図40に示されるように、対象表示画面4では、選択情報である選択された文字列660(以後、「選択文字列660」と呼ぶ)をハイライト表示(強調表示)する。
ユーザが、表示情報選択操作に続いて、図41に示されるように、自身の指250を対象表示画面4に接触させた状態で、選択文字列660から右下方向にスライドさせると、画面操作特定部210では、対象表示画面4に対して、表示情報選択操作に続いて右下スライド操作が行われたことが特定される。そうすると、処理実行部200は、対応関係テーブル622を参照して、右下スライド操作に対応する表示情報利用処理を選択文字列660を用いて実行する。具体的には、処理実行部200は、選択文字列660をコピーして、記憶部22に記憶する。その後、図42に示されるように、対象表示画面4には、コピー処理が完了したことを示す処理完了通知情報270が表示される。
図43は、ユーザが、対象表示画面4に対して、表示情報選択操作に続いて、真左スライド操作を行う様子を示す図である。図43に示されるように、ユーザが、表示情報選択操作に続いて、自身の指250を対象表示画面4に接触させた状態で、選択文字列660から真左方向にスライドさせると、画面操作特定部210では、対象表示画面4に対して、表示情報選択操作に続いて真左スライド操作が行われたことが特定される。そうすると、処理実行部200は、対応関係テーブル622を参照して、真左スライド操作に対応する表示情報利用処理を選択文字列660を用いて実行する。具体的には、処理実行部200は、選択文字列660を英語に翻訳する。その後、図44に示されるように、対象表示画面4には、翻訳処理の処理結果を示す処理結果通知情報280と表示消去ボタン280aとが表示される。表示消去ボタン280aがユーザによって操作されると、対象表示画面4では、処理結果通知情報280の表示が消去される。
なお、上述の図24を用いて説明した実行指示操作の特定方法において、円330を左右に2分割して、右側の半円及び左側の半円のそれぞれを3つの扇形領域330aに区分すれば、後は同様にして、選択情報が縦書きの情報である場合であっても実行指示操作を特定することができる。
また、上述の図31に示される対応関係テーブル222を使用する場合には、対応関係テーブル622を図45のように構成する。図45に示される対応関係テーブル622では、「コピー」と「右スライド操作」とが対応付けられており、「翻訳」と「左スライド操作」とが対応付けられている。ここで、「右スライド操作」とは、ユーザが画面操作手段を選択情報から右方向に向かってスライドさせる操作である。また「左スライド操作」とは、ユーザが画面操作手段を選択情報から左方向に向かってスライドさせる操作である。
図46は、上述の図32と同様に、図45に示される対応関係テーブル622での実行指示操作と表示情報利用処理との対応関係を視覚的に分かりやすくするために、当該対応関係テーブル222を円700を用いて図形化したものである。円700の中心点700aは、表示画面4上での選択情報の位置を示している。
図46に示されるように、円700は中心点700aを基準にして左右に2分割されており、中心点700a(選択情報の位置)の右側の半円700bに「コピー」の文字列が示されており、中心点700a(選択情報の位置)の左側の半円700cに「翻訳」の文字列が示されている。これにより、右スライド操作に対しては、選択情報をコピーする処理が対応付けられており、左スライド操作に対しては、選択情報を翻訳する処理が対応付けられていることが理解できる。
選択情報が縦書きの情報である場合に図45に示される対応関係テーブル622を使用する場合には、上述の図33を用いて説明した実行指示操作の特定方法において、円530を左右に2分割すれば、後は同様にして、実行指示操作を特定することができる。
また、図45に示される対応関係テーブル622を使用する場合には、上述の図34,35を用いて説明したように、表示画面4での画面操作手段の接触点が円530の外側に出る直前でのスライド操作の方向(右方向か左方向)に応じて、実行する表示情報利用処理を決定しても良い。
なお、対応関係テーブル222に対して、上方向のスライド操作だけ、あるいは下方向のスライド操作だけを登録しても良い。例えば、図7に示される対応関係テーブル222においては、右上スライド操作、真上スライド操作及び左上スライド操作だけを登録しても良いし、左下スライド操作、真下スライド操作及び右下スライド操作だけを登録しても良い。また、図31に示される対応関係テーブル222においては、上スライド操作だけを登録しても良いし、下スライド操作だけを登録しても良い。
また、対応関係テーブル622に対して、右方向のスライド操作だけ、あるいは左方向のスライド操作だけを登録しても良い。例えば、図37に示される対応関係テーブル622においては、右下スライド操作、真右スライド操作及び右上スライド操作だけを登録しても良いし、左上スライド操作、真左スライド操作及び左下スライド操作だけを登録しても良い。また、図45に示される対応関係テーブル622においては、右スライド操作だけを登録しても良いし、左スライド操作だけを登録しても良い。
また、実行指示操作としてフリック操作を使用する場合には、対応関係テーブル222に対しては、上方向のフリック操作だけ、あるいは下方向のフリック操作だけを登録しても良いし、対応関係テーブル622に対しては、右方向のフリック操作だけ、あるいは左方向のフリック操作だけを登録しても良い。
<第5変形例>
電子機器100において、画面操作特定部210が表示画面4に対して表示情報選択操作が行われたことを特定すると、言い換えれば、画面操作特定部210が表示画面4に対する表示情報選択操作が完了したと判断すると、表示制御部204は、当該表示画面4を有する表示部3を制御して、当該表示画面4に対応関係テーブル222を表示しても良い。
例えば、表示制御部204は、対応関係テーブル222を、上述の図8に示される図形と同じように図形化し、それによって得られる図形800を、表示画面4に対して表示情報選択操作が行われると、図47に示されるように、当該表示画面4に表示する。その後、表示画面4に対して実行指示操作が行われると、表示制御部204は、表示画面4から図形800を消去する。
また、対応関係テーブル622が使用される場合には、表示制御部204は、対応関係テーブル622を、上述の図38に示される図形と同じように図形化し、それによって得られる図形810を、表示画面4に対して表示情報選択操作が行われると、図48に示されるように、当該表示画面4に表示する。その後、表示画面4に対して実行指示操作が行われると、表示制御部204は、表示画面4から図形810を消去する。
このように、表示画面4に表示されている情報が選択されると、ユーザの指示なく、当該表示画面4に対応関係テーブル222,622を表示することによって、ユーザは、実行指示操作を行いやすくなる。このとき、図47,48に示されるように、ユーザによって選択された情報(選択文字列260,660)に重ならないように対応関係テーブル222,622を表示画面4に表示することによって、ユーザは、選択した情報を確認しながら所望の実行指示操作を行うことができる。また、対応関係テーブル222,622をユーザによって選択された情報に重ねて表示する場合には、ユーザによって選択された情報が視認可能となるように、対応関係テーブル222,622(より詳細には図形800,810)を半透明で表示しても良い。この場合にも、ユーザは、選択した情報を確認しながら所望の実行指示操作を行うことができる。
<第6変形例>
上記の例では、画面操作特定部210は、表示画面4において選択対象の情報が表示されている領域が画面操作手段でなぞられ、その後、当該画面操作手段が当該表示画面4から離れた時点で、表示情報選択操作が完了したと判断していたが、他の基準に基づいて、表示情報選択操作が完了したと判断しても良い。
例えば、画面操作特定部210は、表示画面4において選択対象の情報が表示されている領域が画面操作手段でなぞられ、その終了点、つまり当該画面操作手段の移動が停止した位置において、当該表示画面4が当該画面操作手段によって一定時間以上連続して接触されていることを検出すると、表示情報選択操作が完了したと判断しても良い。そして、画面操作特定部210において、表示情報選択操作が完了したと判断されると、上記のように、表示画面4に対応関係テーブル222,622が表示されても良い。
このように、表示画面4において選択対象の情報が表示されている領域が画面操作手段でなぞられ、その終了点において、当該表示画面4が当該画面操作手段によって一定時間以上連続して接触された場合に、表示情報選択操作が完了したと判断することによって、ユーザは、画面操作手段によって、表示画面4において選択対象の情報が表示されている領域をなぞなった後、当該画面操作手段を当該表示画面4から離した場合であっても、当該画面操作手段の移動が停止した位置において当該表示画面4が当該画面操作手段によって一定時間以上連続して接触されていない場合には、当該表示画面4に表示されている情報を選択し直すことができる。よって、電子機器100の操作性がさらに向上する。
<第7変形例>
図49〜52は、本変形例に係る電子機器100の表示例を示す図である。本変形例では、表示画面4に対して表示情報選択操作が行われると、当該表示画面4には、図49に示されるように、選択文字列260の先頭の下方に、選択範囲を編集するための編集オブジェクト900が表示される。このとき、図49に示されるように、対応関係テーブル222を示す図形800が表示画面4に表示されても良い。
図49に示される状態において、ユーザが表示画面4に対して実行指示操作を行うと、対応関係テーブル222において当該実行指示操作に対応付けられている表示情報利用処理が、選択文字列260を用いて実行される。一方で、ユーザが編集オブジェクト900に対して画面操作手段を接触させると、電子機器100では表示情報の選択範囲を編集することが可能となって、図50に示されるように、対応関係テーブル222を示す図形800が表示画面4から消去される。
図50に示される状態において、ユーザは、編集オブジェクト900に接触させた画面操作手段を、表示画面4に接触させた状態で右方向あるいは左方向に移動させることによって、編集オブジェクト900の位置を起点として、文字列の選択範囲を変更することができる。
図51は、ユーザが、編集オブジェクト900に接触させた画面操作手段を、表示画面4に接触させた状態で右方向に移動させて、選択文字列260の最後の位置を変更させた様子を示す図である。図51に示されるように、画面操作手段が編集オブジェクト900から右方向に移動すると、選択文字列260の先頭の下方には編集オブジェクト900が表示され、選択文字列260の末尾の下方には、別の編集オブジェクト901が表示される。つまり、2つの編集オブジェクト900,901で挟まれた文字列が選択文字列260となっている。このとき、対応関係テーブル222を示す図形800が再度表示される。図51に示される状態において、ユーザが表示画面4に対して実行指示操作を行うと、対応関係テーブル222において当該実行指示操作に対応付けられている表示情報利用処理が、選択文字列260を用いて実行される。
図52は、ユーザが、編集オブジェクト900に接触させた画面操作手段を、表示画面4に接触させた状態で左方向に移動させて、選択文字列260の先頭の位置を変更させた様子を示す図である。図52に示されるように、画面操作手段が編集オブジェクト900から左方向に移動すると、選択文字列260の末尾の下方には編集オブジェクト900が表示され、選択文字列260の先頭の下方には、別の編集オブジェクト901が表示される。つまり、2つの編集オブジェクト900,901で挟まれた文字列が選択文字列260となっている。このとき、対応関係テーブル222を示す図形800が再度表示される。図52に示される状態において、ユーザが表示画面4に対して実行指示操作を行うと、対応関係テーブル222において当該実行指示操作に対応付けられている表示情報利用処理が、選択文字列260を用いて実行される。
電子機器100が図51あるいは図52の状態になると、ユーザは、画面操作手段を用いて、編集オブジェクト900,901を右方向及び左方向に移動させることが可能となる。編集オブジェクト900に接触した画面操作手段が右方向あるいは左方向にスライドすると、当該編集オブジェクト900はそのスライド方向に移動する。同様に、編集オブジェクト901に接触した画面操作手段が右方向あるいは左方向にスライドすると、当該編集オブジェクト901はそのスライド方向に移動する。ユーザは、編集オブジェクト900,901の少なくとも一方を移動させることによって、選択文字列260の範囲を変更することができる。
<その他の変形例>
上述の実施の形態及びその変形例では、本願発明を携帯電話機に適用する場合を例にあげて説明したが、本願発明は携帯電話機以外の電子機器にも適用することができる。
また、本願発明は、上述の電子機器100とは異なり、複数の表示画面が常に同時に視認可能な状態である電子機器に対しても適用することができる。また、本願発明は、開状態では複数の表示画面を同時に視認可能であるものの、閉状態では複数の表示画面のすべてが視認できないような電子機器に対しても適用することができる。例えば、2つの筐体を互いに重なるように折り畳むことができる2つ折り型の携帯電話機やノート型のパーソナルコンピュータにおいて、当該2つの筐体の内側の面のそれぞれに表示画面が形成されたものに対しても、本願発明を適用することができる。また、本願発明は、上述の電子機器100とは異なり、一つの表示画面だけを有する電子機器に対しても適用することができる。