JP5269154B2 - 指を接触させたままで種々の操作が実行可能なユーザインタフェース装置、入力操作判定方法及びプログラム - Google Patents

Description

本発明は、操作対象であるオブジェクトを含む画像を表示するディスプレイと、ユーザインタフェースとしてのタッチパネルとを備えたユーザインタフェース装置に関する。

従来、画面に指、スタイラス等で触れることによって入力操作を行う、タッチパネルを搭載したユーザインタフェース装置が広く普及している。特に、近年、スマートフォン、タブレット型コンピュータ、電子書籍、ＰＤＡ(Personal Digital Assistant)のようなユーザインタフェース装置、いわゆる携帯型情報機器では、指による操作を受け入れるユーザインタフェースとしてタッチパネルが積極的に採用されている。

携帯型情報機器は、携帯性を高めるべく小型化を必要とする。このため、ユーザインタフェースとして物理的な入力キーを採用した場合、それら入力キー自体のサイズを小さくしなければならず、操作性の低下が懸念される。これに対し、タッチパネルを採用した場合、仮想ボタンのサイズを、アプリケーションの機能に応じて適切に変更することができ、操作性の向上を図ることができる。

一方で、タッチパネルを用いると、物理キーと比較して、誤った入力操作が生じやすい傾向にある。具体的には、ユーザが意図せずにタッチパネルに触れた場合でも入力操作が発生したり、ユーザが入力操作を行っても所望の機能が発動せずやり直しの操作が必要となったりする。

この誤入力の問題に対処する方策として、例えば、特許文献１には、タッチ操作の検出後にタッチパネルの検出周期を変更する技術が開示されている。この技術によれば、タッチパネルに極僅かな時間で瞬間的に触れた場合と、操作者がタッチパネル上に置いた指でスクロールを行った場合とが区別される。

また、特許文献２には、タッチパネルが指でタッチされた際、表示された複数の選択ボタンの一部が拡大され且つ再配列されてボタン選択が容易になる技術が開示されている。さらに、特許文献３には、同時に生じる複数の接触を検出可能なマルチタッチパネルを振動させることにより、所定の入力操作が行われたことをユーザに確認させる技術が開示されている。

尚、導電面対向部を２つ備えたタッチパネルでの押圧を検知し、且つ押圧の大きさを検知する技術も存在する（特許文献４参照）。更に、２つのタッチパネルを備えており、表示された画像の奥行き感に基づいてタッチ入力時における押圧力の度合を認識できる技術も存在する（特許文献５参照）。

特開２００７−１０６４５号公報 特開２００８−７７２７２号公報 特開２０１０−５５２８２号公報 特開２０００−１９４５０６号公報 特開２００７−１４８６１７号公報

通常、多くの携帯型情報機器は、片手で保持され、この片手の指で操作される。この指は、実際のところ、保持に関係しない親指となる。そのため、このような指で確実に行える操作の種類は、上述した誤入力への対策を施したとしてもなお、限られている。

例えば、従来、表示された画像全体を移動させる操作は、ドラッグ操作である。ドラッグ操作とは、指のタッチパネルへの接触及びその後の接触したままの移動動作（接触及び移動動作）のことである。

このように、従来、基本的な動作の１つである接触及び移動動作がドラッグ操作としてのみ規定されているので、機器を保持した片手の指で操作を行う場合、結局、この指が行うことのできる操作の種類が限定されてしまう。現在、携帯型情報機器では、様々な機能が発動され得るようになっている。従って、より多くの種類の操作が実行可能であることが求められるが、上述したような限定の下では、この要求に沿うことができない。

また、このような問題は、そもそも指の接触位置の移動に合わせて画像全体を移動させる動作を想定していない技術、例えば特許文献１乃至５に開示された技術、を用いても到底解決されるものではない。

そこで、本発明は、指によるタッチパネルへの入力の際、指を接触させての種々の操作が実行可能となるユーザインタフェース装置、入力操作判定方法及びプログラムを提供することを目的とする。

本発明によれば、操作対象であるオブジェクトを含む画像を画面に表示する画像表示部と、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置において、
当該指によってタッチパネルに与えられる押圧力を検出する押圧力検出部と、
当該指の接触位置が、所定時間以上継続して変化しなかったか否かを判定する接触時間判定手段と、
接触時間判定手段が偽の判定を行った際、当該オブジェクトを含む画像全体を移動させる操作を可能とするモードを動作させ、一方、接触時間判定手段が真の判定を行った際、当該オブジェクトを含む画像全体を固定することによって、当該指の接触位置を上記所定時間以上静止させた後に当該指を継続して接触させつつ当該指によって当該オブジェクトの表示位置範囲を押し込む一連の操作を可能とする「タッチフォーカス」モードを動作させるモード動作手段と、
「タッチフォーカス」モードが動作した際、当該指の接触位置が当該オブジェクトの表示位置範囲と重畳したか否かを判定する接触位置判定手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
接触位置判定手段が真の判定を行った際、当該オブジェクトがユーザによって選択された旨を表す「フォーカス」操作が行われたと判定して、対応する動作を発動させ、さらに、接触位置判定手段が真の判定を行うと共に押圧力判定手段が真の判定を行った際、当該指によって当該オブジェクトの表示位置範囲を押し込む「クリック」操作が行われたと判定して、当該オブジェクトの機能を発動させる操作判定制御手段とを有するユーザインタフェース装置が提供される。

本発明によるユーザインタフェース装置の他の実施形態によれば、モード動作手段は、ユーザの操作から見て、
当該指をタッチパネルに接触させた直後に当該指を移動させた場合、画像全体を移動させる操作が行われるモードを動作させ、
当該指をタッチパネルに接触させ且つ少なくとも所定時間だけその接触位置を維持した場合、「タッチフォーカス」モードを動作させる
ことも好ましい。

本発明によるユーザインタフェース装置の他の実施形態によれば、
タッチパネルに接触した当該指に対して触覚応答を与える触覚応答機構部と、
操作判定手段が「フォーカス」操作であるとの判定を行った場合、当該指に対してタッチパネルを介して触覚応答を与えるべく触覚応答機構部を制御する触覚応答制御手段と
を更に有することも好ましい。またこの場合、
触覚応答制御手段は、当該指に物理的な押下ボタンの存在を感じさせる振動を与えるように触覚応答機構部を制御することもさらに好ましい。

本発明によるユーザインタフェース装置の他の実施形態によれば、所定時間は、ユーザの操作から見て、画像全体を移動させる操作を意図した際に当該指が接触してから次いで移動を開始するまでに平均的に要する時間よりも長く設定され、且つオブジェクトを選択する操作を意図した際に当該指が接触してから次いで移動を開始するまでに平均的に要する時間よりも短く設定されることも好ましい。

本発明によれば、操作対象であるオブジェクトを含む画像を画面に表示する画像表示部と、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置に搭載されたプログラムにおいて、
上記ユーザインタフェース装置は、当該指によってタッチパネルに与えられる押圧力を検出する押圧力検出部を備えており、
上記プログラムは、
当該指の接触位置が、所定時間以上継続して変化しなかったか否かを判定する接触時間判定手段と、
接触時間判定手段が偽の判定を行った際、当該オブジェクトを含む画像全体を移動させる操作を可能とするモードを動作させ、一方、接触時間判定手段が真の判定を行った際、当該オブジェクトを含む画像全体を固定することによって、当該指の接触位置を上記所定時間以上静止させた後に当該指を継続して接触させつつ当該指によって当該オブジェクトの表示位置範囲を押し込む一連の操作を可能とする「タッチフォーカス」モードを動作させるモード動作手段と、
「タッチフォーカス」モードが動作した際、当該指の接触位置が当該オブジェクトの表示位置範囲と重畳したか否かを判定する接触位置判定手段と、
押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
接触位置判定手段が真の判定を行った際、当該オブジェクトがユーザによって選択された旨を表す「フォーカス」操作が行われたと判定して、対応する動作を発動させ、さらに、接触位置判定手段が真の判定を行うと共に押圧力判定手段が真の判定を行った際、当該指によって当該オブジェクトの表示位置範囲を押し込む「クリック」操作が行われたと判定して、当該オブジェクトの機能を発動させる操作判定制御手段としてコンピュータを機能させる、ユーザインタフェース装置用のプログラムが提供される。

本発明によれば、操作対象であるオブジェクトを含む画像を画面に表示する画像表示部と、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置における入力操作判定方法において、
上記ユーザインタフェース装置は、当該指によって前記タッチパネルに与えられる押圧力を検出する押圧力検出部を備えており、
当該指の接触位置が、所定時間以上継続して変化しなかったか否かを判定する第１のステップと、
第１のステップで偽の判定がなされた際、当該オブジェクトを含む画像全体を移動させる操作を可能とするモードを動作させ、一方、第１のステップで真の判定がなされた際、当該オブジェクトを含む画像全体を固定することによって、当該指の接触位置を上記所定時間以上静止させた後に当該指を継続して接触させつつ当該指によって当該オブジェクトの表示位置範囲を押し込む一連の操作を可能とする「タッチフォーカス」モードを動作させる第２のステップと、
「タッチフォーカス」モードが動作した際、当該指の接触位置が当該オブジェクトの表示位置範囲と重畳したか否かを判定する第３のステップと、
押圧力が所定閾値以上であるか否かを判定する第４のステップと、
第３のステップで真の判定がなされた際、当該オブジェクトがユーザによって選択された旨を表す「フォーカス」操作が行われたと判定して、対応する動作を実行させ、さらに、第３のステップで真の判定がなされると共に第４のステップで真の判定がなされた際、当該指によって当該オブジェクトの表示位置範囲を押し込む「クリック」操作が行われたと判定して、当該オブジェクトの機能を発動させる第５のステップとを有する入力操作判定方法が提供される。

本発明のユーザインタフェース装置、入力操作判定方法及びプログラムによれば、指によるタッチパネルへの入力の際、指を接触させたままで種々の操作が実行可能となる。

「タッチフォーカス」モードを説明するための、携帯型情報機器の前面図、及び指による操作の概略図である。 「クリック」操作を説明するための、携帯型情報機器の前面図、及び指による操作の概略図である。 「ドラッグ」モードを説明するための、携帯型情報機器の前面図、及び指による操作の概略図である。 本発明による携帯型情報機器の構成を概略的に示す斜視図、並びに本発明による入力操作判定方法の一実施形態を示すフローチャートである。 本発明による携帯型情報機器の一実施形態を示す機能構成図である。 本発明によるユーザインタフェース装置の他の実施形態を示す外観図である。

以下、本発明の実施形態について、図面を用いて詳細に説明する。

本発明が対象とするユーザインタフェース装置では、ユーザの指がタッチパネルに接触することによって情報が入力される。そのため、当該装置の多くは、手で携帯して操作可能である、スマートフォンやタブレット型コンピュータのような携帯型情報機器である。従って、以下、本発明の実施形態として、携帯型情報機器を説明する。

本発明による携帯型情報機器では、指のタッチパネルへの接触及びその後の接触したままの移動動作（接触及び移動動作）を受け付けた際、単純にそのままドラッグ操作として認定せずに、種々の操作が可能な入力モードを設定する。具体的には、タッチパネル上での指の接触位置が所定時間以上継続して変化しなかったか否かによって、「タッチフォーカス」モード及び「ドラッグ」モードのいずれかを動作させる。それぞれの入力モードは、以下の通りである。
（１）「タッチフォーカス」モード：表示された画像全体を移動させることなく固定した状態で指の接触位置をモニタするモード。
（２）「ドラッグ」モード：表示された画像全体を移動させるモード。
本発明の特徴は、このように指が位置を変化させずに接触していた時間を判定し、この判定結果に基づいてそれぞれの入力モードを決定し動作させることにある。

ここで、「画像全体」とは、ディスプレイの画面に表示された全画像のうち、（スクロールを含む）移動の対象となる部分である。当然に、表示された全画像でもあり得る。例えば、一画面に収まり切らない情報は、画面外に隠れている（とされる）部分を有している。この部分を表示させる際には、この情報の表示された部分は、移動対象となる。

図１は、「タッチフォーカス」モードを説明するための、携帯型情報機器の前面図、及び指による操作の概略図である。

図１（Ａ）は、携帯型情報機器１の前面図である。この前面図によれば、ディスプレイ１０１の画面に、複数のアイコン（オブジェクト）１０４を含む画像が表示されている。アイコン１０４は、ユーザにとって操作対象であり、後述する所定の操作によって選択され、さらにその機能を発動させられる。また、ディスプレイ１０１の画面上に、指の接触位置を時間経過に応じて逐次出力するタッチパネル１００が配置されている。

以下、図１（Ａ）を用いて「タッチフォーカス」モードを説明する。図１（Ａ）によれば、ユーザの指が、タッチパネル１００に接触し、所定時間以上接触位置を維持した後、接触を保ちながらタッチパネル１００上をなぞるように移動（スライド）している。しかしながら、従来のドラッグ操作とは異なり、アイコン１０４を含む画像全体は、指の移動にもかかわらず移動せず、固定された状態となっている。

従って、ユーザは、指を接触させたまま移動させ、位置が固定されたアイコン１０４に順次触れていくことができる。また、後述する接触位置判定部１２２（図５）が、指の移動中も、指の接触位置とアイコン１０４の表示位置範囲とが重畳したか否かを判定している。このように画像全体を移動させることなく固定した状態で指の接触位置をモニタするモードが、「タッチフォーカス」モードである。

「タッチフォーカス」モードは、例えば、表示された画像内に所望のアイコン１０４が存在する際に、その表示位置範囲の近傍に指を接触させ、その後、指の接触位置を移動させながらこの表示位置範囲に確実に重畳させたい場合に動作する。また、アイコン１０４の表示位置範囲内に指を接触させ、このアイコン１０４を直ちに選択したい場合にも動作する。さらに、指でタッチパネル１００の表面（表示された画像）をなぞりつつ、表示された画像内に所望のアイコン１０４が存在するか否かを確かめながら、所望のアイコン１０４の表示位置範囲まで指を確実に進めたい場合にも動作する。

図１（Ｂ）は、上述した「タッチフォーカス」モードが動作する条件を説明するための、指による操作の概略図である。この概略図によれば、最初に、指がタッチパネル１００に接触する。この時刻をｔ_０とする（ｔ＝ｔ_０）。次いで、指は、接触位置を変化させずに接触したままの状態から、同じく接触したまま上側（図１（Ｂ）では左側）に移動（スライド）を開始する。この移動を開始する時刻をｔ_Ｓ２とする（ｔ＝ｔ_Ｓ２）。この場合、指の接触位置は、時間（ｔ_Ｓ２−ｔ_０）だけ継続して変化しなかったことになる。

この時間（ｔ_Ｓ２−ｔ_０）が所定時間ｔ_ＴＨ以上の場合に（（ｔ_Ｓ２−ｔ_０）≧ｔ_ＴＨ）、後述するモード動作部１２４（図５）が、「タッチフォーカス」モードを動作させる。その後、アイコン１０４を含む画像全体は、指の移動にもかかわらず、移動することなく固定される。尚、上述したｔ_Ｓ２−ｔ_０≧ｔ_ＴＨの条件が満たされれば、指の接触位置がその後も継続して移動しない場合でも、「タッチフォーカス」モードは動作する。

同じく図１（Ｂ）に示すように、ユーザは、表示された画像をなぞりながら、指を移動させている。その後、所望のアイコン１０４を探し出し、その表示位置範囲内に指を進めている。このように、「タッチフォーカス」モードの動作下、指の接触位置をアイコン１０４の表示位置範囲に重畳させる操作を、以後、「フォーカス」操作と称する。

尚、アイコン１０４の表示位置範囲内に指を接触させ、所定時間ｔ_ＴＨ後も継続して指の接触位置をこの表示位置範囲と重畳させておく操作も、「フォーカス」操作に含まれる。「フォーカス」操作は、ユーザがアイコン１０４を選択する操作であり、その後のアイコン１０４の機能を発動させる操作を確実に行うための準備動作としての役割を果たす。

また、指の接触位置がアイコン１０４の表示位置範囲に重畳した際には、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンの存在を感じさせる振動を与えることができる。これにより、ユーザは、「フォーカス」操作が受け入れられたことを確認でき、安定した確実な操作感を得ることができる。

ここで、物理的な押下ボタンの存在を感じさせる振動の例として、以下のものが挙げられる。最初に、アイコン１０４があたかも高さ（画面に垂直な方向の厚み）を有するかのように、アイコン１０４の表示位置範囲の各点に高さ情報を付与する。その後、指がアイコン１０４の表示位置範囲に差し掛かり当該範囲内に入って以降、この高さ情報から算出された勾配の大きさに応じた強度の振動を指に与える。これにより、指は、飛び出た押下ボタンをなぞったような感触を受ける。

さらに、「タッチフォーカス」モード（「フォーカス」操作）は、指をタッチパネル１００から離すことによって解除されることも好ましい。

以上述べたように、本発明によれば、指の接触位置が所定時間ｔ_ＴＨ以上継続して変化しなかったか否かを判定して入力モードの決定を行う。その結果、指の接触及び移動動作によっても、ドラッグ操作ではなく、「タッチフォーカス」モードを容易に動作させることができる。また、この「タッチフォーカス」モードでは、画像全体を移動させず、タッチパネル１００上をなぞるように指を動かすことができるので、所望のアイコン１０４を選択する「フォーカス」操作を確実に実行させることができる。

図２は、「クリック」操作を説明するための、携帯型情報機器の前面図、及び指による操作の概略図である。

図２（Ａ）は、携帯型情報機器１の前面図である。この前面図によれば、「タッチフォーカス」モードの動作下で、指が、接触したまま、タッチパネル１００上をなぞるように移動している。その後、指は所望のアイコン１０４の位置まで進み、その結果、指の接触位置がアイコン１０４の表示位置範囲と重畳する。この状態から、ユーザが指をより強く押し付けると、アイコン１０４の機能が発動する。このアイコン１０４の機能を発動させるために指でアイコン１０４（タッチパネル１００）を押圧する操作を、以後、「クリック」操作と称する。

図２（Ｂ）は、「クリック」操作と判定される条件を説明するための、指による操作の概略図である。この概略図によれば、「タッチフォーカス」モードの動作下で、指が、タッチパネル１００上をなぞるように移動し、指の接触位置が、所望のアイコン１０４の表示位置範囲と重畳する。すなわち「フォーカス」操作が行われる。この際、上述したように、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンの存在を感じさせる振動ｖ_１を与えることもできる。

次いで、この状態から、ユーザが指をより強く押し付け、指による押圧力ｐ_Ｃが所定の押圧力閾値ｐ_ＴＨ以上となる場合（ｐ_Ｃ≧ｐ_ＴＨ）、「クリック」操作が行われたと判定され、アイコン１０４の機能が発動する。このように、押圧力ｐ_Ｃが押圧力閾値ｐ_ＴＨ以上であることが、「クリック」操作と判定される条件となる。なお、押圧力ｐ_Ｃの測定は、後述する押圧力検出部１０３（図４）で行われる。

また、後述する触覚応答機構部１０２（図４）が、指に、物理的な押下ボタンを実際に押下したかのような感覚を付与する振動ｖ_２を与えることもできる。すなわち、ユーザは、「フォーカス」操作を行った際に、振動ｖ_１を受けて物理的な押下ボタンの存在を感じ、この感覚に基づき確信をもって「クリック」操作を行った際に、振動ｖ_２を受ける。これにより、この仮想の押下ボタンを実際に押下したような感覚を得る。その結果、ユーザは、タッチパネル上の操作であるにもかかわらず、物理的な押下ボタンを実際に操作した、との安定した確実な操作感を得ることができる。

図３は、「ドラッグ」モードを説明するための、携帯型情報機器の前面図、及び指による操作の概略図である。

図３（Ａ）は、携帯型情報機器１の前面図である。この前面図を用いて「ドラッグ」モードを説明する。図３（Ａ）によれば、ユーザの指が、タッチパネル１００に接触した直後、接触を保ちながら上側に移動（スライド）している。この指の移動に伴って、アイコン１０４を含む画像全体が、指の移動分だけ上側に移動し、幾つかのアイコン１０４が新たに、下側から画面に現れている。このような指によって画像全体を移動させる操作、いわゆるドラッグ操作を可能にするモードが、「ドラッグ」モードである。

「ドラッグ」モードは、例えば、表示された画像内に所望のアイコンが視認されず、所望のアイコンを表示させるべく画像全体を移動させたい場合や、画面にその一部しか表示されていない文書等の情報の続きを閲覧したい場合等に設定される。

図３（Ｂ）は、上述した「ドラッグ」モードが動作する条件を説明するための、指による操作の概略図である。この概略図によれば、最初に、指がタッチパネル１００に接触する。この時刻をｔ_０とする（ｔ＝ｔ_０）。次いで、指は、接触位置を変化させずに接触したままの状態から、同じく接触したまま上側（図３（Ｂ）では左側）に移動（スライド）を開始する。この移動を開始する時刻をｔ_Ｓ１とする（ｔ＝ｔ_Ｓ１）。この場合、指の接触位置は、時間（ｔ_Ｓ１−ｔ_０）だけ継続して変化しなかったことになる。この時間（ｔ_Ｓ１−ｔ_０）が所定時間ｔ_ＴＨ未満の場合に（（ｔ_Ｓ１−ｔ_０）＜ｔ_ＴＨ）、後述するモード動作部１２４（図５）が、「ドラッグ」モードを動作させる。その後、指の移動に伴って、アイコン１０４を含む画像全体が移動する。

ここで、画像全体の移動量は、指の移動量と一致していてもよく、指の移動量の定数倍等、指の移動量の適当な関数値であってもよい。また、当然に、指の移動する向きは上側に限定されるものではない。例えば指をタッチパネル１００の表面上での任意の向きに移動させ、画像全体を、この指の移動の向きに対応した、上側、下側、左側、右側、さらには斜めの向きのいずれにも移動可能とすることができる。

また、上述した所定時間ｔ_ＴＨは、ユーザの操作から見て、ドラッグ操作を意図した際に指が接触してから次いで移動を開始するまでに平均的に要する時間ｔ_ＡＶ１よりも長く設定される。例えば、多数のユーザに画像を移動させることを意図した操作を行わせて、接触位置が継続して変化しなかった時間を計測し、その計測値の平均値ｔ_ＡＶ１よりも十分に大きい値を、所定時間ｔ_ＴＨとする。

さらに、この所定時間ｔ_ＴＨは、ユーザの操作から見て、オブジェクトを選択する操作を意図した際に指が接触してから次いで移動を開始するまでに平均的に要する時間ｔ_ＡＶ２よりも短く設定される。例えば、多数のユーザにオブジェクトを選択する操作を行わせて、接触位置が継続して変化しなかった時間を計測し、その計測値の平均値ｔ_ＡＶ２よりも十分に小さい値を、所定時間ｔ_ＴＨとする。

ここで、上記の時間ｔ_ＡＶ１及びｔ_ＡＶ２を用いると、結局、所定時間ｔ_ＴＨは、ｔ_ＡＶ１＜ｔ_ＴＨ＜ｔ_ＡＶ２の条件を満たすように決定される。一実施例として、ｔ_ＴＨ値は、２００ｍｓｅｃに設定可能である。

図４は、本発明による携帯型情報機器の構成を概略的に示す斜視図、並びに本発明による入力操作判定方法の一実施形態を示すフローチャートである。また、図５は、本発明による携帯型情報機器の一実施形態を示す機能構成図である。

図４によれば、携帯型情報機器１は、タッチパネル１００と、ディスプレイ１０１と、触覚応答機構部１０２と、押圧力検出部１０３と、プロセッサ・メモリとを有する。ここで、プロセッサ・メモリは、プログラムを実行することによってその機能を実現させる。

ディスプレイ１０１は、操作対象であるアイコン（オブジェクト）１０４を含む画像を表示する。また、タッチパネル１００は、ディスプレイ１００の画面上に配置されており、ユーザの指の接触位置を時間経過に応じて逐次出力する。このタッチパネル１００として、投影型静電容量方式タッチパネル、表面型静電容量方式タッチパネル、抵抗膜方式タッチパネル、超音波表面弾性波方式タッチパネル、又は赤外線走査方式タッチパネル等を採用することができる。

触覚応答機構部１０２は、タッチパネル１００に接触した指に対して、タッチパネル１００を振動させることにより、触覚応答を与える。例えば、タッチパネル１００に対して「フォーカス」操作が行われた際に、物理的な押下ボタンの存在を感じさせる振動ｖ_１（図２（Ｂ））を指に与える。また、「クリック」操作が行われた際に、例えば、この押下ボタンを実際に押下したような感覚を付与する振動ｖ_２（図２（Ｂ））を指に与える。触覚応答機構部１０２は、例えば、ＰＺＴ（チタン酸ジルコン酸鉛）等の圧電材料を用いて形成された圧電アクチュエータとすることができる。

押圧力検出部１０３は、指によってタッチパネル１００に与えられる押圧力ｐ_Ｃを検出する。押圧力検出部１０３は、例えば、タッチパネル１００の四隅下に設置されており、指を押し付けられ僅かに撓んだタッチパネル１００が自身に及ぼす押圧の合計を、押圧力ｐ_Ｃとして検出する。この押圧力検出部１０３で検出された押圧力ｐ_Ｃが、所定の押圧力閾値ｐ_ＴＨ以上となる場合（ｐ_Ｃ≧ｐ_ＴＨ）、「クリック」操作が行われたと判定される。押圧力検出部１０３は、例えば、ＰＺＴ等の圧電材料を用いて形成された圧電センサとすることができる。また、圧電アクチュエータで構成された触覚応答機構部１０２を設ける代わりに又は設けると共に、押圧力検出部１０３を触覚応答機構部として利用することも可能である。

プロセッサ・メモリは、タッチパネル１００から出力される指の接触位置信号と、押圧力検出部１０３から出力される押圧力信号とを入力し、これらの信号に基づいて入力モードを動作させ、さらに入力操作を判定して対応する動作を実行させる。ここで、図５を用いて、このプロセッサ・メモリの機能構成を説明する。

図５によれば、プロセッサ・メモリは、接触時間判定部１２１と、接触位置判定部１２２と、押圧力判定部１２３と、モード動作部１２４と、操作判定制御部１２５と、触覚応答制御部１２６と、表示制御部１１１と、アプリケーション処理部１１２とを有している。

接触時間判定部１２１は、タッチパネル１００から出力される指の接触位置信号を入力し、指の接触位置が、所定時間ｔ_ＴＨ以上継続して変化しなかったか否かを判定し、この判定結果をモード動作部１２４に出力する。接触位置判定部１２１は、指の接触位置がアイコン１０４の表示位置範囲と重畳したか否かを判定し、この判定結果を操作判定制御部１２５に出力する。押圧力判定部１２３は、押圧力検出部１０３から出力される押圧力信号を入力し、指による押圧力が所定の押圧力閾値ｐ_ＴＨ以上であるか否かを判定し、この判定結果を操作判定制御部１２５に出力する。

モード動作部１２４は、接触時間判定部１２１からの判定結果に基づき、入力モードとして「タッチフォーカス」モード及び「ドラッグ」モードのいずれかを決定して動作させる。操作判定制御部１２５は、「タッチフォーカス」モードの動作時に、接触位置判定部１２２からの判定結果に基づいて「フォーカス」操作であるか否かの判定を行い、対応した動作を実行させる。さらに、同じく「タッチフォーカス」モードの動作時に、押圧力判定部１２３からの判定結果に基づいて「クリック」操作であるか否かの判定を行い、対応した動作を実行させる。触覚応答制御部１２６は、操作判定制御部１２５から出力された操作の判定結果に基づき、対応する触覚応答を指に対して与えるべく触覚応答機構部１０２を制御する。

表示制御部１１１は、アプリケーション処理部１１２からのアプリケーション処理情報を入力して、アプリケーションの実行に応じた画像をディスプレイ１０１に表示させる。また、表示制御部１１１は、モード動作部１２４が出力する、「タッチフォーカス」モード又は「ドラッグ」モードを動作させる指示情報を入力し、指示された入力モードに応じた画像をディスプレイ１０１に表示させる。さらに、表示制御部１１１は、操作判定制御部１２５が出力する、入力操作を実行させる指示情報を入力し、指示された入力操作に応じた画像をディスプレイ１０１に表示させる。

次いで、図４に示されたフローチャートを用いて、プロセッサ・メモリで実施される入力操作判定方法の一実施形態を説明する。

図４によれば、最初に、タッチパネル１００が指の接触を検知する（ステップＳ４０１）。次いで、接触時間判定部１２１が、所定時間ｔ_ＴＨ以上継続して指の接触位置が変化しなかったか否かを判定する（ステップＳ４０２）。ここで、指の接触位置は、タッチパネル１００の表面（接触面）に設定されたｘｙ座標系を用いて、１つの座標（ｘ，ｙ）として表される。尚、指の接触を所定の面積を持った接触面として検出する場合もあるが、この場合は、接触面の中心となる位置の座標（中心座標）を接触位置とすることができる。

この指の接触位置は、指をタッチパネル１００に接触させた際に通常発生する指の震えによって、若干変動してしまうことがある。このような場合でも、接触位置の座標の変動分を、補正により除去することができる。また、他の態様として、押圧時の指の震えによる接触位置の座標の変動範囲を予め予測しておき、この変動範囲内の座標変化を、指の接触位置の変化とはみなさない、とすることもできる。いずれにしても、上述した、指の接触位置が継続して変化しなかったか否かの判定から、この指の震えによる変動の影響を除外することができる。すなわち、ユーザの意図に沿った操作を、安定して確実に判定することが可能となる。

接触時間判定部１２１が真の判定、すなわち所定時間ｔ_ＴＨ以上継続して指の接触位置が変化しなかったとの判定、を行った際には、モード動作部１２４が、「タッチフォーカス」モードを動作させる（ステップＳ４０４）。具体的には、アイコン１０４を含む画像全体を移動させることなく固定した状態とし、指の接触位置（タッチパネル１００から出力される指の接触位置信号）をモニタ（監視）する。

一方、接触時間判定部１２１が偽の判定、すなわち所定時間ｔ_ＴＨ内に指の接触位置が変化したとの判定、を行った際には、モード動作部１２４が、「ドラッグ」モードを動作させる（ステップＳ４０３）。具体的には、指によるドラッグ操作によって指定された方向に、アイコン１０４を含む画像全体を移動させ得る状態とする。

以上のステップをユーザの操作から見ると、モード動作部１２４は、指をタッチパネルに接触させた直後にその指を移動させた場合、「ドラッグ」モードを動作させ、指をタッチパネルに接触させ且つ少なくとも所定時間ｔ_ＴＨだけその接触位置を維持した場合、「タッチフォーカス」モードを動作させる。

次いで、「タッチフォーカス」モードが動作した際、接触位置判定部１２２は、指の接触位置がアイコン１０４の表示位置範囲と重畳したか否かを判定する（ステップＳ４０５）。この接触位置判定部１２２が真の判定、すなわち指の接触位置がアイコン１０４の表示位置範囲と重畳したとの判定、を行った際、操作判定制御部１２５が、「フォーカス」操作が行われたと判定し、対応する動作を実行させる（ステップＳ４０６）。具体的には、指の接触位置が重畳したアイコン１０４を選択する。この際、触覚応答制御部１２６が指に対し触覚応答機構部１０２を介して接触応答を与えることも好ましい。また、操作判定制御部１２５が、表示制御部１１１を介して、ディスプレイ１０１に、選択されたアイコン１０４の強調表示を行わせることも可能である。

次いで、押圧力検出部１０３が、タッチパネル１００に接触した指によって与えられる押圧力ｐ_Ｃを検出する（ステップＳ４０７）。次いで、押圧力判定部１１２が、押圧力検出部１０３の検出した押圧力ｐ_Ｃが所定の押圧力閾値ｐ_ＴＨ以上であるか否かを判定する（ステップＳ４０８）。

次いで、操作判定制御部１１４は、接触位置判定部１１０が真の判定を行うと共に押圧力判定部１１２が真の判定、すなわち押圧力ｐ_Ｃが押圧力閾値ｐ_ＴＨ以上であるとの判定、を行った場合にのみ、「クリック」操作が行われたと判定し、対応する動作を実行させる（ステップＳ４０９）。具体的には、アイコン１０４の機能、例えばアプリケーションの起動、を発動させる。

本発明では、このように、指の接触位置が所定時間ｔ_ＴＨ以上継続して変化しなかったか否かを判定し、その判定結果に基づいて、「タッチフォーカス」モード及び「ドラッグ」モードのいずれかを動作させる。従って、「タッチフォーカス」モード動作下での「フォーカス」操作、及び「クリック」操作、並びに「ドラッグ」モード動作下でのドラッグ操作が、互いに確実に区別され、且つそれぞれ容易に実行される。すなわち、指の接触及び移動動作によっても、種々の操作を確実に区別して実行することが可能となる。

図６は、本発明によるユーザインタフェース装置の他の実施形態を示す外観図である。

図６（Ａ）は、本発明のユーザインタフェース装置としてのノート型パーソナルコンピュータ２の斜視図である。このノート型パーソナルコンピュータ２では、ウェブページを閲覧するためのウェブブラウザが起動しており、ディスプレイ２０１に表示された画像には、複数のリンク（オブジェクト）２０４が含まれている。

ユーザがウェブページの表示されていない部分を閲覧したい場合、指をタッチパネル２００に接触させた直後にこの指を移動させれば、「ドラッグ」モードが動作してドラッグ操作が実行される。この際、指が接触して所定時間ｔ_ＴＨが経過する前に指を移動させることが、「ドラッグ」モードを動作させるためのポイントとなる。

一方、ウェブページの表示された部分に所望のリンク２０４が存在するか否かを確認する場合、取り敢えず指をタッチパネル２００に接触させ、少なくとも所定時間ｔ_ＴＨだけその接触位置を維持する。これにより、「タッチフォーカス」モードが動作する。次いで、指を接触させたまま移動させ、指の接触位置を、発見した所望のリンク２０４の表示位置範囲に重畳させる「フォーカス」操作を行う。その後、所定の押圧力閾値ｐ_ＴＨ以上の押圧力で指をタッチパネル２００に押し付ける「クリック」操作を行うことによって、リンク２０４の機能が発動し、所望のリンク先の文書又は画像等を閲覧することができる。

図６（Ｂ）は、本発明のユーザインタフェース装置としてのデジタル写真プリンタ３の斜視図である。このデジタル写真プリンタ３には、入力アダプタ３０５を介して、多数のデジタル写真データが取り込まれており、ディスプレイ３０１には、取り込まれたデジタル写真データに対応する多数のサムネイル（オブジェクト）３０４が表示されている。

ユーザがディスプレイ３０１に表示されていないサムネイル３０４を閲覧したい場合、指をタッチパネル３００に接触させた直後にこの指を移動させれば、「ドラッグ」モードが動作してドラッグ操作が実行される。この際、指が接触して所定時間ｔ_ＴＨが経過する前に指を移動させることが、「ドラッグ」モードを動作させるためのポイントとなる。

一方、所望のサムネイル３０４がディスプレイに表示されているか否かを確認する場合、取り敢えず指をタッチパネル３００に接触させ、少なくとも所定時間ｔ_ＴＨだけその接触位置を維持する。これにより、「タッチフォーカス」モードが動作する。次いで、指を接触させたまま移動させ、指の接触位置を、発見した所望のサムネイル３０４の表示位置範囲に重畳させる「フォーカス」操作を行う。その後、所定の押圧力閾値ｐ_ＴＨ以上の押圧力で指をタッチパネル３００に押し付ける「クリック」操作を行うことによって、サムネイル３０４が選択されて、例えば対応するデジタル写真データを印画する、との設定がなされる。

尚、図６（Ａ）及び（Ｂ）それぞれの実施形態で、ディスプレイ２０１又は３０１に多数のリンク２０４又はサムネイル３０４が表示されていてリンク２０４又はサムネイル３０４の表示位置範囲外に指を接触させることが困難な場合がある。この場合でも、本発明によれば、指の接触位置が所定時間ｔ_ＴＨ以上継続して変化しなかったか否かを判定して入力モードの決定を行う。その結果、指の最初の接触位置にかかわらず、容易に「ドラッグ」モードを動作させ、ドラッグ操作を確実に実行させることができる。

さらに、図６（Ａ）及び（Ｂ）それぞれの実施形態で、指を最初に、表示されている所望のリンク２０４又はサムネイル３０４の表示位置範囲外（他のリンク２０４又はサムネイル３０４の表示位置範囲内を含む）に接触させてしまう場合も考えられる。この場合でも、本発明によれば、指の接触位置が所定時間ｔ_ＴＨ以上継続して変化しなかったか否かを判定して入力モードの決定を行う。その結果、この指の最初の接触位置にかかわらず、容易に「タッチフォーカス」モードを動作させ、その後、所望のリンク２０４又はサムネイル３０４を選択する「フォーカス」操作を確実に実行させることができる。

以上、詳細に説明したように、本発明のユーザインタフェース装置、入力操作判定方法及びプログラムによれば、指によるタッチパネルへの入力の際、指を接触させたままで種々の操作が実行可能となる。

また、本発明のユーザインタフェース装置、入力操作判定方法及びプログラムによれば、指によるタッチパネルへの入力の際、表示された画像を指でなぞりながら所望のオブジェクトを選択することができる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 携帯型情報機器（ユーザインタフェース装置）
１００、２００、３００ タッチパネル
１０１、２０１、３０１ ディスプレイ
１０２ 触覚応答機構部
１０３ 押圧力検出部
１０４ アイコン（オブジェクト）
１１１ 表示制御部
１１２ アプリケーション処理部
１２１ 接触時間判定部
１２２ 接触位置判定部
１２３ 押圧力判定部
１２４ モード動作部
１２５ 操作判定制御部
１２６ 触覚応答制御部
２ ノート型パーソナルコンピュータ（ユーザインタフェース装置）
２０４ リンク（オブジェクト）
３ デジタル写真プリンタ（ユーザインタフェース装置）
３０４ サムネイル（オブジェクト）
３０５ 入力アダプタ

Claims (7)

1. 操作対象であるオブジェクトを含む画像を画面に表示する画像表示部と、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置において、
   当該指によって前記タッチパネルに与えられる押圧力を検出する押圧力検出部と、
   当該指の接触位置が、所定時間以上継続して変化しなかったか否かを判定する接触時間判定手段と、
   前記接触時間判定手段が偽の判定を行った際、当該オブジェクトを含む画像全体を移動させる操作を可能とするモードを動作させ、一方、前記接触時間判定手段が真の判定を行った際、当該オブジェクトを含む画像全体を固定することによって、当該指の接触位置を前記所定時間以上静止させた後に当該指を継続して接触させつつ当該指によって当該オブジェクトの表示位置範囲を押し込む一連の操作を可能とする「タッチフォーカス」モードを動作させるモード動作手段と、
   前記「タッチフォーカス」モードが動作した際、当該指の接触位置が当該オブジェクトの表示位置範囲と重畳したか否かを判定する接触位置判定手段と、
   前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
   前記接触位置判定手段が真の判定を行った際、当該オブジェクトがユーザによって選択された旨を表す「フォーカス」操作が行われたと判定して、対応する動作を発動させ、さらに、前記接触位置判定手段が真の判定を行うと共に前記押圧力判定手段が真の判定を行った際、当該指によって当該オブジェクトの表示位置範囲を押し込む「クリック」操作が行われたと判定して、当該オブジェクトの機能を発動させる操作判定制御手段と
   を有することを特徴とするユーザインタフェース装置。
2. 前記モード動作手段は、ユーザの操作から見て、
   当該指をタッチパネルに接触させた直後に当該指を移動させた場合、画像全体を移動させる操作が行われるモードを動作させ、
   当該指をタッチパネルに接触させ且つ少なくとも前記所定時間だけその接触位置を維持した場合、前記「タッチフォーカス」モードを動作させる
   ことを特徴とする請求項１に記載のユーザインタフェース装置。
3. 前記タッチパネルに接触した当該指に対して触覚応答を与える触覚応答機構部と、
   前記操作判定手段が前記「フォーカス」操作であるとの判定を行った場合、当該指に対して前記タッチパネルを介して触覚応答を与えるべく前記触覚応答機構部を制御する触覚応答制御手段と
   を更に有することを特徴とする請求項１又は２に記載のユーザインタフェース装置。
4. 前記触覚応答制御手段は、当該指に物理的な押下ボタンの存在を感じさせる振動を与えるように前記触覚応答機構部を制御することを特徴とする請求項３に記載のユーザインタフェース装置。
5. 前記所定時間は、ユーザの操作から見て、画像全体を移動させる操作を意図した際に当該指が接触してから次いで移動を開始するまでに平均的に要する時間よりも長く設定され、且つ当該オブジェクトを選択する操作を意図した際に当該指が接触してから次いで移動を開始するまでに平均的に要する時間よりも短く設定されることを特徴とする請求項１から４のいずれか１項に記載のユーザインタフェース装置。
6. 操作対象であるオブジェクトを含む画像を画面に表示する画像表示部と、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置に搭載されたプログラムにおいて、
   前記ユーザインタフェース装置は、当該指によって前記タッチパネルに与えられる押圧力を検出する押圧力検出部を備えており、
   前記プログラムは、
   当該指の接触位置が、所定時間以上継続して変化しなかったか否かを判定する接触時間判定手段と、
   前記接触時間判定手段が偽の判定を行った際、当該オブジェクトを含む画像全体を移動させる操作を可能とするモードを動作させ、一方、前記接触時間判定手段が真の判定を行った際、当該オブジェクトを含む画像全体を固定することによって、当該指の接触位置を前記所定時間以上静止させた後に当該指を継続して接触させつつ当該指によって当該オブジェクトの表示位置範囲を押し込む一連の操作を可能とする「タッチフォーカス」モードを動作させるモード動作手段と、
   前記「タッチフォーカス」モードが動作した際、当該指の接触位置が当該オブジェクトの表示位置範囲と重畳したか否かを判定する接触位置判定手段と、
   前記押圧力が所定閾値以上であるか否かを判定する押圧力判定手段と、
   前記接触位置判定手段が真の判定を行った際、当該オブジェクトがユーザによって選択された旨を表す「フォーカス」操作が行われたと判定して、対応する動作を発動させ、さらに、前記接触位置判定手段が真の判定を行うと共に前記押圧力判定手段が真の判定を行った際、当該指によって当該オブジェクトの表示位置範囲を押し込む「クリック」操作が行われたと判定して、当該オブジェクトの機能を発動させる操作判定制御手段と
   してコンピュータを機能させることを特徴とするユーザインタフェース装置用のプログラム。
7. 操作対象であるオブジェクトを含む画像を画面に表示する画像表示部と、指の接触位置を時間経過に応じて逐次出力するタッチパネルとを備えたユーザインタフェース装置における入力操作判定方法において、
   前記ユーザインタフェース装置は、当該指によって前記タッチパネルに与えられる押圧力を検出する押圧力検出部を備えており、
   当該指の接触位置が、所定時間以上継続して変化しなかったか否かを判定する第１のステップと、
   第１のステップで偽の判定がなされた際、当該オブジェクトを含む画像全体を移動させる操作を可能とするモードを動作させ、一方、第１のステップで真の判定がなされた際、当該オブジェクトを含む画像全体を固定することによって、当該指の接触位置を前記所定時間以上静止させた後に当該指を継続して接触させつつ当該指によって当該オブジェクトの表示位置範囲を押し込む一連の操作を可能とする「タッチフォーカス」モードを動作させる第２のステップと、
   前記「タッチフォーカス」モードが動作した際、当該指の接触位置が当該オブジェクトの表示位置範囲と重畳したか否かを判定する第３のステップと、
   前記押圧力が所定閾値以上であるか否かを判定する第４のステップと、
   第３のステップで真の判定がなされた際、当該オブジェクトがユーザによって選択された旨を表す「フォーカス」操作が行われたと判定して、対応する動作を実行させ、さらに、第３のステップで真の判定がなされると共に第４のステップで真の判定がなされた際、当該指によって当該オブジェクトの表示位置範囲を押し込む「クリック」操作が行われたと判定して、当該オブジェクトの機能を発動させる第５のステップと
   を有することを特徴とする入力操作判定方法。

Images