以下、本発明に係る携帯端末装置の実施の形態としての携帯電話機について説明する。≪実施の形態≫<概要>実施の形態に係る携帯電話機100は、2つのタッチパネルを跨いだアイコン等のドラッグ&ドロップ操作を可能にしたものである。
ここで、2つのタッチパネルを跨ぐドラッグ&ドロップ操作を利用した操作例を説明する。図1(a)に示すように、携帯電話機100は、筐体101と筐体102とが互いにスライド可能に設けられたスライド式の携帯電話機であり、筐体101には、スピーカ103及びタッチパネル110が配置され、筐体102には、マイク104及びタッチパネル120が配置されている。
各タッチパネル上には、カーソルキーやテンキー等のキー群やアイコン等が表示され、ユーザは、これらを指等でタッチすることにより各種操作を行うことができる。同図では、各タッチパネル上にアイコン1〜5が表示された例を示しており、特に、タッチパネル120上の音楽ファイルのアイコン5をユーザが指でタッチして、ドラッグを開始しようとしている様子を示している。
ユーザがこのアイコン5をタッチパネル110に向かってドラッグしていくと、つまり、同図の点線の位置にあるアイコン5にタッチ(タッチパネル120を押圧)した指を離さずにタッチパネル120上を滑らせていくと、タッチパネル120の端に行き着く(同図(b)参照)。両タッチパネル間も筐体表面に沿って指を滑らせて、指がタッチパネル110に入ると、タッチパネル120におけるタッチパネル110側の境界でアイコン5のドラッグが解除されることなく、タッチパネル110においてもドラッグが継続される。
引き続き、タッチパネル110上で指を滑らせていき、メールのアイコン1の上でアイコン5をドロップすること、つまり、タッチパネル110上を滑らせてきた指が、タッチパネル110上のアイコン1の位置にきたときに、その指をタッチパネル110から離す(タッチパネル110の押圧を解除する)ことで、同図(c)に示すように、ドロップしたアイコン5に対応するファイルが添付された新規メールの作成画面が表示される。
このように、ユーザは、離れて配置された2つのタッチパネル間においても、あたかも1つのディスプレイで操作しているかのように、ドラッグ&ドロップ操作を行うことができる。
<構成>図2は、携帯電話機100の主要部の機能構成を示すブロック図である。
携帯電話機100は、プロセッサとメモリとを含んで構成され、機能面においては、同図に示すとおり、タッチパネル110、タッチパネル120、座標記憶部130、制御部140を備え、制御部140の機能は、上述のメモリに記憶されている制御プログラムを上述のプロセッサが実行することにより実現される。なお、同図は、本発明の特徴を実現する上で重要な各機能構成要素の関係を示している。
ここで、タッチパネル110は表示部111及び入力部112を、タッチパネル120は、表示部121及び入力部122を備える。各表示部は、LCD(Liquid Crystal Display)を含み、表示制御用アプリケーションからの指示を受けて文字やアイコン等の画像をLCDに表示する回路である。ここで、表示制御用アプリケーションは、上述のメモリに記憶されており、上述のプロセッサが実行することで、OS(Operating System)からのメッセージに基づくLCDに対する表示制御を実現するプログラムである。
なお、以下では、表示部111に含まれるLCDの画素数(横×縦)は150×300画素であり、表示部121に含まれるLCDの画素数(横×縦)は150×200画素であるものとして説明する。また、各入力部は、ユーザによるタッチを検出し、検出している間、単位時間(例えば、1/60秒)毎に、その位置の座標値(x,y)を制御部140に送出する回路である。なお、各入力部は、一般的なタッチパネルで用いられている抵抗膜方式、光学式(赤外線方式)、静電容量結合式等の何れの方法で実現するものであってもよい。
以下では、入力部112は、図1(a)のa点(タッチパネル110におけるLCDの左上端)がタッチされたときには座標値(0,0)を、b点(タッチパネル110におけるLCDの右下端)がタッチされたときには座標値(150,300)を制御部140に送出するものとする。また、入力部122は、図1(a)のc点(タッチパネル120におけるLCDの左上端)がタッチされたときには座標値(0,0)を、図1(b)のd点(タッチパネル120におけるLCDの右下端)がタッチされたときには座標値(150,200)を制御部140に送出するものとする。
座標記憶部130は、座標値を格納するためのメモリ領域である。制御部140は、各タッチパネルと表示制御用アプリケーションとを仲介するOSとして機能するものであり、一般のOSと同様に各タッチパネル上のアイコン等のサイズ、形状、配置(座標)を管理すると共に、ユーザによるタッチパネルの操作に応じたメッセージを、操作された部分の表示制御を行っている表示制御用アプリケーションに伝達する機能を有する。
制御部140は、検出部141と、メッセージ発行部142と、座標変換部143と、特定部144とを含んで構成される。ここで、検出部141は、各入力部からの座標値の受領に応じて、ユーザによる各タッチパネルの操作状態を検出する機能を有する。各タッチパネルの操作状態には、ユーザの指等がタッチパネルをタッチした(タッチパネルの押圧を開始した)タッチ状態の他、タッチパネルから指等を離した(タッチパネルの押圧を解除した)デタッチ状態、タッチ状態になった後デタッチ状態になっていないドラッグ状態がある。なお、一般的にドラッグ状態という場合、タッチされている位置が移動することになるが、本実施の形態では、全く位置が移動しない場合も含めてドラッグ状態と表現している。
メッセージ発行部142は、検出部141の検出結果、又は特定部144の判定結果に基づくメッセージを、表示制御用アプリケーションに送出する機能を有する。メッセージの内容については後述する。座標変換部143は、各入力部から受領した座標値(以下、「物理座標値」ともいう)を、操作制御用座標系における座標値(以下、「論理座標値」という)に変換し、変換後の論理座標値を座標記憶部130に格納する機能を有する。
ここで、操作制御用座標系について説明する。図3は、操作制御用座標系を説明するための図である。操作制御用座標系は、同図に示すように、タッチパネル110の左上隅の座標値を(0,0)として、右方向にx軸を、下方向にy軸を取った座標系である。同図においては、操作制御用座標系における座標値の一例を示しており、タッチパネル110の右上端の座標値は(150,0)、左下端の座標値は(0,300)、右下端の座標値は(150,300)であり、タッチパネル120の左上端の座標値は(0,350)、右上端の座標値は(150,350)、左下端の座標値は(0,550)、右下端の座標値は(150,550)である。
ここで、タッチパネル120の上端のy座標(350)は、タッチパネル110とタッチパネル120の間のベゼルの幅に応じて決定されている。つまり、操作制御用座標系においては、ベゼルの幅を含めてy座標が割り当てられている。なお、以下では、同図に示すy座標が290〜300の斜線部分の領域を「第1境界領域」といい、y座標が350〜360の斜線部分の領域を「第2境界領域」という。
上述のように、入力部112は、タッチパネル110におけるLCDの左上端がタッチされた場合には物理座標値(0,0)を、右下端がタッチされた場合には物理座標値(150,300)を送出し、入力部122は、タッチパネル120におけるLCDの左上端がタッチされた場合には物理座標値(0,0)を、右下端がタッチされた場合には物理座標値(150,200)を送出する。
従って、タッチパネル110(入力部112)から受領した物理座標値は操作制御用座標系における論理座標値と一致するため、座標変換部143はタッチパネル110から受領した物理座標値をそのまま操作制御用座標系における論理座標値とする。一方、タッチパネル120(入力部122)から座標値を受領した場合には、受領した物理座標値のy座標に「350」を加えたものを操作制御用座標系における論理座標値とする。
続いて、特定部144(図2参照)は、一方のタッチパネルにおいて、検出部141により検出された操作状態がドラッグ状態からデタッチ状態になった場合に、他方のタッチパネルにおいてもドラッグ状態を継続させるか否かを座標記憶部130に格納されている論理座標値に基づいて判定する機能を有する。より詳細には、一方のタッチパネルにおいて、ドラッグ状態からデタッチ状態になった際の位置(最後にタッチされていた位置)が、そのタッチパネルにおける境界領域(図3の第1境界領域又は第2境界領域)に含まれ、かつ、その位置でのドラッグ速度の絶対値が所定値以上である場合に、ドラッグを継続する旨の判定を行う。
このドラッグ速度とは、最後にタッチされていた位置のy座標値から、その単位時間(この例では、1/60秒)前にタッチされていた位置のy座標値を減じた値をいい、以下では、一例として、上述の所定値を「2」として説明する。なお、タッチパネル110においてドラッグ状態からデタッチ状態になった場合のドラッグ速度が負の値になった場合、及びタッチパネル120においてドラッグ状態からデタッチ状態になった場合のドラッグ速度が正の値になった場合には、ドラッグ速度は「0」であるものとする。
また、特定部144は、ドラッグ状態を継続する旨の判定を行った場合に、もし仮に、各タッチパネル及びベゼルの部分を含む1つの大きなタッチパネル上でユーザがデタッチせずにドラッグし続けたとしたときに、単位時間経過毎にタッチされているであろう位置の座標値(以下、「移動先座標値」という)を、座標記憶部130に格納されている論理座標値に基づいて決定する機能を有する。
ここで、移動先座標値の決定方法を説明する。図4は、移動先座標値の決定方法を説明するための図である。例えば、タッチパネル120においてユーザにより最後(時刻T2)にタッチされていた位置の座標値を(x2,y2)とし、その単位時間前(時刻T1)にタッチされていた位置の座標値を(x1,y1)とすると、単位時間当たりの移動量は(x2−x1,y2−y1)と算出できる。
従って、単位時間当たりの移動量が一定であるとした場合、時刻T2から単位時間後の時刻T3にタッチされているであろう位置の座標値(移動先座標値)は(2×x2−x1,2×y2−y1)、更に単位時間時間後の時刻T4にタッチされているであろう位置の移動先座標値は(3×x2−2×x1,3×y2−2×y1)というように決定することができる。
このように移動先座標値を決定していくと、時刻T6における位置P6の座標値は、最後(時刻T2)にタッチしていたタッチパネルと異なる他のタッチパネル(この例ではタッチパネル110)の境界領域(この例では第1境界領域)を超えてしまう。このような場合に、特定部144は、他のタッチパネルにおける境界(この例では境界B1)上の位置P6’の座標値を移動先座標値とする。
この位置P6’の座標値は、時刻T5においてタッチされているであろう位置(同図のP5)と、時刻T6においてタッチされているであろう位置P6とを結ぶ直線と、境界B1との交点の座標値である。位置P5と位置P6とを結ぶ直線は、一次関数(y=ax+b)により表され、各定数a、bの値は、連立方程式を解くことで算出でき、この式(y=ax+b)に境界B1のy座標(この例では290)を代入してx座標を算出すれば位置P6’の座標値が算出できるため、詳細な説明は省略する。
<動作>次に、上記構成を備える携帯電話機100の動作について、図5を用いて説明する。図5は、ユーザによるドラッグ&ドロップ操作に対する携帯電話機100の制御処理を示すフローチャートである。制御部140の検出部141は、いずれかのタッチパネルから座標値を受領すると、タッチ状態であることを検出し(ステップS1)、メッセージ発行部142は、検出部141の検出結果に応じて、PRESSメッセージを表示制御用アプリケーションに対して発行する(ステップS2)。ここで、PRESSメッセージは、タッチ状態であることを示すメッセージであり、タッチされている位置の座標値(ステップS1で受領した座標値)と、その座標値を送出したタッチパネルの識別情報を含むものである。表示制御用アプリケーションは、例えば、このPRESSメッセージに含まれる座標値にあるアイコンが選択状態にあることを表すように表示を制御する。
また、座標変換部143は、ステップS1で受領した座標値を操作制御用座標系における論理座標値に変換し、座標記憶部130に格納する。次に、検出部141は、ステップS1でタッチ状態であることを検出したタッチパネルにおいて、デタッチ状態を検出したか否かを単位時間(この例では1/60秒)毎に判定する(ステップS3)。より詳細には、タッチ状態であれば、単位時間毎にそのタッチパネルから座標値を受領することになるため、座標値を受領したか否かを判定し、受領しなかった場合に、デタッチ状態であることを検出した旨の判定を行う。
デタッチ状態であることを検出しない場合には(ステップS3:N)、メッセージ発行部142は、検出部141の検出結果に応じて、MOVEメッセージを表示制御用アプリケーションに対して発行し(ステップS4)、座標変換部143は、ステップS3で受領した座標値を操作制御用座標系における論理座標値に変換して座標記憶部130に格納し、検出部141は、再びステップS3の判定処理を行う。
ここで、MOVEメッセージは、移動位置を示すメッセージであり、タッチされている位置の座標値(ステップS3で受領した座標値)と、その座標値を送出したタッチパネルの識別情報を含むものである。表示制御用アプリケーションは、例えば、このMOVEメッセージに含まれる座標値にアイコンを移動させるように表示を制御する。また、デタッチ状態であることを検出した場合には(ステップS3:Y)、特定部144は、座標記憶部130に格納されている最後にタッチされた位置の論理座標値が、ステップS1でタッチ状態であることを検出したタッチパネルにおける境界領域(第1境界領域又は第2境界領域)に含まれるか否かを判定し(ステップS5)、境界領域に含まれない場合には(ステップS5:N)、メッセージ発行部142は、特定部144の否定的な判定結果に応じて、RELEASEメッセージを表示制御用アプリケーションに対して発行し(ステップS14)、制御処理を終了する。
ここで、RELEASEメッセージは、デタッチ状態になったことを示すメッセージであり、最後にタッチされていた位置の座標値(座標記憶部130に格納されている該当の論理座標値を物理座標値に再変換したもの)と、その座標値を送出したタッチパネルの識別情報を指定するものである。なお、メッセージ発行部142は、該当の論理座標のy座標値が350未満である場合には、タッチパネル110の識別情報を、350以上である場合には、タッチパネル120の識別情報をRELEASEメッセージに含める。表示制御用アプリケーションは、例えば、このRELEASEメッセージに含まれる座標値でアイコンの移動を停止させるように表示を制御する。
一方、座標記憶部130に格納されている最後にタッチされた位置の論理座標値が、ステップS1でタッチ状態であることを検出したタッチパネルにおける境界領域に含まれる場合には(ステップS5:Y)、特定部144は、その判定に係るy座標値(論理y座標値)及び座標記憶部130に格納されている単位時間前の位置の論理y座標値からドラッグ速度を算出し、そのドラッグ速度の絶対値が所定値以上であるか否かを判定する(ステップS6)。
ドラッグ速度の絶対値が所定値未満である場合には(ステップS6:N)、メッセージ発行部142は、上記同様に、RELEASEメッセージを表示制御用アプリケーションに対して発行し(ステップS14)、制御処理を終了する。また、ドラッグ速度の絶対値が所定値以上である場合には(ステップS6:Y)、特定部144は、座標記憶部130に格納されている、最後にタッチされていた位置及びその単位時間前にタッチされていた位置の2つの論理座標値から単位時間当たりの移動量を算出し、単位時間後の移動先座標値を決定する(ステップS7)。
検出部141は、ステップS3でデタッチ状態になったことを検出したタッチパネルとは異なる他のタッチパネルにおいてタッチ状態になったことを検出したか否かを単位時間(この例では1/60秒)毎に判定する(ステップS8)。つまり、他のタッチパネルから座標値を受領したか否かを判定し、受領していない場合には(ステップS8:N)、ステップS3でデタッチ状態を検出してから所定時間(例えば1秒)を経過したか否かを判定し(ステップS9)、経過した場合には(ステップS9:Y)、メッセージ発行部142は、上記同様に、RELEASEメッセージを表示制御用アプリケーションに対して発行し(ステップS14)、制御処理を終了し、経過していない場合には(ステップS9:
N)、特定部144は、移動先座標値がベゼル範囲内(つまり、論理y座標値が300〜350の範囲)に含まれるか否かを判定する(ステップS10)。
移動先座標値がベゼル範囲内でない場合には(ステップS10:N)、メッセージ発行部142は、MOVEメッセージを発行する(ステップS11)。このMOVEメッセージは、ステップS4で説明したのと同様、移動位置を示すメッセージであるが、このメッセージに含まれる座標値が、直近に決定した移動先座標値(上述のステップS7と後述のステップS12とで決定した移動先座標値のうち、直近に決定したもの)を物理座標値に再変換したものである点で異なる。なお、このMOVEメッセージに含ませるタッチパネルの識別情報の決定方法は、上述のRELEASEメッセージの場合と同様である。
特定部144は、直近に決定した移動先座標値及びステップS7で算出した単位時間当たりの移動量に基づいて、単位時間後の移動先座標値を決定し(ステップS12)、再びステップS8から処理を行い、移動先座標値がベゼル範囲内である場合には(ステップS10:Y)、ステップS11の処理を行わず、ステップS12に進む。また、ステップS8において、検出部141がタッチ状態を検出した場合、つまり、他のタッチパネルから座標値を受領した場合には(ステップS8:Y)、座標変換部143は、受領した座標値を操作制御用座標系における論理座標値に変換して座標記憶部130に格納すると共に、特定部144は、この論理座標値が、直近に決定した移動先座標値から一定範囲内(例えば、半径が50座標分の円の範囲)に含まれるか否かを判定する(ステップS13)。
直近に決定した移動先座標値から一定範囲内に含まれる場合には(ステップS13:Y)、RELEASEメッセージを発行することなく、ステップS3から再び処理を行い、含まれない場合には(ステップS13:N)、上記同様に、RELEASEメッセージを表示制御用アプリケーションに対して発行し(ステップS14)、制御処理を終了する。<具体例による動作の説明>上述した携帯電話機100の制御処理について、具体例を用いて説明する。
以下では、図1(a)に示すタッチパネル120に表示されているアイコン2を、ユーザがタッチパネル110に向かってドラッグする場合を例に、図6を用いて説明する。ユーザがアイコン2を指でタッチすると、検出部141は、タッチパネル120から座標値(例えば、(50,150)とする)を受領し、タッチ状態を検出し(図5のステップS1)、メッセージ発行部142は、この座標値(50,150)及びタッチパネル120の識別情報を含むPRESSメッセージを表示制御用アプリケーションに対して発行する(ステップS2)。また、座標変換部143は、ステップS1で受領した座標値(50,150)を操作制御用座標系における論理座標値(50,500)に変換し、座標記憶部130に格納する。
次に、検出部141は、タッチパネル120においてデタッチ状態を検出したか否かを単位時間(この例では1/60秒)毎に判定し、つまり、タッチパネル120から座標値を受領したか否かを判定し(ステップS3)、図6(a)のようにユーザがタッチパネル120において、アイコン2のドラッグを続けている間はデタッチ状態を検出しないので(ステップS3:N)、メッセージ発行部142は、受領した座標値(例えば、(48,145)とする)及びタッチパネル120の識別情報を含むMOVEメッセージを表示制御用アプリケーションに対して発行し(ステップS4)、表示制御用アプリケーションは、タッチパネル120上のこのMOVEメッセージに含まれる座標値にアイコンを移動させるように表示を制御する(図6(a)参照)。
また、座標変換部143は、受領した座標値(48,145)を操作制御用座標系における論理座標値(48,495)に変換して座標記憶部130に格納し、検出部141は
、再びステップS3の判定処理を行う。ユーザがアイコン2のドラッグを続けている間、上記と同様にステップS3〜S4を繰り返して図6(b)の位置でユーザが指を離すと、検出部141は、タッチパネル120から座標値を受領しないので、デタッチ状態を検出する(ステップS3:Y)。
また、特定部144は、座標記憶部130に格納されている最後にタッチされた位置の論理座標値(例えば、(46,355)とする)がタッチパネル120における第2境界領域に含まれ(ステップS5:Y)、その判定に係る論理y座標値(355)から、座標記憶部130に格納されている単位時間前の位置の論理y座標値(例えば、「358」とする)を減じた値(つまりドラッグ速度は「−3」)の絶対値が所定値(本実施の形態の例では「2」)以上なので(ステップS6:Y)、以下のように単位時間後の移動先座標値を決定する。即ち、座標記憶部130に格納されている、最後にタッチされていた位置の論理座標値(46,355)とその単位時間前にタッチされていた位置の論理座標値(例えば、(46,358)とする)とから単位時間当たりの移動量(0,−3)を算出し、単位時間後の移動先座標値(46,352)を決定する(ステップS7)。
まだユーザがタッチパネル110をタッチしていない場合には、検出部141は、タッチパネル110から座標値を受領しないので、タッチ状態を検出せず(ステップS8:N)、ステップS3でデタッチ状態になったことを検出してから1/60秒しか経過しておらず、つまり所定時間(この例では1秒)を経過していないので(ステップS9:N)、特定部144は、移動先座標値がベゼル範囲内(つまり、論理y座標が300〜350の範囲)に含まれるか否かを判定する(ステップS10)。
この例では、移動先座標値(46,352)がベゼル範囲内に含まれないので(ステップS10:N)、メッセージ発行部142は、この移動先座標値を再変換した物理座標値(46,2)及びタッチパネル120の識別情報を含むMOVEメッセージを発行する(ステップS11)。表示制御用アプリケーションは、タッチパネル120上のこのMOVEメッセージに含まれる座標値(46,2)にアイコンを移動させるように表示を制御する。
特定部144は、移動先座標値(46,352)及びステップS7で算出した単位時間当たりの移動量(0,−3)に基づいて、単位時間後の移動先座標値(46,349)を決定する(ステップS12)。再びステップS8において、まだ、タッチパネル110をタッチしていない場合には、検出部141はタッチ状態を検出せず(ステップS8:N)、ステップS3でデタッチ状態を検出してから所定時間(この例では1秒)を経過していないので(ステップS9:N)、特定部144は、移動先座標値がベゼル範囲内(つまり、論理y座標が300〜350の範囲)に含まれるか否かを判定する(ステップS10)。
上述のステップS12で決定した移動先座標値(46,349)はベゼル範囲内に含まれるので(ステップS10:Y)、メッセージ発行部142によるMOVEメッセージの発行は行われず、特定部144は、移動先座標値(46,349)及びステップS7で算出した単位時間当たりの移動量(0,−3)に基づいて、単位時間後の移動先座標値(46,346)を決定する(ステップS12)。
ステップS8〜S12の処理を繰り返し、その間、表示制御用アプリケーションは、メッセージ発行部142により発行されたMOVEメッセージに含まれる座標値にアイコンを移動させるように表示を制御するので、タッチパネル110にアイコン2がついに表示される。図6(c)に示すように、ユーザがタッチパネル110をタッチすると、検出部141は、タッチパネル110から座標値(例えば、(55,297))を受領するので
、タッチ状態を検出し(ステップS8:Y)、座標変換部143は、受領した座標値を操作制御用座標系における論理座標値(55,297)に変換して座標記憶部130に格納する。
また、特定部144は、この論理座標値が、直近に決定した移動先座標値(例えば、(46,295)とする)から一定範囲内(例えば、半径が50座標分の円の範囲)に含まれるので(ステップS13:Y)、RELEASEメッセージを発行することなく、つまり、ドラッグ状態を継続してステップS3から再び処理を行う。その後、ユーザがタッチパネル110において、アイコン2のドラッグを続けている間、検出部141はデタッチ状態を検出しないので(ステップS3:N)、メッセージ発行部142によりMOVEメッセージが発行され(ステップS4)、表示制御用アプリケーションは、タッチパネル110上のこのMOVEメッセージに含まれる座標値にアイコンを移動させるように表示を制御する。
ユーザが所望の位置までアイコン2をドラッグし、タッチパネル110から指を離すと、検出部141は、タッチパネル110から座標値を受領しなくなるので、デタッチ状態を検出し(ステップS3:Y)、最後にタッチされた位置の論理座標値が、ステップS1でタッチ状態であることを検出したタッチパネル120の第2境界領域には含まれないので(ステップS5:N)、メッセージ発行部142は、RELEASEメッセージを表示制御用アプリケーションに対して発行し(ステップS14)、制御処理を終了する。
このように離れて配置された2つのタッチパネル間においても、ユーザは、あたかも1つのディスプレイで操作しているかのように、ドラッグ&ドロップ操作を行うことができる。
≪変形例≫上述の実施の形態では、一方のタッチパネルから他方のタッチパネルにドラッグ状態を継続させる際の条件として、この一方のタッチパネルにおいて最後にタッチされた位置の論理座標値がタッチパネル120における第2境界領域に含まれ、かつドラッグ速度の絶対値が所定値以上であることを一例として説明したが、以下では、アイコンの一部がベゼル範囲に含まれていることを条件にするように替えた一変形例を説明する。
変形例に係る携帯電話機は、上述の携帯電話機100の特定部144の機能を若干変更したものである。具体的には、図5のステップS5、S6の処理に替えて、アイコンの一部の座標値がベゼル範囲に含まれているか否かを判定する処理を行う。ここでは、上述の実施の形態での<具体例による動作の説明>における例と同様の例により、実施の形態からの変更部分を中心に図7を用いて簡単に説明する。
ユーザがアイコン2を指でタッチし、タッチパネル110に向かってドラッグしていくと(図7(a)参照)、上述したように図5のステップS1〜S4の処理が行われ、図7(b)の位置でユーザが指を離すと、検出部141はデタッチ状態を検出するので(ステップS3:Y)、変形例に係る特定部は、ユーザによりドラッグされたアイコンの一部がベゼル範囲(論理y座標が300〜350の範囲)に含まれるか否かを判定する。
より詳細には、実施の形態において説明したように制御部はアイコンのサイズ、形状、配置(座標)を管理しているため、最初にアイコン中のどの位置がタッチされたかを示す情報を保持しておき、変形例に係る特定部は、最後にタッチされたタッチパネル上の位置から、保持した情報に基づいて、例えばアイコンの各頂点の位置を特定して、アイコンの一部がベゼル範囲(論理y座標が300〜350の範囲)に含まれるか否かを判定する。
図7(b)の例では、アイコンの一部がベゼル範囲(論理y座標が300〜350の範囲)に含まれるので、実施の形態で説明したステップS7の処理を行い、図7(c)に示
すように、ユーザがタッチパネル110をタッチすると、検出部141は、タッチ状態を検出し(ステップS8:Y)、以降実施の形態で説明したのと同様に処理する。
≪補足≫以上、本発明に係る携帯端末装置を、実施の形態及び変形例に基づいて説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態及び変形例で示した通りの携帯電話機に限られないことは勿論である。
(1)実施の形態及び変形例に係る携帯電話機は、スライド式の携帯電話機であるものとして説明したが、2つのタッチパネルを有する携帯電話機であれば、折りたたみ式、ストレート式等、他の外観を有する携帯電話機であってもよい。
(2)実施の形態及び変形例に係る携帯電話機は、通常の使用状態において、ユーザから見て、タッチパネル110とタッチパネル120とが上下(つまり、タッチパネル110が奥、タッチパネル120が手前)に配置されるものとして説明したが、左右に配置されるようにしてもよい。その場合、操作制御用座標系においては、ベゼルの幅を含めてx座標が割り当てられてられることになる。
(3)実施の形態及び変形例に係る携帯電話機は、図1(a)のようにスライドした状態で、タッチパネル110とタッチパネル120とが略同一平面上に配置されるものとして説明したが、一方のタッチパネルから他方のタッチパネルにドラッグ状態を継続させる際の条件を満たすようにユーザが操作できる態様であればどのような配置でもよく、例えば、携帯電話機の表面にタッチパネル110を、裏面にタッチパネル120を配置するようにしてもよい。
(4)実施の形態及び変形例に係る携帯電話機では、タッチパネル110とタッチパネル120との間にはベゼルがあるものとして説明したが、ベゼルを設けないようにタッチパネル110とタッチパネル120とを配置してもよい。その場合、操作制御用座標系においては、ベゼルの幅を含めずにy座標が割り当てられてられることになる。また、上述の(3)のようにタッチパネル110とタッチパネル120とが左右に配置されるような場合においても、同様にベゼルを設けないようにしてもよい。
(5)実施の形態及び変形例に係る携帯電話機では、移動先座標値を決定する際に、単位時間当たりの移動量は一定であるものとして説明したが、例えば、単位時間毎に決定した移動先座標値が他方のタッチパネル上の位置を示すようになった場合に、単位時間当たりの移動量を減少させるようにしてもよい。
(6)実施の形態及び変形例に係る携帯電話機は、移動先座標値を決定する際に、最後にタッチされた位置の座標値と、その単位時間前にタッチされた位置の座標値との2つに基づいて決定するものとして説明したが、3つ以上の座標値に基づいて決定するようにしてもよい。この場合、3つ以上の座標値からベジェ曲線等を求め、このベジェ曲線に基づいて決定すればよい。
(7)実施の形態及び変形例の携帯電話機において、第1境界領域及び第2境界領域は矩形であるものとして説明したが、その他の形状であってもよい。
(8)実施の形態及び変形例に係る携帯電話機においては、ドラッグ速度の絶対値が所定値以上であるか否かを判定する際に、この所定値を「2」として説明したが、これは一例であり、これ以外の値(例えば「1」)であってもよい。
(9)実施の形態及び変形例に係る携帯電話機の制御部は、表示制御用アプリケーションに対し、物理座標値及びその物理座標値を送出したタッチパネルの識別情報を含むメッ
セージを発行するものとして説明したが、これに替えて、論理座標値を含めるようにしてもよい。また、表示制御用アプリケーションからの指示を受けて、上述のいずれの形式のメッセージを発行するかを切り替えられるようにしてもよい。
(10)実施の形態及び変形例において説明した各構成要素のうち、全部又は一部を1チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実現してもよい。
(11)本発明に係るユーザインタフェース装置の各タッチパネル及び表示手段は、実施の形態及び変形例に係る携帯電話機のタッチパネル110と120及びメモリに記憶されている表示制御用アプリケーションとプロセッサに相当するものであるが、これに限られるものではない。即ち、入出力手段としての第1及び第2のタッチパネルを備え、第1のタッチパネル上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、第2のタッチパネル上の位置を特定し、この特定された位置に前記表示物の少なくとも一部を表示する装置であれば、単独の装置であってもよいし、携帯電話機以外の他の装置の一部の装置であってもよい。
(12)実施の形態及び変形例に係る携帯電話機においては、図5のステップS9の所定時間が1秒である場合を例に説明したが、これは一例であり、例えば2秒であってよく、特に、ユーザが両タッチパネルの間のベゼルの部分を筐体表面に沿って指を滑らせてドラッグさせた場合にかかる時間を予め測定しておき、測定した時間を上記所定時間と決定することが望ましい。
(13)実施の形態及び変形例に係る携帯電話機に含まれるユーザインタフェース装置は、タッチパネル110及び120を備え、各タッチパネル上のアイコン等の表示物の位置で押圧が開始されてから押圧位置が変化して押圧が解除されるまでの間(つまりドラッグ状態である間)において、押圧されている位置に対応して当該表示物を表示する機能を有するユーザインタフェース装置であって、例えばタッチパネル120上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、タッチパネル110上の位置を特定する特定部144と、タッチパネル110上の前記特定部144により特定された位置に前記表示物の少なくとも一部を表示する表示制御用アプリケーションとを備えるものとして説明したように、本発明に係るユーザインタフェース装置は、第1及び第2のタッチパネルを備え、タッチパネル上の表示物の位置で押圧が開始されてから押圧位置が変化して押圧が解除されるまでの間において、押圧されている位置に対応して当該表示物を表示する機能を有するユーザインタフェース装置であって、第1のタッチパネル上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、第2のタッチパネル上の位置を特定する特定手段と、第2のタッチパネル上の前記特定手段により特定された位置に前記表示物の少なくとも一部を表示する表示手段とを備えることを特徴とする。
上記構成を備える本発明に係るユーザインタフェース装置は、例えば並んで配置されるような第1のタッチパネルと第2のタッチパネルとの間でユーザが、ドラッグ&ドロップをしようとし、指等で第1のタッチパネルに表示された表示物の位置を押圧して、その指等を第1のタッチパネル上を滑らせるとその指等の位置に応じてその表示物は表示され、更にユーザがその指等を例えば第1のタッチパネルから第2のタッチパネル上にまで移動させた場合に、その表示物が第1のタッチパネルから第2のタッチパネルへと渡って第2のタッチパネルに表示されるようになる。第2のタッチパネルにその表示物が表示された後は、従来の1つのタッチパネル上でのドラッグ&ドロップと同様に第2のタッチパネル上でその表示物はユーザの指等の移動に応じて表示されることとなる。
即ち、本発明に係るユーザインタフェース装置は、ユーザに複数のタッチパネル間でドラッグ&ドロップを行うことを可能ならしめるために機能し得る。
(14)また、実施の形態に係る携帯電話機100が備えるユーザインタフェース装置における前記所定条件は、タッチパネル110及び120が共に略同一平面上に並んで配置された形態を自装置がとっている場合において、例えばタッチパネル120におけるタッチパネル110側の一辺から所定範囲を占める第2境界領域内に押圧位置が入って押圧が解除されたことであるとして説明したように、本発明に係るユーザインタフェース装置における前記所定条件は、第1及び第2のタッチパネルが共に略同一平面上に並んで配置された形態を自装置がとっている場合において、第1のタッチパネルにおける第2のタッチパネル側の一辺から所定範囲を占める境界領域内に押圧位置が入って押圧が解除されたことであることとしてもよい。
これにより、ユーザは、第1のタッチパネルから第2のタッチパネルへと指等を滑らせることにより、第1のタッチパネル上に表示されている表示物を第2のタッチパネル側に表示させることができるようになる。
(15)また、実施の形態に係る携帯電話機100が備えるユーザインタフェース装置における前記特定部144は、例えば、タッチパネル110上の前記位置の特定を、タッチパネル120上で最後に押圧されていた位置とその単位時間前に押圧されていた位置とに応じて行うものとして説明したように、本発明に係るユーザインタフェース装置における前記特定手段は、第2のタッチパネル上の前記位置の特定を、第1のタッチパネル上での押圧の前記解除の前から当該解除までに検知された1以上の押圧位置に応じて行うこととしてもよい。
これにより、ユーザが、第1のタッチパネル上で表示物に乗せた指等を動かす方向等によって、第2のタッチパネル上に現れる表示物の位置を制御することができるようになる。
(16)また、実施の形態に係る携帯電話機100が備えるユーザインタフェース装置における特定部144は、例えば、タッチパネル110上の前記位置の特定を、タッチパネル110及び120が共に略同一平面上に並んで配置された形態を自装置がとっている場合におけるタッチパネル120とタッチパネル110との相対位置関係と、タッチパネル120上における最後に押圧されていた位置とその単位時間前に押圧されていた位置とに応じて行い、表示制御用アプリケーションは、タッチパネル120上での押圧が解除されてから、所定時間(ベゼル範囲内に表示物がある時間に相当する)後にアイコン等の表示物の前記表示を行うものとして説明したように、本発明に係るユーザインタフェース装置における前記特定手段は、第2のタッチパネル上の前記位置の特定を、第1及び第2のタッチパネルが共に略同一平面上に並んで配置された形態を自装置がとっている場合における第1のタッチパネルと第2のタッチパネルとの相対位置関係と、第1のタッチパネル上における押圧の前記解除の前から当該解除までに検知された1以上の押圧位置とに応じて行い、前記表示手段は、第1のタッチパネル上での押圧が解除されてから、所定時間後に表示物の前記表示を行うこととしてもよい。
これにより、第1及び第2のタッチパネルの間の間隔が空いている場合において第1のタッチパネル上から第2のタッチパネル上へとユーザの指等が滑った場合に、第2のタッチパネル上への表示物の表示が適切になされ得る。
(17)また、実施の形態に係る携帯電話機100が備えるユーザインタフェース装置における前記所定条件は、タッチパネル110及び120が共に略同一平面上に並んで配
置された形態を自装置がとっている場合において、例えば、タッチパネル120におけるタッチパネル110側の一辺から所定範囲を占める第2境界領域内に押圧位置が入って押圧が解除され、かつ、最後に押圧されていた位置のy座標値からその単位時間前に押圧されていた位置のy座標値を減じた値(ドラッグ速度)の絶対値が所定値以上であることとして説明したように、本発明に係るユーザインタフェース装置における前記所定条件は、第1及び第2のタッチパネルが共に略同一平面上に並んで配置された形態を自装置がとっている場合において、第1のタッチパネルにおける第2のタッチパネル側の一辺から所定範囲を占める境界領域内に押圧位置が入って押圧が解除され、かつ、当該解除の前から当該解除までに押圧位置が、前記一辺に略垂直な方向の成分について単位時間につき所定程度以上、前記一辺に向かう方向に変化したことであることとしてもよい。
これにより、ユーザが第1のタッチパネル上で指等を動かした速度に応じて第2のタッチパネル上への表示物の表示が適切になされ得る。
(18)また、実施の形態に係る携帯電話機100が備えるユーザインタフェース装置の前記特定部144は、例えば、タッチパネル110上の前記位置の特定を、タッチパネル110及び120が共に略同一平面上に並んで配置された形態を自装置がとっている場合におけるタッチパネル120とタッチパネル110との相対位置関係と、タッチパネル120上における最後に押圧されていた位置とその単位時間前に押圧されていた位置とに応じて、タッチパネル120上での押圧の解除からタッチパネル110上での押圧の開始までの間に、複数回、単位時間間隔で、位置を変化させるように行い、表示制御用アプリケーションは、タッチパネル120上での押圧が解除されてから、所定時間(ベゼル範囲内に表示物がある時間に相当する)の経過以後においては、特定部144により位置の前記特定が行われる毎に、当該特定された位置に前記表示物の表示を行うこととして説明したように、本発明に係るユーザインタフェース装置における前記特定手段は、第2のタッチパネル上の前記位置の特定を、第1及び第2のタッチパネルが共に略同一平面上に並んで配置された形態を自装置がとっている場合における第1のタッチパネルと第2のタッチパネルとの相対位置関係と、第1のタッチパネル上における押圧の前記解除の前から当該解除までに検知された1以上の押圧位置とに応じて、第1のタッチパネル上での押圧の解除から第2のタッチパネル上での押圧の開始までの間に、複数回、単位時間間隔で、位置を変化させるように行い、前記表示手段は、第1のタッチパネル上での押圧が解除されてから所定時間の経過以後においては、前記特定手段により位置の前記特定が行われる毎に、当該特定された位置に前記表示物の表示を行うこととしてもよい。
これにより、ユーザが第1のタッチパネルから第2のタッチパネルへと指等を滑らせている際において、ユーザが第2のタッチパネルに触れる前においても第2のタッチパネル上で表示物がある軌跡を描くので、ユーザは指等で触れるべき第2のタッチパネル上の位置を把握し易くなる。
(19)また、実施の形態及び変形例に係る携帯電話機は、タッチパネル110及び120を備え、各タッチパネル上のアイコン等の表示物の位置で押圧が開始されてから押圧位置が変化して押圧が解除されるまでの間(つまりドラッグ状態である間)において、押圧されている位置に対応して当該表示物を表示する機能を有するユーザインタフェース装置であって、例えばタッチパネル120上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、タッチパネル110上の位置を特定する特定部144と、タッチパネル110上の前記特定部144により特定された位置に前記表示物の少なくとも一部を表示する表示制御用アプリケーションとを備えるユーザインタフェース装置を含むものとして説明したように、本発明に係る携帯端末装置は、第1及び第2のタッチパネルを備え、タッチパネル上の表示物の位置で押圧が開始されてから押圧位置が変化して押圧が解除されるまでの間において、押圧さ
れている位置に対応して当該表示物を表示する機能を有するユーザインタフェース装置であって、第1のタッチパネル上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、第2のタッチパネル上の位置を特定する特定手段と、第2のタッチパネル上の前記特定手段により特定された位置に前記表示物の少なくとも一部を表示する表示手段とを備えるユーザインタフェース装置を備えることを特徴とする。
上記構成を備える本発明に係る携帯端末装置は、ユーザに複数のタッチパネル間でドラッグ&ドロップを行うことを可能ならしめるために機能し得る。
(20)また、実施の形態及び変形例に係る携帯電話機は、タッチパネル110及び120を備え、タッチパネルの押圧開始から押圧解除までの間においてタッチパネル上の押圧位置に対応して当該タッチパネル上にアイコン等の表示物を表示する機能を有する携帯端末装置であって、表示物の表示を制御するための表示制御用アプリケーションを実行するプロセッサと、タッチパネル110又は120上で、押圧が開始された場合に表示制御用アプリケーションに対して押圧開始を示すメッセージを伝達し、押圧位置が移動した場合に表示制御用アプリケーションに対して位置を示すメッセージを伝達し、押圧が解除された場合に表示制御用アプリケーションに対して押圧解除を示すメッセージを伝達する制御部とを備え、制御部は、例えば、タッチパネル120上に表示された表示物の位置で押圧が開始された場合に、当該表示物の表示を制御するための表示制御用アプリケーションに対して押圧開始を示すメッセージを伝達し、タッチパネル120上の押圧された位置の変化が所定条件を満たす場合に、タッチパネル110上の位置を特定し、タッチパネル120上の押圧が解除された後にタッチパネル110上の前記特定された位置への押圧が開始された場合には、タッチパネル120上での押圧の解除に対応する、押圧解除を示すメッセージの伝達を抑止し、当該特定された位置を示すメッセージを伝達するとともに、タッチパネル110上での押圧の開始に対応する、押圧開始を示すメッセージの伝達を抑止することとして説明したように、本発明に係る携帯端末装置は、第1及び第2のタッチパネルを備え、タッチパネルの押圧開始から押圧解除までの間においてタッチパネル上の押圧位置に対応して当該タッチパネル上に表示物を表示する機能を有する携帯端末装置であって、表示物の表示を制御するためのアプリケーションプログラムを実行する実行手段と、第1又は第2のタッチパネル上で、押圧が開始された場合にアプリケーションプログラムに対して押圧開始を示すメッセージを伝達し、押圧位置が移動した場合にアプリケーションプログラムに対して位置を示すメッセージを伝達し、押圧が解除された場合にアプリケーションプログラムに対して押圧解除を示すメッセージを伝達する制御手段とを備え、前記制御手段は、第1のタッチパネル上に表示された表示物の位置で押圧が開始された場合に、当該表示物の表示を制御するためのアプリケーションプログラムに対して押圧開始を示すメッセージを伝達し、第1のタッチパネル上の押圧された位置の変化が所定条件を満たす場合に、第2のタッチパネル上の位置を特定し、第1のタッチパネル上の押圧が解除された後に第2のタッチパネル上の前記特定された位置への押圧が開始された場合には、第1のタッチパネル上での押圧の解除に対応する、押圧解除を示すメッセージの伝達を抑止し、当該特定された位置を示すメッセージを伝達するとともに、第2のタッチパネル上での押圧の開始に対応する、押圧開始を示すメッセージの伝達を抑止することを特徴とする。
上記構成を備える本発明に係る携帯端末装置によれば、特定のメッセージの伝達を抑止するので、表示物の表示を制御するためのアプリケーションプログラムにおいて、第1のタッチパネルと第2のタッチパネルの間でのドラッグ&ドロップを比較的簡単な制御手順で実現できる可能性が高まる。
(21)また、実施の形態及び変形例に係る携帯電話機は、タッチパネル110及び1
20を備え、各タッチパネルの押圧開始から押圧解除までの間においてタッチパネル上の押圧位置に対応して当該タッチパネル上に表示物を表示する機能を有する携帯端末装置であって、タッチパネル120上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、タッチパネル110上の位置に前記表示物の少なくとも一部を表示する制御部及び表示制御用アプリケーションを備えるものとして説明したように、本発明に係る携帯端末装置は、第1及び第2のタッチパネルを備え、タッチパネルの押圧開始から押圧解除までの間においてタッチパネル上の押圧位置に対応して当該タッチパネル上に表示物を表示する機能を有する携帯端末装置であって、第1のタッチパネル上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、第2のタッチパネル上の位置に前記表示物の少なくとも一部を表示する表示制御手段を備えることを特徴とする。
上記構成を備える本発明に係る携帯端末装置は、ユーザに複数のタッチパネル間でドラッグ&ドロップを行うことを可能ならしめるために機能し得る。