JP5657468B2

JP5657468B2 - User interface device and portable terminal device

Info

Publication number: JP5657468B2
Application number: JP2011117517A
Authority: JP
Inventors: 田中　奈緒; 奈緒田中
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2011-05-26
Filing date: 2011-05-26
Publication date: 2015-01-21
Anticipated expiration: 2029-03-31
Also published as: JP2011187083A

Description

本発明は、複数のタッチパネルを有する機器に関し、特に、ユーザインタフェースの改良に関する。 The present invention relates to a device having a plurality of touch panels, and more particularly to improvement of a user interface.

２つのタッチパネルを有する携帯端末装置が知られている。近年の携帯端末装置は、パソコン等に引けを取らないような複雑な機能を実現できるようになっており、それに伴いより複雑な表示が必要になってきている。
そのため、上述のような２つのタッチパネルを有する携帯端末装置において、１つの機能に係る複雑な表示を２つのタッチパネルを用いて行うケースが考えられるが、このように２つのタッチパネルに分割して表示した場合、タッチパネルを跨ぐドラッグ操作等が必要となり得る。 A portable terminal device having two touch panels is known. In recent years, portable terminal devices can realize complicated functions that are incomparable with personal computers and the like, and accordingly, more complicated displays are required.
Therefore, in the portable terminal device having two touch panels as described above, there may be a case where a complicated display related to one function is performed using two touch panels. In this way, the display is divided into two touch panels. In this case, a drag operation or the like across the touch panel may be necessary.

これに対しては、片方の手で第１のタッチパネルに表示されているウインドウ等の表示物をタッチしながら、他方の手で第２のタッチパネル上の所望の位置をタッチし、その後に、第１のタッチパネルから手を離すことで第１のタッチパネルから第２のタッチパネルに表示物を移動させる方法が知られている（例えば特許文献１）。 For this, while touching a display object such as a window displayed on the first touch panel with one hand, touch the desired position on the second touch panel with the other hand, and then A method of moving a display object from a first touch panel to a second touch panel by releasing a hand from one touch panel is known (for example, Patent Document 1).

特開２００５−０９２４７６号公報Japanese Patent Laying-Open No. 2005-092476

しかしながら、特許文献１の方法では、一方のタッチパネルから他方のタッチパネルに表示物を移動させる際に、ユーザは、１つのタッチパネル内で表示物を移動させる場合のドラッグ操作とは異なる操作を行う必要がある。つまり、ユーザは、１つのタッチパネル内で表示物を移動させるのか、一方のタッチパネルから他方のタッチパネルに表示物を移動させるのかを意識して操作しなければならないので、ユーザへの操作負担が増えるという問題がある。 However, in the method of Patent Document 1, when moving a display object from one touch panel to the other touch panel, the user needs to perform an operation different from the drag operation when moving the display object within one touch panel. is there. In other words, the user must operate with the consciousness of moving the display object within one touch panel or moving the display object from one touch panel to the other touch panel, which increases the operation burden on the user. There's a problem.

また、特に、携帯端末装置では、片方の手で機器を持って操作を行うのが一般的であるため、一方のタッチパネルから他方のタッチパネルに表示物を移動させる際に両手を使わなければならない特許文献１の方法は不便である。
そこで、本発明は係る問題に鑑みてなされたものであり、一方のタッチパネルから他方のタッチパネルに表示物を移動させる際にもユーザへの操作負担を抑えることが可能性なユーザインタフェース装置及び携帯端末装置を提供することを目的とする。 In particular, in portable terminal devices, it is common to operate with a device with one hand, so a patent that requires use of both hands when moving a display from one touch panel to the other. The method of Document 1 is inconvenient.
Therefore, the present invention has been made in view of such problems, and a user interface device and a portable terminal that can suppress an operation burden on a user even when a display object is moved from one touch panel to the other touch panel. An object is to provide an apparatus.

上記課題を解決するために、本発明に係るユーザインタフェース装置は、第１及び第２のタッチパネルを備え、タッチパネル上の表示物の位置で押圧が開始されてから押圧位置が変化して押圧が解除されるまでの間において、押圧されている位置に対応して当該表示物を表示する機能を有するユーザインタフェース装置であって、第１のタッチパネル上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、第２のタッチパネル上の位置を特定する特定手段と、第２のタッチパネル上の前記特定手段により特定された位置に前記表示物の少なくとも一部を表示する表示手段とを備えることを特徴とする。 In order to solve the above-described problem, a user interface device according to the present invention includes first and second touch panels, and the pressing position is changed after the pressing starts at the position of the display object on the touch panel, and the pressing is released. A user interface device having a function of displaying the display object corresponding to the pressed position until the pressing is started at the position of the display object on the first touch panel. When the change in the pressed position detected until it is satisfied satisfies a predetermined condition, the specifying means for specifying the position on the second touch panel and the position specified by the specifying means on the second touch panel And display means for displaying at least part of the display object.

ここで、表示物の位置での押圧開始から、押圧位置の変化に対応して表示されるところのその表示物は、例えば所謂アイコンや画像やテキスト等の、タッチパネル内に表示される表示要素を意味する。 Here, from the start of pressing at the position of the display object, the display object that is displayed in response to the change in the pressed position is a display element displayed in the touch panel such as a so-called icon, image, or text. means.

上記構成を備える本発明に係るユーザインタフェース装置によれば、ユーザに複数のタッチパネル間でドラッグ＆ドロップを行うことを可能ならしめるために機能し得る。 The user interface device according to the present invention having the above-described configuration can function to enable the user to perform drag and drop between a plurality of touch panels.

携帯電話機１００における２つのタッチパネルを跨ぐドラッグ＆ドロップ操作を利用した操作例を説明するための図である。FIG. 10 is a diagram for explaining an operation example using a drag and drop operation straddling two touch panels in the mobile phone 100; 携帯電話機１００の主要部の機能構成を示すブロック図である。3 is a block diagram showing a functional configuration of a main part of the mobile phone 100. FIG. 操作制御用座標系を説明するための図である。It is a figure for demonstrating the coordinate system for operation control. 移動先座標値の決定方法を説明するための図である。It is a figure for demonstrating the determination method of a movement destination coordinate value. ユーザによるドラッグ＆ドロップ操作に対する携帯電話機１００の制御処理を示すフローチャートである。5 is a flowchart showing a control process of the mobile phone 100 for a drag and drop operation by a user. 携帯電話機１００の制御処理の遷移を説明するための図である。FIG. 10 is a diagram for explaining a transition of control processing of the mobile phone 100. 変形例に係る携帯電話機の制御処理の遷移を説明するための図である。It is a figure for demonstrating the transition of the control processing of the mobile telephone which concerns on a modification.

以下、本発明に係る携帯端末装置の実施の形態としての携帯電話機について説明する。≪実施の形態≫
＜概要＞
実施の形態に係る携帯電話機１００は、２つのタッチパネルを跨いだアイコン等のドラッグ＆ドロップ操作を可能にしたものである。 Hereinafter, a mobile phone as an embodiment of a mobile terminal device according to the present invention will be described. << Embodiment >>
<Overview>
The mobile phone 100 according to the embodiment enables a drag and drop operation of an icon or the like across two touch panels.

ここで、２つのタッチパネルを跨ぐドラッグ＆ドロップ操作を利用した操作例を説明する。
図１（ａ）に示すように、携帯電話機１００は、筐体１０１と筐体１０２とが互いにスライド可能に設けられたスライド式の携帯電話機であり、筐体１０１には、スピーカ１０３及びタッチパネル１１０が配置され、筐体１０２には、マイク１０４及びタッチパネル１２０が配置されている。 Here, an operation example using a drag-and-drop operation straddling two touch panels will be described.
As shown in FIG. 1A, a mobile phone 100 is a sliding mobile phone in which a housing 101 and a housing 102 are slidably provided. The housing 101 includes a speaker 103 and a touch panel 110. Is disposed, and the microphone 104 and the touch panel 120 are disposed in the housing 102.

各タッチパネル上には、カーソルキーやテンキー等のキー群やアイコン等が表示され、ユーザは、これらを指等でタッチすることにより各種操作を行うことができる。同図では、各タッチパネル上にアイコン１〜５が表示された例を示しており、特に、タッチパネル１２０上の音楽ファイルのアイコン５をユーザが指でタッチして、ドラッグを開始しようとしている様子を示している。 On each touch panel, a key group such as cursor keys and numeric keys, icons, and the like are displayed, and the user can perform various operations by touching them with a finger or the like. In the figure, an example in which icons 1 to 5 are displayed on each touch panel is shown. In particular, a state in which the user touches a music file icon 5 on the touch panel 120 with a finger and starts dragging. Show.

ユーザがこのアイコン５をタッチパネル１１０に向かってドラッグしていくと、つまり、同図の点線の位置にあるアイコン５にタッチ（タッチパネル１２０を押圧）した指を離さずにタッチパネル１２０上を滑らせていくと、タッチパネル１２０の端に行き着く（同図（ｂ）参照）。
両タッチパネル間も筐体表面に沿って指を滑らせて、指がタッチパネル１１０に入ると、タッチパネル１２０におけるタッチパネル１１０側の境界でアイコン５のドラッグが解除されることなく、タッチパネル１１０においてもドラッグが継続される。 When the user drags the icon 5 toward the touch panel 110, that is, the user touches the icon 5 at the dotted line position (presses the touch panel 120) and slides on the touch panel 120 without releasing the finger. As it goes, it reaches the end of the touch panel 120 (see FIG. 5B).
When the finger slides between the touch panels along the surface of the casing and the finger enters the touch panel 110, the drag of the icon 5 is not released at the touch panel 110 side boundary on the touch panel 120, and the drag is also performed on the touch panel 110. Will continue.

引き続き、タッチパネル１１０上で指を滑らせていき、メールのアイコン１の上でアイコン５をドロップすること、つまり、タッチパネル１１０上を滑らせてきた指が、タッチ
パネル１１０上のアイコン１の位置にきたときに、その指をタッチパネル１１０から離す（タッチパネル１１０の押圧を解除する）ことで、同図（ｃ）に示すように、ドロップしたアイコン５に対応するファイルが添付された新規メールの作成画面が表示される。 Continue to slide the finger on the touch panel 110 and drop the icon 5 on the mail icon 1, that is, the finger that has slid on the touch panel 110 comes to the position of the icon 1 on the touch panel 110. When the finger is released from the touch panel 110 (the touch panel 110 is released), a new mail creation screen to which a file corresponding to the dropped icon 5 is attached is displayed as shown in FIG. Is displayed.

このように、ユーザは、離れて配置された２つのタッチパネル間においても、あたかも１つのディスプレイで操作しているかのように、ドラッグ＆ドロップ操作を行うことができる。
＜構成＞
図２は、携帯電話機１００の主要部の機能構成を示すブロック図である。 In this way, the user can perform a drag-and-drop operation between two touch panels arranged apart from each other as if the user is operating with one display.
<Configuration>
FIG. 2 is a block diagram showing a functional configuration of main parts of the mobile phone 100.

携帯電話機１００は、プロセッサとメモリとを含んで構成され、機能面においては、同図に示すとおり、タッチパネル１１０、タッチパネル１２０、座標記憶部１３０、制御部１４０を備え、制御部１４０の機能は、上述のメモリに記憶されている制御プログラムを上述のプロセッサが実行することにより実現される。なお、同図は、本発明の特徴を実現する上で重要な各機能構成要素の関係を示している。 The mobile phone 100 is configured to include a processor and a memory. As shown in the figure, the mobile phone 100 includes a touch panel 110, a touch panel 120, a coordinate storage unit 130, and a control unit 140. The function of the control unit 140 is as follows. This is realized by the above-mentioned processor executing the control program stored in the above-mentioned memory. This figure shows the relationship between each functional component important for realizing the features of the present invention.

ここで、タッチパネル１１０は表示部１１１及び入力部１１２を、タッチパネル１２０は、表示部１２１及び入力部１２２を備える。
各表示部は、ＬＣＤ（ＬｉｑｕｉｄＣｒｙｓｔａｌＤｉｓｐｌａｙ）を含み、表示制御用アプリケーションからの指示を受けて文字やアイコン等の画像をＬＣＤに表示する回路である。
ここで、表示制御用アプリケーションは、上述のメモリに記憶されており、上述のプロセッサが実行することで、ＯＳ（ＯｐｅｒａｔｉｎｇＳｙｓｔｅｍ）からのメッセージに基づくＬＣＤに対する表示制御を実現するプログラムである。 Here, the touch panel 110 includes a display unit 111 and an input unit 112, and the touch panel 120 includes a display unit 121 and an input unit 122.
Each display unit includes an LCD (Liquid Crystal Display) and is a circuit that displays an image such as a character or an icon on the LCD in response to an instruction from a display control application.
Here, the display control application is a program that is stored in the above-described memory and that executes display control on the LCD based on a message from an OS (Operating System) by being executed by the above-described processor.

なお、以下では、表示部１１１に含まれるＬＣＤの画素数（横×縦）は１５０×３００画素であり、表示部１２１に含まれるＬＣＤの画素数（横×縦）は１５０×２００画素であるものとして説明する。
また、各入力部は、ユーザによるタッチを検出し、検出している間、単位時間（例えば、１／６０秒）毎に、その位置の座標値（ｘ，ｙ）を制御部１４０に送出する回路である。なお、各入力部は、一般的なタッチパネルで用いられている抵抗膜方式、光学式（赤外線方式）、静電容量結合式等の何れの方法で実現するものであってもよい。 In the following, the number of pixels of the LCD included in the display unit 111 (horizontal × vertical) is 150 × 300 pixels, and the number of pixels of the LCD included in the display unit 121 (horizontal × vertical) is 150 × 200 pixels. It will be explained as a thing.
In addition, each input unit detects a touch by the user, and sends the coordinate value (x, y) of the position to the control unit 140 every unit time (for example, 1/60 seconds) during detection. Circuit. Each input unit may be realized by any method such as a resistance film type, an optical type (infrared type), and a capacitive coupling type used in a general touch panel.

以下では、入力部１１２は、図１（ａ）のａ点（タッチパネル１１０におけるＬＣＤの左上端）がタッチされたときには座標値（０，０）を、ｂ点（タッチパネル１１０におけるＬＣＤの右下端）がタッチされたときには座標値（１５０，３００）を制御部１４０に送出するものとする。また、入力部１２２は、図１（ａ）のｃ点（タッチパネル１２０におけるＬＣＤの左上端）がタッチされたときには座標値（０，０）を、図１（ｂ）のｄ点（タッチパネル１２０におけるＬＣＤの右下端）がタッチされたときには座標値（１５０，２００）を制御部１４０に送出するものとする。 In the following, the input unit 112 displays the coordinate value (0, 0) when point a (the upper left corner of the LCD on the touch panel 110) in FIG. 1A is touched, and point b (lower right end of the LCD on the touch panel 110). It is assumed that the coordinate value (150, 300) is sent to the control unit 140 when is touched. Further, the input unit 122 displays the coordinate value (0, 0) when the point c in FIG. 1A (the upper left corner of the LCD on the touch panel 120) is touched, and the point d in FIG. It is assumed that the coordinate value (150, 200) is sent to the control unit 140 when the lower right corner of the LCD is touched.

座標記憶部１３０は、座標値を格納するためのメモリ領域である。
制御部１４０は、各タッチパネルと表示制御用アプリケーションとを仲介するＯＳとして機能するものであり、一般のＯＳと同様に各タッチパネル上のアイコン等のサイズ、形状、配置（座標）を管理すると共に、ユーザによるタッチパネルの操作に応じたメッセージを、操作された部分の表示制御を行っている表示制御用アプリケーションに伝達する機能を有する。 The coordinate storage unit 130 is a memory area for storing coordinate values.
The control unit 140 functions as an OS that mediates each touch panel and the display control application, and manages the size, shape, and arrangement (coordinates) of icons and the like on each touch panel in the same manner as a general OS. It has a function of transmitting a message corresponding to the operation of the touch panel by the user to a display control application that performs display control of the operated part.

制御部１４０は、検出部１４１と、メッセージ発行部１４２と、座標変換部１４３と、特定部１４４とを含んで構成される。ここで、検出部１４１は、各入力部からの座標値の
受領に応じて、ユーザによる各タッチパネルの操作状態を検出する機能を有する。各タッチパネルの操作状態には、ユーザの指等がタッチパネルをタッチした（タッチパネルの押圧を開始した）タッチ状態の他、タッチパネルから指等を離した（タッチパネルの押圧を解除した）デタッチ状態、タッチ状態になった後デタッチ状態になっていないドラッグ状態がある。なお、一般的にドラッグ状態という場合、タッチされている位置が移動することになるが、本実施の形態では、全く位置が移動しない場合も含めてドラッグ状態と表現している。 The control unit 140 includes a detection unit 141, a message issuing unit 142, a coordinate conversion unit 143, and a specifying unit 144. Here, the detection unit 141 has a function of detecting the operation state of each touch panel by the user in response to reception of coordinate values from each input unit. The operation state of each touch panel includes a touch state in which a user's finger touches the touch panel (starts pressing the touch panel), a detached state in which the finger is released from the touch panel (the touch panel is released), and a touch state. There is a drag state that is not detached after becoming. In general, when a drag state is used, the touched position moves. However, in the present embodiment, the drag state is expressed including a case where the position does not move at all.

メッセージ発行部１４２は、検出部１４１の検出結果、又は特定部１４４の判定結果に基づくメッセージを、表示制御用アプリケーションに送出する機能を有する。メッセージの内容については後述する。座標変換部１４３は、各入力部から受領した座標値（以下、「物理座標値」ともいう）を、操作制御用座標系における座標値（以下、「論理座標値」という）に変換し、変換後の論理座標値を座標記憶部１３０に格納する機能を有する。 The message issuing unit 142 has a function of sending a message based on the detection result of the detection unit 141 or the determination result of the specifying unit 144 to the display control application. The contents of the message will be described later. The coordinate conversion unit 143 converts the coordinate value received from each input unit (hereinafter also referred to as “physical coordinate value”) into a coordinate value in the operation control coordinate system (hereinafter referred to as “logical coordinate value”). The later logical coordinate value is stored in the coordinate storage unit 130.

ここで、操作制御用座標系について説明する。
図３は、操作制御用座標系を説明するための図である。
操作制御用座標系は、同図に示すように、タッチパネル１１０の左上隅の座標値を（０，０）として、右方向にｘ軸を、下方向にｙ軸を取った座標系である。
同図においては、操作制御用座標系における座標値の一例を示しており、タッチパネル１１０の右上端の座標値は（１５０，０）、左下端の座標値は（０，３００）、右下端の座標値は（１５０，３００）であり、タッチパネル１２０の左上端の座標値は（０，３５０）、右上端の座標値は（１５０，３５０）、左下端の座標値は（０，５５０）、右下端の座標値は（１５０，５５０）である。 Here, the coordinate system for operation control will be described.
FIG. 3 is a diagram for explaining an operation control coordinate system.
As shown in the figure, the operation control coordinate system is a coordinate system in which the coordinate value of the upper left corner of the touch panel 110 is (0, 0) and the x-axis is taken to the right and the y-axis is taken downward.
In the drawing, an example of coordinate values in the operation control coordinate system is shown. The coordinate value at the upper right corner of the touch panel 110 is (150, 0), the coordinate value at the lower left corner is (0, 300), and the coordinate value at the lower right corner. The coordinate value is (150, 300), the coordinate value at the upper left corner of the touch panel 120 is (0, 350), the coordinate value at the upper right corner is (150, 350), the coordinate value at the lower left corner is (0, 550), The coordinate value at the lower right corner is (150, 550).

ここで、タッチパネル１２０の上端のｙ座標（３５０）は、タッチパネル１１０とタッチパネル１２０の間のベゼルの幅に応じて決定されている。つまり、操作制御用座標系においては、ベゼルの幅を含めてｙ座標が割り当てられている。
なお、以下では、同図に示すｙ座標が２９０〜３００の斜線部分の領域を「第１境界領域」といい、ｙ座標が３５０〜３６０の斜線部分の領域を「第２境界領域」という。 Here, the y coordinate (350) of the upper end of the touch panel 120 is determined according to the width of the bezel between the touch panel 110 and the touch panel 120. In other words, in the operation control coordinate system, the y coordinate including the width of the bezel is assigned.
In the following, the hatched area with y coordinates of 290 to 300 shown in the figure is referred to as “first boundary area”, and the hatched area with y coordinates of 350 to 360 is referred to as “second boundary area”.

上述のように、入力部１１２は、タッチパネル１１０におけるＬＣＤの左上端がタッチされた場合には物理座標値（０，０）を、右下端がタッチされた場合には物理座標値（１５０，３００）を送出し、入力部１２２は、タッチパネル１２０におけるＬＣＤの左上端がタッチされた場合には物理座標値（０，０）を、右下端がタッチされた場合には物理座標値（１５０，２００）を送出する。 As described above, the input unit 112 displays the physical coordinate value (0, 0) when the upper left end of the LCD on the touch panel 110 is touched, and the physical coordinate value (150, 300) when the lower right end is touched. ) And the input unit 122 outputs the physical coordinate value (0, 0) when the upper left end of the LCD on the touch panel 120 is touched, and the physical coordinate value (150, 200) when the lower right end is touched. ).

従って、タッチパネル１１０（入力部１１２）から受領した物理座標値は操作制御用座標系における論理座標値と一致するため、座標変換部１４３はタッチパネル１１０から受領した物理座標値をそのまま操作制御用座標系における論理座標値とする。
一方、タッチパネル１２０（入力部１２２）から座標値を受領した場合には、受領した物理座標値のｙ座標に「３５０」を加えたものを操作制御用座標系における論理座標値とする。 Accordingly, since the physical coordinate value received from the touch panel 110 (input unit 112) matches the logical coordinate value in the operation control coordinate system, the coordinate conversion unit 143 directly uses the physical coordinate value received from the touch panel 110 as the operation control coordinate system. The logical coordinate value at.
On the other hand, when a coordinate value is received from the touch panel 120 (input unit 122), a value obtained by adding “350” to the y coordinate of the received physical coordinate value is set as a logical coordinate value in the operation control coordinate system.

続いて、特定部１４４（図２参照）は、一方のタッチパネルにおいて、検出部１４１により検出された操作状態がドラッグ状態からデタッチ状態になった場合に、他方のタッチパネルにおいてもドラッグ状態を継続させるか否かを座標記憶部１３０に格納されている論理座標値に基づいて判定する機能を有する。
より詳細には、一方のタッチパネルにおいて、ドラッグ状態からデタッチ状態になった際の位置（最後にタッチされていた位置）が、そのタッチパネルにおける境界領域（図３の第１境界領域又は第２境界領域）に含まれ、かつ、その位置でのドラッグ速度の絶対値が
所定値以上である場合に、ドラッグを継続する旨の判定を行う。 Subsequently, in the case where the operation state detected by the detection unit 141 is changed from the drag state to the detach state in the one touch panel, the specifying unit 144 (see FIG. 2) continues the drag state in the other touch panel. A function of determining whether or not based on logical coordinate values stored in the coordinate storage unit 130.
More specifically, in one touch panel, the position (the position touched last) when the drag state is changed to the detached state is the boundary area (the first boundary area or the second boundary area in FIG. 3). ) And the absolute value of the drag speed at that position is greater than or equal to a predetermined value, it is determined that the drag is continued.

このドラッグ速度とは、最後にタッチされていた位置のｙ座標値から、その単位時間（この例では、１／６０秒）前にタッチされていた位置のｙ座標値を減じた値をいい、以下では、一例として、上述の所定値を「２」として説明する。なお、タッチパネル１１０においてドラッグ状態からデタッチ状態になった場合のドラッグ速度が負の値になった場合、及びタッチパネル１２０においてドラッグ状態からデタッチ状態になった場合のドラッグ速度が正の値になった場合には、ドラッグ速度は「０」であるものとする。 The drag speed is a value obtained by subtracting the y coordinate value of the position touched before the unit time (in this example, 1/60 seconds) from the y coordinate value of the position touched last. Hereinafter, as an example, the above-described predetermined value is described as “2”. When the drag speed when the touch panel 110 is changed from the drag state to the detached state becomes a negative value, and when the drag speed when the touch panel 120 is changed from the drag state to the detached state becomes a positive value. Assume that the drag speed is “0”.

また、特定部１４４は、ドラッグ状態を継続する旨の判定を行った場合に、もし仮に、各タッチパネル及びベゼルの部分を含む１つの大きなタッチパネル上でユーザがデタッチせずにドラッグし続けたとしたときに、単位時間経過毎にタッチされているであろう位置の座標値（以下、「移動先座標値」という）を、座標記憶部１３０に格納されている論理座標値に基づいて決定する機能を有する。 In addition, when the determination unit 144 determines that the drag state is to be continued, if the user continues to drag without detaching on one large touch panel including each touch panel and the bezel portion, In addition, a function of determining a coordinate value of a position that will be touched every unit time (hereinafter referred to as “movement destination coordinate value”) based on a logical coordinate value stored in the coordinate storage unit 130. Have.

ここで、移動先座標値の決定方法を説明する。
図４は、移動先座標値の決定方法を説明するための図である。
例えば、タッチパネル１２０においてユーザにより最後（時刻Ｔ２）にタッチされていた位置の座標値を（ｘ２，ｙ２）とし、その単位時間前（時刻Ｔ１）にタッチされていた位置の座標値を（ｘ１，ｙ１）とすると、単位時間当たりの移動量は（ｘ２−ｘ１，ｙ２−ｙ１）と算出できる。 Here, a method of determining the movement destination coordinate value will be described.
FIG. 4 is a diagram for explaining a method of determining a movement destination coordinate value.
For example, the coordinate value of the position touched last (time T2) by the user on the touch panel 120 is (x2, y2), and the coordinate value of the position touched before the unit time (time T1) is (x1,1). Assuming y1), the movement amount per unit time can be calculated as (x2-x1, y2-y1).

従って、単位時間当たりの移動量が一定であるとした場合、時刻Ｔ２から単位時間後の時刻Ｔ３にタッチされているであろう位置の座標値（移動先座標値）は（２×ｘ２−ｘ１，２×ｙ２−ｙ１）、更に単位時間時間後の時刻Ｔ４にタッチされているであろう位置の移動先座標値は（３×ｘ２−２×ｘ１，３×ｙ２−２×ｙ１）というように決定することができる。 Therefore, assuming that the movement amount per unit time is constant, the coordinate value (movement destination coordinate value) of the position that will be touched at time T3 after unit time from time T2 is (2 × x2-x1). , 2 × y2−y1), and the destination coordinate value of the position that will be touched at time T4 after unit time is (3 × x2-2 × x1, 3 × y2-2 × y1) Can be determined.

このように移動先座標値を決定していくと、時刻Ｔ６における位置Ｐ６の座標値は、最後（時刻Ｔ２）にタッチしていたタッチパネルと異なる他のタッチパネル（この例ではタッチパネル１１０）の境界領域（この例では第１境界領域）を超えてしまう。このような場合に、特定部１４４は、他のタッチパネルにおける境界（この例では境界Ｂ１）上の位置Ｐ６’の座標値を移動先座標値とする。 When the destination coordinate value is determined in this way, the coordinate value of the position P6 at time T6 is a boundary region of another touch panel (in this example, touch panel 110) different from the touch panel touched last (time T2). (In this example, the first boundary region) is exceeded. In such a case, the specifying unit 144 sets the coordinate value of the position P6 'on the boundary (in this example, the boundary B1) on another touch panel as the movement destination coordinate value.

この位置Ｐ６’の座標値は、時刻Ｔ５においてタッチされているであろう位置（同図のＰ５）と、時刻Ｔ６においてタッチされているであろう位置Ｐ６とを結ぶ直線と、境界Ｂ１との交点の座標値である。位置Ｐ５と位置Ｐ６とを結ぶ直線は、一次関数（ｙ＝ａｘ＋ｂ）により表され、各定数ａ、ｂの値は、連立方程式を解くことで算出でき、この式（ｙ＝ａｘ＋ｂ）に境界Ｂ１のｙ座標（この例では２９０）を代入してｘ座標を算出すれば位置Ｐ６’の座標値が算出できるため、詳細な説明は省略する。 The coordinate value of this position P6 'is the boundary between the position that would be touched at time T5 (P5 in the figure) and the position P6 that would be touched at time T6, and the boundary B1. The coordinate value of the intersection. A straight line connecting the position P5 and the position P6 is represented by a linear function (y = ax + b), and the values of the constants a and b can be calculated by solving simultaneous equations, and this equation (y = ax + b) has a boundary B1 If the x coordinate is calculated by substituting the y coordinate (290 in this example), the coordinate value of the position P6 ′ can be calculated.

＜動作＞
次に、上記構成を備える携帯電話機１００の動作について、図５を用いて説明する。
図５は、ユーザによるドラッグ＆ドロップ操作に対する携帯電話機１００の制御処理を示すフローチャートである。
制御部１４０の検出部１４１は、いずれかのタッチパネルから座標値を受領すると、タッチ状態であることを検出し（ステップＳ１）、メッセージ発行部１４２は、検出部１４１の検出結果に応じて、ＰＲＥＳＳメッセージを表示制御用アプリケーションに対して発行する（ステップＳ２）。ここで、ＰＲＥＳＳメッセージは、タッチ状態であることを示すメッセージであり、タッチされている位置の座標値（ステップＳ１で受領した座標値）と
、その座標値を送出したタッチパネルの識別情報を含むものである。表示制御用アプリケーションは、例えば、このＰＲＥＳＳメッセージに含まれる座標値にあるアイコンが選択状態にあることを表すように表示を制御する。 <Operation>
Next, the operation of the mobile phone 100 having the above configuration will be described with reference to FIG.
FIG. 5 is a flowchart showing control processing of the mobile phone 100 for a drag-and-drop operation by the user.
When the detection unit 141 of the control unit 140 receives a coordinate value from any of the touch panels, the detection unit 141 detects that it is in a touched state (step S1), and the message issuing unit 142 determines whether the PRESS A message is issued to the display control application (step S2). Here, the PRESS message is a message indicating a touch state, and includes the coordinate value of the touched position (the coordinate value received in step S1) and the identification information of the touch panel that sent the coordinate value. . For example, the display control application controls the display so as to indicate that the icon at the coordinate value included in the PRESS message is in a selected state.

また、座標変換部１４３は、ステップＳ１で受領した座標値を操作制御用座標系における論理座標値に変換し、座標記憶部１３０に格納する。
次に、検出部１４１は、ステップＳ１でタッチ状態であることを検出したタッチパネルにおいて、デタッチ状態を検出したか否かを単位時間（この例では１／６０秒）毎に判定する（ステップＳ３）。より詳細には、タッチ状態であれば、単位時間毎にそのタッチパネルから座標値を受領することになるため、座標値を受領したか否かを判定し、受領しなかった場合に、デタッチ状態であることを検出した旨の判定を行う。 In addition, the coordinate conversion unit 143 converts the coordinate value received in step S <b> 1 into a logical coordinate value in the operation control coordinate system, and stores the logical value in the coordinate storage unit 130.
Next, the detection unit 141 determines, every unit time (in this example, 1/60 seconds), whether or not the detach state is detected on the touch panel that has been detected as being in the touch state in step S1 (step S3). . More specifically, in the touch state, coordinate values are received from the touch panel every unit time. Therefore, it is determined whether or not coordinate values have been received. A determination is made that it has been detected.

デタッチ状態であることを検出しない場合には（ステップＳ３：Ｎ）、メッセージ発行部１４２は、検出部１４１の検出結果に応じて、ＭＯＶＥメッセージを表示制御用アプリケーションに対して発行し（ステップＳ４）、座標変換部１４３は、ステップＳ３で受領した座標値を操作制御用座標系における論理座標値に変換して座標記憶部１３０に格納し、検出部１４１は、再びステップＳ３の判定処理を行う。 When it is not detected that it is in the detached state (step S3: N), the message issuing unit 142 issues a MOVE message to the display control application according to the detection result of the detecting unit 141 (step S4). The coordinate conversion unit 143 converts the coordinate value received in step S3 into a logical coordinate value in the operation control coordinate system and stores it in the coordinate storage unit 130, and the detection unit 141 performs the determination process in step S3 again.

ここで、ＭＯＶＥメッセージは、移動位置を示すメッセージであり、タッチされている位置の座標値（ステップＳ３で受領した座標値）と、その座標値を送出したタッチパネルの識別情報を含むものである。表示制御用アプリケーションは、例えば、このＭＯＶＥメッセージに含まれる座標値にアイコンを移動させるように表示を制御する。
また、デタッチ状態であることを検出した場合には（ステップＳ３：Ｙ）、特定部１４４は、座標記憶部１３０に格納されている最後にタッチされた位置の論理座標値が、ステップＳ１でタッチ状態であることを検出したタッチパネルにおける境界領域（第１境界領域又は第２境界領域）に含まれるか否かを判定し（ステップＳ５）、境界領域に含まれない場合には（ステップＳ５：Ｎ）、メッセージ発行部１４２は、特定部１４４の否定的な判定結果に応じて、ＲＥＬＥＡＳＥメッセージを表示制御用アプリケーションに対して発行し（ステップＳ１４）、制御処理を終了する。 Here, the MOVE message is a message indicating the moving position, and includes the coordinate value of the touched position (the coordinate value received in step S3) and the identification information of the touch panel that sent the coordinate value. For example, the display control application controls the display so that the icon is moved to the coordinate value included in the MOVE message.
When it is detected that the touch panel is in the detached state (step S3: Y), the specifying unit 144 touches the logical coordinate value of the last touched position stored in the coordinate storage unit 130 in step S1. It is determined whether or not it is included in the boundary region (first boundary region or second boundary region) on the touch panel that has detected that it is in a state (step S5), and if not included in the boundary region (step S5: N ), The message issuing unit 142 issues a RELEASE message to the display control application according to the negative determination result of the specifying unit 144 (step S14), and ends the control process.

ここで、ＲＥＬＥＡＳＥメッセージは、デタッチ状態になったことを示すメッセージであり、最後にタッチされていた位置の座標値（座標記憶部１３０に格納されている該当の論理座標値を物理座標値に再変換したもの）と、その座標値を送出したタッチパネルの識別情報を指定するものである。なお、メッセージ発行部１４２は、該当の論理座標のｙ座標値が３５０未満である場合には、タッチパネル１１０の識別情報を、３５０以上である場合には、タッチパネル１２０の識別情報をＲＥＬＥＡＳＥメッセージに含める。表示制御用アプリケーションは、例えば、このＲＥＬＥＡＳＥメッセージに含まれる座標値でアイコンの移動を停止させるように表示を制御する。 Here, the RELEASE message is a message indicating that the detach state has been reached, and the coordinate value of the position touched last (the corresponding logical coordinate value stored in the coordinate storage unit 130 is re-converted to the physical coordinate value). And the identification information of the touch panel that sent out the coordinate values. The message issuing unit 142 includes the identification information of the touch panel 110 in the RELEASE message when the y coordinate value of the corresponding logical coordinate is less than 350, and the identification information of the touch panel 120 when the y coordinate value is 350 or more. . For example, the display control application controls the display so that the movement of the icon is stopped at the coordinate value included in the RELEASE message.

一方、座標記憶部１３０に格納されている最後にタッチされた位置の論理座標値が、ステップＳ１でタッチ状態であることを検出したタッチパネルにおける境界領域に含まれる場合には（ステップＳ５：Ｙ）、特定部１４４は、その判定に係るｙ座標値（論理ｙ座標値）及び座標記憶部１３０に格納されている単位時間前の位置の論理ｙ座標値からドラッグ速度を算出し、そのドラッグ速度の絶対値が所定値以上であるか否かを判定する（ステップＳ６）。 On the other hand, when the logical coordinate value of the last touched position stored in the coordinate storage unit 130 is included in the boundary area in the touch panel that is detected to be in the touch state in Step S1 (Step S5: Y). The specifying unit 144 calculates the drag speed from the y coordinate value (logical y coordinate value) related to the determination and the logical y coordinate value of the position before the unit time stored in the coordinate storage unit 130, and the drag speed is calculated. It is determined whether or not the absolute value is greater than or equal to a predetermined value (step S6).

ドラッグ速度の絶対値が所定値未満である場合には（ステップＳ６：Ｎ）、メッセージ発行部１４２は、上記同様に、ＲＥＬＥＡＳＥメッセージを表示制御用アプリケーションに対して発行し（ステップＳ１４）、制御処理を終了する。
また、ドラッグ速度の絶対値が所定値以上である場合には（ステップＳ６：Ｙ）、特定部
１４４は、座標記憶部１３０に格納されている、最後にタッチされていた位置及びその単位時間前にタッチされていた位置の２つの論理座標値から単位時間当たりの移動量を算出し、単位時間後の移動先座標値を決定する（ステップＳ７）。 When the absolute value of the drag speed is less than the predetermined value (step S6: N), the message issuing unit 142 issues a RELEASE message to the display control application (step S14) as described above, and performs control processing. Exit.
If the absolute value of the drag speed is greater than or equal to the predetermined value (step S6: Y), the specifying unit 144 stores the last touched position and its unit time before stored in the coordinate storage unit 130. The movement amount per unit time is calculated from the two logical coordinate values of the position touched by, and the movement destination coordinate value after the unit time is determined (step S7).

検出部１４１は、ステップＳ３でデタッチ状態になったことを検出したタッチパネルとは異なる他のタッチパネルにおいてタッチ状態になったことを検出したか否かを単位時間（この例では１／６０秒）毎に判定する（ステップＳ８）。つまり、他のタッチパネルから座標値を受領したか否かを判定し、受領していない場合には（ステップＳ８：Ｎ）、ステップＳ３でデタッチ状態を検出してから所定時間（例えば１秒）を経過したか否かを判定し（ステップＳ９）、経過した場合には（ステップＳ９：Ｙ）、メッセージ発行部１４２は、上記同様に、ＲＥＬＥＡＳＥメッセージを表示制御用アプリケーションに対して発行し（ステップＳ１４）、制御処理を終了し、経過していない場合には（ステップＳ９：Ｎ）、特定部１４４は、移動先座標値がベゼル範囲内（つまり、論理ｙ座標値が３００〜３５０の範囲）に含まれるか否かを判定する（ステップＳ１０）。 The detection unit 141 determines whether or not it is detected that the touched state is detected on another touch panel different from the touch panel that is detected to be the detached state in step S3 every unit time (in this example, 1/60 seconds). (Step S8). That is, it is determined whether or not coordinate values have been received from another touch panel. If they have not been received (step S8: N), a predetermined time (for example, 1 second) is detected after detecting the detached state in step S3. It is determined whether or not it has elapsed (step S9), and if it has elapsed (step S9: Y), the message issuing unit 142 issues a RELEASE message to the display control application as described above (step S14). ), If the control process is finished and has not elapsed (step S9: N), the specifying unit 144 sets the movement destination coordinate value within the bezel range (that is, the logical y coordinate value is in the range of 300 to 350). It is determined whether it is included (step S10).

移動先座標値がベゼル範囲内でない場合には（ステップＳ１０：Ｎ）、メッセージ発行部１４２は、ＭＯＶＥメッセージを発行する（ステップＳ１１）。このＭＯＶＥメッセージは、ステップＳ４で説明したのと同様、移動位置を示すメッセージであるが、このメッセージに含まれる座標値が、直近に決定した移動先座標値（上述のステップＳ７と後述のステップＳ１２とで決定した移動先座標値のうち、直近に決定したもの）を物理座標値に再変換したものである点で異なる。なお、このＭＯＶＥメッセージに含ませるタッチパネルの識別情報の決定方法は、上述のＲＥＬＥＡＳＥメッセージの場合と同様である。 If the destination coordinate value is not within the bezel range (step S10: N), the message issuing unit 142 issues a MOVE message (step S11). This MOVE message is a message indicating the movement position as described in step S4. The coordinate value included in this message is the most recently determined movement destination coordinate value (step S7 described above and step S12 described later). The movement destination coordinate values determined in the above are different from each other in that they are converted back to physical coordinate values. Note that the method for determining identification information of the touch panel included in the MOVE message is the same as in the case of the RELEASE message described above.

特定部１４４は、直近に決定した移動先座標値及びステップＳ７で算出した単位時間当たりの移動量に基づいて、単位時間後の移動先座標値を決定し（ステップＳ１２）、再びステップＳ８から処理を行い、移動先座標値がベゼル範囲内である場合には（ステップＳ１０：Ｙ）、ステップＳ１１の処理を行わず、ステップＳ１２に進む。
また、ステップＳ８において、検出部１４１がタッチ状態を検出した場合、つまり、他のタッチパネルから座標値を受領した場合には（ステップＳ８：Ｙ）、座標変換部１４３は、受領した座標値を操作制御用座標系における論理座標値に変換して座標記憶部１３０に格納すると共に、特定部１４４は、この論理座標値が、直近に決定した移動先座標値から一定範囲内（例えば、半径が５０座標分の円の範囲）に含まれるか否かを判定する（ステップＳ１３）。 The specifying unit 144 determines a destination coordinate value after the unit time based on the most recently determined destination coordinate value and the movement amount per unit time calculated in Step S7 (Step S12), and the processing from Step S8 again. If the destination coordinate value is within the bezel range (step S10: Y), the process proceeds to step S12 without performing the process of step S11.
In step S8, when the detection unit 141 detects a touch state, that is, when a coordinate value is received from another touch panel (step S8: Y), the coordinate conversion unit 143 operates the received coordinate value. The logical coordinate value is converted into a logical coordinate value in the control coordinate system and stored in the coordinate storage unit 130, and the specifying unit 144 determines that the logical coordinate value is within a certain range from the most recently determined destination coordinate value (for example, the radius is 50 It is determined whether or not it is included in the circle range of coordinates) (step S13).

直近に決定した移動先座標値から一定範囲内に含まれる場合には（ステップＳ１３：Ｙ）、ＲＥＬＥＡＳＥメッセージを発行することなく、ステップＳ３から再び処理を行い、含まれない場合には（ステップＳ１３：Ｎ）、上記同様に、ＲＥＬＥＡＳＥメッセージを表示制御用アプリケーションに対して発行し（ステップＳ１４）、制御処理を終了する。＜具体例による動作の説明＞
上述した携帯電話機１００の制御処理について、具体例を用いて説明する。 If it is included within a certain range from the most recently determined destination coordinate value (step S13: Y), the processing is performed again from step S3 without issuing the RELEASE message. If it is not included (step S13) : N), similarly, the RELEASE message is issued to the display control application (step S14), and the control process is terminated. <Description of operation by specific example>
The control process of the mobile phone 100 described above will be described using a specific example.

以下では、図１（ａ）に示すタッチパネル１２０に表示されているアイコン２を、ユーザがタッチパネル１１０に向かってドラッグする場合を例に、図６を用いて説明する。
ユーザがアイコン２を指でタッチすると、検出部１４１は、タッチパネル１２０から座標値（例えば、（５０，１５０）とする）を受領し、タッチ状態を検出し（図５のステップＳ１）、メッセージ発行部１４２は、この座標値（５０，１５０）及びタッチパネル１２０の識別情報を含むＰＲＥＳＳメッセージを表示制御用アプリケーションに対して発行する（ステップＳ２）。また、座標変換部１４３は、ステップＳ１で受領した座標値（５０，１５０）を操作制御用座標系における論理座標値（５０，５００）に変換し、座標記憶部１３０に格納する。 Hereinafter, an example in which the user drags the icon 2 displayed on the touch panel 120 illustrated in FIG. 1A toward the touch panel 110 will be described with reference to FIG. 6.
When the user touches the icon 2 with a finger, the detection unit 141 receives coordinate values (for example, (50, 150)) from the touch panel 120, detects the touch state (step S1 in FIG. 5), and issues a message. The unit 142 issues a PRESS message including the coordinate values (50, 150) and the identification information of the touch panel 120 to the display control application (step S2). In addition, the coordinate conversion unit 143 converts the coordinate value (50, 150) received in step S1 into a logical coordinate value (50, 500) in the operation control coordinate system, and stores it in the coordinate storage unit 130.

次に、検出部１４１は、タッチパネル１２０においてデタッチ状態を検出したか否かを単位時間（この例では１／６０秒）毎に判定し、つまり、タッチパネル１２０から座標値を受領したか否かを判定し（ステップＳ３）、図６（ａ）のようにユーザがタッチパネル１２０において、アイコン２のドラッグを続けている間はデタッチ状態を検出しないので（ステップＳ３：Ｎ）、メッセージ発行部１４２は、受領した座標値（例えば、（４８，１４５）とする）及びタッチパネル１２０の識別情報を含むＭＯＶＥメッセージを表示制御用アプリケーションに対して発行し（ステップＳ４）、表示制御用アプリケーションは、タッチパネル１２０上のこのＭＯＶＥメッセージに含まれる座標値にアイコンを移動させるように表示を制御する（図６（ａ）参照）。 Next, the detection unit 141 determines whether or not a detached state is detected on the touch panel 120 every unit time (in this example, 1/60 seconds), that is, whether or not a coordinate value is received from the touch panel 120. Since the determination is made (step S3) and the user does not detect the detached state while the user continues dragging the icon 2 on the touch panel 120 as shown in FIG. 6A (step S3: N), the message issuing unit 142 The MOVE message including the received coordinate value (for example, (48, 145)) and the identification information of the touch panel 120 is issued to the display control application (step S4), and the display control application is displayed on the touch panel 120. The display is controlled so that the icon is moved to the coordinate value included in the MOVE message (see FIG. (A) see).

また、座標変換部１４３は、受領した座標値（４８，１４５）を操作制御用座標系における論理座標値（４８，４９５）に変換して座標記憶部１３０に格納し、検出部１４１は、再びステップＳ３の判定処理を行う。
ユーザがアイコン２のドラッグを続けている間、上記と同様にステップＳ３〜Ｓ４を繰り返して図６（ｂ）の位置でユーザが指を離すと、検出部１４１は、タッチパネル１２０から座標値を受領しないので、デタッチ状態を検出する（ステップＳ３：Ｙ）。 The coordinate conversion unit 143 converts the received coordinate values (48, 145) into logical coordinate values (48, 495) in the operation control coordinate system and stores them in the coordinate storage unit 130. The detection unit 141 again The determination process of step S3 is performed.
While the user continues to drag the icon 2, the detection unit 141 receives the coordinate value from the touch panel 120 when the user releases the finger at the position of FIG. Therefore, the detached state is detected (step S3: Y).

また、特定部１４４は、座標記憶部１３０に格納されている最後にタッチされた位置の論理座標値（例えば、（４６，３５５）とする）がタッチパネル１２０における第２境界領域に含まれ（ステップＳ５：Ｙ）、その判定に係る論理ｙ座標値（３５５）から、座標記憶部１３０に格納されている単位時間前の位置の論理ｙ座標値（例えば、「３５８」とする）を減じた値（つまりドラッグ速度は「−３」）の絶対値が所定値（本実施の形態の例では「２」）以上なので（ステップＳ６：Ｙ）、以下のように単位時間後の移動先座標値を決定する。即ち、座標記憶部１３０に格納されている、最後にタッチされていた位置の論理座標値（４６，３５５）とその単位時間前にタッチされていた位置の論理座標値（例えば、（４６，３５８）とする）とから単位時間当たりの移動量（０，−３）を算出し、単位時間後の移動先座標値（４６，３５２）を決定する（ステップＳ７）。 In addition, the specifying unit 144 includes the logical coordinate value (for example, (46, 355)) of the position touched last stored in the coordinate storage unit 130 in the second boundary region of the touch panel 120 (step S5: Y), a value obtained by subtracting the logical y coordinate value (for example, “358”) of the position before the unit time stored in the coordinate storage unit 130 from the logical y coordinate value (355) related to the determination. In other words, since the absolute value of the drag speed is “−3” is equal to or greater than the predetermined value (“2” in the example of the present embodiment) (step S6: Y), the destination coordinate value after the unit time is expressed as follows. decide. That is, the logical coordinate value (46, 355) of the position touched last and the logical coordinate value of the position touched before the unit time (for example, (46, 358) stored in the coordinate storage unit 130. )) And the movement amount per unit time (0, -3) is calculated, and the movement destination coordinate value (46, 352) after the unit time is determined (step S7).

まだユーザがタッチパネル１１０をタッチしていない場合には、検出部１４１は、タッチパネル１１０から座標値を受領しないので、タッチ状態を検出せず（ステップＳ８：Ｎ）、ステップＳ３でデタッチ状態になったことを検出してから１／６０秒しか経過しておらず、つまり所定時間（この例では１秒）を経過していないので（ステップＳ９：Ｎ）、特定部１４４は、移動先座標値がベゼル範囲内（つまり、論理ｙ座標が３００〜３５０の範囲）に含まれるか否かを判定する（ステップＳ１０）。 When the user has not yet touched the touch panel 110, the detection unit 141 does not receive the coordinate value from the touch panel 110, and thus the touch state is not detected (step S8: N), and the touched state is set at step S3. Since only 1/60 seconds have elapsed since the detection, that is, the predetermined time (1 second in this example) has not elapsed (step S9: N), the specifying unit 144 determines that the destination coordinate value is It is determined whether it is included in the bezel range (that is, the logical y coordinate is in the range of 300 to 350) (step S10).

この例では、移動先座標値（４６，３５２）がベゼル範囲内に含まれないので（ステップＳ１０：Ｎ）、メッセージ発行部１４２は、この移動先座標値を再変換した物理座標値（４６，２）及びタッチパネル１２０の識別情報を含むＭＯＶＥメッセージを発行する（ステップＳ１１）。表示制御用アプリケーションは、タッチパネル１２０上のこのＭＯＶＥメッセージに含まれる座標値（４６，２）にアイコンを移動させるように表示を制御する。 In this example, since the destination coordinate value (46, 352) is not included in the bezel range (step S10: N), the message issuing unit 142 re-transforms the physical coordinate value (46, 352) from this destination coordinate value. 2) and a MOVE message including identification information of the touch panel 120 is issued (step S11). The display control application controls the display so that the icon is moved to the coordinate value (46, 2) included in the MOVE message on the touch panel 120.

特定部１４４は、移動先座標値（４６，３５２）及びステップＳ７で算出した単位時間当たりの移動量（０，−３）に基づいて、単位時間後の移動先座標値（４６，３４９）を決定する（ステップＳ１２）。
再びステップＳ８において、まだ、タッチパネル１１０をタッチしていない場合には、検出部１４１はタッチ状態を検出せず（ステップＳ８：Ｎ）、ステップＳ３でデタッチ状態を検出してから所定時間（この例では１秒）を経過していないので（ステップＳ９：Ｎ）、特定部１４４は、移動先座標値がベゼル範囲内（つまり、論理ｙ座標が３００〜３５０の範囲）に含まれるか否かを判定する（ステップＳ１０）。 The specifying unit 144 determines the destination coordinate value (46, 349) after the unit time based on the destination coordinate value (46, 352) and the movement amount (0, -3) per unit time calculated in step S7. Determine (step S12).
In step S8, if the touch panel 110 has not yet been touched, the detection unit 141 does not detect the touch state (step S8: N), and a predetermined time (this example) after detecting the detach state in step S3. In step S9: N, the specifying unit 144 determines whether or not the movement destination coordinate value is included in the bezel range (that is, the logical y coordinate is in the range of 300 to 350). Determine (step S10).

上述のステップＳ１２で決定した移動先座標値（４６，３４９）はベゼル範囲内に含まれるので（ステップＳ１０：Ｙ）、メッセージ発行部１４２によるＭＯＶＥメッセージの発行は行われず、特定部１４４は、移動先座標値（４６，３４９）及びステップＳ７で算出した単位時間当たりの移動量（０，−３）に基づいて、単位時間後の移動先座標値（４６，３４６）を決定する（ステップＳ１２）。 Since the destination coordinate values (46, 349) determined in step S12 described above are included in the bezel range (step S10: Y), the message issuing unit 142 does not issue the MOVE message, and the specifying unit 144 The destination coordinate value (46, 346) after the unit time is determined based on the destination coordinate value (46, 349) and the movement amount (0, -3) per unit time calculated in step S7 (step S12). .

ステップＳ８〜Ｓ１２の処理を繰り返し、その間、表示制御用アプリケーションは、メッセージ発行部１４２により発行されたＭＯＶＥメッセージに含まれる座標値にアイコンを移動させるように表示を制御するので、タッチパネル１１０にアイコン２がついに表示される。
図６（ｃ）に示すように、ユーザがタッチパネル１１０をタッチすると、検出部１４１は、タッチパネル１１０から座標値（例えば、（５５，２９７））を受領するので、タッチ状態を検出し（ステップＳ８：Ｙ）、座標変換部１４３は、受領した座標値を操作制御用座標系における論理座標値（５５，２９７）に変換して座標記憶部１３０に格納する。 The processing of steps S8 to S12 is repeated, and during that time, the display control application controls the display so that the icon is moved to the coordinate value included in the MOVE message issued by the message issuing unit 142. Is finally displayed.
As shown in FIG. 6C, when the user touches the touch panel 110, the detection unit 141 receives coordinate values (for example, (55, 297)) from the touch panel 110, and thus detects the touch state (step S8). : Y), the coordinate conversion unit 143 converts the received coordinate values into logical coordinate values (55, 297) in the operation control coordinate system and stores them in the coordinate storage unit 130.

また、特定部１４４は、この論理座標値が、直近に決定した移動先座標値（例えば、（４６，２９５）とする）から一定範囲内（例えば、半径が５０座標分の円の範囲）に含まれるので（ステップＳ１３：Ｙ）、ＲＥＬＥＡＳＥメッセージを発行することなく、つまり、ドラッグ状態を継続してステップＳ３から再び処理を行う。
その後、ユーザがタッチパネル１１０において、アイコン２のドラッグを続けている間、検出部１４１はデタッチ状態を検出しないので（ステップＳ３：Ｎ）、メッセージ発行部１４２によりＭＯＶＥメッセージが発行され（ステップＳ４）、表示制御用アプリケーションは、タッチパネル１１０上のこのＭＯＶＥメッセージに含まれる座標値にアイコンを移動させるように表示を制御する。 In addition, the specifying unit 144 determines that the logical coordinate value is within a certain range (for example, a circle having a radius of 50 coordinates) from the most recently determined destination coordinate value (for example, (46, 295)). Since it is included (step S13: Y), the process is performed again from step S3 without issuing the RELEASE message, that is, while continuing the drag state.
Thereafter, while the user continues dragging the icon 2 on the touch panel 110, the detection unit 141 does not detect the detached state (step S3: N), so the message issuing unit 142 issues a MOVE message (step S4). The display control application controls the display so that the icon is moved to the coordinate value included in the MOVE message on the touch panel 110.

ユーザが所望の位置までアイコン２をドラッグし、タッチパネル１１０から指を離すと、検出部１４１は、タッチパネル１１０から座標値を受領しなくなるので、デタッチ状態を検出し（ステップＳ３：Ｙ）、最後にタッチされた位置の論理座標値が、ステップＳ１でタッチ状態であることを検出したタッチパネル１２０の第２境界領域には含まれないので（ステップＳ５：Ｎ）、メッセージ発行部１４２は、ＲＥＬＥＡＳＥメッセージを表示制御用アプリケーションに対して発行し（ステップＳ１４）、制御処理を終了する。 When the user drags the icon 2 to a desired position and releases the finger from the touch panel 110, the detection unit 141 does not receive the coordinate value from the touch panel 110, and thus detects the detached state (step S3: Y). Since the logical coordinate value of the touched position is not included in the second boundary area of the touch panel 120 that is detected to be in the touch state in Step S1 (Step S5: N), the message issuing unit 142 transmits the RELEASE message. This is issued to the display control application (step S14), and the control process is terminated.

このように離れて配置された２つのタッチパネル間においても、ユーザは、あたかも１つのディスプレイで操作しているかのように、ドラッグ＆ドロップ操作を行うことができる。
≪変形例≫
上述の実施の形態では、一方のタッチパネルから他方のタッチパネルにドラッグ状態を継続させる際の条件として、この一方のタッチパネルにおいて最後にタッチされた位置の論理座標値がタッチパネル１２０における第２境界領域に含まれ、かつドラッグ速度の絶対値が所定値以上であることを一例として説明したが、以下では、アイコンの一部がベゼル範囲に含まれていることを条件にするように替えた一変形例を説明する。 The user can perform a drag-and-drop operation as if the user is operating with one display even between the two touch panels that are arranged in this manner.
≪Modification≫
In the above-described embodiment, as a condition for continuing the drag state from one touch panel to the other touch panel, the logical coordinate value of the position touched last on the one touch panel is included in the second boundary region on the touch panel 120. As an example, the absolute value of the drag speed is equal to or greater than a predetermined value.However, in the following, a modified example in which a part of the icon is included in the bezel range is used as a condition. explain.

変形例に係る携帯電話機は、上述の携帯電話機１００の特定部１４４の機能を若干変更したものである。具体的には、図５のステップＳ５、Ｓ６の処理に替えて、アイコンの一部の座標値がベゼル範囲に含まれているか否かを判定する処理を行う。
ここでは、上述の実施の形態での＜具体例による動作の説明＞における例と同様の例により、実施の形態からの変更部分を中心に図７を用いて簡単に説明する。 The mobile phone according to the modification is obtained by slightly changing the function of the specifying unit 144 of the mobile phone 100 described above. Specifically, instead of the processing in steps S5 and S6 in FIG. 5, processing for determining whether or not the coordinate values of a part of the icon are included in the bezel range is performed.
Here, an example similar to the example in <Description of operation by specific example> in the above-described embodiment will be briefly described with reference to FIG.

ユーザがアイコン２を指でタッチし、タッチパネル１１０に向かってドラッグしていくと（図７（ａ）参照）、上述したように図５のステップＳ１〜Ｓ４の処理が行われ、図７（ｂ）の位置でユーザが指を離すと、検出部１４１はデタッチ状態を検出するので（ステップＳ３：Ｙ）、変形例に係る特定部は、ユーザによりドラッグされたアイコンの一部がベゼル範囲（論理ｙ座標が３００〜３５０の範囲）に含まれるか否かを判定する。 When the user touches the icon 2 with a finger and drags the icon 2 toward the touch panel 110 (see FIG. 7A), the processing in steps S1 to S4 in FIG. 5 is performed as described above, and FIG. ), The detection unit 141 detects a detached state (step S3: Y). Therefore, the identification unit according to the modification includes a part of the icon dragged by the user in the bezel range (logic It is determined whether or not the y coordinate is included in the range of 300 to 350.

より詳細には、実施の形態において説明したように制御部はアイコンのサイズ、形状、配置（座標）を管理しているため、最初にアイコン中のどの位置がタッチされたかを示す情報を保持しておき、変形例に係る特定部は、最後にタッチされたタッチパネル上の位置から、保持した情報に基づいて、例えばアイコンの各頂点の位置を特定して、アイコンの一部がベゼル範囲（論理ｙ座標が３００〜３５０の範囲）に含まれるか否かを判定する。 More specifically, since the control unit manages the size, shape, and arrangement (coordinates) of the icon as described in the embodiment, it first holds information indicating which position in the icon is touched. The specifying unit according to the modified example specifies, for example, the position of each vertex of the icon based on the held information from the position on the touch panel touched last, and the part of the icon is in the bezel range (logic It is determined whether or not the y coordinate is included in the range of 300 to 350.

図７（ｂ）の例では、アイコンの一部がベゼル範囲（論理ｙ座標が３００〜３５０の範囲）に含まれるので、実施の形態で説明したステップＳ７の処理を行い、図７（ｃ）に示すように、ユーザがタッチパネル１１０をタッチすると、検出部１４１は、タッチ状態を検出し（ステップＳ８：Ｙ）、以降実施の形態で説明したのと同様に処理する。
≪補足≫
以上、本発明に係る携帯端末装置を、実施の形態及び変形例に基づいて説明したが、以下のように変形することも可能であり、本発明は上述した実施の形態及び変形例で示した通りの携帯電話機に限られないことは勿論である。 In the example of FIG. 7B, since a part of the icon is included in the bezel range (the range where the logical y coordinate is 300 to 350), the process of step S7 described in the embodiment is performed, and FIG. As shown in FIG. 6, when the user touches the touch panel 110, the detection unit 141 detects a touch state (step S8: Y), and performs the same processing as described in the following embodiments.
<Supplement>
As mentioned above, although the portable terminal device concerning the present invention was explained based on an embodiment and a modification, it can also be changed as follows and the present invention was shown in the embodiment and the modification mentioned above. Of course, it is not limited to street mobile phones.

（１）実施の形態及び変形例に係る携帯電話機は、スライド式の携帯電話機であるものとして説明したが、２つのタッチパネルを有する携帯電話機であれば、折りたたみ式、ストレート式等、他の外観を有する携帯電話機であってもよい。
（２）実施の形態及び変形例に係る携帯電話機は、通常の使用状態において、ユーザから見て、タッチパネル１１０とタッチパネル１２０とが上下（つまり、タッチパネル１１０が奥、タッチパネル１２０が手前）に配置されるものとして説明したが、左右に配置されるようにしてもよい。その場合、操作制御用座標系においては、ベゼルの幅を含めてｘ座標が割り当てられてられることになる。 (1) Although the mobile phone according to the embodiment and the modification has been described as a slide type mobile phone, other external appearances such as a foldable type, a straight type, etc. can be used if the mobile phone has two touch panels. It may be a mobile phone.
(2) In the mobile phone according to the embodiment and the modification, the touch panel 110 and the touch panel 120 are arranged vertically (that is, the touch panel 110 is at the back and the touch panel 120 is at the front) when viewed from the user in a normal use state. Although described as a thing, you may make it arrange | position at right and left. In this case, in the operation control coordinate system, x-coordinates including the width of the bezel are assigned.

（３）実施の形態及び変形例に係る携帯電話機は、図１（ａ）のようにスライドした状態で、タッチパネル１１０とタッチパネル１２０とが略同一平面上に配置されるものとして説明したが、一方のタッチパネルから他方のタッチパネルにドラッグ状態を継続させる際の条件を満たすようにユーザが操作できる態様であればどのような配置でもよく、例えば、携帯電話機の表面にタッチパネル１１０を、裏面にタッチパネル１２０を配置するようにしてもよい。 (3) Although the mobile phone according to the embodiment and the modification has been described as the touch panel 110 and the touch panel 120 are arranged on substantially the same plane in a state of sliding as illustrated in FIG. Any arrangement is possible as long as the user can operate so as to satisfy the condition for continuing the drag state from one touch panel to the other touch panel. For example, the touch panel 110 is provided on the front surface of the mobile phone, and the touch panel 120 is provided on the back surface. It may be arranged.

（４）実施の形態及び変形例に係る携帯電話機では、タッチパネル１１０とタッチパネル１２０との間にはベゼルがあるものとして説明したが、ベゼルを設けないようにタッチパネル１１０とタッチパネル１２０とを配置してもよい。その場合、操作制御用座標系においては、ベゼルの幅を含めずにｙ座標が割り当てられてられることになる。また、上述の（３）のようにタッチパネル１１０とタッチパネル１２０とが左右に配置されるような場合においても、同様にベゼルを設けないようにしてもよい。 (4) In the mobile phone according to the embodiment and the modification, it has been described that there is a bezel between the touch panel 110 and the touch panel 120. However, the touch panel 110 and the touch panel 120 are arranged so as not to provide the bezel. Also good. In this case, in the operation control coordinate system, the y coordinate is assigned without including the width of the bezel. Further, even when the touch panel 110 and the touch panel 120 are arranged on the left and right as in (3) above, the bezel may not be provided similarly.

（５）実施の形態及び変形例に係る携帯電話機では、移動先座標値を決定する際に、単位時間当たりの移動量は一定であるものとして説明したが、例えば、単位時間毎に決定した移動先座標値が他方のタッチパネル上の位置を示すようになった場合に、単位時間当たりの移動量を減少させるようにしてもよい。
（６）実施の形態及び変形例に係る携帯電話機は、移動先座標値を決定する際に、最後にタッチされた位置の座標値と、その単位時間前にタッチされた位置の座標値との２つに
基づいて決定するものとして説明したが、３つ以上の座標値に基づいて決定するようにしてもよい。この場合、３つ以上の座標値からベジェ曲線等を求め、このベジェ曲線に基づいて決定すればよい。 (5) In the mobile phone according to the embodiment and the modification, it has been described that the movement amount per unit time is constant when the movement destination coordinate value is determined. For example, the movement determined per unit time When the previous coordinate value indicates the position on the other touch panel, the movement amount per unit time may be decreased.
(6) When determining the movement destination coordinate value, the mobile phone according to the embodiment and the modification includes the coordinate value of the position touched last and the coordinate value of the position touched before the unit time. Although it has been described that it is determined based on two, it may be determined based on three or more coordinate values. In this case, a Bezier curve or the like may be obtained from three or more coordinate values and determined based on this Bezier curve.

（７）実施の形態及び変形例の携帯電話機において、第１境界領域及び第２境界領域は矩形であるものとして説明したが、その他の形状であってもよい。
（８）実施の形態及び変形例に係る携帯電話機においては、ドラッグ速度の絶対値が所定値以上であるか否かを判定する際に、この所定値を「２」として説明したが、これは一例であり、これ以外の値（例えば「１」）であってもよい。 (7) In the mobile phone according to the embodiment and the modification, the first boundary area and the second boundary area have been described as being rectangular, but other shapes may be used.
(8) In the mobile phone according to the embodiment and the modification, the predetermined value is described as “2” when determining whether or not the absolute value of the drag speed is equal to or greater than the predetermined value. It is an example, and other values (for example, “1”) may be used.

（９）実施の形態及び変形例に係る携帯電話機の制御部は、表示制御用アプリケーションに対し、物理座標値及びその物理座標値を送出したタッチパネルの識別情報を含むメッセージを発行するものとして説明したが、これに替えて、論理座標値を含めるようにしてもよい。
また、表示制御用アプリケーションからの指示を受けて、上述のいずれの形式のメッセージを発行するかを切り替えられるようにしてもよい。 (9) It has been described that the control unit of the mobile phone according to the embodiment and the modification issues a message including the physical coordinate value and the identification information of the touch panel that has transmitted the physical coordinate value to the display control application. However, instead of this, a logical coordinate value may be included.
In addition, in response to an instruction from the display control application, it may be possible to switch which type of message is issued.

（１０）実施の形態及び変形例において説明した各構成要素のうち、全部又は一部を１チップ又は複数チップの集積回路で実現してもよいし、コンピュータのプログラムで実現してもよいし、その他どのような形態で実現してもよい。
（１１）本発明に係るユーザインタフェース装置の各タッチパネル及び表示手段は、実施の形態及び変形例に係る携帯電話機のタッチパネル１１０と１２０及びメモリに記憶されている表示制御用アプリケーションとプロセッサに相当するものであるが、これに限られるものではない。即ち、入出力手段としての第１及び第２のタッチパネルを備え、第１のタッチパネル上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、第２のタッチパネル上の位置を特定し、この特定された位置に前記表示物の少なくとも一部を表示する装置であれば、単独の装置であってもよいし、携帯電話機以外の他の装置の一部の装置であってもよい。 (10) All or some of the components described in the embodiments and modifications may be realized by an integrated circuit of one chip or a plurality of chips, or may be realized by a computer program. Any other form may be realized.
(11) Each touch panel and display means of the user interface device according to the present invention corresponds to the display control application and the processor stored in the touch panels 110 and 120 and the memory of the mobile phone according to the embodiment and the modification. However, it is not limited to this. That is, the first and second touch panels as input / output means are provided, and the change in the detected pressing position from when the pressing is started at the position of the display object on the first touch panel to when it is released is predetermined. As long as the condition is satisfied, a position on the second touch panel is specified and at least a part of the display object is displayed at the specified position. It may be a device that is a part of other devices.

（１２）実施の形態及び変形例に係る携帯電話機においては、図５のステップＳ９の所定時間が１秒である場合を例に説明したが、これは一例であり、例えば２秒であってよく、特に、ユーザが両タッチパネルの間のベゼルの部分を筐体表面に沿って指を滑らせてドラッグさせた場合にかかる時間を予め測定しておき、測定した時間を上記所定時間と決定することが望ましい。 (12) In the mobile phone according to the embodiment and the modification, the case where the predetermined time in step S9 of FIG. 5 is 1 second has been described as an example, but this is an example, and may be 2 seconds, for example. In particular, the time taken when the user drags the part of the bezel between the two touch panels by sliding the finger along the surface of the housing is measured in advance, and the measured time is determined as the predetermined time. Is desirable.

（１３）実施の形態及び変形例に係る携帯電話機に含まれるユーザインタフェース装置は、タッチパネル１１０及び１２０を備え、各タッチパネル上のアイコン等の表示物の位置で押圧が開始されてから押圧位置が変化して押圧が解除されるまでの間（つまりドラッグ状態である間）において、押圧されている位置に対応して当該表示物を表示する機能を有するユーザインタフェース装置であって、例えばタッチパネル１２０上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、タッチパネル１１０上の位置を特定する特定部１４４と、タッチパネル１１０上の前記特定部１４４により特定された位置に前記表示物の少なくとも一部を表示する表示制御用アプリケーションとを備えるものとして説明したように、本発明に係るユーザインタフェース装置は、第１及び第２のタッチパネルを備え、タッチパネル上の表示物の位置で押圧が開始されてから押圧位置が変化して押圧が解除されるまでの間において、押圧されている位置に対応して当該表示物を表示する機能を有するユーザインタフェース装置であって、第１のタッチパネル上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、第２のタッチパネル上の位置を特定する特定手段と、第２のタッチパネル上の前記特定手段により特定された位置に前記表示物の少なくとも一部を表示する表示手段とを備えることを特徴とする。 (13) The user interface device included in the mobile phone according to the embodiment and the modification includes touch panels 110 and 120, and the pressing position changes after pressing is started at the position of a display object such as an icon on each touch panel. The user interface device has a function of displaying the display object corresponding to the pressed position until the pressing is released (that is, while the dragging is being performed). When the change in the pressed position detected between when the pressing is started at the position of the display object and when it is released, the specifying unit 144 that specifies the position on the touch panel 110 and the touch panel 110 Display control application for displaying at least a part of the display object at the position specified by the specifying unit 144. The user interface device according to the present invention includes the first and second touch panels, and the pressing position is changed after the pressing is started at the position of the display object on the touch panel. Until the press is released, the user interface device has a function of displaying the display object corresponding to the pressed position, and pressing is started at the position of the display object on the first touch panel. When the change in the pressed position detected after the release is satisfied a predetermined condition, the specifying means for specifying the position on the second touch panel and the specifying means on the second touch panel are specified. Display means for displaying at least a part of the display object at a certain position.

上記構成を備える本発明に係るユーザインタフェース装置は、例えば並んで配置されるような第１のタッチパネルと第２のタッチパネルとの間でユーザが、ドラッグ＆ドロップをしようとし、指等で第１のタッチパネルに表示された表示物の位置を押圧して、その指等を第１のタッチパネル上を滑らせるとその指等の位置に応じてその表示物は表示され、更にユーザがその指等を例えば第１のタッチパネルから第２のタッチパネル上にまで移動させた場合に、その表示物が第１のタッチパネルから第２のタッチパネルへと渡って第２のタッチパネルに表示されるようになる。第２のタッチパネルにその表示物が表示された後は、従来の１つのタッチパネル上でのドラッグ＆ドロップと同様に第２のタッチパネル上でその表示物はユーザの指等の移動に応じて表示されることとなる。 In the user interface device according to the present invention having the above-described configuration, for example, a user tries to drag and drop between a first touch panel and a second touch panel that are arranged side by side. When the position of the display object displayed on the touch panel is pressed and the finger or the like is slid on the first touch panel, the display object is displayed according to the position of the finger or the like. When moved from the first touch panel to the second touch panel, the display object is displayed on the second touch panel from the first touch panel to the second touch panel. After the display object is displayed on the second touch panel, the display object is displayed on the second touch panel in accordance with the movement of the user's finger or the like in the same manner as drag and drop on the conventional one touch panel. The Rukoto.

即ち、本発明に係るユーザインタフェース装置は、ユーザに複数のタッチパネル間でドラッグ＆ドロップを行うことを可能ならしめるために機能し得る。
（１４）また、実施の形態に係る携帯電話機１００が備えるユーザインタフェース装置における前記所定条件は、タッチパネル１１０及び１２０が共に略同一平面上に並んで配置された形態を自装置がとっている場合において、例えばタッチパネル１２０におけるタッチパネル１１０側の一辺から所定範囲を占める第２境界領域内に押圧位置が入って押圧が解除されたことであるとして説明したように、本発明に係るユーザインタフェース装置における前記所定条件は、第１及び第２のタッチパネルが共に略同一平面上に並んで配置された形態を自装置がとっている場合において、第１のタッチパネルにおける第２のタッチパネル側の一辺から所定範囲を占める境界領域内に押圧位置が入って押圧が解除されたことであることとしてもよい。 That is, the user interface device according to the present invention can function to allow the user to perform drag and drop between a plurality of touch panels.
(14) Further, the predetermined condition in the user interface device provided in the mobile phone 100 according to the embodiment is that the own device takes a form in which the touch panels 110 and 120 are both arranged on substantially the same plane. For example, as described above that the pressing position is entered in the second boundary region occupying a predetermined range from one side of the touch panel 110 in the touch panel 120 and the pressing is released, the predetermined in the user interface device according to the present invention. The condition occupies a predetermined range from one side of the first touch panel on the second touch panel side when the device is in the form in which both the first and second touch panels are arranged on substantially the same plane. It may be that the pressing position is entered in the boundary area and the pressing is released.

これにより、ユーザは、第１のタッチパネルから第２のタッチパネルへと指等を滑らせることにより、第１のタッチパネル上に表示されている表示物を第２のタッチパネル側に表示させることができるようになる。
（１５）また、実施の形態に係る携帯電話機１００が備えるユーザインタフェース装置における前記特定部１４４は、例えば、タッチパネル１１０上の前記位置の特定を、タッチパネル１２０上で最後に押圧されていた位置とその単位時間前に押圧されていた位置とに応じて行うものとして説明したように、本発明に係るユーザインタフェース装置における前記特定手段は、第２のタッチパネル上の前記位置の特定を、第１のタッチパネル上での押圧の前記解除の前から当該解除までに検知された１以上の押圧位置に応じて行うこととしてもよい。 Thereby, the user can display the display object displayed on the first touch panel on the second touch panel side by sliding a finger or the like from the first touch panel to the second touch panel. become.
(15) In addition, the specifying unit 144 in the user interface device included in the mobile phone 100 according to the embodiment specifies, for example, the position on the touch panel 110 and the position that was last pressed on the touch panel 120 and the position thereof. As described above, the specifying means in the user interface device according to the present invention specifies the position on the second touch panel as the first touch panel, as described as being performed according to the position pressed before unit time. It is good also as performing according to the 1 or more press position detected before the said cancellation | release before the said cancellation | release of the upper press.

これにより、ユーザが、第１のタッチパネル上で表示物に乗せた指等を動かす方向等によって、第２のタッチパネル上に現れる表示物の位置を制御することができるようになる。
（１６）また、実施の形態に係る携帯電話機１００が備えるユーザインタフェース装置における特定部１４４は、例えば、タッチパネル１１０上の前記位置の特定を、タッチパネル１１０及び１２０が共に略同一平面上に並んで配置された形態を自装置がとっている場合におけるタッチパネル１２０とタッチパネル１１０との相対位置関係と、タッチパネル１２０上における最後に押圧されていた位置とその単位時間前に押圧されていた位置とに応じて行い、表示制御用アプリケーションは、タッチパネル１２０上での押圧が解除されてから、所定時間（ベゼル範囲内に表示物がある時間に相当する）後にアイコン等の表示物の前記表示を行うものとして説明したように、本発明に係るユーザインタフェース装置における前記特定手段は、第２のタッチパネル上の前記位置の特定を、第１及び第２のタッチパネルが共に略同一平面上に並んで配置された形態を自装置がとっている場合における第１のタッチパネルと第２のタッチパネルとの相対位置関係と、第１のタッチパネル
上における押圧の前記解除の前から当該解除までに検知された１以上の押圧位置とに応じて行い、前記表示手段は、第１のタッチパネル上での押圧が解除されてから、所定時間後に表示物の前記表示を行うこととしてもよい。 Accordingly, the position of the display object appearing on the second touch panel can be controlled by the user moving a finger or the like placed on the display object on the first touch panel.
(16) In addition, the specifying unit 144 in the user interface device included in the mobile phone 100 according to the embodiment, for example, specifies the position on the touch panel 110 so that the touch panels 110 and 120 are arranged on the substantially same plane. Depending on the relative positional relationship between the touch panel 120 and the touch panel 110 in the case where the device is in the form that has been performed, the position that was pressed last on the touch panel 120 and the position that was pressed before the unit time The display control application is described as performing the display of the display object such as an icon after a predetermined time (corresponding to a time when the display object is in the bezel range) after the pressing on the touch panel 120 is released. As described above, the specifying means in the user interface device according to the present invention includes: The position of the first touch panel and the second touch panel in the case where the own apparatus takes a form in which the first and second touch panels are both arranged on substantially the same plane. The display means performs the pressing on the first touch panel according to a relative positional relationship and one or more pressing positions detected from before the release of the press on the first touch panel to the release. It is good also as performing the said display of a display thing after predetermined time after cancelling | releasing.

これにより、第１及び第２のタッチパネルの間の間隔が空いている場合において第１のタッチパネル上から第２のタッチパネル上へとユーザの指等が滑った場合に、第２のタッチパネル上への表示物の表示が適切になされ得る。
（１７）また、実施の形態に係る携帯電話機１００が備えるユーザインタフェース装置における前記所定条件は、タッチパネル１１０及び１２０が共に略同一平面上に並んで配置された形態を自装置がとっている場合において、例えば、タッチパネル１２０におけるタッチパネル１１０側の一辺から所定範囲を占める第２境界領域内に押圧位置が入って押圧が解除され、かつ、最後に押圧されていた位置のｙ座標値からその単位時間前に押圧されていた位置のｙ座標値を減じた値（ドラッグ速度）の絶対値が所定値以上であることとして説明したように、本発明に係るユーザインタフェース装置における前記所定条件は、第１及び第２のタッチパネルが共に略同一平面上に並んで配置された形態を自装置がとっている場合において、第１のタッチパネルにおける第２のタッチパネル側の一辺から所定範囲を占める境界領域内に押圧位置が入って押圧が解除され、かつ、当該解除の前から当該解除までに押圧位置が、前記一辺に略垂直な方向の成分について単位時間につき所定程度以上、前記一辺に向かう方向に変化したことであることとしてもよい。 Thereby, when a user's finger | toe etc. slipped on the 2nd touch panel from the 1st touch panel in the case where the space | interval between the 1st and 2nd touch panels is vacant, it is on the 2nd touch panel. The display object can be appropriately displayed.
(17) Further, the predetermined condition in the user interface device included in the mobile phone 100 according to the embodiment is that the own device takes a form in which the touch panels 110 and 120 are both arranged on substantially the same plane. For example, the pressing position is entered in the second boundary area occupying a predetermined range from one side of the touch panel 120 on the touch panel 120, the pressing is released, and the unit time before the y coordinate value of the position that was last pressed As described above that the absolute value of the value (drag speed) obtained by subtracting the y-coordinate value of the position being pressed by the user is greater than or equal to a predetermined value, the predetermined condition in the user interface device according to the present invention is the first and When the self-apparatus is in a form in which the second touch panels are arranged side by side on substantially the same plane, A direction in which the pressing position enters a boundary region that occupies a predetermined range from one side of the second touch panel side of the H panel and the pressing is released, and the pressing position is substantially perpendicular to the one side before the releasing until the releasing. It is good also as having changed in the direction which goes to the said one side or more about predetermined component per unit time.

これにより、ユーザが第１のタッチパネル上で指等を動かした速度に応じて第２のタッチパネル上への表示物の表示が適切になされ得る。
（１８）また、実施の形態に係る携帯電話機１００が備えるユーザインタフェース装置の前記特定部１４４は、例えば、タッチパネル１１０上の前記位置の特定を、タッチパネル１１０及び１２０が共に略同一平面上に並んで配置された形態を自装置がとっている場合におけるタッチパネル１２０とタッチパネル１１０との相対位置関係と、タッチパネル１２０上における最後に押圧されていた位置とその単位時間前に押圧されていた位置とに応じて、タッチパネル１２０上での押圧の解除からタッチパネル１１０上での押圧の開始までの間に、複数回、単位時間間隔で、位置を変化させるように行い、表示制御用アプリケーションは、タッチパネル１２０上での押圧が解除されてから、所定時間（ベゼル範囲内に表示物がある時間に相当する）の経過以後においては、特定部１４４により位置の前記特定が行われる毎に、当該特定された位置に前記表示物の表示を行うこととして説明したように、本発明に係るユーザインタフェース装置における前記特定手段は、第２のタッチパネル上の前記位置の特定を、第１及び第２のタッチパネルが共に略同一平面上に並んで配置された形態を自装置がとっている場合における第１のタッチパネルと第２のタッチパネルとの相対位置関係と、第１のタッチパネル上における押圧の前記解除の前から当該解除までに検知された１以上の押圧位置とに応じて、第１のタッチパネル上での押圧の解除から第２のタッチパネル上での押圧の開始までの間に、複数回、単位時間間隔で、位置を変化させるように行い、前記表示手段は、第１のタッチパネル上での押圧が解除されてから所定時間の経過以後においては、前記特定手段により位置の前記特定が行われる毎に、当該特定された位置に前記表示物の表示を行うこととしてもよい。 Thereby, the display of the display object on the second touch panel can be appropriately performed according to the speed at which the user moves the finger or the like on the first touch panel.
(18) In addition, the specifying unit 144 of the user interface device included in the mobile phone 100 according to the embodiment specifies the position on the touch panel 110, for example, and the touch panels 110 and 120 are arranged on substantially the same plane. Depending on the relative positional relationship between the touch panel 120 and the touch panel 110 when the device is in the arranged form, the position that was last pressed on the touch panel 120, and the position that was pressed before the unit time The position of the display control application is changed on the touch panel 120 by changing the position several times at unit time intervals from the release of the press on the touch panel 120 to the start of the press on the touch panel 110. For a specified time after the release of the After the elapse of ()), as described above, each time the position is specified by the specifying unit 144, the display object is displayed at the specified position. The specifying means specifies the position on the second touch panel, the first touch panel in the case where the own apparatus takes a form in which both the first and second touch panels are arranged on substantially the same plane. Depending on the relative positional relationship with the second touch panel and one or more pressed positions detected from before the release of the press on the first touch panel to the release, the pressure on the first touch panel Between the release and the start of pressing on the second touch panel, the position is changed a plurality of times at unit time intervals, and the display means performs the first touch panel. In course after a predetermined time after the pressing on Le is released, the every specific is performed in position by the specifying unit may perform the display of the display object to the specified position.

これにより、ユーザが第１のタッチパネルから第２のタッチパネルへと指等を滑らせている際において、ユーザが第２のタッチパネルに触れる前においても第２のタッチパネル上で表示物がある軌跡を描くので、ユーザは指等で触れるべき第２のタッチパネル上の位置を把握し易くなる。
（１９）また、実施の形態及び変形例に係る携帯電話機は、タッチパネル１１０及び１２０を備え、各タッチパネル上のアイコン等の表示物の位置で押圧が開始されてから押圧位置が変化して押圧が解除されるまでの間（つまりドラッグ状態である間）において、押圧されている位置に対応して当該表示物を表示する機能を有するユーザインタフェース装置であって、例えばタッチパネル１２０上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、タッチパネル１１０上の位置を特定する特定部１４４と、タッチパネル１１０上の前記特定部１４４により特定された位置に前記表示物の少なくとも一部を表示する表示制御用アプリケーションとを備えるユーザインタフェース装置を含むものとして説明したように、本発明に係る携帯端末装置は、第１及び第２のタッチパネルを備え、タッチパネル上の表示物の位置で押圧が開始されてから押圧位置が変化して押圧が解除されるまでの間において、押圧されている位置に対応して当該表示物を表示する機能を有するユーザインタフェース装置であって、第１のタッチパネル上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、第２のタッチパネル上の位置を特定する特定手段と、第２のタッチパネル上の前記特定手段により特定された位置に前記表示物の少なくとも一部を表示する表示手段とを備えるユーザインタフェース装置を備えることを特徴とする。 As a result, when the user slides a finger or the like from the first touch panel to the second touch panel, the trace of the display object is drawn on the second touch panel even before the user touches the second touch panel. Therefore, the user can easily grasp the position on the second touch panel to be touched with a finger or the like.
(19) The mobile phone according to the embodiment and the modification includes touch panels 110 and 120, and the pressing position changes after the pressing starts at the position of the display object such as an icon on each touch panel. It is a user interface device having a function of displaying the display object corresponding to the pressed position until it is released (that is, while being dragged), for example, the position of the display object on the touch panel 120 When the change in the pressed position detected from when the pressing is started to when the pressing is released satisfies a predetermined condition, the specifying unit 144 that specifies the position on the touch panel 110 and the specifying unit 144 on the touch panel 110 A display control application for displaying at least a part of the display object at a position specified by the user interface As described above, the portable terminal device according to the present invention includes the first and second touch panels, and the pressing position changes after the pressing is started at the position of the display object on the touch panel. The user interface device has a function of displaying the display object corresponding to the pressed position until the press is released, and pressing starts at the position of the display object on the first touch panel. When the change in the pressed position detected between the release time and the release time satisfies a predetermined condition, the specifying means for specifying the position on the second touch panel and the specifying means on the second touch panel specify A user interface device including display means for displaying at least a part of the display object at the position.

上記構成を備える本発明に係る携帯端末装置は、ユーザに複数のタッチパネル間でドラッグ＆ドロップを行うことを可能ならしめるために機能し得る。
（２０）また、実施の形態及び変形例に係る携帯電話機は、タッチパネル１１０及び１２０を備え、タッチパネルの押圧開始から押圧解除までの間においてタッチパネル上の押圧位置に対応して当該タッチパネル上にアイコン等の表示物を表示する機能を有する携帯端末装置であって、表示物の表示を制御するための表示制御用アプリケーションを実行するプロセッサと、タッチパネル１１０又は１２０上で、押圧が開始された場合に表示制御用アプリケーションに対して押圧開始を示すメッセージを伝達し、押圧位置が移動した場合に表示制御用アプリケーションに対して位置を示すメッセージを伝達し、押圧が解除された場合に表示制御用アプリケーションに対して押圧解除を示すメッセージを伝達する制御部とを備え、制御部は、例えば、タッチパネル１２０上に表示された表示物の位置で押圧が開始された場合に、当該表示物の表示を制御するための表示制御用アプリケーションに対して押圧開始を示すメッセージを伝達し、タッチパネル１２０上の押圧された位置の変化が所定条件を満たす場合に、タッチパネル１１０上の位置を特定し、タッチパネル１２０上の押圧が解除された後にタッチパネル１１０上の前記特定された位置への押圧が開始された場合には、タッチパネル１２０上での押圧の解除に対応する、押圧解除を示すメッセージの伝達を抑止し、当該特定された位置を示すメッセージを伝達するとともに、タッチパネル１１０上での押圧の開始に対応する、押圧開始を示すメッセージの伝達を抑止することとして説明したように、本発明に係る携帯端末装置は、第１及び第２のタッチパネルを備え、タッチパネルの押圧開始から押圧解除までの間においてタッチパネル上の押圧位置に対応して当該タッチパネル上に表示物を表示する機能を有する携帯端末装置であって、表示物の表示を制御するためのアプリケーションプログラムを実行する実行手段と、第１又は第２のタッチパネル上で、押圧が開始された場合にアプリケーションプログラムに対して押圧開始を示すメッセージを伝達し、押圧位置が移動した場合にアプリケーションプログラムに対して位置を示すメッセージを伝達し、押圧が解除された場合にアプリケーションプログラムに対して押圧解除を示すメッセージを伝達する制御手段とを備え、前記制御手段は、第１のタッチパネル上に表示された表示物の位置で押圧が開始された場合に、当該表示物の表示を制御するためのアプリケーションプログラムに対して押圧開始を示すメッセージを伝達し、第１のタッチパネル上の押圧された位置の変化が所定条件を満たす場合に、第２のタッチパネル上の位置を特定し、第１のタッチパネル上の押圧が解除された後に第２のタッチパネル上の前記特定された位置への押圧が開始された場合には、第１のタッチパネル上での押圧の解除に対応する、押圧解除を示すメッセージの伝達を抑止し、当該特定された位置を示すメッセージを伝達するとともに、第２のタッチパネル上での押圧の開始に対応する、押圧開始を示すメッセージの伝達を抑止することを特徴とする。 The portable terminal device according to the present invention having the above-described configuration can function to allow the user to perform drag and drop between a plurality of touch panels.
(20) The mobile phone according to the embodiment and the modification includes the touch panels 110 and 120, and an icon or the like on the touch panel corresponding to the pressed position on the touch panel between the start of pressing the touch panel and the release of the press. Display device when a press is started on the touch panel 110 or 120 and a processor that executes a display control application for controlling display of the display object. A message indicating the start of pressing is transmitted to the control application, a message indicating the position is transmitted to the display control application when the pressing position moves, and the display control application is transmitted when the pressing is released. And a control unit that transmits a message indicating the release of pressing. When the press is started at the position of the display object displayed on the touch panel 120, a message indicating the start of the press is transmitted to the display control application for controlling the display of the display object. When the change in the pressed position satisfies the predetermined condition, the position on the touch panel 110 is specified, and the pressing to the specified position on the touch panel 110 is started after the pressing on the touch panel 120 is released. In the case, the transmission of the message indicating the release of the press corresponding to the release of the press on the touch panel 120 is suppressed, the message indicating the specified position is transmitted, and the start of the press on the touch panel 110 is supported. As described above, the portable terminal device according to the present invention is described as suppressing the transmission of a message indicating the start of pressing. The portable terminal device includes a first and a second touch panel, and has a function of displaying a display object on the touch panel corresponding to a pressed position on the touch panel between the start of pressing the touch panel and the release of the pressure. An execution means for executing an application program for controlling display of a display object, and a message indicating the start of pressing is transmitted to the application program when pressing is started on the first or second touch panel, and pressing Control means for transmitting a message indicating the position to the application program when the position moves, and transmitting a message indicating the release of the pressure to the application program when the pressure is released, the control means comprising: When pressing is started at the position of the display object displayed on the first touch panel When the message indicating the start of pressing is transmitted to the application program for controlling the display of the display object, and the change in the pressed position on the first touch panel satisfies a predetermined condition, the second touch panel If the position on the first touch panel is specified and the pressing on the specified position on the second touch panel is started after the pressing on the first touch panel is released, the pressing on the first touch panel The transmission of the message indicating the press release corresponding to the release is suppressed, the message indicating the specified position is transmitted, and the message indicating the press start corresponding to the start of the press on the second touch panel is transmitted. It is characterized by deterring.

上記構成を備える本発明に係る携帯端末装置によれば、特定のメッセージの伝達を抑止するので、表示物の表示を制御するためのアプリケーションプログラムにおいて、第１のタッチパネルと第２のタッチパネルの間でのドラッグ＆ドロップを比較的簡単な制御手順で実現できる可能性が高まる。
（２１）また、実施の形態及び変形例に係る携帯電話機は、タッチパネル１１０及び１２０を備え、各タッチパネルの押圧開始から押圧解除までの間においてタッチパネル上の押圧位置に対応して当該タッチパネル上に表示物を表示する機能を有する携帯端末装置であって、タッチパネル１２０上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、タッチパネル１１０上の位置に前記表示物の少なくとも一部を表示する制御部及び表示制御用アプリケーションを備えるものとして説明したように、本発明に係る携帯端末装置は、第１及び第２のタッチパネルを備え、タッチパネルの押圧開始から押圧解除までの間においてタッチパネル上の押圧位置に対応して当該タッチパネル上に表示物を表示する機能を有する携帯端末装置であって、第１のタッチパネル上の表示物の位置で押圧が開始されてから解除されるまでの間において検知された押圧位置の変化が所定条件を満たす場合に、第２のタッチパネル上の位置に前記表示物の少なくとも一部を表示する表示制御手段を備えることを特徴とする。 According to the portable terminal device according to the present invention having the above configuration, since transmission of a specific message is suppressed, in an application program for controlling display of a display object, between the first touch panel and the second touch panel. The possibility of realizing drag and drop in a relatively simple control procedure increases.
(21) The mobile phone according to the embodiment and the modification includes the touch panels 110 and 120, and displays on the touch panel corresponding to the pressed position on the touch panel between the start of pressing of each touch panel and the release of the press. A portable terminal device having a function of displaying an object when the change in the pressed position detected between the start of pressing at the position of the display object on the touch panel 120 and the release thereof satisfies a predetermined condition As described above, the portable terminal device according to the present invention includes the first and second touch panels as provided with a control unit that displays at least a part of the display object at a position on the touch panel 110 and a display control application. Provided, and corresponding to the pressing position on the touch panel between the start of pressing the touch panel and the release of pressing. A portable terminal device having a function of displaying a display object on a panel, wherein a change in a detected pressing position is detected after the pressing is started at the position of the display object on the first touch panel until it is released. When a predetermined condition is satisfied, a display control means for displaying at least a part of the display object at a position on the second touch panel is provided.

上記構成を備える本発明に係る携帯端末装置は、ユーザに複数のタッチパネル間でドラッグ＆ドロップを行うことを可能ならしめるために機能し得る。 The portable terminal device according to the present invention having the above-described configuration can function to allow the user to perform drag and drop between a plurality of touch panels.

本発明に係るユーザインタフェース装置及び携帯情報端末は、ユーザが、複数のタッチパネルを用いた操作を行う場合に利用される。 The user interface device and the portable information terminal according to the present invention are used when a user performs an operation using a plurality of touch panels.

１００携帯電話機
１０１、１０２筐体
１０３スピーカ
１０４マイク
１１０、１２０タッチパネル
１１１、１２１表示部
１１２、１２２入力部
１３０座標記憶部
１４０制御部
１４１検出部
１４２メッセージ発行部
１４３座標変換部
１４４特定部 100 Mobile phone 101, 102 Case 103 Speaker 104 Microphone 110, 120 Touch panel 111, 121 Display unit 112, 122 Input unit 130 Coordinate storage unit 140 Control unit 141 Detection unit 142 Message issue unit 143 Coordinate conversion unit 144 Identification unit

Claims

A first touch panel and a second touch panel are provided, corresponding to the pressed position from when the pressing is started at the position of the display object on the touch panel until the pressing is changed and the pressing is released. A user interface device having a function of displaying the display object,
In a state where the end area of the first touch panel and the end area of the second touch panel are arranged close to each other, the pressing position is changed after the pressing is started at the position of the display object on the first touch panel. After the change and the release of the pressure, the position of the display object on the second touch panel is specified according to one or more pressed positions detected from before the release to the release, When the second touch panel is pressed within a period, the control unit is configured to display the display object at the pressed position on the second touch panel.
The control unit is configured such that the display object is disposed at an end of the first touch panel on the second touch panel side from the start to the release of the pressing on the first touch panel, and the entire display object If unable to be displayed on the first touch panel, the second touch panel, a part of the display object, that displays the first can be no part be displayed on the touch panel A featured user interface device.

A portable terminal device comprising the user interface device according to claim 1.