JPH07230352A - Touch position detecting device and touch instruction processor - Google Patents

Touch position detecting device and touch instruction processor

Info

Publication number
JPH07230352A
JPH07230352A JP22020594A JP22020594A JPH07230352A JP H07230352 A JPH07230352 A JP H07230352A JP 22020594 A JP22020594 A JP 22020594A JP 22020594 A JP22020594 A JP 22020594A JP H07230352 A JPH07230352 A JP H07230352A
Authority
JP
Japan
Prior art keywords
touch position
touch
position
instruction
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP22020594A
Other languages
Japanese (ja)
Inventor
Shunichi Ito
Toshio Kamimura
Yoshihiko Kunimori
Michihiro Mese
Shigeto Osuji
俊夫 上村
俊一 伊藤
義彦 國森
成人 大條
道弘 目瀬
Original Assignee
Hitachi Ltd
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP23042093 priority Critical
Priority to JP5-230420 priority
Priority to JP5-320075 priority
Priority to JP32007593 priority
Application filed by Hitachi Ltd, 株式会社日立製作所 filed Critical Hitachi Ltd
Priority to JP22020594A priority patent/JPH07230352A/en
Publication of JPH07230352A publication Critical patent/JPH07230352A/en
Application status is Pending legal-status Critical

Links

Abstract

PURPOSE:To provide a touch position detecting device which can detect each touch position when plural positions are touched at a time and also can improve its durability. CONSTITUTION:The waves are sent from the blanching filter groups 12x and 12y via the wave transmitters 11x and 11y, and the wave receivers 14x and 14y receive the pulse-shaped signal waves W2x and W2y via the wave collector groups (x) and (y). These received signal waves are sent to the touch position/ press detecting parts 23x and 23y where it is detected which one of signal waves received by the wave collectors 13x and 13y is attenuated based on the attenuating positions and levels of both waves W2x and W2y. Receiving this detection result, a detecting part 24 which detects plural positions touched at a time detects the touch positions Ta(X2, Y2) and Tb(X5, Y5) based on the X detecting positions X2 and X5 and the Y detecting positions Y2 and Y5 and their press points Pa and Pb when two positions, for example, are touched.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【産業上の利用分野】本発明は、指や掌やペンなどを用いてタッチされた位置を検出するタッチ位置検出装置に関し、特に、同時に複数のタッチが行われたときに、個々のタッチ位置を検出することができるタッチ位置検出装置およびこれを用いたタッチ指示処理装置に関する。 BACKGROUND OF THE INVENTION This invention relates to a touch position detection device for detecting a touched position using a finger or a palm or a pen, in particular, when a plurality of touch is performed at the same time, each of the touch position about touched processing apparatus using a detection device and this touch position can be detected.

【0002】 [0002]

【従来の技術】近年、情報処理装置は、小型軽量化が進められており、タブレットとディスプレイとを一体化した入出力一体型情報処理装置の開発が盛んに行われている。 In recent years, the information processing apparatus, reduction in size and weight has been promoted, the development of input and output integrated information processing apparatus integrating the tablet and the display has been actively conducted.

【0003】タッチ位置検出装置の一種であるタブレットに関して、指で複数の位置がタッチされているときに、この複数のタッチ位置を検出する技術として、特開平3−77119号公報記載のものがある。 With respect tablet is a type of touch position detection device, when the plurality of positions are touched with a finger, as a technique for detecting the plurality of touch locations, there is a JP-A 3-77119 JP . これは、複数の位置がタッチされているときはそれらの位置の重心位置のみを出力できるアナログ方式タッチパネルにおいて、第1番目のタッチがされたままの状態でかつ第1番目のタッチの開始から時間的に遅れて第2番目のタッチが開始されるという条件のもとに、第1番目のタッチのみがされているときに、第1番目のタッチ位置をまず検出する。 This is in an analog type touch panel capable of outputting only the center of gravity of their positions when the plurality of positions is touched, a state that the first touch is and the time from the start of the first touch the second touch to the original condition that is started, when only the first touch is to first detect a first th touch position to delay. 次に第1番目のタッチがされたままの状態でかつ第1番目のタッチの開始から時間的に遅れて第2番目のタッチが開始されたときに、第1番目のタッチ位置と第2番目のタッチ位置の重心位置を検出する。 The next time the second touch is initiated later in time from the start of the first left in the state that the touch is and 1st touch, the second and first th touch position to detect the position of the center of gravity of the touch position of. 第1番目のタッチ位置と重心位置より、第2番目のタッチ位置を検出するものである。 Than the first touch position and the center of gravity position, and detects the first second touch position.

【0004】 [0004]

【発明が解決しようとする課題】上記タブレットは、複数のタッチが同時に開始されると位置が不明になるので、1つずつ順次タッチしていく必要がある。 The tablet [SUMMARY OF THE INVENTION] Since the position a plurality of touch is started simultaneously is unknown, it is necessary to successively touching one. 例えば、 For example,
シフトキーを使うときのように、異なる2点、例えば、 As when using the shift key, two different points, for example,
a点、b点の2つの指示が必要な場合、a点、b点を同時にタッチすることが不可能であり、a点をタッチした後、b点をタッチする(1つずつ順次タッチしていく) a point, if the two instructions at point b is required, a point, it is not possible to touch point b at the same time, after touching a point, touches the point b (sequentially touching one go)
必要がある。 There is a need. このため同時にタッチできる場合に比べて操作性が悪いという問題がある。 For this reason there is a problem of poor operability as compared with the case that you can touch at the same time.

【0005】これに対して、同時に複数の位置がタッチされてもこれらの位置を検知できるタブレットとして、 [0005] In contrast, as a tablet, which can detect even these positions are touched multiple locations simultaneously,
デジタル方式のタッチパネルがある。 There is a touch panel of the digital system. このタッチパネルの構造は、薄い透明電極を片面全体に縞状にコーティングした2枚の透明シートを、電極の方向が交差し、かつ電極が向かいあうように重ねたものである。 The structure of this touch panel, two transparent sheets of a thin transparent electrode is coated in stripes on one entire surface, the direction of the electrodes intersect, and in which electrodes are stacked so as to face. ただし、これだけでは、電極が常時接触してしまうので、電極を離すための例えば格子形状のスペーサを介して、重ねるようにする。 However, this alone, the electrode will always in contact, via the spacer, for example a lattice shape for separating the electrodes, so that overlap. そして、ユーザがシートを押したときだけ電極が接触するようにする。 Then, only the electrodes to be in contact when the user presses the sheet. タッチパネル上のX/Y軸のセンシングライン(電極)としては、100本以上ある。 The sensing lines of X / Y-axis on the touch panel (electrode), more than 100.

【0006】このタッチパネルは、電極が繰返し接触をすることにより、摩耗を生じ、接触不良を起こしやすい。 [0006] The touch panel by the electrode to the repeated contact, cause wear prone to contact failure. 従って、耐久性が悪いという問題がある。 Therefore, there is a problem of poor durability.

【0007】ところで、同時にタッチされた、複数のタッチ位置により、編集範囲を指定する技術として、特開平1ー142969号公報に記載のものがある。 By the way, the same time is touched, a plurality of touch positions, as a technique for the editing range is disclosed in JP-A-1 over 142,969. これは、上記のデジタル方式のタッチパネルを用いたものであり、透明タッチパネル上で指定された2点を4角形の対角線の両端と解釈する。 This is for using the touch panel of the digital system, interpreting the two points specified on the transparent touch panel quadrilateral with opposite corners. そして、この4角形を編集ブロックとすることにより、編集ブロックを指定することができる。 Then, by editing block this square, it is possible to specify an edit block. こうして、透明タッチパネルによる編集ブロックの指定が容易になるのものである。 Thus, those of the specified edited block by the transparent touch panel is facilitated.

【0008】さらに、複数位置を同時に押圧して命令を入力する技術として、特開平4ー322322号公報に記載のものがある。 Furthermore, as a technique for inputting a command by pressing a plurality of positions simultaneously, there is disclosed in JP-A-4-322322. これは、上記のデジタル方式のタッチパネルを用いたものである。 This is obtained by using the touch panel of the digital type. スイッチパネル上の複数の押圧位置が同時に押圧された場合、これを認識し、押圧位置の数により決まる命令を実行するようにしたもので、操作時にスイッチパネルを肉眼で認識せずに、確実な操作を行うことができるものである。 If multiple pressing position on the switch panel is pressed at the same time, we recognize this was one that was to execute instructions determined by the number of the pressing position, without recognizing the switch panel with the naked eye during the operation, reliable it is capable of performing the operation. この公報では、 In this publication,
スイッチパネル上で1つの押圧位置のみを受付け、さらに、この押圧位置の移動も検出し、その移動方向により決まる命令を実行する技術も開示されている。 Accepting only one press position on the switch panel, further movement also the detection of the pressing position, also discloses a technique for executing the instructions determined by the moving direction. この技術によっても、操作時にスイッチパネルを肉眼で認識せずに、確実な操作を行うことができる。 With this technique, without recognizing the switch panel with the naked eye during the operation, it is possible to perform a reliable operation.

【0009】しかし、これらの技術は、デジタル方式のタッチパネルを用いているため、耐久性に問題がある。 [0009] However, these techniques, the use of a touch panel of the digital method has a problem in durability.
また、同時にタッチされた複数のタッチ位置を移動させて、指示し、その指示に応じた処理を行うことについては、なんら述べられていない。 Also, by moving the plurality of touch position touched simultaneously, it instructs, for performing the process according to the instruction is not mentioned at all.

【0010】本発明の第1の目的は、指や掌やペンなどにより、順次のみならず、同時に行われる複数のタッチの位置を検出でき、しかも耐久性のあるタッチ位置検出装置を提供することにある。 [0010] The first object of the present invention, by a finger or a palm or a pen, not sequentially only, to detect the positions of a plurality of touch to be performed simultaneously, moreover to provide a touch position detection device durable It is in.

【0011】本発明の第2の目的は、指や掌やペンなどにより、順次のみならず、同時に行われる複数のタッチの位置を検出して、タッチ位置に応じた処理を行えるとともに、しかも耐久性のあるタッチ指示処理装置を提供することにある。 A second object of the present invention, by a finger or a palm or a pen, not sequentially only, to detect the position of a plurality of touch to be performed simultaneously, with perform a process corresponding to the touch position, yet durable It is to provide a touch instruction processing apparatus having the sex.

【0012】本発明の第3の目的は、指や掌やペンなどにより、順次のみならず、同時に行われる複数のタッチ位置の移動を検出し、この移動指示に従って、表示装置上に表示された表示対象物を移動させて表示することができるとともに、しかも耐久性のあるタッチ指示処理装置を提供することにある。 A third object of the present invention, by a finger or a palm or a pen, not sequentially only, to detect the movement of the plurality of touch positions is performed simultaneously, in accordance with the movement instruction, which is displayed on a display device it is possible to display by moving the display object, moreover there is provided a touch instruction processing apparatus having durability.

【0013】 [0013]

【課題を解決するための手段】上記第1の目的を達成するために、接触物の接触位置をタッチ位置として、2次元で上記タッチ位置を検出するタッチ位置検出装置において、それぞれ1次元方向のタッチ位置を検出し、検出信号を出力するタッチ位置検出手段を複数有し、かつ、 To achieve the above first object, according to the solution to ## as a touch position contact position of the touch object, the touch position detection device for detecting the touch position in two dimensions, each one-dimensional direction detecting a touch position, a plurality of the touch position detection means for outputting a detection signal, and,
同時に複数の位置がタッチされたときに得られる、該タッチの数より多い複数の候補位置のうちから、個々のタッチ位置を判定する同時複数タッチ位置判定手段を有し、上記タッチ位置検出手段の各々は、タッチにより変化する検出信号に基づいて、タッチ位置の検出を行い、 At the same time a plurality of positions is obtained when it is touched, from among the plurality of candidate positions exceeds the number of the touch, it has a simultaneous multiple touch position determining means for determining an individual touch location of the touch position detection unit each, based on the detection signal that changes by a touch, performs detection of the touch position,
上記同時複数タッチ位置判定手段は、同時に複数の位置がタッチされたときに得られる、該タッチの数より多い複数の候補位置のうち、その位置が有する、上記タッチ位置検出手段の一方の検出信号から抽出される、位置に依存しない少なくとも1つのタッチの特徴量と他方のタッチ位置検出手段の検出信号から抽出される、位置に依存しない少なくとも1つのタッチの特徴量とが一致するものを選択することにより、個々のタッチ位置を判定することとしたものである。 The multiple simultaneous touch position determining means is obtained when touched multiple locations simultaneously, among the plurality of candidate positions exceeds the number of the touch, its position has one of the detection signals of the touch position detection unit extracted from, select the one extracted from the detection signal of the features and the other of the touch position detecting means of the at least one touch position-independent, which is a feature quantity of at least one touch position independent match by, in which it was decided to determine the individual touch positions.

【0014】また、上記第2の目的を達成するために、 [0014] In order to achieve the second object,
上記のタッチ位置検出装置と、タッチ位置に応じた情報処理を行う情報処理装置とを有することとしたものである。 In which it was decided to have the above touch position detection device, and an information processing apparatus for performing information processing according to the touch position.

【0015】さらに、上記第3の目的を達成するために、表示対象物を表示する表示装置と、上記表示対象物が表示されている上記表示装置の表示面上での、同時かつ複数である、接触物の接触位置をタッチ位置として、 Furthermore, in order to achieve the third object, a display device for displaying a display object, on the display surface of the display device the display object is displayed, it is simultaneously and more the contact position of the contact product as the touch position,
2次元で上記タッチ位置を時系列に検出するタッチ位置検出装置と、上記時系列で検出された複数のタッチ位置を、上記表示対象物に対する移動を指示するタッチ位置指示とし、このタッチ位置指示に基づいて、上記表示対象物の移動を行い、移動後の上記表示対象物を上記表示装置に表示させる制御手段とを有し、上記タッチ位置検出装置は、それぞれ1次元方向のタッチ位置を検出し、 A touch position detecting apparatus for detecting in time series the touch position in two dimensions, a plurality of touch positions detected by the time series, and the touch position instruction to move with respect to the display object, in the touch position indication based on, to move between the display object, the display object after movement and a control means for displaying on the display device, the touch position detection device detects the touch position of each one-dimensional direction ,
検出信号を出力するタッチ位置検出手段を複数有し、かつ、同時に複数の位置がタッチされたときに得られる、 A plurality of the touch position detection means for outputting a detection signal, and is obtained when the plurality of positions are simultaneously touched,
該タッチの数より多い複数の候補位置のうちから、個々のタッチ位置を判定する同時複数タッチ位置判定手段を有し、上記タッチ位置検出手段の各々は、タッチにより変化する検出信号に基づいて、タッチ位置の検出を行い、上記同時複数タッチ位置判定手段は、同時に複数の位置がタッチされたときに得られる、該タッチの数より多い複数の候補位置のうち、その位置が有する、上記タッチ位置検出手段の一方の検出信号から抽出される、位置に依存しない少なくとも1つのタッチの特徴量と他方のタッチ位置検出手段の検出信号から抽出される、位置に依存しない少なくとも1つのタッチの特徴量とが一致するものを選択することにより、個々のタッチ位置を判定することとしたものである。 From among the plurality of candidate positions exceeds the number of the touch, have a simultaneous multiple touch position determining means for determining an individual touch positions, each of said touch position detection unit, based on a detection signal that changes by a touch, performs detection of the touch position, the simultaneous multiple touch position determining means, at the same time a plurality of positions is obtained when it is touched, out of the plurality of candidate positions exceeds the number of the touch, with its position, the touch position extracted from one of the detection signal of the detection means, is extracted from the detection signal of the features and the other of the touch position detecting means of the at least one touch position independent, a feature quantity of at least one touch position-independent There by selecting a match is obtained by the determining the individual touch positions.

【0016】 [0016]

【作用】上記タッチ位置検出装置により、指や掌やペンなどの同時複数タッチ位置検出を実現できる。 By the action above the touch position detection device can be realized simultaneously multiple touch position detection, such as a finger or a palm or a pen. このため、a点、b点の2つを同時に指示する必要がある場合、a点、b点を同時にタッチすることが可能となり、 Therefore, when it is necessary to instruct a point, two of point b at the same time, it is possible to touch a point, the point b at the same time,
操作性が向上する。 Operability can be improved. しかも、従来は、薄い透明電極を全面にコーティングした2枚の透明シートを重ねたものをタッチしていたのに対して、本発明では、この様な電極はないため、摩耗による接触不良は生ぜず、耐久性が向上する。 Moreover, conventionally, a thin transparent electrode whereas had touched an overlay of two transparent sheets coated on the entire surface, the present invention, since such an electrode is not, Namaze the contact failure due to wear not to improve the durability.

【0017】上記タッチ指示処理装置により、同時に行われる複数のタッチの位置を検出して、タッチ位置に応じた処理を行えるとともに、しかも耐久性のあるタッチ指示処理装置を提供できる。 [0017] By the touched processor detects the position of the plurality of touch to be performed simultaneously, with perform a process corresponding to the touch position, yet can provide a touch instruction processor durable.

【0018】また、指や掌やペンなどにより、順次のみならず、同時に行われる複数のタッチ位置を検出してその位置を表示し、複数のタッチ位置指示による移動指示に伴って、表示装置上に表示された表示対象物を移動させて表示することができるとともに、しかも耐久性のあるタッチ指示処理装置を提供することができる。 Further, by a finger or a palm or a pen, not sequentially only, and it displays the position by detecting a plurality of touch positions is performed simultaneously with the movement instruction by a plurality of touch position indication, display device on it is possible to display by moving the displayed display object in. Moreover, it is possible to provide a touch instruction processor durable.

【0019】 [0019]

【実施例】以下、本発明に係る、同時に複数のタッチ位置の検出ができるタッチ位置検出装置の3つの実施例を、最初に説明する。 EXAMPLES Hereinafter, the present invention, at the same time the three embodiments of the touch position detection device capable of detecting a plurality of touch positions will be described first. この実施例を、同時に2箇所がタッチされて、その2つのタッチ位置を検出する場合について説明する。 This example, being touched two places simultaneously, will be described for detecting the two touch positions.

【0020】本発明の第1の実施例の表面弾性波方式タッチプレート(タッチパネル)を用いた同時複数タッチ位置検出装置を、図1〜3により説明する。 The simultaneous multiple touch position detecting apparatus using the first embodiment surface acoustic wave touch plate of the present invention (touch panel) will be described with FIGS.

【0021】図1により、同時複数タッチ位置検出装置の構成について説明する。 [0021] The Figure 1 to describe the configuration of a simultaneous multiple touch position detection device.

【0022】図1は、同時複数タッチ位置検出装置のシステム概略構成を示す。 [0022] Figure 1 shows a system schematic construction of a simultaneous multiple touch position detection device.

【0023】本装置は、指などがタッチする表面弾性波方式のタッチプレート1と、タッチ位置検出部2とを有する。 [0023] The apparatus includes a touch plate 1 of a surface acoustic wave method, such as a finger touches, a touch position detection unit 2. Ta、Tbは指などで同時にタッチされている2 Ta, Tb is being touched, such as at the same time with a finger 2
つの位置を示す。 One of the shows the position. また、11x、11yはX、Y位置検出用の送波器、12x、12yはX、Y位置検出用の分波器群、13x、13yはX、Y位置検出用の集波器群、14x、14yはX、Y位置検出用の受波器である。 Also, 11x, 11y are X, transmitters for Y position detection, 12x, 12y are X, duplexer group for Y position detection, 13x, 13y are X, converging wave unit group for Y position detection, 14x , 14y is X, a receiving transducer for Y position detection.

【0024】ここで、図に示したように、送波器11 [0024] Here, as shown in FIG., The wave transmitter 11
x、11y、分波器群12x、12y、集波器群13 x, 11y, duplexer group 12x, 12y, Atsumariha unit group 13
x、13y、受波器14x、14yは、タッチプレート1のタッチ面上の角や辺に設置する。 x, 13y, receivers 14x, 14y is installed in corners and edges on the touch surface of the touch plate 1. また、21x、2 In addition, 21x, 2
1yはX、Y位置検出用送波器の送波を制御する送波器制御部、22x、22yはX、Y位置検出用受波器の受波を制御する受波器制御部、23x、23yはX、Y位置検出用のタッチ位置/押圧検出部、24は同時複数タッチ位置判定部、25は外部とタッチ位置や制御コマンドなどのやり取りを行う外部インタフェース部である。 1y is X, transmitters control unit for controlling the transmitting of Y position detection transmitters, 22x, 22y are X, wave receiver control unit for controlling the reception of the Y position detection wave receiver, 23x, 23y is X, the touch position / press detection unit for Y position detection, 24 simultaneous multiple touch position determination section, 25 denotes an external interface unit for exchanging an external touch position and the control commands.

【0025】外形寸法は横約230ミリ、縦約156ミリ、分波器12の間隔は約1.5ミリ、分波器12の数は横約120個、縦約70個である。 The external dimensions transverse to about 230 millimeters, length of about 156 mm spacing of the demultiplexer 12 is approximately 1.5 millimeters, the number of the demultiplexer 12 side about 120, a length of about 70.

【0026】つぎに、タッチパネル1について説明する。 [0026] Next, a description will be given of the touch panel 1. 本タッチパネル1は、弾性表面波(SAW)を用いたものである。 This touch panel 1 is obtained using a surface acoustic wave (SAW). すなわち、タッチパネル1上のタッチ位置の検出はパネル1をタッチする物体(指、スタイラス)によってSAWのエネルギーが吸収されあるいはS That is, the detection of the touch position on the touch panel 1 is the object (finger, stylus) touching the panel 1 SAW energy by is absorbed or S
AWエネルギーが不在となる現象を利用している。 AW energy is using the phenomenon to be absent.

【0027】タッチパネル1は、ディスプレイパネル(すなわちCRT,LCD,EL,ガスプラズマその他)の表面に適合するような円筒状、球面状あるいは平面状のガラス1(汎用板ガラス、厚み約3mm、透過率92%)と、ガラス1の四辺に底融点ガラス粉末(Fr The touch panel 1 includes a display panel (i.e. CRT, LCD, EL, gas plasma and other) cylindrical to fit the surface of a spherical shape or a flat glass 1 (general sheet glass, a thickness of about 3 mm, the transmittance 92 a%), the bottom-melting glass powder in four sides of the glass 1 (Fr
it)で反射アレイ(分波器群12、集波器群13。約1.5mm間隔に設けられている)を印刷加工し、各アレイの端に各一個、計四個の送波器11、受波器14を接着したものである。 it) in the reflective array (duplexer group 12, and print processing by which) provided Atsumariha instrument group 13. about 1.5mm interval, each one at the end of each array, a total of four of the transmitters 11 it is obtained by bonding the wave receiver 14.

【0028】送波器11、受波器14の構造を図19に示す。 The transmitters 11, the structure of the receivers 14 shown in FIG. 19. 図19は、送波器11等をガラス15に取付けた状態を示す。 Figure 19 shows a state in which the wave transmitter 11 or the like mounted on the glass 15. 送波器11等は、圧電素子111とプリズム112とからなる。 Transmitters 11 or the like, a piezoelectric element 111 and the prism 112..

【0029】弾性表面波は、数学的には不均質な縦波(L波)と横波(S波)の組合せとして表される。 The surface acoustic wave is mathematically expressed as a combination of shear and heterogeneous longitudinal wave (L-wave) (S-wave). 数M The number M
Hz領域の周波数を有するものが用いられる。 Having a frequency of Hz region is used. 表面波を発生させる最も効率的で便利な方法は縦形波のモード変換によるものである。 The most efficient and convenient way for generating surface waves is by mode conversion of the vertical wave. この現象は、圧電素子111により、第1の固体112に発生させた縦波を第2の固体(ガラス15)との接合面113に投射するとき、その入射角度α114を適切にし、縦波エネルギが界面で全部反射され、屈折によって第2固体内部にはエネルギが入らない状態にすれば、弾性表面波のみが、第2の固体に発生する。 This phenomenon is due to the piezoelectric element 111, when projecting the longitudinal wave which is generated in the first solid 112 on the bonding surface 113 of the second solid (glass 15), the appropriate the incident angle Arufa114, longitudinal wave energy There are totally reflected at the interface, if the state inside the second solid does not enter the energy by refraction, only the surface acoustic wave is generated in the second solid.

【0030】ガラス1面上に表面波が最も効率よく発生するプリズム112の角度は、次式で表わされる。 The angle of the prism 112 which surface waves on the glass first surface occurs most efficiently is expressed by the following equation.

【0031】V L =V S sinα ここで、V L :プリズム112中の縦波の速度、V S :表面波の速度である。 [0031] Here V L = V S sinα, V L: velocity of longitudinal waves in the prism 112, V S: is the velocity of surface waves. したがって、表面波を得るためにプリズム112としては、V L <V Sとなるような物質を選ぶ必要がある。 Therefore, the prism 112 in order to obtain a surface wave, it is necessary to select a material such that V L <V S. 通常、ガラス15上で表面波を生成させるに必要な速度を有する物質として選ばれるのは、アクリル樹脂である。 Usually, what is selected as a substance having a speed required to produce a surface wave on the glass 15 is an acrylic resin.

【0032】なお、表面波は、曲面に沿って伝播できる。 [0032] The surface wave can propagate along the curved surface. 曲面半径が波長に比べて大きければ、減衰量および速度にほとんど変化がない。 If radius of curvature is larger than the wavelength, there is little change in the attenuation amount and speed.

【0033】つぎに、タッチ位置検出部2の構成について述べる。 Next, there will be described a configuration of a touch position detection unit 2.

【0034】送波器制御部21x,yは、5.53MH The wave transmitter control unit 21x, y is, 5.53MH
zのRF信号を生成し、増幅するパルス波増幅器と、送波器11xと、送波器11yへの出力のタイミングが重ならないように、外部インターフェース部25からクロック信号26を受けて、出力のタイミングを調整して、 Generates a z RF signal, and a pulse-wave amplifier for amplifying the wave transmitter 11x, so as not to overlap the timing of the output of the wave transmitter 11y, it receives the clock signal 26 from the external interface unit 25, the output by adjusting the timing,
数μsの幅の信号(パルス波と呼ぶ)として出力するタイミング回路とを有する。 And a timing circuit for outputting a number μs width of signals (referred to as a pulse wave). 送波器11xと、送波器11 And the wave transmitter 11x, the wave transmitter 11
yへの出力のタイミングが重なることを防ぐ以外に、送波器11x,yからそれぞれ出力されたパルス波同士がそれぞれ受波器14x,yで重なることも防ぐ必要がある。 Besides to prevent the timing of the output of the y overlap, transmitters 11x, respectively output pulse waves with each other receivers each 14x from y, it is necessary to prevent overlapping by y. そこで、パルス波は、受波器14x,yにおいて、 Therefore, pulse wave, wave receiver 14x, the y,
数msごとに送波器制御部21x,yから出力される。 Transmitters controller 21x every several ms, is output from the y.
例えば、時刻0に送波器制御部21xからパルス波を出力し、時刻0.5msに送波器制御部21yからパルス波を出力し、時刻1.5msに送波器制御部21xから次のパルス波を出力し、時刻2.0msに送波器制御部21yから次のパルス波を出力する。 For example, the wave transmitter control unit 21x to the time 0 and outputs a pulse wave from the wave transmitter control unit 21y at time 0.5ms outputs a pulse wave from the wave transmitter control unit 21x in time 1.5ms follows outputs a pulse wave from the wave transmitter control unit 21y at time 2.0ms outputs the next pulse wave.

【0035】受波器制御部22x,yは、受波器14 The reception control part 22x, y is wave receiver 14
x,yから受取ったRF信号を強めるためのRF増幅器と、増幅された信号の包絡線を求めるためのAM検出器と、AM検出器の出力信号を増幅するAGC(Auto x, AGC which amplifies the RF amplifier to enhance the RF signal received from y, and AM detector for determining the envelope of the amplified signal, an output signal of the AM detector (Auto
Gain Control)付き増幅器とからなる。 Consisting of a Gain Control) with amplifier.

【0036】AM検出器は、受信した信号に含まれている高周波成分を除去するためのものである。 The AM detector is used for removing high-frequency components included in the received signal. AGC付き増幅器は、受信した信号の最初の部分に含まれている信号を基準信号として、AGC増幅を行う。 With AGC amplifier as a reference signal a signal that is included in the first part of the received signal, performs AGC amplifier. 基準信号は、 Reference signal,
図1の経路16,17を通ることとする。 And passing through the path 16, 17 in FIG. 1. この経路1 This route 1
6,17がある場所が、タッチされると、基準信号が減衰してしまい、基準信号として使えなくなる。 6,17 place there is, is touched, the reference signal will be attenuated, unusable as a reference signal. このため、経路16,17の位置は、タッチパネルの周辺部とし、露出しないようにする。 Therefore, the position of the path 16 and 17, the peripheral portion of the touch panel, so as not to expose.

【0037】タッチ位置/押圧検出部23x,yは、A The touch position / pressing detecting unit 23x, y is, A
GC付き周波数帯域増幅器から送られてきたアナログ波形を30ms(この時間は、タッチ位置/押圧検出部2 The analog waveform sent from the GC with the frequency band amplifier 30 ms (this time, the touch position / press detection unit 2
3x,yの処理に要する時間から決まる)ごとに、デジタル波形に変換するアナログ/デジタル変換器と、得られたデジタル波形を、記憶されているタッチがなかった時のディジタル波形(参照波形)と比較し、タッチの有無の確認とタッチ位置を決定するためのコンパレータと、参照波形を記憶するためのメモリ(ROM)とを有する。 3x, every determined by the time required for the processing of y), and an analog / digital converter for converting the digital waveform, the resulting digital waveform, a digital waveform when the stored touch did not (see the waveform) comparison, has a comparator for determining a check and touch position of the presence or absence of touch, and a memory for storing a reference waveform (ROM). 比較の対象となる、変換により得られた波形および参照波形は、図2のt1,t2,t3,t4の基準時刻(振幅が基準振幅レベルLの半分のレベルにまで大きくなった時刻)から、振幅が基準振幅レベルLの半分のレベルにまで低下した時刻までについて、X座標は、約90ポイント、Y座標は、約140ポイントについてのデータからなる。 Be compared, the waveform and the reference waveform obtained by the conversion, from t1, t2, t3, t4 of the reference time of FIG. 2 (time amplitude has increased to half of the level of the reference amplitude level L), for until the time the amplitude decreases to half the level of the reference amplitude level L, X coordinate, about 90 points, Y coordinates, and a data for approximately 140 points. なお、図2のt1,t2,t3,t4 Incidentally, t1 in FIG. 2, t2, t3, t4
は、タッチ位置のX座標値またはY座標値に比例している。 Is proportional to the X coordinate value or the Y coordinate value of the touch position.

【0038】次に、タッチパネル1の動作について述べる。 Next, we describe the operation of the touch panel 1. タッチ位置のX,Y座標の検出は、パネル1をタッチする物体(指、スタイラス)によって超音波エネルギが吸収される現象を利用して行われる。 X touch position, detection of the Y coordinate, the object (a finger, a stylus) touching the panel 1 ultrasonic energy by is performed by utilizing the phenomenon that is absorbed. X軸とY軸各1 Each X and Y axes 1
対の発信用の送波器11と受信用の受波器14(計4 Wave receiver 14 for receiving and transmitting unit 11 for transmitting the pair (four
個)およびガラス15周辺に印刷された反射アレイ1 Pieces) and printed on the peripheral glass 15 reflectarray 1
2,13(フリットを融着したもの)の働きにより、超音波エネルギがガラス15面を伝わり、そして受信される。 By the action of 2,13 (that fused frit), ultrasonic energy is transmitted 15 side glass, and are received.

【0039】タッチパネル1に指が触れると、その接触点で超音波が吸収される。 [0039] When a finger touches the touch panel 1, the ultrasonic waves are absorbed by the contact points. その減衰した信号がキャッチされ、X,Y座標が計算される。 Its attenuated signal is caught, X, Y coordinates are calculated. 図2に信号波形を示す。 It shows the signal waveforms in FIG. 図2Aには、X座標を検知するための信号が示されており、図2Bには、Y座標を検知するための信号が示されている。 FIG 2A, and the signal for detecting the X-coordinate is shown in the Figure 2B, the signal for detecting the Y-coordinate is shown.

【0040】圧電素子111は、小さなアクリル樹脂製のプリズム112の上に取付けられ、さらに、プリズム112がガラス1表面にエポキシ樹脂で接着されている。 The piezoelectric element 111 is mounted on a small acrylic resin prism 112, further, the prism 112 is epoxied to the glass first surface. タッチ位置検出部2内の送波器制御部21にある水晶発振器によって、5.53MHzで、出力時間が数μ By a crystal oscillator in the wave transmitter control unit 21 of the touch position in the detection unit 2, at 5.53 MHz, the output time is several μ
sの電気的振動が圧電素子111に与えられると、アクリル製プリズム112中に縦波(バルク波)が発生する。 When an electrical vibration of s is applied to the piezoelectric element 111, the longitudinal wave (bulk wave) occurs during an acrylic prism 112. プリズム112の形状と、取付け角度を適切に保つことにより、プリズム112とガラス15の境界面11 The shape of the prism 112, by keeping the mounting angle appropriately, the prism 112 and the boundary surface 11 of the glass 15
3でパルク波が表面波に変換され、反射アレイ12,1 3 Parc wave is converted into a surface wave, the reflective arrays 12, 1
3上を伝播する。 3 propagating on.

【0041】反射アレイ12,13は、約0.05mm The reflective array 12, 13 is about 0.05mm
高さのフリットをガラス15表面上に印刷し溶融させたものである。 The frit height is obtained by printing melted onto the glass 15 surface. 反射アレイ12,13および送波器11、 Reflective arrays 12, 13 and transmitters 11,
受波器14は幅約12mmであり、CRTなどのベゼル(bezel)の背後に外部から見えないように配置される。 Wave receiver 14 is about 12mm wide, are arranged so as not to be visible from the outside behind the bezel, such as CRT (bezel).

【0042】X軸の送波器11xから発生した表面波W [0042] generated from the wave transmitter 11x of the X-axis surface wave W
1xが反射アレイ(分波器群)12xを進むと、45° When 1x proceeds reflective arrays (duplexer group) 12x, 45 °
で平行に配列された反射アレイ12xの一つ一つが少量のエネルギを反射する。 Every single reflective array 12x arranged in parallel in reflects a small amount of energy. W1xを図2に示す。 The W1x shown in Figure 2. W1x W1x
は、送波器11xから出力された直後の信号波形を示す。 Shows the signal waveforms immediately after being outputted from the wave transmitter 11x. 反射された表面波W2xはガラス1を横切り、パネル他端にあるもう一つの反射アレイ(受波器群)13x The reflected surface wave W2x traverses the glass 1, another reflective array in the panel and the other end (wave receiver group) 13x
でふたたび反射される。 In is again reflected. 反射された表面波W3xは、ガラス1の下右端にある受波器14xへと送られる。 The reflected surface wave W3x is delivered to the receivers 14x below the right edge of the glass 1. 受波器14xに入力される直前の波形W3xを図2Aに示す。 The waveform W3x immediately before being input to the wave receiver 14x shown in Figure 2A. 受波器14xは、表面波エネルギを電気信号に再変換する。 Wave receiver 14x reconverts the surface wave energy into electrical signals. 図2Aに示す数μsの長さの信号W1xは、受波器14xへ到達するときには、時間的に引き伸ばされた長い信号W3xとなって戻ってくる。 The length of the signal W1x number μs shown in Figure 2A, when reaching the receivers 14x is come back with long signal W3x which temporally stretched. パネル1をタッチすると、その場所でエネルギが吸収され、タッチ位置に1対1に対応する時間で受信波形W3xに窪みができる。 Touch panel 1, the energy is absorbed at the location, it is depression in time received waveform W3x for one-to-one correspondence to the touch position. 図2Aのt1,t2が図1のTa,Tbに対応する。 t1, t2 of FIG. 2A corresponds to the Ta, Tb FIG.

【0043】Y軸の送波器11yから発生した表面波W [0043] generated from the wave transmitter 11y of the Y-axis surface wave W
1yが反射アレイ(分波器群)12yを進むと、45° When 1y travels reflective array (duplexer group) 12y, 45 °
で平行に配列された反射アレイ12yの一つ一つが少量のエネルギを反射する。 Every single reflective array 12y arranged in parallel in reflects a small amount of energy. W1yを図2に示す。 The W1y shown in Figure 2. W1y W1y
は、送波器11yから出力された直後の信号波形を示す。 Shows the signal waveforms immediately after being outputted from the wave transmitter 11y. 反射された表面波W2yはガラス1を横切り、パネル他端にあるもう一つの反射アレイ(受波器群)13y The reflected surface wave W2y traverses the glass 1, another reflective array in the panel and the other end (wave receiver group) 13y
でふたたび反射される。 In is again reflected. 反射された表面波W3yは、ガラス1の下右端にある受波器14yへと送られる。 The reflected surface wave W3y is delivered to the receivers 14y under the right edge of the glass 1. 受波器14yに入力される直前の波形W3yを図2Bに示す。 The waveform W3y immediately before being input to the receiving transducer 14y shown in Figure 2B. 受波器14yは、表面波エネルギを電気信号に再変換する。 Wave receiver 14y reconverts the surface wave energy into electrical signals. 図2Bに示す数μsの長さの信号W1yは、受波器14yへ到達するときには、時間的に引き伸ばされた長い信号W3yとなって戻ってくる。 The length of the signal W1y number μs shown in Figure 2B, when reaching the receiving transducer 14y will come back a long signal W3y which temporally stretched. パネル1をタッチすると、その場所でエネルギが吸収され、タッチ位置に1対1に対応する時間で受信波形W3yに窪みができる。 Touch panel 1, the energy is absorbed at the location, it is depression in time received waveform W3y for one-to-one correspondence to the touch position. 図2Bのt3,t4が図1のTa,Tbに対応する。 t3 in FIG. 2B, t4 corresponds to the Ta, Tb FIG.

【0044】このように、タッチパネル1のある場所を通る波は、送波器11x、および送波器11yから特定の距離にあるタッチ位置Ta,TbをX座標またはY座標に応じた時間で通過する。 [0044] Thus, the wave passing through the location of the touch panel 1, passes the time corresponding transmitters 11x, and the wave transmitter 11y from the touch position Ta in a specific distance, the Tb in the X-coordinate or Y-coordinate to. この時間を、タッチ位置検出部2内のタッチ位置/押圧検出部23において、タッチが無いときの信号波形と比較することにより、求める。 This time, the touch position / press detection unit 23 of the touch position in the detection unit 2, by comparing the signal waveform when the touch is not obtained. そして、タッチ位置を計算する。 Then, to calculate the touch position. 以上の動作は、表面波の干渉による誤差を避けるために、X,Y交互に行なわれる。 The above operation in order to avoid errors due to interference of surface waves, X, is performed in the Y alternately. 信号波形におけるくぼみ(図2のPa,P Depressions in the signal waveform (Pa in Fig. 2, P
b)の深さをZ座標として、X,Y,Z座標値がセットになって36ms毎に、タッチ位置/押圧検出部23から同時複数タッチ位置判定部24に出力される。 The depth of b) as Z coordinates, X, Y, Z coordinate values ​​for each 36ms in a set, it is outputted from the touch position / press detection unit 23 simultaneously multiple touch position determination section 24.

【0045】Z座標値については、音波の吸収度合が接触面積(すなわち指、あるいは他の柔軟な物質では圧力の関数となる)に比例することを利用して、タッチの圧力すなわちZ軸の値が測定される。 [0045] For Z-coordinate value, by utilizing the fact that the absorption degree of the sound wave is proportional to the contact area (ie a finger or a function of the pressure in the other flexible materials), pressure or Z-axis value of the touch There is measured.

【0046】つぎに、タッチ位置検出部2の動作について述べる。 Next, In operation of the touch position detection unit 2. 送波器制御部21x,yから出力されたパルス波は、タッチパネル1において、タッチ位置に応じて減衰した信号として、受波器制御22x,yに入力される。 Transmitters controller 21x, a pulse wave output from y, in the touch panel 1, as the attenuated signal according to a touch position, receivers control 22x, is inputted to y. 受波器制御部22x,yにおいて、図2に示す信号の包絡線が求められる。 Wave receiver control unit 22x, the y, the envelope of the signal shown in FIG. 2 is obtained.

【0047】タッチ位置/押圧検出部23x,yのコンパレータは、タッチパネル1からの信号とROMにある参照波形とを比較する。 The touch position / press detection unit 23x, the y comparator compares the reference waveform on the signal and ROM from the touch panel 1.

【0048】タッチがあるかどうかを調べるために、コンパレータでは、受波器制御部22x,yからの信号がチェックされる。 [0048] To investigate whether there is a touch, the comparator, the wave receiver control unit 22x, the signal from y are checked. タッチの有無は、タッチの有無を決定するための閾値レベル(通常は、タッチが無いときの参照波形の振幅の10%)を越える受信振幅の減衰があったかどうかで決める。 The presence or absence of touch, a threshold level for determining the presence or absence of a touch (usually 10% of the amplitude of the reference waveform when the touch is not) decide on whether there is attenuation of the received amplitude exceeding. そして、減衰のあった位置をX, Then, a position damping X,
Y軸上のタッチ位置とする。 A touch position on the Y axis.

【0049】X,Y軸座標が確定すると、Z座標も決定される。 [0049] X, the Y-axis coordinate is determined, Z coordinates are also determined. Z座標は、減衰が確認された位置における、信号の減衰量(Pa,Pb)で決定される。 Z coordinates, in the attenuation was confirmed position is determined by the attenuation of the signal (Pa, Pb). なお、減衰量はタッチ場所における接触面積に依存する。 Incidentally, the attenuation is dependent on the contact area at the touch location. 柔らかい物質、たとえば、指などの場合、ガラス1と指との接触面積は、ガラス1を指で押す圧力に比例する。 Soft material, for example, if a finger, the contact area between the glass 1 and the finger is proportional to the pressure to press the glass 1 with a finger. 従って、信号の減衰量(Pa,Pb)は、押圧を表すと考えられるので、以下では、Pa,Pbを押圧とも呼ぶ。 Therefore, attenuation of signals (Pa, Pb), this could be a representative of the press, in the following, also referred to as a pressing Pa, a Pb. なお、Z In addition, Z
座標は16段階で表わされる。 Coordinates is represented by 16 stages.

【0050】なお、参照波形は、タッチパネル1の表面の経時変化を考慮するために、周期的に、タッチが無いときに得られた、タッチパネル1からの信号波形に更新される。 [0050] Note that the reference waveform, in order to take into account the aging of the surface of the touch panel 1, periodically, was obtained when the touch is not, is updated to the signal waveform from the touch panel 1. パネル1の表面の汚れが、検出されたときにもタッチパネル1からの信号波形に更新される。 Dirt on the surface of the panel 1 is updated to the signal waveform from the touch panel 1 even when it is detected. パネルに汚れがあるかどうかは、一定(たとえば2.5s)時間停止しているタッチがあるかどうか、あるいは一定時間以上存在する2個以上の同時タッチがあるかどうかで判断する。 Whether the panel there is dirt, it is determined on whether there is a constant (e.g., 2.5 s) whether there is a touch that time stop, or two or more simultaneous touches that occur more than a predetermined time.

【0051】つぎに、同時複数タッチ位置判定部24の動作について述べる。 Next, In operation of simultaneous multiple touch position determination section 24. 図1に示すタッチ位置Ta、Tb Touch position Ta shown in FIG. 1, Tb
をそれぞれ通過する信号波W2xとW2yは、そのタッチ押圧Pa、Pbに応じ減衰する。 Each signal wave W2x and W2y the passing, the touch pressing Pa, attenuated according to Pb. したがって、受波器14x、14yはタッチ位置Ta、Tbと、そのタッチ押圧Pa、Pbに応じ減衰した信号波を受信することになる。 Therefore, receivers 14x, 14y will receive touch position Ta, and Tb, the touch pressing Pa, the attenuated signal wave corresponding to Pb. 図3は、同時複数タッチ位置判定部24の処理結果を示す。 Figure 3 shows the result of processing multiple simultaneous touch position determination section 24.

【0052】図に示すように、信号波の減衰している位置及び減衰レベルから、X位置X1に押圧Pa、X位置X2に押圧Pbを、Y位置Y1に押圧Pa、Y位置Y2 [0052] As shown, the position and attenuation level is attenuated signal wave, pressing Pa to X position X1, the pressing Pb in the X position X2, pressing the Y position Y1 Pa, Y position Y2
に押圧Pbを検出したという信号を受けた同時複数タッチ位置判定部24は、X検出位置X1、X2、Y検出位置Y1、Y2とその押圧Pa、Pbの組合せ判定により、タッチ位置Ta(X1,Y1)とタッチ位置Tb Simultaneous multiple touch position determination section 24 that has received the signal that it detected a pressure Pb in the, X detecting position X1, X2, Y detection position Y1, Y2 and the pressing Pa, the combination determination of Pb, the touch position Ta (X1, Y1) and the touch position Tb
(X1,Y1)を検出する。 (X1, Y1) to detect. 具体的には、可能な4つの候補位置から、X位置における押圧のレベル(Z座標) Specifically, the four candidate positions possible, the level of pressing in the X position (Z coordinate)
と等しいY位置における押圧のレベルを有する組合せを見つけることである。 It is to find the combination with the levels of pressing at the same Y position when. これにより、X位置におけるタッチ位置(タッチの中心位置)とY位置におけるタッチ位置との対応付けが行え、タッチ位置(X,Y)を検出できる。 Thus, performing correspondence between the touch position at the touch position (touch the center position) and the Y position in the X position can be detected touch position (X, Y).

【0053】検出されたタッチ位置の座標値は、同時にタッチされた位置の個数とともに、外部インタフェース部25を介して、信号線27により外部に送られる。 [0053] coordinates of the detected touch position, along with the number of touched position simultaneously, via the external interface unit 25 is sent through a signal line 27 to the outside. 外部との通信は、RS−232C等で行われる。 Communication with the outside is performed in RS-232C or the like.

【0054】本実施例では、X、Yタッチ位置X1、X [0054] In this embodiment, X, Y touch position X1, X
2、Y1、Y2と、それぞれの位置における押圧Pa、 And 2, Y1, Y2, pressing Pa at each location,
Pbとの組合せ判定による同時複数タッチ検出を説明したが、タッチ位置と押圧との組合せに限るものではない。 It described simultaneous multiple touch detection by the combination determined that Pb is not limited to the combination of the touched position and the pressing. 組合せとしては、タッチ位置と他の1つ以上の組合せ要素との組合せがある。 The combination, there is a combination of a touch position with one or more other combined elements. 例えば、タッチ位置とタッチされた面積との組合せ、および、タッチ位置と押圧と面積との組合せが考えられる。 For example, the combination of the touched position and a touched area, and the combination of the touch position and the pressure and the area is considered. ここで、面積とは、図2におけるHa,Hbを直径とする円の面積をいう。 Here, the area refers to the area of ​​a circle Ha in FIG. 2, the Hb diameter.

【0055】本実施例によれば、指や掌やペンなどによる同時に複数のタッチが行われたときの位置検出を実現できるので、タッチ位置検出装置の機能を向上できる。 [0055] According to this embodiment, the position detection can be realized when a plurality of touch is performed at the same time by a finger or a palm or a pen, can improve the function of the touch position detection device.

【0056】また、本実施例によれば、タッチプレート1を透明なガラスで実現できるので、タッチプレートと表示手段とを一体化したときに前述の従来装置で生じる画質劣化を防止できる。 [0056] Further, according to this embodiment, since the touch plate 1 can be realized with transparent glass, the image quality degradation caused by the conventional apparatus described above can be prevented when integrating the touch plate and the display unit. 従来の感圧方式のタッチプレートの構造は、薄い透明電極を全面にコーティングした2 Structure of the conventional pressure sensitive type touch plate was coated with a thin transparent electrode on the entire surface 2
枚の透明シートを重ねたものである。 In which overlapped the transparent sheets. このため、透明電極はある程度透明度があるが、表面弾性波方式のタッチプレートのガラスに比べると透明度が劣る。 Thus, although the transparent electrode there is some transparency, clarity compared to glass touch plate surface acoustic wave type is poor. したがって、タッチプレートと表示手段とを一体化したときに、 Therefore, when it is integrated with the touch plate and a display means,
感圧方式の表示は表面弾性波方式に比べ見ずらい。 Hesitation without looking compared to the pressure sensitive system of the display surface acoustic wave system.

【0057】また、従来のデジタル方式は、制御線の数が膨大になるという欠点がある。 [0057] Further, conventional digital system, there is a disadvantage that the number of control lines becomes enormous. 具体的には、感圧方式のセンサプレートの構成は、センサプレート上のX/Y Specifically, the configuration of the pressure sensitive type sensor plates, X / Y on the sensor plate
軸のセンシングラインがそのままセンサプレートの制御線となる。 The axis of the sensing line is the control line of the sensor plate as it is. このため、640×480の中精細の表示マトリックスの10分の1程度のセンシングラインマトリックスを実現する場合においても、制御線数が112本と膨大になる。 Therefore, in the case of realizing a one tenth of the sensing line matrix of definition of the display matrix in the 640 × 480 is also the number of control lines is enormous and 112 present.

【0058】これに対し、表面弾性体波方式の制御線は、X/Y軸の送/受波器用が各々2本ずつの計8本でよい。 [0058] In contrast, the control line of the surface elastic wave system, transmission / reception dexterity of X / Y-axis may each eight pieces of two each. 具体的には、表面弾性波方式のセンサプレートの構成は、センサプレート上のX/Y軸のセンシングラインがそのままセンサプレートの制御線となるのではなく、送波器の出す信号波を分波器により分割することでセンシングラインを作り、また、集波器によりセンシングラインを1つにまとめてから、受波器で受けるので、 Specifically, the configuration of the sensor plate of the surface acoustic wave method, sensing line of X / Y-axis on the sensor plate is not directly a control line of the sensor plate, the signal wave out of the wave transmitter demultiplexing It makes sensing lines by dividing the vessel, also, since collectively sensing line to one by Atsumariha device, since received by the wave receiver,
センシングラインマトリックスに依存することなく、X Without depending on the sensing line matrix, X
/Y軸の送/受波器用が各々2本ずつの計8本でよい。 / Feed / reception dexterity of Y axis may each eight pieces of two each.

【0059】本装置は、傷等にも強い。 [0059] The present device, resistant to scratches. タッチパネル上の引っかき傷や、異物もパネルの汚れとして処理され、 Scratches or on the touch panel, the foreign matter is also treated as a contamination of the panel,
新しい参照波形がタッチ位置/押圧検出部に取込まれるからである。 This is because new reference waveform is taken to the touch position / press detection unit.

【0060】本装置の優れている点をまとめると以下のようになる。 [0060] is summarized as follows terms of excellent of the apparatus. (1) 透明性に優れる。 (1) excellent in transparency. (2) ガラス素材で丈夫である。 (2) it is a durable glass material. (3) 脆弱な導電性膜やフィルムを使用していない。 (3) not using a weak conductive film or films. (4) タッチパネルの構造が簡単なため、ディスプレイに簡単に取り付けられる。 (4) Since the structure of the touch panel is easy, it is easily attached to the display. (5) タッチパネルは曲面が可能であるため、ディスプレイに直接取り付け出来る。 (5) touch panel for curved surfaces are possible, it can be attached directly to the display. (6) ノングレア処理も可能である。 (6) non-glare treatment is also possible. (7) パネル製造原価が低い。 (7) panel is a low manufacturing cost.

【0061】本発明の第2の実施例の2次元光センサアレイ方式タッチプレートを用いた同時複数タッチ位置検出装置を、図4〜6により説明する。 [0061] The simultaneous multiple touch position detecting apparatus using a two-dimensional photosensor array touch plate of the second embodiment of the present invention will be described with reference to FIGS. 4-6.

【0062】図4により、同時複数タッチ位置検出装置の構成について説明する。 [0062] The FIG. 4, the configuration of multiple simultaneous touch position detection device.

【0063】図4は、同時複数タッチ位置検出装置のシステム構成を示す。 [0063] Figure 4 shows a system configuration of a simultaneous multiple touch position detection device.

【0064】図において、3は指などがタッチする2次元光センサアレイ方式のタッチプレート、4はタッチ位置検出部である。 [0064] In Figure 3, the touch plate of the two-dimensional photosensor array system such as a finger touches, and 4 a touch position detection unit. Tc、Tdは指などで同時にタッチされている2つの位置を示す。 Tc, Td indicates the two positions are simultaneously touched with a finger. また、35は、ガラスであり、31x、31yは、発光ダイオードからなる、X、 Further, 35 is a glass, 31x, 31y is composed of light emitting diodes, X,
Y位置検出用の発光器群、32x、32yは、光を検出するためのホトダイオード、ホトトランジスタ、または光導電セルからなる、X、Y位置検出用の受光器群である。 Y position emitter group for detection, 32x, 32y are photodiodes for detecting light, consisting of phototransistors or photoconductive cell,, X, and a photo detector group for Y position detection. ここで、図に示したように、発光器群31x、31 Here, as shown in FIG., The light emitting unit group 31x, 31
y、受光器群32x、32yは、タッチプレート3のタッチ面上の辺に、対応する発光器31x,yと受光器3 y, photodetector groups 32x, 32y are the sides of the touch surface of the touch plate 3, the corresponding light emitting unit 31x, y and receiver 3
2x,yの光軸が一致するように設置する。 2x, placed so that the optical axis of the y match. また、41 In addition, 41
x、41yはX、Y位置検出用発光器31x,yの発光を制御する発光器制御部、42x、42yはX、Y位置検出用受光器32x,yからの電気信号を受信して、その信号を増幅する受光器制御部、43x、43yはX、 x, 41y are X, Y position detection light emitter 31x, emitter control unit for controlling light emission of y, 42x, 42y are X, Y position detection light receiver 32x, receives the electric signal from y, the photoreceiver control section for amplifying a signal, 43x, 43y is X,
Y位置検出用のタッチ位置/幅検出部、44は同時複数タッチ位置判定部、45は外部とタッチ位置や制御コマンドなどのやり取りを行う外部インタフェース部である。 Touch position / width detecting section for Y position detection, 44 simultaneous multiple touch position determination section, 45 denotes an external interface unit for exchanging an external touch position and the control commands.

【0065】発光器制御部41xは、発光器群31xの各々と個別に接続されており、発光器群31xの各々を個別に発光させることができる。 [0065] emitter controller 41x is separately with each of the emitter group 31x connection, it is possible to each of the light emitting unit group 31x individually emit light. 発光器制御部41y Emission control part 41y
も、発光器群31yの各々と個別に接続されており、発光器群31yの各々を個別に発光させることができる。 Also are separately with each of the emitter group 31y connection, it is possible to each of the light emitting unit group 31y individually emit light.
受光器制御部42xは、受光器群32xの各々と個別に接続されており、受光器群32xが受光し、電気信号に変換した信号の各々を個別に受信できる。 Photoreceiver controller 42x is connected individually with each of the light receiving unit group 32x, the light receiver unit 32x is received, receive individually each converted signal to an electrical signal. 受光器制御部42yも、受光器群32yの各々と個別に接続されており、受光器群32yが受光し、電気信号に変換した信号の各々を個別に受信できる。 Photoreceiver controller 42y is also connected individually with each of the light receiving unit group 32y, photodetector group 32y is received, receive individually each converted signal to an electrical signal.

【0066】発光器制御部41xと発光器制御部41y [0066] The light-emitting device control section 41x and the light-emitting device control section 41y
は、外部インタフェース部45からのクロック信号46 The clock signal 46 from the external interface unit 45
に基づき、発光器群31xと発光器群31yとが交互に発光を行うように、発光器群31xと発光器群31yと制御する。 Based on, the light emitting unit group 31x and the light emitting unit group 31y is to perform alternately emit light, and controls the light emitter unit 31x and the light emitting unit group 31y. こうして、受光器群32xと受光器群32y In this way, the light-receiving unit group 32x and receiver group 32y
とが混信をしないようにする。 Bet is to avoid the interference. さらに、発光器制御部4 Further, the light emitting device control section 4
1xは、受光器群32xの各々の間で混信が生じないように、発光器群31xの各々を順次発光させる。 1x, as not to cause interference between each of the light receiving unit group 32x, sequentially emit light of each light emitting unit group 31x. 発光器制御部41yも同様な制御を行っている。 Emission control part 41y are subjected to the same control also.

【0067】受光器制御部42xと受光器制御部42y [0067] the receiver control unit 42x and the receiver control unit 42y
は、外部インタフェース部45からのクロック信号46 The clock signal 46 from the external interface unit 45
に基づき、発光器群31xと発光器群31yの各々の発光タイミングにあわせて、受光器群32xと受光器群3 The basis, in accordance with the emission timing of each light emitting unit group 31x and the light emitting unit group 31y, the light receiver unit 32x and the receiver group 3
2yの各々に対応する発光器群31xと発光器群31y Emitter groups 31x and the light emitting unit group 31y corresponding to each of 2y
の各々が発光しているときにのみ、受光器群32xと受光器群32yの各々からの信号を取り込む。 When each is emitting light only, how the signal from each of the light receiving unit group 32x and receiver group 32y. こうして、 In this way,
受光器群32xと受光器群32yとの混信、および受光器群32xと受光器群32yの各々の間での混信が生じないようにする。 So that interference of the light receiver unit 32x and the light receiver unit 32y, and interference between each of the light receiving unit group 32x and receiver unit 32y no.

【0068】図5により、受光器群32x,yにより受光される光の状態について説明する。 [0068] The FIG. 5, the light receiving unit group 32x, the state of the light received by y will be described.

【0069】図5は、受光器群32x,yにより受光される光の状態を示す。 [0069] Figure 5 shows the state of light received the photodetector group 32x, the y. 図5では、例えば、X1の位置にある受光器32xに入る光が遮蔽されたときは、受光器32の間隔hに相当する幅hの領域で光が遮蔽されたとしている。 In Figure 5, for example, when the light entering the light receiver 32x at the position of X1 is shielded, and the light is shielded by the region of width h, which corresponds to the distance h of the light receiver 32.

【0070】図に示したように、発光器31x 1〜5 [0070] As shown in FIG., The light emitting device 31x 1 to 5,
31y 1〜5のおのおのが発光する信号光Lx 1〜5 、L Signal light Lx 1 to 5 in which each 31y 1 to 5 emits light, L
1〜5を、対向する受光器32x 1〜5 、32y 1〜5 photodetector 32x 1 to 5 for the y 1 to 5, opposite, 32y 1 to 5
のおのおのが受光する。 Each is to receive of.

【0071】ここで、タッチ位置Tc、Tdをそれぞれ通過する信号光Lx 1〜3 、Ly 1〜3 、及び、Lx 5とLy 5は、遮光される。 [0071] Here, the signal light Lx 1 to 3 passing through the touch position Tc, the Td respectively, Ly 1 to 3 and,, Lx 5 and Ly 5 is blocked. したがって、受光器32x Therefore, the receiver 32x
1〜5 、32y 1〜5はタッチ位置Tc、Tdと、そのタッチ幅Wc、Wdに応じ遮光された信号光を受光することになる。 1 to 5, 32y 1 to 5 touch position Tc, and Td, the touch width Wc, will receive the signal light shielding according to Wd.

【0072】図6により、タッチ位置検出部4の処理の流れを説明する。 [0072] The FIG. 6, illustrating a process flow of the touch position detection unit 4.

【0073】図6は、タッチ位置検出部4の各部の処理結果を示す。 [0073] Figure 6 shows the respective parts of the processing result of the touch position detection unit 4.

【0074】図に示したように、受光器31x 1〜5 [0074] As shown in FIG., The light receiver 31x 1 to 5,
31y 1〜5が受信した信号光Lx 1〜5 、Ly 1〜5を受けたタッチ位置/幅検出部43x、43yは、それぞれ、受光器31x 1〜5 、31y 1〜5からの信号により、遮光されている受光器31x 1〜5 、31y 1〜5がどれであるかを判断する。 Signal light Lx 1 to 5 which 31y 1 to 5 receives the touch position received a Ly 1 to 5 / width detecting section 43x, 43y, respectively, the light receiver 31x 1 to 5, a signal from 31y 1 to 5, photodetector 31x 1 to 5, which is shielded from light, to determine whether 31y 1 to 5 is which. その結果、位置X2に幅W As a result, the width W to the position X2
c、位置X5に押幅Wdを有する物体を検知する。 c, it detects an object having a 押幅 Wd to position X5. 位置Y2に幅Wc、位置Y5に幅Wdを有する物体を検知する。 Width Wc at a position Y2, detects an object having a width Wd in position Y5. 幅は、(連続して遮光されている受光器31の数) Width (the number of the light receiver 31 which is shielded in succession)
×hとして求める。 × obtained as h. 位置X2は、幅Wcから、位置X5 Position X2 from the width Wc, the position X5
は幅Wdから、位置Y2は幅Wcから、位置Y5は幅W From the width Wd, position Y2 from the width Wc, position Y5 the width W
dから、それぞれの幅の中心に存在する受光器31の位置として求める。 From d, determined as the position of the photodetector 31 that is present at the center of each width. 偶数個の受光器31が遮光されている場合は、中心位置にある2つの受光器31の中間の位置として求める。 If an even number of the light receiver 31 is blinded, obtained as an intermediate position of the two light receivers 31 in the center position.

【0075】幅および位置の情報を受けた同時複数タッチ位置判定部44は、X検出位置X2、X5、Y検出位置Y2、Y5とその幅Wc、Wdの組合せ判定により、 [0075] Simultaneous multiple touch position determination section 44 that has received the information of the width and position, X detecting position X2, X5, Y detection position Y2, Y5 and the width Wc, the combination determination Wd,
タッチ位置Tc(X2,Y2)、タッチ位置Td(X Touch position Tc (X2, Y2), the touch position Td (X
5,Y5)を検出する。 5, Y5) to detect. 具体的には、可能な4つの候補位置((X2,Y2),(X2,Y5),(X5,Y Specifically, the four possible candidate position ((X2, Y2), (X2, Y5), (X5, Y
2),(X5,X5))から、X位置におけるタッチ幅と等しいY位置におけるタッチ幅を有する組合せを見つける。 2), (X5, from X5)), you find a combination with a touch width of the touch width equal to Y position in the X position. この条件を満たすものとして、(X2,Y2), As this condition is satisfied, (X2, Y2),
(X5,X5)の2つが選ばれる。 (X5, X5) of the two are selected. こうして、X位置におけるタッチ位置(タッチの中心位置)とY位置におけるタッチ位置との対応付けが行え、タッチ位置(X, Thus, performing correspondence between the touch position at the touch position (touch the center position) and the Y position in the X position, the touch position (X,
Y)を検出できる。 Y) can detect.

【0076】本実施例では、発光器群31および受光器群32の各々は順次、時分割で動作させることとしたが、これに限られるものではなく、発光器群31の各々にレンズを装着し、出射する光を細いビームの平行光とすれば、受光器群32の間での混信が防げる。 [0076] In this embodiment, each light emitting unit group 31 and the light receiver unit 32 sequentially, it is assumed that to operate in time division is not limited to this, mounting the lens on each of the emitter group 31 and, if the emitted light with a narrow beam of parallel light, prevent the interference between the light receiving device groups 32. このため、発光器群31および受光器群32の各々を時分割で動作させる必要はなく、同時に動作させることができる。 Therefore, it is not necessary to operate in time division each light emitting unit group 31 and the light receiver unit 32 can be operated simultaneously. この結果、発光器制御部41および受光器制御部4 As a result, the light emitting device control unit 41 and the light receiver control unit 4
2において、時分割制御の回路が不要となるため、発光器制御部41および受光器制御部42の構成を簡略化することができる。 In 2, since the circuit of the time-sharing control is not required, it is possible to simplify the structure of the light emitter controller 41 and the light receiver control unit 42.

【0077】また、本実施例では、発光素子および受光素子の数が5つである、5×5のマトリックスにおける同時複数タッチ位置検出を説明したが、マトリックスの構成はこれに限るものではない。 [0077] Further, in this embodiment, the number of the light emitting element and the light receiving element is five, have been described simultaneous multiple touch position detection in the matrix of 5 × 5, construction of the matrix is ​​not limited thereto. 具体的な製品としては、例えば外形寸法が横約230ミリ、縦約156ミリ、発光器の間隔が約3ミリ、発光器と受光器の数が、 Specific products, such as about 230 millimeters outer dimensions horizontal, vertical about 156 mm spacing of about 3 mm emitters, the number of emitter and receiver,
横に約60個、縦に約35個の物も考えられる。 About 60 next, also conceivable to about 35 objects vertically.

【0078】本実施例によれば、指や掌やペンなどによる、同時に複数のタッチが行われたときのタッチ位置検出が可能であるので、タッチ位置検出装置の機能を向上できる。 [0078] According to this embodiment, by a finger or a palm or a pen, so it is possible to touch location detection when multiple touches were made simultaneously, can improve the function of the touch position detection device.

【0079】また、本実施例によれば、タッチプレート3を内側が空いた額縁形状で実現できるので、タッチプレートと表示手段とを一体化したときに従来装置で生じる画質劣化を防止できる。 [0079] Further, according to this embodiment, it is possible to realize a touch plate 3 in the frame shape inside empty, it is possible to prevent image quality degradation caused by the conventional device when integrating the touch plate and the display unit. 従来の感圧方式のタッチプレートの構造は、薄い透明電極を全面にコーティングした2枚の透明シートを重ねたものである。 Structure of the conventional pressure sensitive type touch plate is obtained by overlapping two sheets of transparent sheet coated with a thin transparent electrode on the entire surface. このため、透明電極はある程度透明度があるが、額縁だけで内側に光を妨げる物が何もない2次元光センサアレイ方式のタッチプレートに比べると透明度が劣る。 Thus, although the transparent electrode is somewhat transparent, the frame only transparency than the touch plate of the two-dimensional photosensor array type ones nothing prevents the light is inferior to the inner. したがって、タッチプレートと表示手段とを一体化したときに、感圧方式の表示は2次元光センサアレイ方式に比べ見ずらい。 Therefore, when integrating the touch plate and the display unit, the display of the pressure sensitive system is hesitation not seen compared with the two-dimensional photosensor array scheme.

【0080】本発明の第3の実施例の2次元映像カメラ方式タッチプレートを用いた同時複数タッチ位置検出装置を、図7、8により説明する。 [0080] The simultaneous multiple touch position detecting apparatus using the two-dimensional image camera touch plate of the third embodiment of the present invention will be described with reference to FIGS.

【0081】図7により、同時複数タッチ位置検出装置の構成について説明する。 [0081] The FIG. 7, the configuration of multiple simultaneous touch position detection device.

【0082】図7は、同時複数タッチ位置検出装置のシステム概略構成を示す。 [0082] Figure 7 shows a schematic system configuration of a simultaneous multiple touch position detection device.

【0083】図において、5は指などがタッチする2次元映像カメラ方式のタッチプレート、6はタッチ位置検出部である。 [0083] In FIG, 5 is a touch plate 2D video camera system such as a finger touches, and 6 a touch position detection unit. Te、Tfは指などで同時にタッチしている2つの位置を示す。 Te, Tf denotes the two positions are simultaneously touched with a finger. また、52は、ガラスである。 Further, 52 is glass. 5
1x、51yはX、Y位置検出用のビデオカメラである。 1x, 51 y is X, a video camera for Y position detection. カメラ51xは、X方向の範囲を撮影し、カメラ5 Camera 51x captures the range of the X direction, the camera 5
1yは、Y方向の範囲を撮影する。 1y photographs a range in the Y direction. ここで、図に示したように、カメラ51x、51yはタッチプレート5のタッチ面上の辺に設置する。 Here, as shown in FIG, camera 51x, 51 y are placed side on the touch surface of the touch plate 5. 53x,yは、カメラ51 53x, y is, the camera 51
x,yに対向して設けられた高さHの衝立である。 x, it is the screen height H provided opposite to y. 衝立53x,yは、衝立53x,yの後方がカメラ51x, Screen 53x, y is, screen 53x, the rear of the y camera 51x,
yにより撮影されないようにすることにより、タッチ位置/幅検出部62x,yがタッチ位置/幅を検出するときに、指の位置等を検出しやすくするために、設けられたものである。 By not captured by y, the touch position / width detecting section 62x, when y is to detect the touch position / width, in order to facilitate detecting the position of the finger, and is provided. 衝立53x,yのカメラ51x,yに対向する面は、指の位置が認識しやすいように指とのコントラストを高くするために、白色になっている。 Partition 53x, y of the camera 51x, surface facing the y, in order to position the finger to increase the contrast between the finger for easy recognition, and is white.

【0084】また、61x、61yはX、Y位置検出用カメラの撮像を制御するカメラ制御部、62x、62y [0084] Further, 61x, 61y camera control section for controlling X, the imaging of the Y position detection camera, 62x, 62y
はX、Y位置検出用のタッチ位置/幅検出部、63は同時複数タッチ位置判定部、64は外部とタッチ位置や制御コマンドなどのやり取りを行う外部インタフェース部である。 It is X, the touch position / width detecting section for Y position detection, 63 simultaneous multiple touch position determination section, 64 denotes an external interface unit for exchanging an external touch position and the control commands.

【0085】カメラ制御部61は、3フレームごとに、 [0085] The camera control unit 61, every three frames,
1フレーム分のカメラ51からの映像信号を画素ごとにデジタル信号に変換して、RAMに格納し、格納したデータをタッチ位置/幅検出部62x,yに出力する。 It converts the video signal from one frame of the camera 51 into a digital signal for each pixel, stored in the RAM, and outputs the stored data touched position / width detecting section 62x, to y.

【0086】図8により、カメラ51x、51yの撮像した映像の処理方法について説明する。 [0086] The Figure 8, the camera 51x, the processing method of the video imaged in 51y will be described.

【0087】図8は、カメラ51x、51yの撮像した映像を示す。 [0087] Figure 8 shows a camera 51x, the picked-up image 51 y.

【0088】図に示したように、タッチ位置Te、Tf [0088] As shown in FIG touch position Te, Tf
にそれぞれ指が存在する。 Each there is a finger to. したがって、カメラ51x、 Therefore, the camera 51x,
51yは、それぞれ、2本の指を映像Vx、Vy(高さHの映像)として撮像することになる。 51y, respectively, so that imaging the two fingers image Vx, as Vy (image height H). カメラの撮影する映像全体は、映像Vx、Vyよりも高さ方向にさらに高いものであるが、タッチ位置/幅検出部62x,y Overall image to be photographed of cameras, video Vx, but those higher in the height direction than Vy, the touch position / width detecting section 62x, y
は、カメラ制御部61x,yから図に示す映像Vx,V The video shows the camera control unit 61x, the y in FIG Vx, V
yの部分のみの画素データを受け取る。 Receive pixel data of only the portion of y.

【0089】カメラ51x、51yが撮像した映像V [0089] camera 51x, the video V that 51y is captured
x、Vyを受けたタッチ位置/幅検出部62x、62y x, the touch position / width detecting section 62x which received the Vy, 62y
は、それぞれ、その指の位置及び幅から、位置X1に幅We、位置X2に押幅Wfを、位置Y1に幅We、位置Y2に幅Weを検出する。 Respectively, from the position and width of the finger, the width at the position X1 We, the 押幅 Wf to the position X2, the width at the position Y1 We, detects the width We to position Y2. このために、タッチ位置/幅検出部62x、62yは、カメラ制御部61x,yからの画素データのうち、ガラス52面からの高さがh(一定値である)の位置にある走査線上の画素データから指を認識する。 For this, the touch position / width detecting section 62x, 62y, the camera control unit 61x, among pixel data from y, the height from 52 surface glass h scanning lines at position (which is a constant value) It recognizes the finger from the pixel data. 認識は、この走査線上の画素データの明度を調べ、背景の白色よりも閾値だけ、明るさが低下している画素が、指を表す画素であるとする。 Recognition examines the brightness of the pixel data of the scanning line, only the white threshold than the background, the pixel brightness is reduced, and the pixel representing the finger. この画素の連続している数から、指の幅を求める。 Several to be consecutive in the pixels, determine the width of the finger. 幅の中心の位置から指のある位置のX,Y座標を決定する。 X position with the finger from the position of the center of the width, determines the Y coordinate.

【0090】指の位置の座標値と幅の情報を受けた同時複数タッチ位置判定部63は、第2の実施例と同様にして、X検出位置X1、X2、Y検出位置Y1、Y2とその幅We、Wfの組合せ判定により、タッチ位置Te [0090] Simultaneous multiple touch position determining unit 63 which has received the information of the coordinate values ​​and the width of the position of the finger, as in the second embodiment embodiments, X detecting position X1, X2, Y detection position Y1, Y2 and its width We, the combination determining Wf, the touch position Te
(X1,Y1)、タッチ位置Tf(X1,Y2)を検出する。 (X1, Y1), to detect a touch position Tf (X1, Y2).

【0091】本実施例では、X、Yタッチ位置X1、X [0091] In this embodiment, X, Y touch position X1, X
2、Y1、Y2と、それぞれの位置における幅We、W 2, Y1, and Y2, the width at each location We, W
fとの組合せ判定による同時複数タッチ検出を説明したが、タッチ位置と幅との組合せに限るものではない。 It described simultaneous multiple touch detection by the combination determining that f, but not limited to the combination of the touched position and width. 指の形状、色を考慮して判定してもよい。 The shape of the finger may be determined in consideration of the color.

【0092】また、カメラ51x、51yの設置位置をタッチプレート5のタッチ面上の辺の任意の位置で説明したが、この位置に限るものではない。 [0092] The camera 51x, has been described at an arbitrary position of the sides on the touch surface of the touch plate 5 the installation position of 51 y, not limited to this position. タッチプレート5の辺からはなれた位置としてもよい。 It may be a position away from the side of the touch plate 5.

【0093】また、カメラ制御部61は、焦点距離を順次変える指示をカメラ51に送り、焦点距離ごとに撮影をカメラ51に行わせてもよい。 [0093] Further, the camera control unit 61 transmits an instruction to change the focal length sequentially to the camera 51, may be made a shot every focal length to the camera 51. この時は、指の幅および位置を決定する差異に、焦点距離の情報を考慮して、 At this time, the difference to determine the width and position of the finger, in consideration of the focal length information,
走査線上の画素の位置を指の位置に変換することができる。 The position of a pixel on a scanning line can be converted to the position of the finger.

【0094】なお、カメラとしては、通常のビデオカメラを用いることが可能であるが、カメラをできるだけ横長で、カメラの高さ方向の長さが小さい薄型のカメラにすることが、タッチパネル全体の小型化のためには、好ましい。 [0094] As the camera, it is possible to use a conventional video camera, camera as much as possible Horizontal and that the length of the camera in the height direction is small thin camera, the entire touch panel small for the sake of reduction is preferred.

【0095】本実施例によれば、指や掌やペンなどの同時複数タッチ位置検出を実現できるので、タッチ位置検出装置の機能を向上できる。 [0095] According to this embodiment, it is possible to realize a simultaneous multiple touch position detection, such as a finger or a palm or a pen, can improve the function of the touch position detection device.

【0096】また、本実施例によれば、タッチプレート5を内側が空いた額縁形状で実現できるので、表示一体化における画質劣化を防止できる。 [0096] Further, according to this embodiment, it is possible to realize a touch plate 5 in the frame shape inside empty, it is possible to prevent the image quality deterioration in a display integrated.

【0097】以上述べてきた第1〜第3の3つの同時複数タッチ位置検出装置の実施例においては、同時に2箇所をタッチしたときに、2つのタッチ位置を検出する方法について説明したが、同時に3箇所以上をタッチするときも同様である。 [0097] In the embodiment described above described first to third has three simultaneous multiple touch position detecting apparatus, when the user touches the two points at the same time, has been described a method of detecting two touch positions, at the same time the same applies when touching three or more. また、同時に複数の位置をタッチするための道具については、指の場合について述べてきたが、指や掌やペン等でももちろんよい。 At the same time for the tool to touch multiple locations, have been described for the case of a finger, it is of course possible with a finger and palm or a pen. 指や掌やペンなどの複数種類の道具を混用してもよい。 A plurality of types of tools, such as a finger or a palm or a pen may be used together.

【0098】以下、本発明の第4の実施例である同時複数タッチ指示処理装置を説明する。 [0098] Hereinafter will be described a simultaneous multiple touches instruction processing apparatus according to a fourth embodiment of the present invention.

【0099】まず、図9により、表面弾性波方式タッチプレートを用いた同時複数タッチ位置検出装置を表示装置と一体化した同時複数タッチ指示処理装置について説明する。 [0099] First, FIG. 9, for simultaneous multiple touches instruction processing unit with integrated simultaneous multiple touch position detecting device using a surface acoustic wave type touch plate display device as will be described.

【0100】図9は、同時複数タッチ指示処理装置の構成を示す。 [0100] Figure 9 shows a configuration of a simultaneous multiple touches instruction processing apparatus.

【0101】図において、7は表面弾性波方式タッチプレートを用いた同時複数タッチ位置検出装置、8は液晶ディスプレイを用いた表示装置、9は情報処理装置、1 In [0102] FIG, 7 is simultaneously multiple touch position detection device using a surface acoustic wave touch plate, the display device 8 using a liquid crystal display, 9 denotes an information processing apparatus, 1
0は、スピーカである。 0 is a speaker. 同時複数タッチ位置検出装置7 Simultaneous multiple touch position detecting device 7
は、情報処理装置9に対して、検出したタッチ位置の個数とタッチ位置のX,Y座標を出力する。 , To the information processing apparatus 9, X number and touch position of the detected touch position, and outputs the Y-coordinate. また、91は情報処理を行うMPU、92は、後述するワープロ、ピアノ、サッカー、終了処理等の処理を行うための情報処理プログラムを格納する、ROMであるメモリ、94 Further, 91 MPU, 92 for performing information processing stores the information processing program for performing word processing to be described later, a piano, football, the processing termination processing such as memory is ROM, 94
は、RAMであるメモリ、93は、音声出力部、96 Is, the memory is RAM, 93, the audio output unit, 96
は、インタフェース部、95は、バスである。 Is, the interface unit, 95 is a bus. ここで、 here,
図に示したように、同時複数タッチ位置検出装置8と表示装置9は一体化されている。 As illustrated, the display device 9 and the simultaneous multiple touch position detection device 8 are integrated. スピーカ10は、MPU Speaker 10, MPU
91の指示を受けて音声出力部93が出力する信号により、警告音や音楽を出力する。 The signal output by the audio output unit 93 receives an instruction 91, and outputs a warning sound or music.

【0102】以下説明する本発明の第4の実施例においては、電源をオンすると、図20に示すメニュー画面が表示され、ワープロ、ピアノ(仮想ピアノ)、サッカー、終了のいずれかを選択することができる。 [0102] In a fourth embodiment of the present invention to be described below, when powered on, to display the menu screen shown in FIG. 20, a word processor, piano (virtual piano), soccer, selecting one of the ends can. 図20 Figure 20
は、本発明に係る同時複数タッチ位置検出装置7と一体化した表示装置8に表示される。 It is displayed on the display device 8 which is integrated with multiple simultaneous touch position detection device 7 according to the present invention. 画面をタッチすることにより、選択することができる。 By touching the screen can be selected.

【0103】そして、選択された各処理においては、同時複数タッチ位置検出装置8から得られる、同時にタッチされた複数のタッチ位置情報を受けたMPU91が、 [0103] In each process selected is obtained from multiple simultaneous touch position detection device 8, the MPU91 which receives a plurality of touch position information simultaneously touched,
メモリ92、94内に格納した情報処理プログラムに従って、同時複数タッチ操作に対応した情報処理を行う。 According information processing program stored in the memory 92, performs processing corresponding to the multiple simultaneous touch operation.

【0104】本発明の第4の実施例の内、仮想キーボードを用いたワープロの情報処理を、図10〜12により説明する。 [0104] Of the fourth embodiment of the present invention, an information processing word processor using a virtual keyboard is described by Figures 10-12. 以下では、文章の入力または編集を行う場合の情報処理について述べる。 The following describes the processing of the case of performing the input or edit text. 本処理では、図9の同時複数タッチ指示処理装置をワープロとして用いている。 In this process, it uses a simultaneous multiple touches instruction processing unit of FIG. 9 as a word processor. このワープロでは、表示装置に仮想キーボードが表示されており、この仮想キーボードに対して入力編集操作を行うことができ、情報処理装置9は、この操作に従って、 This word processor, display the virtual keyboard is displayed on the, can be input editing operation on the virtual keyboard, the information processing apparatus 9, in accordance with this operation,
文章の入力、編集処理を行うものである。 Sentence of input, and performs the editing process.

【0105】図10により、同時複数タッチ位置検出装置7と一体化した表示装置8における情報処理用表示画面を説明する。 [0105] The FIG. 10, for explaining the information processing display screen of the display device 8 which is integrated with multiple simultaneous touch position detection device 7.

【0106】図10は、仮想キーボードを用いたワープロにおける表示画面を示す。 [0106] Figure 10 shows a display screen in the word processor using a virtual keyboard. この画面を表示するためには、ユーザは、情報処理装置の電源をいれた後に表示される図20のメニュー画面において、メニューの1つとして表示されているワープロを選択することにより、図10の画面の仮想キーボードおよび文章が表示される。 To display this screen, the user, the menu screen of FIG. 20 to be displayed after the power to the information processing apparatus, by selecting the word processor which is displayed as one of the menus, in FIG. 10 virtual keyboard and text on the screen is displayed.

【0107】図において、811は仮想キーボード、8 [0107] In Figure, 811 is a virtual keyboard, 8
12は文章である。 12 is a sentence. 仮想キーボード811を表示する領域と文章812を表示する領域は、図のように決められている。 Area for displaying the region and text 812 to display the virtual keyboard 811, are determined as shown in FIG. タッチ位置検出装置7が出力するタッチ位置のうちこれらの領域に入るかどうかの情報が後述のように必要なため、メモリ92は、これらの領域をタッチ位置検出装置7の座標系で表したテーブル923を有する。 For information whether to enter these areas of the touch position touched position detecting device 7 is output is required, as described below, the memory 92 are expressed these regions in the touch position detection device 7 coordinate system of the table with a 923.
図10は、文章812の入力がすでにいくらかされている状態を示す。 Figure 10 shows a state in which the input sentence 812 is already somewhat.

【0108】仮想キーボード上でタッチが行われると、 [0108] When the touch on the virtual keyboard is carried out,
そのタッチ位置は、仮想キーボード811のキーを情報処理装置内で識別するためのキーコードに変換される。 The touch position is converted to a key of the virtual keyboard 811 on the key code for identifying in the information processing apparatus.
図9のメモリ92は、この変換のための、タッチ位置とキーコードとの対応テーブル921を有する。 Memory 92 in FIG. 9, for this conversion, with a correspondence table 921 of the touch position and the key code. 仮想キーボード811上のキーは、ある大きさで表示されているため、タッチ位置はその大きさに応じた幅を持っており、上記テーブル921は、タッチ位置としてキーコードに対応させて、キーコードごとに許容される幅の情報も有する。 The keys on the virtual keyboard 811, which are presented in a certain size, the touch position has a width corresponding to the size, the table 921, corresponding to the key code as a touch position, a key code also has information of acceptable width each. さらに、メモリ92は、このキーコードを、 In addition, the memory 92, the key code,
文字または記号を情報処理装置内で識別するための文字キーコードに変換するための、タッチ位置と文字キーコードとの対応テーブル922をも有する。 For converting the character or symbol to a character key code for identifying in the information processing apparatus also has a correspondence table 922 of the touch position and the character key codes. また、仮想キーボード811上のシフトキーと文字キーが同時に押されていたときに、文字コードをシフト文字キーコードに変換するためのテーブル924を有する。 Further, when the shift key and letter keys on the virtual keyboard 811 has been pressed at the same time, it has a table 924 for converting the character codes in the shift character key codes.

【0109】メモリ92は、文章812上でタッチが行われると、そのタッチ位置を文章812の文字位置に変換するための、タッチ位置と文字指示位置との対応テーブル925を有する。 [0109] Memory 92 includes a touch is made on the text 812, for converting the touch position in the character position of a sentence 812, the correspondence table 925 between the touch position and the character indication position. 文章812の文字位置とは、表示されている文章812における行番号及びカラム番号であり、何行目の何カラム目の文字であるかを示すものである。 The character position of a sentence 812, a row number and column number in the text 812 is displayed, showing how many column-th character in the line number. 文章812の1文字は、ある大きさで表示されているため、タッチ位置はその大きさに応じた幅を持っており、上記テーブル925は、許容される幅の情報も有する。 1 character text 812, which are presented in a certain size, the touch position has a width corresponding to the size, the table 925 also has information of acceptable width.

【0110】図11により、仮想キーボード811を用いた文章入力のための情報処理の流れを説明する。 [0110] The FIG. 11, the flow of the information processing for text input using a virtual keyboard 811.

【0111】図11は、上記文章入力のための情報処理のうち、仮想キーボード811のシフトキーのある位置がタッチされたかどうかを検知して、処理をする部分のフローを示す。 [0111] Figure 11, of the information processing for the text input, a flow of a portion position with shift key of the virtual keyboard 811 detects whether it has been touched, the process. 以下では、情報処理装置の電源がオンになり、メニューが表示され、メニュー内のワープロが選択されたとする。 In the following, the power supply of the information processing apparatus is turned on, the menu is displayed, the word processing in the menu is selected.

【0112】ステップ1101:MPU9は、メニュー内のワープロが選択されたため、表示装置8に、仮想キーボード811を表示する。 [0112] Step 1101: MPU 9, since the word processor in the menu is selected, the display unit 8 to display the virtual keyboard 811.

【0113】ステップ1102:MPU9は、同時複数タッチ位置検出装置7から、1または2以上のタッチ位置を取得する。 [0113] Step 1102: MPU 9 from simultaneous multiple touch position detection device 7 acquires one or more touch positions.

【0114】ステップ1103:MPU9は、これらのタッチ位置が仮想キーボード811上であるか否かをテーブル923により判定し、仮想キーボード811上の場合ステップ1104に進み、そうでない場合は処理を終了する。 [0114] Step 1103: MPU 9, these touch position whether the virtual keyboard 811 is determined by the table 923, the process proceeds when step 1104 on a virtual keyboard 811, otherwise the process ends.

【0115】ステップ1104:MPU9は、取得したタッチ位置を、テーブル921により仮想キーボード8 [0115] Step 1104: MPU 9 the acquired touch position, the virtual keyboard 8 by the table 921
11のキーコードに変換する。 Converted into 11 key code. この時に、タッチ位置が仮想キーボード811上のいずれのキーの位置にも該当しない場合は、タッチ位置がキー以外の部分にあるため、ステップ1102に進み、再度タッチ位置の取得を行う。 At this time, when the touch position does not correspond to the position of any key on the virtual keyboard 811, because the touch position is in the portion other than the key, the process proceeds to step 1102, and acquires the touch position again.

【0116】ステップ1105:MPU9は、テーブル922によりキーコードから、文字キーコードを取得する。 [0116] step 1105: MPU9 is, from the key code by the table 922, to get the character key code.

【0117】ステップ1106:MPU9は、複数のタッチ位置を取得した場合に、複数のキーコードの中に、 [0117] step 1106: MPU9 is, in the case of obtaining a plurality of touch position, in a plurality of key code,
シフトキーに対応したシフトキーコードがあるか否かを判定し、シフトキーコードがある場合はステップ110 Determines whether there is a shift key code corresponding to the shift key, if there is a shift key code step 110
7に進み、そうでない場合はステップ1108に進む。 Proceed to 7. If not, the process proceeds to step 1108.

【0118】ステップ1107:MPU9は、文字コードをテーブル924によりシフト文字キーコードに変換する。 [0118] step 1107: MPU9 converts the character code by the table 924 to the shift character key code.

【0119】ステップ1108:MPU9は、文字キーコードまたは、シフト文字キーコードを表示装置8に出力する。 [0119] Step 1108: MPU 9 is the character key code or outputs a shift character key codes on the display device 8. 表示装置は、文章812の文章の最後の位置8 Display device, the last position of the sentence of sentence 812 8
121に文字キーコードまたはシフト文字キーコードで指定された文字を表示する。 121 to display the character specified by the character key code or shift character keycode.

【0120】図11の処理につづいて行われる、文章8 [0120] it is carried out following the process of FIG. 11, sentence 8
12の領域でタッチが行われたかどうかを判断する処理およびタッチが行われたと判断したときの処理の流れを、図12により説明する。 The flow of processing when the processing and touch touch 12 regions of determining whether or not made was determined to have been performed, will be described with reference to FIG.

【0121】図12は、文章812の領域でのタッチに関する処理のフローを示す。 [0121] Figure 12 shows a flow of processing relating to a touch in the area of ​​text 812. この処理は、文章812上で、ワープロにおける複写、移動及び削除などの編集操作の対象範囲が指定されたとき、例えば、複数文字の削除を行う場合、削除対象の複数文字が指定されたときに、削除のための範囲指定が行われたかどうかを判定し、範囲指定が行われているときは、範囲を判定して、 This process is on the text 812, a copy of the word processor, when the target range of the editing operations such as move and delete is specified, for example, when deleting multiple characters, when multiple characters deleted is designated , to determine whether the range specified for deletion is performed, when the range specification is performed, to determine the range,
次の段階の処理(この場合は削除処理)にこの範囲を送るための処理である。 Processing of the next step (in this case, deletion processing) is processing for sending this range. なお、タッチ位置は、図11のステップ1101ですでに入手されているため、タッチ位置を入手するステップは、図12にはない。 Incidentally, the touch position, because it has already been obtained in step 1101 of FIG. 11, the step of obtaining the touch position is not in FIG. 12.

【0122】ステップ1201:取得した1または2以上のタッチ位置のすべてがが文章812上であるか否かをテーブル923により判定し、文章812上の場合ステップ1202に進み、そうでない場合は処理を終了する。 [0122] Step 1201: All of the acquired one or more touch positions is determined whether the on sentence 812 by the table 923, the process proceeds when step 1202 on sentences 812, the otherwise processing finish.

【0123】ステップ1202:タッチ位置を、テーブル925により、文章812の文字位置に変換する。 [0123] step 1202: the touch position, by the table 925, is converted into a character position of the text 812.

【0124】ステップ1203:タッチ位置検出装置7 [0124] step 1203: the touch position detecting device 7
から複数の文字位置が送られており、それらがいずれも文章812の領域である場合は、文字位置が2つ以上(すなわち、文章812上の複数の位置でタッチがされている)であるので、ステップ1204に進み、そうでない場合は処理を終了する。 A plurality of character positions is sent from, if they are both an area of ​​a sentence 812, the character position is two or more (i.e., a touch at a plurality of locations on the sentence 812 is) are the , the process proceeds to step 1204, otherwise, the process is terminated.

【0125】ステップ1204:2つ以上の文字位置で囲まれる範囲の複数文字を決定し、処理を終了する。 [0125] Step 1204: determining a plurality character range surrounded by two or more character positions, the process ends.

【0126】本処理では、仮想キーボード811のシフトキー併用処理について説明したが、シフトキーに限るものではない。 [0126] In the present process, has been described shift key combination treatment of the virtual keyboard 811, the present invention is not limited to the shift key. 他のキー、例えば、コントロールキー併用処理についても適用できる。 Other keys, for example, can be applied for the control keys combined treatment. また、文章812の範囲指定処理について説明したが、文章に限るものではない。 In addition, has been described range specified processing of text 812, the present invention is not limited to the sentence. 図形を対象にすることも可能である。 It is also possible to target figure.

【0127】また、本処理では、ワープロとしての情報処理、たとえば、削除処理の詳細については説明しなかったが、公知の技術で実現できる。 [0127] Further, in the present process, the information processing as a word processor, for example, did not discuss the details of the deletion process can be realized by known techniques.

【0128】本処理によれば、指や掌やペンで行われた同時複数タッチ操作による指示を処理できるので、タッチ指示処理装置の操作性を向上できる。 According to [0128] This process, it is possible to process the instruction by simultaneous multiple touch operation performed by a finger or a palm or a pen, thereby improving the operability of the touch instruction processing apparatus. ここで、同時複数タッチ操作による指示とは、例えば、図10の文字キーとシフトキーとの組合せにより、入力文字を大文字あるいは小文字として指示することをいう。 Here, the instruction by the simultaneous multiple touch operation, for example, by the combination of the character keys and the shift key 10 refers to instruct the input character as uppercase or lowercase. 本装置は、単一のキーにより行われる指示ももちろん処理できる。 The apparatus instructs may of course processing performed by a single key.

【0129】また、本処理によれば、文章812の範囲指定などの操作において複数操作を必要とするものを1 [0129] Further, according to the present process, those that require multiple operations in the operation, such as in the range specified text 812 1
度の操作で実現できるので、仮想キーボード811を用いたワープロにおいて、操作性を向上できる。 Can be realized by operating the time, in a word processor using a virtual keyboard 811, the operability can be improved.

【0130】次に、仮想ピアノを用いたピアノの演奏を、図13、図14により説明する。 [0130] Next, the piano using virtual piano, 13, will be described with reference to FIG. 14. 本処理では、図9 In this process, FIG. 9
の同時複数タッチ指示処理装置をピアノとして用いている。 It is used simultaneously multiple touched processing apparatus as a piano. この処理では、表示装置に仮想ピアノ821と楽譜822とが表示されており、楽譜822に従い、仮想ピアノ821をタッチ操作することで、仮想ピアノに対して演奏操作を行うことができる。 In this process, the display device are displayed a virtual piano 821 and score 822 in accordance with the score 822, by touching a virtual piano 821, it is possible to perform the performance operation to the virtual piano. 情報処理装置9は、この操作に従って、音声出力部93を介してスピーカに音信号を送る。 The information processing apparatus 9 in accordance with this operation, and sends the sound signal to the speaker through the audio output unit 93.

【0131】図13により、同時複数タッチ位置検出装置7と一体化した表示装置8における情報処理用表示画面を説明する。 [0131] The FIG. 13, for explaining the information processing display screen of the display device 8 which is integrated with multiple simultaneous touch position detection device 7.

【0132】図13は、仮想ピアノを用いたピアノの演奏における表示画面を示す。 [0132] FIG. 13 shows a display screen in the piano music using the virtual piano. この画面を表示するためには、ユーザは、情報処理装置の電源をいれた後に表示されるメニュー画面において、メニューの1つとして表示されているピアノを選択することにより、図13の画面の仮想ピアノおよび楽譜等が表示される。 To display this screen, the user, in the menu screen displayed after the power to the information processing apparatus, by selecting the piano listed as one of the menus, the virtual screen in FIG. 13 piano and sheet music, and the like are displayed.

【0133】図において、821は仮想ピアノを表示する領域、822は楽譜を表示する領域、823は演奏終了のための入力を受付ける領域である。 [0133] In Figure, 821 is a region for displaying a virtual piano, 822 area for displaying the musical score, 823 is a region for accepting an input for playing termination. タッチ位置検出装置7が出力するタッチ位置が、これらの領域に入るかどうかの情報が後述のように必要なため、メモリ92 Since the touch position the touch position detection device 7 outputs is a whether entering these areas information is needed as described later, the memory 92
は、これらの領域をタッチ位置検出装置7の座標系で表したテーブル923を有する。 Has a table 923 representing these regions in the touch position detection device 7 coordinate system.

【0134】仮想ピアノ821上でタッチが行われるときに、そのタッチ位置は、仮想ピアノ821の鍵盤を情報処理装置内で識別するためのキーコードに変換される。 [0134] When the touch on the virtual piano 821 is performed, the touch position is converted to keyboard virtual piano 821 the key code for identifying in the information processing apparatus. 図7のメモリ92は、この変換をする際に使用する、タッチ位置とキーコードとの対応テーブル926を有する。 Memory 92 in FIG. 7, for use when the conversion has a correspondence table 926 of the touch position and the key code. キーコードには、演奏終了を示す位置823に対応したものもある。 The key code, some corresponding to the position 823 that indicates the play ends. 仮想ピアノ921上の鍵盤は、ある大きさで表示されているため、タッチ位置はその大きさに応じた幅を持っており、上記テーブル926は、キーコードに対応させて、キーコードごとに許容される幅の情報も有する。 Keyboard on the virtual piano 921, which are presented in a certain size, the touch position has a width corresponding to the size, the table 926, corresponding to the key code, allowed per key code also has information of the width to be. さらに、メモリ92は、このキーコードを、音信号に変換するために、音声出力部93が使用する、音信号生成情報とキーコードとの対応テーブル9 Further, the memory 92, the key code, in order to convert the sound signals, used by the audio output unit 93, a sound signal generation information and corresponding table 9 with the key code
27をも有する。 27 also has a.

【0135】図14により、仮想ピアノ821に関する情報処理の流れを説明する。 [0135] The FIG. 14, the flow of the information processing related to the virtual piano 821.

【0136】図14は、仮想ピアノ821の多重音演奏処理のフローを示す。 [0136] Figure 14 shows a flow of a multi-tone performance processing of the virtual piano 821. 以下では、情報処理装置の電源がオンになり、メニューが表示され、メニュー内のピアノが選択されたとする。 In the following, the power supply of the information processing apparatus is turned on, the menu is displayed, a piano in the menu has been selected.

【0137】ステップ1401:MPU9は、メニュー内のピアノが選択されたため、表示装置8に、仮想ピアノ821を表示する。 [0137] step 1401: MPU9, because the piano in the menu is selected, the display device 8, to display a virtual piano 821.

【0138】ステップ1402:MPU9は、同時複数タッチ位置検出装置7から、1つもしくは複数のタッチ位置を取得する。 [0138] Step 1402: MPU 9 from simultaneous multiple touch position detection device 7, to obtain one or more of the touch position.

【0139】ステップ1403:MPU9は、少なくとも1つのタッチ位置が仮想ピアノ821上であるか否かをテーブル925により判定し、仮想ピアノ821上の場合ステップ1404に進み、そうでない場合はステップ1406に進む。 [0139] Step 1403: MPU 9 is whether at least one touch position is on a virtual piano 821 is determined by table 925, the process proceeds in the case of a virtual piano 821 step 1404, otherwise proceeds to step 1406 .

【0140】ステップ1404:MPU9は、1つもしくは複数のタッチ位置を、テーブル926により、それぞれのタッチ位置に対応した、仮想ピアノ821のキーコードに変換する。 [0140] Step 1404: MPU 9 has one or more of the touch position, the table 926, corresponding to each of the touch position is converted to a key code of a virtual piano 821.

【0141】ステップ1405:MPU9は、1つもしくは複数のキーコードを音声出力部93に出力する。 [0141] Step 1405: MPU 9 outputs one or more key codes to the audio output unit 93. 音声出力部93は、キーコードに対応した音を生成するために、キーコードに対応した音信号生成情報をテーブル927により入手し、1つもしくは複数の音を合成した音信号を生成する。 The audio output unit 93 to generate a sound corresponding to the key code, the sound signal generation information corresponding to the key code obtained by the table 927, and generates a sound signal obtained by combining one or more sounds. 生成した音信号をスピーカ10に同時に出力し、スピーカ10からタッチ位置に応じた1つもしくは複数の音が出力される。 The resulting sound signal is outputted simultaneously to the speaker 10, one or more sound corresponding speaker 10 to the touch position is output. 次に、ステップ140 Then, step 140
2に進む。 Proceed to 2. 音信号生成情報としては、MIDI(Mus The sound signal generation information, MIDI (Mus
ical Insirument Digital I ical Insirument Digital I
nterface)に従ったデータでもよい。 It may be data in accordance with the nterface).

【0142】ステップ1406:タッチ位置が演奏終了を示す位置823であるかどうかを判定し、終了を示す位置である場合は、処理を終了し、そうでない場合は、 [0142] step 1406: the touch position, it is determined whether it is a position 823 showing the performance end, the case is a position to indicate the end is, the process ends, otherwise,
ステップ1402に進む。 The process proceeds to step 1402.

【0143】上記の処理において、処理が終了したときは、図20のメニュー画面の表示に戻る。 [0143] In the processing of the above, when the process is completed, the display returns to the display of the menu screen of FIG. 20.

【0144】本処理では、1つの仮想ピアノ821について説明したが、1つに限るものではなく、複数の仮想ピアノであってもよく、その場合は、連弾が可能である。 [0144] In the present process has been described one virtual piano 821 is not limited to one, may be a plurality of virtual piano case, it is possible duet. また、ピアノ以外の楽器にも適用できるものである。 In addition, it is also applicable to the instrument other than the piano.

【0145】本処理によれば、指や掌やペンなどの同時複数タッチ操作における組合せや個々の指示を処理を実現できるので、タッチ指示処理装置の操作性を向上できる。 [0145] According to this process, since the process of combining and individual instruction in the simultaneous multiple touch operation of a finger or a palm or a pen can be realized, thereby improving the operability of the touch instruction processing apparatus. また、本処理によれば、仮想ピアノ821の多重音演奏を実現できるので、仮想ピアノ821を用いたピアノの演奏の情報処理の操作性を向上できる。 Further, according to the present process, it is possible to realize a multi-tone playing virtual piano 821, thereby improving the operability of the information processing piano using virtual piano 821.

【0146】次に、仮想ボタンを用いた対戦型サッカーゲームを、図15、図16により説明する。 [0146] Next, a competitive soccer game using a virtual button, as shown in FIG. 15, will be described with reference to FIG. 16. ここで、仮想ボタンを用いた対戦型サッカーゲームとは、仮想ボタンをタッチ操作することで、サッカーフィールド上で行うゲームである。 Here, the competitive soccer game using a virtual button, by touching a virtual button, a game in which on the soccer field.

【0147】本処理では、図9の同時複数タッチ指示処理装置をテレビゲームとして用いている。 [0147] In this process, it uses a simultaneous multiple touches instruction processing unit of FIG. 9 as a video game. この処理では、表示装置8にサッカーフィールド832、複数の選手839,840、これらの選手にキック/ドリブル等をさせるための仮想ボタン8311,8312,833 In this process, football field 832 on the display device 8, a plurality of players 839,840, virtual button for the kick / dribble etc. these players 8311,8312,833
1,8332,8341,8342,8351,835 1,8332,8341,8342,8351,835
2が表示されており、この仮想ボタンに対してユーザは、操作を行う。 2 are displayed, the user performs an operation on the virtual buttons. 情報処理装置9は、この操作に従って、選手839,840にキック/ドリブル等をさせて、ゲームを進めるものである。 The information processing apparatus 9 in accordance with this operation, is allowed to kick / dribble like players 839,840, it is intended to advance the game.

【0148】図15により、同時複数タッチ位置検出装置7と一体化した表示装置8における表示画面を説明する。 [0148] The FIG. 15, illustrating a display screen of the display device 8 which is integrated with multiple simultaneous touch position detection device 7. この画面を表示するためには、ユーザは、情報処理装置の電源をいれた後に表示されるメニュー画面において、メニューの1つとして表示されているサッカーを選択することにより、図15の画面が表示される。 To display this screen, the user, in the menu screen displayed after the power to the information processing apparatus, by selecting the football has been listed as one of the menu, the display screen of FIG. 15 It is.

【0149】図15は、仮想ボタンを用いた対戦型サッカーゲームの画面を示す。 [0149] FIG. 15 shows a screen of a competitive soccer game using a virtual button. 図において、832はサッカーフィールド、836は、ゴールエリア、838は、ペナルティエリアライン、837は、ハーフウエイライン、841は、ボールである。 In the figure, the football field 832, 836, goal area, 838, penalty area line, 837, the half-way line, 841 is a ball.

【0150】8311,8312は、ゲームを開始させるためのスタートボタンである。 [0150] 8311,8312 is a start button for starting the game. ゲーム中にスタートボタン8311,8312がタッチされると、ゲームが終了する。 When the start button 8311,8312 during the game is touched, the game ends.

【0151】以下で述べるボタンについては、付されているナンバーの下1桁が1のボタンは、手前側チームの選手839を操作するためのボタンであり、ナンバーの下1桁が2のボタンは、向う側側チームの選手840を操作するためのボタンである。 [0151] for the button to be described below, the lower one digit of 1 button of the number that have been given, is a button for operating the player 839 on the front side team, and the lower one digit is 2 button of the number , is a button for operating the player 840 of the other side side team.

【0152】8331,8332は、キックまたはスローイングをするためのボタンである。 [0152] 8331,8332 is a button for a kick or throwing. このボタン833 This button 833
1,8332がタッチされたときに、キックをするかスローイングをするかは、MPU9がゲームの進行状況から判断する。 When 1,8332 is touched, will either throwing or a kick, MPU9 it is determined from the progress of the game.

【0153】8341,8342は、ヘッディングまたはドリブルをするためのボタンである。 [0153] 8341,8342 is a button for the heading or dribble. このボタン83 This button 83
41,8342がタッチされたときに、ヘッディングをするかドリブルをするかは、MPU9が飛んできたボールが選手839,840に当たった高さ(MPU9が演算により決定する)から判断する。 When 41,8342 has been touched, it is whether or dribble to the heading, judging from the height ball flew MPU9 hits the player 839,840 (MPU9 is determined by calculation).

【0154】8351,8352は、キック、スローイング、ヘッディング、ドリブル時に、前後左右、いずれの方向にボールを操作するかを指示するためのボタンであり、4つの方向が指示することができ、その方向は矢印で表示されている。 [0154] 8351,8352 is, kick, throwing, heading, during the dribble, front, rear, left and right, a button for instructing how to manipulate the ball in any direction, it is possible that the four directions are instructed, the direction It is indicated by the arrow. すなわち、8351a,8352 In other words, 8351a, 8352
aは、前方方向、8351b,8352bは、右方向、 a is a forward direction, 8351b, 8352b, the right direction,
8351c,8352cは、後方、8351d,835 8351c, 8352c is, backward, 8351d, 835
2dは、左方向である。 2d is a left direction. 2つの方向が同時にタッチされたときは、中間の方向を指示したとMPU9は、解釈する。 When two directions are touched simultaneously, and instructs the direction of the intermediate MPU9 interprets. 例えば、8351a,8352aが同時にタッチされたときは、右斜め前方にキック等がされたと解釈される。 For example, 8351A, when 8352a is touched at the same time, be interpreted as a kick or the like has been in the right oblique front. この方向は、キック等をした後、キック等をした選手が動く方向でもある。 This direction is, after the kick, etc., it is also the direction moves the players made a kick and the like.

【0155】ボタンが操作されたときに、どの選手83 [0155] when the button is operated, any player 83
9,840がキック等を行うかについては、ボールに1 For either 9,840 makes a kick, etc., 1 to the ball
番近い位置にいる手前側チームおよび向う側チーム各一人の選手をMPU9が判断し、その選手がボタンに従ってキック等を行う。 Turn the front side team and the other side MPU9 the team each one of the players to determine who is in close position, perform a kick like the players in accordance with the button.

【0156】ボタン8311等の仮想ボタンを表示する領域は、図のように決められている。 [0156] area for displaying the virtual buttons such as buttons 8311 are determined as shown in FIG. タッチ位置検出装置7が出力するタッチ位置のうちこれらの領域に入るかどうかの情報が後述のように必要なため、メモリ92 For information whether to enter these areas of the touch position touched position detecting device 7 is output is required, as described below, the memory 92
は、これらの領域をタッチ位置検出装置7の座標系で表したテーブル928を有する。 Has a table 928 representing these regions in the touch position detection device 7 coordinate system. メモリ92は、タッチが行われるときに、そのタッチ位置を情報処理装置内で識別するためのボタンコードに変換する際に使用する、タッチ位置とボタンコードとの対応テーブル929を有する。 Memory 92, when the touch is performed is used to convert the button code for identifying the touch position in the information processing apparatus has a correspondence table 929 of the touch position and the button code.

【0157】図16により、仮想ボタンがタッチされたときの処理を説明する。 [0157] The FIG. 16, for explaining the process when the virtual button is touched.

【0158】図16は、仮想ボタン群831の多重入力処理のフローを示す。 [0158] Figure 16 shows a flow of processing multiple inputs of the virtual button group 831. 以下では、情報処理装置の電源がオンになり、メニューが表示され、メニュー内のサッカーが選択されたとする。 In the following, the power supply of the information processing apparatus is turned on, the menu is displayed, the football in the menu has been selected.

【0159】ステップ1601:MPU9は、表示装置8に、図15に示す表示を行わせる。 [0159] Step 1601: MPU 9 causes the display unit 8 to perform the display shown in FIG. 15.

【0160】ステップ1602:MPU9は、同時複数タッチ位置検出装置7から、1または2以上のタッチ位置を取得する。 [0160] Step 1602: MPU 9 from simultaneous multiple touch position detection device 7 acquires one or more touch positions.

【0161】ステップ1603:MPU9は、少なくとも1つのタッチ位置が仮想ボタンのいずれかの上にあるか否かをテーブル928により判定し、仮想ボタンのいずれかの上にある場合、ステップ1604に進み、そうでない場合はステップ1602に進む。 [0161] Step 1603: MPU 9 is whether at least one touch position is on any of the virtual buttons is determined by the table 928, if the top of one of the virtual buttons, the process proceeds to step 1604, Otherwise, the process proceeds to step 1602.

【0162】ステップ1604:MPU9は、仮想ボタンの上にあるタッチ位置を、テーブル929により仮想ボタンのボタンコードに変換する。 [0162] Step 1604: MPU 9 converts the touch position above the virtual buttons, the table 929 to the button code of virtual buttons.

【0163】ステップ1605:ボタンコードより、タッチ位置の中にスタートボタン8311,8312があるかどうかを判定し、スタートボタン8311,831 [0163] step 1605: from the button code, to determine whether there is a start button 8311,8312 in the touch position, the start button 8311,831
2があるときは、ステップ1606に進み、そうでないときは、ステップ1607に進む。 When 2 is, the process proceeds to step 1606, otherwise, the process proceeds to step 1607.

【0164】ステップ1606:ゲームがすでに開始しているかどうかを判定し、開始している場合は、ゲーム終了であるからゲームを終了させる。 [0164] Step 1606: it is determined whether or not the game has already started, if you start, to end the game because it is the end of the game. そうでない場合は、ゲーム開始であるから、ステップ1602に進む。 If this is not the case, because it is the start of the game, the process proceeds to step 1602.

【0165】ステップ1607:MPU9は、ボタン8 [0165] step 1607: MPU9, the button 8
331,8332,834,8342,8351,83 331,8332,834,8342,8351,83
52に対応するボタンコード毎に決められた前述の処理を行い、選手839,840および、ボール841の動きを決定し、表示装置8に表示を行わせる。 It performs the aforementioned processing determined for each button code that corresponds to the 52 players 839,840 and to determine the movement of the ball 841 to perform the display on the display device 8.

【0166】上記の処理において、処理が終了したときは、図20のメニュー画面に戻る。 [0166] In the processing described above, when the process is completed, return to the menu screen of FIG. 20.

【0167】本処理では、2人のユーザがゲームを行う場合について説明したが、これに限るものではない。 [0167] In the present process, but two users has been described the case of a game, but the present invention is not limited to this. 3
人以上でゲームを行わせるためには、仮想ボタンをさらに人数分増やせばよい。 In order to carry out the game in person or more, it may be increased a few more minutes people a virtual button.

【0168】本装置によれば、仮想ボタンの多重入力を実現できるので、仮想ボタンを用いた対戦型サッカーゲームの操作性が向上する。 According to [0168] the device, it is possible to realize a multiple input virtual buttons, the operation of the competitive soccer game using the virtual buttons is improved.

【0169】次に、仮想電源スイッチを用いた電源切断処理を、図17、図18により説明する。 [0169] Next, the power-off process using the virtual power switch, 17, will be described with reference to FIG. 18.

【0170】図17により、同時複数タッチ位置検出装置7と一体化した表示装置8における表示画面を説明する。 [0170] The Figure 17, illustrating a display screen of the display device 8 which is integrated with multiple simultaneous touch position detection device 7.

【0171】図17は、仮想電源スイッチを用いた電源投入切断の情報処理の画面を示す。 [0171] Figure 17 shows a screen of the information processing power on cleavage with virtual power switch. この画面を表示するためには、ユーザは、情報処理装置の電源をいれた後に表示される図20のメニュー画面において、メニューの1つとして表示されている終了を選択することにより、 To display this screen, the user, the menu screen of FIG. 20 to be displayed after the power to the information processing apparatus, by selecting the Exit listed as one of the menus,
図17の画面の仮想電源スイッチ841が表示される。 Virtual power switch 841 of the screen of FIG. 17 is displayed.

【0172】ここで、仮想電源スイッチ841を用いた電源切断処理とは、仮想電源スイッチ841aと仮想電源スイッチ841bの2つを、同時にタッチ操作して行う電源切断をいう。 [0172] Here, the power-off process using the virtual power switch 841, the two virtual power switch 841b and the virtual power supply switch 841a, refers to a power-off performed by the touch operation at the same time. 2つのスイッチ841a、bを用いて、電源の切断を行うこととしたのは、誤って電源の切断を行うことを防止するためである。 Two switches 841a, with b, for it was decided to perform the cutting of the power supply is to prevent to carry out accidentally turning off the power.

【0173】タッチ位置検出装置7が出力するタッチ位置のうち仮想電源スイッチ841の領域に入るかどうかの情報が後述のように必要なため、メモリ92は、これらの領域をタッチ位置検出装置7の座標系で表したテーブル930を有する。 [0173] Since information about whether the touch position detection device 7 enters the area of ​​the virtual power switch 841 of the touch position output is required, as described below, the memory 92, the touch position detection device 7 these regions It has a table 930 which, expressed in the coordinate system.

【0174】図18により、仮想電源スイッチ841による電源切断処理の流れを説明する。 [0174] The FIG. 18, the flow of the power-off process by the virtual power switch 841.

【0175】図18は、仮想電源スイッチ841による電源切断処理のフローを示す。 [0175] Figure 18 shows a flow of a power-off process by the virtual power switch 841.

【0176】ステップ1801:表示装置8に、仮想電源スイッチ841を表示する。 [0176] step 1801: the display device 8, to display the virtual power switch 841.

【0177】ステップ1802:同時複数タッチ位置検出装置7から、1または2以上のタッチ位置を取得する。 [0177] Step 1802: the multiple simultaneous touch position detection device 7 acquires one or more touch positions.

【0178】ステップ1803:取得した全てのタッチ位置が仮想電源スイッチ841上であり、かつ、仮想電源スイッチ841aおよび仮想電源スイッチ841bのいずれの場所にも少なくとも1つのタッチ位置があるか否かを判定し、この条件を満たす場合ステップ1804 [0178] Step 1803: all touch position acquired is that the virtual power switch 841, and determines whether there is at least one touch position in any location of the virtual power switch 841a and the virtual power supply switch 841b and, if this condition is satisfied step 1804
に進み、そうでない場合は、ステップ1805に進む。 The process goes to, otherwise, the process proceeds to step 1805.

【0179】ステップ1804:電源の切断を行い、処理を終了する。 [0179] step 1804: performs the cutting of power supply, the process is terminated.

【0180】ステップ1805:図20のメニュー画面の表示を行う。 [0180] step 1805: to display a menu screen shown in FIG. 20.

【0181】本処理では、電源切断においてする情報処理、すなわち、電源投入切断自体の処理や、電源投入切断時にともなうバッテリーのチェックやデータの保存などの詳細については説明しなかったが、公知の技術で実現できる。 [0181] In this process, the information processing to the power-off, i.e., the processing power on the cutting itself or, for more information and saving the battery check and data associated with at power disconnected, but not described, the known art in can be realized.

【0182】また、本処理によれば、2つの仮想電源スイッチ841を同時に押さなければ電源切断を行えないので、不用意な操作を防止できる。 [0182] Further, according to the present process, because unless not perform the power off press the two virtual power switch 841 at the same time, it can prevent inadvertent operation.

【0183】以上述べてきた第4の実施例においては、 [0183] In the fourth embodiment has been described above,
表面弾性波方式タッチプレートを用いた同時複数タッチ位置検出装置と表示装置とを一体化した構成について説明したが、同時複数タッチ位置検出装置のタッチプレートの方式はこれに限るものではない。 The simultaneous multiple touch position detection device using a surface acoustic wave touch plate display device and been described for the case where a integrated, but touch plate method simultaneous multiple touch position detection device is not limited thereto. 発光素子またはカメラを用いたタッチプレートでももちろん可能である。 It is also of course possible with the touch plate using a light-emitting element or a camera.

【0184】また、同時複数タッチ位置検出装置は、表示装置とは別に、単独で構成してもよい。 [0184] Furthermore, simultaneous multiple touch position detection device, apart from the display device may be configured alone.

【0185】また、システム構成についてもこれに限るものではなく、キーボードなどの入力装置、ハードディスク装置などの補助記憶装置、プリンターなどの出力装置などを組み合わせた構成としてもよい。 [0185] Further, the present invention is not limited to this also the system configuration, an input device such as a keyboard, an auxiliary storage device such as a hard disk device may be configured to combine and output devices such as a printer.

【0186】以下、本発明の第5の実施例の同時複数ジェスチャ指示処理装置について説明する。 [0186] The following describes the simultaneous plural gesture instruction processing apparatus according to a fifth embodiment of the present invention. 本装置は、C This device, C
ADにおいて、表示されている2次元または3次元の図形を平行移動、回転移動、伸縮変形する場合に、平行移動、回転移動、伸縮変形の指示を容易に行うことができる装置である。 In AD, translating the two-dimensional or three-dimensional graphics are displayed, rotational movement, when the telescopic deformation, parallel movement, rotational movement, device capable of easily performing instruction expansion deformation.

【0187】最初に、表1により、同時複数ジェスチャ指示処理の基本概念を説明する。 [0187] First, according to Table 1, illustrating a basic concept of simultaneous multiple gestures instruction process.

【0188】 [0188]

【表1】 [Table 1]

【0189】表1は、同時複数ジェスチャ指示処理の基本アルゴリズムを示す。 [0189] Table 1 shows the basic algorithm of simultaneous multiple gesture instruction process.

【0190】表において、縦項目は同時複数ジェスチャ対象物の指定方法を示し、横項目は同時複数ジェスチャ操作の指示内容を示す。 [0190] In Table, vertical entry shows how to specify the simultaneous multiple gestures objects, the lateral entry indicates the instruction content of simultaneous multiple gesture operation. 同時複数ジェスチャ対象物の指定方法には、複数指で各指1対象物を指定する外郭内指定、複数指で1対象物の外郭(辺)を指定する外郭上指定、複数指で囲む範囲内の複数対象物を指定する範囲内指定がある。 The specification method of simultaneous multiple gestures object outline within a specified specify each finger 1 object at a plurality fingers, outer on the specified specifying the outer (side) of 1 object in multiple fingers, a range surrounded by a plurality fingers there is a range within a specified specifying the plurality objects.

【0191】ここで、1つ以上のタッチ位置が1つ以上の対象物の外郭内にあるときは、外郭内指定であると判定する。 [0191] Here, when one or more touch location is within the outer shell of one or more objects, it is determined that the shell within the specified. 全タッチ位置が単一の対象物の外郭上にあるときは、外郭上指定であると判定する。 When all the touch position is on the outer of a single object, it is determined that the outline on the specified. 全タッチ位置が対象物の外郭外にあり、かつ、全タッチ位置の内側に対象物がある時は、範囲内指定であると判定する。 Located outer outside of all the touch position is the object, and determines that when the inside of all the touch position is the object is a range specified. 範囲とは、2本の指で指定された場合には、例えば、これらの2本の指により指示される点を対角点とする矩形とすることができる。 Range and, if specified by the two fingers, for example, it may be rectangular to these two diagonal points a point indicated by the finger. また、3本以上の指で指定された場合には、例えば、これらの指により指示される点を頂点とする多角形とすることができる。 Further, if it is specified by three or more fingers, for example, it may be a polygon whose vertices point indicated by these fingers. なお、外郭内指定では、 It should be noted that, in the outer shell within the specified,
図形の内部を指でタッチして指定し、外郭上指定では、 The interior of the shape specified by touching them with your finger, in the outline on the specified,
図形の辺上を指でタッチして指定する。 On the side of the figure specified by touching them with your finger.

【0192】外郭上指定の場合、指で指定するとき、辺が細いと、指の位置が辺上から若干はずれる可能性がある。 [0192] When the shell on the specified, when specifying a finger, the sides are thin, there is a possibility that the position of the finger deviates slightly from the sides. そのため、タッチ位置が辺からはずれていても、その量が小さい場合は、辺上と判断する。 Therefore, even if the touch position is not out of the sides, when the amount is small, it is determined that the side. このために、本装置は、辺からどの程度まではずれていても、辺上と判断するかという許容量をデータとして有する。 To this end, the present apparatus has be outside how far from the edges, the permissible amount of whether it is determined that the side as data. この許容値は、また、外郭内指定において、外郭内にあるかどうかの判定を行うときの許容値でもある。 This tolerance also in specifying the shell, is also the allowable value when determined whether or not to be within the shell. すなわち、辺から上記許容値以上離れていて、かつ外郭内にあるとき、 That is, when the edges have separated over the allowable value, and is within the shell,
外郭内と判定する。 It determines that the outer shell. さらに、この許容値は、範囲内指定において、範囲内にあるかどうかの判定を行うときの許容値でもある。 Moreover, the tolerance in the range specified, are also allowable value when a determination is made whether the range. すなわち、辺から上記許容値以上離れていて、全タッチ位置が対象物の外郭外にあり、かつ、全タッチ位置の内側に対象物があるとき、範囲内と判定する。 That is, away from the side above the allowable value, located in the outer outside of all the touch position is subject, and, when the inside of all the touch position is the object determines the range.

【0193】同時複数ジェスチャ操作の指示内容には、 [0193] The indication contents of the simultaneous multiple gesture operation,
複数指の位置関係を保ったまま移動する平行移動指示、 Translation instruction to move while maintaining the positional relationship of the plurality of fingers,
複数指の位置関係を保ったまま回転する回転移動指示、 Rotational movement instruction to rotate while maintaining the positional relationship of the plurality of fingers,
複数指の位置関係を伸縮変形移動する伸縮変形指示がある。 Elastic deformation instruction to stretch Xform positional relationships between the fingers.

【0194】表に示したように、外郭内指定においては、平行移動指示では全対象物を平行移動、回転移動指示では全対象物を回転移動、伸縮変形指示では各対象物を個別移動する。 [0194] As shown in Table, the designation in the shell, translating the entire object in translation instruction, the rotational movement instructing rotational movement of the entire object, the elastic deformation instruction individually move each object. 外郭上指定においては、平行移動指示では対象物を平行移動、回転移動指示では対象物を回転移動、伸縮変形指示では対象物を伸縮変形する。 In outline the designated translating the object by translation instructions, the rotational movement instructing rotational movement of the object, the stretch deformation instruction to stretch deform the object. 範囲指定において、平行移動指示では全対象物を平行移動、回転指示では全対象物を回転移動、伸縮変形指示では全対象物を伸縮変形する。 In the range specified, translating the entire object in translation instruction, the rotation instruction rotational movement of the entire object, the elastic deformation instruction to stretch deform the entire object.

【0195】図21、図22により、本発明の同時複数ジェスチャ指示処理の基本アルゴリズムにおける情報処理の流れを説明する。 [0195] Figure 21, the Figure 22, the flow of information processing in the simultaneous basic algorithm of a plurality gesture instruction process of the present invention. 図21,22においては、本装置が入力待ちの状態にあり、後述する同時複数タッチ位置検出装置7により、タッチ位置が検出されて、そのタッチ位置が後述する情報処理装置9に入力され、情報処理装置9がこのタッチ位置を処理する段階以降について述べる。 In Figure 21 and 22, in a state of the apparatus is waiting for input, by the simultaneous multiple touch position detection device 7 to be described later, the touch position is detected, is input to the information processing apparatus 9 to which the touch position is described later, information processing unit 9 will be described later stage of processing the touched position. 図21のジェスチャ対象物の指定方法の判定は、 Determination of how to specify gestures object 21,
例えば、指により描かれるタッチ位置の軌跡の開始点と表示されている図形との位置関係から以下のように行われる。 For example, as follows from the positional relationship between the graphic being displayed as the start point of the trajectory of the touch position depicted by the finger.

【0196】図21は、同時複数ジェスチャ対象物の指定方法の判定処理フローを示す。 [0196] Figure 21 shows a determination processing flow of the method for specifying simultaneous multiple gestures objects.

【0197】ステップ2101:タッチ位置が同時に複数あるか否かを判定し、yesの場合ステップ2102 [0197] Step 2101: determining whether the touch position is more time, if the yes Step 2102
に進み、noの場合は処理を終了する。 Proceed to, in the case of no and the process ends. この場合は、タッチ位置が1つであるので、タッチ位置が1つの場合の処理を行う。 In this case, because the touch position is one, the touch position is performed when the process of one.

【0198】ステップ2102:1つ以上のタッチ位置が1つ以上の対象物の外郭内にあるか否かを判定し、y [0198] Step 2102: 1 or more touch location is determined whether or not within the shell of one or more objects, y
esの場合ステップ2103に進み、noの場合はステップ2104に進む。 In the case of es the process proceeds to step 2103, in the case of no, the process proceeds to step 2104.

【0199】ステップ2103:指定方法を外郭内指定と判定し、処理を終了する。 [0199] step 2103: to determine how to specify outline within a specified and, the process is terminated.

【0200】ステップ2104:全タッチ位置が単一の対象物の外郭上にあるか否かを判定し、yesの場合ステップ2105に進み、noの場合はステップ2106 [0200] Step 2104: All the touch position is determined whether on a contour of a single object, If yes the process proceeds to step 2105, in the case of no Step 2106
に進む。 Proceed to.

【0201】ステップ2105:指定方法を外郭上指定と判定し、処理を終了する。 [0201] step 2105: to determine how to specify outline on specified, the process is terminated.

【0202】ステップ2106:全タッチ位置が対象物の外郭外にあり、かつ、全タッチ位置の内側に対象物があるか否かを判定し、yesの場合ステップ2107に進み、noの場合は処理を終了する。 [0203] Step 2106: Yes in the outer outside of all the touch position is the object, and determines whether the inside of all the touch position is the object, If yes the process proceeds to step 2107, in the case of no treatment to end the.

【0203】ステップ2107:指定方法を範囲内指定と判定し、処理を終了する。 [0203] Step 2107: determining that range specify specification method, the process ends.

【0204】図22は、同時複数ジェスチャ操作の指示内容の判定処理フローを示す。 [0204] Figure 22 shows a determination processing flow of the instruction content of the simultaneous multiple gesture operation. 図22のジェスチャ操作の指示内容の判定は、例えば、指により描かれるタッチ位置の軌跡の開始点および終了点の位置関係から以下のように行われる。 Determination of instruction content of the gesture operation of Figure 22 is performed, for example, as follows from the positional relationship of the starting and end points of the trajectory of the touch position depicted by the finger. ただし、開始点と終了点以外の点を用いることとしてもよい。 However, it is also possible to use a point other than the start and end points. 例えば、そのような点と開始点、、そのような点同士の組み合せ、またはそのような点と終了点の組み合せから判定してもよい。 For example, it may be determined from such a point as the starting point ,, combinations between such points, or such point the combination of the end point. 複数の判定結果が得られた場合は、複数の判定結果が一致した場合にのみ、判定結果のようなジェスチャ操作の指示が行われたとして、判定の確実性を高めることとしてもよい。 If multiple determination result is obtained, only when a plurality of determination results match, as an indication of the gesture operation, such as the determination result is performed, it is also possible to increase the certainty of the determination.

【0205】ステップ2201:タッチ位置が同時に複数あるか否かを判定し、yesの場合ステップ2202 [0205] Step 2201: determining whether the touch position is more time, if the yes Step 2202
に進み、noの場合は処理を終了する。 Proceed to, in the case of no and the process ends.

【0206】ステップ2202:全タッチ位置が位置関係を保ったまま平行移動するか否かを判定し、yesの場合ステップ2203に進み、noの場合はステップ2 [0206] Step 2202: determining whether all the touch position moves parallel while maintaining the positional relation, proceed to the case of yes step 2203, in the case of no Step 2
204に進む。 Proceed to 204. 判定の詳細は、後述する。 Details of the decision will be described later.

【0207】ステップ2203:指示内容を平行移動指示と判定し、処理を終了する。 [0207] Step 2203: determining that parallel movement instruction instruction contents, and ends the process.

【0208】ステップ2204:全タッチ位置が位置関係を保ったまま回転するか否かを判定し、yesの場合ステップ2205に進み、noの場合はステップ220 [0208] Step 2204: determining whether all the touch position is rotated while maintaining the positional relationship, If yes the process proceeds to step 2205, in the case of no Step 220
6に進む。 Proceed to 6. なお、回転移動であることの判定方法は、全タッチ位置が位置関係を保ったまま、中点(あるいは重心)が一定である場合に回転移動であると判定することとすればよい。 The determination method of being a rotational movement, while the entire touch position maintaining the positional relationship may be decided to determine the midpoint (or gravity) is rotational movement when it is constant. 判定の詳細は、後述する。 Details of the decision will be described later.

【0209】ステップ2205:指示内容を回転移動指示と判定し、処理を終了する。 [0209] Step 2205: determining that the rotational movement instructing instruction content, the process ends.

【0210】ステップ2206:タッチ位置が相互の位置関係を伸縮変形するか否かを判定し、yesの場合ステップ2207に進み、noの場合は処理を終了する。 [0210] Step 2206: the touch position is determined whether to stretch deformation the positional relationship of each other, If yes the process proceeds to step 2207, in the case of no the process ends.
判定は、タッチ位置相互の距離が変わるかどうかで判定する。 Determining determines on whether the distance of the touch position mutual changes. 判定の詳細は、後述する。 Details of the decision will be described later.

【0211】ステップ2207:指示内容を伸縮変形指示と判定し、処理を終了する。 [0211] Step 2207: determining that stretch deformation instruction instruction contents, and ends the process.

【0212】以上述べてきた実施例においては、対象物の外郭内指定、外郭上指定および範囲内指定や、対象物の平行移動、回転移動および伸縮変形の概念の組合せやモード切り換えを行ってもよい。 [0212] In the embodiment has been described above, the outer the specified object, specify the outline on the specification and the scope or translation of the object, even if the combination and mode switching concept of the rotary movement and stretching deformation good.

【0213】ここで、概念の組合せとは、同時に平行移動指示と伸縮変形指示を行うなどのジェスチャ操作の組合せや、同時にある対象物は外郭内指定し、他の対象物は外郭上指定するなどの対象物の指定の組合せのことである。 [0213] Here, the combination of the concept, and the combination of the gesture operation such as simultaneous translation instruction expansion and contraction deformation instruction, then the object is specified in the shell in the same time, other objects such as specifying the outer is that of the specified combination of the object.

【0214】また、モードの切り換えとは、モードごとに、指による操作の解釈を変えることをいう。 [0214] In addition, the switching of the mode, for each mode, refers to changing the interpretation of the operation by the finger. 例えば、 For example,
上記の外郭指定で伸縮変形指示に相当する操作を行った場合、Aモードでは各対象物を個別移動することと解釈し、Bモードでは対象物を伸縮変形することと解釈する。 When performing the operation corresponding to the expansion and contraction deformation instruction in the above outer specified in A mode construed as to individually move each object in the B mode construed to stretch deform the object. このように、複数のモードを設定し、これらのモードを切り換える。 Thus, setting a plurality of modes, switching these modes.

【0215】以上述べてきた実施例によれば、マウスなどでは複数回の操作を必要とする単一あるいは複数図形の移動指示、回転指示、伸縮変形指示を、より自然な指などの1度の操作で実現できるので、図形編集処理の操作性を向上できる。 [0215] The above mentioned and according to the embodiment has, movement instruction for single or multiple shapes that require multiple operations etc. in mice, rotation instruction, stretching deformation instruction to, for once, such as more natural finger can be realized in the operation, it is possible to improve the operation of the graphic editing process.

【0216】以下、本発明の同時複数ジェスチャ指示処理装置の4つの実施例を説明する。 [0216] Hereinafter will be described the four embodiments of simultaneous multiple gesture instruction processing apparatus of the present invention. まず、図23により、本発明の同時複数ジェスチャ指示処理装置の第5〜 First, FIG. 23, the fifth to simultaneous multiple gesture instruction processing apparatus of the present invention
8の4つの実施例に用いる表面弾性波方式タッチプレートを用いた同時複数タッチ位置検出装置を表示装置と一体化の構成とした同時複数タッチ指示処理装置について説明する。 Simultaneous multiple touch position detection device simultaneously multiple touched processing apparatus and the display apparatus and the integrated construction the description will be made using a surface acoustic wave touch plate used in the four embodiments of the 8.

【0217】図23は、同時複数ジェスチャ指示処理装置のシステム概略構成を示す。 [0217] Figure 23 shows a system schematic construction of a simultaneous plurality gesture instruction processing apparatus.

【0218】図において、7は表面弾性波方式タッチプレートを用いた同時複数タッチ位置検出装置、8は液晶ディスプレイを用いた表示装置、9は情報処理装置である。 [0218] In FIG, 7 is simultaneously multiple touch position detection device using a surface acoustic wave touch plate, 8 is a display device using a liquid crystal display, and 9 is an information processing apparatus. 同時複数タッチ位置検出装置7は、情報処理装置9 Simultaneous multiple touch position detection device 7, the information processing apparatus 9
に対して、検出したタッチ位置の個数とタッチ位置のX,Y座標を出力する。 Respect, X number and touch position of the detected touch position, and outputs the Y-coordinate. また、91は情報処理を行うM In addition, 91 performs information processing M
PU、92は、以下に述べる処理を行うための情報処理プログラムを格納する、ROMであるメモリ、94は、 PU, 92 stores an information processing program for performing processing described below, the memory is a ROM, 94,
RAMであるメモリ、96は、同時複数タッチ位置検出装置7からのタッチ位置の個数と座標とを受けるとともに、MPU91から表示するためのデータを受けて、映像信号を生成して表示装置9に出力するインタフェース部、95は、バスである。 Memory is a RAM, 96 is output along with receiving the number and coordinates of the touch position from multiple simultaneous touch position detection device 7 receives the data to be displayed from the MPU 91, a display device 9 and generates a video signal interface unit which, 95 is a bus. ここで、図に示したように、 Here, as shown in FIG,
同時複数タッチ位置検出装置8と表示装置9は一体化されている。 Simultaneous multiple touch position detection device 8 and the display device 9 are integrated.

【0219】そして、選択された各処理においては、同時複数タッチ位置検出装置8から得られる、同時にタッチされた複数のタッチ位置情報を受けたMPU91が、 [0219] In each process selected is obtained from multiple simultaneous touch position detection device 8, the MPU91 which receives a plurality of touch position information simultaneously touched,
メモリ92、94内に格納した情報処理プログラムに従って、同時複数ジェスチャ操作に対応した情報処理を行う。 According information processing program stored in the memory 92, performs processing corresponding to the multiple simultaneous gesture operation.

【0220】以下説明する本発明の第5〜8の4つの実施例においては、表示装置8に表示される図形編集処理用表示画面を示しながら、MPU91が行う、同時複数ジェスチャ操作により指示された処理について述べる。 [0220] In the fifth to eighth four embodiments of the present invention to be described below, while showing a display screen for graphic editing process displayed on the display device 8, MPU 91 performs, is instructed by the simultaneous multiple gesture operation processing will be described.

【0221】MPU91は、同時複数タッチ位置検出装置7から、一定時間ごとに、タッチ位置の情報を受付ける。 [0221] MPU91 from multiple simultaneous touch position detection device 7, at predetermined intervals, receives the information on the touch position. この時間は、0.1秒以下である。 This time, is less than or equal to 0.1 seconds. この情報からタッチ位置がどのような軌跡を描いているかを判定する。 It determines whether the touch position from this information depicts what trajectory.
複数の指でタッチされる場合に、複数の軌跡が得られるが、どの軌跡がどの指によるかの判別方法は以下のように行われる。 When it is touched by a plurality of fingers, a plurality of trajectories are obtained, which locus of discriminating method by which finger is performed as follows. 2つの指により2つの軌跡が描かれる場合について、図24により述べる。 For the case where the two fingers the two trajectories depicted, described by Figure 24.

【0222】図24は、各対象物を平行移動させる場合の指示方法、およびその指示を受けたMPU91により対象物が平行移動されて、指示された位置に表示された状態を示す。 [0222] Figure 24 is an instruction method when translating the respective object, and the object is translated by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0223】図において、A、Bはジェスチャ対象物の図形、A'、B'はジェスチャ操作後の図形である。 [0223] In Figure, A, B are graphic gesture object, A ', B' is a figure after the gesture operation. 実線は、指の移動(タッチ位置の移動)方向を示し、点線は、図形A,Bの移動方向を示す。 The solid line indicates the movement (movement of the touch position) direction of the finger, the dotted line illustrates graphic A, the movement direction of the B. a,bは、最初にタッチされたタッチ位置を示し、タッチ位置の軌跡の開始点である。 a, b shows a first touched the touch position is the starting point of the trajectory of the touch position. a',b'は、最後にタッチされたタッチ位置を示し、タッチ位置の軌跡の終了点である。 a ', b' in the end shows the touched touch position, which is the end point of the trajectory of the touch position. 以下の図においても、「'」は、移動後の図形または軌跡の終了点を表すものとする。 Also in the following figures, " '" is intended to indicate the end point of a figure or the trajectory after the movement. Tはタッチ位置aにタッチしている親指を示し、T'は、移動後にタッチ位置a'にタッチしている親指を示す。 T represents a thumb is touching the touch position a, T 'is touched position a after moving' it shows the thumb is touching the. Vはタッチ位置bにタッチしている人差指を示し、V'は、移動後にタッチ位置b'にタッチしている人差指を示す。 V represents the index finger that is touching the touch position b, V 'is, the touch position b after moving' shows the index finger that is touching the.

【0224】図に示したように、親指と人差指で図形A、Bの外郭内を指示した後、各タッチ位置の位置関係を保ったまま手を平行移動することにより、図形A、B [0224] As shown in FIG, figure A with the thumb and index finger, after instructing the inside contour of B, by translating the hand while maintaining the positional relationship between the touch position, figure A, B
が図形A'、B'の位置に平行移動する。 There translated to the position of figure A ', B'.

【0225】同時複数タッチ位置検出装置7からは、少なくとも0.1秒おきに、2つのタッチ位置が送られてくる。 [0225] From the multiple simultaneous touch position detection device 7, at least 0.1 second intervals, two touch positions is sent. 仮に0.1秒として説明する。 If it described as 0.1 seconds. MPU91は、最新に送られてきた2つのタッチ位置(a,bとする) MPU91 the two touch positions that has been sent to the most recent (a, a b)
と、0.1秒前に送られてきた2つのタッチ位置(a'',b''とする)とを比較し、2つのタッチ位置のうち少なくとも1つの位置が変化しているときに軌跡が描かれていると判断する。 When the locus when the two touch positions sent before 0.1 seconds (a '', b 'and') and comparing, where at least one position of the two touch positions are changed it is judged that has been drawn. そして、点aと点a'' Then, point a and point a ''
の距離、点aと点a''の距離を求める。 Determining the distance, the distance between the point a and point a ''. この2つの距離の絶対値(それぞれ、|a−a''|,|a−b'' The absolute value of the two distances (respectively, | a-a '' |, | a-b ''
|とする)を比較し、小さい方、例えば、|a−a'' | To) comparing, smaller, for example, | a-a ''
|の方が小さければ、a,a''を1つの軌跡上の点と判断する。 | If the people of the small, a, it is determined that the point on one of the locus a ''. そして、bとb''とが同一の軌跡上にあるとする。 Then, the b and the b '' are on the same locus.

【0226】タッチ位置の検出は0.1秒以下の間隔で行われており、0.1秒ずれている軌跡上の2つの点の距離は、各時刻における2つのタッチ位置の距離(2つの指の間の距離であるため、最低でも1つの指の太さ程度の距離がある)よりも小さい点から上記のような方法で求めることができる。 [0226] Detection of the touch position are carried out at intervals of 0.1 second or less, the distance between two points on the trajectory are shifted 0.1 seconds, the two touch positions at each time distance (two since the distance between the fingers, can be determined from the point less than the lowest is the distance of about the thickness of one finger in), as specified above.

【0227】なお、軌跡の開始点は、0.5秒以上タッチ位置が入力されていないときに、タッチ位置の入力があったとき、そのタッチ位置を開始点とする。 [0227] Incidentally, the starting point of the trajectory, when you do not enter the touch position than 0.5 seconds, when there is an input of the touch position and the touch position as the start point. また、終了点は、タッチ位置の入力があったときから、0.5秒以上次のタッチ位置の入力が無かったとき、最後のタッチ位置を終了点とする。 Furthermore, end point, since there is an input of the touch position, when the input of the next touch position there is no more than 0.5 seconds, and the end point of the last touch location.

【0228】次に、図22のステップ2202における平行移動であるかどうかの判定方法を図24、図39により説明する。 [0228] Next, FIG. 24 will be described with reference to FIG. 39 whether the judging method is a parallel movement in the step 2202 in FIG. 22. 前の時間のタッチ位置と今回のタッチ位置とを比較したときに、対応するタッチ位置間におけるX座標及びY座標の差分(符号を考慮する)がどのタッチ位置についても同程度であるときに、平行移動であると判定する。 When comparing the touch position and the current touched position in time before, when the corresponding (consider the sign) the difference of the X and Y coordinates between the touch position is the degree also the for any touch position, It determines that translation. すなわち、図39において、x1=x2、 That is, in FIG. 39, x1 = x2,
y1=y2のとき、平行移動であるとする。 When y1 = y2, and a parallel movement. この際に、 In this case,
X座標及びY座標の変化について許容値を設け、x1とx2の差およびy1とy2の差がいずれも許容値以下のときは、平行移動であるとする。 Changes of X and Y coordinates provided tolerance, any difference x1 and x2 of the difference and y1 and y2 are when the allowable value or less, and a parallel movement.

【0229】図22のステップ2204における回転移動であるかどうかの判定方法を図25、図40により説明する。 [0229] Figure a rotational movement in step 2204 is whether the determination process of FIG. 22 25, will be described with reference to FIG 40. 図25は、各対象物を回転移動させる場合の指示方法、およびその指示を受けたMPU91により対象物が回転移動されて、指示された位置に表示された状態を示す。 Figure 25 is an instruction method when rotating moves each object, and the object is rotated and moved by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0230】図において、C、Dはジェスチャ対象物の図形、C'、D'はジェスチャ操作後の図形である。 [0230] In Figure, C, D are graphic gesture subject, C ', D' is the figure after the gesture operation. 図に示したように、親指と人差指で図形C、Dの外郭内を指示した後、各タッチ位置の位置関係を保ったまま手を回転移動することにより、図形C、Dが図形C'、D' As shown in the figure, after instructing the inside contour of the figure C, D with the thumb and index finger, by rotating moving hands while maintaining the positional relationship between the touch position, figure C, D are graphic C ', D '
の位置に回転移動する。 To position rotational movement.

【0231】cd間の距離およびc'd'間の距離が一定であり、さらに、前の時間のタッチ位置と今回のタッチ位置とを比較したときに、対応するタッチ位置間におけるX座標及びY座標の差分(符号を考慮する)のうち少なくとも一方が変化しているときに、回転移動であると判定する。 [0231] The distance between the distance and c'd 'between cd is constant, further, when compared with the previous time of the touch position and the current touched position, X coordinates between the corresponding touch position and Y when at least one of the coordinates of the difference (consider code) changes, determines that the rotational movement. すなわち、図40において、x1≠x2、 That is, in FIG. 40, x1 ≠ x2,
y1≠y2のうち、少なくとも一方が成立しているとき、回転移動であるとする。 Of y1 ≠ y2, when at least one is established, and a rotational movement. この際に、cd間の距離およびc'd'間の距離の差について許容値を設け、差が許容値以下のときは、等しいとする。 In this case, the difference in distance between the distance and c'd 'between cd provided tolerance, the difference is when the allowable value or less, the same. また、X座標及びY座標の変化について許容値を設け、x1とx2の差およびy1とy2の差のうち少なくとも一方が許容値以上のときは、差があるとする。 Further, the allowable value is provided for the change of the X and Y coordinates, and at least one of the difference between the difference and y1 and y2 of x1 and x2 is when exceeding the allowable value, there is a difference. これらのときは、回転移動であるとする。 When these are to be rotational movement.

【0232】図22のステップ2206における伸縮変形であるかどうかの判定方法を図26、図41により説明する。 [0232] Figure 26 whether the judging method is a stretch deformation in step 2206 of FIG. 22 will be described with reference to FIG. 41.

【0233】図26は、各対象物を伸縮変形させる場合の指示方法、およびその指示を受けたMPU91により対象物が伸縮変形されて、指示された位置に表示された状態を示す。 [0233] Figure 26 is an instruction method when extending and retracting deform each object, and the object is stretchable deformed by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0234】図において、E、Fはジェスチャ対象物の図形、E'、F'はジェスチャ操作後の図形である。 [0234] In Figure, E, F are graphic gesture object, E ', F' is the figure after the gesture operation. 図に示したように、親指と人差指で図形E、Fの外郭内を指示した後、各タッチ位置を伸縮変形移動することにより、図形E、Fが図形E'、F'の位置に個別移動する。 As shown, profile E thumb and index finger, after instructing the inside contour of F, by the respective touch positions stretch Xform, moved individually to the position of figure E, F are graphic E ', F' to.

【0235】前の時間のタッチ位置と今回のタッチ位置とを比較したときに、対応するタッチ位置間におけるX [0235] When the front of comparing the touch position and the current touched position in time, X between the corresponding touch position
座標及びY座標の差分(符号を考慮する)の比がどのタッチ位置についても同じであり、かつ、図41に示すx Coordinates and the ratio of the difference (consider the sign) of the Y-coordinate is the same for every touch position, and, x shown in FIG. 41
1とx2の符号が逆であるか、y1とy2の符号が逆であるときに、伸縮変形であると判定する。 1 whether the sign of x2 is reversed, judges that when the sign of y1 and y2 are opposite, a stretch deformation. すなわち、図41において、y1/x1=y2/x2であり(x1= That is, in FIG. 41, a y1 / x1 = y2 / x2 (x1 =
x2=0のときはこの条件は考慮しない)、かつ、x1 This condition is when x2 = 0 is not taken into account), and, x1
×x2が負またはy1×y2が負であるとき、伸縮変形であるとする。 When × x2 is negative or y1 × y2 it is negative, and a telescopic deformation. この際に、y1/x1とy2/x2との差について許容値を設け、y1/x1とy2/x2x1 In this case, the allowable value is provided for the difference between y1 / x1 and y2 / x2, y1 / x1 and y2 / x2x1
との差が許容値以下のときは、等しいとする。 The difference between the when the allowable value or less, the same. また、x In addition, x
1×x2と、y1×y2についても、負で許容値より大きいときは、負であるとする。 And 1 × x2, for even y1 × y2, is greater than the allowable value in negative, and negative.

【0236】本発明の第5の実施例を図24〜図26により説明する。 [0236] The fifth embodiment of the present invention will be described with reference to FIGS. 24 to 26. 本実施例では、対象物の指定方法が外郭内指定である場合に、平行移動指示、回転移動指示、伸縮変形指示を受けたときの処理について述べる。 In this embodiment, when the method of specifying the object is a shell within specified describes the process when subjected to parallel movement instruction, rotational movement instruction, stretching deformation instruction.

【0237】図24において、タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように、対象物の指定方法は、外郭内であり、ジェスチャ操作の指示内容は、平行移動であると判定する。 [0237] In FIG. 24, at regular intervals from multiple simultaneous touch position detection device 7 detects the touch position, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, as described above , how to specify the object is within the shell, the instruction content of the gesture operation is determined to be a translation. そして、移動量を表すベクトルを図39の(x1,y1)として求める。 Then, a vector representing the movement amount as (x1, y1) in FIG. 39. 移動後の位置に図形A',B'を表示するためのデータをインターフェース部96に送る。 Figure A to the position after movement ', B' and sends the data for displaying the interface portion 96. インターフェース部96は、映像信号を生成して、表示装置8に送る。 Interface unit 96 generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0238】本実施例では、2つの図形の平行移動について説明したがこれに限るものではない。 [0238] In this example, it has been described translation of two shapes but not limited thereto.

【0239】本実施例によれば、マウスなどでは複数回の操作を必要とする複数図形の平行移動指示を、より自然な1度の操作で実現できるので、図形編集処理の操作性を向上させることができる。 [0239] According to this embodiment, the translation instruction multiple shapes that require multiple operations etc. in a mouse, can be realized in a more natural one operation, improving the operability of the graphic editing process be able to.

【0240】図25は、各対象物を回転移動させる場合の指示方法、およびその指示を受けたMPU91により対象物が回転移動されて、指示された位置に表示された状態を示す。 [0240] Figure 25 is an instruction method when rotating moves each object, and the object is rotated and moved by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0241】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように、対象物の指定方法は、外郭内であり、ジェスチャ操作の指示内容は、回転移動であると判定する。 [0241] From the simultaneous multiple touch position detection device 7 detects the touch position per certain time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, as described above, the object designated method determines is within the shell, the instruction content of the gesture operation is a rotary movement. 次に、MPU91は、以下のようにして回転角度を算出する。 Then, MPU 91 calculates the rotation angle as follows. 図37に、回転角度Δθの算出概念図を示す。 Figure 37 shows a calculation conceptual view of the rotary angle [Delta] [theta].

【0242】図において、点a,点bは回転前のタッチ位置、点a',点b'は、回転後のタッチ位置、角度θ [0242] In Figure, point a, point b is touched position before rotation, the points a ', point b', the touch position after the rotation, the angle θ
は回転前の線分abの水平角度、角度θ'は回転後の線分a'b'の水平角度、角度Δθは回転前の線分abと回転後の線分a'b'とのなす角度である。 The horizontal angle of the line segment ab before rotation, the angle theta 'line segment after rotation a'b' horizontal angles, the angle Δθ is formed between the line segment ab before rotation segment a'b after rotation ' it is the angle.

【0243】図示したように、回転の角度Δθは、 Δθ=θ−θ' である。 [0243] As shown, the angle [Delta] [theta] of rotation is Δθ = θ-θ '.

【0244】従って、以下では、角度θ,角度θ'を算出する。 [0244] Therefore, in the following, the angle theta, calculates an angle theta '.

【0245】図示したように、角度θ,角度θ'は、三角関数により、 [0245] As illustrated, the angle theta, the angle theta 'is the trigonometric function,

【0246】 [0246]

【数1】 [Number 1]

【0247】である。 [0247] a.

【0248】回転角度を求めると、MPU91は、移動後の位置に図形C',D'を表示するためのデータをインターフェース部96に送る。 [0248] When obtaining the rotational angle, MPU 91 sends graphic C in position after the movement ', D' data for displaying the interface portion 96. インターフェース部96 Interface unit 96
は、映像信号を生成して、表示装置8に送る。 It generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0249】本実施例では、2つの図形の回転移動について説明したがこれに限るものではない。 [0249] In this example, it has been described rotational movement of the two shapes but not limited thereto.

【0250】本実施例によれば、マウスなどでは複数回の操作を必要とする複数図形の回転移動指示などを、より自然な1度の操作で実現できるので、図形編集処理の操作性を向上させることができる。 [0250] According to this embodiment, since the mouse and several figures of the rotary movement instruction which requires multiple operations can be realized in a more natural one operation, improving the operability of the graphic edit processing it can be.

【0251】図26は、各対象物を伸縮変形させる場合の指示方法、およびその指示を受けたMPU91により対象物が伸縮変形されて、指示された位置に表示された状態を示す。 [0251] Figure 26 is an instruction method when extending and retracting deform each object, and the object is stretchable deformed by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0252】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように、対象物の指定方法は、外郭内であり、ジェスチャ操作の指示内容は、伸縮変形であると判定する。 [0252] From the simultaneous multiple touch position detection device 7 detects the touch position per certain time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, as described above, the object designated method determines is within the shell, the instruction content of the gesture operation is telescopic deformation. 変形量(伸縮比)は、移動前の図形E,F上のタッチ位置をe(Xe,Ye),f(Xf,Yf)とし、これらの点が、移動後にe'(Xe',Ye'), Deformation amount (expansion ratio), figure E before the movement, the touch position on the F e (Xe, Ye), and f (Xf, Yf), these points, e '(Xe' after the move, Ye ' ),
f'(Xf',Yf')の位置に来たとすると、(X f '(Xf', Yf ') If you came to the position of, (X
f'−Xe')/(Xf−Xe)として求まる。 f'-Xe ') obtained as / (Xf-Xe). また、 Also,
その位置は、移動前の図形E上のタッチ位置eが、移動後のタッチ位置e'に来るということから決まる。 Its position, the touch position e on geometry E before the movement is determined from the fact that come into touch position e 'after movement. MP MP
U91は、移動後の位置に図形E',F'を表示するためのデータをインターフェース部96に送る。 U91 is a figure E in the position after the movement ', F' and sends the data for displaying the interface portion 96. インターフェース部96は、映像信号を生成して、表示装置8に送る。 Interface unit 96 generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0253】本実施例では、2つの図形の個別移動について説明したがこれに限るものではない。 [0253] In this example, it has been described individual movement of the two figures, but not limited thereto.

【0254】本実施例によれば、マウスなどでは複数回の操作を必要とする複数図形の個別移動指示などを、より自然な1度の操作で実現できるので、図形編集処理の操作性を向上できる。 [0254] According to this embodiment, since the mouse and individual movement instruction multiple shapes that require multiple operations can be realized in a more natural one operation, improving the operability of the graphic edit processing it can.

【0255】本発明の第6の実施例を図27〜図30により説明する。 [0255] The sixth embodiment of the present invention will be described with reference to FIGS. 27 to 30. 本実施例では、対象物の指定方法が外郭上指定である場合に、平行移動指示、回転移動指示、伸縮変形指示を受けたときの処理について述べる。 In this embodiment, if the specified method of an object is specified on the outline describes the process when subjected to parallel movement instruction, rotational movement instruction, stretching deformation instruction.

【0256】図27は、各対象物を平行移動させる場合の指示方法、およびその指示を受けたMPU91により対象物が平行移動されて、指示された位置に表示された状態を示す。 [0256] Figure 27 is an instruction method when translating the respective object, and the object is translated by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0257】図において、Gはジェスチャ対象物の図形、G'はジェスチャ操作後の図形である。 [0257] In Figure, G is graphic gesture object, G 'is the figure after the gesture operation.

【0258】図に示したように、親指と人差指で図形G [0258] As shown in the figure, the figure with your thumb and index finger G
の対角近辺の外郭上を指示した後、各タッチ位置の位置関係を保ったまま手を平行移動することにより、図形G Pairs after instructing the above outline around the corner, by translating the hand while maintaining the positional relationship between the touch position, figure G of
が図形G'の位置に平行移動する。 There translated to the position of the graphic G '.

【0259】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように、対象物の指定方法は、外郭上であり、ジェスチャ操作の指示内容は、平行移動であると判定する。 [0259] From the simultaneous multiple touch position detection device 7 detects the touch position per certain time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, as described above, the object designated method determines a on the outer, instruction contents of the gesture operation, a parallel movement. そして、移動量を表すベクトルを図39の(x Then, in FIG. 39 the vector representing the movement amount (x
1,y1)と同様にして求める。 1, y1) and obtained in the same manner. 移動後の位置に図形G'を表示するためのデータをインターフェース部96 Interface data for displaying a graphic G 'in position after the movement 96
に送る。 Send to. インターフェース部96は、映像信号を生成して、表示装置8に送る。 Interface unit 96 generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0260】本実施例では、図形の対角近辺の外郭上指示による図形の平行移動について説明したがこれに限るものではない。 [0260] In the present embodiment has been described is not limited to this For translation of figures provided by enclosures on instructions near diagonal shapes.

【0261】本実施例によれば、1つの図形の平行移動指示などを、マウスなどに比べより自然な操作で実現できるので、図形編集処理の操作性を向上できる。 [0261] According to this embodiment, and the parallel movement instruction of one figure, it can be realized in a natural operation more than are the mouse, thereby improving the operability of the graphics editing process.

【0262】図28は、対象物を回転移動させる場合の指示方法、およびその指示を受けたMPU91により対象物が回転移動されて、指示された位置に表示された状態を示す。 [0262] Figure 28 is an instruction method when rotationally moving an object, and the object is rotated and moved by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0263】図において、Hはジェスチャ対象物の図形、H'はジェスチャ操作後の図形である。 [0263] In Figure, H is the figure of the gesture subject, H 'is the figure after the gesture operation.

【0264】図に示したように、親指と人差指で図形H [0264] As shown in the figure, the figure with your thumb and index finger H
の対角近辺の外郭上を指示した後、各タッチ位置の位置関係を保ったまま手を回転移動することにより、図形H Pairs after instructing the above outline around the corner, by rotating moving hands while maintaining the positional relationship between the touch position, figure H in
が図形H'の位置に回転移動する。 There rotational movement to the position of figure H '.

【0265】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように、対象物の指定方法は、外郭上であり、ジェスチャ操作の指示内容は、回転移動であると判定する。 [0265] From the simultaneous multiple touch position detection device 7 detects the touch position per certain time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, as described above, the object designated method determines a on the outer, the instruction content of the gesture operation is a rotary movement. 次に、MPU91は、図37のようにして回転角度を算出する。 Then, MPU 91 calculates the rotation angle as Figure 37. 回転角度を求めると、MPU91は、 When obtaining the rotational angle, the MPU 91,
移動後の位置に図形H'を表示するためのデータをインターフェース部96に送る。 It sends data for displaying a graphic H 'in position after the movement to the interface unit 96. インターフェース部96 Interface unit 96
は、映像信号を生成して、表示装置8に送る。 It generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0266】本実施例では、図形の対角近辺の外郭上指示による図形の回転移動についてについて説明したがこれに限るものではない。 [0266] In the present embodiment has been described is not limited to this for the rotation movement of figures provided by enclosures on instructions in the vicinity pairs figure corners.

【0267】本実施例によれば、マウスなどでは複数回の操作を必要とする1つの図形の回転移動指示などを、 [0267] According to this embodiment, and one figure rotational movement instruction which requires multiple operations etc. in mice,
より自然な1度の操作で実現できるので、図形編集処理の操作性を向上できる。 It can be realized in a more natural one operation, thereby improving the operability of the graphic editing process.

【0268】図29は、対象物を伸縮変形させる場合の指示方法、およびその指示を受けたMPU91により対象物が伸縮変形されて、指示された位置に表示された状態を示す。 [0268] Figure 29 is an instruction method when extending and retracting deforming the object, and the object is stretchable deformed by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0269】図において、Iはジェスチャ対象物の図形、I'はジェスチャ操作後の図形である。 [0269] In FIG, I is graphic gesture subject, I 'is the figure after the gesture operation.

【0270】図に示したように、親指と人差指で図形I [0270] As shown in the figure, the figure with your thumb and index finger I
の対角近辺の外郭上を指示した後、各タッチ位置を伸縮変形移動することにより、図形Iが図形I'の位置に伸縮する。 After instructing the outer top near diagonal, by the each touch position stretching Xform, figure I is stretchable in the position of figure I '.

【0271】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように、対象物の指定方法が外郭上であり、 [0271] From the simultaneous multiple touch position detection device 7 detects the touch position per certain time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, as described above, the object How to specify is on the outer shell,
ジェスチャ操作の指示内容が平行移動であると判定する。 It determines that the instruction content of the gesture operation is translated. 次に、MPU91は、変形量(伸縮比)と、変形後の位置を図26と同様にして求める。 Then, MPU 91 is deformed amount (stretch ratio) to determine the position after deformation in the same manner as in FIG. 26. MPU91は、移動後の位置に図形I'を表示するためのデータをインターフェース部96に送る。 MPU91 sends data for displaying the graphic I 'to the position after the movement to the interface unit 96. インターフェース部96は、 Interface unit 96,
映像信号を生成して、表示装置8に送る。 It generates a video signal and sends it to the display device 8. 表示装置8 Display device 8
は、映像信号に従って表示する。 It will be displayed in accordance with the video signal.

【0272】本実施例では、図形の対角近辺の外郭上指示による図形の伸縮について説明したがこれに限るものではない。 [0272] In this embodiment, not been described limited thereto about expansion of figures provided by enclosures on instructions in the vicinity pairs figure corners.

【0273】本実施例によれば、マウスなどでは複数回の操作を必要とする1つの図形の伸縮指示などを、より自然な1度の操作で実現できるので、図形編集処理の操作性を向上できる。 [0273] According to this embodiment, and telescopic indication of one figure that require multiple operations etc. in a mouse, can be realized in a more natural one operation, improving the operability of the graphic edit processing it can.

【0274】次に、外郭上指定および範囲内指定の場合のみに指定可能な、図30のように図形をたわませる場合の伸縮変形について述べる。 [0274] Next, can be specified only when the outer over specified and range specified describes elastic deformation when deflecting the figure as shown in FIG. 30.

【0275】図30は、対象物を伸縮変形させる場合の指示方法、およびその指示を受けたMPU91により対象物が伸縮変形されて、指示された位置に表示された状態を示す。 [0275] Figure 30 is an instruction method when extending and retracting deforming the object, and the object is stretchable deformed by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0276】図において、Jはジェスチャ対象物の図形、J'はジェスチャ操作後の図形である。 [0276] In Figure, J Shapes gesture subject, J 'is a figure after the gesture operation. Tは、右手の親指、Vは右手の人差指、T1は、左手の親指、V1 T is, the right-hand thumb, V is the right hand of the index finger, T1 is, the thumb of the left hand, V1
は左手の人差指である。 It is the left hand of the index finger.

【0277】図に示したように、両手の親指と人差指で図形Jの4頂点の近くの外郭上を指示した後、両手の各タッチ位置を図30のように伸縮変形移動することにより、図形Jが図形J'の位置に変形する。 [0277] As shown in FIG, after instructing the nearby shell above the four vertices of the figure J thumb and forefinger of each hand, by stretching Xform as in Figure 30 the each touch position of both hands, figure J is deformed to the position of figure J '.

【0278】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定する。 [0278] at regular intervals from multiple simultaneous touch position detection device 7 detects the touch position, the inputted touch position MPU91 determines the trajectory of the touch position. 対象物の指定方法は、外郭上であると前述のように判定する。 How to specify the object determines as described above and is on the outer.
ジェスチャ操作の指示内容については、図30に示す伸縮変形であるかどうかの判定を以下のように行う。 The instruction content of the gesture operation is performed as follows to determine whether a stretchable modification shown in FIG. 30. タッチ位置をa,b,c,dとしたときに、a,bの軌跡が図22のステップ4で述べた回転移動の判定方法により回転であると判定され、さらに、c,dについても同様の方法で回転移動であると判定されたときに、図30に示す伸縮変形であると判定する。 A touch position a, b, c, when the d Similarly, a, the trajectory of b is determined to be rotated by the determination method of the rotational movement described in Step 4 of FIG. 22, further, c, also d of when it is determined that the rotational movement in a way, determines that expands and contracts as shown in FIG. 30.

【0279】次に、MPU91は、変形後の位置を以下のようにして求める。 [0279] Then, MPU 91 obtains the position after deformation as follows. 図38に、変形後の円弧図形の円弧状中心線算出の概念図を示す。 Figure 38 shows a conceptual view of the arcuate center line calculation of the arc shape after deformation.

【0280】図38において、図形Sは変形前の長方形、図形S'は変形後の幅を持った円弧図形である。 [0280] In FIG. 38, the figure S before deformation rectangular shapes S 'is a circular arc shape having a width after deformation.
w,w'は図形S,S'の幅、l,l'は図形S,S' w, w 'is the figure S, S' width of, l, l 'is the figure S, S'
の幅方向の中心線である。 It is the width direction of the center line.

【0281】図示したょうに、円弧である中心線l'の半径rは、ピタゴラスの定理により [0281] to You shown, the radius r of an arc-center line l 'is the Pythagorean Theorem

【0282】 [0282]

【数2】 [Number 2]

【0283】である。 [0283] a. また、変形前の図形Sの幅wと、 In addition, the width w of the deformation front of the figure S,
変形後の図形S'の幅w'との関係は、 w=w' である。 Relationship between the 'width w' of figure S after deformation is w = w '. 従って、以下では、円弧である中心線l'の中心点Oを算出する。 Therefore, in the following, it calculates the center point O of an arc centerline l '.

【0284】図示したように、点a'と点b'の2点を通る直線y 1と、点c'と点d'の2点を通る直線y [0284] As shown, the straight line passing through the straight line y 1 passing through two points of the point a 'and point b', the two points of the point c 'a point d' y
2は、それぞれ、2点を通る直線の公式により、 2, respectively, of the straight line passing through the two points by the official,

【0285】 [0285]

【数3】 [Number 3]

【0286】である。 [0286] a. また、これらの直線y 1と直線y 2 Also, these lines y 1 and the straight line y 2
との交点である、点Oの座標(Xo,Yo)は、2直線の交点の公式により、 Is an intersection of the point O of the coordinates (Xo, Yo) are the two lines of intersection by formula,

【0287】 [0287]

【数4】 [Number 4]

【0288】である。 [0288] a.

【0289】MPU91は、形状および位置が求まると、変形後の位置に図形I'を表示するためのデータをインターフェース部96に送る。 [0289] MPU91 is the shape and position is obtained, and sends the data for displaying the graphic I 'in position after deformation to the interface unit 96. インターフェース部9 Interface unit 9
6は、映像信号を生成して、表示装置8に送る。 6 generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0290】本実施例では、図形の4頂点の近くの外郭上指示による図形の変形について説明したがこれに限るものではない。 [0290] In the present embodiment has been described is not limited to this a modified figure by near outer on instructions of the four vertices of the figure. 4つのタッチ位置が長方形の4頂点の位置関係にあれば可能である。 Four touch position can be if the positional relationship of the four vertices of a rectangle. この時、変形量を算出することができるため、任意の図形について、変形後の形状および位置を算出することができる。 In this case, it is possible to calculate the amount of deformation, for any shape, it is possible to calculate the shape and position after deformation. また、範囲内指定の場合も同様に可能である。 Moreover, it is likewise possible if the range within the specified.

【0291】本実施例によれば、マウスなどでは複数回の操作を必要とする1つの図形の変形指示などを、より自然な1度の操作で実現できるので、図形編集処理の操作性を向上させることができる。 [0291] According to this embodiment, the deformation indication of one figure that require multiple operations etc. in a mouse, can be realized in a more natural one operation, improving the operability of the graphic edit processing it can be.

【0292】本発明の第7の実施例を図31〜図33により説明する。 [0292] The seventh embodiment of the present invention will be described with reference to FIGS. 31 to 33. 本実施例では、対象物の指定方法が範囲内指定である場合に、平行移動指示、回転移動指示、伸縮変形指示を受けたときの処理について述べる。 In this embodiment, if the specified method of an object is the designated range, it describes the process when subjected to parallel movement instruction, rotational movement instruction, stretching deformation instruction.

【0293】図31は、各対象物を平行移動させる場合の指示方法、およびその指示を受けたMPU91により対象物が平行移動されて、指示された位置に表示された状態を示す。 [0293] Figure 31 is an instruction method when translating the respective object, and the object is translated by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0294】図において、K、Lはジェスチャ対象物の図形、K'、L'はジェスチャ操作後の図形である。 [0294] In Figure, K, L are graphic gesture subject, K ', L' is the figure after the gesture operation.

【0295】図に示したように、親指と人差指で図形K、Lの外郭外を指示した後、各タッチ位置の位置関係を保ったまま手を平行移動することにより、図形K、L [0295] As shown in FIG, figure K thumb and index finger, after instructing the outer outside L, by which to translate hand while maintaining the positional relationship between the touch position, figure K, L
が図形K'、L'の位置に平行移動する。 There translates to the position of figure K ', L'.

【0296】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように対象物の指定方法が範囲内であり、ジェスチャ操作の指示内容が平行移動であると判定する。 [0296] For each of multiple simultaneous touch position detection device 7 detects a touch position given time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, the designation of the object as described above the method is in the range, determines that the instruction content of the gesture operation is translated.
そして、移動量を表すベクトルを図39の(x1,y Then, in FIG. 39 the vector representing the movement amount (x1, y
1)と同様にして求める。 Obtained in the same manner as 1). 移動後の位置に図形K', Figure K 'in position after the movement,
L'を表示するためのデータをインターフェース部96 Interface unit 96 the data for displaying the L '
に送る。 Send to. インターフェース部96は、映像信号を生成して、表示装置8に送る。 Interface unit 96 generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0297】本実施例では、2つの図形の平行移動について説明したがこれに限るものではない。 [0297] In this example, it has been described translation of two shapes but not limited thereto.

【0298】本実施例によれば、マウスなどでは複数回の操作を必要とする複数図形の平行移動指示などを、より自然な1度の操作で実現できるので、図形編集処理の操作性を向上させることができる。 [0298] According to this embodiment, since the mouse and translation instruction multiple shapes that require multiple operations can be realized in a more natural one operation, improving the operability of the graphic edit processing it can be.

【0299】図32は、各対象物を回転移動させる場合の指示方法、およびその指示を受けたMPU91により対象物が回転移動されて、指示された位置に表示された状態を示す。 [0299] Figure 32 is an instruction method when rotating moves each object, and the object is rotated and moved by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0300】図において、M、Nはジェスチャ対象物の図形、M'、N'はジェスチャ操作後の図形である。 [0300] In Figure, M, N are graphic gesture subject, M ', N' is the figure after the gesture operation.

【0301】図に示したように、親指と人差指で図形M、Nの外郭外を指示した後、各タッチ位置の位置関係を保ったまま手を回転移動することにより、図形M、N [0301] As shown in FIG, figure thumb and forefinger M, after instructing the outer outside N, by rotating moving hands while maintaining the positional relationship between the touch position, figure M, N
が図形M'、N'の位置に回転移動する。 There rotational movement to the position of figure M ', N'.

【0302】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように対象物の指定方法が範囲内であり、ジェスチャ操作の指示内容が回転移動であると判定する。 [0302] For each of multiple simultaneous touch position detection device 7 detects a touch position given time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, the designation of the object as described above the method is in the range, determines that the instruction content of the gesture operation is rotational movement.
そして、回転角を図37と同様にして求める。 Then, a rotation angle in the same manner as in FIG. 37. 移動後の位置に図形M',N'を表示するためのデータをインターフェース部96に送る。 Figure M to the position after the movement ', N' sends the data for displaying the interface portion 96. インターフェース部96は、 Interface unit 96,
映像信号を生成して、表示装置8に送る。 It generates a video signal and sends it to the display device 8. 表示装置8 Display device 8
は、映像信号に従って表示する。 It will be displayed in accordance with the video signal.

【0303】本実施例では、2つの図形の回転移動について説明したがこれに限るものではない。 [0303] In this example, it has been described rotational movement of the two shapes but not limited thereto.

【0304】本実施例によれば、マウスなどでは複数回の操作を必要とする複数図形の回転移動指示などを、より自然な1度の操作で実現できるので、図形編集処理の操作性を向上できる。 [0304] According to this embodiment, since the mouse and several figures of the rotary movement instruction which requires multiple operations can be realized in a more natural one operation, improving the operability of the graphic edit processing it can.

【0305】図33は、各対象物を伸縮変形させる場合の指示方法、およびその指示を受けたMPU91により対象物が伸縮変形されて、指示された位置に表示された状態を示す。 [0305] Figure 33 is an instruction method when extending and retracting deform each object, and the object is stretchable deformed by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0306】図において、O、Pはジェスチャ対象物の図形、O'、P'はジェスチャ操作後の図形である。 [0306] In Figure, O, P are graphic gesture object, O ', P' is the figure after the gesture operation.

【0307】図に示したように、親指と人差指で図形O、Pの外郭外を指示した後、各タッチ位置を伸縮変形移動することにより、図形O、Pが図形O'、P'の位置に伸縮変形する。 [0307] As shown in FIG, after instructing the outer outside shapes O, P thumb and index finger, the position of the by the respective touch positions stretch Xform, graphics O, P the graphic O ', P' the expansion and contraction deformation. 本図における変形量、変形後の位置は、図34と同様にして求めることができる。 Deformation amount, the position after the deformation in the figure, can be obtained in the same manner as in FIG. 34.

【0308】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように対象物の指定方法が範囲内であり、ジェスチャ操作の指示内容が伸縮変形であると判定する。 [0308] For each of multiple simultaneous touch position detection device 7 detects a touch position given time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, the designation of the object as described above the method is in the range, determines that the instruction content of the gesture operation is elastic.
そして、変形量、変形後の位置は、図26と同様にして求める。 Then, the deformation amount, the position after deformation is determined in the same manner as in FIG. 26. 移動後の位置に図形O',P'を表示するためのデータをインターフェース部96に送る。 Figure O to the position after the movement ', P' sends the data for displaying the interface portion 96. インターフェース部96は、映像信号を生成して、表示装置8に送る。 Interface unit 96 generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0309】本実施例では、2つの図形の伸縮変形について説明したがこれに限るものではない。 [0309] In this example, it has been described Elastic two shapes but not limited thereto.

【0310】本実施例によれば、マウスなどでは複数回の操作を必要とする複数図形の伸縮変形指示などを、より自然な1度の操作で実現できるので、図形編集処理の操作性を向上できる。 [0310] According to this embodiment, since the mouse and several figures of stretch deformation instruction requiring multiple operations, can be realized in a more natural one operation, improving the operability of the graphic edit processing it can.

【0311】本発明の第8の実施例を図34〜図36により説明する。 [0311] The eighth embodiment of the present invention will be described with reference to FIGS. 34 through 36. 本実施例では、対象物は、3次元図形であり、3次元図形の編集処理に本発明に係る同時複数ジェスチャ指示処理装置を用いた場合について述べる。 In this embodiment, the object is a three-dimensional figure describes the case of using the simultaneous multiple gesture instruction processing apparatus according to the present invention the process of editing three-dimensional graphic. 本実施例では、対象物の指定方法が外郭上指定である場合(図34、36)および範囲内指定である場合(図3 If in this example, a designation method may be specified on the outline (Fig. 34, 36) and a range within the specified object (Fig. 3
5)に、回転移動指示を受けたときの処理について述べる。 5) describes processing when receiving the rotation movement instruction.

【0312】図34は、対象物を回転移動させる場合の指示方法、およびその指示を受けたMPU91により対象物が回転移動されて、指示された位置に表示された状態を示す。 [0312] Figure 34 is an instruction method when rotationally moving an object, and the object is rotated and moved by MPU91 that has received the instruction, indicating the state of being displayed in the indicated location.

【0313】図34は、対象物の指定方法が外郭上指定で、ジェスチャ操作の指示内容が回転移動指示である場合の例を示す。 [0313] Figure 34 is a specification method is shell on the specified object, an example of a case where the instruction contents of the gesture operation is a rotary movement instruction.

【0314】図において、Qはジェスチャ対象物である3次元図形、Q'はジェスチャ操作後の3次元図形である。 [0314] In Figure, Q is 3-dimensional figure is a gesture object, Q 'is a three-dimensional figure after gesture operation. Q'は、QをX軸方向の回転軸346の周りに90 Q 'is a Q around the X-axis direction of the rotating shaft 346 90
度回転させたものである。 It is obtained by degrees rotation.

【0315】図に示したように、親指と人差指で3次元図形Qの対角近辺の外郭上を指示した後、各タッチ位置の位置関係を保ったまま手を回転移動することにより、 [0315] As shown in FIG, after instructing the outer top near the diagonal of the three-dimensional graphic Q thumb and index finger, by rotating moving hands while maintaining the positional relationship between the touch position,
3次元図形Qが3次元図形Q'の位置に回転移動する。 Three-dimensional graphic Q rotationally moves to the position of the three-dimensional graphic Q '.

【0316】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように対象物の指定方法が外郭上であると判定する。 [0316] For each of multiple simultaneous touch position detection device 7 detects a touch position given time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, the designation of the object as described above It determines that the method is the contour.

【0317】ジェスチャ操作の指示内容が回転移動であることの判定も前述のように行われる。 [0317] determining that the instruction content of the gesture operation is a rotary movement is also performed as described above. さらに、3次元図形の場合は、回転軸がX、Y、Z軸のいずれであるかを判定する必要がある。 Furthermore, in the case of three-dimensional graphic, it is necessary to rotate shaft to determine X, Y, which one of the Z-axis. 回転軸の判定は、タッチしている外郭(辺)が含まれる面の法線方向により行う。 Determination of the rotational shaft is performed by the normal direction of the plane containing the outer (side) that is touched. すなわち、図34の場合、2辺341をタッチしているため、この2辺を含む面341の法線方向を考えると、X That is, in the case of FIG. 34, because it touches the two sides 341, considering the normal direction of the surface 341 including the two sides, X
軸方向であるので、回転軸は、X軸と判定する。 Since in the axial direction, the rotation axis determines the X-axis. 2辺3 Two sides 3
42をタッチした場合も回転軸は、X軸である。 42 rotary shaft even if you touch the is an X-axis. 2辺3 Two sides 3
43をタッチした場合は、回転軸は、Y軸である。 If you touch the 43, the rotary shaft is Y axis.

【0318】そして、回転量を図37と同様にして求める。 [0318] Then, a rotation amount in the same manner as in FIG. 37. 移動後の位置に図形Q'を表示するためのデータをインターフェース部96に送る。 It sends data for displaying a graphic Q 'in position after the movement to the interface unit 96. インターフェース部9 Interface unit 9
6は、映像信号を生成して、表示装置8に送る。 6 generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0319】本実施例では、3次元図形の対角近辺の外郭上指示による3次元図形の回転移動について説明したがこれに限るものではない。 [0319] In this embodiment, not been described limited thereto about the rotational movement of the three-dimensional graphic provided by enclosures on instructions near the diagonal of the three-dimensional figure.

【0320】本実施例によれば、マウスや3次元ダイアルなどでは複雑な操作を必要とする1つの3次元図形の回転移動指示などを、より自然な1度の操作で実現できるので、3次元図形編集処理の操作性を向上させることができる。 [0320] According to this embodiment, and rotation of one three-dimensional graphic which requires a complicated operation movement instruction in such as a mouse or three-dimensional dial can be realized in a more natural one operation, three-dimensional it is possible to improve the operability of the graphic editing process.

【0321】上記の実施例や図25,28,32の実施例において、回転移動であることの判定方法は、図22 [0321] In an embodiment of the above examples and figures 25,28,32, method of determining that a rotation movement, FIG. 22
のステップ4で述べた方法以外に以下の方法を用いてもよい。 In addition to the method described in Step 4 of it may be used the following method. 同時複数タッチ位置検出装置7からは、タッチ位置が0.1秒以下の間隔で送られてくるため、タッチ位置の座標が指の移動にともなって多数得られる。 From multiple simultaneous touch position detection device 7, because the touch position is sent at intervals of 0.1 second or less, the coordinates of the touch position is obtained a number in accordance with the movement of the finger. 6点のX、Y座標が得られれば、以下の数5のx,yにこれらの座標を入れることにより、円であるかどうかの判定ができ、円の場合は、円の方程式が得られる。 6 points X, as long obtained Y coordinates, the following equation (5) of x, by placing these coordinates to y, can be determined whether a circle, in the case of a circle, the equation of the circle is obtained .

【0322】 [0322]

【数5】 ax 2 +2hxy+by 2 +2gx+2fy+c=0 ここで、a,h,b,g,f,cは定数 同時複数タッチ位置検出装置7からは、タッチ位置が多数送られるので、軌跡の開始点と終了点の間のタッチ位置から6個ずつのタッチ位置の組を複数組求める。 Equation 5] ax 2 + 2hxy + by 2 + 2gx + 2fy + c = 0 where, a, h, b, g , f, c is from a constant multiple simultaneous touch position detection device 7, the touch position is sent many, the starting point of the trajectory a set of touch position from the touch position between the end point by six more sets determined. これらの組の各々から数5の係数を求め、係数から円であるかどうかが判定できる。 Obtains the coefficients of Equation 5 from each of these sets, it can be determined whether the circle from coefficient. そして、円の場合は、各組ごとに円の方程式が求まる。 And, in the case of a circle, it is obtained equation of the circle in each set. 次に、各組ごとに得られた方程式から各々の円の中心位置と円の半径を求める。 Next, determine the radius of the center position and the circle of each of the circles from the equation obtained for each set. 得られた複数の円の中心位置と半径を比較し、位置と半径が許容範囲内で一致していた場合は、タッチ位置の軌跡は、 The resulting comparison plurality of the center position and radius of the circle, when the position and radius is coincident with the allowable range, the trajectory of the touch position,
円であると判定する。 Determined to be a circle.

【0323】図34の場合、ジェスチャ操作の指示内容である回転移動について、タッチ位置の軌跡が上記の円以外に、軌跡が楕円でもよい。 [0323] In the case of Figure 34, the rotational movement is an indication content of the gesture operation, in addition to the circular trajectory of the touch position of the trajectory may be an ellipse. 楕円でもよい場合は、図34において、面344,347のように、画面上で斜めになっている面上で回転移動を指示する場合である。 If in or elliptic, in FIG. 34, as in the surface 344,347, which in the case of instructing a rotational movement on a surface that is obliquely on the screen.
すなわち、図形Qについて、X軸、またはZ軸回りの回転移動を指示する場合である。 That is, the figure Q, is a case of instructing the X-axis or rotational movement of the Z axis.

【0324】この時、図42(図34の面344,34 [0324] At this time, the plane of FIG. 42 (FIG. 34 344,34
5,347のみを示したもの)に示すような楕円344 Ellipse 344 shown in 5,347 to those shown only)
1,3471上にあるタッチ位置を同時複数タッチ位置検出装置7から入力されたMPU91は、円の場合と同様にして、6点ごとの複数の組について、前述の数5により、係数から楕円であるかどうかを判定する。 MPU91 the touch position at the top 1,3471 input from multiple simultaneous touch position detection device 7, as in the case of a circle, a plurality of pairs of every six, the number 5 described above, an ellipse from the coefficient It determines whether or not there. そして、楕円の場合は、各組ごとに楕円の方程式が求まる。 And, in the case of an ellipse, the equation of an ellipse is obtained for each set.
次に、各組ごとに得られた方程式から各々の楕円の向きと、楕円の長軸と、短軸の長さを求める。 Next, determine the respective ellipse orientation, the long axis of the ellipse, the length of the minor axis from the equation obtained for each set. 得られた複数の楕円の向きと、楕円の長軸と、短軸の長さを比較し、 Comparing a plurality of elliptical orientations obtained, the long axis of the ellipse, the length of the minor axis,
楕円の向きと、楕円の長軸と、短軸の長さが許容範囲内で一致していた場合は、タッチ位置の軌跡は、楕円であると判定する。 Determining the ellipse orientation, the long axis of the ellipse, if the length of the minor axis is coincident with the allowable range, the trajectory of the touch position, and an ellipse.

【0325】回転軸の判定については、図42のように、得られた楕円の長軸421の向きが水平方向から6 [0325] For the determination of the rotational axis, as shown in FIG. 42, the orientation of the resulting ellipse major axis 421 from the horizontal direction 6
7.5度のときは、X軸と判定し、長軸422の向きが水平方向から22.5度のときは、Y軸と判定する。 Is when the 7.5 degrees, it is determined that the X-axis, when the direction of the major axis 422 of 22.5 degrees from the horizontal direction, determines that the Y-axis. なお、67.5度や22.5度という数値は、図34の場合、立体図がこの角度で表示されていることに起因しており、この角度は、立体図の表示角度により変わるものである。 Incidentally, the numerical value of 67.5 degrees and 22.5 degrees, in the case of FIG. 34 is due to the three-dimensional view is displayed at this angle, this angle is intended to vary the viewing angle of the solid figure is there. また、楕円3441が画面344内にあるときは、X軸と判定し、楕円3471が面422内にあるときは、Y軸と判定することとしてもよい。 Further, when the ellipse 3441 is in the screen 344, it is determined that the X-axis, when the ellipse 3471 is in the plane 422, may be judged as the Y-axis.

【0326】回転量の求め方について、図43により説明する。 [0326] The method of calculating the amount of rotation will be described with reference to FIG. 43. 図43において、aはタッチ開始点、bは、タッチ終了点を示す。 In Figure 43, a touch start point, b represents a touch end point. Oは長軸と短軸の交点、αは、線分Oaと長軸とのなす角、βは、線分Obと長軸とのなす角である。 O long axis and the intersection of the minor axis, alpha is the angle between the line segment Oa to the long axis, beta is the angle between the line segment Ob and long axis. これらは楕円の方程式が決まれば、求めることができる。 These once the equation of the ellipse can be determined. 回転量は、α−βの絶対値として求まる。 The amount of rotation, determined as the absolute value of alpha-beta.

【0327】次に、図35は、対象物の指定方法が範囲内指定で、ジェスチャ操作の指示内容が回転移動指示である場合の例を示す。 [0327] Next, FIG. 35, the specified method is a range within a specified object, an example of a case where the instruction contents of the gesture operation is a rotary movement instruction.

【0328】図において、Rはジェスチャ対象物の3次元図形、R'はジェスチャ操作後の3次元図形である。 [0328] In Figure, R represents 3-dimensional figure of the gesture subject, R 'is 3-dimensional figures after gesture operation.
R'は、RをX軸方向の回転軸346の周りに90度回転させたものである。 R 'is obtained by rotating 90 degrees R around the X-axis direction of the rotating shaft 346.

【0329】図に示したように、親指と人差指で3次元図形Rの外郭外を指示した後、各タッチ位置の位置関係を保ったまま手を回転移動することにより、3次元図形Rが3次元図形R'の位置に回転移動する。 [0329] As shown in FIG, after instructing the outer outside of the three-dimensional shape R with a thumb and forefinger, by the hand while maintaining the positional relationship between the touch position rotational movement, three-dimensional graphic R 3 rotational movement to the position of the dimension figure R '.

【0330】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように対象物の指定方法が範囲内指定であると判定する。 [0330] For each of multiple simultaneous touch position detection device 7 detects a touch position given time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, the designation of the object as described above method determines that the designated range.

【0331】ジェスチャ操作の指示内容が回転移動であることの判定は、前述の図42のように行われる。 [0331] determining that the instruction content of the gesture operation is a rotating movement is performed as in Figure 42 described above. すなわち、図形Rについて、X、Y軸回りの回転は、指で楕円を描くことにより、回転移動であることを指示するとともに、長軸の向きが、67.5度か22.5度であるかによって、回転軸がX軸であるかY軸であるかが指定される。 That is, the graphic R, X, rotation around the Y axis, by an elliptical with finger, instructs that the rotational movement, the orientation of the long axis is 67.5 degrees or 22.5 degrees or by either rotating shaft is or Y-axis is the X axis is designated. Z軸回りについては、指で円を描くことにより指示される。 The Z-axis, is indicated by a circle with a finger. なお、67.5度や22.5度という数値は、図35の場合、立体図がこの角度で表示されていることに起因しており、この角度は、立体図の表示角度により変わるものである。 Incidentally, the numerical value of 67.5 degrees and 22.5 degrees, in the case of FIG. 35 is due to the three-dimensional view is displayed at this angle, this angle is intended to vary the viewing angle of the solid figure is there.

【0332】そして、回転量を図37または図43と同様にして求める。 [0332] Then, a rotation amount in the same manner as in FIG. 37 or FIG. 43. 移動後の位置に図形R'を表示するためのデータをインターフェース部96に送る。 It sends data for displaying a graphic R 'in position after the movement to the interface unit 96. インターフェース部96は、映像信号を生成して、表示装置8に送る。 Interface unit 96 generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal.

【0333】本実施例では、3次元図形の範囲内指定による3次元図形の回転移動について説明したがこれに限るものではない。 [0333] In this embodiment, not been described limited thereto about the rotational movement of the three-dimensional graphic according to the specified range of 3-dimensional figure.

【0334】本実施例によれば、マウスや3次元ダイアルなどでは複雑な操作を必要とする1つの3次元図形の回転移動指示などを、より自然な1度の操作で実現できるので、3次元図形編集処理の操作性を向上させることができる。 [0334] According to this embodiment, and rotation of one three-dimensional graphic which requires a complicated operation movement instruction in such as a mouse or three-dimensional dial can be realized in a more natural one operation, three-dimensional it is possible to improve the operability of the graphic editing process.

【0335】図36は、対象物を回転移動の一種であるねじり移動させる場合の指示方法、およびその指示を受けたMPU91により対象物がねじり移動されて、指示された位置に表示された状態を示す。 [0335] Figure 36 is an instruction method when moving twist, which is a kind of rotational movement of the object, and is moved object torsion by MPU91 that has received the instruction, the state of being displayed on the designated position show.

【0336】図36は、対象物の指定方法が外郭上指定で、ジェスチャ操作の指示内容がねじり移動指示である場合の例を示す。 [0336] Figure 36 is a specification method is shell on the specified object, an example of a case where the instruction contents of the gesture operation is torsional movement instruction.

【0337】図において、Sはジェスチャ対象物の3次元図形、S'はジェスチャ操作後の3次元図形である。 [0337] In FIG, S is three-dimensional graphic of gesture subject, S 'is a three-dimensional figure after gesture operation.
S'は、SをX軸方向の回転軸346の周りに90度回転させたものである。 S 'is obtained by rotating 90 degrees S around the X-axis direction of the rotating shaft 346.

【0338】図に示したように、両手の親指と人差指で3次元図形Sの対角近辺の外郭上を指示した後、左手の親指T1と人差指V1による各タッチ位置を固定し、右手の親指Tと人差指Vによるタッチ位置の位置関係を保ったまま右手を回転移動することにより、3次元図形S [0338] As shown in FIG, after instructing the above outline around diagonal of the three-dimensional shape S both thumbs and index finger, secure each touch location by the left thumb T1 and forefinger V1, right thumb by the right hand rotational movement while maintaining the positional relationship between the touch position by the T and index finger V, 3-dimensional graphic S
が3次元図形S'の位置にねじり回転移動する。 There torsional rotational movement to the position of the three-dimensional graphic S '.

【0339】タッチ位置を検出した同時複数タッチ位置検出装置7から一定時間ごとに、タッチ位置を入力されたMPU91は、タッチ位置の軌跡を判定し、この場合は、前述のように対象物の指定方法が外郭上指定であると判定する。 [0339] For each of multiple simultaneous touch position detection device 7 detects a touch position given time, MPU 91 input a touch position, determines the trajectory of the touch position, in this case, the designation of the object as described above the method is determined to be specified on the outline.

【0340】ジェスチャ操作の指示内容が回転移動であることの判定は、前述の図34,35のように行われる。 [0340] determining that the instruction content of the gesture operation is a rotating movement is performed as in FIG. 34 and 35 described above.

【0341】そして、回転量を図37または図43と同様にして求める。 [0341] Then, a rotation amount in the same manner as in FIG. 37 or FIG. 43. 移動後の位置に図形S'を表示するためのデータをインターフェース部96に送る。 It sends data for displaying a graphic S 'in position after the movement to the interface unit 96. インターフェース部96は、映像信号を生成して、表示装置8に送る。 Interface unit 96 generates a video signal and sends it to the display device 8. 表示装置8は、映像信号に従って表示する。 Display device 8 displays accordance video signal. 図4 Figure 4
4に、ねじり後の図形S'を示す。 4 shows a graphic S 'after twisting. 左側面441は、回転しておらず、右側面442は90度回転している。 Left side 441, not rotating, the right side surface 442 are rotated 90 degrees. 左側面441の各頂点に対応する右側面442の各頂点を結ぶ直線443,444,445,446はねじれた位置関係にある。 Straight 443,444,445,446 connecting the vertex of the right side surface 442 corresponding to each vertex of the left side surface 441 are in a positional relationship twisted.

【0342】図44では、左右の側面を結ぶ線は直線であるが、図形Sが表示する物体の剛性や固さを考慮して、曲線で結ぶこととしてもよい。 [0342] In Figure 44, although the line connecting the left and right side surfaces are straight, in view of the rigidity and hardness of an object graphic S displays, may be connected by a curve. 物体の固さによっては、90度曲げると、破断してしまうため、回転は不可という表示をすることとしてもよい。 Depending hardness of the object, the bend 90 degrees, since become broken, it is also possible to display that rotation is not allowed.

【0343】本実施例では、3次元図形の対角近辺の外郭上指定による3次元図形のねじり回転移動についてについて説明したがこれに限るものではない。 [0343] In this embodiment, although not limited to this it has been described torsional rotational movement of the three-dimensional graphic according to the outline on the specified near the diagonal of the three-dimensional figure.

【0344】本実施例によれば、マウスや3次元ダイアルなどでは複雑な操作を必要とする1つの3次元図形のねじり回転移動指示などを、より自然な1度の操作で実現できるので、3次元図形編集処理の操作性を向上できる。 [0344] According to this embodiment, and torsional rotation of one three-dimensional graphic which requires a complicated operation movement instruction in such as a mouse or three-dimensional dial can be realized in a more natural one operation, 3 it is possible to improve the operability of the dimension graphic editing process.

【0345】以上述べてきた第5〜8の4つの同時複数ジェスチャ指示処理装置の実施例においては、表面弾性波方式タッチプレートを用いた同時複数タッチ位置検出装置と表示装置とを一体化した構成について説明したが、同時複数タッチ位置検出装置のタッチプレートの方式はこれに限るものではなく、また、同時複数タッチ位置検出装置は単独で構成してもよい。 [0345] In the embodiment described above described becoming the first 5-8 four simultaneous multiple gesture instruction processing device, integrating a simultaneous multiple touch position detection device using a surface acoustic wave touch plate display and configuration the has been described, instead of the touch plate method of simultaneous multiple touch position detection device intended limited to this, and simultaneous multiple touch position detection device may be configured alone. さらに、システム構成についてもこれに限るものではなく、キーボードなどの入力装置、ハードディスク装置などの補助記憶装置、プリンターなどの出力装置などを組み合わせた構成としてもよい。 Furthermore, the present invention is not limited to this also the system configuration, an input device such as a keyboard, an auxiliary storage device such as a hard disk device may be configured to combine and output devices such as a printer.

【0346】また、第5〜8の4つの同時複数ジェスチャ指示処理装置の実施例においては、図形編集処理の詳細については説明しなかったが、公知の技術で実現でき、また、図形編集処理に限るものではなく、図形入力処理や、文字領域の指定、文字列の移動、ページめくりなどの文字入力編集処理、3次元処理やマルチメディア処理、さらにはこれらの処理を組み合わせた処理などにも適用できる。 [0346] Further, in the embodiment of the fifth to eighth four simultaneous multiple gesture instruction processing apparatus did not provide an in-depth description of the graphic editing process, it can be achieved by known techniques, also to the graphic edit processing it is not limited, apply and graphical input processing, the specified character area, the movement of the string, the character input editing processing, such as turning pages, 3-dimensional processing and multimedia processing, even in such as processing further is a combination of these processing it can. また、同時複数ジェスチャ操作のためのアイテムの詳細については説明しなかったが、指や掌やペンなどの多種アイテムを混用してもよい。 In addition, for details of items for simultaneous multiple gesture operation was not described, it may also be used together a wide items such as a finger or a palm or a pen.

【0347】 [0347]

【発明の効果】本発明に係るタッチ位置検出装置によれば、指や掌やペンなどにより、同時に行われる複数のタッチの位置検出が実現できるので、タッチ位置検出装置の機能を向上でき、かつ耐久性が向上する。 According to the touch position detecting apparatus according to the present invention, by a finger or a palm or a pen, it can be realized the position detection of the plurality of touch to be performed at the same time, can improve the function of the touch position detection device, and durability is improved.

【0348】また、本発明に係るタッチ指示処理装置によれば、指や掌やペンなどの同時複数タッチ操作による指示を処理できるので、タッチ指示処理装置の操作性が向上する。 [0348] Further, according to the touched processing apparatus according to the present invention, it is possible to process the instruction by simultaneous multiple touch operations, such as a finger or a palm or a pen, the operability of the touch instruction processing apparatus is improved.

【0349】本発明に係る同時複数ジェスチャ指示処理装置によれば、指や掌やペンなどにより、順次ではなく、同時に行われる複数のタッチ位置を検出して、この複数のタッチ位置の移動による指示に従って、表示装置上に表示された表示対象物を移動させて表示することができるので、タッチ指示処理装置の操作性が向上し、しかも耐久性を向上させることができる。 [0349] According to multiple simultaneous gesture instruction processing apparatus according to the present invention, by a finger or a palm or a pen, rather than sequentially detects a plurality of touch positions is performed simultaneously, an instruction by the movement of the plurality of touch position accordingly it is possible to display by moving the display object displayed on the display device, thereby improving the operability of the touch instruction processing apparatus, moreover it is possible to improve the durability.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1の実施例の同時複数タッチ位置検出装置のブロック図。 Block diagram of the simultaneous multiple touch position detecting apparatus of the first embodiment of the present invention; FIG.

【図2】本発明の第1の実施例におけるX座標を検知するための信号の波形を示す説明図。 Explanatory view showing a waveform of a signal for detecting the X-coordinate in the first embodiment of the present invention; FIG.

【図3】本発明の第1の実施例のタッチ位置検出部2の処理結果を示す説明図。 [3] The first embodiment explanatory view showing the processing result of the touch position detection unit 2 of the present invention.

【図4】本発明の第2の実施例の同時複数タッチ位置検出装置のブロック図。 Block diagram of the simultaneous multiple touch position detecting apparatus of the second embodiment of the present invention; FIG.

【図5】本発明の第2の実施例における、X、Y座標検知用の受光器群が受光する光の状態を示す説明図。 [5] in the second embodiment of the present invention, X, illustration photodetector group showing a state of light received for detecting Y-coordinate.

【図6】本発明の第2の実施例のタッチ位置検出部4の処理結果を示す説明図。 Figure 6 is an explanatory view showing the processing result of the touch position detection unit 4 of the second embodiment of the present invention.

【図7】本発明の第3の実施例の同時複数タッチ位置検出装置のブロック図。 FIG. 7 is a block diagram of a simultaneous multiple touch position detection device of the third embodiment of the present invention.

【図8】本発明の第3の実施例のカメラ51x、51y [8] A third embodiment of a camera 51x of the present invention, 51 y
の撮像した映像を示す説明図。 Explanatory view showing a captured image of.

【図9】本発明の第4の実施例の同時複数タッチ指示処理装置のブロック図。 FIG. 9 is a block diagram of a simultaneous multiple touches instruction processing apparatus according to a fourth embodiment of the present invention.

【図10】仮想キーボードを用いたワープロにおける表示画面を示す説明図。 Figure 10 is an explanatory view showing a display screen in the word processor using a virtual keyboard.

【図11】仮想キーボード811において、シフトキーが併用された時の処理フロー。 [11] In the virtual keyboard 811, the processing flow when the shift key is used in combination.

【図12】文章812において、範囲を指定した時の処理フロー。 [12] In the text 812, the processing flow when the specified range.

【図13】仮想ピアノを用いたピアノの演奏における表示画面を示す説明図。 FIG. 13 is an explanatory view showing a display screen in the piano music using the virtual piano.

【図14】仮想ピアノ821で多重音を演奏する時の処理フロー。 FIG. 14 is a processing flow of time to play multiple sound in a virtual piano 821.

【図15】仮想ボタンを用いた対戦型サッカーゲームにおける表示画面を示す説明図。 FIG. 15 is an explanatory view showing a display screen in competitive soccer game using a virtual button.

【図16】仮想ボタン831により多重入力をした時の処理フロー。 [16] processing flow of when the multi-input by the virtual button 831.

【図17】仮想電源スイッチを用いた電源切断における表示画面を示す説明図。 Figure 17 is an explanatory view showing a display screen in the power down using the virtual power switch.

【図18】仮想電源スイッチ841を用いた電源切断の処理フロー。 [18] the process flow of the Power-off by using the virtual power switch 841.

【図19】第1の実施例における送波器および受波器の構造の説明図。 Figure 19 is an explanatory diagram of a structure of transmitters and receivers in the first embodiment.

【図20】第4の実施例におけるメニュー画面の説明図。 Figure 20 is an explanatory diagram of a menu screen in the fourth embodiment.

【図21】本発明の第4の実施例の同時複数ジェスチャ対象物の指定方法の判定処理フローチャート。 [Figure 21] determination process flowchart of how to specify multiple simultaneous gesture subject of the fourth embodiment of the present invention.

【図22】本発明の第4の実施例の同時複数ジェスチャ操作の指示内容の判定処理フローチャート。 [22] Fourth determination process flowchart of the simultaneous instruction content of the plurality gesture operation of an embodiment of the present invention.

【図23】本発明の第5〜7の実施例の同時複数ジェスチャ指示処理装置のシステムの概略構成図。 Figure 23 is a schematic block diagram of a system of concurrent multiple gesture instruction processing apparatus of the 5-7 embodiment of the present invention.

【図24】本発明の第5の実施例に係る、対象物の指定方法が外郭内指定であり、ジェスチャ操作の指示内容が平行移動指示である場合の指示内容を示す説明図。 According to the fifth embodiment of Figure 24 the present invention, method for specifying the object is the outline within a specified, explanatory view showing an indication contents when the instruction contents of the gesture operation is move instruction parallel.

【図25】本発明の第5の実施例に係る、対象物の指定方法が外郭内指定であり、ジェスチャ操作の指示内容が回転移動指示である場合の指示内容を示す説明図。 [25] according to a fifth embodiment of the present invention, method for specifying the object is the outline within a specified, explanatory view showing an indication contents when the instruction contents of the gesture operation is a rotary movement instruction.

【図26】本発明の第5の実施例に係る、対象物の指定方法が外郭内指定であり、ジェスチャ操作の指示内容が変形伸縮指示である場合の指示内容を示す説明図。 [26] according to a fifth embodiment of the present invention, method for specifying the object is the outline within a specified, explanatory view showing an indication contents when the instruction contents of the gesture operation is deformed stretching instruction.

【図27】本発明の第6の実施例に係る、対象物の指定方法が外郭上指定であり、ジェスチャ操作の指示内容が平行移動指示である場合の指示内容を示す説明図。 [27] according to a sixth embodiment of the present invention, method for specifying the object is the outline on the specified, explanatory view showing an indication contents when the instruction contents of the gesture operation is move instruction parallel.

【図28】本発明の第6の実施例に係る、対象物の指定方法が外郭上指定であり、ジェスチャ操作の指示内容が回転移動指示である場合の指示内容を示す説明図。 [Figure 28] according to a sixth embodiment of the present invention, method for specifying the object is the outline on the specified, explanatory view showing an indication contents when the instruction contents of the gesture operation is a rotary movement instruction.

【図29】本発明の第6の実施例に係る、対象物の指定方法が外郭上指定であり、ジェスチャ操作の指示内容が変形伸縮指示である場合の指示内容を示す説明図。 [29] according to a sixth embodiment of the present invention, method for specifying the object is the outline on the specified, explanatory view showing an indication contents when the instruction contents of the gesture operation is deformed stretching instruction.

【図30】本発明の第6の実施例に係る、対象物の指定方法が外郭上指定であり、ジェスチャ操作の指示内容が変形伸縮指示である場合の指示内容を示す説明図。 [Figure 30] according to a sixth embodiment of the present invention, method for specifying the object is the outline on the specified, explanatory view showing an indication contents when the instruction contents of the gesture operation is deformed stretching instruction.

【図31】本発明の第7の実施例に係る、対象物の指定方法が範囲内指定であり、ジェスチャ操作の指示内容が平行移動指示である場合の指示内容を示す説明図。 [31] according to a seventh embodiment of the present invention, method for specifying the object is a range within the specified an explanatory diagram showing an indication contents when the instruction contents of the gesture operation is move instruction parallel.

【図32】本発明の第7の実施例に係る、対象物の指定方法が範囲内指定であり、ジェスチャ操作の指示内容が回転移動指示である場合の指示内容を示す説明図。 [Figure 32] according to a seventh embodiment of the present invention, a specification method in the range within a specified object diagram showing the instruction contents when the instruction contents of the gesture operation is a rotary movement instruction.

【図33】本発明の第7の実施例に係る、対象物の指定方法が範囲内指定であり、ジェスチャ操作の指示内容が変形伸縮指示である場合の指示内容を示す説明図。 [33] according to a seventh embodiment of the present invention, method for specifying the object is a range within the specified an explanatory diagram showing an indication contents when the instruction contents of the gesture operation is deformed stretching instruction.

【図34】本発明の第8の実施例に係る、対象物の指定方法が外郭上指定であり、ジェスチャ操作の指示内容が回転移動指示である場合の指示内容を示す説明図。 [34] according to the eighth embodiment of the present invention, method for specifying the object is the outline on the specified, explanatory view showing an indication contents when the instruction contents of the gesture operation is a rotary movement instruction.

【図35】本発明の第8の実施例に係る、対象物の指定方法が範囲内指定であり、ジェスチャ操作の指示内容が回転移動指示である場合の指示内容を示す説明図。 [Figure 35] according to the eighth embodiment of the present invention, method for specifying the object is a range within the specified an explanatory diagram showing an indication contents when the instruction contents of the gesture operation is a rotary movement instruction.

【図36】本発明の第8の実施例に係る、対象物の指定方法が外郭上指定であり、ジェスチャ操作の指示内容がねじり移動縮指示である場合の指示内容を示す説明図。 [36] according to the eighth embodiment of the present invention, method for specifying the object is the outline on the specified, explanatory view showing an indication contents when the instruction contents of the gesture operation is torsional movement condensation instruction.

【図37】回転移動における回転角度を算出する方法の説明図。 Figure 37 is an explanatory diagram of a method for calculating a rotation angle in the rotation movement.

【図38】変形後の円弧図形の円弧状中心線を算出する方法の説明図。 Figure 38 is an explanatory diagram of a method of calculating the arcuate center line of the circular arc shape after deformation.

【図39】ジェスチャ操作の指示内容が平行移動指示であると判定する方法の説明図。 Figure 39 is an explanatory diagram of a method for determining the instruction contents of the gesture operation is move instruction parallel.

【図40】ジェスチャ操作の指示内容が回転移動指示であると判定する方法の説明図。 Figure 40 is an explanatory diagram of a method for determining the instruction contents of the gesture operation is a rotary movement instruction.

【図41】ジェスチャ操作の指示内容が伸縮変形指示であると判定する方法の説明図。 Figure 41 is an explanatory diagram of a method for determining the instruction contents of the gesture operation is stretchable deformation instruction.

【図42】楕円であるタッチ位置の軌跡を指示する方法の説明図。 Figure 42 is an explanatory diagram of a method of instructing the trajectory of the touch position is elliptical.

【図43】タッチ位置の軌跡が楕円である場合の回転量の求め方の説明図。 Figure 43 is an explanatory view of a rotation amount of the Determination of when the trajectory of the touch position is elliptical.

【図44】ねじり移動が指示されたときの3次元図形の表示例の説明図。 Explanatory diagram of a display example of a three-dimensional figure when FIG. 44 twisting movement is instructed.

【符号の説明】 DESCRIPTION OF SYMBOLS

1…表面弾性波方式タッチプレート、2…タッチ位置検出部、3…2次元光センサアレイ方式タッチプレート、 1 ... the surface acoustic wave touch plate, 2 ... touch position detection unit, 3 ... two-dimensional photosensor array touch plate,
4…タッチ位置検出部、5…2次元映像カメラ方式タッチプレート、6…タッチ位置検出部、7…同時複数タッチ位置検出装置、8…表示装置、9…情報処理装置、1 4 ... touch position detecting section, 5 ... two-dimensional image camera touch plate, 6 ... touch position detecting unit, 7 ... simultaneous multiple touch position detection device, 8 ... display device, 9 ... information processing apparatus, 1
1…送波器、12…分波器群、13…集波器群、14… 1 ... transmitters, 12 ... demultiplexer group, 13 ... Atsumariha unit group, 14 ...
受波器、21…送波器制御部、22…受波器制御部、2 Wave receiver, 21 ... transmitting device control unit, 22 ... reception control part, 2
3…タッチ位置/押圧検出部、24…同時複数タッチ位置判定部、25…外部インタフェース部、31…発光器群、32…受光器群、41…発光器制御部、42…受光器制御部、43…タッチ位置/幅検出部、44…同時複数タッチ位置判定部、45…外部インタフェース部、5 3 ... touch position / press detection unit, 24 ... multiple simultaneous touch position determination section, 25 ... external interface unit, 31 ... light emitter group, 32 ... photodetector group 41 ... light emitter control unit, 42 ... light receiver control unit, 43 ... touch position / width detecting section, 44 ... multiple simultaneous touch position determination section, 45 ... external interface unit, 5
1…カメラ、61…カメラ制御部、62…タッチ位置/ 1 ... camera, 61 ... camera control unit, 62 ... touch position /
幅検出部、63…同時複数タッチ位置判定部、64…外部インタフェース部、91…情報処理を行うMPU、9 Width detector, 63 ... multiple simultaneous touch position determination section, 64 ... external interface unit, MPU performs 91 ... information processing, 9
2…メモリ、811…仮想キーボード、812…文章、 2 ... memory, 811 ... virtual keyboard, 812 ... sentence,
821…仮想ピアノ、822…楽譜、831…仮想ボタン群、832…サッカーフィールド、841…仮想電源スイッチ群。 821 ... virtual piano, 822 ... score, 831 ... virtual button group, 832 ... soccer field, 841 ... virtual power switch group.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 國森 義彦 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 大條 成人 神奈川県横浜市戸塚区吉田町292番地 株 式会社日立製作所マイクロエレクトロニク ス機器開発研究所内 (72)発明者 伊藤 俊一 茨城県勝田市稲田1410番地 株式会社日立 製作所情報映像メディア事業部内 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Kunimori Yoshihiko Kanagawa Prefecture, Totsuka-ku, Yokohama-shi Yoshida-cho, 292 address Co., Ltd. Hitachi, micro-electronics equipment development within the Institute (72) inventor DaiJo adult Yokohama-shi, Kanagawa Totsuka-ku, Yoshida-cho, 292 address Co., Ltd. Hitachi, micro-electronics equipment development within the Institute (72) inventor Shunichi Ito Ibaraki Prefecture Katsuta City Inada 1410 address Hitachi Seisakusho information the video media business unit

Claims (10)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】接触物の接触位置をタッチ位置として、2 The contact position of 1. A contact material as the touch position, 2
    次元で上記タッチ位置を検出するタッチ位置検出装置において、 それぞれ1次元方向のタッチ位置を検出し、検出信号を出力するタッチ位置検出手段を複数有し、かつ、同時に複数の位置がタッチされたときに得られる、該タッチの数より多い複数の候補位置のうちから、個々のタッチ位置を判定する同時複数タッチ位置判定手段を有し、 上記タッチ位置検出手段の各々は、タッチにより変化する検出信号に基づいて、タッチ位置の検出を行い、 上記同時複数タッチ位置判定手段は、同時に複数の位置がタッチされたときに得られる、該タッチの数より多い複数の候補位置のうち、その位置が有する、上記タッチ位置検出手段の一方の検出信号から抽出される、位置に依存しない少なくとも1つのタッチの特徴量と他方のタッチ位置検出手 In the touch position detection device for detecting the touch position in dimension to detect the touch position of each one-dimensional direction, it has a plurality of touch position detection means for outputting a detection signal, and, when multiple positions are simultaneously touched the resulting, from among the plurality of candidate positions exceeds the number of the touch, have a simultaneous multiple touch position determining means for determining an individual touch positions, each of said touch position detection unit, the detection signal that changes by a touch based on, performs detection of the touch position, the simultaneous multiple touch position determining means, at the same time a plurality of positions is obtained when it is touched, out of the plurality of candidate positions exceeds the number of the touch, it has its position , is extracted from one of the detection signals of the touch position detection unit, at least one touch features and other touch location detection hand position-independent の検出信号から抽出される、位置に依存しない少なくとも1つのタッチの特徴量とが一致するものを選択することにより、個々のタッチ位置を判定することを特徴とするタッチ位置検出装置。 Is extracted from the detection signal, by the feature amount of at least one touch position-independent selects a match, the touch position detecting apparatus characterized by determining the individual touch positions.
  2. 【請求項2】請求項1記載のタッチ位置検出装置において、 上記タッチ位置検出手段の各々は、弾性表面波の送受信手段と、弾性表面波の伝搬媒体であるパネルとを有し、 上記送受信手段は、弾性表面波を上記パネルに送波する送波手段と、上記パネル上に1次元に配置され、上記送波された弾性表面波を順次分波する複数の分波手段と、 2. A touch position detecting apparatus according to claim 1, each of the touch position detection means includes a reception means of the surface acoustic wave, and a panel is the propagation medium of the surface acoustic wave, said transmitting and receiving means includes a transmitting means for transmitting a surface acoustic wave on the panel are arranged one-dimensionally on the panel, and a plurality of demultiplexing means for sequentially demultiplexing surface acoustic waves the transmitting,
    上記分波手段の各々に対向させて設けられた、上記分波された弾性表面波を順次集波する複数の集波手段と、上記集波された弾性表面波を受付ける受波手段とを有し、 上記受波手段は、上記集波手段の各々と、上記集波手段の各々に対向する上記分波手段との間にあるパネル上でタッチが行われたことを示す受信信号を上記検出信号として出力することを特徴とするタッチ位置検出装置。 Yes provided to face to each of the dividing means, a plurality of collector wave means for sequentially collecting waves of the surface acoustic waves the demultiplexing, and reception means for receiving surface acoustic waves the Atsumariha and said reception means, and each of said current decoupling means, each receiving a signal indicating that the panel touch on the is performed in between the dividing means opposite to the detection of the current wave means touch position detecting apparatus and outputs a signal.
  3. 【請求項3】請求項2記載のタッチ位置検出装置において、 上記同時複数タッチ位置判定手段は、上記送受信手段ごとに各タッチ位置における上記検出信号の減衰量、および減衰している時間のうち少なくとも一つを上記タッチの特徴量として求めることにより、個々のタッチ位置を検出することを特徴とするタッチ位置検出装置。 3. A touch position detecting apparatus according to claim 2, wherein the multiple simultaneous touch position determining means, the attenuation of the detection signal at each touch position for each of the receiving means, and of the time that the attenuation of at least by obtaining one as a feature of the touch, the touch position detecting apparatus characterized by detecting individual touch positions.
  4. 【請求項4】請求項1記載のタッチ位置検出装置において、 上記タッチ位置検出手段は、光ビームの送受信手段であり、 上記送受信手段の各々は、1次元に配置された、光ビームを送信する複数の送信手段と、上記送信手段の各々に対向させて設けられた、光ビームを受信する複数の受信手段とを有し、 上記受信手段の各々は、それぞれに対向する上記送信手段との間でタッチが行われたことを示す受信信号を上記検出信号として出力することを特徴とするタッチ位置検出装置。 4. A touch position detecting apparatus according to claim 1, wherein the touch position detection means is a transceiver means of a light beam, each of said transmitting and receiving means, disposed in a one-dimensional, and transmits a light beam a plurality of transmitting means, provided so as to face to each of the transmission means, and a plurality of receiving means for receiving the light beam, each of said receiving means, between said transmission means opposite to each in the touch position detection device for a received signal indicating that the touch has been performed and outputs as the detection signal.
  5. 【請求項5】請求項1記載のタッチ位置検出装置において、 上記タッチ位置検出手段は、カメラであり、 上記カメラの各々は、互いに対向しないように配置され、 上記カメラの各々は、視野内でタッチが行われたことを示す撮影信号を上記検出信号として出力することを特徴とするタッチ位置検出装置。 5. The touch position detecting apparatus according to claim 1, wherein the touch position detecting means is a camera, each of said cameras are disposed so as not to face each other, each of the cameras, in the field of view touch position detection device and outputting an imaging signal indicating that the touch has been performed as the detection signal.
  6. 【請求項6】請求項4または5記載のタッチ位置検出装置において、 上記同時複数タッチ位置判定手段は、上記検出信号に基づいて、上記タッチ位置検出手段ごとに各タッチの幅を上記タッチの特徴量として求めることにより、個々のタッチ位置を検出することを特徴とするタッチ位置検出装置。 6. The touch position detecting apparatus according to claim 4 or 5, wherein the multiple simultaneous touch position determining means, based on the detection signal, characterized in width the touch of the touch for each of the touch position detection unit by determining the amount, the touch position detecting apparatus characterized by detecting individual touch positions.
  7. 【請求項7】請求項1、2、3、4、5または6記載のタッチ位置検出装置と、 同時に複数の位置がタッチされたときに、タッチ位置に応じた情報処理を行う情報処理装置とを有することを特徴とするタッチ指示処理装置。 7. A claim 2, 3, 4, 5 or 6 touch position detecting apparatus according, when touched multiple locations simultaneously, and an information processing apparatus for performing information processing according to the touch position touched processing apparatus characterized by having a.
  8. 【請求項8】表示対象物を表示する表示装置と、 上記表示対象物が表示されている上記表示装置の表示面上での、同時かつ複数である、接触物の接触位置をタッチ位置として、2次元で上記タッチ位置を時系列に検出するタッチ位置検出装置と、 上記時系列で検出された複数のタッチ位置を、上記表示対象物に対する移動を指示するタッチ位置指示とし、このタッチ位置指示に基づいて、上記表示対象物の移動を行い、移動後の上記表示対象物を上記表示装置に表示させる制御手段とを有し、 上記タッチ位置検出装置は、 それぞれ1次元方向のタッチ位置を検出し、検出信号を出力するタッチ位置検出手段を複数有し、かつ、同時に複数の位置がタッチされたときに得られる、該タッチの数より多い複数の候補位置のうちから、個々のタッ A display device for displaying 8. A display object, on the display surface of the display device the display object is displayed, a simultaneous and multiple, as a touch position contact position of the touch object, a touch position detecting apparatus for detecting in time series the touch position in two dimensions, a plurality of touch positions detected by the time series, and the touch position instruction to move with respect to the display object, in the touch position indication based on, to move between the display object, the display object after movement and a control means for displaying on the display device, the touch position detection device detects the touch position of each one-dimensional direction has a plurality of touch position detection means for outputting a detection signal, and, at the same time a plurality of positions is obtained when it is touched, from among the plurality of candidate positions exceeds the number of the touch, the individual touch チ位置を判定する同時複数タッチ位置判定手段を有し、 上記タッチ位置検出手段の各々は、タッチにより変化する検出信号に基づいて、タッチ位置の検出を行い、 上記同時複数タッチ位置判定手段は、同時に複数の位置がタッチされたときに得られる、該タッチの数より多い複数の候補位置のうち、その位置が有する、上記タッチ位置検出手段の一方の検出信号から抽出される、位置に依存しない少なくとも1つのタッチの特徴量と他方のタッチ位置検出手段の検出信号から抽出される、位置に依存しない少なくとも1つのタッチの特徴量とが一致するものを選択することにより、個々のタッチ位置を判定することを特徴とするタッチ位置指示処理装置。 A simultaneous multiple touch position determining means for determining Ji position, each of the touch position detection unit, based on a detection signal that changes by a touch, performs detection of the touch position, the simultaneous multiple touch position determining means, at the same time a plurality of positions is obtained when it is touched, out of the plurality of candidate positions exceeds the number of the touch, its position has, is extracted from one of the detection signals of the touch position detection unit, position-independent is extracted from the detection signal of at least one touch features and other of the touch position detecting means, by the feature amount of at least one touch position-independent selects a match, determining an individual touch position touch position instruction processing apparatus, characterized by.
  9. 【請求項9】請求項8記載のタッチ位置指示処理装置において、 上記制御手段は、上記タッチ位置指示による移動の指示の種類として、 該タッチ位置の相互の位置関係を保ったまま平行移動する平行移動指示、 該タッチ位置の相互の位置関係を保ったまま回転移動する回転移動指示、 上記タッチ位置の位置関係を伸縮変形移動する伸縮変形移動指示の少なくとも1つを受け、これらの指示に基づいて、上記表示対象物の移動を行い、移動後の上記表示対象物を上記表示装置に表示させることを特徴とするタッチ位置指示処理装置。 9. The touch position instruction processor according to claim 8, wherein said control means, as the type of instruction movement by the touch position indicator, to translate while maintaining the mutual positional relationship between the touch position parallel movement instruction, rotational movement instruction to rotational movement while maintaining a mutual positional relationship between the touch position, receiving at least one of expansion and contraction deformation movement instruction to stretch Xform the positional relationship between the touch position, based on these instructions performs movement of the display object, the touch position instruction processing apparatus, wherein the display object after movement to be displayed on the display device.
  10. 【請求項10】請求項8記載のタッチ位置指示処理装置において、 上記表示対象物は、複数あり、 上記制御手段は、上記表示対象物のうち、移動の対象となる上記表示対象物を指示する指示の種類として、 上記タッチ位置が、各々異なる上記複数の表示対象物の外郭内を指示する外郭内指示、 上記タッチ位置が、上記複数の表示対象物の1対象物の外郭上を指示する外郭上指示、 上記タッチ位置で囲む範囲内の複数の対象物を指示する範囲内指示の少なくとも1つを受けることを特徴とするタッチ位置指示処理装置。 10. A touch position instruction processor according to claim 8, the display object, there are a plurality of said control means, of the display object, and instructs the display object to be moved as the type of instruction, the touch position is outer in instruction to each different inside contour of the plurality of display objects, the touch position is, to instruct the outline above 1 object of the plurality of display objects outline above indicated, the touch position instruction processing apparatus characterized by receiving at least one of the range instruction to multiple objects within the range surrounded by the touch position.
JP22020594A 1993-09-16 1994-09-14 Touch position detecting device and touch instruction processor Pending JPH07230352A (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP23042093 1993-09-16
JP5-230420 1993-12-20
JP5-320075 1993-12-20
JP32007593 1993-12-20
JP22020594A JPH07230352A (en) 1993-09-16 1994-09-14 Touch position detecting device and touch instruction processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22020594A JPH07230352A (en) 1993-09-16 1994-09-14 Touch position detecting device and touch instruction processor

Publications (1)

Publication Number Publication Date
JPH07230352A true JPH07230352A (en) 1995-08-29

Family

ID=27330411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22020594A Pending JPH07230352A (en) 1993-09-16 1994-09-14 Touch position detecting device and touch instruction processor

Country Status (1)

Country Link
JP (1) JPH07230352A (en)

Cited By (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001027867A1 (en) * 1999-10-13 2001-04-19 Elo Touchsystems, Inc. Contaminant processing system for an acoustic touchscreen
JP2001228971A (en) 2000-02-15 2001-08-24 Newcom:Kk Touch panel system to be operated at plural indicating positions
JP2001265475A (en) * 2000-03-15 2001-09-28 Ricoh Co Ltd Menu display controller and information processor and electronic blackboard system and method for controlling menu display system and method for controlling information processing system and computer readable recording medium with program for allowing the same method to be performed by computer recorded
JP2001290585A (en) * 2000-01-31 2001-10-19 Canon Inc Position information processor, position information processing method and program, and operation device and its method and program
JP2002079162A (en) * 2000-09-05 2002-03-19 Toppan Printing Co Ltd Ultrasonic coating head and coater using the same
JP2004502261A (en) * 2000-07-05 2004-01-22 スマート テクノロジーズ インコーポレイテッドSmart Technologies Inc. Camera-based touch system
JP2006034754A (en) * 2004-07-29 2006-02-09 Nintendo Co Ltd Game apparatus using touch panel and game program
US7202860B2 (en) 2001-10-09 2007-04-10 Eit Co., Ltd. Coordinate input device working with at least display screen and desk-top surface as the pointing areas thereof
JP2008507026A (en) * 2004-07-15 2008-03-06 エヌ−トリグ リミテッド Automatic switching of dual mode digitizer
US7342574B1 (en) 1999-10-29 2008-03-11 Ricoh Company, Ltd. Method and apparatus for inputting information including coordinate data
JP2008158842A (en) * 2006-12-25 2008-07-10 Xanavi Informatics Corp Map display device
JP2008216991A (en) * 2008-01-29 2008-09-18 Fujitsu Ten Ltd Display device
US7477243B2 (en) 2002-05-31 2009-01-13 Eit Co., Ltd. Apparatus for controlling the shift of virtual space and method and program for controlling same
KR100896711B1 (en) * 2007-02-08 2009-05-11 삼성전자주식회사 Method for executing function according to tap in mobile terminal with touch screen
JP2009522669A (en) * 2005-12-30 2009-06-11 アップル インコーポレイテッド Portable electronic device equipped with a multi-touch input
JP2009217543A (en) * 2008-03-11 2009-09-24 Brother Ind Ltd Contact-input type information processing apparatus, contact-input type information processing method, and information processing program
JP2009543246A (en) * 2006-07-12 2009-12-03 エヌ−トリグ リミテッド Hovering for the digitizer and the touch detection
JP2009282634A (en) * 2008-05-20 2009-12-03 Canon Inc Information processor, its control method, program and storage medium
JP2010003325A (en) * 2005-10-05 2010-01-07 Sony Corp Display apparatus and display method
JP2010029711A (en) * 2009-11-10 2010-02-12 Nintendo Co Ltd Game machine and game program using touch panel
JP2010055598A (en) * 2008-07-31 2010-03-11 Sony Corp Information processing apparatus and method, and program
KR100958490B1 (en) * 2004-07-30 2010-05-17 애플 인크. Mode-based graphical user interfaces for touch sensitive input devices
KR100958491B1 (en) * 2004-07-30 2010-05-17 애플 인크. Mode-based graphical user interfaces for touch sensitive input devices
JP2010122767A (en) * 2008-11-17 2010-06-03 Zenrin Datacom Co Ltd Map display apparatus, map display method, and computer program
JP2010191942A (en) * 2009-01-20 2010-09-02 Nitto Denko Corp Display equipped with optical coordinate input device
JP2010233958A (en) * 2009-03-31 2010-10-21 Namco Bandai Games Inc Program, information storage medium, and game device
JP2010233957A (en) * 2009-03-31 2010-10-21 Namco Bandai Games Inc Program, information storage medium, and game device
JP2010250493A (en) * 2009-04-14 2010-11-04 Hitachi Displays Ltd Touch panel device
JP2011014170A (en) * 2000-01-31 2011-01-20 Canon Inc Operation apparatus, method therefor, and program therefor
JP2011023004A (en) * 2007-01-07 2011-02-03 Apple Inc Scrolling for list in touch screen display, parallel movement of document and scaling and rotation
JP2011048663A (en) * 2009-08-27 2011-03-10 Hitachi Displays Ltd Touch panel device
JP2011065519A (en) * 2009-09-18 2011-03-31 Digital Electronics Corp Touch detecting device for touch panel, and touch detecting method therefor
WO2011040483A1 (en) * 2009-09-29 2011-04-07 日本電気株式会社 Display device, control method and recording medium
JP2011076563A (en) * 2009-10-02 2011-04-14 Mitsubishi Electric Corp Terminal device of monitoring control device
JP2011141680A (en) * 2010-01-06 2011-07-21 Kyocera Corp Input device, input method and input program
JP4771951B2 (en) * 2003-05-15 2011-09-14 エフ・ポスザツト・ヒユー・エル・エル・シー Non-contact human-computer interface
JP2011209822A (en) * 2010-03-29 2011-10-20 Nec Corp Information processing apparatus and program
JP2011530123A (en) * 2008-08-07 2011-12-15 ドラム,オウエン Method and apparatus for detecting multi-touch events in an optical touch-sensitive device
JP2011253550A (en) * 2011-07-26 2011-12-15 Kyocera Corp Portable electronic devices
JP2012048570A (en) * 2010-08-27 2012-03-08 Ricoh Co Ltd Display device, input control program, and recording medium storing the same
JP2012080950A (en) * 2010-10-07 2012-04-26 Taito Corp Game device and game system
JP2012091290A (en) * 2010-10-27 2012-05-17 Makino Milling Mach Co Ltd Method and device for measuring tool dimension
JP2012099161A (en) * 1998-01-26 2012-05-24 John G Elias Method of merging manual operation inputs
US8248382B2 (en) 2008-03-11 2012-08-21 Alps Electric Co., Ltd. Input device
JP2012167943A (en) * 2011-02-10 2012-09-06 Touch Panel Systems Kk Acoustic wave type position detector
JP2012168977A (en) * 2012-05-07 2012-09-06 Fujitsu Component Ltd Resistance type touch panel
JP2012203497A (en) * 2011-03-24 2012-10-22 Hitachi Solutions Ltd Display integrated coordinate input device and activation method of virtual keyboard function
JP2013008326A (en) * 2011-06-27 2013-01-10 Canon Inc Image processing device and control method therefor
JP2013504116A (en) * 2009-09-02 2013-02-04 フラットフロッグ ラボラトリーズ アーベーFlatFrog Laboratories AB Contact surface having a compensation signal profile
JP2013506222A (en) * 2009-09-29 2013-02-21 イーロ・タッチ・ソリューションズ・インコーポレイテッドElo Touch Solutions,Inc. Simultaneous touch detection method and apparatus for bending wave touch screen
JP2013041608A (en) * 2012-10-22 2013-02-28 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2013041609A (en) * 2012-10-22 2013-02-28 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2013041607A (en) * 2012-10-22 2013-02-28 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2013050971A (en) * 2012-10-22 2013-03-14 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2013061950A (en) * 2012-10-22 2013-04-04 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2013073484A (en) * 2011-09-28 2013-04-22 Jvc Kenwood Corp Electronic apparatus, method for controlling electronic apparatus, and program
JP2013080513A (en) * 2012-12-28 2013-05-02 Zenrin Datacom Co Ltd Map display device
USRE44258E1 (en) 1999-11-04 2013-06-04 Sony Corporation Apparatus and method for manipulating a touch-sensitive display panel
US8461512B2 (en) 2008-08-07 2013-06-11 Rapt Ip Limited Optical control system with modulated emitters
JP2013522801A (en) * 2010-03-24 2013-06-13 ネオノード インコーポレイテッド Lens array for light-based touchscreen
US8482534B2 (en) 1995-06-29 2013-07-09 Timothy R. Pryor Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP2013175216A (en) * 2013-04-17 2013-09-05 Casio Comput Co Ltd Electronic apparatus and program
JP2013539126A (en) * 2010-09-29 2013-10-17 シェンゼェン ビーワイディー オート アールアンドディー カンパニー リミテッド Object detecting method and apparatus using the same
JP2013218204A (en) * 2012-04-11 2013-10-24 Nikon Corp Focus detection device and imaging device
JP2014032689A (en) * 2013-09-24 2014-02-20 Seiko Epson Corp Portable information apparatus, electronic book, and information storage medium
US8686964B2 (en) 2006-07-13 2014-04-01 N-Trig Ltd. User specific recognition of intended user interaction with a digitizer
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
US8704804B2 (en) 2005-10-05 2014-04-22 Japan Display West Inc. Display apparatus and display method
JP2014142792A (en) * 2013-01-23 2014-08-07 Kddi Corp Terminal device and display program
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
JP2014225292A (en) * 2012-12-20 2014-12-04 キヤノンマーケティングジャパン株式会社 Information processing device, control method therefor, and program
JP2014237039A (en) * 2014-08-19 2014-12-18 株式会社タイトー Game apparatus and game system
JP2014241093A (en) * 2013-06-12 2014-12-25 株式会社リコー Information processing system, operation apparatus, information display method, and program
JP2015022625A (en) * 2013-07-22 2015-02-02 アルプス電気株式会社 Input device
US9024906B2 (en) 2007-01-03 2015-05-05 Apple Inc. Multi-touch input discrimination
US9024886B2 (en) 2009-04-14 2015-05-05 Japan Display Inc. Touch-panel device
USRE45559E1 (en) 1997-10-28 2015-06-09 Apple Inc. Portable computers
JP2015115038A (en) * 2013-12-16 2015-06-22 セイコーエプソン株式会社 Information processor and control method of the same
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
JP2016076017A (en) * 2014-10-03 2016-05-12 株式会社東芝 Graphic processing device and graphic processing program
US9348458B2 (en) 2004-07-30 2016-05-24 Apple Inc. Gestures for touch sensitive input devices
JP2016515742A (en) * 2013-04-15 2016-05-30 クアルコム,インコーポレイテッド id track of gesture touch geometry
US9354811B2 (en) 2009-03-16 2016-05-31 Apple Inc. Multifunction device with integrated search and application selection
US9360993B2 (en) 2002-03-19 2016-06-07 Facebook, Inc. Display navigation
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
US9448712B2 (en) 2007-01-07 2016-09-20 Apple Inc. Application programming interfaces for scrolling operations
US9513744B2 (en) 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
JP2018063738A (en) * 2018-01-29 2018-04-19 株式会社東芝 Graphic processing device and graphic processing program
US10042418B2 (en) 2004-07-30 2018-08-07 Apple Inc. Proximity detector in handheld device

Cited By (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9513744B2 (en) 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US9758042B2 (en) 1995-06-29 2017-09-12 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US8482534B2 (en) 1995-06-29 2013-07-09 Timothy R. Pryor Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
USRE46548E1 (en) 1997-10-28 2017-09-12 Apple Inc. Portable computers
USRE45559E1 (en) 1997-10-28 2015-06-09 Apple Inc. Portable computers
US9552100B2 (en) 1998-01-26 2017-01-24 Apple Inc. Touch sensing with mobile sensors
US9342180B2 (en) 1998-01-26 2016-05-17 Apple Inc. Contact tracking and identification module for touch sensing
US9626032B2 (en) 1998-01-26 2017-04-18 Apple Inc. Sensor arrangement for use with a touch sensor
US9348452B2 (en) 1998-01-26 2016-05-24 Apple Inc. Writing using a touch sensor
US9383855B2 (en) 1998-01-26 2016-07-05 Apple Inc. Identifying contacts on a touch surface
JP2012099161A (en) * 1998-01-26 2012-05-24 John G Elias Method of merging manual operation inputs
JP2012146345A (en) * 1998-01-26 2012-08-02 John G Elias Multi-touch surface device
US8902175B2 (en) 1998-01-26 2014-12-02 Apple Inc. Contact tracking and identification module for touch sensing
US9001068B2 (en) 1998-01-26 2015-04-07 Apple Inc. Touch sensor contact information
US9804701B2 (en) 1998-01-26 2017-10-31 Apple Inc. Contact tracking and identification module for touch sensing
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
US9448658B2 (en) 1998-01-26 2016-09-20 Apple Inc. Resting contacts
US9329717B2 (en) 1998-01-26 2016-05-03 Apple Inc. Touch sensing with mobile sensors
JP2015167028A (en) * 1998-01-26 2015-09-24 ウェスターマン,ウェイン Method and apparatus for integrating manual input
US8866752B2 (en) 1998-01-26 2014-10-21 Apple Inc. Contact tracking and identification module for touch sensing
US9298310B2 (en) 1998-01-26 2016-03-29 Apple Inc. Touch sensor contact information
US9098142B2 (en) 1998-01-26 2015-08-04 Apple Inc. Sensor arrangement for use with a touch sensor that identifies hand parts
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US6366277B1 (en) 1999-10-13 2002-04-02 Elo Touchsystems, Inc. Contaminant processing system for an acoustic touchscreen
WO2001027867A1 (en) * 1999-10-13 2001-04-19 Elo Touchsystems, Inc. Contaminant processing system for an acoustic touchscreen
US7342574B1 (en) 1999-10-29 2008-03-11 Ricoh Company, Ltd. Method and apparatus for inputting information including coordinate data
USRE44258E1 (en) 1999-11-04 2013-06-04 Sony Corporation Apparatus and method for manipulating a touch-sensitive display panel
JP2013050997A (en) * 2000-01-31 2013-03-14 Canon Inc Information processing device, control method therefor, and program therefor
US7986308B2 (en) 2000-01-31 2011-07-26 Canon Kabushiki Kaisha Method and apparatus for detecting and interpreting path of designated position
JP2011014169A (en) * 2000-01-31 2011-01-20 Canon Inc Operation apparatus, method therefor, and program therefor
JP2011014170A (en) * 2000-01-31 2011-01-20 Canon Inc Operation apparatus, method therefor, and program therefor
JP2001290585A (en) * 2000-01-31 2001-10-19 Canon Inc Position information processor, position information processing method and program, and operation device and its method and program
JP2001228971A (en) 2000-02-15 2001-08-24 Newcom:Kk Touch panel system to be operated at plural indicating positions
JP2001265475A (en) * 2000-03-15 2001-09-28 Ricoh Co Ltd Menu display controller and information processor and electronic blackboard system and method for controlling menu display system and method for controlling information processing system and computer readable recording medium with program for allowing the same method to be performed by computer recorded
JP2004502261A (en) * 2000-07-05 2004-01-22 スマート テクノロジーズ インコーポレイテッドSmart Technologies Inc. Camera-based touch system
JP4617549B2 (en) * 2000-09-05 2011-01-26 凸版印刷株式会社 Ultrasonic coating head and a coating apparatus using the same
JP2002079162A (en) * 2000-09-05 2002-03-19 Toppan Printing Co Ltd Ultrasonic coating head and coater using the same
US7414617B2 (en) 2001-10-09 2008-08-19 Eit Co., Ltd. Coordinate input device working with at least display screen and desk-top surface as the pointing areas thereof
US7202860B2 (en) 2001-10-09 2007-04-10 Eit Co., Ltd. Coordinate input device working with at least display screen and desk-top surface as the pointing areas thereof
US9606668B2 (en) 2002-02-07 2017-03-28 Apple Inc. Mode-based graphical user interfaces for touch sensitive input devices
US9626073B2 (en) 2002-03-19 2017-04-18 Facebook, Inc. Display navigation
US9851864B2 (en) 2002-03-19 2017-12-26 Facebook, Inc. Constraining display in display navigation
US9886163B2 (en) 2002-03-19 2018-02-06 Facebook, Inc. Constrained display navigation
US9753606B2 (en) 2002-03-19 2017-09-05 Facebook, Inc. Animated display navigation
US9678621B2 (en) 2002-03-19 2017-06-13 Facebook, Inc. Constraining display motion in display navigation
US9360993B2 (en) 2002-03-19 2016-06-07 Facebook, Inc. Display navigation
US10055090B2 (en) 2002-03-19 2018-08-21 Facebook, Inc. Constraining display motion in display navigation
US7477243B2 (en) 2002-05-31 2009-01-13 Eit Co., Ltd. Apparatus for controlling the shift of virtual space and method and program for controlling same
JP4771951B2 (en) * 2003-05-15 2011-09-14 エフ・ポスザツト・ヒユー・エル・エル・シー Non-contact human-computer interface
JP2008507026A (en) * 2004-07-15 2008-03-06 エヌ−トリグ リミテッド Automatic switching of dual mode digitizer
JP2006034754A (en) * 2004-07-29 2006-02-09 Nintendo Co Ltd Game apparatus using touch panel and game program
US7658675B2 (en) 2004-07-29 2010-02-09 Nintendo Co., Ltd. Game apparatus utilizing touch panel and storage medium storing game program
US9348458B2 (en) 2004-07-30 2016-05-24 Apple Inc. Gestures for touch sensitive input devices
KR100958491B1 (en) * 2004-07-30 2010-05-17 애플 인크. Mode-based graphical user interfaces for touch sensitive input devices
KR100984596B1 (en) * 2004-07-30 2010-09-30 애플 인크. Gestures for touch sensitive input devices
US10042418B2 (en) 2004-07-30 2018-08-07 Apple Inc. Proximity detector in handheld device
KR100958490B1 (en) * 2004-07-30 2010-05-17 애플 인크. Mode-based graphical user interfaces for touch sensitive input devices
JP2010003325A (en) * 2005-10-05 2010-01-07 Sony Corp Display apparatus and display method
US8704804B2 (en) 2005-10-05 2014-04-22 Japan Display West Inc. Display apparatus and display method
JP2009522669A (en) * 2005-12-30 2009-06-11 アップル インコーポレイテッド Portable electronic device equipped with a multi-touch input
US9069417B2 (en) 2006-07-12 2015-06-30 N-Trig Ltd. Hover and touch detection for digitizer
US9535598B2 (en) 2006-07-12 2017-01-03 Microsoft Technology Licensing, Llc Hover and touch detection for a digitizer
US10031621B2 (en) 2006-07-12 2018-07-24 Microsoft Technology Licensing, Llc Hover and touch detection for a digitizer
JP2009543246A (en) * 2006-07-12 2009-12-03 エヌ−トリグ リミテッド Hovering for the digitizer and the touch detection
US8686964B2 (en) 2006-07-13 2014-04-01 N-Trig Ltd. User specific recognition of intended user interaction with a digitizer
US9442607B2 (en) 2006-12-04 2016-09-13 Smart Technologies Inc. Interactive input system and method
JP2008158842A (en) * 2006-12-25 2008-07-10 Xanavi Informatics Corp Map display device
US9778807B2 (en) 2007-01-03 2017-10-03 Apple Inc. Multi-touch input discrimination
US9256322B2 (en) 2007-01-03 2016-02-09 Apple Inc. Multi-touch input discrimination
US9024906B2 (en) 2007-01-03 2015-05-05 Apple Inc. Multi-touch input discrimination
JP2011023004A (en) * 2007-01-07 2011-02-03 Apple Inc Scrolling for list in touch screen display, parallel movement of document and scaling and rotation
US9619132B2 (en) 2007-01-07 2017-04-11 Apple Inc. Device, method and graphical user interface for zooming in on a touch-screen display
US9760272B2 (en) 2007-01-07 2017-09-12 Apple Inc. Application programming interfaces for scrolling operations
US9052814B2 (en) 2007-01-07 2015-06-09 Apple Inc. Device, method, and graphical user interface for zooming in on a touch-screen display
US9448712B2 (en) 2007-01-07 2016-09-20 Apple Inc. Application programming interfaces for scrolling operations
US9041681B2 (en) 2007-02-08 2015-05-26 Samsung Electronics Co., Ltd. Onscreen function execution method for mobile terminal having a touchscreen
KR100896711B1 (en) * 2007-02-08 2009-05-11 삼성전자주식회사 Method for executing function according to tap in mobile terminal with touch screen
US9641749B2 (en) 2007-02-08 2017-05-02 Samsung Electronics Co., Ltd. Onscreen function execution method for mobile terminal having a touchscreen
US9395913B2 (en) 2007-02-08 2016-07-19 Samsung Electronics Co., Ltd. Onscreen function execution method for mobile terminal having a touchscreen
JP2008216991A (en) * 2008-01-29 2008-09-18 Fujitsu Ten Ltd Display device
JP2009217543A (en) * 2008-03-11 2009-09-24 Brother Ind Ltd Contact-input type information processing apparatus, contact-input type information processing method, and information processing program
JP4670879B2 (en) * 2008-03-11 2011-04-13 ブラザー工業株式会社 Contact input type information processing apparatus, information processing method of the contact input-type, and information processing program
US8248382B2 (en) 2008-03-11 2012-08-21 Alps Electric Co., Ltd. Input device
US8902193B2 (en) 2008-05-09 2014-12-02 Smart Technologies Ulc Interactive input system and bezel therefor
JP2009282634A (en) * 2008-05-20 2009-12-03 Canon Inc Information processor, its control method, program and storage medium
US8917245B2 (en) 2008-05-20 2014-12-23 Canon Kabushiki Kaisha Information processing apparatus and control method thereof
JP2010055598A (en) * 2008-07-31 2010-03-11 Sony Corp Information processing apparatus and method, and program
US8723840B2 (en) 2008-08-07 2014-05-13 Rapt Ip Limited Method and apparatus for detecting a multitouch event in an optical touch-sensitive device
US9086762B2 (en) 2008-08-07 2015-07-21 Rapt Ip Limited Optical control system with modulated emitters
US8461512B2 (en) 2008-08-07 2013-06-11 Rapt Ip Limited Optical control system with modulated emitters
JP2011530123A (en) * 2008-08-07 2011-12-15 ドラム,オウエン Method and apparatus for detecting multi-touch events in an optical touch-sensitive device
US8723839B2 (en) 2008-08-07 2014-05-13 Rapt Ip Limited Method and apparatus for detecting a multitouch event in an optical touch-sensitive device
US9335864B2 (en) 2008-08-07 2016-05-10 Rapt Ip Limited Method and apparatus for detecting a multitouch event in an optical touch-sensitive device
JP2010122767A (en) * 2008-11-17 2010-06-03 Zenrin Datacom Co Ltd Map display apparatus, map display method, and computer program
JP2010191942A (en) * 2009-01-20 2010-09-02 Nitto Denko Corp Display equipped with optical coordinate input device
US10067991B2 (en) 2009-03-16 2018-09-04 Apple Inc. Multifunction device with integrated search and application selection
US10042513B2 (en) 2009-03-16 2018-08-07 Apple Inc. Multifunction device with integrated search and application selection
US9354811B2 (en) 2009-03-16 2016-05-31 Apple Inc. Multifunction device with integrated search and application selection
JP2010233957A (en) * 2009-03-31 2010-10-21 Namco Bandai Games Inc Program, information storage medium, and game device
JP2010233958A (en) * 2009-03-31 2010-10-21 Namco Bandai Games Inc Program, information storage medium, and game device
US9024886B2 (en) 2009-04-14 2015-05-05 Japan Display Inc. Touch-panel device
JP2010250493A (en) * 2009-04-14 2010-11-04 Hitachi Displays Ltd Touch panel device
US8692768B2 (en) 2009-07-10 2014-04-08 Smart Technologies Ulc Interactive input system
JP2011048663A (en) * 2009-08-27 2011-03-10 Hitachi Displays Ltd Touch panel device
JP2013504116A (en) * 2009-09-02 2013-02-04 フラットフロッグ ラボラトリーズ アーベーFlatFrog Laboratories AB Contact surface having a compensation signal profile
JP2011065519A (en) * 2009-09-18 2011-03-31 Digital Electronics Corp Touch detecting device for touch panel, and touch detecting method therefor
US9063651B2 (en) 2009-09-29 2015-06-23 Lenovo Innovations Limited Display device, control method and recording medium
WO2011040483A1 (en) * 2009-09-29 2011-04-07 日本電気株式会社 Display device, control method and recording medium
US9696856B2 (en) 2009-09-29 2017-07-04 Elo Touch Solutions, Inc. Method and apparatus for detecting simultaneous touch events on a bending-wave touchscreen
JP2013506222A (en) * 2009-09-29 2013-02-21 イーロ・タッチ・ソリューションズ・インコーポレイテッドElo Touch Solutions,Inc. Simultaneous touch detection method and apparatus for bending wave touch screen
JP5686735B2 (en) * 2009-09-29 2015-03-18 レノボ・イノベーションズ・リミテッド(香港) Display device, control method, and program
JP2011076563A (en) * 2009-10-02 2011-04-14 Mitsubishi Electric Corp Terminal device of monitoring control device
JP2010029711A (en) * 2009-11-10 2010-02-12 Nintendo Co Ltd Game machine and game program using touch panel
JP2011141680A (en) * 2010-01-06 2011-07-21 Kyocera Corp Input device, input method and input program
JP2013522801A (en) * 2010-03-24 2013-06-13 ネオノード インコーポレイテッド Lens array for light-based touchscreen
JP2011209822A (en) * 2010-03-29 2011-10-20 Nec Corp Information processing apparatus and program
JP2012048570A (en) * 2010-08-27 2012-03-08 Ricoh Co Ltd Display device, input control program, and recording medium storing the same
JP2013539126A (en) * 2010-09-29 2013-10-17 シェンゼェン ビーワイディー オート アールアンドディー カンパニー リミテッド Object detecting method and apparatus using the same
JP2012080950A (en) * 2010-10-07 2012-04-26 Taito Corp Game device and game system
JP2012091290A (en) * 2010-10-27 2012-05-17 Makino Milling Mach Co Ltd Method and device for measuring tool dimension
US9188437B2 (en) 2010-10-27 2015-11-17 Makino Milling Machine Co., Ltd. Method of measurement and apparatus for measurement of tool dimensions
JP2012167943A (en) * 2011-02-10 2012-09-06 Touch Panel Systems Kk Acoustic wave type position detector
JP2012203497A (en) * 2011-03-24 2012-10-22 Hitachi Solutions Ltd Display integrated coordinate input device and activation method of virtual keyboard function
JP2013008326A (en) * 2011-06-27 2013-01-10 Canon Inc Image processing device and control method therefor
JP2011253550A (en) * 2011-07-26 2011-12-15 Kyocera Corp Portable electronic devices
US9223487B2 (en) 2011-09-28 2015-12-29 JVC Kenwood Corporation Electronic apparatus, method of controlling the same, and related computer program
JP2013073484A (en) * 2011-09-28 2013-04-22 Jvc Kenwood Corp Electronic apparatus, method for controlling electronic apparatus, and program
JP2013218204A (en) * 2012-04-11 2013-10-24 Nikon Corp Focus detection device and imaging device
JP2012168977A (en) * 2012-05-07 2012-09-06 Fujitsu Component Ltd Resistance type touch panel
JP2013041607A (en) * 2012-10-22 2013-02-28 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2013041608A (en) * 2012-10-22 2013-02-28 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2013061950A (en) * 2012-10-22 2013-04-04 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2013050971A (en) * 2012-10-22 2013-03-14 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2013041609A (en) * 2012-10-22 2013-02-28 Seiko Epson Corp Portable information apparatus, server, electronic book, program and information storage medium
JP2014225292A (en) * 2012-12-20 2014-12-04 キヤノンマーケティングジャパン株式会社 Information processing device, control method therefor, and program
JP2013080513A (en) * 2012-12-28 2013-05-02 Zenrin Datacom Co Ltd Map display device
JP2014142792A (en) * 2013-01-23 2014-08-07 Kddi Corp Terminal device and display program
JP2016515742A (en) * 2013-04-15 2016-05-30 クアルコム,インコーポレイテッド id track of gesture touch geometry
JP2013175216A (en) * 2013-04-17 2013-09-05 Casio Comput Co Ltd Electronic apparatus and program
JP2014241093A (en) * 2013-06-12 2014-12-25 株式会社リコー Information processing system, operation apparatus, information display method, and program
JP2015022625A (en) * 2013-07-22 2015-02-02 アルプス電気株式会社 Input device
JP2014032689A (en) * 2013-09-24 2014-02-20 Seiko Epson Corp Portable information apparatus, electronic book, and information storage medium
JP2015115038A (en) * 2013-12-16 2015-06-22 セイコーエプソン株式会社 Information processor and control method of the same
JP2014237039A (en) * 2014-08-19 2014-12-18 株式会社タイトー Game apparatus and game system
JP2016076017A (en) * 2014-10-03 2016-05-12 株式会社東芝 Graphic processing device and graphic processing program
JP2018063738A (en) * 2018-01-29 2018-04-19 株式会社東芝 Graphic processing device and graphic processing program

Similar Documents

Publication Publication Date Title
US5982352A (en) Method for providing human input to a computer
EP1745356B1 (en) Multipoint touchscreen
JP5259474B2 (en) Selective input signal rejection and modification
US6037929A (en) Coordinate input system and method of controlling same
US8068100B2 (en) Method for providing human input to a computer
ES2340945T3 (en) Procedure for a camera-based touch system.
US8384683B2 (en) Method for user input from the back panel of a handheld computerized device
US8427449B2 (en) Method for providing human input to a computer
US9218121B2 (en) Apparatus and method recognizing touch gesture
US7755613B2 (en) Passive touch system and method of detecting user input
EP3121694B1 (en) Bezel-less acoustic touch apparatus
CN103649893B (en) Optimization for touch typing on the keyboard overlay of the touch screen proximity-based
US7714849B2 (en) Control of vehicle functions
CA2139696C (en) 3-d cursor positioning device
US5686942A (en) Remote computer input system which detects point source on operator
CN1322329B (en) Imput device using scanning sensors
US7038659B2 (en) Symbol encoding apparatus and method
US8842076B2 (en) Multi-touch touchscreen incorporating pen tracking
US9041663B2 (en) Selective rejection of touch contacts in an edge region of a touch surface
US8477098B2 (en) Method and apparatus for user interface of input devices
US6456275B1 (en) Proximity sensor in a computer input device
US6674895B2 (en) Methods for enhancing performance and data acquired from three-dimensional image systems
US9268413B2 (en) Multi-touch touchscreen incorporating pen tracking
US7142193B2 (en) Coordinate input device having rotating bodies capable of rotating in a direction normal to the rotation of a wheel
CN100419652C (en) Wearable signal inputting device for data processing system