WO2013076824A1 - タッチパネル装置における情報処理方法、および、タッチパネル装置 - Google Patents

タッチパネル装置における情報処理方法、および、タッチパネル装置 Download PDF

Info

Publication number
WO2013076824A1
WO2013076824A1 PCT/JP2011/076950 JP2011076950W WO2013076824A1 WO 2013076824 A1 WO2013076824 A1 WO 2013076824A1 JP 2011076950 W JP2011076950 W JP 2011076950W WO 2013076824 A1 WO2013076824 A1 WO 2013076824A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch panel
value
panel device
operator
coordinate axis
Prior art date
Application number
PCT/JP2011/076950
Other languages
English (en)
French (fr)
Inventor
章廣 岡野
Original Assignee
パイオニア株式会社
パイオニアソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社, パイオニアソリューションズ株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2011/076950 priority Critical patent/WO2013076824A1/ja
Priority to US14/358,479 priority patent/US20150084913A1/en
Publication of WO2013076824A1 publication Critical patent/WO2013076824A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to an information processing method in a touch panel device and a touch panel device.
  • a touch panel device that performs processing corresponding to a contact position or a proximity position on a display surface.
  • Such a touch panel device is used in various scenes because various processes can be performed by switching an image on a display surface.
  • the orientation, position, and size of the object image can be changed according to the contact state of the finger with the display surface.
  • Patent Document 1 various studies have been made to improve the operability of such a touch panel device (see, for example, Patent Document 1).
  • Patent Document 1 when a button is touched with a plurality of fingers, different processing is performed according to the distance of the finger or a transitional change in the distance.
  • An object of the present invention is to provide an information processing method in a touch panel device that can easily change the display state of an object image displayed on a display surface with a simple configuration, and a touch panel device.
  • An information processing method in a touch panel device is an information processing method in a touch panel device that performs processing corresponding to the position of an indicator that is in contact with or close to a display surface that is installed upward.
  • a step of displaying an image a step of detecting an indication position corresponding to each of the three or more indicators when the operator brings three or more indicators into contact with or close to the display surface;
  • Based on the step of specifying an object image displayed in at least a part of the region surrounded by the pointing positions of the at least three pointing objects, and the positional relationship of the pointing positions of the three or more pointing objects Estimating the position where the operator having the position is present, and the orientation of the object image is the estimated operator present As a predetermined orientation with respect to location, characterized by a step of changing the display state of the object image.
  • the touch panel device of the present invention is a touch panel device that performs processing corresponding to the position of an indicator that is in contact with or close to the display surface, and a display unit that is installed with the display surface facing upward, and an object image on the display surface And an indication position detection unit that detects indication positions respectively corresponding to the three or more indicators when the operator brings three or more indicators into contact with or close to the display surface. And an image specifying unit that specifies an object image displayed in at least a part of an area surrounded by the indication positions of the three or more indicators, and a positional relationship between the indication positions of the three or more indicators Based on the estimation unit for estimating the position where the operator having the pointing object is present, and the orientation of the object image is predicted with respect to the position where the estimated operator exists.
  • a set orientation characterized in that it comprises a display changing unit for changing the display state of the object image.
  • the perspective view of the touch-panel apparatus which concerns on 1st, 2nd embodiment of this invention.
  • the schematic diagram which shows schematic structure of the infrared rays light-receiving / receiving part in the said touch panel apparatus.
  • the block diagram which shows schematic structure of the said touch panel apparatus.
  • the flowchart which shows the display change process in the said 1st, 2nd embodiment.
  • the flowchart which shows the display change process in the said 1st Embodiment.
  • the schematic diagram which shows the display state before the display change process in case the operator in the said 1st Embodiment exists in the front part side.
  • the schematic diagram which shows the display state before the display change process in case the operator in the said 1st Embodiment exists in the rear surface part side.
  • the perspective view of the touch-panel apparatus which concerns on the modification of this invention.
  • the touch panel device 1 is a table type with the display surface 20 facing upward.
  • a human finger F thumb F 1, index finger F 2, middle finger F 3, ring finger F 4, little finger F 5
  • the finger F contacts the display surface 20.
  • the contact position or proximity position (hereinafter, the contact position or proximity position is collectively referred to as “indication position”). Process that may be expressed).
  • the touch panel device 1 includes a display unit 2, an infrared light receiving / emitting unit 3, and a control unit 4.
  • the display unit 2 includes a rectangular display surface 20.
  • the display unit 2 is accommodated in a rectangular frame 26 with the display surface 20 facing upward.
  • the frame body 26 includes a front surface portion 21 constituting one long side of a rectangular shape, a rear surface portion 22 constituting the other long side, a left surface portion 23 constituting one short side, and the other short side. And a right surface portion 24 to be configured.
  • the infrared light receiving / emitting unit 3 includes a first light emitting unit 31 provided on the front surface 21 of the frame body 26, a first light receiving unit 32 provided on the rear surface 22, and a second light emitting unit provided on the left surface 23. 33 and a second light receiving part 34 provided on the right surface part 24.
  • the first light emitting unit 31 and the second light emitting unit 33 include a plurality of first light emitting elements 311 and second light emitting elements 331, respectively.
  • the first light emitting element 311 and the second light emitting element 331 are infrared LEDs (Light-Emitting Diodes) capable of emitting infrared light L.
  • the first light receiving unit 32 and the second light receiving unit 34 include the same number of first light receiving elements 321 and second light receiving elements 341 as the first light emitting elements 311 and the second light emitting elements 331, respectively.
  • the first light receiving element 321 and the second light receiving element 341 are infrared light receiving elements that can receive the infrared light L, and are disposed on the optical axes of the first light emitting element 311 and the second light emitting element 331.
  • the first light emitting element 311 and the second light emitting element 331 emit infrared rays L in parallel with the display surface 20 under the control of the control unit 4.
  • the first light receiving element 321 and the second light receiving element 341 When the first light receiving element 321 and the second light receiving element 341 receive the infrared ray L, the first light receiving element 321 and the second light receiving element 341 output a light reception signal corresponding to the amount of received light to the control unit 4.
  • control unit 4 includes an image display unit 41, an indication position detection unit 42, and a program and data stored in a storage unit (not shown) that are processed by a CPU (Central Processing Unit).
  • the image specifying unit 43, the estimating unit 44, and the display changing unit 45 are provided.
  • the image display unit 41 displays various images on the display surface 20 of the display unit 2. For example, as shown in FIGS. 1 and 2, the object image P is displayed.
  • examples of the object image P include images of documents, tables and graphs created by various software, images of landscapes and people captured by the imaging unit, and content images such as animation and movies.
  • the indication position detector 42 scans the display surface 20 using the infrared rays L from the first light emitting elements 311 and the second light emitting elements 331 and detects that the infrared rays L are shielded, the indication surface 20 It is determined that the finger F indicates the predetermined position above.
  • the designated position detection unit 42 also detects the number of fingers F and the designated position based on the number of light shielding positions.
  • the image specifying unit 43 specifies the object image P in which the display area overlaps with the designated position of the finger F detected by the designated position detecting unit 42 among the object images P displayed on the display surface 20.
  • the estimation unit 44 estimates the position where the operator having the finger F exists based on the positional relationship of the instruction positions of at least three fingers F detected by the instruction position detection unit 42.
  • the display changing unit 45 changes the display state of the object image P specified by the image specifying unit 43 so that the orientation is set in advance with respect to the position of the operator estimated by the estimating unit 44.
  • FIG. 4 for example, when the image display unit 41 of the control unit 4 configuring the touch panel device 1 detects that the power is turned on and a predetermined operation is performed, the object image P as shown in FIG. Is displayed on the display surface 20 (step S1).
  • the operator of the touch panel device 1 wants to change the orientation of the object image P, the operator touches the display area of the object image P on the display surface 20 with the finger F (touches the object image P with the finger F).
  • the indication position detection unit 42 performs a light-shielding scan using the infrared rays L in order to determine whether or not the finger F is touching the display surface 20 (step S2). Then, the indication position detection unit 42 determines whether or not the shielding of the infrared ray L has been detected (step S3), and repeats the processes of steps S2 and S3 until the shielding of the infrared ray L is detected.
  • the indicated position detection unit 42 drives the first light emitting elements 311 one by one from the left side in FIG. 2 to emit infrared L by repeating Step S2 and Step S3. Further, the second light emitting elements 331 are sequentially driven one by one from the upper side in FIG. Then, the pointing position detection unit 42 detects light shielding based on the light reception signals from the first light receiving element 321 and the second light receiving element 341 facing the first light emitting element 311 and the second light emitting element 331, respectively. Determine whether or not. When the light shielding is detected in step S3, the designated position detection unit 42 determines whether or not three or more fingers F are touched twice within a predetermined time (for example, 1 second) (step S4). . That is, it is determined whether or not the finger F has touched twice intermittently within a predetermined time. It may be determined whether or not the finger F has been touched intermittently three or more times.
  • a predetermined time for example, 1 second
  • step S4 when it is determined that the finger F has not touched the finger F twice intermittently within a predetermined time, the indicated position detection unit 42 performs a predetermined process as necessary, and then returns to step S2.
  • step S4 when the pointing position detection unit 42 determines that three or more fingers F are intermittently touched twice (double-tapped) within a predetermined time, the three or more fingers F are detected. The indicated position is detected. Then, the image specifying unit 43 determines whether or not the same object image P has been touched twice based on the designated position (step S5). That is, the image specifying unit 43 specifies the object image P touched by three or more fingers F.
  • step S5 when all three or more fingers F are not touching the same object image P, for example, one finger F is touching the object image P, but the other two or more fingers F are not touched. If the finger is touching a part other than the object image P, the process returns to step S2.
  • step S5 when the image specifying unit 43 determines that three or more fingers F have touched the same object image P, the estimation unit 44, as shown in FIG. A reference line that connects the two most distant indication positions with a straight line among the indication positions of F is set (step S6). Specifically, as shown in FIGS. 6 and 7, when the five fingers F1 to F5 are touching the object image P, the estimation unit 44 uses the thumb F1, the index finger F2, the middle finger F3, the ring finger F4, and the little finger. Each indicated position Q1, Q2, Q3, Q4, Q5 of F5 is detected. Then, the estimation unit 44 determines that the designated position Q1 of the thumb F1 and the designated position Q5 of the little finger F5 are farthest from each other, and sets a reference line Hs that connects the designated position Q1 and the designated position Q5.
  • the estimation unit 44 sets a two-dimensional coordinate plane having an X axis AX as a first coordinate axis and a Y axis AY as a second coordinate axis on the display surface 20 (step S7). Thereafter, the estimation unit 44 sets a perpendicular to the reference line Hs for the remaining designated positions, and calculates the distance of the perpendicular (step 8). Specifically, as shown in FIGS. 6 and 7, the estimation unit 44 performs perpendicular lines D2, D3 and D4 with respect to the reference line Hs with respect to the pointing position Q2 of the index finger F2, the pointing position Q3 of the middle finger F3, and the pointing position Q4 of the ring finger F4. Set D4 respectively.
  • the estimation unit 44 sets the coordinates of the pointing position Q2 of the index finger F2, the pointing position Q3 of the middle finger F3, and the pointing position Q4 of the ring finger F4 based on the coordinate plane to (X2, Y2), (X3, Y3), It is determined that (X4, Y4). And the estimation part 44 calculates the distance of perpendicular line D2, D3, D4.
  • the estimation unit 44 sets positive / negative with respect to the distance of the perpendicular (step S9). Specifically, as shown in FIGS. 6 and 7, the estimation unit 44 has the value of the Y coordinate as the second coordinate of the designated position Q2 located at one end of the perpendicular D2 located at the other end of the perpendicular D2. When it is larger than the value of the Y coordinate of the intersection Q12 on the reference line Hs, the distance of the perpendicular D2 is set to a positive value, and when it is smaller, the distance of the perpendicular D2 is set to a negative value. In the state shown in FIG.
  • the estimation unit 44 is configured to use the perpendicular D2, The distance between D3 and D4 is set to a positive value.
  • the estimating unit 44 is The distances D2, D3, and D4 are set to negative values.
  • step S11 the estimation part 44 adds the distance of the perpendicular to which the positive / negative was set (step S10), and judges whether an addition result is a positive value (step S11).
  • step S11 when the estimation part 44 judges that it is positive, it estimates that an operator exists in the front part 21 side with respect to the display surface 20 (step S12). Then, the display changing unit 45 redisplays the object image P so as to be in the correct orientation when viewed from the front surface unit 21 side (step S13), and ends the process.
  • “re-display the object image P in the correct orientation when viewed from the front portion 21 side” means that, for example, when the object image P includes characters or buildings, the object image P is on the front portion 21 side.
  • control unit 4 estimates that the operator is present on the front surface portion 21 side in step S ⁇ b> 12, and in step S ⁇ b> 13, from the front surface portion 21 side as illustrated in FIG. 8.
  • the object image P is displayed again so that the characters “AA” are correctly oriented.
  • step S11 determines in step S11 that it is negative
  • step S14 the estimation unit 44 estimates that the operator is present on the rear surface unit 22 side with respect to the display surface 20
  • step S15 the display change unit 45 redisplays the object image P so as to be in the correct orientation when viewed from the rear surface portion 22 side (step S15), and ends the process.
  • the control unit 4 estimates that the operator is present on the rear surface portion 22 side in step S13, and in step S14, from the rear surface portion 22 side as shown in FIG. 9.
  • the object image P is displayed again so that the characters “AA” are correctly oriented.
  • the touch panel device 1 determines that the object image P is instructed with three or more fingers F
  • the touch panel device 1 estimates the position of the operator based on the positional relationship of the instructed positions of the three or more fingers. Then, the touch panel device 1 changes the display state of the object image P so that the orientation of the object image P is correct with respect to the position where the operator exists. For this reason, the touch panel device 1 can redisplay the object image P in an appropriate direction without displaying a button for changing the display state of the object image P.
  • the touch panel device 1 sets a reference line Hs that connects the indicated positions of the thumb F1 and the little finger F5, that is, two indicated positions farthest among the indicated positions of the finger F, with a two-dimensional coordinate. Set the plane. Further, the touch panel device 1 calculates the distances of the perpendicular lines D2, D3, D4 with respect to the reference line Hs for each of the pointing positions of the index finger F2, the middle finger F3, and the ring finger F4. Thereafter, the touch panel device 1 sets the distances of the perpendicular lines D2, D3, D4 based on the coordinates on the coordinate plane, adds the distances of the perpendicular lines D2, D3, D4, and adds the distances.
  • the touch panel device 1 can estimate the position where the operator is present by a simple method of performing calculation based on the coordinates of the designated position specified on the coordinate plane.
  • the control unit 4A of the touch panel device 1A performs the processing of step S7 as shown in FIG. 10 after performing the processing of steps S1 to S5 shown in FIG. Thereafter, as shown in FIG. 11, the estimation unit 44A of the control unit 4A approximates a curve connecting all the pointing positions of the fingers F, and sets a quadratic curve Hq represented by the following formula (1).
  • Step S21 it is determined whether A in Formula (1) is a negative value (Step S22).
  • Y AX 2 + BX + C (1)
  • Y Y coordinate value A, B, C: Constant
  • step S22 If the control unit 4A determines that the estimation unit 44A is negative in step S22, the control unit 4A performs the processing of step S12 and step S13. Specifically, in the state shown in FIG. 11, the control unit 4 ⁇ / b> A assumes that the operator is present on the front surface part 21 side with respect to the display surface 20 because the value of A is negative, and is shown in FIG. 8. In this way, the object image P is redisplayed so that it is in the correct orientation when viewed from the front face 21 side. On the other hand, when the control unit 4A determines that the estimation unit 44A is positive in step S22, the control unit 4A performs the processes of step S14 and step S15.
  • the touch panel device 1A sets a two-dimensional coordinate plane, approximates a curve connecting all fingers F, and sets a quadratic curve Hq represented by the above formula (1). Then, the touch panel device 1A estimates that the operator is present in the negative direction of the Y axis AY (on the front surface portion 21 side) when the value of A in the formula (1) is negative. It is estimated that the operator exists in the positive direction of the axis AY (on the rear surface portion 22 side). For this reason, the touch panel device 1 ⁇ / b> A can estimate the position where the operator is present by a simple method that simply performs calculations based on the coordinates of the designated position specified on the coordinate plane.
  • the present invention is not limited to the first and second embodiments described above, but includes modifications and improvements as long as the object of the present invention can be achieved. That is, in the first embodiment, the control unit 4 determines that there is an operator on the opposite side of the indicated position of the finger F other than the finger F used for setting the reference line Hs with the reference line Hs interposed therebetween. May be. For example, in the state shown in FIG. 6, the control unit 4 may determine that an operator exists on the opposite side of the pointing position Q2 of the index finger F2 across the reference line Hs without setting a coordinate plane.
  • the control units 4 and 4A when the operator located on the front surface portion 21 side wants to appropriately display the object image P to the operator located on the rear surface portion 22 side, the control units 4 and 4A are When it is determined that the operator exists on the front surface portion 21 side, the object image P may be redisplayed so that the orientation is correct when viewed from the rear surface portion 22 side.
  • a touch panel device 1B as shown in FIGS. 12 and 13 may be used.
  • the difference between the touch panel device 1B and the touch panel device 1 of the first embodiment is that a camera 5B capable of photographing the entire display surface 20 is provided, and an indicated position detection unit 42B and an image specification unit 43B of the control unit 4B.
  • the designated position detection unit 42B of the control unit 4B determines that three or more fingers F are double-tapped in the light shielding scan
  • the designated position detection unit 42B does not detect the designated position of the finger F based on the light shielding state.
  • the captured image of the display surface 20 is acquired by controlling 5B.
  • the designated position detection unit 42B detects the designated position based on the position of the finger F shown in the captured image.
  • the image specifying unit 43B determines whether or not three or more fingers F touch the same object image P based on the captured image.
  • the pointing position detection unit 42 As the movement of the finger F by the pointing position detection unit 42, a so-called double tap in which the three fingers F intermittently touch the same object image P twice is detected. However, the touch is performed three times or four times or more. It may be detected, or the movement of three or four fingers F may be detected. Furthermore, the indicated position detection unit 42 may detect a movement in which three or more fingers F continuously touch the same object image P for a predetermined time or longer (keep pressing the same object image P).
  • step S5 determines whether or not all three or more fingers F are touching the same object image P twice in succession. That is, at least part of a region R surrounded by all three or more fingers F (a region surrounded by a line connecting the designated positions Q1 to Q5 and indicated by a one-dot chain line in FIG. 6) is continued twice. It may be determined whether or not the same object image P is included. In this case, if the same object image P is included twice in at least a part of the region R, the process of step S6 is performed. If not included, the process returns to step S2. Further, it may be determined whether or not the same object image P is included twice in the center position and the average position of the region R.
  • any configuration such as a capacitance method or an electromagnetic induction method may be used as a configuration for detecting the presence position.
  • a data communication using Bluetooth may be performed.
  • the pointing object is not limited to the finger F, and may be a dedicated member pen having, for example, three or more bar-shaped pointing parts.
  • the touch panel device 1 may be used as a display device for a portable or stationary computer, a PDA (Personal Digital Assistant), a mobile phone, a camera, a clock, and a content reproduction device, or installed on a wall. It may be a thing.
  • the touch panel device 1 may be used for displaying business information or information in a vehicle, or may be used for operating an electronic device.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Position Input By Displaying (AREA)

Abstract

　タッチパネル装置（１）は、表示面（２０）を上方に向けて設置された表示部と、表示面（２０）にオブジェクト画像（Ｐ）を表示させる画像表示部と、３本以上の指（Ｆ）が表示面（２０）に接触または近接した位置を指示位置として検出する指示位置検出部と、指示位置に表示されているオブジェクト画像（Ｐ）を特定する画像特定部と、３本以上の指（Ｆ）にそれぞれ対応する指示位置の位置関係に基づいて、指（Ｆ）を有する操作者が存在している位置を推定する推定部と、オブジェクト画像（Ｐ）の向きが、前記推定した操作者が存在している位置に対して予め設定された向きとなるように、オブジェクト画像（Ｐ）の表示状態を変更する表示変更部とを備える。

Description

タッチパネル装置における情報処理方法、および、タッチパネル装置
　本発明は、タッチパネル装置における情報処理方法、および、タッチパネル装置に関する。
　従来、表示面の接触位置または近接位置に対応する処理を行うタッチパネル装置が知られている。このようなタッチパネル装置は、表示面の画像を切り替えることで、多種の処理を行うことができることから、様々な場面で用いられている。このようなタッチパネル装置では、表示面に対する指の接触状態に応じて、オブジェクト画像の向き、位置、大きさを変更できるようになっている。
　一方、このようなタッチパネル装置の操作性を向上させるための様々な検討がなされている（例えば、特許文献１参照）。
　特許文献１の構成では、複数の指でボタンがタッチされた場合に、当該指の距離や、当該距離の過渡的な変化に応じて、異なる処理を行うようにしている。
特開２００１－２２８９７１号公報
　しかしながら、特許文献１のような構成では、オブジェクト画像の他に操作用のボタンを表示させる必要があり、タッチパネル装置の処理が複雑になるおそれがある。
　本発明は、表示面に表示されたオブジェクト画像の表示状態の変更操作を簡単な構成で容易に行えるタッチパネル装置における情報処理方法、および、タッチパネル装置を提供することを１つの目的とする。
　本発明のタッチパネル装置における情報処理方法は、上方に向けて設置された表示面に接触または近接した指示物の位置に対応する処理を行うタッチパネル装置における情報処理方法であって、前記表示面にオブジェクト画像を表示させるステップと、操作者が３個以上の指示物を前記表示面に接触または近接させたときに、前記３個以上の指示物にそれぞれ対応する指示位置を検出するステップと、前記３個以上の指示物の指示位置で囲まれる領域の少なくとも一部に表示されているオブジェクト画像を特定するステップと、前記３個以上の指示物の前記指示位置の位置関係に基づいて、前記指示物を有する前記操作者が存在している位置を推定するステップと、前記オブジェクト画像の向きが、前記推定した前記操作者が存在している位置に対して予め設定された向きとなるように、前記オブジェクト画像の表示状態を変更するステップとを有することを特徴とする。
　本発明のタッチパネル装置は、表示面に接触または近接した指示物の位置に対応する処理を行うタッチパネル装置であって、表示面を上方に向けて設置された表示部と、前記表示面にオブジェクト画像を表示させる画像表示部と、操作者が３個以上の指示物を前記表示面に接触または近接させたときに、前記３個以上の指示物にそれぞれ対応する指示位置を検出する指示位置検出部と、前記３個以上の指示物の指示位置で囲まれる領域の少なくとも一部に表示されているオブジェクト画像を特定する画像特定部と、前記３個以上の指示物の前記指示位置の位置関係に基づいて、前記指示物を有する前記操作者が存在している位置を推定する推定部と、前記オブジェクト画像の向きが、前記推定した前記操作者が存在している位置に対して予め設定された向きとなるように、前記オブジェクト画像の表示状態を変更する表示変更部とを備えることを特徴とする。
本発明の第１，第２実施形態に係るタッチパネル装置の斜視図。 前記タッチパネル装置における赤外線発光受光部の概略構成を示す模式図。 前記タッチパネル装置の概略構成を示すブロック図。 前記第１，第２実施形態における表示変更処理を示すフローチャート。 前記第１実施形態における表示変更処理を示すフローチャート。 前記第１実施形態における操作者が前面部側に存在している場合の表示変更処理前の表示状態を示す模式図。 前記第１実施形態における操作者が後面部側に存在している場合の表示変更処理前の表示状態を示す模式図。 前記第１，第２実施形態における操作者が前面部側に存在している場合の表示変更処理後の表示状態を示す模式図。 前記第１実施形態における操作者が後面部側に存在している場合の表示変更処理後の表示状態を示す模式図。 前記第２実施形態における表示変更処理を示すフローチャート。 前記第２実施形態における操作者が前面部側に存在している場合の表示変更処理前の表示状態を示す模式図。 本発明の変形例に係るタッチパネル装置の斜視図。 前記変形例のタッチパネル装置の概略構成を示すブロック図。
［第１実施形態］
　まず、本発明の第１実施形態について図面に基づいて説明する。
｛タッチパネル装置の構成｝
　図１において、タッチパネル装置１は、表示面２０が上を向くテーブル型のものである。このタッチパネル装置１は、指示物としての人間の指Ｆ（親指Ｆ１、人差し指Ｆ２、中指Ｆ３、薬指Ｆ４、小指Ｆ５）が表示面２０に接触または近接（以下において、指Ｆが表示面２０に接触または近接している状態をまとめて「表示面２０上を指示」と表現する場合がある）した場合、当該接触位置または近接位置（以下において、接触位置または近接位置をまとめて「指示位置」と表現する場合がある）に対応する処理をする。
　そして、タッチパネル装置１は、図１～図３に示すように、表示部２と、赤外線受光発光部３と、制御部４とを備える。
　表示部２は、四角形状の表示面２０を備える。表示部２は、表示面２０を上方に向けて長方形状の枠体２６内に収容される。この枠体２６は、長方形状の一方の長辺を構成する前面部２１と、他方の長辺を構成する後面部２２と、一方の短辺を構成する左面部２３と、他方の短辺を構成する右面部２４とを備える。
　赤外線受光発光部３は、枠体２６の前面部２１に設けられた第１発光部３１と、後面部２２に設けられた第１受光部３２と、左面部２３に設けられた第２発光部３３と、右面部２４に設けられた第２受光部３４とを備える。
　第１発光部３１および第２発光部３３は、それぞれ複数の第１発光素子３１１および第２発光素子３３１を備える。第１発光素子３１１および第２発光素子３３１は、赤外線Ｌを発光可能な赤外線ＬＥＤ（Light-Emitting Diode）である。
　また、第１受光部３２および第２受光部３４は、それぞれ第１発光素子３１１および第２発光素子３３１と同数の第１受光素子３２１および第２受光素子３４１を備える。第１受光素子３２１および第２受光素子３４１は、赤外線Ｌを受光可能な赤外線受光素子であり、第１発光素子３１１および第２発光素子３３１の光軸上に配置されている。
　そして、第１発光素子３１１および第２発光素子３３１は、制御部４の制御により、表示面２０と平行に赤外線Ｌを発光する。第１受光素子３２１および第２受光素子３４１は、赤外線Ｌを受光すると、この受光量に対応する受光信号を制御部４に出力する。
　図３に示すように、制御部４は、図示しない記憶部に記憶されたプログラムおよびデータをＣＰＵ（CentralProcessing Unit）が処理することにより構成される、画像表示部４１と、指示位置検出部４２と、画像特定部４３と、推定部４４と、表示変更部４５とを備える。
　画像表示部４１は、表示部２の表示面２０に各種画像を表示させる。例えば、図１および図２に示すように、オブジェクト画像Ｐを表示させる。
　ここで、オブジェクト画像Ｐとしては、各種ソフトウェアで作成した文書や表やグラフの画像、撮像部で撮像された風景や人物などの画像、アニメーションや映画などのコンテンツ画像が例示できる。
　指示位置検出部４２は、第１発光素子３１１および第２発光素子３３１からの赤外線Ｌを用いて表示面２０上を走査して、当該赤外線Ｌが遮光されていることを検出すると、表示面２０上の所定位置を指Ｆが指示していると判断する。また、指示位置検出部４２は、遮光位置の数に基づいて、指Ｆの本数および指示位置も検出する。
　画像特定部４３は、表示面２０に表示されているオブジェクト画像Ｐのうち、指示位置検出部４２で検出された指Ｆの指示位置と表示領域が重なるオブジェクト画像Ｐを特定する。
　推定部４４は、指示位置検出部４２で検出された少なくとも３本の指Ｆの指示位置の位置関係に基づいて、当該指Ｆを有する操作者が存在している位置を推定する。
　表示変更部４５は、推定部４４で推定された操作者の位置に対して予め設定された向きとなるように、画像特定部４３で特定されたオブジェクト画像Ｐの表示状態を変更する。
　｛タッチパネル装置の作用｝
　次に、タッチパネル装置１の作用を説明する。なお、ここでは、５本の指Ｆ（親指Ｆ１、人差し指Ｆ２、中指Ｆ３、薬指Ｆ４、小指Ｆ５）が表示面２０に接触した場合の作用について例示するが、近接した場合にも同様に作用する。
　タッチパネル装置１を構成する制御部４の画像表示部４１は、図４に示すように、例えば、電源がオンされて所定の操作がなされたことを検出すると、図１に示すようなオブジェクト画像Ｐを表示面２０で表示させる（ステップＳ１）。
　タッチパネル装置１の操作者は、オブジェクト画像Ｐの向きを変更したい場合には、表示面２０におけるオブジェクト画像Ｐの表示領域を指Ｆで触れる（オブジェクト画像Ｐを指Ｆでタッチする）。
　この後、指示位置検出部４２は、指Ｆが表示面２０にタッチしているか否かを判断するために、赤外線Ｌを用いた遮光スキャンを行う（ステップＳ２）。そして、指示位置検出部４２は、赤外線Ｌの遮光を検出したか否かを判断して（ステップＳ３）、赤外線Ｌの遮光を検出するまで、ステップＳ２およびステップＳ３の処理を繰り返す。
　具体的に、指示位置検出部４２は、ステップＳ２およびステップＳ３の繰り返しにより、第１発光素子３１１を、図２における左側から順次１つずつ駆動して赤外線Ｌを発光させる。また、第２発光素子３３１を、図２における上側から順次１つずつ駆動して赤外線Ｌを発光させる。そして、指示位置検出部４２は、各第１発光素子３１１と各第２発光素子３３１にそれぞれ対向する、第１受光素子３２１と第２受光素子３４１からの受光信号に基づいて、遮光を検出したか否かを判断する。
　指示位置検出部４２は、ステップＳ３において、遮光を検出した場合には、一定時間内（例えば、１秒）に３本以上の指Ｆが２回タッチしたか否かを判断する（ステップＳ４）。すなわち、指Ｆが所定時間内に２回断続的にタッチしたか否かを判断する。なお、３回以上断続的に指Ｆがタッチしたか否かを判断してもよい。
　このステップＳ４において、指示位置検出部４２は、指Ｆが所定時間内に２回断続的にタッチしていないと判断した場合、必要に応じて所定の処理を行った後、ステップＳ２に戻る。
　一方、ステップＳ４において、指示位置検出部４２は、３本以上の指Ｆが所定時間内に２回断続的にタッチした（ダブルタップした）と判断した場合には、当該３本以上の指Ｆの指示位置を検出する。そして、画像特定部４３は、指示位置に基づいて、２回続けて同一のオブジェクト画像Ｐにタッチしたか否かを判断する（ステップＳ５）。すなわち、画像特定部４３は、３本以上の指Ｆがタッチしたオブジェクト画像Ｐを特定する。このステップＳ５において、３本以上の全ての指Ｆが同一のオブジェクト画像Ｐにタッチしていない場合、例えば、１本の指Ｆがオブジェクト画像Ｐにタッチしているが、他の２本以上の指が当該オブジェクト画像Ｐ以外の部分にタッチしている場合には、ステップＳ２に戻る。
　また、ステップＳ５において、画像特定部４３によって３本以上の指Ｆが同一のオブジェクト画像Ｐにタッチしたと判断した場合には、推定部４４は、図５に示すように、３本以上の指Ｆの指示位置のうち、最も離れている２個の指示位置を直線で結ぶ基準線を設定する（ステップＳ６）。
　具体的に、推定部４４は、図６および図７に示すように、５本の指Ｆ１～Ｆ５がオブジェクト画像Ｐにタッチしている場合、親指Ｆ１、人差し指Ｆ２、中指Ｆ３、薬指Ｆ４、小指Ｆ５のそれぞれの指示位置Ｑ１，Ｑ２，Ｑ３，Ｑ４，Ｑ５を検出する。そして、推定部４４は、親指Ｆ１の指示位置Ｑ１と小指Ｆ５の指示位置Ｑ５とが最も離れていると判断して、指示位置Ｑ１と指示位置Ｑ５とを結ぶ基準線Ｈｓを設定する。
　次に、推定部４４は、表示面２０に第１座標軸としてのＸ軸ＡＸと、第２座標軸としてのＹ軸ＡＹとを有する二次元の座標平面を設定する（ステップＳ７）。この後、推定部４４は、残りの指示位置について、基準線Ｈｓに対する垂線を設定して、当該垂線の距離を算出する（ステップ８）。
　具体的に、推定部４４は、図６および図７に示すように、人差し指Ｆ２の指示位置Ｑ２、中指Ｆ３の指示位置Ｑ３、薬指Ｆ４の指示位置Ｑ４について、基準線Ｈｓに対する垂線Ｄ２，Ｄ３，Ｄ４をそれぞれ設定する。また、推定部４４は、座標平面に基づいて、人差し指Ｆ２の指示位置Ｑ２、中指Ｆ３の指示位置Ｑ３、薬指Ｆ４の指示位置Ｑ４のそれぞれの座標を（Ｘ２，Ｙ２）、（Ｘ３，Ｙ３）、（Ｘ４，Ｙ４）であると判断する。そして、推定部４４は、垂線Ｄ２，Ｄ３，Ｄ４の距離を算出する。
　この後、推定部４４は、垂線の距離に対して正負を設定する（ステップＳ９）。具体的に、推定部４４は、図６および図７に示すように、垂線Ｄ２の一端に位置する指示位置Ｑ２の第２座標としてのＹ座標の値が、当該垂線Ｄ２の他端に位置する基準線Ｈｓ上の交点Ｑ１２のＹ座標の値よりも大きい場合、垂線Ｄ２の距離を正の値に設定し、小さい場合、垂線Ｄ２の距離を負の値に設定する。
　図６に示す状態の場合、指示位置Ｑ２，Ｑ３，Ｑ４のＹ座標の値が基準線Ｈｓ上の交点Ｑ１２，Ｑ１３，Ｑ１４のＹ座標の値よりも大きいので、推定部４４は、垂線Ｄ２、Ｄ３，Ｄ４の距離を正の値に設定する。
　また、図７に示す状態の場合、指示位置Ｑ２，Ｑ３，Ｑ４のＹ座標の値が基準線Ｈｓ上の交点Ｑ１２，Ｑ１３，Ｑ１４のＹ座標の値よりも小さいので、推定部４４は、垂線Ｄ２、Ｄ３，Ｄ４の距離を負の値に設定する。
　そして、推定部４４は、正負を設定した垂線の距離を加算して（ステップＳ１０）、加算結果が正の値か否かを判断する（ステップＳ１１）。
　このステップＳ１１において、推定部４４は、正であると判断した場合、操作者が表示面２０に対して前面部２１側に存在すると推定する（ステップＳ１２）。そして、表示変更部４５は、前面部２１側から見て正しい向きとなるようにオブジェクト画像Ｐを再表示して（ステップＳ１３）、処理を終了する。
　ここで、「前面部２１側から見て正しい向きにオブジェクト画像Ｐを再表示する」とは、例えばオブジェクト画像Ｐに文字や建物が含まれている場合において、当該オブジェクト画像Ｐが前面部２１側に位置する操作者に文字や建物の上下を正しく視認させたいものである場合に、文字や建物の下側が前面部２１側に位置し、文字や建物の上側が後面部２２側に位置するように、オブジェクト画像Ｐを再表示させることを意味する。
　具体的に、制御部４は、図６に示す状態の場合、ステップＳ１２において操作者が前面部２１側に存在すると推定して、ステップＳ１３において、図８に示すように、前面部２１側から見て「ＡＡ」の文字が正しい向きとなるように、オブジェクト画像Ｐを再表示する。
　一方、推定部４４は、ステップＳ１１において、負であると判断した場合、操作者が表示面２０に対して後面部２２側に存在すると推定する（ステップＳ１４）。そして、表示変更部４５は、後面部２２側から見て正しい向きとなるようにオブジェクト画像Ｐを再表示して（ステップＳ１５）、処理を終了する。
　具体的に、制御部４は、図７に示す状態の場合、ステップＳ１３において操作者が後面部２２側に存在すると推定して、ステップＳ１４において、図９に示すように、後面部２２側から見て「ＡＡ」の文字が正しい向きとなるように、オブジェクト画像Ｐを再表示する。
　｛第１実施形態の作用効果｝
　上述したような第１実施形態では、以下のような作用効果を奏することができる。
　（１）タッチパネル装置１は、オブジェクト画像Ｐが３本以上の指Ｆで指示されたと判断すると、当該３本以上の指の指示位置の位置関係に基づいて、操作者の位置を推定する。そして、タッチパネル装置１は、オブジェクト画像Ｐの向きが、操作者が存在している位置に対して正しい向きとなるように、オブジェクト画像Ｐの表示状態を変更する。
　このため、タッチパネル装置１は、オブジェクト画像Ｐの表示状態を変更するためのボタンを表示させることなく、オブジェクト画像Ｐを適切な向きに再表示することができる。
　（２）タッチパネル装置１は、親指Ｆ１と小指Ｆ５との指示位置、すなわち指Ｆの指示位置のうち最も離れた２個の指示位置を直線で結ぶ基準線Ｈｓを設定するとともに、二次元の座標平面を設定する。また、タッチパネル装置１は、人差し指Ｆ２、中指Ｆ３、薬指Ｆ４の指示位置のそれぞれについて、基準線Ｈｓに対する垂線Ｄ２，Ｄ３，Ｄ４の距離を算出する。この後、タッチパネル装置１は、座標平面の座標に基づいて、垂線Ｄ２，Ｄ３，Ｄ４の距離の正負を設定して、当該垂線Ｄ２，Ｄ３，Ｄ４の距離を加算して、当該加算して得られた値が正の場合、Ｙ軸ＡＹの負の方向（前面部２１側）に操作者が存在していると推定し、負の場合、Ｙ軸ＡＹの正の方向（後面部２２側）に操作者が存在していると推定する。
　このため、タッチパネル装置１は、座標平面で特定される指示位置の座標に基づく計算をするだけの簡単な方法で、操作者が存在している位置を推定できる。
［第２実施形態］
　次に、本発明の第２実施形態について図面に基づいて説明する。
｛タッチパネル装置の構成｝
　図１および図３に示すように、第２実施形態のタッチパネル装置１Ａと第１実施形態のタッチパネル装置１との相違点は、制御部４Ａの推定部４４Ａの処理が異なる点である。
　｛タッチパネル装置の作用｝
　次に、タッチパネル装置１Ａの作用を説明する。
　タッチパネル装置１Ａの制御部４Ａは、図４に示すステップＳ１～ステップＳ５の処理を実施した後、図１０に示すように、ステップＳ７の処理を実施する。
　この後、制御部４Ａの推定部４４Ａは、図１１に示すように、全ての指Ｆの指示位置を結ぶ曲線に近似し、以下の数式（１）で表される二次曲線Ｈｑを設定し（ステップＳ２１）、数式（１）のＡが負の値か否かを判断する（ステップＳ２２）。
　　Ｙ＝ＡＸ２＋ＢＸ＋Ｃ・・・（１）
　　　　Ｘ：Ｘ座標の値
　　　　Ｙ：Ｙ座標の値
　　　　Ａ，Ｂ，Ｃ：定数
　制御部４Ａは、ステップＳ２２において、推定部４４Ａで負であると判断すると、ステップＳ１２およびステップＳ１３の処理を実施する。
　具体的に、制御部４Ａは、図１１に示す状態の場合、Ａの値が負であるため、操作者が表示面２０に対して前面部２１側に存在すると推定して、図８に示すように前面部２１側から見て正しい向きとなるようにオブジェクト画像Ｐを再表示する。
　一方、制御部４Ａは、ステップＳ２２において、推定部４４Ａで正であると判断すると、ステップＳ１４およびステップＳ１５の処理を実施する。
　｛第２実施形態の作用効果｝
　上述したような第２実施形態では、第１実施形態の（１）と同様の作用効果に加えて、以下のような作用効果を奏することができる。
　（３）タッチパネル装置１Ａは、二次元の座標平面を設定するとともに、全ての指Ｆを結ぶ曲線に近似し、上記数式（１）で表される二次曲線Ｈｑを設定する。そして、タッチパネル装置１Ａは、数式（１）のＡの値が負の場合、Ｙ軸ＡＹの負の方向（前面部２１側）に操作者が存在していると推定し、正の場合、Ｙ軸ＡＹの正の方向（後面部２２側）に操作者が存在していると推定する。
　このため、タッチパネル装置１Ａは、座標平面で特定される指示位置の座標に基づく計算をするだけの簡単な方法で、操作者が存在している位置を推定できる。
［変形例］
　なお、本発明は前述の第１，第２実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良などは本発明に含まれるものである。
　すなわち、第１実施形態において、制御部４は、基準線Ｈｓを挟んで、当該基準線Ｈｓの設定に用いた指Ｆ以外の指Ｆの指示位置と反対側に、操作者が存在すると判断してもよい。例えば、制御部４は、図６に示す状態の場合、座標平面を設定せずに、基準線Ｈｓを挟んで人差し指Ｆ２の指示位置Ｑ２と反対側に操作者が存在すると判断してもよい。
　また、第１，第２実施形態において、前面部２１側に位置する操作者が後面部２２側に位置する操作者にオブジェクト画像Ｐを適切に見せたい場合には、制御部４，４Ａは、操作者が前面部２１側に存在すると判断したときに、後面部２２側から見て正しい向きとなるようにオブジェクト画像Ｐを再表示してもよい。
　また、図１２および図１３に示すようなタッチパネル装置１Ｂとしてもよい。
　このタッチパネル装置１Ｂと第１実施形態のタッチパネル装置１との相違点は、表示面２０全体を撮影可能なカメラ５Ｂを備えている点と、制御部４Ｂの指示位置検出部４２Ｂおよび画像特定部４３Ｂの処理が異なる点である。
　具体的に、制御部４Ｂの指示位置検出部４２Ｂは、遮光スキャンにて３本以上の指Ｆがダブルタップしたと判断すると、遮光状態に基づいて指Ｆの指示位置を検出せずに、カメラ５Ｂを制御して表示面２０の撮影画像を取得する。そして、指示位置検出部４２Ｂは、撮影画像に映る指Ｆの位置に基づいて、指示位置を検出する。
　また、画像特定部４３Ｂは、撮影画像に基づいて、３本以上の指Ｆが同一のオブジェクト画像Ｐにタッチしたか否かを判断する。
　また、指示位置検出部４２により指Ｆの動きとして、３本の指Ｆが同一のオブジェクト画像Ｐに２回断続的にタッチするいわゆるダブルタップを検出したが、３回や４回以上のタッチを検出してもよいし、３本や４本の指Ｆの動きを検出してもよい。さらには、指示位置検出部４２は、３本以上の指Ｆが、同一のオブジェクト画像Ｐに所定時間以上連続的にタッチする（同一のオブジェクト画像Ｐを押し続ける）動きを検出してもよい。
　また、ステップＳ５において、３本以上の全ての指Ｆが２回続けて同一のオブジェクト画像Ｐにタッチしているか否かを判断する場合を例示したが、以下のような構成としてもよい。
　すなわち、３本以上の全ての指Ｆで囲まれる領域Ｒ（指示位置Ｑ１～Ｑ５を結ぶ線で囲まれる領域であり、図６に一点鎖線で示す。）の少なくとも一部に、２回続けて同一のオブジェクト画像Ｐが含まれているか否かを判断してもよい。この場合には、領域Ｒの少なくとも一部に２回続けて同一のオブジェクト画像Ｐが含まれている場合には、ステップＳ６の処理を行い、含まれていない場合には、ステップＳ２に戻る。
　また、領域Ｒの中心位置や平均位置に、２回続けて同一のオブジェクト画像Ｐが含まれているか否かを判断してもよい。
　また、存在位置を検出する構成として、静電容量方式、電磁誘導方式などいずれの構成を用いてもよい。また、Ｂｌｕｅｔｏｏｔｈ（登録商標）によるデータ通信を行う構成としてもよい。
　また、指示物としては、指Ｆに限らず、例えば３本以上の棒状の指示部を有する専用部材ペンであってもよい。
　そして、タッチパネル装置１としては、携帯型あるいは設置型のコンピュータ、ＰＤＡ（PersonalDigital Assistant）、携帯電話、カメラ、時計、コンテンツ再生装置の表示装置として用いられるものであってもよいし、壁に設置されるものであってもよい。さらに、タッチパネル装置１としては、業務用インフォメーションや車内でのインフォメーションの表示に用いられるものであってもよいし、電子機器の操作に用いられるものであってもよい。
　　１，１Ａ，１Ｂ…タッチパネル装置
　　２…表示部
　　Ｐ…オブジェクト画像
　　Ｆ…指示物としての指
　２０…表示面
　４１…画像表示部
　４２，４２Ｂ…指示位置検出部
　４３，４３Ｂ…画像特定部
　４４，４４Ａ…推定部
　４５…表示変更部
　Ｈｓ…基準線
　Ｈｑ…二次曲線

Claims (8)

  1. 　上方に向けて設置された表示面に接触または近接した指示物の位置に対応する処理を行うタッチパネル装置における情報処理方法であって、
    　前記表示面にオブジェクト画像を表示させるステップと、
    　操作者が３個以上の指示物を前記表示面に接触または近接させたときに、前記３個以上の指示物にそれぞれ対応する指示位置を検出するステップと、
    　前記３個以上の指示物の指示位置で囲まれる領域の少なくとも一部に表示されているオブジェクト画像を特定するステップと、
    　前記３個以上の指示物の前記指示位置の位置関係に基づいて、前記指示物を有する前記操作者が存在している位置を推定するステップと、
    　前記オブジェクト画像の向きが、前記推定した前記操作者が存在している位置に対して予め設定された向きとなるように、前記オブジェクト画像の表示状態を変更するステップとを有することを特徴とするタッチパネル装置における情報処理方法。
  2. 　請求項１に記載のタッチパネル装置における情報処理方法において、
    　前記操作者が存在している位置を推定するステップは、
    　前記指示位置のうち最も離れた２個の指示位置を直線で結ぶ基準線を設定するステップと、
    　前記基準線を挟んだ他の前記指示位置と反対側に前記操作者が存在していると推定するステップとを有することを特徴とするタッチパネル装置における情報処理方法。
  3. 　請求項２に記載のタッチパネル装置における情報処理方法において、
    　前記操作者が存在している位置を推定するステップは、
    　互いに直交する第１座標軸および第２座標軸を有する二次元の座標平面を前記表示面に設定するステップと、
    　前記他の指示位置のそれぞれについて、前記基準線に対する垂線の距離を算出するステップと、
    　前記垂線の一端に位置する前記他の指示位置の前記第２座標軸に対応する第２座標の値が、前記垂線の他端に位置する前記基準線上の第２座標の値よりも大きい場合、前記垂線の距離を正の値に設定し、小さい場合、前記垂線の距離を負の値に設定して、前記他の指示位置の距離を加算するステップと、
    　前記加算して得られた値が正の値の場合、前記第２座標軸の負の方向に前記操作者が存在していると推定し、前記加算して得られた値が負の値の場合、前記第２座標軸の正の方向に前記操作者が存在していると推定するステップとを有することを特徴とするタッチパネル装置における情報処理方法。
  4. 　請求項１に記載のタッチパネル装置における情報処理方法において、
    　前記操作者が存在している位置を推定するステップは、
    　互いに直交する第１座標軸および第２座標軸を有する二次元の座標平面を前記表示面に設定するステップと、
    　全ての前記指示位置を結ぶ曲線に近似し、以下の数式（１）で表される二次曲線を設定するステップと、
    　　Ｙ＝ＡＸ２＋ＢＸ＋Ｃ・・・（１）
    　　　　Ｘ：第１座標軸に対応する第１座標の値
    　　　　Ｙ：第２座標軸に対応する第２座標の値
    　　　　Ａ，Ｂ，Ｃ：定数
    　前記数式（１）におけるＡの値が正の値の場合、前記第２座標軸の正の方向に前記操作者が存在していると推定し、前記Ａの値が負の値の場合、前記第２座標軸の負の方向に前記操作者が存在していると推定するステップとを有することを特徴とするタッチパネル装置における情報処理方法。
  5. 　表示面に接触または近接した指示物の位置に対応する処理を行うタッチパネル装置であって、
    　表示面を上方に向けて設置された表示部と、
    　前記表示面にオブジェクト画像を表示させる画像表示部と、
    　操作者が３個以上の指示物を前記表示面に接触または近接させたときに、前記３個以上の指示物にそれぞれ対応する指示位置を検出する指示位置検出部と、
    　前記３個以上の指示物の指示位置で囲まれる領域の少なくとも一部に表示されているオブジェクト画像を特定する画像特定部と、
    　前記３個以上の指示物の前記指示位置の位置関係に基づいて、前記指示物を有する前記操作者が存在している位置を推定する推定部と、
    　前記オブジェクト画像の向きが、前記推定した前記操作者が存在している位置に対して予め設定された向きとなるように、前記オブジェクト画像の表示状態を変更する表示変更部とを備えることを特徴とするタッチパネル装置。
  6. 　請求項５に記載のタッチパネル装置において、
    　前記推定部は、前記指示位置のうち最も離れた２個の指示位置を直線で結ぶ基準線を設定して、前記基準線を挟んだ他の前記指示位置と反対側に前記操作者が存在していると推定することを特徴とするタッチパネル装置。
  7. 　請求項６に記載のタッチパネル装置において、
    　前記推定部は、
    　互いに直交する第１座標軸および第２座標軸を有する二次元の座標平面を前記表示面に設定し、
    　前記他の指示位置のそれぞれについて、前記基準線に対する垂線の距離を算出し、
    　前記垂線の一端に位置する前記他の指示位置の前記第２座標軸に対応する第２座標の値が、前記垂線の他端に位置する前記基準線上の第２座標の値よりも大きい場合、前記垂線の距離を正の値に設定し、小さい場合、前記垂線の距離を負の値に設定して、前記他の指示位置の距離を加算し、
    　前記加算して得られた値が正の値の場合、前記第２座標軸の負の方向に前記操作者が存在していると推定し、前記加算して得られた値が負の値の場合、前記第２座標軸の正の方向に前記操作者が存在していると推定することを特徴とするタッチパネル装置。
  8. 　請求項５に記載のタッチパネル装置において、
    　前記推定部は、
    　互いに直交する第１座標軸および第２座標軸を有する二次元の座標平面を前記表示面に設定し、
    　全ての前記指示位置を結ぶ曲線に近似し、以下の数式（１）で表される二次曲線を設定し、
    　　Ｙ＝ＡＸ２＋ＢＸ＋Ｃ・・・（１）
    　　　　Ｘ：第１座標軸に対応する第１座標の値
    　　　　Ｙ：第２座標軸に対応する第２座標の値
    　　　　Ａ，Ｂ，Ｃ：定数
    　前記数式（１）におけるＡの値が正の値の場合、前記第２座標軸の正の方向に前記操作者が存在していると推定し、前記Ａの値が負の値の場合、前記第２座標軸の負の方向に前記操作者が存在していると推定することを特徴とするタッチパネル装置。
PCT/JP2011/076950 2011-11-22 2011-11-22 タッチパネル装置における情報処理方法、および、タッチパネル装置 WO2013076824A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2011/076950 WO2013076824A1 (ja) 2011-11-22 2011-11-22 タッチパネル装置における情報処理方法、および、タッチパネル装置
US14/358,479 US20150084913A1 (en) 2011-11-22 2011-11-22 Information processing method for touch panel device and touch panel device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/076950 WO2013076824A1 (ja) 2011-11-22 2011-11-22 タッチパネル装置における情報処理方法、および、タッチパネル装置

Publications (1)

Publication Number Publication Date
WO2013076824A1 true WO2013076824A1 (ja) 2013-05-30

Family

ID=48469303

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/076950 WO2013076824A1 (ja) 2011-11-22 2011-11-22 タッチパネル装置における情報処理方法、および、タッチパネル装置

Country Status (2)

Country Link
US (1) US20150084913A1 (ja)
WO (1) WO2013076824A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018536215A (ja) * 2015-10-02 2018-12-06 フィンガープリント カーズ アーベー 指の欠測検出を伴う方法および指紋検知デバイス

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102206053B1 (ko) * 2013-11-18 2021-01-21 삼성전자주식회사 입력 도구에 따라 입력 모드를 변경하는 전자 장치 및 방법
US10838544B1 (en) * 2019-08-21 2020-11-17 Raytheon Company Determination of a user orientation with respect to a touchscreen device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064109A (ja) * 2007-09-04 2009-03-26 Canon Inc 画像投影装置及びその制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110102333A1 (en) * 2009-10-30 2011-05-05 Wayne Carl Westerman Detection of Gesture Orientation on Repositionable Touch Surface
US8553001B2 (en) * 2011-03-22 2013-10-08 Adobe Systems Incorporated Methods and apparatus for determining local coordinate frames for a human hand

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009064109A (ja) * 2007-09-04 2009-03-26 Canon Inc 画像投影装置及びその制御方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018536215A (ja) * 2015-10-02 2018-12-06 フィンガープリント カーズ アーベー 指の欠測検出を伴う方法および指紋検知デバイス

Also Published As

Publication number Publication date
US20150084913A1 (en) 2015-03-26

Similar Documents

Publication Publication Date Title
AU2020202551A1 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
US9454260B2 (en) System and method for enabling multi-display input
US10318152B2 (en) Modifying key size on a touch screen based on fingertip location
US20100079391A1 (en) Touch panel apparatus using tactile sensor
US9639212B2 (en) Information processor, processing method, and projection system
CN103729054A (zh) 多显示设备及其控制方法
CN102681664A (zh) 电子装置、信息处理方法、程序和电子装置系统
US20120293555A1 (en) Information-processing device, method thereof and display device
US10379680B2 (en) Displaying an object indicator
US20140292724A1 (en) A display method, a display control method, and electric device
US9235293B2 (en) Optical touch device and touch sensing method
TWI423094B (zh) 光學式觸控裝置及其運作方法
WO2013076824A1 (ja) タッチパネル装置における情報処理方法、および、タッチパネル装置
US20150253932A1 (en) Information processing apparatus, information processing system and information processing method
EP2840467A1 (en) Enlargement and reduction of data with a stylus
US9235338B1 (en) Pan and zoom gesture detection in a multiple touch display
US20140085264A1 (en) Optical touch panel system, optical sensing module, and operation method thereof
US20140168165A1 (en) Electronic device with virtual touch function and instant adjusting method for virtual touch
JPWO2013089012A1 (ja) 情報処理装置、情報処理方法、プログラム及び情報記憶媒体
JPWO2013076824A1 (ja) タッチパネル装置における情報処理方法、および、タッチパネル装置
JP7069887B2 (ja) 携帯端末装置および携帯端末装置の表示制御方法
KR100573895B1 (ko) 3차원 영상을 통한 사용자 인터페이스 방법 및 이 방법을수행하는 디스플레이장치
JP7035662B2 (ja) 携帯端末装置および携帯端末装置の表示制御方法
CN101819493A (zh) 交互式显示屏幕及其方法
CN101446875A (zh) 一种交互式显示屏幕及交互式显示的方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11876158

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013545699

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14358479

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11876158

Country of ref document: EP

Kind code of ref document: A1