WO2014141797A1 - 情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラム - Google Patents

情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2014141797A1
WO2014141797A1 PCT/JP2014/053191 JP2014053191W WO2014141797A1 WO 2014141797 A1 WO2014141797 A1 WO 2014141797A1 JP 2014053191 W JP2014053191 W JP 2014053191W WO 2014141797 A1 WO2014141797 A1 WO 2014141797A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
display
touch panel
information
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/053191
Other languages
English (en)
French (fr)
Inventor
康洋 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to US14/646,035 priority Critical patent/US9582094B2/en
Publication of WO2014141797A1 publication Critical patent/WO2014141797A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M11/00—Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/007—Telephonic communication systems specially adapted for combination with other electrical systems with remote control systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup

Definitions

  • the present invention relates to an information processing device, a display device with a touch panel, an information processing method, and a program.
  • Patent Literature 1 discloses a technique for operating an external display with a touch panel connected to a mobile terminal from the touch panel of the device itself (see Patent Literature 1).
  • the portable terminal described in Patent Document 1 has a problem that the type of touch operation cannot be appropriately determined depending on the size of the connected display with a touch panel. For example, a touch operation determined as a flick by a 5-inch touch panel display is determined as a tap on a 10-inch touch panel display.
  • one aspect of the present invention has been made in view of the above-described problems of the related art, and an information processing apparatus that can appropriately determine the type of touch operation on a display with a touch panel connected to the information processing apparatus, To provide a display device with a touch panel, an information processing method, and a program.
  • the present invention has been made to solve the above-described problem, and one aspect of the present invention provides information representing the number of pixels per unit length of a screen of a display with a touch panel connected to the device, and the touch panel.
  • the information processing apparatus includes an operation type determination unit that determines a type of a touch operation based on information indicating a touch position where the display is touched.
  • an information processing device a display device with a touch panel, an information processing method, and a program that can appropriately determine the type of touch operation on a display with a touch panel connected to the information processing device. Can do.
  • FIG. 1 is an external view 90 showing a usage situation of an information processing apparatus 100 according to an embodiment of the present invention.
  • the information processing apparatus 100 is an information processing apparatus such as a smartphone or a tablet terminal.
  • the information processing apparatus 100 includes a first touch panel 103 and a first display unit 102, displays an image on the first display unit 102, and touches the first touch panel 103. Is detected.
  • the information processing apparatus 100 displays an image on the display 200 with a touch panel and acquires a touch position on the display 200 with a touch panel. To do.
  • the information processing apparatus 100 when the display with touch panel 200 is connected, the information processing apparatus 100 always displays an image on the display with touch panel 200 and detects the touch position from the apparatus.
  • the information processing apparatus 100 displays an image on the display 200 with a touch panel only when the display 200 with a touch panel is connected and an instruction operation is performed by the user, and the touch position is displayed from the apparatus. You may make it detect.
  • FIG. 1 shows the case where the information processing apparatus 100 and the display 200 with a touch panel are connected by a single cable 300, they may be connected by a plurality of cables or may be connected by wireless communication. . Further, image data to be displayed on the display with touch panel 200 is transmitted to the display with touch panel 200 by wire, and information indicating the touch position detected by the display with touch panel 200 is transmitted to the information processing apparatus 100 by wireless communication. Such information may be transmitted by different communication means.
  • FIG. 2 is a schematic block diagram showing a hardware configuration of the information processing apparatus 100 and the display 200 with a touch panel.
  • the information processing apparatus 100 includes a first CPU 101, a first display unit 102, a first touch panel 103, a first communication unit 105, a first memory 107, and a first external output unit. 108 is comprised.
  • the display 200 with a touch panel includes a second CPU 201, a second display unit 202, a second touch panel 203, a second communication unit 205, a second memory 207, and a second external output unit. 208.
  • the first touch panel 103 is installed on the surface of the first display unit 102 and detects a position touched by the user (hereinafter referred to as a touch position).
  • the first display unit 102 includes a display device such as a liquid crystal display, and displays an image in accordance with an instruction from the first CPU 101.
  • the second touch panel 203 is installed on the surface of the second display unit 202 and detects a touch position.
  • the second display unit 202 includes a display device such as a liquid crystal display, and displays an image in accordance with an instruction from the second CPU 201.
  • the screen size or the number of pixels (resolution) of the screen is different between the first display unit 102 and the second display unit 202.
  • FIG. 3 is a schematic block diagram showing functional configurations of the information processing apparatus 100 and the display 200 with a touch panel.
  • the information processing apparatus 100 includes a first communication unit 105, a reception information analysis unit 106, a screen information storage unit 111, an operation type determination unit 104, a coordinate conversion unit 113, an application execution unit 110, and a display image generation
  • the unit 109, the first display unit 102, and the first external output unit 108 are configured.
  • the display 200 with a touch panel includes a second display unit 202, a second touch panel 203, a second communication unit 205, a transmission information generation unit 206, a second memory 207, and a second external output. Part 208.
  • the operation type determination unit 104, the coordinate conversion unit 113, the reception information analysis unit 106, the screen information storage unit 111, the application execution unit 110, and the display image generation unit 109 are read by the first CPU 101 from the first memory 107. It is realized by executing.
  • the transmission information generation unit 206 is realized by the second CPU 201 reading and executing a program from the second memory 207.
  • the same reference numerals (102, 105, 108, 202, 203, 205, 208) are assigned to portions corresponding to the respective portions in FIG.
  • the first communication unit 105 communicates with the display 200 with a touch panel via the cable 300 and receives information indicating the number of pixels per unit length of the screen and information indicating the touch position from the display 200 with the touch panel. .
  • the first communication unit 105 receives information indicating the screen size and the number of pixels (resolution) (hereinafter referred to as screen information) as information indicating the number of pixels per unit length of the screen.
  • the first communication unit 105 uses the touch position coordinates as information indicating the touch position, and the time when the touch position coordinates are detected (hereinafter referred to as coordinate detection time) as information indicating the touch position. Are received periodically.
  • the screen information storage unit 111 is a storage area that operates as a work memory when the first CPU 101 executes a program.
  • screen information is received from the reception information analysis unit 106. Acquire and memorize. Note that the screen information storage unit 111 may acquire dpi (dots per inch) as the screen information.
  • the reception information analysis unit 106 acquires screen information from the display with touch panel 200 via the first communication unit 105. In addition, the reception information analysis unit 106 periodically acquires information indicating the touch position of the display 200 with a touch panel that the first communication unit 105 periodically receives. The reception information analysis unit 106 determines whether the information acquired from the first communication unit 105 is information indicating the touch position or the screen information, and sends the information indicating the touch position to the operation type determination unit 104. The screen information is distributed to the screen information storage unit 111 and output.
  • the operation type determination unit 104 acquires information indicating the touch position, and determines whether the coordinates of the touch position in the information indicating the touch position is null information. If the coordinate of the touch position is not null information, the operation type determination unit 104 determines the coordinates of the touch position and the coordinate detection time in the order of acquisition until the next coordinate of the touch position is acquired as null information. Are generated and stored in the touch operation table. Details of the touch operation table will be described later.
  • the operation type determination unit 104 reads screen information from the screen information storage unit 111. After acquiring the screen information, the operation type determination unit 104 determines the type of touch operation based on the screen information and the touch operation table. Details of the determination of the type of touch operation will be described later. Thereafter, the operation type determination unit 104 outputs information indicating the type of the touch operation and the touch operation table to the coordinate conversion unit 113.
  • the coordinate conversion unit 113 When the coordinate conversion unit 113 acquires information indicating the type of touch operation and the touch operation table, the coordinate conversion unit 113 reads screen information from the screen information storage unit 111. Based on the screen information and the touch operation table, the coordinate conversion unit 113 converts the coordinates of the touch position on the second touch panel 203 stored in the touch operation table to the correspondence on the first touch panel 103. Coordinates are converted to coordinates (hereinafter referred to as body coordinates). Details of the coordinate transformation will be described later. The coordinate conversion unit 113 outputs information indicating the type of the touch operation and the main body coordinates to the application execution unit 110 as touch operation information.
  • the application execution unit 110 executes an application such as a Web browser.
  • the application execution unit 110 performs an operation requested by the executing application based on the touch operation information acquired from the coordinate conversion unit 113. For example, when the type of touch operation is a flick from point A to point B, scrolling from point A to point B is performed based on the flick.
  • the application execution unit 110 displays the image data of the image in order to display the image on the first display unit 102 or the display 200 with a touch panel. Input to the display image generation unit 109.
  • the display image generation unit 109 generates an image signal of a display image from the application image data input from the application execution unit 110 and inputs the generated image signal to the first display unit 102 or the first external output unit 108.
  • the first external output unit 108 outputs the image signal of the display image input from the display image generation unit 109 to the second communication unit 205.
  • the second communication unit 205 When the second communication unit 205 receives an image signal of a display image from the first external output unit 108, the second communication unit 205 inputs the image signal to the second display unit 202.
  • the transmission information generation unit 206 acquires screen information from the second memory 207 and outputs the screen information to the second external output unit 208.
  • the transmission information generation unit 206 acquires information indicating the touch position from the second touch panel 203
  • the transmission information generation unit 206 outputs the information indicating the touch position to the second external output unit 208.
  • the second external output unit 208 When acquiring the screen information, the second external output unit 208 inputs the screen information to the first communication unit 105.
  • the second external output unit 208 acquires information indicating the touch position
  • the second external output unit 208 inputs information indicating the touch position to the first communication unit 105.
  • FIG. 4 is a table showing an example of a touch operation table when the display 200 with a touch panel is tapped as a touch operation.
  • the touch operation table t100t stores a coordinate detection time t101t and a touch position coordinate t102t.
  • the coordinate t102t of the touch position reflects that the touch operation is a tap, and the coordinate value does not change even if the coordinate detection time t101t changes by the period dt.
  • FIG. 5 is a table showing an example of a touch operation table when the display 200 with a touch panel is flicked as a touch operation.
  • the touch operation table t100f stores coordinate detection time t101f and touch position coordinates t102f.
  • the coordinate t102f of the touch position reflects the fact that the touch operation is a flick, and the value of the coordinate changes every time the coordinate detection time t101f changes by the period dt.
  • FIG. 6 is a sequence diagram illustrating an operation example until the type of touch operation of the information processing apparatus 100 is determined.
  • the reception information analysis unit 106 waits until it detects the connection of the display 200 with a touch panel (Sa1).
  • the reception information analysis unit 106 requests screen information from the display 200 with a touch panel via the first communication unit 105 (Sa2).
  • the display with a touch panel 200 transmits the screen information of the device itself to the reception information analysis unit 106 (Sa3).
  • the received information analysis unit 106 acquires the screen information as a response to the request for Sa2, and stores it in the screen information storage unit 111 (Sa4).
  • the display 200 with a touch panel When the time has elapsed and the display 200 with a touch panel receives a touch operation, it outputs information indicating the touch position of the touch operation to the reception information analysis unit 106 (Sa5).
  • the reception information analysis unit 106 acquires information indicating the touch position from the display 200 with a touch panel (Sa6).
  • the reception information analysis unit 106 outputs information indicating the touch position to the operation type determination unit 104 (Sa7).
  • the operation type determination unit 104 generates a touch operation table based on the information indicating the touch position (Sa8).
  • the operation type determination unit 104 acquires screen information from the screen information storage unit 111 (Sa9).
  • the operation type determination unit 104 determines the type of touch operation based on the screen information and the touch operation table (Sa10).
  • FIG. 7 is a flowchart illustrating an operation in which the operation type determination unit 104 determines the type of touch operation.
  • the operation type determination unit 104 executes processes from step ST100 to step ST106 each time a touch operation is performed on the display 200 with a touch panel.
  • the operation type determination unit 104 acquires information indicating the touch position.
  • the operation type determination unit 104 generates a touch operation table based on the information indicating the touch position.
  • the operation type determination unit 104 acquires screen information.
  • the process of acquiring the screen information is not necessary every time information indicating the touch position is acquired, and the screen information may be acquired only when information indicating the touch position is first acquired.
  • the operation type determination unit 104 refers to the touch operation table, and calculates an average moving speed (a value indicating the amount of movement of the touch position) from when the user touches the second touch panel 203 until it is released. calculate.
  • an average moving speed (a value indicating the amount of movement of the touch position) from when the user touches the second touch panel 203 until it is released. calculate.
  • the touch operation table t100f stores four coordinates, the names A point, B point, C point, and D point are assigned in order from the top.
  • the point A is a position where the user touches the second touch panel 203
  • the point D is a position where the user releases the touch from the second touch panel 203.
  • the operation type determination unit 104 first calculates the distance between the points A and B using the screen information.
  • the operation type determination unit 104 repeats this operation between the points B and C and between the points C and D, and calculates the distance between AB and the distance between BC.
  • the movement distance of the touch position is obtained by adding the distance and the distance between CDs, but is not limited to this.
  • the movement distance may be calculated by calculating a straight line distance.
  • the operation type determination unit 104 can calculate the time taken for the movement from the point A to the point D by referring to the coordinate detection time t101f.
  • the time taken for the movement is 3 dt.
  • 3 dt is 99 milliseconds. Therefore, the average moving speed when the coordinates move from point A to point D is about 0.3 m / s because 3 cm is moved in 99 milliseconds.
  • Step ST104 the operation type determination unit 104 determines whether or not the average moving speed exceeds a predetermined threshold. Since this determination is performed using the average moving speed of the actual size of the coordinates of the touch position, it is possible to determine the type of touch operation using the same threshold value between displays with touch panels of different sizes. ing. Therefore, the operation feeling of the touch operation on the display 200 with the touch panel is the same as the operation feeling of the touch operation on the information processing apparatus 100.
  • the determination is made by comparing the average moving speed with a predetermined threshold value, but is not limited thereto. For example, the determination may be made by using the movement distance during a certain time interval as the average movement speed, such as determining whether or not the movement distance per 99 milliseconds exceeds a predetermined threshold value.
  • step ST104-Yes When the average moving speed exceeds a predetermined threshold (step ST104-Yes), the operation type determination unit 104 transitions to step ST105. When the average moving speed does not exceed the predetermined threshold (No in Step ST104), the operation type determination unit 104 transitions to Step ST106. (Step ST105) The operation type determination unit 104 determines that the type of the touch operation is flick. (Step ST106) The operation type determination unit 104 determines that the type of touch operation is a tap.
  • the determination of the type of touch operation has been described only for taps and flicks, but is not limited thereto.
  • the difference from a tap or flick is determined based on whether or not there are a plurality of detected coordinates, and the movement distance of the touch position obtained in step ST103 is a predetermined threshold value It may be determined whether or not a pinch-in or a pinch-out has occurred based on whether or not the value is exceeded.
  • the operation type determination unit 104 of the information processing apparatus 100 performs the touch operation performed on the display 200 with a touch panel based on the screen information of the second display unit 202 of the display 200 with a touch panel. Determine the type. Therefore, the information processing apparatus 100 can determine the type of touch operation according to the number of pixels per unit length represented by the screen information, and can appropriately determine the type of touch operation on the display with touch panel 200.
  • the information processing apparatus 100 includes a first touch panel 103.
  • the operation type determination unit 104 uses the information indicating the touch position where the touch-sensitive display 200 connected to the information processing apparatus 100 is touch-operated and the screen information as a value indicating the amount of movement of the touch position. Calculate the average moving speed. Then, the operation type determination unit 104 determines the type of the touch operation based on whether or not the average moving speed exceeds a predetermined threshold.
  • the predetermined threshold is the same as the threshold used when determining the type of touch operation performed on the first touch panel 103 included in the information processing apparatus 100.
  • the information processing apparatus 100 determines the type of the touch operation based on the screen information using the average moving speed of the actual size of the coordinates of the touch position. Thereby, the information processing apparatus 100 is determined to be the same type when the same touch operation is performed with the actual size on the information processing apparatus 100 and the display 200 with the touch panel or the display 200 with the touch panel having different sizes. For this reason, the user can perform the touch operation on the display 200 with a touch panel with the same operation feeling as the touch operation on the information processing apparatus 100. As illustrated above, the information processing apparatus 100 can make a determination suitable for the size of the display 200 with a touch panel, and can appropriately determine the type of touch operation.
  • FIG. 8 is a schematic block diagram illustrating functional configurations of the information processing apparatus 100 and the touch panel-equipped display 200 according to the second embodiment. In the figure, parts corresponding to those in FIG.
  • the operation type determination unit 104a periodically reads information indicating the touch position from the second touch panel 203.
  • the operation type determination unit 104a determines whether the coordinates of the touch position of the information indicating the touch position is null information. If the coordinates of the touch position are not null information, the operation type determination unit 104a determines the coordinates of the touch position, the coordinate detection time, and the order of acquisition until the next coordinates of the touch position are acquired as null information. Is generated and stored.
  • the operation type determination unit 104a acquires the screen information of the information processing apparatus 100 (hereinafter referred to as own device screen information) stored in the own device screen information storage unit 112 via the second communication unit 205a. In addition, the operation type determination unit 104a acquires screen information from the second memory 207a. The operation type determination unit 104a determines the type of touch operation based on the screen information and the touch operation table. Thereafter, the operation type determination unit 104a outputs the touch operation table and information indicating the type of the touch operation to the transmission information generation unit 206a.
  • the transmission information generation unit 206a When the transmission information generation unit 206a acquires the touch operation table and the information indicating the type of the touch operation from the operation type determination unit 104a, the transmission information generation unit 206a transmits the information to the reception information analysis unit 106a via the second external output unit 208. A touch operation table and information indicating the type of the touch operation are output.
  • the transmission information generation unit 206a reads screen information from the second memory 207a, and receives information analysis via the second external output unit 208. The screen information is output to the unit 106a.
  • the own device screen information storage unit 112 is a storage area operating as a work memory when the first CPU 101 executes a program, and stores own device screen information.
  • the own device screen information storage unit 112 outputs the own device screen information to the operation type determination unit 104a via the first external output unit 108a in accordance with the request of the operation type determination unit 104a.
  • the first external output unit 108a acquires the own device screen information from the own device screen information storage unit 112
  • the first external output unit 108a outputs the own device screen information to the second communication unit 205a.
  • the second communication unit 205a When the second communication unit 205a acquires the own device screen information from the first external output unit 108a, the second communication unit 205a outputs the own device screen information to the operation type determination unit 104a.
  • the operation type determination unit 104a includes information indicating the number of pixels per unit length represented by the screen information of the display 200 with a touch panel and the touch position where the touch operation with the display 200 with a touch panel is performed. Based on the above, the type of touch operation is determined. In addition, the operation type determination unit 104 a outputs information indicating the type of the touch operation to the information processing apparatus 100.
  • the same effect as that of the first embodiment can be obtained because the display 200 with a touch panel has the function of the operation type determination unit 104. Is obtained.
  • the reception information analysis unit 106 in the third embodiment is capable of identifying the model such as the VendorID / ProductID of the display with touch panel 200 via the first communication unit 105, or Information that can be individually identified, such as a MAC address, is acquired from the display 200 with a touch panel.
  • the reception information analysis unit 106 stores information that can identify the model, or information that can be individually identified, and screen information in association with each other, and is associated with the information acquired from the display 200 with the touch panel.
  • the screen information is the screen information of the connected display 200 with a touch panel.
  • the reception information analysis unit 106 starts from the following 1) when there is no information that can be identified from the display 200 with a touch panel or screen information that is stored in association with information that can be individually identified. You may make it acquire screen information like either of 3). 1) The received information analysis unit 106 inquires of an external device such as a server connected to the Internet via the first communication unit 105, and acquires screen information corresponding to the information acquired from the display 200 with the touch panel. To do.
  • the reception information analysis unit 106 displays a screen for allowing the user to input screen information on the first display unit 102, and acquires the screen information input by the user.
  • On the screen for inputting screen information for example, for the number of pixels, an input box for inputting a numerical value may be arranged, or a pull-down menu or a radio button for selecting from a plurality of candidates may be arranged.
  • the reception information analysis unit 106 causes the first display unit 102 to display a screen that allows the user to select one of a plurality of screen information stored in advance, and uses the screen information selected by the user.
  • the reception information analysis unit 106 associates the screen information acquired by these methods with information that can identify the model acquired from the display 200 with a touch panel, or information that can be individually identified, and stores the screen information storage unit 111. You may make it memorize. Thereby, when the same display 200 with a touch panel is connected, the screen information can be used.
  • the reception information analysis unit 106 in the fourth embodiment uses the preset screen information as the screen information to be used.
  • the preset screen information may be previously selected by the user from a plurality of screen information stored in the screen information storage unit 111.
  • a plurality of pieces of screen information stored in advance may be displayed on the first display unit 102, and the user may select them.
  • the information processing apparatus 100 includes the first touch panel 103 and the first display unit 102 .
  • the information processing apparatus 100 includes one or both of these. It does not have to be.
  • the number of pixels may be acquired from the display with a touch panel 200, and the screen size may be acquired by different methods such as using information stored in association with individually identifiable information.
  • the information processing device 100 or the display with a touch panel 200 has the number of pixels per unit length of the screen of the display with a touch panel 200 connected to the information processing device 100 including the first display unit 102.
  • the operation is not limited to the touch operation, and may include an operation with a pointing device (for example, a mouse or a touch pad) other than the touch panel.
  • the operation type determination unit 104 may use the average moving speed of the cursor by the pointing device as the average moving speed.
  • the information processing apparatus 100 may be realized by executing.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer system” includes a homepage providing environment (or display environment) if a WWW system is used.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” dynamically holds a program for a short time like a communication line when transmitting a program via a network such as the Internet or a communication line such as a telephone line.
  • a volatile memory in a computer system serving as a server or a client in that case and a program that holds a program for a certain period of time are also included.
  • the program may be a program for realizing a part of the functions described above, and may be a program capable of realizing the functions described above in combination with a program already recorded in a computer system.
  • the information processing apparatus includes an operation type determination unit that determines a type of a touch operation based on the operation type.
  • the other aspect of this invention is provided with the display with a touchscreen, and the said operation classification determination part is the touch by which the display with the touchscreen connected to the said information and the information showing the number of pixels was touch-operated. Based on the information indicating the position, a value representing the movement amount of the touch position is calculated, and the determination is made based on whether the value representing the movement amount exceeds a predetermined threshold value.
  • the threshold value is the same as a threshold used when determining a type of a touch operation performed on a display with a touch panel included in the self apparatus.
  • a display device with a touch panel to which an information processing device is connected, the information representing the number of pixels per unit length of the screen of the device, and the device touched
  • An operation type determination unit that determines the type of the touch operation based on information indicating the operated touch position, and an external output unit that outputs information indicating the type of the touch operation to the information processing apparatus.
  • the type of touch operation includes at least one of tap, flick, pinch-in, and pinch-out.
  • the information processing apparatus is configured such that information indicating the number of pixels per unit length of a screen of a display with a touch panel connected to the information processing apparatus and the display with a touch panel are touch-operated. A value representing the amount of movement of the touch position based on the information indicating the touch position, and determining the type of touch operation using the value.
  • the other aspect of this invention is a program for functioning a computer as an information processing apparatus as described in any one of (1) to (3).
  • the present invention is preferably used when an external display device is connected to the information processing device, but is not limited thereto.
  • DESCRIPTION OF SYMBOLS 100 Information processing apparatus 101 ... 1st CPU 102 ... 1st display part 103 ... 1st touch panel 104 ... Operation type determination part 105 ... 1st communication part 106 ... Reception information analysis unit 107 ... First memory 108 ... First external output unit 109 ... Display image generation unit 110 ... Application execution unit 111 ... Screen information storage unit 112. ⁇ ⁇ Own device screen information storage unit 113 ... Coordinate conversion unit 200 ... Display with touch panel 201 ... Second CPU 202 ... Second display unit 203 ... Second touch panel 205 ... -2nd communication part 206 ... transmission information generation part

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

　自装置に接続されたタッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する操作種別判定部を備える情報処理装置である。

Description

情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラム
　この発明は、情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラムに関する。
　本願は、２０１３年３月１４日に、日本に出願された特願２０１３－０５２４３５号に基づき優先権を主張し、その内容をここに援用する。
　携帯電話端末などの携帯端末は、携帯性が重視されているため、液晶ディスプレイなど、その表示デバイスの大きさが限定されてしまう。そこで、携帯端末を、外部のディスプレイ装置に接続し、該ディスプレイ装置に、携帯端末が生成した画像を表示させるものがある。このような現状の中、外部のディスプレイとしてタッチパネルを搭載したデバイスと、大きさの異なるディスプレイを持つ携帯端末を接続した場合に、１つのタッチパネルを搭載したデバイスで、携帯端末と該外部のディスプレイとの双方で操作可能とするものがある。
　例えば、特許文献１には、自装置のタッチパネルから、携帯端末に接続されたタッチパネル付きの外部のディスプレイを操作することを目的とした技術が開示されている（特許文献１参照）。
特開２０１１－１３４２７８号公報
　ところで、特許文献１に記載の携帯端末にあっては、接続されたタッチパネル付ディスプレイのサイズによっては、タッチ操作の種別を適切に判定することができないことがあるという問題がある。例えば、５インチのタッチパネル付ディスプレイがフリックと判定したタッチ操作が、１０インチのタッチパネル付ディスプレイではタップと判定されてしまう。
　そこで本発明の一態様は、上記従来技術の問題に鑑みてなされたものであり、情報処理装置に接続されたタッチパネル付ディスプレイに対するタッチ操作の種別を、適切に判定することができる情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラムを提供することにある。
　この発明は、上記問題を解決するためになされたもので、本発明の一態様は、自装置に接続されたタッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する操作種別判定部を備える情報処理装置である。
　本発明の一態様によれば、情報処理装置に接続されたタッチパネル付ディスプレイに対するタッチ操作の種別を適切に判定することができる情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラムを提供することができる。
本発明の一実施形態に係る情報処理装置１００の利用状況を示す外観図である。 第１の実施形態における情報処理装置１００と、タッチパネル付ディスプレイ２００とのハード構成を示す概略ブロック図である。 第１の実施形態における情報処理装置１００と、タッチパネル付ディスプレイ２００との機能構成を示す概略ブロック図である。 第１の実施形態におけるタッチパネル付ディスプレイ２００がタップされた場合のタッチ操作テーブルの一例を表す表である。 第１の実施形態におけるタッチパネル付ディスプレイ２００がフリックされた場合のタッチ操作テーブルの一例を表す表である。 第１の実施形態における受信情報解析部と、操作種別判定部と、タッチパネル付ディスプレイとの処理の流れを表すシーケンス図である。 第１の実施形態における操作種別判定部の動作を説明する図である。 第２の実施形態における情報処理装置１００と、タッチパネル付ディスプレイ２００との機能構成を示す概略ブロック図である。
[第１の実施形態]
　以下、図面を参照して、本発明の第１の実施形態について説明する。
　図１は、この発明の一実施形態による情報処理装置１００の利用状況を示す外観図９０である。本実施形態による情報処理装置１００は、スマートフォンやタブレット端末等の情報処理装置である。情報処理装置１００は、後述するように、第１のタッチパネル１０３と、第１の表示部１０２とを備えており、第１の表示部１０２に画像を表示し、第１のタッチパネル１０３のタッチ位置を検出する。さらに、情報処理装置１００は、図２に示すように、タッチパネル付ディスプレイ２００が、ケーブル３００により接続されているときは、タッチパネル付ディスプレイ２００に画像を表示させ、タッチパネル付ディスプレイ２００におけるタッチ位置を取得する。
　なお、本実施形態では、情報処理装置１００は、タッチパネル付ディスプレイ２００が接続されているときは、常にタッチパネル付ディスプレイ２００に画像を表示し、該装置からタッチ位置を検出する。他の形態として、情報処理装置１００は、タッチパネル付ディスプレイ２００が接続されており、かつ、ユーザからの指示操作があったときのみ、タッチパネル付ディスプレイ２００に画像を表示し、該装置からタッチ位置を検出するようにしてもよい。
　図１では、情報処理装置１００と、タッチパネル付ディスプレイ２００とが１本のケーブル３００で接続される場合を示したが、複数のケーブルで接続されてもよいし、無線通信により接続されてもよい。また、タッチパネル付ディスプレイ２００に表示させる画像のデータは、有線にてタッチパネル付ディスプレイ２００に送信し、タッチパネル付ディスプレイ２００が検出したタッチ位置を示す情報は、無線通信にて情報処理装置１００に送信する等、異なる通信手段で、これらの情報を伝達するようにしてもよい。
　図２は、情報処理装置１００と、タッチパネル付ディスプレイ２００とのハード構成を示す概略ブロック図である。図２に示すように、情報処理装置１００は、第１のＣＰＵ１０１、第１の表示部１０２、第１のタッチパネル１０３、第１の通信部１０５、第１のメモリ１０７、第１の外部出力部１０８を含んで構成される。また、タッチパネル付ディスプレイ２００は、第２のＣＰＵ２０１と、第２の表示部２０２と、第２のタッチパネル２０３と、第２の通信部２０５と、第２のメモリ２０７と、第２の外部出力部２０８とを含んで構成される。
　第１のタッチパネル１０３は、第１の表示部１０２の表面に設置されており、ユーザがタッチした位置（以降、タッチ位置という）を検出する。第１の表示部１０２は、液晶ディスプレイ等の表示デバイスを有し、第１のＣＰＵ１０１からの指示に従い、画像を表示する。
　第２のタッチパネル２０３は、第２の表示部２０２の表面に設置されており、タッチ位置を検出する。第２の表示部２０２は、液晶ディスプレイ等の表示デバイスを有し、第２のＣＰＵ２０１からの指示に従い、画像を表示する。ここで、第１の表示部１０２と第２の表示部２０２では、例えば、画面の画面サイズ又は画素数（解像度）が異なる。
　図３は、情報処理装置１００と、タッチパネル付ディスプレイ２００との機能構成を示す概略ブロック図である。情報処理装置１００は、第１の通信部１０５と、受信情報解析部１０６と、画面情報記憶部１１１と、操作種別判定部１０４と、座標変換部１１３と、アプリケーション実行部１１０と、表示画像生成部１０９と、第１の表示部１０２と、第１の外部出力部１０８とを含んで構成される。また、タッチパネル付ディスプレイ２００は、第２の表示部２０２と、第２のタッチパネル２０３と、第２の通信部２０５と、送信情報生成部２０６と、第２のメモリ２０７と、第２の外部出力部２０８とを含んで構成される。
　操作種別判定部１０４、座標変換部１１３、受信情報解析部１０６、画面情報記憶部１１１、アプリケーション実行部１１０、表示画像生成部１０９は、第１のＣＰＵ１０１が第１のメモリ１０７からプログラムを読み出して実行することにより実現される。また、送信情報生成部２０６は、第２のＣＰＵ２０１が第２のメモリ２０７からプログラムを読み出して実行することにより実現される。
　同図において、図２における各部に対応する部分には、同一の符号（１０２、１０５、１０８、２０２、２０３、２０５、２０８）を付し、説明を省略する。
　第１の通信部１０５は、ケーブル３００を介して、タッチパネル付ディスプレイ２００と通信し、画面の単位長さ当たりの画素数を表す情報と、タッチパネル付ディスプレイ２００からタッチ位置を示す情報とを受信する。本実施形態では、第１の通信部１０５は、画面の単位長さ当たりの画素数を表す情報として、画面の画面サイズ及び画素数（解像度）を示す情報（以下、画面情報という）を受信する。また、第１の通信部１０５は、タッチパネル付ディスプレイ２００から、該タッチ位置を示す情報として、該タッチ位置の座標と、該タッチ位置の座標が検出された時刻（以降、座標検出時刻という）とを、周期的に受信する。
　第１の通信部１０５は、タッチパネル付ディスプレイ２００がタッチされていないときは、該タッチ位置の座標として、ヌル情報を受信する。本実施形態において、該通知の周期は、ｄｔで表すこととし、単位をミリ秒とする。
　画面情報記憶部１１１は、第１のＣＰＵ１０１がプログラムを実行する際にワークメモリとして動作している記憶領域であり、タッチパネル付ディスプレイ２００が接続されると、受信情報解析部１０６から、画面情報を取得して記憶する。なお、画面情報記憶部１１１は、該画面情報として、ｄｐｉ（dots per inch）を取得するようにしてもよい。
　受信情報解析部１０６は、タッチパネル付ディスプレイ２００が接続されると、第１の通信部１０５を介して、タッチパネル付ディスプレイ２００から、画面情報を取得する。
また、受信情報解析部１０６は、第１の通信部１０５が周期的に受信するタッチパネル付ディスプレイ２００のタッチ位置を示す情報を、周期的に取得する。受信情報解析部１０６は、第１の通信部１０５から取得した情報が、該タッチ位置を示す情報か、該画面情報かを判定し、該タッチ位置を示す情報を操作種別判定部１０４へ、該画面情報を画面情報記憶部１１１へと振り分けて出力する。
　操作種別判定部１０４は、タッチ位置を示す情報を取得し、該タッチ位置を示す情報の、該タッチ位置の座標がヌル情報かどうかを判定する。操作種別判定部１０４は、該タッチ位置の座標がヌル情報ではなかった場合、次にタッチ位置の座標がヌル情報として取得されるまで、取得した順に、該タッチ位置の座標と、該座標検出時刻とを、タッチ操作テーブルを生成して格納する。タッチ操作テーブルの詳細は後述する。操作種別判定部１０４は、画面情報記憶部１１１から、画面情報を読み込む。操作種別判定部１０４は、該画面情報を取得した後、該画面情報と、該タッチ操作テーブルとに基づいて、タッチ操作の種別を判定する。該タッチ操作の種別の判定の詳細は後述する。その後、操作種別判定部１０４は、該タッチ操作の種別を示す情報と、該タッチ操作テーブルとを、座標変換部１１３に出力する。
　座標変換部１１３は、タッチ操作の種別を示す情報と、タッチ操作テーブルとを取得すると、画面情報記憶部１１１から、画面情報を読み込む。座標変換部１１３は、該画面情報と、該タッチ操作テーブルとに基づいて、該タッチ操作テーブルに格納された第２のタッチパネル２０３上でのタッチ位置の座標を、第１のタッチパネル１０３上の対応する座標（以降、本体座標という）に座標変換する。該座標変換の詳細は後述する。座標変換部１１３は、該タッチ操作の種別を示す情報と、該本体座標とを、タッチ操作情報としてアプリケーション実行部１１０に出力する。
　アプリケーション実行部１１０は、Ｗｅｂブラウザなどのアプリケーションを実行する。アプリケーション実行部１１０は、座標変換部１１３から取得したタッチ操作情報に基づいて、実行しているアプリケーションが要求する動作を行う。例えば、タッチ操作の種別が、Ａ地点からＢ地点へのフリックだった場合、該フリックに基づいて、Ａ地点からＢ地点へのスクロールを行う。また、アプリケーション実行部１１０は、実行しているアプリケーションが画像の表示を要求しているときは、該画像を第１の表示部１０２もしくはタッチパネル付ディスプレイ２００に表示させるため、該画像の画像データを表示画像生成部１０９に入力する。
　表示画像生成部１０９は、アプリケーション実行部１１０から入力されたアプリケーションの画像データから、表示画像の画像信号を生成し、第１の表示部１０２または第１の外部出力部１０８に入力する。
　第１の外部出力部１０８は、表示画像生成部１０９から入力された、表示画像の画像信号を、第２の通信部２０５に出力する。
　第２の通信部２０５は、第１の外部出力部１０８から、表示画像の画像信号を受けると、第２の表示部２０２に入力する。
　送信情報生成部２０６は、タッチパネル付ディスプレイ２００が接続されると、第２のメモリ２０７から、画面情報を取得し、第２の外部出力部２０８に出力する。また、送信情報生成部２０６は、第２のタッチパネル２０３から、タッチ位置を示す情報を取得すると、該タッチ位置を示す情報を、第２の外部出力部２０８に出力する。
　第２の外部出力部２０８は、画面情報を取得すると、該画面情報を第１の通信部１０５に入力する。また、第２の外部出力部２０８は、タッチ位置を示す情報を取得すると、該タッチ位置を示す情報を、第１の通信部１０５に入力する。
　図４は、タッチパネル付ディスプレイ２００が、タッチ操作としてタップされた場合のタッチ操作テーブルの一例を表す表である。タッチ操作テーブルｔ１００ｔは、座標検出時刻ｔ１０１ｔと、タッチ位置の座標ｔ１０２ｔとが格納されている。タッチ位置の座標ｔ１０２ｔは、該タッチ操作がタップであることを反映して、座標検出時刻ｔ１０１ｔが、周期ｄｔだけ変化しても、座標の値が変化していない。
　図５は、タッチパネル付ディスプレイ２００が、タッチ操作としてフリックされた場合のタッチ操作テーブルの一例を表す表である。タッチ操作テーブルｔ１００ｆは、座標検出時刻ｔ１０１ｆと、タッチ位置の座標ｔ１０２ｆとが格納されている。タッチ位置の座標ｔ１０２ｆは、該タッチ操作がフリックであることを反映して、座標検出時刻ｔ１０１ｆが、周期ｄｔだけ変化する毎に、座標の値も変化している。
　図６は、情報処理装置１００のタッチ操作の種別を判定するまでの動作例を説明するシーケンス図である。まず、受信情報解析部１０６は、タッチパネル付ディスプレイ２００の接続を検出するまで待機する（Ｓａ１）。受信情報解析部１０６は、タッチパネル付ディスプレイ２００の接続を検出すると、第１の通信部１０５を介して、タッチパネル付ディスプレイ２００に、画面情報を要求する（Ｓａ２）。タッチパネル付ディスプレイ２００は、該要求を受けると、自装置の画面情報を、受信情報解析部１０６に送信する（Ｓａ３）。受信情報解析部１０６は、Ｓａ２の要求に対する応答として、該画面情報を取得し、画面情報記憶部１１１に記憶させる（Ｓａ４）。
　時間が経過して、タッチパネル付ディスプレイ２００は、タッチ操作を受けると、該タッチ操作のタッチ位置を示す情報を、受信情報解析部１０６に出力する（Ｓａ５）。受信情報解析部１０６は、タッチパネル付ディスプレイ２００から、該タッチ位置を示す情報を取得する（Ｓａ６）。受信情報解析部１０６は、該タッチ位置を示す情報を、操作種別判定部１０４に出力する（Ｓａ７）。操作種別判定部１０４は、該タッチ位置を示す情報に基づいて、タッチ操作テーブルを生成する（Ｓａ８）。操作種別判定部１０４は、画面情報記憶部１１１から、画面情報を取得する（Ｓａ９）。操作種別判定部１０４は、該画面情報と、該タッチ操作テーブルとに基づいて、タッチ操作の種別を判定する（Ｓａ１０）。
　図７は、操作種別判定部１０４が、タッチ操作の種別を判定する動作を説明するフローチャートである。操作種別判定部１０４は、タッチパネル付ディスプレイ２００にタッチ操作が行われる毎に、ステップＳＴ１００からステップＳＴ１０６までの処理を実行する。
（ステップＳＴ１００）操作種別判定部１０４は、タッチ位置を示す情報を取得する。
（ステップＳＴ１０１）次に、操作種別判定部１０４は、該タッチ位置を示す情報に基づいて、タッチ操作テーブルを生成する。
（ステップＳＴ１０２）次に、操作種別判定部１０４は、画面情報を取得する。なお、該画面情報を取得する処理は、タッチ位置を示す情報を取得する毎に必要なわけではなく、最初にタッチ位置を示す情報を取得した時にのみ、該画面情報を取得するとしてもよい。
（ステップＳＴ１０３）次に、操作種別判定部１０４は、タッチ操作テーブルを参照し、ユーザが第２のタッチパネル２０３をタッチしてから離すまでの平均移動速度（タッチ位置の移動量を表す値）を算出する。ここで、図５のタッチ操作テーブルｔ１００ｆを参照しながら、該平均移動速度の算出の詳細を説明する。タッチ操作テーブルｔ１００ｆは、４つの座標が格納されているので、上から順に、Ａ地点、Ｂ地点、Ｃ地点、Ｄ地点と名前を付けることにする。該Ａ地点は、ユーザが第２のタッチパネル２０３をタッチした位置であり、該Ｄ地点は、ユーザが第２のタッチパネル２０３からタッチを離した位置である。
　操作種別判定部１０４は、まず該画面情報を用いて、Ａ地点とＢ地点との間の距離を算出する。
該画面情報は、画面サイズが横Ｄ６０ｘ×縦Ｄ６０ｙであり、第２のタッチパネル２０３の画素数が横ＴＲ６０ｘ×縦ＴＲ６０ｙとすると、Ａ地点からＢ地点までの実寸サイズの距離は、三平方の定理を用いることで、Ａ－Ｂ間距離＝√（（（ｄｘ_２ － ｄｘ_1）×Ｄ６０ｘ／ＴＲ６０ｘ）2 ＋（（ｄｙ_2－ ｄｙ_1）×Ｄ６０ｙ／ＴＲ６０ｙ）2　）と算出することができる。
　本実施形態において、操作種別判定部１０４は、これをＢ地点とＣ地点との間、Ｃ地点とＤ地点との間に対しても繰り返し、算出されたＡ－Ｂ間距離、Ｂ－Ｃ間距離、Ｃ－Ｄ間距離を足し合わせることで、タッチ位置の移動距離を求めるが、これに限られるわけではない。例えば、該タッチ操作テーブルの、一番上と一番下のレコードに格納されたタッチ位置を示す座標間の直線距離、すなわちタッチ操作テーブルｔ１００ｆの例でいえばＡ地点とＤ地点との間の直線距離を算出することで、該移動距離としてもよい。
　ここで、該Ａ地点からＤ地点までの移動距離が３ｃｍの場合を考える。また、操作種別判定部１０４は、座標検出時刻ｔ１０１ｆを参照することで、Ａ地点からＤ地点までの移動に掛かった時間を算出することができる。タッチ操作テーブルｔ１００ｆの場合、該移動に掛かった時間は、３ｄｔである。本実施形態において、検出周期であるｄｔは、３３ミリ秒とすると、３ｄｔは９９ミリ秒ということになる。従って、Ａ地点からＤ地点まで座標が移動した際の平均移動速度は、３ｃｍを９９ミリ秒で移動したので、約０．３ｍ／ｓとなる。
（ステップＳＴ１０４）次に、操作種別判定部１０４は、該平均移動速度が、所定の閾値を超えたか否かを判定する。該判定は、タッチ位置の座標の実寸サイズの平均移動速度を用いて行っているため、大きさの異なるタッチパネル付ディスプレイ間で、同じ閾値を用いてタッチ操作の種別を判定することが可能となっている。従って、タッチパネル付ディスプレイ２００上でのタッチ操作の操作感覚は、情報処理装置１００上でのタッチ操作の操作感覚と同じになる。なお、本実施形態において、該判定は、該平均移動速度と所定の閾値とを比較することとしたが、これに限られるわけではない。例えば、９９ミリ秒当たりの移動距離が、所定の閾値を超えたか否かを判定するというように、平均移動速度としてある一定の時間間隔の間の移動距離を用いて判定してもよい。
　操作種別判定部１０４は、該平均移動速度が所定の閾値を超えたとき（ステップＳＴ１０４－Ｙｅｓ）、ステップＳＴ１０５に遷移する。操作種別判定部１０４は、該平均移動速度が所定の閾値を超えなかったとき（ステップＳＴ１０４－Ｎｏ）、ステップＳＴ１０６に遷移する。
（ステップＳＴ１０５）操作種別判定部１０４は、タッチ操作の種別を、フリックと判定する。
（ステップＳＴ１０６）操作種別判定部１０４は、タッチ操作の種別を、タップと判定する。
　なお、本実施形態において、タッチ操作の種別の判定は、タップとフリックとのみを説明したが、これらに限られるわけではない。例えば、ピンチインやピンチアウト等の、マルチタップイベントの場合、検出された座標が複数あるか否かでタップやフリックとの違いを判定し、ステップＳＴ１０３で求めたタッチ位置の移動距離が所定の閾値を超えたか否かでピンチインまたはピンチアウトであったか否かを判定するとしてもよい。
　このように、本実施形態において、情報処理装置１００の操作種別判定部１０４は、タッチパネル付ディスプレイ２００の第２の表示部２０２の画面情報に基づいて、タッチパネル付ディスプレイ２００に行われたタッチ操作の種別を判定する。このため、情報処理装置１００は、画面情報が表わす単位長さ当たりの画素数に応じてタッチ操作の種別を判定でき、タッチパネル付ディスプレイ２００に対するタッチ操作の種別を適切に判定することができる。
　また、情報処理装置１００は、第１のタッチパネル１０３を備える。さらに、操作種別判定部１０４は、情報処理装置１００に接続されたタッチパネル付ディスプレイ２００がタッチ操作されたタッチ位置を示す情報と、画面情報とに基づいて、該タッチ位置の移動量を表す値として平均移動速度を算出する。そして、操作種別判定部１０４は、該平均移動速度が所定の閾値を超えているか否かにより、該タッチ操作の種別を判定する。該所定の閾値は、情報処理装置１００が備える第１のタッチパネル１０３に対して行われたタッチ操作の種別を判定する際に用いられる閾値と同じである。
　例えば、情報処理装置１００は、画面情報に基づいて、タッチ位置の座標の実寸サイズの平均移動速度を用いてタッチ操作の種別を判定する。これにより、情報処理装置１００は、情報処理装置１００とタッチパネル付ディスプレイ２００や、サイズの異なるタッチパネル付ディスプレイ２００に、実寸サイズで同じタッチ操作をした場合、同じ種別に判定される。このため、ユーザは、タッチパネル付ディスプレイ２００上でのタッチ操作を、情報処理装置１００上でのタッチ操作と同じ操作感で行うことができる。
　以上例示したように、情報処理装置１００は、タッチパネル付ディスプレイ２００のサイズに適した判定をすることができ、タッチ操作の種別を適切に判定することができる。
[第２の実施形態]
　第２の実施形態における情報処理装置１００は、操作種別判定部１０４を含まず、タッチパネル付ディスプレイ２００の機能構成に、操作種別判定部１０４が含まれているとする。
　図８は、第２の実施形態における情報処理装置１００と、タッチパネル付ディスプレイ２００との機能構成を示す概略ブロック図である。同図において、図３の各部に対応する部分には同一の符号を付け、その説明を省略する
　操作種別判定部１０４ａは、第２のタッチパネル２０３から、タッチ位置を示す情報を周期的に読み込む。操作種別判定部１０４ａは、該タッチ位置を示す情報の、該タッチ位置の座標がヌル情報かどうかを判定する。操作種別判定部１０４ａは、該タッチ位置の座標がヌル情報ではなかった場合、次にタッチ位置の座標がヌル情報として取得されるまで、取得した順に、該タッチ位置の座標と、座標検出時刻とを、タッチ操作テーブルを生成して格納する。
　操作種別判定部１０４ａは、第２の通信部２０５ａを介して、自装置画面情報記憶部１１２が記憶している、情報処理装置１００の画面情報（以降、自装置画面情報という）を取得する。また、操作種別判定部１０４ａは、第２のメモリ２０７ａから、画面情報を取得する。操作種別判定部１０４ａは、該画面情報と、該タッチ操作テーブルとに基づいて、タッチ操作の種別を判定する。その後、操作種別判定部１０４ａは、該タッチ操作テーブルと、該タッチ操作の種別を示す情報とを、送信情報生成部２０６ａに出力する。
　送信情報生成部２０６ａは、操作種別判定部１０４ａから、タッチ操作テーブルと、タッチ操作の種別を示す情報とを取得すると、第２の外部出力部２０８を介して、受信情報解析部１０６ａに、該タッチ操作テーブルと、該タッチ操作の種別を示す情報とを出力する。また、送信情報生成部２０６ａは、情報処理装置１００に、タッチパネル付ディスプレイ２００が接続されると、第２のメモリ２０７ａから画面情報を読み込み、第２の外部出力部２０８を介して、受信情報解析部１０６ａに、該画面情報を出力する。
　自装置画面情報記憶部１１２は、第１のＣＰＵ１０１がプログラムを実行する際にワークメモリとして動作している記憶領域であり、自装置画面情報を記憶している。自装置画面情報記憶部１１２は、操作種別判定部１０４ａの要求に従い、自装置画面情報を、第１の外部出力部１０８ａを介して、操作種別判定部１０４ａに出力する。
　第１の外部出力部１０８ａは、自装置画面情報記憶部１１２から、自装置画面情報を取得すると、該自装置画面情報を、第２の通信部２０５ａに出力する。
　第２の通信部２０５ａは、第１の外部出力部１０８ａから、自装置画面情報を取得すると、該自装置画面情報を、操作種別判定部１０４ａに出力する。
　このように、第２の実施形態では、操作種別判定部１０４ａは、タッチパネル付ディスプレイ２００の画面情報が表わす単位長さ当たりの画素数と、タッチパネル付ディスプレイ２００がタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する。また、操作種別判定部１０４ａは、情報処理装置１００に該タッチ操作の種別を示す情報を出力する。このため、情報処理装置１００に、操作種別判定部１０４に相当する機能が備わっていなくても、タッチパネル付ディスプレイ２００が操作種別判定部１０４の機能を持つことで、第１の実施形態と同じ効果が得られる。
[第３の実施形態]
　第３の実施形態における受信情報解析部１０６は、タッチパネル付ディスプレイ２００が接続されると、第１の通信部１０５を介して、タッチパネル付ディスプレイ２００のＶｅｎｄｏｒＩＤ／ＰｒｏｄｕｃｔＩＤ等機種を識別可能な情報、あるいは、ＭＡＣアドレスなど個別識別可能な情報を、タッチパネル付ディスプレイ２００から取得する。受信情報解析部１０６は、機種を識別可能な情報、あるいは、個別識別可能な情報と、画面情報とを予め対応付けて記憶しており、タッチパネル付ディスプレイ２００から取得した情報に対応付けられている画面情報を、接続されたタッチパネル付ディスプレイ２００の画面情報とする。
　なお、受信情報解析部１０６は、タッチパネル付ディスプレイ２００から取得した機種を識別可能な情報、あるいは、個別識別可能な情報と対応付けて記憶している画面情報が無いときは、以下の１）から３）のいずれかのようにして画面情報を取得するようにしてもよい。１）受信情報解析部１０６は、第１の通信部１０５を介して、インターネットに接続されたサーバ等、外部の装置に問い合わせて、タッチパネル付ディスプレイ２００かから取得した情報に対応する画面情報を取得する。
　２）受信情報解析部１０６は、ユーザに画面情報を入力させる画面を第１の表示部１０２に表示させて、ユーザが入力した画面情報を取得する。画面情報を入力させる画面には、例えば、画素数については、数値を入力させる入力ボックスを配置してもよいし、複数の候補の中から選択させるプルダウンメニューやラジオボタンを配置してもよい。３）受信情報解析部１０６は、予め記憶していた複数の画面情報から１つをユーザに選択させる画面を第１の表示部１０２に表示させて、ユーザが選択した画面情報を用いる。
　なお、受信情報解析部１０６は、これらの方法で取得した画面情報を、タッチパネル付ディスプレイ２００から取得した機種を識別可能な情報、あるいは、個別識別可能な情報と対応付けて、画面情報記憶部１１１に記憶させるようにしてもよい。これにより、同じタッチパネル付ディスプレイ２００が接続されたときに、該画面情報を用いることができる。
[第４の実施形態]
　第４の実施形態における受信情報解析部１０６は、タッチパネル付ディスプレイ２００が接続されると、予め設定された画面情報を、使用する画面情報とする。この予め設定された画面情報は、画面情報記憶部１１１が記憶する複数の画面情報の中から、ユーザが予め選択したものとしてもよい。また、タッチパネル付ディスプレイ２００が接続されると、予め記憶された複数の画面情報を、第１の表示部１０２に表示し、それらの中からユーザが選択したものとしてもよい。
　なお、上述の各実施形態では、情報処理装置１００が第１のタッチパネル１０３及び第１の表示部１０２を有する場合を説明したが、情報処理装置１００は、これらのいずれかまたは双方を有していなくてもよい。
　また、画面情報のうち、画素数は、タッチパネル付ディスプレイ２００から取得し、画面サイズは、個別識別可能な情報と対応付けて記憶していたものを用いるなど、それぞれ異なる方法で取得してもよい。
　なお、上述の各実施形態では、情報処理装置１００又はタッチパネル付ディスプレイ２００は、第１の表示部１０２を備える情報処理装置１００に接続されるタッチパネル付ディスプレイ２００の画面の単位長さ当たりの画素数を表す情報と、情報処理装置１００が生成した画像を表示したディスプレイにおける操作位置を示す情報とに基づいて、操作の種別を判定する装置である。ここで、操作は、タッチ操作に限らず、タッチパネル以外のポインティングデバイス（例えば、マウス、タッチパッド）による操作を含んでいてもよい。例えば、操作種別判定部１０４は、ポインティングデバイスによるカーソルの平均移動速度を、上記の平均移動速度として用いてもよい。
　また、図３における情報処理装置１００の機能もしくはその一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより情報処理装置１００を実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
　また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
　また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
　さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
　以上、この発明の実施形態を、図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
（１）本発明の一態様は、自装置に接続されたタッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する操作種別判定部を備えることを特徴とする情報処理装置である。
（２）また、本発明の他の態様は、タッチパネル付ディスプレイを備え、前記操作種別判定部は、前記画素数を表す情報と、前記自装置に接続されたタッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、前記タッチ位置の移動量を表す値を算出し、前記移動量を表す値が所定の閾値を超えているか否かにより前記判定を行い、前記所定の閾値は、前記自装置が備えるタッチパネル付ディスプレイに対して行われたタッチ操作の種別を判定する際に用いられる閾値と同じであることを特徴とする（１）に記載の情報処理装置である。
（３）また、本発明の他の態様は、情報処理装置が接続されたタッチパネル付ディスプレイ装置であって、自装置の画面の単位長さ当たりの画素数を表す情報と、前記自装置がタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する操作種別判定部と、前記情報処理装置に前記タッチ操作の種別を示す情報を出力する外部出力部と、を備えることを特徴とするタッチパネル付ディスプレイ装置である。
（４）前記タッチ操作の種別は、タップ、フリック、ピンチイン、ピンチアウトのうち、少なくとも一つを含むことを特徴とする（１）に記載の情報処理装置である。
（５）また、本発明の他の態様は、情報処理装置が、自装置に接続されたタッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、前記タッチ位置の移動量を表す値を算出し、該値を用いてタッチ操作の種別を判定する過程を有することを特徴とする情報処理方法である。
（６）また、本発明の他の態様は、コンピュータを、（１）から（３）のいずれか一項に記載の情報処理装置、として機能させるためのプログラムである。
　本発明は、情報処理装置に外部表示装置を接続する際に好適に用いられるが、これに限られない。
１００・・・情報処理装置　１０１・・・第１のＣＰＵ　１０２・・・第１の表示部　１０３・・・第１のタッチパネル　１０４・・・操作種別判定部　１０５・・・第１の通信部　１０６・・・受信情報解析部　１０７・・・第１のメモリ　１０８・・・第１の外部出力部　１０９・・・表示画像生成部　１１０・・・アプリケーション実行部　１１１・・・画面情報記憶部　１１２・・・自装置画面情報記憶部　１１３・・・座標変換部　２００・・・タッチパネル付ディスプレイ　２０１・・・第２のＣＰＵ　２０２・・・第２の表示部　２０３・・・第２のタッチパネル　２０５・・・第２の通信部　２０６・・・送信情報生成部

Claims (6)

  1. 　自装置に接続されたタッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する操作種別判定部
    　を備える情報処理装置。
  2. 　タッチパネル付ディスプレイを備え、
    　前記操作種別判定部は、
    　前記画素数を表す情報と、前記自装置に接続されたタッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、前記タッチ位置の移動量を表す値を算出し、前記移動量を表す値が所定の閾値を超えているか否かにより前記判定を行い、
    　前記所定の閾値は、前記自装置が備えるタッチパネル付ディスプレイに対して行われたタッチ操作の種別を判定する際に用いられる閾値と同じである
    　請求項１に記載の情報処理装置。
  3. 　前記タッチ操作の種別は、タップ、フリック、ピンチイン、ピンチアウトのうち、少なくとも一つを含む請求項１に記載の情報処理装置。
  4. 　情報処理装置が接続されたタッチパネル付ディスプレイ装置であって、
    　自装置の画面の単位長さ当たりの画素数を表す情報と、前記自装置がタッチ操作されたタッチ位置を示す情報とに基づいて、タッチ操作の種別を判定する操作種別判定部と、
    　前記情報処理装置に前記タッチ操作の種別を示す情報を出力する外部出力部と、
    　を備えるタッチパネル付ディスプレイ装置。
  5. 　情報処理装置が、自装置に接続されたタッチパネル付ディスプレイの画面の単位長さ当たりの画素数を表す情報と、前記タッチパネル付ディスプレイがタッチ操作されたタッチ位置を示す情報とに基づいて、前記タッチ位置の移動量を表す値を算出し、該値を用いてタッチ操作の種別を判定する過程
    　を有する情報処理方法。
  6. 　コンピュータを、請求項１から請求項３のいずれか一項に記載の情報処理装置、として機能させるためのプログラム。
PCT/JP2014/053191 2013-03-14 2014-02-12 情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラム Ceased WO2014141797A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/646,035 US9582094B2 (en) 2013-03-14 2014-02-12 Information processing device, display device with touch panel, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013052435A JP6047822B2 (ja) 2013-03-14 2013-03-14 情報処理装置、情報処理方法及びプログラム
JP2013-052435 2013-03-14

Publications (1)

Publication Number Publication Date
WO2014141797A1 true WO2014141797A1 (ja) 2014-09-18

Family

ID=51536473

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/053191 Ceased WO2014141797A1 (ja) 2013-03-14 2014-02-12 情報処理装置、タッチパネル付ディスプレイ装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US9582094B2 (ja)
JP (1) JP6047822B2 (ja)
WO (1) WO2014141797A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016002634A1 (ja) * 2014-07-01 2017-04-27 富士フイルム株式会社 感活性光線性又は感放射線性樹脂組成物、パターン形成方法、電子デバイスの製造方法及び電子デバイス

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402142B2 (en) * 2016-01-25 2019-09-03 Pathway Innovations And Technologies, Inc. Interactive flat panel display with integrated document camera
JP2017174071A (ja) * 2016-03-23 2017-09-28 株式会社東海理化電機製作所 操作装置
WO2019044003A1 (ja) * 2017-09-04 2019-03-07 株式会社ワコム 空間位置指示システム
CN111837174B (zh) * 2018-06-25 2023-03-28 麦克赛尔株式会社 头戴式显示器、头戴式显示器协作系统及其方法
TWM576682U (zh) * 2018-11-30 2019-04-11 華碩電腦股份有限公司 電子裝置
JP7203436B2 (ja) * 2020-11-13 2023-01-13 ディープインサイト株式会社 ユーザインターフェイス装置、ユーザインターフェイスシステム及びユーザインターフェイス用プログラム
US20250271948A1 (en) * 2022-05-02 2025-08-28 Deep Insight Inc. User Interface Device, User Interface System, and Recording Medium
JP2024134889A (ja) * 2023-03-22 2024-10-04 株式会社リコー 表示システム、表示方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08228329A (ja) * 1994-12-20 1996-09-03 Ricoh Co Ltd 通信会議方法および通信会議端末装置
JP2011134278A (ja) * 2009-12-25 2011-07-07 Toshiba Corp 情報処理装置およびポインティング制御方法
JP2011521381A (ja) * 2008-05-19 2011-07-21 マイクロソフト コーポレーション ドラッグ操作を用いるメニューへのアクセス
JP2012127791A (ja) * 2010-12-15 2012-07-05 Aisin Aw Co Ltd ナビゲーション装置およびその制御方法並びにプログラム
JP2012155590A (ja) * 2011-01-27 2012-08-16 Kyocera Corp 携帯通信端末
JP5331935B1 (ja) * 2012-12-22 2013-10-30 淳也 榎本 無線による画面表示制御方法及びシステム
JP2013254435A (ja) * 2012-06-08 2013-12-19 Clarion Co Ltd 表示装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9258402B2 (en) * 2009-04-14 2016-02-09 Qualcomm Incorporated System and method for controlling mobile devices
JP5629180B2 (ja) * 2010-10-21 2014-11-19 京セラ株式会社 携帯端末装置
US8674957B2 (en) * 2011-02-04 2014-03-18 Qualcomm Incorporated User input device for wireless back channel

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08228329A (ja) * 1994-12-20 1996-09-03 Ricoh Co Ltd 通信会議方法および通信会議端末装置
JP2011521381A (ja) * 2008-05-19 2011-07-21 マイクロソフト コーポレーション ドラッグ操作を用いるメニューへのアクセス
JP2011134278A (ja) * 2009-12-25 2011-07-07 Toshiba Corp 情報処理装置およびポインティング制御方法
JP2012127791A (ja) * 2010-12-15 2012-07-05 Aisin Aw Co Ltd ナビゲーション装置およびその制御方法並びにプログラム
JP2012155590A (ja) * 2011-01-27 2012-08-16 Kyocera Corp 携帯通信端末
JP2013254435A (ja) * 2012-06-08 2013-12-19 Clarion Co Ltd 表示装置
JP5331935B1 (ja) * 2012-12-22 2013-10-30 淳也 榎本 無線による画面表示制御方法及びシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016002634A1 (ja) * 2014-07-01 2017-04-27 富士フイルム株式会社 感活性光線性又は感放射線性樹脂組成物、パターン形成方法、電子デバイスの製造方法及び電子デバイス

Also Published As

Publication number Publication date
US9582094B2 (en) 2017-02-28
US20150301633A1 (en) 2015-10-22
JP2014178887A (ja) 2014-09-25
JP6047822B2 (ja) 2016-12-21

Similar Documents

Publication Publication Date Title
JP6047822B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6122037B2 (ja) 端末機におけるコンテンツ移動方法及び装置
AU2013276998B2 (en) Mouse function provision method and terminal implementing the same
CN103677556B (zh) 快速定位应用程序的方法及设备
CN103164156B (zh) 便携式终端的触摸输入方法和设备
US9880613B2 (en) Apparatus and control method based on motion
JP2014132427A (ja) 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
KR20140139647A (ko) 휴대단말기에서 아이콘을 재배열하는 방법 및 장치
JP6183820B2 (ja) 端末、及び端末制御方法
CN101377725A (zh) 手持式电子装置及其控制方法
KR20130102670A (ko) 터치스크린 단말기의 세밀한 조작을 위한 사용자별 손가락 및 터치 펜 접촉 위치 포인트 설정을 위한 방법 및 시스템
US10101905B1 (en) Proximity-based input device
KR20110066545A (ko) 터치스크린을 이용하여 이미지를 표시하기 위한 방법 및 단말
JP6123107B2 (ja) 情報処理装置、ソフトウェアキーボードの生成方法およびプログラム
JP2014241078A (ja) 情報処理装置
JP5607667B2 (ja) データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
JP6971573B2 (ja) 電子機器、その制御方法およびプログラム
CN104572602A (zh) 显示消息的方法和装置
JP2014186495A (ja) 情報処理装置、入力制御方法およびプログラム
JP2011123916A (ja) データ処理装置、入出力装置、タッチパネルの制御方法、記憶媒体及びプログラム伝送装置
JP2017102676A (ja) 携帯端末装置、操作装置、情報処理方法及びプログラム
JP2010020667A (ja) 接触感知型ポインティングデバイスを用いた文字入力方法および装置
JP2015153239A (ja) 携帯端末装置、表示方法およびプログラム
JP2014142790A (ja) 情報処理装置、画像生成方法およびプログラム
WO2016121526A1 (ja) 表示制御装置、表示方法および表示プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14763466

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 14646035

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14763466

Country of ref document: EP

Kind code of ref document: A1