WO2020136729A1 - 入力システム - Google Patents

入力システム Download PDF

Info

Publication number
WO2020136729A1
WO2020136729A1 PCT/JP2018/047664 JP2018047664W WO2020136729A1 WO 2020136729 A1 WO2020136729 A1 WO 2020136729A1 JP 2018047664 W JP2018047664 W JP 2018047664W WO 2020136729 A1 WO2020136729 A1 WO 2020136729A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
signal
input system
host processor
controller
Prior art date
Application number
PCT/JP2018/047664
Other languages
English (en)
French (fr)
Inventor
宮澤　寛
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to JP2020561998A priority Critical patent/JP7319297B2/ja
Priority to CN201880097302.1A priority patent/CN112654952A/zh
Priority to PCT/JP2018/047664 priority patent/WO2020136729A1/ja
Publication of WO2020136729A1 publication Critical patent/WO2020136729A1/ja
Priority to US17/207,312 priority patent/US11402941B2/en
Priority to US17/878,545 priority patent/US11714506B2/en
Priority to US18/337,913 priority patent/US12014001B2/en
Priority to JP2023117976A priority patent/JP2023126598A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/70—Protecting specific internal or peripheral components, in which the protection of a component leads to protection of the entire computer
    • G06F21/82—Protecting input, output or interconnection devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2358/00—Arrangements for display data security

Definitions

  • the present invention relates to an input system using a touch panel display.
  • Patent Document 1 discloses a method of establishing a TLS (Transport Layer Security) connection between an electronic device equipped with a touch panel display and an external server, and securely communicating data including confidential information.
  • TLS Transport Layer Security
  • the host processor of the electronic device processes the input data from the touch panel display, some technical or operational inconvenience may occur due to passing through the host processor.
  • An object of the present invention is to provide an input system capable of improving a particular inconvenience caused by data processing of a host processor.
  • An input system is a system using a touch panel display in which a sensor electrode for detecting a position designated by a user is provided in a display area of a display panel, and the display is performed based on a detection result of the sensor electrode.
  • a sensor controller that acquires a designated position in the area
  • a host processor that processes a data signal including the designated position that is obtained by the sensor controller
  • a display that outputs a display signal indicating an image or a video toward the display panel.
  • a controller a first signal path for transmitting a signal from the sensor controller to the display controller via the host processor, and a second signal path for transmitting a signal from the sensor controller to the display controller without passing through the host processor
  • a signal path and a switch unit configured to switch between the first signal path and the second signal path are provided.
  • An input system is a system using a touch panel display in which a sensor electrode for detecting a position designated by a user is provided in a display area of a display panel, and a host for processing a data signal including the designated position.
  • a processor a display controller that is connected to the host processor and that outputs a display signal indicating an image or a video to the display panel, and acquires a designated position in the display area based on a detection result of the sensor electrode.
  • a sensor controller is physically and logically connected to the host processor, and is physically connected to the display controller.
  • the specific inconvenience caused by the data processing of the host processor is improved.
  • FIG. 1 is an overall configuration diagram of an input system common to each embodiment of the present invention. It is a connection block diagram of the input system in 1st Embodiment.
  • FIG. 3 is a functional block diagram corresponding to FIG. 2. It is a connection block diagram of the input system in 2nd Embodiment. It is a functional block diagram corresponding to FIG. It is a connection block diagram of the input system in 3rd Embodiment.
  • FIG. 7 is a functional block diagram corresponding to FIG. 6. It is a sequence diagram at the time of execution of the 1st output mode. It is a figure which shows an example of an interpolation process. It is a transition diagram of a display image accompanying the operation of the stylus.
  • FIG. 8 is a detailed functional block diagram of a partial image generation unit shown in FIGS. 3, 5, and 7. It is a figure which compares the writing followability with respect to the high-speed movement of the stylus. It is a figure which shows an example of the effect by an addition process. It is a figure which shows an example of the effect by an addition process.
  • FIG. 2 is an overall configuration diagram of a signature verification system incorporating the input system shown in FIG. 1.
  • FIG. 1 is an overall configuration diagram of an input system 10 common to each embodiment of the present invention.
  • the input system 10 basically includes an electronic device 14 having a touch panel display 12, and a stylus 16 which is a pen-type pointing device.
  • the electronic device 14 is composed of, for example, a tablet terminal, a smartphone, and a personal computer.
  • the stylus 16 is configured to be capable of unidirectionally or bidirectionally communicating with the electronic device 14.
  • the user can write a picture or a character on the electronic device 14 by holding the stylus 16 with one hand and moving it while pressing the pen tip against the touch surface of the touch panel display 12.
  • the electronic device 14 is configured to include a sensor controller 18, a display controller 20, a host processor 22, a memory 24, and a communication module 26 in addition to the touch panel display 12.
  • the touch panel display 12 is configured to include a display panel 28 capable of visually displaying content and a sensor electrode 30 arranged above the display panel 28.
  • the display panel 28 can display a monochrome image or a color image, and may be, for example, a liquid crystal panel or an organic EL (Electro-Luminescence) panel.
  • the sensor electrode 30 includes a plurality of X line electrodes for detecting the position of the X axis of the sensor coordinate system, and a plurality of Y line electrodes for detecting the position of the Y axis.
  • the sensor controller 18 is an integrated circuit that controls the drive of the sensor electrode 30.
  • the sensor controller 18 drives the sensor electrode 30 based on the control signal supplied from the host processor 22.
  • the sensor controller 18 executes a “pen detection function” for detecting the state of the stylus 16 and a “touch detection function” for detecting a touch by the user's finger or the like.
  • This pen detection function includes, for example, a scan function of the sensor electrode 30, a downlink signal reception/analysis function, a stylus 16 state (eg, position, posture, writing pressure) estimation function, and an uplink including a command to the stylus 16. Includes signal generation and transmission functions. Further, the touch detection function includes, for example, a two-dimensional scanning function of the sensor electrode 30, a detection map acquisition function on the sensor electrode 30, and a region classification function on the detection map (for example, classification of fingers, palms, etc.).
  • the display controller 20 is an integrated circuit that controls the drive of the display panel 28.
  • the display controller 20 drives the display panel 28 based on the frame-based image signal supplied from the host processor 22. As a result, an image or video is displayed in the display area R of the display panel 28.
  • the image or video may include a writing line written by the user using the stylus 16.
  • a user interface (hereinafter, UI unit 32) is constructed by combining the input function of the stylus 16 and the sensor electrode 30 and the output function of the display panel 28.
  • the host processor 22 is composed of a processing operation device including a CPU (Central Processing Unit), an MPU (Micro-Processing Unit), and a GPU (Graphics Processing Unit).
  • the host processor 22 can execute various functions including generation of digital ink, generation of image signals, and transmission/reception control of data by reading and executing the program stored in the memory 24.
  • the input system 10 has a technical feature in that the sensor controller 18 is physically or logically connected to the host processor 22 and physically connected to the display controller 20. Have.
  • the memory 24 is a non-transitory and computer-readable storage medium.
  • the computer-readable storage medium is a storage device including a hard disk drive (HDD: Hard Disk Drive), a solid state drive (SSD: Solid State Drive), a magneto-optical disk, a ROM, a CD-ROM, a flash memory. It is a portable medium such as.
  • the communication module 26 is configured to be able to send and receive an electrical signal to and from an external device by wire communication or wireless communication. As a result, the electronic device 14 can exchange various data with the verification server 122 (FIG. 16), for example.
  • FIG. 2 is a connection configuration diagram of the input system 10A in the first embodiment.
  • the sensor controller 18 in the first embodiment is physically connected to the display controller 20 and is configured to be able to switch the output destination of the data signal to either the host processor 22 or the display controller 20.
  • the sensor controller 18, the display controller 20, and the host processor 22 are physically connected by the signal lines L1 to L3.
  • the sensor controller 18 is connected to the host processor 22 via a signal line L1.
  • the host processor 22 is connected to the display controller 20 via a signal line L2.
  • the sensor controller 18 is connected to the display controller 20 via a signal line L3.
  • the signal lines L1 and L3 are signal lines compatible with USB (Universal Serial Bus), and the signal line L2 is a signal line compatible with LVDS (Low Voltage Differential Signaling).
  • the signal lines L1 and L2 form a first signal path SP1 for transmitting a signal from the sensor controller 18 to the display controller 20 via the host processor 22.
  • the signal line L3 constitutes a second signal path SP2 for transmitting a signal from the sensor controller 18 to the display controller 20 without passing through the host processor 22.
  • FIG. 3 is a functional block diagram corresponding to FIG.
  • the sensor controller 18 functions as a position detection unit 40 and an output selection unit 42 (switch unit).
  • the host processor 22 functions as a mode control unit 44 and a data processing unit 46.
  • the display controller 20 functions as two types of output processing units 50 and 52.
  • the output processing unit 50 is configured to be capable of executing output processing for outputting a display signal toward the display panel 28.
  • the output processing unit 50 includes a partial image generation unit 54, an addition processing unit 56, an image synthesis unit 58, and a signal generation unit 60.
  • the addition processing unit 56 is a functional unit whose presence can be selected.
  • the output processing unit 52 is configured to be capable of executing output processing for outputting a data signal to the host processor 22.
  • the output processing unit 52 includes a storage unit 62 and an addition processing unit 64.
  • the addition processing unit 64 is a functional unit whose presence can be selected.
  • FIG. 4 is a connection configuration diagram of the input system 10B in the second embodiment.
  • the input system 10B in the second embodiment further includes a physical switch 66 (switch unit) having one input terminal and two output terminals.
  • the sensor controller 18, the display controller 20, the host processor 22, and the physical switch 66 are physically connected by the signal lines L4 to L8.
  • the sensor controller 18 is connected to the input terminal of the physical switch 66 via the signal line L4.
  • One output terminal of the physical switch 66 is connected to the host processor 22 via the signal line L5.
  • the host processor 22 is connected to the display controller 20 via a signal line L6.
  • the other output terminal of the physical switch 66 is connected to the display controller 20 via a signal line L7.
  • the signal line L8 is a signal line for the host processor 22 to supply a switch signal to the physical switch 66.
  • the signal lines L4, L5, and L7 are signal lines compatible with USB
  • the signal line L6 is a signal line compatible with LVDS.
  • the signal lines L4, L5, L6 form a first signal path SP1 for transmitting a signal from the sensor controller 18 to the display controller 20 via the host processor 22.
  • the signal lines L4 and L7 form a second signal path SP2 for transmitting a signal from the sensor controller 18 to the display controller 20 without passing through the host processor 22.
  • FIG. 5 is a functional block diagram corresponding to FIG.
  • the sensor controller 18 functions as the position detection unit 40.
  • the host processor 22 functions as a mode control unit 44 and a data processing unit 46.
  • the display controller 20 functions as two types of output processing units 50 and 52.
  • the sensor controller 18 lacks the function of the output selection unit 42 (see FIG. 3), but the physical switch 66 is provided on the output side of the sensor controller 18. That is, the input system 10A has a configuration different from that of the input system 10A of the first embodiment.
  • FIG. 6 is a connection configuration diagram of the input system 10C in the third embodiment.
  • the display controller 20 in the third embodiment is logically connected to the sensor controller 18, and is configured to be able to switch whether to supply the data signal from the sensor controller 18 to the host processor 22 by pass-through transmission.
  • the sensor controller 18, the display controller 20, and the host processor 22 are physically connected by the signal lines L9 to L11.
  • the sensor controller 18 is connected to the display controller 20 via a signal line L9.
  • the display controller 20 is connected to the host processor 22 via a signal line L10.
  • the host processor 22 is connected to the display controller 20 via a signal line L11.
  • the signal lines L9 and L10 are signal lines compatible with USB
  • the signal line L11 is a signal line compatible with LVDS.
  • the signal lines L9, L10, L11 form a first signal path SP1 for transmitting a signal from the sensor controller 18 to the display controller 20 via the host processor 22.
  • the signal line L9 constitutes a second signal path SP2 for transmitting a signal from the sensor controller 18 to the display controller 20 without passing through the host processor 22.
  • FIG. 7 is a functional block diagram corresponding to FIG.
  • the sensor controller 18 functions as the position detection unit 40.
  • the host processor 22 functions as a mode control unit 44 and a data processing unit 46.
  • the display controller 20 functions as two types of output processing units 50 and 52 and a logic switch 68.
  • the sensor controller 18 in the input system 10C, the sensor controller 18 lacks the function of the output selection unit 42 (see FIG. 3), but the sensor controller 18 has the function of the logical switch 68. Then, it has a different configuration from the input system 10A of the first embodiment.
  • the input system 10 in each embodiment is configured as described above. Next, the operation of the input system 10 will be described with reference to FIGS. 8 to 13.
  • the mode control unit 44 of the host processor 22 switches between a "first output mode” in which signal processing is performed using the first signal path SP1 and a "second output mode” in which signal processing is performed using the second signal path SP2. To execute.
  • the function of the mode control unit 44 is provided in the host processor 22, but instead, the function may be provided in the sensor controller 18 or the display controller 20. Good.
  • FIG. 8 is a sequence diagram when the first output mode is executed. This figure shows the operations of the sensor controller 18, the host processor 22, and the display controller 20 in order from left to right.
  • step S01 the host processor 22 outputs a signal (hereinafter, also referred to as a request signal) for requesting the writing data including the designated position of the stylus 16 to the sensor controller 18.
  • a request signal a signal for requesting the writing data including the designated position of the stylus 16 to the sensor controller 18.
  • step S02 the position detection unit 40 of the sensor controller 18 receives the request signal supplied in step S01, and then controls the drive of the sensor electrode 30 in order to detect the position currently designated by the user. Accordingly, the sensor controller 18 acquires the position on the sensor coordinate system defined in the display area R of the display panel 28.
  • step S03 the sensor controller 18 outputs a data signal including the designated position detected in step S02 to the host processor 22.
  • the output selection unit 42 of the sensor controller 18 switches the output destination of the data signal to the host processor 22.
  • the output terminal of the physical switch 66 is switched to the host processor 22 in advance.
  • the logic switch 68 of the display controller 20 is turned on.
  • this data signal may include various kinds of information such as information regarding the writing state of the stylus 16 (hereinafter referred to as writing information) and meta information regarding writing by the user.
  • writing information examples include the current designated position, writing pressure, and pen inclination.
  • meta information examples include a pen ID, a data attribute, a creator, a creation date and time, and the like.
  • step S04 the data processing unit 46 of the host processor 22 acquires the writing data including the designated position from the data signal supplied in step S3, and interpolates the trajectory curve 80 using the obtained current designated position. Perform processing.
  • this interpolation processing will be described in detail with reference to FIG.
  • FIG. 9 is a diagram schematically showing an example of interpolation processing. More specifically, FIG. 9A shows the shape of the trajectory curve 80 before the interpolation processing, and FIG. 9B shows the shape of the trajectory curve 80 after the interpolation processing.
  • the XY coordinate system corresponds to the “sensor coordinate system” for specifying the detection position of the sensor electrode 30, that is, the designated position on the display panel 28.
  • the locus curve 80 shown in FIG. 9A is a curve in which discrete points P1, P2, and P3, which are past designated positions, are sequentially connected. For example, assume that a discrete point P4, which is the current designated position, is added next to the discrete point P3, which is the previously designated position.
  • the data processing unit 46 performs an interpolation process that continuously connects the discrete points P3 and P4 using various methods including linear interpolation and spline interpolation.
  • FIG. 9B a new locus curve 80 is formed by combining the original locus curve 82 passing through the discrete points P1, P2, P3 and the interpolation curve 84 passing through the discrete points P3, P4. ..
  • the data processing unit 46 displays a stroke image indicating a set of strokes 90 (see FIG. 10B) formed by the above-described interpolation processing, and a non-written image excluding the stroke image (for example, application window, widget, An image signal for each frame is generated by synthesizing a cursor, an icon, etc.).
  • step S05 of FIG. 8 the host processor 22 outputs the image signal generated in step S04 to the display controller 20.
  • step S06 the output processing unit 50 (more specifically, the signal generation unit 60) of the display controller 20 generates a display signal for driving and controlling the display panel 28 using the image signal supplied in step S05. ..
  • the signal generation unit 60 In the first output mode, the signal generation unit 60 generates a display signal using the image signal that has passed through the image synthesis unit 58 as it is.
  • step S07 the output processing unit 50 outputs the display signal generated in step S06 to the display panel 28.
  • the entire image including the stroke image is displayed in the display area R of the display panel 28.
  • the input system 10 sequentially repeats steps S01 to S07 at intervals of one frame.
  • FIG. 10 is a transition diagram of a display image accompanying the operation of the stylus 16. More specifically, FIG. 10A shows the stylus 16 in a stationary state, and FIG. 10B shows the stylus 16 in a moving state.
  • a cursor 88 is displayed in the display area R at a position corresponding to the pen tip 86.
  • the user moves the stylus 16 while pressing the pen tip 86 against the touch surface of the electronic device 14.
  • the image or video is sequentially updated by following the pen tip 86 of the stylus 16.
  • the cursor 88 moves along the movement path of the stylus 16 and the stroke 90 corresponding to the locus of the designated position appears to extend.
  • step S08 of FIG. 8 the data processing unit 46 of the host processor 22 performs various processes on the writing data sequentially acquired from the sensor controller 18 when a predetermined processing timing is reached. Examples of this process include a process of generating digital ink and a process of transmitting data via the communication module 26. In this way, the input system 10 ends the operation according to the first output mode.
  • FIG. 11 is a sequence diagram when the second output mode is executed. Similar to FIG. 8, this figure shows the operations of the sensor controller 18, the host processor 22, and the display controller 20 in order from the left to the right.
  • step S11 the host processor 22 accepts a command signal indicating that the first output mode is to be switched to the second output mode.
  • the generation trigger of this command signal will be described later.
  • step S12 the host processor 22 outputs a flag signal indicating the start of execution of the second output mode to each unit involved in the operation of the second output mode.
  • the output destination of the flag signal is the sensor controller 18 and the display controller 20.
  • the output destination of the flag signal is the display controller 20 and the physical switch 66.
  • the output destination of the flag signal is the display controller 20.
  • step S13 the data processing unit 46 of the host processor 22 generates an image signal indicating the entire image Iorg (FIG. 12) in frame units, and outputs the image signal to the display controller 20. It should be noted that when the handwriting input is performed until immediately before the switching to the second output mode, the data processing unit 46 generates the image signal using the last updated stroke image.
  • step S14 the host processor 22 outputs a request signal for requesting the writing data including the designated position of the stylus 16 to the sensor controller 18. This operation is similar to step S01 in FIG.
  • step S15 the position detection unit 40 of the sensor controller 18 receives the request signal supplied in step S14, and then performs an operation for detecting the position currently designated by the user. This operation is the same as step S02 in FIG.
  • step S16 the sensor controller 18 outputs a data signal including the current designated position detected in step S15 to the display controller 20.
  • the output selection unit 42 of the sensor controller 18 switches the output destination of the data signal to the display controller 20.
  • the output terminal of the physical switch 66 is switched to the display controller 20.
  • the logic switch 68 of the display controller 20 is switched to “off”.
  • the sensor controller 18 can selectively output the data signal generated by itself to the display controller 20.
  • this data signal may include the same type of information as in the case of the first output mode (for example, the above-described writing information or meta information), or may include different types of information.
  • step S17 the output processing unit 50 (more specifically, the partial image generation unit 54) of the display controller 20 acquires the writing data including the designated position from the data signal supplied in step S16, and obtains the current instruction. The position is used to generate a partial image Ipar.
  • this generation method will be described in detail with reference to FIG.
  • FIG. 12 is a detailed functional block diagram of the partial image generation unit 54 shown in FIGS. 3, 5, and 7.
  • the partial image generation unit 54 includes an interpolator 92 that performs an interpolation process and a combiner 94 that combines a plurality of small images.
  • the interpolator 92 generates a small image (hereinafter referred to as a difference image Isub) showing an interpolation curve between two points by continuously connecting two discrete points using a time series of designated positions.
  • the difference image Isub means a difference between stroke images, and in the example of FIG. 9B, corresponds to an image showing the interpolation curve 84 passing through the discrete points P3 and P4.
  • the combiner 94 sequentially combines the difference images Isub supplied from the interpolator 92 to generate a medium image (hereinafter, referred to as a partial image Ipar) showing a set of interpolation curves.
  • this partial image Ipar corresponds to an image showing the locus curve 80 after connecting all the discrete points P1 to P4.
  • the generated partial image Ipar is supplied to the image combining unit 58 and fed back to the combiner 94.
  • the partial image generating unit 54 generates the partial image Ipar including at least the current designated position, and outputs this partial image Ipar to the image combining unit 58 (step S17).
  • the output processing unit 50 (more specifically, the image combining unit 58) combines the entire image Iorg supplied in step S13 and the partial image Ipar generated in step S17. Specifically, the image synthesizing unit 58 replaces the image in the corresponding region of the entire image Iorg supplied once or sequentially from the host processor 22 with the partial image Ipar to generate the processed image Iprc. (See Figure 12). Alternatively, the image synthesizing unit 58 may generate the processed image Iprc by performing a padding process for filling the remaining display area with respect to the partial image Ipar, instead of using the entire image Iorg.
  • step S19 the display controller 20 generates a display signal from the image signal indicating the processed image Iprc combined in step S18, and outputs the obtained display signal to the display panel 28.
  • This operation is similar to steps S06 and 07 in FIG.
  • the processed image Iprc including the stroke image is displayed in the display area R of the display panel 28.
  • the input system 10 sequentially repeats steps S13 to S19 at intervals of one frame.
  • the display controller 20 stores the image signal for one frame, and thus the step S13 from the second time can be omitted.
  • FIG. 13 is a diagram comparing the writing followability with respect to the high speed movement of the stylus 16. More specifically, FIG. 13A shows a display image when the first output mode is executed, and FIG. 13B shows a display image when the second output mode is executed.
  • the position of the cursor 88 shifts rearward with respect to the pen tip 86 as the stylus 16 moves at high speed, and the head position of the stroke 90 moves relative to the cursor 88. And move further back. As a result, the user who uses the stylus 16 may feel uncomfortable with the mismatch of the designated positions.
  • the former displacement can occur due to the difference in response time corresponding to the frame interval.
  • the latter positional deviation is caused when the images of the cursor 88 and the stroke 90 are respectively created by using different designated positions with different acquisition timings due to hardware restrictions including data processing and signal transmission. Are listed.
  • a new stroke 98 in which a line segment 96 is added to the beginning of the original stroke 90 is formed as the stylus 16 moves at high speed. That is, although the positional deviation between the pen tip 86 and the cursor 88 remains, the positional deviation between the cursor 88 and the stroke 98 is almost eliminated. As a result, the user's discomfort due to the mismatch of the designated positions is alleviated, and the usability is improved accordingly.
  • step S20 of FIG. 11 the host processor 22 accepts a command signal to the effect of shifting from the second output mode to the first output mode.
  • the generation trigger of this command signal will be described later.
  • step S21 the host processor 22 outputs a flag signal indicating the start of execution of the first output mode to each unit involved in the operation of the first output mode.
  • the output destination of the flag signal is the sensor controller 18 and the display controller 20.
  • the output destination of the flag signal is the display controller 20 and the physical switch 66.
  • the output destination of the flag signal is the display controller 20.
  • step S22 the output processing unit 52 of the display controller 20 reads out the data temporarily stored in the storage unit 62 and collectively outputs the data signal including the time series of the designated position to the host processor 22. ..
  • step S23 the data processing unit 46 of the host processor 22 acquires a set of writing data from the data signal supplied in step S22, and performs various processes on the writing data. For example, the data processing unit 46 merges the writing data already obtained in the first output mode with the writing data newly obtained in the second output mode, and then performs a digital ink generation process and a data transmission process. May be. In this way, the input system 10 ends the operation according to the second output mode.
  • the input system 10 is a system using the touch panel display 12 in which the sensor electrode 30 for detecting the position designated by the user is provided in the display region R of the display panel 28, and the detection result of the sensor electrode 30 is used.
  • a sensor controller 18 that acquires a designated position in the display area R based on the host controller 22 that processes a data signal including the acquired designated position, and a display signal that indicates an image or a video is output to the display panel 28.
  • the second signal path SP2 and the switch section (the output selection section 42, the physical switch 66, the logical switch 68) configured to be able to switch between the first signal path SP1 and the second signal path SP2.
  • the switch unit capable of switching between the first signal path SP1 and the second signal path SP2 since the switch unit capable of switching between the first signal path SP1 and the second signal path SP2 is provided, the data processing that does not pass through the host processor 22 can be executed at a proper time by selecting the second signal path SP2, and The particular inconvenience caused by the data processing of the processor 22 is improved.
  • the mode control unit 44 may switch and execute the first output mode in which the switch section selects the first signal path SP1 and the second output mode in which the switch section selects the second signal path SP2. ..
  • the display controller 20 generates a display signal using the signal that has passed through the first signal path SP1 and outputs the display signal to the display panel 28.
  • the display controller 20 performs a predetermined process on the data signal that has passed through the second signal path SP2, and then outputs the processed display signal to the display panel 28.
  • the host processor 22 outputs an image signal indicating the entire image Iorg corresponding to the display area R to the display controller 20, and the display controller 20 passes through the second signal path SP2.
  • the designated position is sequentially acquired from the data signal, the processed image Iprc in which at least the portion including the current designated position in the entire image Iorg is changed is generated, and the display signal indicating the processed image Iprc is directed to the display panel 28. You may output.
  • a predetermined process for changing only the portion including the current designated position may be added to the first output mode, and an excessive increase in the processing load of the display controller 20 is suppressed by that amount.
  • the display controller 20 generates the partial image Ipar including the stroke 98 (the locus of the designated position) from the time series of the data signal that has passed through the second signal path SP2, and synthesizes the entire image Iorg and the partial image Ipar.
  • the processed image Iprc may be generated. It suffices to add a predetermined process for generating the stroke 98 and synthesizing the image to the first output mode, and an excessive increase in the processing load of the display controller 20 is suppressed by that amount.
  • the mode control unit 44 of the host processor 22 may accept an instruction signal generated by a user operation as a trigger (steps S11 and S20 in FIG. 11). This allows the user to recognize the state of the output mode through his/her operation.
  • first operation the operation for changing from the first output mode to the second output mode
  • second operation the operation for changing from the second output mode to the first output mode
  • the second operation is the same as or different from the first operation.
  • first operation and the second operation may be hardware operations or software operations.
  • the hardware operation includes a pressing operation of a hardware button (so-called function switch) included in the electronic device 14 or the stylus 16, or a pen-down operation/pen-up operation of the stylus 16.
  • the pen-down operation/pen-up operation is detected by a writing pressure sensor (not shown) provided on the pen tip 86.
  • the software operation includes a specific operation that causes a state transition of an application running on the host processor 22, for example, an operation of a user control on the display screen and an operation of opening/switching an application window.
  • the first operation may be a pen down operation of the stylus 16 and the second operation may be a pen up operation corresponding to the pen up operation.
  • the output mode can be switched in a timely manner each time a series of stroke operations are performed.
  • the mode control unit 44 may prohibit switching from the first output mode to the second output mode while accepting the first operation while the contact state of the stylus 16 is detected. In addition to this, or separately from this, the mode control unit 44 switches from the second output mode to the first output mode while accepting the second operation while the contact state of the stylus 16 is detected. Switching may be prohibited. This prevents a set of writing data indicating one stroke 90 from being transmitted separately to the host processor 22 and the display controller 20.
  • the mode control unit 44 may switch and execute the first output mode and the second output mode according to the state of the application executed by the host processor 22. Thereby, the output mode can be switched in a timely manner in cooperation with the application.
  • the output processing unit 50 (more specifically, the additional processing unit 56) may perform additional processing for protecting the visible information.
  • the operation of step S24 described below may be added between steps S17 and S18 of FIG.
  • step S24 the additional processing unit 56 performs additional processing for protecting visible information on the partial image Ipar obtained in step S17.
  • additional processing include concealment processing, desharpening processing, and information addition processing.
  • the content 100 showing the user's signature is displayed.
  • the name and the handwriting of the signature are a kind of personal information, and the personal information may be specified from the content of the signed electronic document. Therefore, the display mode of the content 100 may be changed over time during or after the signing.
  • a mask area 102 appears from the left side of the content 100 after a predetermined time (for example, 10 seconds) has passed from the end of the signature, and a part of the content 100 is hidden.
  • the mask area 102 expands as time passes, and finally, as shown in FIG. 14C, the mask area 102 hides the entire content 100.
  • the visibility of all or part of the content 100 may be reduced by performing a desharpening process on the desharpened region 104.
  • various processes that provide a visual effect that relatively lowers the visibility of the user may be used.
  • the display controller 20 generates the partial image Ipar in which the content 100 (the locus of the designated position) indicated by the time series of the data signal that has passed through the second signal path SP2 is concealed or unsharpened, and the entire image Iorg.
  • the processed image Iprc in which at least part of the content is hidden or sharpened may be generated by synthesizing the partial image Ipar with. As a result, the visibility of the partial image Ipar can be suppressed, and it is possible to prevent information leakage due to a sneak peek of a third party.
  • a character string composed of “This is a pencil.” and a content 106 including a picture of a pencil are displayed.
  • This content 106 may include content with high confidentiality or copyright (hereinafter, specific content 108). Therefore, a copyright mark 112 that clearly indicates the existence of copyright may be displayed at a position in the designated area 110 designated by the user and near the specific content 108. Further, instead of the copyright mark 112, a confidential mark for generating a confidentiality obligation may be displayed.
  • the display controller 20 has information (eg, copyright) indicating confidentiality or copyright near the specific content 108 (the locus of the designated position) indicated by the time series of the data signal passing through the second signal path SP2.
  • information eg, copyright
  • the processed image Iprc in which the information is added to at least a part of the content may be generated. ..
  • the effect of suppressing information leakage to a third party who has seen the partial image Ipar is obtained.
  • the display controller 20 sequentially acquires the writing data including the writing information regarding the writing state of the stylus 16 and the meta information regarding the writing of the user from the data signal that has passed through the second signal path SP2 during the execution of the second output mode.
  • a data signal including a time series of writing data that has been subjected to a predetermined process may be output to the host processor.
  • the output processing unit 52 (more specifically, the additional processing unit 56) performs additional processing for protecting the data.
  • the operation of step S25 described below may be added between steps S21 and S22 of FIG.
  • step S25 the additional processing unit 64 reads the data temporarily stored in the storage unit 62 and performs additional processing for protecting the data.
  • additional processing include irreversible processing, addition processing, and encryption processing.
  • irreversible processing means processing to irreversibly delete at least one of the writing information and the meta information.
  • irreversible processing include deletion of pen ID, deletion of writing pressure, thinning/smoothing of data sequence, concealment of writing order, deshaping of strokes, rasterization, and addition of redundant information.
  • granting process means a granting process of adding information indicating confidentiality or copyright to the time series of the writing data. Examples of the adding process include adding a tag and embedding visible information including a mark.
  • encryption processing can be performed using various methods including public key methods, encryption key methods, and common key methods.
  • public key methods public key methods
  • encryption key methods public key methods
  • common key methods common key methods
  • FIG. 16 is an overall configuration diagram of a signature verification system 120 incorporating the input system 10 shown in FIG.
  • the signature verification system 120 includes a verification server 122 in addition to the electronic device 14 and the stylus 16.
  • a card reader 126 capable of reading the credit card 124 is connected to the electronic device 14. Further, the electronic device 14 can bidirectionally communicate with the verification server 122 via the relay device 128 and the network NW.
  • the electronic device 14 After acquiring the encryption key Ken stored in the credit card 124 through the card reader 126, the electronic device 14 temporarily stores the encryption key Ken in the memory 24.
  • the host processor 22 reads the encryption key Ken at a desired processing timing, performs encryption processing on the written data, and then outputs the obtained encrypted data D1 to the host processor 22.
  • the host processor 22 performs a process of transmitting the encrypted data D1 to the verification server 122 via the communication module 26.
  • the verification server 122 uses the decryption key Kde corresponding to the encryption key Ken to perform decryption processing on the encrypted data D1 from the electronic device 14. As a result, the verification server 122 can acquire the signature data D2 indicating the user's signature and verify the validity of the signature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Technology Law (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

ホストプロセッサのデータ処理に起因して発生する特定の不都合を改善可能な入力システムを提供する。入力システム（１０，１０Ａ，１０Ｂ，１０Ｃ）は、センサコントローラ（１８）からホストプロセッサ（２２）を経由して表示コントローラ（２０）に信号を伝送する第１信号経路（ＳＰ１）と、センサコントローラ（１８）からホストプロセッサ（２２）を経由せずに表示コントローラ（２０）に信号を伝送する第２信号経路（ＳＰ２）と、第１信号経路（ＳＰ１）及び第２信号経路（ＳＰ２）を切り替え可能に構成されるスイッチ部（４２，６６，６８）と、を備える。

Description

入力システム
　本発明は、タッチパネルディスプレイを用いた入力システムに関する。
　特許文献１には、タッチパネルディスプレイを備える電子機器と、外部サーバとの間でＴＬＳ（Transport Layer Security）接続を確立し、秘匿情報を含むデータをセキュアに通信する方法が開示されている。
特開２０１８－０３８０３６号公報
　ところが、電子機器のホストプロセッサが、タッチパネルディスプレイからの入力データに対して処理を行う際に、ホストプロセッサを経由することに起因する、何らかの技術上又は運用上の不都合が生じる場合がある。
　本発明の目的は、ホストプロセッサのデータ処理に起因して発生する特定の不都合を改善可能な入力システムを提供することである。
　第１の本発明における入力システムは、ユーザによる指示位置を検出するセンサ電極を表示パネルの表示領域に設けてなるタッチパネルディスプレイを用いたシステムであって、前記センサ電極の検出結果に基づいて前記表示領域内の指示位置を取得するセンサコントローラと、前記センサコントローラにより取得された前記指示位置を含むデータ信号を処理するホストプロセッサと、画像又は映像を示す表示信号を前記表示パネルに向けて出力する表示コントローラと、前記センサコントローラから前記ホストプロセッサを経由して前記表示コントローラに信号を伝送する第１信号経路と、前記センサコントローラから前記ホストプロセッサを経由せずに前記表示コントローラに信号を伝送する第２信号経路と、前記第１信号経路及び前記第２信号経路を切り替え可能に構成されるスイッチ部と、を備える。
　第２の本発明における入力システムは、ユーザによる指示位置を検出するセンサ電極を表示パネルの表示領域に設けてなるタッチパネルディスプレイを用いたシステムであって、前記指示位置を含むデータ信号を処理するホストプロセッサと、前記ホストプロセッサに接続され、かつ画像又は映像を示す表示信号を前記表示パネルに向けて出力する表示コントローラと、前記センサ電極の検出結果に基づいて前記表示領域内の指示位置を取得するセンサコントローラと、を備え、前記センサコントローラは、前記ホストプロセッサに物理的又は論理的に接続されているとともに、前記表示コントローラに物理的に接続されている。
　本発明における入力システムによれば、ホストプロセッサのデータ処理に起因して発生する特定の不都合が改善される。
本発明の各実施形態に共通する入力システムの全体構成図である。 第１実施形態における入力システムの接続構成図である。 図２に対応する機能ブロック図である。 第２実施形態における入力システムの接続構成図である。 図４に対応する機能ブロック図である。 第３実施形態における入力システムの接続構成図である。 図６に対応する機能ブロック図である。 第１出力モードの実行時におけるシーケンス図である。 補間処理の一例を示す図である。 スタイラスの操作に伴う表示画像の遷移図である。 第２出力モードの実行時におけるシーケンス図である。 図３，図５，図７に示す部分画像生成部の詳細な機能ブロック図である。 スタイラスの高速移動に対する書き込み追従性を比較する図である。 追加処理による効果の一例を示す図である。 追加処理による効果の一例を示す図である。 図１に示す入力システムが組み込まれたサイン検証システムの全体構成図である。
　以下、本発明における入力システムについて、添付の図面を参照しながら説明する。なお、本発明は、後述する実施形態及び変形例に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
［入力システム１０の構成］
＜全体構成＞
　図１は、本発明の各実施形態に共通する入力システム１０の全体構成図である。入力システム１０は、タッチパネルディスプレイ１２を有する電子機器１４と、ペン型のポインティングデバイスであるスタイラス１６と、から基本的に構成される。
　電子機器１４は、例えば、タブレット型端末、スマートフォン、パーソナルコンピュータで構成される。スタイラス１６は、電子機器１４との間で一方向又は双方向に通信可能に構成されている。ユーザは、スタイラス１６を片手で把持し、タッチパネルディスプレイ１２のタッチ面にペン先を押し当てながら移動させることで、電子機器１４に絵や文字を書き込むことができる。
　電子機器１４は、タッチパネルディスプレイ１２の他に、センサコントローラ１８と、表示コントローラ２０と、ホストプロセッサ２２と、メモリ２４と、通信モジュール２６と、を含んで構成される。
　タッチパネルディスプレイ１２は、コンテンツを可視的に表示可能な表示パネル２８と、表示パネル２８の上方に配置されるセンサ電極３０と、を含んで構成される。表示パネル２８は、モノクロ画像又はカラー画像を表示可能であり、例えば、液晶パネル、有機ＥＬ（Electro-Luminescence）パネルであってもよい。センサ電極３０は、センサ座標系のＸ軸の位置を検出するための複数のＸライン電極と、Ｙ軸の位置を検出するための複数のＹライン電極と、を備える。
　センサコントローラ１８は、センサ電極３０の駆動制御を行う集積回路である。センサコントローラ１８は、ホストプロセッサ２２から供給された制御信号に基づいてセンサ電極３０を駆動する。これにより、センサコントローラ１８は、スタイラス１６の状態を検出する「ペン検出機能」や、ユーザの指などによるタッチを検出する「タッチ検出機能」を実行する。
　このペン検出機能は、例えば、センサ電極３０のスキャン機能、ダウンリンク信号の受信・解析機能、スタイラス１６の状態（例えば、位置、姿勢、筆圧）の推定機能、スタイラス１６に対する指令を含むアップリンク信号の生成・送信機能を含む。また、タッチ検出機能は、例えば、センサ電極３０の二次元スキャン機能、センサ電極３０上の検出マップの取得機能、検出マップ上の領域分類機能（例えば、指、手の平などの分類）を含む。
　表示コントローラ２０は、表示パネル２８の駆動制御を行う集積回路である。表示コントローラ２０は、ホストプロセッサ２２から供給されたフレーム単位の画像信号に基づいて表示パネル２８を駆動する。これにより、表示パネル２８の表示領域Ｒ内に画像又は映像が表示される。この画像又は映像には、アプリケーションウィンドウ、アイコン、カーソルの他にも、ユーザがスタイラス１６を用いて書き込んだ筆記線が含まれ得る。
　このように、スタイラス１６及びセンサ電極３０による入力機能と、表示パネル２８による出力機能を組み合わせることで、ユーザ・インターフェース（以下、ＵＩ部３２）が構築される。
　ホストプロセッサ２２は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む処理演算装置によって構成される。ホストプロセッサ２２は、メモリ２４に格納されたプログラムを読み出して実行することで、デジタルインクの生成、画像信号の作成、データの送受信制御を含む様々な機能を実行可能である。
　後述するように、この入力システム１０は、センサコントローラ１８が、ホストプロセッサ２２に物理的又は論理的に接続されているとともに、表示コントローラ２０に物理的に接続されている点において技術的な特徴を有する。
　メモリ２４は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）を含む記憶装置、あるいは、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、フラッシュメモリ等の可搬媒体である。
　通信モジュール２６は、有線通信又は無線通信により、外部装置に対して電気信号を送受信可能に構成される。これにより、電子機器１４は、例えば、検証サーバ１２２（図１６）との間で様々なデータのやり取りが可能となる。
　続いて、図１における入力システム１０の第１～第３実施形態について、図２～図７を参照しながら説明する。いずれの図も、主要部であるセンサコントローラ１８、表示コントローラ２０、ホストプロセッサ２２、表示パネル２８及びセンサ電極３０のみが図示され、他の構成要素が省略されている点に留意する。
＜第１実施形態＞
　図２は、第１実施形態における入力システム１０Ａの接続構成図である。第１実施形態におけるセンサコントローラ１８は、表示コントローラ２０と物理的に接続され、かつデータ信号の出力先をホストプロセッサ２２又は表示コントローラ２０のいずれか一方に切り替え可能に構成される。
　具体的には、センサコントローラ１８、表示コントローラ２０及びホストプロセッサ２２が、信号線Ｌ１～Ｌ３によって物理的に接続されている。センサコントローラ１８は、信号線Ｌ１を介してホストプロセッサ２２に接続されている。ホストプロセッサ２２は、信号線Ｌ２を介して表示コントローラ２０に接続されている。センサコントローラ１８は、信号線Ｌ３を介して表示コントローラ２０に接続されている。例えば、信号線Ｌ１，Ｌ３はＵＳＢ（Universal Serial Bus）に対応可能な信号線であり、信号線Ｌ２はＬＶＤＳ（Low Voltage Differential Signaling）に対応可能な信号線である。
　つまり、信号線Ｌ１，Ｌ２は、センサコントローラ１８からホストプロセッサ２２を経由して表示コントローラ２０に信号を伝送する第１信号経路ＳＰ１を構成する。一方、信号線Ｌ３は、センサコントローラ１８からホストプロセッサ２２を経由せずに表示コントローラ２０に信号を伝送する第２信号経路ＳＰ２を構成する。
　図３は、図２に対応する機能ブロック図である。センサコントローラ１８は、位置検出部４０と、出力選択部４２（スイッチ部）として機能する。ホストプロセッサ２２は、モード制御部４４と、データ処理部４６として機能する。表示コントローラ２０は、２種類の出力処理部５０，５２として機能する。
　出力処理部５０は、表示パネル２８に向けて表示信号を出力するための出力処理を実行可能に構成される。具体的には、出力処理部５０は、部分画像生成部５４と、追加処理部５６と、画像合成部５８と、信号生成部６０と、を含んで構成される。なお、追加処理部５６は、その有無が選択可能な機能部である。
　出力処理部５２は、ホストプロセッサ２２に向けてデータ信号を出力するための出力処理を実行可能に構成される。具体的には、出力処理部５２は、記憶部６２と、追加処理部６４と、を含んで構成される。なお、追加処理部６４は、その有無が選択可能な機能部である。
＜第２実施形態＞
　図４は、第２実施形態における入力システム１０Ｂの接続構成図である。第２実施形態における入力システム１０Ｂは、１つの入力端子及び２つの出力端子を有する物理スイッチ６６（スイッチ部）をさらに備える。
　具体的には、センサコントローラ１８、表示コントローラ２０、ホストプロセッサ２２及び物理スイッチ６６が、信号線Ｌ４～Ｌ８によって物理的に接続されている。センサコントローラ１８は、信号線Ｌ４を介して物理スイッチ６６の入力端子に接続されている。物理スイッチ６６の一方の出力端子は、信号線Ｌ５を介してホストプロセッサ２２に接続されている。ホストプロセッサ２２は、信号線Ｌ６を介して表示コントローラ２０に接続されている。物理スイッチ６６の他方の出力端子は、信号線Ｌ７を介して表示コントローラ２０に接続されている。なお、信号線Ｌ８は、ホストプロセッサ２２が、物理スイッチ６６に対してスイッチ信号を供給するための信号線である。例えば、信号線Ｌ４，Ｌ５，Ｌ７はＵＳＢに対応可能な信号線であり、信号線Ｌ６はＬＶＤＳに対応可能な信号線である。
　つまり、信号線Ｌ４，Ｌ５，Ｌ６は、センサコントローラ１８からホストプロセッサ２２を経由して表示コントローラ２０に信号を伝送する第１信号経路ＳＰ１を構成する。一方、信号線Ｌ４，Ｌ７は、センサコントローラ１８からホストプロセッサ２２を経由せずに表示コントローラ２０に信号を伝送する第２信号経路ＳＰ２を構成する。
　図５は、図４に対応する機能ブロック図である。センサコントローラ１８は、位置検出部４０として機能する。ホストプロセッサ２２は、モード制御部４４と、データ処理部４６として機能する。表示コントローラ２０は、２種類の出力処理部５０，５２として機能する。図３及び図５から理解されるように、この入力システム１０Ｂは、センサコントローラ１８が出力選択部４２（図３参照）の機能を欠く代わりに、センサコントローラ１８の出力側に物理スイッチ６６が設けられている点で、第１実施形態の入力システム１０Ａとは異なる構成を有する。
＜第３実施形態＞
　図６は、第３実施形態における入力システム１０Ｃの接続構成図である。第３実施形態における表示コントローラ２０は、センサコントローラ１８に論理的に接続され、かつセンサコントローラ１８からのデータ信号をパススルー伝送によってホストプロセッサ２２に供給するか否かを切り替え可能に構成される。
　具体的には、センサコントローラ１８、表示コントローラ２０及びホストプロセッサ２２が、信号線Ｌ９～Ｌ１１によって物理的に接続されている。センサコントローラ１８は、信号線Ｌ９を介して表示コントローラ２０に接続されている。表示コントローラ２０は、信号線Ｌ１０を介してホストプロセッサ２２に接続されている。ホストプロセッサ２２は、信号線Ｌ１１を介して表示コントローラ２０に接続されている。例えば、信号線Ｌ９，Ｌ１０はＵＳＢに対応可能な信号線であり、信号線Ｌ１１はＬＶＤＳに対応可能な信号線である。
　つまり、信号線Ｌ９，Ｌ１０，Ｌ１１は、センサコントローラ１８からホストプロセッサ２２を経由して表示コントローラ２０に信号を伝送する第１信号経路ＳＰ１を構成する。一方、信号線Ｌ９は、センサコントローラ１８からホストプロセッサ２２を経由せずに表示コントローラ２０に信号を伝送する第２信号経路ＳＰ２を構成する。
　図７は、図６に対応する機能ブロック図である。センサコントローラ１８は、位置検出部４０として機能する。ホストプロセッサ２２は、モード制御部４４と、データ処理部４６として機能する。表示コントローラ２０は、２種類の出力処理部５０，５２と、論理スイッチ６８として機能する。図３及び図７から理解されるように、この入力システム１０Ｃは、センサコントローラ１８が出力選択部４２（図３参照）の機能を欠く代わりに、センサコントローラ１８が論理スイッチ６８の機能を備える点で、第１実施形態の入力システム１０Ａとは異なる構成を有する。
［入力システム１０の動作］
　各実施形態における入力システム１０は、以上のように構成される。続いて、入力システム１０の動作について、図８～図１３を参照しながら説明する。ホストプロセッサ２２のモード制御部４４は、第１信号経路ＳＰ１を用いて信号処理を行う「第１出力モード」と、第２信号経路ＳＰ２を用いて信号処理を行う「第２出力モード」を切り替えて実行する。
　なお、上記した入力システム１０Ａ，１０Ｂ，１０Ｃはいずれも、ホストプロセッサ２２にモード制御部４４の機能を設けているが、これに代えて、センサコントローラ１８又は表示コントローラ２０に当該機能を設けてもよい。
＜第１出力モード＞
　図８は、第１出力モードの実行時におけるシーケンス図である。本図は、左から右にわたって順に、センサコントローラ１８、ホストプロセッサ２２及び表示コントローラ２０の動作を示している。
　ステップＳ０１において、ホストプロセッサ２２は、スタイラス１６の指示位置を含む筆記データを要求するための信号（以下、要求信号ともいう）をセンサコントローラ１８に向けて出力する。
　ステップＳ０２において、センサコントローラ１８の位置検出部４０は、ステップＳ０１で供給された要求信号を受け付けた後、ユーザによる現在の指示位置を検出するため、センサ電極３０の駆動制御を行う。これにより、センサコントローラ１８は、表示パネル２８の表示領域Ｒ内に定義されるセンサ座標系上の位置を取得する。
　ステップＳ０３において、センサコントローラ１８は、ステップＳ０２で検出された指示位置を含むデータ信号をホストプロセッサ２２に向けて出力する。この出力に先立ち、例えば、図２，図３の入力システム１０Ａの場合、センサコントローラ１８の出力選択部４２は、データ信号の出力先をホストプロセッサ２２に切り替えておく。また、図４，図５の入力システム１０Ｂの場合、物理スイッチ６６の出力端子をホストプロセッサ２２に切り替えておく。また、図６，図７の入力システム１０Ｃの場合、表示コントローラ２０の論理スイッチ６８を「オン」に切り替えておく。
　この切り替え動作により、センサコントローラ１８は、自身が生成したデータ信号をホストプロセッサ２２に向けて選択的に出力可能となる。なお、このデータ信号には、スタイラス１６の筆記状態に関する情報（以下、筆記情報）や、ユーザの筆記に関わるメタ情報などの各種情報が含まれてもよい。筆記情報の一例として、現在の指示位置、筆圧、ペン傾きなどが挙げられる。また、メタ情報の一例として、ペンＩＤ、データの属性、作成者、作成日時などが挙げられる。
　ステップＳ０４において、ホストプロセッサ２２のデータ処理部４６は、ステップＳ３で供給されたデータ信号から指示位置を含む筆記データを取得し、得られた現在の指示位置を用いて軌跡曲線８０を更新する補間処理を行う。以下、この補間処理について図９を参照しながら詳細に説明する。
　図９は、補間処理の一例を模式的に示す図である。より詳しくは、図９（ａ）は補間処理前の軌跡曲線８０の形状を示すとともに、図９（ｂ）は補間処理後の軌跡曲線８０の形状を示している。なお、Ｘ－Ｙ座標系は、センサ電極３０の検出位置、すなわち表示パネル２８上の指示位置を特定するための「センサ座標系」に相当する。
　図９（ａ）に示す軌跡曲線８０は、過去の指示位置である離散点Ｐ１，Ｐ２，Ｐ３を順次繋いだ曲線である。例えば、前回の指示位置である離散点Ｐ３の次に、今回の指示位置である離散点Ｐ４が追加されたとする。ここで、データ処理部４６は、リニア補間、スプライン補間を含む様々な手法を用いて、離散点Ｐ３，Ｐ４を連続的に繋ぐ補間処理を行う。そうすると、図９（ｂ）に示すように、離散点Ｐ１，Ｐ２，Ｐ３を通る元の軌跡曲線８２と、離散点Ｐ３，Ｐ４を通る補間曲線８４を組み合わせた新たな軌跡曲線８０が形成される。
　そして、データ処理部４６は、上記した補間処理により形成されたストローク９０（図１０（ｂ）参照）の集合を示すストローク画像と、当該ストローク画像を除く非筆記画像（例えば、アプリケーションウィンドウ、ウィジェット、カーソル、アイコンなど）を合成することで、フレーム単位の画像信号を生成する。
　図８のステップＳ０５において、ホストプロセッサ２２は、ステップＳ０４で生成された画像信号を表示コントローラ２０に向けて出力する。
　ステップＳ０６において、表示コントローラ２０の出力処理部５０（より詳しくは、信号生成部６０）は、ステップＳ０５で供給された画像信号を用いて、表示パネル２８を駆動制御するための表示信号を生成する。第１出力モードでは、信号生成部６０は、画像合成部５８をそのまま通過した画像信号を用いて表示信号を生成する。
　ステップＳ０７において、出力処理部５０は、ステップＳ０６で生成された表示信号を表示パネル２８に向けて出力する。これにより、表示パネル２８の表示領域Ｒ内に、ストローク画像を含む全体画像が表示される。以下、入力システム１０は、１フレーム分の時間おきにステップＳ０１～Ｓ０７を順次繰り返す。
　図１０は、スタイラス１６の操作に伴う表示画像の遷移図である。より詳しくは、図１０（ａ）はスタイラス１６の静止状態を、図１０（ｂ）はスタイラス１６の移動状態をそれぞれ示している。
　図１０（ａ）に示すように、スタイラス１６の静止状態において、表示領域Ｒ内には、ペン先８６に対応する位置にカーソル８８が表示される。ユーザは、電子機器１４のタッチ面にペン先８６を押し付けた状態にてスタイラス１６を移動させる。その結果、図１０（ｂ）に示すように、スタイラス１６のペン先８６に追従して画像又は映像が逐次更新される。具体的には、スタイラス１６の移動経路に沿って、カーソル８８が移動するとともに、指示位置の軌跡に相当するストローク９０が延びるように出現する。
　図８のステップＳ０８において、ホストプロセッサ２２のデータ処理部４６は、所定の処理タイミングに至った場合、センサコントローラ１８から逐次取得した筆記データに対して様々な処理を行う。この処理の一例として、デジタルインクを生成する処理や、通信モジュール２６を介してデータを送信する処理が挙げられる。このようにして、入力システム１０は、第１出力モードに応じた動作を終了する。
＜第２出力モード＞
　ところで、電子機器１４のホストプロセッサ２２が、タッチパネルディスプレイ１２からの入力データに対して処理を行う際に、ホストプロセッサ２２を経由することに起因する、何らかの技術上又は運用上の不都合が生じる場合がある。そこで、ホストプロセッサ２２のモード制御部４４は、必要に応じて第１出力モードから第２出力モードに切り替えることで特定の不都合を改善することができる。
　図１１は、第２出力モードの実行時におけるシーケンス図である。本図は、図８と同様に、左から右にわたって順に、センサコントローラ１８、ホストプロセッサ２２及び表示コントローラ２０の動作を示している。
　ステップＳ１１において、ホストプロセッサ２２は、第１出力モードから第２出力モードに移行する旨の指令信号を受け付ける。なお、この指令信号の発生トリガについては後述する。
　ステップＳ１２において、ホストプロセッサ２２は、第２出力モードの動作に関与する各部に向けて、第２出力モードの実行開始を示すフラグ信号を出力する。例えば、図２，図３の入力システム１０Ａの場合、フラグ信号の出力先は、センサコントローラ１８及び表示コントローラ２０である。また、図４，図５の入力システム１０Ｂの場合、フラグ信号の出力先は、表示コントローラ２０及び物理スイッチ６６である。また、図６，図７の入力システム１０Ｃの場合、フラグ信号の出力先は、表示コントローラ２０である。
　ステップＳ１３において、ホストプロセッサ２２のデータ処理部４６は、フレーム単位の全体画像Ｉｏｒｇ（図１２）を示す画像信号を生成し、当該画像信号を表示コントローラ２０に向けて出力する。なお、第２出力モードに切り替わる直前まで筆記入力が行われていた場合、データ処理部４６は、最後に更新されたストローク画像を用いて画像信号を生成する点に留意する。
　ステップＳ１４において、ホストプロセッサ２２は、スタイラス１６の指示位置を含む筆記データを要求するための要求信号をセンサコントローラ１８に向けて出力する。この動作は、図８のステップＳ０１と同様の動作である。
　ステップＳ１５において、センサコントローラ１８の位置検出部４０は、ステップＳ１４で供給された要求信号を受け付けた後、ユーザによる現在の指示位置を検出するための動作を行う。この動作は、図８のステップＳ０２と同様の動作である。
　ステップＳ１６において、センサコントローラ１８は、ステップＳ１５で検出された現在の指示位置を含むデータ信号を表示コントローラ２０に向けて出力する。この出力に先立ち、例えば、図２，図３の入力システム１０Ａの場合、センサコントローラ１８の出力選択部４２は、データ信号の出力先を表示コントローラ２０に切り替えておく。また、図４，図５の入力システム１０Ｂの場合、物理スイッチ６６の出力端子を表示コントローラ２０に切り替えておく。また、図６，図７の入力システム１０Ｃの場合、表示コントローラ２０の論理スイッチ６８を「オフ」に切り替えておく。
　この切り替え動作により、センサコントローラ１８は、自身が生成したデータ信号を表示コントローラ２０に向けて選択的に出力可能となる。なお、このデータ信号は、第１出力モードの場合と同じ種類の情報（例えば、上記した筆記情報やメタ情報）が含まれてもよいし、異なる種類の情報が含まれてもよい。
　ステップＳ１７において、表示コントローラ２０の出力処理部５０（より詳しくは、部分画像生成部５４）は、ステップＳ１６で供給されたデータ信号から指示位置を含む筆記データを取得し、得られた現在の指示位置を用いて部分画像Ｉｐａｒを生成する。以下、この生成方法について図１２を参照しながら詳細に説明する。
　図１２は、図３，図５，図７に示す部分画像生成部５４の詳細な機能ブロック図である。この部分画像生成部５４は、補間処理を行う補間器９２と、複数の小画像を結合する結合器９４と、を備える。
　補間器９２は、指示位置の時系列を用いて２つの離散点を連続的に繋ぐことで、２点間の補間曲線を示す小画像（以下、差分画像Ｉｓｕｂという）を生成する。この差分画像Ｉｓｕｂは、ストローク画像同士の差分を意味し、図９（ｂ）の例では、離散点Ｐ３，Ｐ４を通る補間曲線８４を示す画像に相当する。
　結合器９４は、補間器９２から供給される差分画像Ｉｓｕｂを逐次結合し、補間曲線の集合体を示す中画像（以下、部分画像Ｉｐａｒという）を生成する。この部分画像Ｉｐａｒは、図９（ｂ）の例では、離散点Ｐ１～Ｐ４をすべて繋いだ後の軌跡曲線８０を示す画像に相当する。生成された後の部分画像Ｉｐａｒは、画像合成部５８に供給されるとともに、結合器９４にフィードバックされる。
　このようにして、部分画像生成部５４は、少なくとも現在の指示位置を含む部分画像Ｉｐａｒを生成し、この部分画像Ｉｐａｒを画像合成部５８に向けて出力する（ステップＳ１７）。
　図１１のステップＳ１８において、出力処理部５０（より詳しくは、画像合成部５８）は、ステップＳ１３で供給された全体画像Ｉｏｒｇと、ステップＳ１７で生成された部分画像Ｉｐａｒを合成する。具体的には、画像合成部５８は、ホストプロセッサ２２から一回的又は逐次的に供給される全体画像Ｉｏｒｇの対応領域の画像を部分画像Ｉｐａｒに置換することで、加工済み画像Ｉｐｒｃを生成する（図１２参照）。あるいは、画像合成部５８は、全体画像Ｉｏｒｇを用いる代わりに、部分画像Ｉｐａｒに対して残りの表示領域を埋めるパディング処理を施すことで加工済み画像Ｉｐｒｃを生成してもよい。
　ステップＳ１９において、表示コントローラ２０は、ステップＳ１８で合成された加工済み画像Ｉｐｒｃを示す画像信号から表示信号を生成し、得られた表示信号を表示パネル２８に向けて出力する。この動作は、図８のステップＳ０６，０７と同様の動作である。これにより、表示パネル２８の表示領域Ｒ内に、ストローク画像を含む加工済み画像Ｉｐｒｃが表示される。
　以下、入力システム１０は、１フレーム分の時間おきにステップＳ１３～Ｓ１９を順次繰り返す。なお、全体画像Ｉｏｒｇを逐次的に更新しない場合、表示コントローラ２０が１フレーム分の画像信号を記憶しておくことで、２回目以降のステップＳ１３を省略することができる。
　図１３は、スタイラス１６の高速移動に対する書き込み追従性を比較する図である。より詳しくは、図１３（ａ）は第１出力モードの実行時における表示画像を、図１３（ｂ）は第２出力モードの実行時における表示画像をそれぞれ示している。
　図１３（ａ）に示すように、第１出力モードでは、スタイラス１６の高速移動に伴い、カーソル８８の位置がペン先８６に対して後方にずれるとともに、ストローク９０の先頭位置がカーソル８８に対してさらに後方にずれる。これにより、スタイラス１６を使用するユーザは、指示位置の不一致に対して違和感を覚えてしまう場合がある。
　前者の位置ずれは、フレーム間隔に相当する応答時間差によって発生し得る。一方、後者の位置ずれは、例えば、データ処理や信号伝送を含むハードウェア上の制約から、取得タイミングが異なる別々の指示位置を用いて、カーソル８８及びストローク９０の画像をそれぞれ作成している場合が挙げられる。
　一方、図１３（ｂ）に示すように、第２出力モードでは、スタイラス１６の高速移動に伴い、元のストローク９０の先頭に線分９６が追加された新たなストローク９８が形成される。つまり、ペン先８６とカーソル８８の間の位置ずれが残存するものの、カーソル８８とストローク９８の位置ずれが概ね解消されている。これにより、指示位置の不一致に対するユーザの違和感が緩和されるので、その分だけユーザビリティが向上する。
　図１１のステップＳ２０において、ホストプロセッサ２２は、第２出力モードから第１出力モードに移行する旨の指令信号を受け付ける。なお、この指令信号の発生トリガについては後述する。
　ステップＳ２１において、ホストプロセッサ２２は、第１出力モードの動作に関与する各部に向けて、第１出力モードの実行開始を示すフラグ信号を出力する。例えば、図２，図３の入力システム１０Ａの場合、フラグ信号の出力先は、センサコントローラ１８及び表示コントローラ２０である。また、図４，図５の入力システム１０Ｂの場合、フラグ信号の出力先は、表示コントローラ２０及び物理スイッチ６６である。また、図６，図７の入力システム１０Ｃの場合、フラグ信号の出力先は、表示コントローラ２０である。
　ステップＳ２２において、表示コントローラ２０の出力処理部５２は、記憶部６２に一時的に記憶されていたデータを読み出し、指示位置の時系列を含むデータ信号をホストプロセッサ２２に向けて一括して出力する。
　ステップＳ２３において、ホストプロセッサ２２のデータ処理部４６は、ステップＳ２２で供給されたデータ信号から一纏まりの筆記データを取得し、この筆記データに対して様々な処理を行う。例えば、データ処理部４６は、第１出力モードで既に得ていた筆記データと、第２出力モードで新たに得られた筆記データをマージした後、デジタルインクの生成処理やデータの送信処理を行ってもよい。このようにして、入力システム１０は、第２出力モードに応じた動作を終了する。
＜入力システム１０による効果＞
　以上のように、入力システム１０は、ユーザによる指示位置を検出するセンサ電極３０を表示パネル２８の表示領域Ｒに設けてなるタッチパネルディスプレイ１２を用いたシステムであって、センサ電極３０の検出結果に基づいて表示領域Ｒ内の指示位置を取得するセンサコントローラ１８と、取得された指示位置を含むデータ信号を処理するホストプロセッサ２２と、画像又は映像を示す表示信号を表示パネル２８に向けて出力する表示コントローラ２０と、センサコントローラ１８からホストプロセッサ２２を経由して表示コントローラ２０に信号を伝送する第１信号経路ＳＰ１と、センサコントローラ１８からホストプロセッサ２２を経由せずに表示コントローラ２０に信号を伝送する第２信号経路ＳＰ２と、第１信号経路ＳＰ１及び第２信号経路ＳＰ２を切り替え可能に構成されるスイッチ部（出力選択部４２、物理スイッチ６６、論理スイッチ６８）と、を備える。
　このように、第１信号経路ＳＰ１及び第２信号経路ＳＰ２を切り替え可能なスイッチ部を設けたので、第２信号経路ＳＰ２の選択によってホストプロセッサ２２を経由しないデータ処理を適時に実行可能となり、ホストプロセッサ２２のデータ処理に起因して発生する特定の不都合が改善される。
　また、モード制御部４４は、スイッチ部によって第１信号経路ＳＰ１が選択される第１出力モードと、スイッチ部によって第２信号経路ＳＰ２に選択される第２出力モードを切り替えて実行してもよい。第１出力モードの実行中、表示コントローラ２０は、第１信号経路ＳＰ１を通った信号を用いて表示信号を生成し、該表示信号を表示パネル２８に向けて出力する。第２出力モードの実行中、表示コントローラ２０は、第２信号経路ＳＰ２を通ったデータ信号に対して所定の処理を施した後、表示パネル２８に向けて加工済みの表示信号を出力する。第１信号経路ＳＰ１よりも短い第２信号経路ＳＰ２を用いることで、表示処理に関する時間応答性が改善される。
　また、第２出力モードの実行中、ホストプロセッサ２２は、表示領域Ｒに対応する全体画像Ｉｏｒｇを示す画像信号を表示コントローラ２０に向けて出力し、表示コントローラ２０は、第２信号経路ＳＰ２を通ったデータ信号から指示位置を逐次取得し、全体画像Ｉｏｒｇのうち少なくとも現在の指示位置を含む部分を変更した加工済み画像Ｉｐｒｃを生成し、加工済み画像Ｉｐｒｃを示す表示信号を表示パネル２８に向けて出力してもよい。第１出力モードに対して現在の指示位置を含む部分のみを変更する所定の処理を追加すればよく、その分だけ表示コントローラ２０の処理負荷の過度な増加が抑制される。
　また、表示コントローラ２０は、第２信号経路ＳＰ２を通ったデータ信号の時系列からストローク９８（指示位置の軌跡）を含む部分画像Ｉｐａｒを生成し、全体画像Ｉｏｒｇと部分画像Ｉｐａｒを合成することで加工済み画像Ｉｐｒｃを生成してもよい。第１出力モードに対してストローク９８を生成して画像を合成する所定の処理を追加すればよく、その分だけ表示コントローラ２０の処理負荷の過度な増加が抑制される。
［モード切り替えの具体例］
　以下、出力モードの切り替えタイミングの具体例について説明する。ホストプロセッサ２２のモード制御部４４は、ユーザの操作がトリガとなって発生する指示信号を受け付けてもよい（図１１のステップＳ１１，Ｓ２０）。これにより、ユーザは、自身の操作を通じて出力モードの状態を認識することができる。
　以下、第１出力モードから第２出力モードに変更するための操作を「第１操作」というとともに、第２出力モードから第１出力モードに変更するための操作を「第２操作」という。第２操作は、第１操作と同一の又は異なる操作である。また、第１操作及び第２操作は、ハードウェア操作であってもよいし、ソフトウェア操作であってもよい。
　このハードウェア操作には、電子機器１４又はスタイラス１６が備えるハードウェアボタン（いわゆる機能スイッチ）の押下操作、あるいは、スタイラス１６のペンダウン操作・ペンアップ操作が含まれる。このペンダウン操作・ペンアップ操作は、ペン先８６に設けられる図示しない筆圧センサにより検出される。一方、ソフトウェア操作には、ホストプロセッサ２２が起動しているアプリケーションの状態遷移を引き起こす特定の操作、例えば、表示画面上のユーザコントロールの操作や、アプリケーションウィンドウを開く操作・切り替える操作が含まれる。
　例えば、第１操作がスタイラス１６のペンダウン操作であり、第２操作がペンアップ操作に対応するペンアップ操作であってもよい。これにより、一連のストローク操作の度に出力モードを適時に切り替えることができる。
　また、モード制御部４４は、スタイラス１６のコンタクト状態が検出されている間、第１操作を受け付けたにもかかわらず、第１出力モードから第２出力モードへの切り替えを禁止してもよい。これと併せて又はこれとは別に、モード制御部４４は、スタイラス１６のコンタクト状態が検出されている間、第２操作を受け付けたにもかかわらず、第２出力モードから第１出力モードへの切り替えを禁止してもよい。これにより、１本のストローク９０を示す一纏まりの筆記データが、ホストプロセッサ２２と表示コントローラ２０に分かれて伝送されることが防止される。
　また、モード制御部４４は、ホストプロセッサ２２が実行するアプリケーションの状態に応じて、第１出力モード及び第２出力モードを切り替えて実行してもよい。これにより、アプリケーションと連動して出力モードを適時に切り替えることができる。
［追加処理］
　ところで、ユーザがＵＩ部３２を介して機密性又は著作権性を有する秘匿情報を書き込んだ場合、その秘匿情報の取り扱いに関する運用上の不都合が生じ得る。そこで、必要に応じて第２出力モードを実行することで、この不都合を改善することもできる。以下、表示コントローラ２０の出力処理部５０，５２（追加処理部５６，６４）による追加処理について、図１４～図１６を参照しながら説明する。
＜１．可視情報の保護＞
　ユーザが書き込んだ秘匿情報が表示パネル２８にそのまま表示され続けると、その内容を第三者に盗み見られる可能性がある。そこで、出力処理部５０（より詳しくは、追加処理部５６）は、可視情報を保護するための追加処理を行ってもよい。この場合、図１１のステップＳ１７，Ｓ１８の間に、以下に示すステップＳ２４の動作を追加すればよい。
　ステップＳ２４において、追加処理部５６は、ステップＳ１７で得られた部分画像Ｉｐａｒに対して、可視情報を保護するための追加処理を行う。この追加処理の一例として、隠蔽処理、不鮮鋭化処理、情報付与処理などが挙げられる。以下、追加処理による効果の一例について、図１４及び図１５を参照しながら説明する。
　図１４（ａ）に示すように、表示領域Ｒ内に、ユーザのサインを示すコンテンツ１００が表示されている。氏名やサインの筆跡は個人情報の一種であるし、署名された電子文書の内容から個人情報が特定される可能性もある。そこで、サインの途中又は終了後に、コンテンツ１００の表示態様を経時的に変化させてもよい。
　図１４（ｂ）に示すように、サインの終了時点から所定の時間（例えば１０秒）が経過した後に、コンテンツ１００の左側からマスク領域１０２が出現し、コンテンツ１００の一部を隠蔽する。時間が経過するにつれてマスク領域１０２が拡大し、最終的には、図１４（ｃ）に示すように、マスク領域１０２がコンテンツ１００の全部を隠蔽する。
　あるいは、図１４（ｄ）に示すように、不鮮鋭化領域１０４に対して不鮮鋭化処理を施すことで、コンテンツ１００の全部又は一部の視認性を低下させてもよい。なお、不鮮鋭化処理の他にも、ユーザの視認性を相対的に低下させる視覚効果を付与する様々な処理が用いられ得る。
　このように、表示コントローラ２０は、第２信号経路ＳＰ２を通ったデータ信号の時系列が示すコンテンツ１００（指示位置の軌跡）が隠蔽又は不鮮鋭化された部分画像Ｉｐａｒを生成し、全体画像Ｉｏｒｇと部分画像Ｉｐａｒを合成することで、少なくとも一部のコンテンツが隠蔽又は不鮮鋭化された加工済み画像Ｉｐｒｃを生成してもよい。これにより、部分画像Ｉｐａｒの視認性を抑制可能となり、第三者の盗み見による情報漏洩を予防することができる。
　図１５に示すように、表示領域Ｒ内に、「This is a pencil.」からなる文字列と、鉛筆の絵を含むコンテンツ１０６が表示されている。このコンテンツ１０６には、秘匿性又は著作権性が高いコンテンツ（以下、特定コンテンツ１０８）が含まれる可能性がある。そこで、ユーザが指定した指定領域１１０内であって特定コンテンツ１０８の付近の位置に、著作権の存在を明示する著作権マーク１１２を表示してもよい。また、著作権マーク１１２に代えて、守秘義務を発生させるコンフィデンシャルマークを表示してもよい。
　このように、表示コントローラ２０は、第２信号経路ＳＰ２を通ったデータ信号の時系列が示す特定コンテンツ１０８（指示位置の軌跡）の付近に、機密性又は著作権性を示す情報（例えば、著作権マーク１１２）が付与された部分画像Ｉｐａｒを生成し、全体画像Ｉｏｒｇと部分画像Ｉｐａｒを合成することで、少なくとも一部のコンテンツに当該情報が付与された加工済み画像Ｉｐｒｃを生成してもよい。これにより、部分画像Ｉｐａｒを見た第三者に対する情報漏洩の抑止効果が得られる。
＜２．データの保護＞
　例えば、電子機器１４のセキュリティが破られた場合、ホストプロセッサ２２を通じて筆記データの漏洩・改竄・破壊などが起こる可能性が高い。そこで、表示コントローラ２０は、第２出力モードの実行中に第２信号経路ＳＰ２を通ったデータ信号から、スタイラス１６の筆記状態に関する筆記情報及びユーザの筆記に関わるメタ情報を含む筆記データを逐次取得し、所定の処理が施された筆記データの時系列を含むデータ信号をホストプロセッサに向けて出力してもよい。
　そこで、出力処理部５２（より詳しくは、追加処理部５６）は、データを保護するための追加処理を行う。この場合、図１１のステップＳ２１，Ｓ２２の間に、以下に示すステップＳ２５の動作を追加すればよい。
　ステップＳ２５において、追加処理部６４は、記憶部６２に一時的に記憶されていたデータを読み出し、データを保護するための追加処理を行う。この追加処理の一例として、不可逆処理、付与処理、暗号化処理などが挙げられる。
　ここで、「不可逆処理」とは、筆記情報又はメタ情報の少なくとも一方を不可逆的に欠損させる処理を意味する。不可逆処理の一例として、ペンＩＤの削除、筆圧の削除、データ列の間引き・平滑化、筆記順の秘匿化、ストロークの不鮮鋭化、ラスタ画像化、冗長情報の追加などが挙げられる。
　また、「付与処理」とは、筆記データの時系列に対して機密性又は著作権性を示す情報を付与する付与処理を意味する。付与処理の一例として、タグの追加、マークを含む可視情報の埋め込みなどが挙げられる。
　また、「暗号化処理」は、公開鍵方式、暗号鍵方式、共通鍵方式を含む様々な手法を用いて行うことができる。以下、暗号化処理の具体例について、図１６を参照しながら説明する。
　図１６は、図１に示す入力システム１０が組み込まれたサイン検証システム１２０の全体構成図である。このサイン検証システム１２０は、電子機器１４及びスタイラス１６の他に、検証サーバ１２２を含んで構成される。電子機器１４には、クレジットカード１２４を読取可能なカードリーダ１２６が接続されている。また、電子機器１４は、中継機器１２８及びネットワークＮＷを介して、検証サーバ１２２と双方向に通信可能である。
　電子機器１４は、カードリーダ１２６を通じて、クレジットカード１２４に格納された暗号用鍵Ｋｅｎを取得した後、この暗号用鍵Ｋｅｎをメモリ２４に一時的に格納する。ホストプロセッサ２２は、所望の処理タイミングで暗号用鍵Ｋｅｎを読み出し、筆記データに対して暗号化処理を施した後、得られた暗号化データＤ１をホストプロセッサ２２に向けて出力する。ホストプロセッサ２２は、通信モジュール２６を通じて、検証サーバ１２２に向けて暗号化データＤ１を送信する処理を行う。
　そして、検証サーバ１２２は、暗号用鍵Ｋｅｎに対応する復号用鍵Ｋｄｅを用いて、電子機器１４からの暗号化データＤ１に対して復号化処理を行う。これにより、検証サーバ１２２は、ユーザのサインを示すサインデータＤ２を取得し、当該サインの妥当性を検証することができる。
　１０（Ａ，Ｂ，Ｃ）　入力システム、１２　タッチパネルディスプレイ、１４　電子機器、１６　スタイラス、１８　センサコントローラ、２０　表示コントローラ、２２　ホストプロセッサ、２４　メモリ、２６　通信モジュール、２８　表示パネル、３０　センサ電極、４２　出力選択部（スイッチ部）、４４　モード制御部、４６　データ処理部、５０，５２　出力処理部、６６　物理スイッチ（スイッチ部）、６８　仮想スイッチ（スイッチ部）、８０　軌跡曲線、９０，９８　ストローク、Ｉｐａｒ　部分画像、Ｉｏｒｇ　全体画像、Ｉｐｒｃ　加工済み画像、Ｌ１～Ｌ１１　信号線、Ｒ　表示領域、ＳＰ１　第１信号経路、ＳＰ２　第２信号経路。

Claims (19)

  1. 　ユーザによる指示位置を検出するセンサ電極を表示パネルの表示領域に設けてなるタッチパネルディスプレイを用いた入力システムであって、
    　前記センサ電極の検出結果に基づいて前記表示領域内の指示位置を取得するセンサコントローラと、
    　前記センサコントローラにより取得された前記指示位置を含むデータ信号を処理するホストプロセッサと、
    　画像又は映像を示す表示信号を前記表示パネルに向けて出力する表示コントローラと、
    　前記センサコントローラから前記ホストプロセッサを経由して前記表示コントローラに信号を伝送する第１信号経路と、
    　前記センサコントローラから前記ホストプロセッサを経由せずに前記表示コントローラに信号を伝送する第２信号経路と、
    　前記第１信号経路及び前記第２信号経路を切り替え可能に構成されるスイッチ部と、
    　を備えることを特徴とする入力システム。
  2. 　前記スイッチ部により前記第１信号経路が選択される第１出力モードと、前記スイッチ部により前記第２信号経路が選択される第２出力モードを切り替えて実行するモード制御部をさらに備え、
    　前記モード制御部が前記第１出力モードを実行中に、前記表示コントローラは、前記第１信号経路を通った信号を用いて表示信号を生成し、該表示信号を前記表示パネルに向けて出力し、
    　前記モード制御部が前記第２出力モードを実行中に、前記表示コントローラは、前記第２信号経路を通ったデータ信号に対して所定の処理を施した後、前記表示パネルに向けて加工済みの表示信号を出力し及び／又は前記ホストプロセッサに向けて加工済みのデータ信号を出力する
    　ことを特徴とする請求項１に記載の入力システム。
  3. 　前記モード制御部が前記第２出力モードを実行中に、
    　前記ホストプロセッサは、前記表示領域に対応する全体画像を示す画像信号を前記表示コントローラに向けて出力し、
    　前記表示コントローラは、前記第２信号経路を通ったデータ信号から指示位置を逐次取得し、前記全体画像のうち少なくとも現在の指示位置を含む部分を変更した加工済み画像を生成し、前記加工済み画像を示す表示信号を前記表示パネルに向けて出力する
    　ことを特徴とする請求項２に記載の入力システム。
  4. 　前記表示コントローラは、前記第２信号経路を通ったデータ信号の時系列から前記指示位置の軌跡を含む部分画像を生成し、前記全体画像と前記部分画像を合成することで前記加工済み画像を生成することを特徴とする請求項３に記載の入力システム。
  5. 　前記表示コントローラは、前記第２信号経路を通ったデータ信号の時系列が示す前記指示位置の軌跡が隠蔽又は不鮮鋭化された部分画像を生成し、前記全体画像と前記部分画像を合成することで、少なくとも一部の指示位置の軌跡が隠蔽又は不鮮鋭化された前記加工済み画像を生成することを特徴とする請求項３に記載の入力システム。
  6. 　前記モード制御部は、ユーザによる第１操作がトリガとなって前記第１出力モードから前記第２出力モードに切り替えて実行し、前記第１操作と同一の又は異なる第２操作がトリガとなって前記第２出力モードから前記第１出力モードに切り替えて実行することを特徴とする請求項２に記載の入力システム。
  7. 　前記第１操作は、スタイラスのペンダウン操作であり、
    　前記第２操作は、前記ペンアップ操作に対応するペンアップ操作である
    　ことを特徴とする請求項６に記載の入力システム。
  8. 　前記モード制御部は、スタイラスのコンタクト状態が検出されている間、前記第１出力モードから前記第２出力モードへの切り替えを禁止し及び／又は前記第２出力モードから前記第１出力モードへの切り替えを禁止することを特徴とする請求項６又は７に記載の入力システム。
  9. 　前記モード制御部は、前記ホストプロセッサが実行するアプリケーションの状態に応じて、前記第１出力モード及び前記第２出力モードを切り替えて実行することを特徴とする請求項２に記載の入力システム。
  10. 　前記表示コントローラは、前記第２出力モードの実行中に前記第２信号経路を通ったデータ信号から、スタイラスの筆記状態に関する筆記情報及びユーザの筆記に関わるメタ情報を含む筆記データを逐次取得し、所定の処理が施された前記筆記データの時系列を含むデータ信号を前記ホストプロセッサに向けて出力することを特徴とする請求項２に記載の入力システム。
  11. 　前記表示コントローラは、前記筆記情報又は前記メタ情報の少なくとも一方を不可逆的に欠損させる不可逆処理を施すことを特徴とする請求項１０に記載の入力システム。　
  12. 　前記表示コントローラは、前記筆記データの時系列に対して機密性又は著作権性を示す情報を付与する付与処理を施すことを特徴とする請求項１０に記載の入力システム。
  13. 　前記表示コントローラは、前記筆記データの時系列に対して暗号化処理を施すことを特徴とする請求項１０に記載の入力システム。
  14. 　ユーザによる指示位置を検出するセンサ電極を表示パネルの表示領域に設けてなるタッチパネルディスプレイを用いた入力システムであって、
    　前記指示位置を含むデータ信号を処理するホストプロセッサと、
    　前記ホストプロセッサに接続され、かつ画像又は映像を示す表示信号を前記表示パネルに向けて出力する表示コントローラと、
    　前記センサ電極の検出結果に基づいて前記表示領域内の指示位置を取得するセンサコントローラと、
    　を備え、
    　前記センサコントローラは、前記ホストプロセッサに物理的又は論理的に接続されているとともに、前記表示コントローラに物理的に接続されていることを特徴とする入力システム。
  15. 　前記センサコントローラは、前記表示コントローラに物理的に接続され、かつ前記データ信号の出力先を前記ホストプロセッサ又は前記表示コントローラのいずれか一方に切り替え可能に構成されることを特徴とする請求項１４に記載の入力システム。
  16. 　入力端子が前記センサコントローラに接続され、かつ、一方の出力端子が前記ホストプロセッサに、他方の出力端子が前記表示コントローラにそれぞれ接続されている物理スイッチをさらに備えることを特徴とする請求項１４に記載の入力システム。
  17. 　前記表示コントローラは、前記センサコントローラに物理的に接続され、かつ前記センサコントローラからの前記データ信号をパススルー伝送によって前記ホストプロセッサに供給するか否かを切り替え可能に構成されることを特徴とする請求項１４に記載の入力システム。
  18. 　前記ホストプロセッサは、前記表示領域に対応する全体画像を示す画像信号を前記表示コントローラに向けて出力し、
    　前記表示コントローラは、前記センサコントローラにより供給されたデータ信号から指示位置を逐次取得し、前記全体画像のうち少なくとも現在の指示位置を含む部分を変更した加工済み画像を示す表示信号を前記表示パネルに向けて出力する
    　ことを特徴とする請求項１４～１７のいずれか１項に記載の入力システム。
  19. 　前記表示コントローラは、前記センサコントローラにより供給されたデータ信号から、スタイラスの筆記状態に関する筆記情報及びユーザの筆記に関わるメタ情報を含む筆記データを逐次取得し、所定の処理が施された前記筆記データの時系列を含むデータ信号を前記ホストプロセッサに向けて出力することを特徴とする請求項１４～１７のいずれか１項に記載の入力システム。
     
PCT/JP2018/047664 2018-12-25 2018-12-25 入力システム WO2020136729A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2020561998A JP7319297B2 (ja) 2018-12-25 2018-12-25 入力システム
CN201880097302.1A CN112654952A (zh) 2018-12-25 2018-12-25 输入系统
PCT/JP2018/047664 WO2020136729A1 (ja) 2018-12-25 2018-12-25 入力システム
US17/207,312 US11402941B2 (en) 2018-12-25 2021-03-19 Input system
US17/878,545 US11714506B2 (en) 2018-12-25 2022-08-01 Input system
US18/337,913 US12014001B2 (en) 2018-12-25 2023-06-20 Input system
JP2023117976A JP2023126598A (ja) 2018-12-25 2023-07-20 入力システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/047664 WO2020136729A1 (ja) 2018-12-25 2018-12-25 入力システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/207,312 Continuation US11402941B2 (en) 2018-12-25 2021-03-19 Input system

Publications (1)

Publication Number Publication Date
WO2020136729A1 true WO2020136729A1 (ja) 2020-07-02

Family

ID=71129279

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/047664 WO2020136729A1 (ja) 2018-12-25 2018-12-25 入力システム

Country Status (4)

Country Link
US (3) US11402941B2 (ja)
JP (2) JP7319297B2 (ja)
CN (1) CN112654952A (ja)
WO (1) WO2020136729A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022131325A1 (ja) 2020-12-16 2022-06-23 株式会社ワコム 画像描画方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61169928A (ja) * 1985-01-22 1986-07-31 Yokogawa Electric Corp 位置指示装置
JPH04295918A (ja) * 1991-03-25 1992-10-20 Mitsubishi Electric Corp 液晶表示制御装置
JPH05165598A (ja) * 1991-12-17 1993-07-02 Hitachi Ltd 表示制御ｉｃおよび情報処理装置
JPH07261933A (ja) * 1994-03-17 1995-10-13 Hitachi Ltd ペン入力液晶表示装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05244592A (ja) 1991-03-13 1993-09-21 Nec Home Electron Ltd ビデオテックス端末装置
KR100819736B1 (ko) 2004-12-21 2008-04-07 삼성전자주식회사 영상신호처리회로 및 이를 포함하는 디스플레이장치
JP2008186441A (ja) * 2007-01-04 2008-08-14 Shinsedai Kk 画像処理装置及び画像処理システム
JP2009187260A (ja) 2008-02-06 2009-08-20 Anoto Ab デジタルペンシステム
JP5589366B2 (ja) * 2009-11-27 2014-09-17 ソニー株式会社 情報処理装置、情報処理方法及びそのプログラム
US9342181B2 (en) * 2012-01-09 2016-05-17 Nvidia Corporation Touch-screen input/output device touch sensing techniques
WO2014065055A1 (ja) * 2012-10-23 2014-05-01 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
US9652091B1 (en) * 2013-03-15 2017-05-16 Amazon Technologies, Inc. Touch sensitive display utilizing mutual capacitance and self capacitance
TW201502898A (zh) * 2013-07-10 2015-01-16 Fih Hong Kong Ltd 觸控式電子設備及其繪圖方法
JP6731135B2 (ja) * 2014-05-30 2020-07-29 パナソニックセミコンダクターソリューションズ株式会社 センシングシステム及び運転支援システム
CN105718076B (zh) * 2014-12-03 2019-03-01 矽统科技股份有限公司 主动式触控笔及其与触控面板的信号传输方法
CN106708277A (zh) 2015-11-18 2017-05-24 英业达科技有限公司 分享输入装置的电子设备及其方法
EP3291504B1 (en) 2016-08-30 2020-03-11 Wacom Co., Ltd. Authentication and secure transmission of data between signature devices and host computers using transport layer security
US10139975B2 (en) * 2016-09-23 2018-11-27 Apple Inc. Pressure compensation for force-sensitive touch screen

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61169928A (ja) * 1985-01-22 1986-07-31 Yokogawa Electric Corp 位置指示装置
JPH04295918A (ja) * 1991-03-25 1992-10-20 Mitsubishi Electric Corp 液晶表示制御装置
JPH05165598A (ja) * 1991-12-17 1993-07-02 Hitachi Ltd 表示制御ｉｃおよび情報処理装置
JPH07261933A (ja) * 1994-03-17 1995-10-13 Hitachi Ltd ペン入力液晶表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022131325A1 (ja) 2020-12-16 2022-06-23 株式会社ワコム 画像描画方法

Also Published As

Publication number Publication date
JP2023126598A (ja) 2023-09-07
US11402941B2 (en) 2022-08-02
US12014001B2 (en) 2024-06-18
US20210208758A1 (en) 2021-07-08
JPWO2020136729A1 (ja) 2021-11-04
US20230333689A1 (en) 2023-10-19
US11714506B2 (en) 2023-08-01
US20220365648A1 (en) 2022-11-17
CN112654952A (zh) 2021-04-13
JP7319297B2 (ja) 2023-08-01

Similar Documents

Publication Publication Date Title
JP5788592B2 (ja) タッチスクリーンを介した安全な入力
US10572779B2 (en) Electronic information board apparatus, information processing method, and computer program product
US20170249294A1 (en) Image processing device, image processing method, and computer-readable storage medium
WO2016121401A1 (en) Information processing apparatus and program
JP7042622B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及び、プログラム
US10649754B2 (en) Image processing device and electronic whiteboard
JP6493546B2 (ja) 電子黒板、記憶媒体、及び情報表示方法
KR20100104804A (ko) Ｄｄｉ, ｄｄｉ 제공방법 및 상기 ｄｄｉ를 포함하는 데이터 처리 장치
JP6402826B2 (ja) 情報処理装置、画像表示方法、プログラム
US20180121681A1 (en) User Interface Display Method for Terminal, and Terminal
JP6988060B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
US12014001B2 (en) Input system
JP2019096367A (ja) 電子黒板、電子黒板の画像処理方法、及び電子黒板のプログラムを記録した記録媒体
JP2023038195A (ja) 画像処理方法及び情報処理装置
US10146949B2 (en) Method and apparatus for encrypting area of electronic document
JP2020154660A (ja) 表示装置、及び表示方法
WO2016121403A1 (en) Information processing apparatus, image processing system, and program
JP7388159B2 (ja) 表示装置、表示方法
JP7306190B2 (ja) 表示装置、表示方法、プログラム
WO2010106669A1 (ja) 電子文書暗号化装置、電子文書暗号化方法及び電子文書暗号化プログラムならびに電子文書復号装置
JP2020149634A (ja) 画像処理装置、方法、およびプログラム
CN111191264A (zh) 回显方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18945150

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020561998

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18945150

Country of ref document: EP

Kind code of ref document: A1