WO2020003970A1 - タッチｉｃ及び外部プロセッサを含むシステムで実行される方法 - Google Patents

タッチｉｃ及び外部プロセッサを含むシステムで実行される方法 Download PDF

Info

Publication number
WO2020003970A1
WO2020003970A1 PCT/JP2019/022686 JP2019022686W WO2020003970A1 WO 2020003970 A1 WO2020003970 A1 WO 2020003970A1 JP 2019022686 W JP2019022686 W JP 2019022686W WO 2020003970 A1 WO2020003970 A1 WO 2020003970A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
pen
detection
data
external processor
Prior art date
Application number
PCT/JP2019/022686
Other languages
English (en)
French (fr)
Inventor
英之 小松
員弘 三好
重幸 佐野
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to JP2020527348A priority Critical patent/JP7467013B2/ja
Publication of WO2020003970A1 publication Critical patent/WO2020003970A1/ja
Priority to US17/099,408 priority patent/US11181989B2/en
Priority to US17/532,953 priority patent/US11537216B2/en
Priority to US18/062,348 priority patent/US11941183B2/en
Priority to JP2023222677A priority patent/JP2024026603A/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04164—Connections between sensors and controllers, e.g. routing lines between electrodes and connection pads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G06F3/04186—Touch location disambiguation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Definitions

  • the present invention relates to a method executed in a system including a touch IC and an external processor.
  • a position detection system that detects the position of a finger or an electronic pen on the touch surface, it is a touch IC that usually executes position detection processing.
  • position detection processing including complicated processing such as gesture recognition has been required, and it has become difficult to cope with a touch IC having a simple configuration in which computer resources such as memory capacity and processor processing capacity are small.
  • an external processor an integrated circuit different from a touch IC such as a CPU, a GPU, a DSP, and an AI processor
  • a system for replacing the position detection processing performed by the touch IC with the external processor has begun.
  • advanced processing such as gesture recognition based on frame data (detection data for one touch surface) acquired by a touch IC can be executed using abundant computer resources of an external processor. It becomes possible.
  • Patent Documents 1 and 2 disclose an example of such a system.
  • FIG. 3 of Patent Document 1 discloses a system in which frame data is supplied from a touch IC (304) to a GPU (308) as an external processor, and a touch position is calculated by the GPU (308).
  • FIG. 1 of Patent Document 2 discloses a system having a touch data communication interface in which a touch IC is on a source side and an external processor which is a DSP is on a sink side.
  • data such as the position and pen pressure detected by the touch IC is sent to a host processor at a subsequent stage, where the data is used for generating ink data and the like.
  • a method is a method performed in a system including a touch IC for performing touch detection and an external processor different from the touch IC, wherein the system is connected to the touch IC.
  • the sensor further includes a sensor electrode group, and a first bus connecting the touch IC and the external processor, wherein the touch IC generates frame data indicating a detection level for each two-dimensional position of the sensor electrode group.
  • Supplying the external processor to the external processor via the first bus, and the external processor returns determination data, which is a result of performing a predetermined process based on the frame data, to the touch IC. And performing an operation based on the determination data.
  • the method according to the second aspect of the present invention is the method according to the first aspect, wherein the external processor returns the determination data to the touch IC via the first bus, and the external processor performs An AI coprocessor for assisting a touch IC, wherein the system further includes a second bus connecting the touch IC and a host processor, wherein the touch IC calculates a touch coordinate included in the determination data. Reporting to the host processor via a second bus.
  • the touch IC since the determination data as a result of the processing by the external processor is returned from the external processor to the touch IC, the touch IC can use the result of the processing by the external processor. become.
  • the touch coordinates derived by the AI coprocessor are supplied to the host processor via the touch IC, it is possible to add an external processor without changing the implementation of the host processor. Will be possible.
  • FIG. 1 is a diagram illustrating a configuration of a system 1 according to a first embodiment of the present invention.
  • FIG. 2 is a processing flowchart illustrating details of touch detection performed by a touch detection unit 32 illustrated in FIG. 1.
  • FIG. 2 is a processing flowchart illustrating details of pen detection performed by a pen detection unit 33 illustrated in FIG. 1.
  • FIG. 7A is a diagram illustrating a palm area deriving process performed by the touch IC compatible firmware 51 illustrated in FIG. 1, and
  • FIG. 7B illustrates an example of determination of a user's dominant hand by the touch IC compatible firmware 51.
  • FIG. FIG. 2 is a sequence diagram showing an operation of the system 1 shown in FIG. FIG.
  • FIG. 6 is a process flowchart showing details of a determination process performed in step S3 shown in FIG. 5.
  • FIG. 6 is a process flowchart showing details of a portion related to touch detection among processes based on determination data performed in step S4 shown in FIG. 5.
  • FIG. 6 is a processing flowchart showing details of a portion related to pen detection in processing based on determination data performed in step S4 shown in FIG. 5.
  • FIG. 2 is a diagram illustrating a configuration of a system 1 according to a second embodiment of the present invention.
  • FIG. 10 is a sequence diagram illustrating an operation of the system 1 illustrated in FIG. 9.
  • FIG. 11 is a process flowchart showing details of a determination process performed in step S3a shown in FIG.
  • FIG. 1 is a diagram showing a configuration of a system 1 according to the first embodiment of the present invention.
  • the system 1 includes a sensor electrode group 2, a touch IC 3, a dedicated bus 4a (first bus), a peripheral device bus 4b (second bus), and bus interfaces 40 and 41. , A memory 42, a host processor 5, and an internal bus 6.
  • the sensor electrode group 2 is a plurality of sensor electrodes arranged immediately below the touch surface.
  • the sensor electrode group 2 is arranged immediately below a display surface that is a touch surface.
  • a plurality of sensor electrodes constituting the sensor electrode group 2 each include a plurality of X electrodes 2x extending in the illustrated y direction and arranged at equal intervals in the x direction (a direction orthogonal to the y direction). And a plurality of Y electrodes 2y extending in the x direction and arranged at equal intervals in the y direction.
  • the touch IC 3 is an integrated circuit configured to execute the firmware 31 and is connected to each sensor electrode included in the sensor electrode group 2.
  • the firmware 31 is illustrated by detecting a finger 8 based on a touch detection unit 32 that performs an operation of detecting the illustrated finger 8 (hereinafter, referred to as “touch detection”) and a pen signal based on electric charge induced in the sensor electrode group 2. It is configured to realize a pen detection unit 33 that performs an operation of detecting the electronic pen 7 (hereinafter, referred to as “pen detection”).
  • FIG. 2 is a processing flowchart showing details of touch detection performed by the touch detection unit 32.
  • the touch detection unit 32 first transmits a touch detection signal to each X electrode 2x (step S10), and subsequently receives a touch detection signal at each Y electrode 2y (step S10). S11). Then, based on the reception result, a heat map indicating the detection level of each of the two-dimensional positions of the sensor electrode group 2 is created (Step S12).
  • the touch detection signal is a signal composed of K pulse trains each including K pulses (data of “1” or “ ⁇ 1”).
  • K is the number of X electrodes 2x.
  • the contents of the K pulse trains are all different.
  • the touch detection unit 32 inputs the K pulse trains one by one to each X electrode 2x in parallel (step S10). Then, the value of the current flowing out of each Y electrode 2y is obtained each time an input is made (step S11). The current value thus obtained is the inner product of the K pulses constituting the input pulse train and the K capacitances formed at the intersections of the Y electrode 2y and each X electrode 2x.
  • the touch detection unit 32 acquires K current values for each Y electrode 2y.
  • the touch detection unit 32 calculates, for each of the K pulse trains, an inner product of the K pulses constituting the pulse train and the acquired K current values, thereby calculating the inner product of each of the two-dimensional positions of the sensor electrode group 2.
  • the detection level is calculated for each of the X electrodes 2x and the Y electrodes 2y (step S12).
  • the touch detection unit 32 that has generated the heat map generates frame data including the generated heat map and transmits the frame data to the host processor 5 (step S13).
  • the touch detection unit 32 also derives, based on the generated heat map, a touch area that is an area that is touched by the finger 8 and a palm area that is an area that is touched not by the finger 8 but by the palm or fist of the user. Is performed (step S14). Specifically, first, a region where the capacitance is larger than a predetermined threshold is determined. If the area of the region is equal to or smaller than the predetermined threshold, the region is determined to be a touch region. Otherwise, a palm region is determined. . One touch detection operation is completed by a series of processes up to this point. Note that the touch detection unit 32 may also transmit the touch area and the palm area acquired in step S14 to the host processor 5.
  • each of the thresholds used by the touch detection unit 32 to acquire the touch area and the palm area constitutes a part of various touch detection parameters used by the touch detection unit 32 to perform touch detection.
  • the various parameters for touch detection include, in addition to the above, parameters serving as determination criteria for labeling (processing for recognizing adjacent touch areas as the same area) (for example, a total of eight in two vertical directions, two horizontal directions, and four diagonal directions).
  • N N in a case where a criterion is provided that a touch area adjacent in n directions is regarded as one touch area, parameters for controlling the content of a signal for touch detection, an area to be subjected to touch detection , A parameter for controlling one or more sensor electrodes used for touch detection in the sensor electrode group 2, a parameter for determining a tracking target in the case of multi-touch, and a palm area determination method.
  • a parameter for controlling the content of data transmitted from the touch detection unit 32 to the host processor 5; Parameters, parameters for controlling the driving method of the sensor electrode group 2 (e.g., the waveform of the touch detection signal, the voltage, the transmit frequency) may like.
  • the touch detection unit 32 is configured to control these touch detection parameters based on the touch control data included in the determination data returned from the host processor 5.
  • FIG. 3 is a processing flowchart showing details of pen detection performed by the pen detection unit 33.
  • the pen detection unit 33 performs a process of transmitting an uplink signal to the electronic pen 7 by generating an uplink signal and inputting the signal to each X electrode 2x (step). S20).
  • the uplink signal is a signal for synchronizing the electronic pen 7 with the system 1 and transmitting a command to the electronic pen 7.
  • the electronic pen 7 receives an unmodulated burst signal and various data (such as pen pressure, side switch ON / OFF information, and pen ID) acquired in the electronic pen 7. And a data signal modulated by “pen acquisition data” in this order.
  • the command transmitted by the uplink signal has a role of instructing the electronic pen 7 on the content of data to be transmitted by the data signal.
  • the pen detection unit 33 determines whether or not to perform a global scan (Step S21). This determination is made based on the pen control data included in the determination data returned from the host processor 5, which will be described later.
  • the pen detection unit 33 scans all the sensor electrodes included in the sensor electrode group 2 at the timing when the electronic pen 7 is transmitting the pen signal (global scanning). Scan) is performed (step S22), and it is determined whether or not a pen signal is detected as a result (step S23). In the global scan, the data signal is not demodulated, and in step S23, it is determined only whether or not a pen signal is detected. If it is determined in step S23 that the pen signal has not been detected, the pen detection unit 33 transmits pen data indicating pen non-detection to the host processor 5 (step S32), and ends the pen detection operation.
  • the pen detection unit 33 that has determined that the pen signal has been detected in step S23 derives pen coordinates based on the detection level of the pen signal at each sensor electrode (step S24). Then, pen data indicating the derived pen coordinates is transmitted to the host processor 5 (step S25), and the pen detection operation ends.
  • the pen detection unit 33 determines, at the timing when the electronic pen 7 is transmitting the burst signal, the last pen among the plurality of sensor electrodes constituting the sensor electrode group 2. A process of scanning only a predetermined number of sensor electrodes located near the coordinates (sector scan) is performed (step S26), and as a result, it is determined whether a pen signal is detected (step S27). If it is determined that the pen signal has not been detected in this determination, the pen detection unit 33 transmits pen data indicating pen non-detection to the host processor 5 (step S32), and ends the pen detection operation.
  • the pen detection unit 33 that has determined that the pen signal has been detected in step S27 derives pen coordinates based on the detection level of the pen signal in each sensor electrode (step S28). Thereafter, the data signal is received and demodulated using the sensor electrode closest to the derived pen coordinates, and the pen acquisition data transmitted by the electronic pen 7 is received (step S29).
  • the pen detection unit 33 performs a process of acquiring pen state information (step S30).
  • the pen status information indicates that the electronic pen 7 has touched the touch surface (pen up), that the electronic pen 7 that has touched the touch surface has continued to touch the touch surface (pen move), and that the electronic pen 7 has moved away from the touch surface.
  • Information pen down.
  • the determination as to whether or not the electronic pen 7 is in contact with the touch surface is based on whether or not the pen pressure acquired in step S30 exceeds a predetermined threshold (hereinafter, referred to as “pen pressure ON load”). Is determined.
  • the pen state information acquired in step S30 may include tilt information indicating the tilt of the electronic pen 7. More specifically, the electronic pen 7 that supports tilt detection is configured to transmit a pen signal from each of the two transmission electrodes.
  • the pen detection unit 33 obtains two pen coordinates by deriving pen coordinates based on each of the two pen signals thus transmitted, and based on the distance between these two pen coordinates, the electronic pen 7 Is derived.
  • the pen detection unit 33 that has completed step S30 transmits the derived pen coordinates, the received pen acquisition data, and the pen data indicating the acquired pen state information to the host processor 5 (step S31), and ends the pen detection operation. I do.
  • the pen pressure ON load used by the pen detection unit 33 to obtain the pen state information constitutes a part of various pen detection parameters used by the pen detection unit 33 to perform pen detection.
  • the various parameters for pen detection include a parameter indicating an operation ratio of global scan and sector scan for forcibly executing global scan, and a parameter indicating that a pen signal has been detected in steps S23 and S27 in FIG.
  • the pen detection unit 33 is configured to control these various pen detection parameters based on pen control data included in the determination data returned from the host processor 5.
  • the host processor 5 is a central processing unit (CPU: Central Processing Unit) of the system 1, and plays a role of controlling the entire system 1 by executing a predetermined operating system (OS) 52.
  • the host processor 5 may include a GPU (Graphics @ Processing @ Unit).
  • a GPU is a processing device that can generally perform calculations at a higher speed than a CPU, and performs processing that requires high-speed calculations such as real-time image processing.
  • the host processor 5 is connected to the bus interfaces 40 and 41 and the memory 42 via the internal bus 6.
  • the memory 42 stores a program that defines the operation of the host processor 5, and the host processor 5 reads and executes the program to perform each process described below.
  • the memory 42 also has a role of temporarily or permanently storing various data used by the host processor 5 during processing.
  • the bus interface 40 is connected to the touch IC 3 via the dedicated bus 4a, and the bus interface 41 is connected to the touch IC 3 via the peripheral device bus 4b.
  • the host processor 5 is connected to the touch IC 3 in two systems via the dedicated bus 4a and the peripheral device bus 4b.
  • the peripheral device bus 4b is a bus generally used in the system 1, and is constituted by, for example, a universal serial bus (USB).
  • the touch coordinates and palm coordinates derived by the touch detection unit 32 and the pen data obtained by the pen detection unit 33 are preferably transmitted from the touch IC 3 to the host processor 5 via the peripheral device bus 4b.
  • the dedicated bus 4a is specially provided for transmitting and receiving the frame data including the heat map and the determination data, and is constituted by, for example, a serial peripheral interface (SPI) so that a large amount of data can be transmitted and received.
  • SPI serial peripheral interface
  • the determination data may be transmitted from the host processor 5 to the touch IC 3 via the peripheral device bus 4b because the data amount is not as large as the heat map.
  • a touch IC compatible firmware (FW) 51 (external processor) is also executed.
  • the touch IC compatible firmware 51 is, for example, a program that operates on the GPU, and generates predetermined data based on frame data (heat map) and pen data supplied from the touch IC 3 to generate the determination data. A process of returning the determined data to the touch IC 3 is performed. The generation and reduction of the determination data will be described in more detail later with reference to a sequence diagram and a processing flowchart.
  • the predetermined process performed by the firmware 51 corresponding to the touch IC includes a process of deriving a touch area and a palm area based on a heat map and pen coordinates supplied from the touch IC 3.
  • the touch IC compatible firmware 51 supplies the derived touch area and palm area to the touch driver 53 of the operating system 52.
  • FIG. 4A is a diagram illustrating a palm area deriving process performed by the touch IC compatible firmware 51.
  • the drawing shows a case where four touch areas A to D are derived by the touch IC compatible firmware 51 and one pen coordinate is supplied from the touch IC 3.
  • the hand of the user holding the electronic pen 7 may touch the touch surface and be derived as a touch area.
  • the touch area that may be derived in this manner should be located on the right side of the pen coordinates if the user is right-handed, and on the left side of the pen coordinates if the user is left-handed. Therefore, when the user is right-handed, the touch IC compatible firmware 51 temporarily sets a palm area of a predetermined shape (a range indicated by a broken line in FIG. 4A) on the right side of the pen coordinates and includes the palm area in the palm area.
  • the touch area to be acquired is acquired as a palm area. In the example of FIG. 4A, the touch areas C and D are acquired as palm areas.
  • a palm area having a predetermined shape is temporarily set to the left of the pen coordinates, and a touch area included therein is acquired as the palm area.
  • the touch IC compatible firmware 51 In order for the touch IC compatible firmware 51 to perform such processing, it is necessary to acquire information indicating the dominant hand of the user in advance. In one example, this can be realized by setting a parameter indicating the user's dominant hand (right-handed or left-handed) in the touch IC compatible firmware 51 by a user setting in advance. In another example, it can be realized by the touch IC compatible firmware 51 determining the dominant hand of the user from the positional relationship between the touch area and the pen coordinates.
  • FIG. 4B is a diagram illustrating an example of determination of the dominant hand of the user by the touch IC compatible firmware 51.
  • two touch areas A and B exist on the left side of the pen coordinates.
  • the touch IC compatible firmware 51 can determine that the user's dominant hand is the left hand.
  • the user's dominant hand can be determined by the touch IC compatible firmware 51.
  • the touch IC-compatible firmware 51 obtains, for example, a touch area having an area equal to or larger than a predetermined value as the palm area. Is also good.
  • the operating system 52 includes a touch driver 53 and a pen driver 54.
  • the touch driver 53 has a role of receiving the touch area and the palm area derived by the touch IC-compatible firmware 51, performing predetermined processing, and passing it to a drawing application or the like running on the operating system 52.
  • the pen driver 54 has a role of receiving pen data from the touch IC 3, performing predetermined processing, and passing the pen data to the drawing application or the like.
  • the drawing application generates and renders ink data indicating the trajectory of the finger 8 or the electronic pen 7 on the touch surface based on the data thus received from the touch driver 53 and the pen driver 54. Thereby, the user can confirm the result of the input with the electronic pen 7 or the finger 8 on the screen.
  • FIG. 5 is a sequence diagram showing the operation of the system 1 shown in FIG.
  • the touch IC 3 is configured to repeatedly execute pen detection by the pen detection unit 33 (step S1) and touch detection by the touch detection unit 32 (step S2).
  • the execution ratio (scan scenario) of steps S1 and S2 is determined by pen control data (for controlling pen detection operation) included in the determination data returned from the touch IC compatible firmware 51 to the touch IC 3. )
  • the touch IC compatible firmware 51 instructs the touch IC 3.
  • the touch IC 3 is configured to execute steps S1 and S2 according to the instruction.
  • the touch IC 3 supplies pen data to the touch IC compatible firmware 51 and the operating system 52 (more specifically, the pen driver 54). This supply is executed via the peripheral device bus 4b. Further, when the touch detection (step S2) is performed by the touch detection unit 32, the touch IC 3 supplies frame data including a heat map to the touch IC compatible firmware 51. This supply is performed via the dedicated bus 4a.
  • step S3 The touch IC compatible firmware 51 that has received the pen data and the frame data executes a determination process (step S3). Through this processing, determination data including touch control data including the touch area and the palm area and pen control data is generated. The generated determination data is returned to the touch IC 3 via the dedicated bus 4a or the peripheral device bus 4b. The touch area and the palm area are also supplied to the operating system 52 (more specifically, the touch driver 53).
  • FIG. 6 is a processing flowchart showing details of the determination processing performed in step S3.
  • the touch IC compatible firmware 51 first determines whether the pen data includes pen coordinates or data indicating pen non-detection (step S40). If it is determined that pen coordinates are included, pen control data specifying a scan scenario at the time of pen detection and a sector scan position is generated (step S41). On the other hand, when it is determined that data indicating pen non-detection is included, pen control data for designating a scan scenario at the time of pen non-detection and global scan execution is generated (step S42).
  • the scan scenario when a pen is detected is a scenario that includes pen detection at a higher frequency than the scan scenario when a pen is not detected.
  • the frequency of receiving pen signals by the touch IC 3 can be increased at the time of pen detection, so that the position of the electronic pen 7 can be detected more frequently.
  • the touch area and the palm area can be acquired more frequently.
  • the touch IC compatible firmware 51 extracts a heat map from the received frame data, and derives a touch area based on the extracted heat map (step S43).
  • the touch IC compatible firmware 51 further derives a palm area based on the pen coordinates included in the received pen data and the touch area derived in step S43 (step S44). The details of this derivation are as described with reference to FIG.
  • the palm area may not be derived, or the touch area having the area equal to or larger than the predetermined value may be derived as the palm area.
  • the touch IC compatible firmware 51 supplies the derived touch area and palm area to the operating system 52 (more specifically, the touch driver 53) (step S45).
  • the touch IC compatible firmware 51 generates touch control data including the derived touch area and palm area (step S46), and performs the above-described pen detection based on the received pen coordinates and the derived touch area and palm area.
  • the control contents of various parameters are generated and added to the pen control data (step S47).
  • the touch IC compatible firmware 51 generates determination data including the touch control data and the pen control data, transmits the generated determination data to the touch IC 3 (step S48), and ends the determination processing.
  • the touch IC 3 that has received the determination data executes a process based on the determination data in each of the touch detection unit 32 and the pen detection unit 33 (Step S4).
  • FIG. 7 is a process flowchart showing details of a portion related to touch detection in the process based on the determination data performed in step S4.
  • the touch detection unit 32 first obtains touch control data from the determination data (step S50), and includes a touch area and a palm area included therein, and a touch area and a touch area derived inside the touch IC 3.
  • a comparison is made with the palm area (step S51).
  • the touch detection unit 32 performs the above-described touch detection so that the touch area and the palm area derived inside the touch IC 3 approach the touch area and the palm area derived by the touch IC compatible firmware 51.
  • Various parameters are controlled (step S52), and the process ends.
  • step 52 when five fingers are detected on the touch IC compatible firmware 51 side but only four fingers are detected on the touch IC 3 side, a touch is detected to increase the touch detection sensitivity.
  • the threshold value capactance threshold value
  • the palm can be easily detected.
  • control for increasing the threshold value (area threshold value) for detecting a palm may be included.
  • a plurality of operation modes for example, a glove mode, a mode with a foreign substance such as a water droplet
  • the touch IC compatible firmware 51 may determine an optimal operation mode based on the heat map, and the touch IC 3 may control various parameters for touch detection so as to operate in the determined operation mode.
  • the other parameters described above may be controlled.
  • FIG. 8 is a processing flowchart showing details of a portion related to pen detection in the processing based on the determination data performed in step S4.
  • the pen detection unit 33 acquires pen control data from the determination data (step S60).
  • a scan scenario is set according to the specification of the obtained pen control data (step S61).
  • Subsequent pen detection operations and touch detection operations are performed according to the scan scenario set here.
  • the pen detection unit 33 determines which of the global scan execution and the sector scan position is designated by the pen control data (step S62). If it is determined that the execution of the global scan is designated, the pen detection unit 33 sets the next pen detection to the global scan (step S63). Thus, in the next pen detection, the determination result in step S21 in FIG. 3 becomes positive. On the other hand, when it is determined in step S62 that the sector scan position has been designated, the pen detection unit 33 sets the next pen detection to the sector scan and sets the position (step S64). Thus, in the next pen detection, the determination result in step S21 of FIG. 3 is negative, and the sensor electrode to be scanned is determined in step S26 of FIG.
  • the pen detection unit 33 controls the various parameters for pen detection based on the control contents of the various parameters for pen detection included in the pen control data (step S65), and ends the process.
  • Controls such as raising or lowering the detection level or changing the operation ratio between the global scan and the sector scan may be included.
  • step S65 the other parameters described above may be controlled.
  • the determination data which is the result of the processing by the host processor 5 is returned from the touch IC compatible firmware 51 to the touch IC 3, so that the touch The IC 3 can use the result of the processing by the host processor 5.
  • the touch IC 3 can derive the touch area and the palm area with higher accuracy, and can perform the pen detection based on the control from the firmware 51 corresponding to the touch IC.
  • the heat map having a large data size is transmitted via the dedicated bus 4a, the heat map can be supplied from the touch IC 3 to the host processor 5 without squeezing the communication resources of the peripheral device bus 4b. .
  • the pen data is supplied to the touch IC compatible firmware 51 every time the pen detection unit 33 executes the pen detection.
  • the touch detection unit 33 executes the pen detection.
  • only the pen data obtained as a result of the pen detection performed immediately before the touch detection is supplied to the touch IC corresponding firmware 51. Is also good. By doing so, it is possible to reduce the processing of the touch IC compatible firmware 51 without affecting the determination processing in step S3 of FIG.
  • the touch area and the palm area are supplied from the touch IC compatible firmware 51 to the operating system 52.
  • more advanced processing such as gesture recognition based on a heat map is performed by the touch IC compatible firmware 51.
  • the operation may be performed, and the result may be supplied to the operating system 52.
  • the determination data to be returned to the touch IC 3 may include the result of the advanced processing. This makes it possible to use the touch IC compatible firmware 51 more meaningfully.
  • the touch IC compatible firmware 51 only the touch area and the palm area derived by the touch IC compatible firmware 51 are included in the touch control data.
  • the touch IC compatible firmware At 51 specific control contents of various parameters for touch detection may be generated and included in the touch control data. This makes it possible to specifically control various parameters for touch detection used by the touch detection unit 32 from the touch IC compatible firmware 51.
  • FIG. 9 is a diagram showing the configuration of the system 1 according to the second embodiment of the present invention.
  • the system 1 according to the present embodiment uses an AI (Artificial Intelligence) coprocessor 9 provided separately from the host processor 5 as an external processor of the touch IC 3, and pen data is not supplied to the AI coprocessor 9 which is an external processor.
  • AI Artificial Intelligence
  • the configuration is the same as the system 1 according to the first embodiment. Therefore, the same components as those in the first embodiment are denoted by the same reference numerals, and hereinafter, the system 1 according to the first embodiment is described. The following description focuses on the differences from FIG.
  • the system 1 according to the present embodiment includes an AI coprocessor 9.
  • the touch IC compatible firmware 51 shown in FIG. 1 is not provided in the system 1 according to the present embodiment.
  • the bus interface 40 is provided in the AI coprocessor 9 and is not connected to the internal bus 6.
  • the AI coprocessor 9 is an auxiliary processor having a built-in artificial intelligence, and is connected to the touch IC 3 via the dedicated bus 4a.
  • the AI coprocessor 9 receives the frame data including the heat map from the touch IC 3 via the dedicated bus 4a, derives the touch coordinates and the palm coordinates based on the received heat map, and transmits the determination data including the result to the dedicated bus 4a. To return to the touch IC 3 via the.
  • the touch detection unit 32 is configured to extract the touch coordinates and the palm coordinates from the reduced determination data and report the touch coordinates and the palm coordinates to the host processor 5 via the peripheral device bus 4b.
  • the host processor 5 can acquire the touch area and the palm area derived by the AI coprocessor 9 without performing communication with the AI coprocessor 9.
  • the AI coprocessor 9 is hidden from the viewpoint of the host processor 5, it is possible to add the AI coprocessor 9 as an external processor without changing the implementation of the host processor 5.
  • FIG. 10 is a sequence diagram showing an operation of the system 1 according to the present embodiment.
  • pen data obtained as a result of pen detection (step S1) by the pen detection unit 33 is transmitted only to the operating system 52 (more specifically, the pen driver 54). And is not supplied to the AI coprocessor 9. Further, the determination process of step S3a is performed instead of the determination process of step S3.
  • FIG. 11 is a processing flowchart showing details of the determination processing performed in step S3a.
  • the judgment processing performed in step S3a is different from the judgment processing shown in FIG. 6 in that steps S40 to S42, S45, and S47 are omitted, and steps S44 and S48 are changed to steps S44a and S48a, respectively. Has become.
  • Step S44a differs from step S44 shown in FIG. 6 in that pen coordinates are not used. That is, the AI coprocessor 9 is configured to derive the palm area based only on the touch area derived in step S43. In a specific example, a touch area having an area equal to or larger than a predetermined value may be derived as a palm area.
  • Step S48a is different from step S48 shown in FIG. 6 in that the determination data does not include the pen control data.
  • the touch detection unit 32 reports the touch area and the palm area included in the determination data received from the AI coprocessor 9 to the host processor 5 as the touch area and the palm area derived by itself. Thereby, as described above, it is possible to add the AI coprocessor 9 which is an external processor without changing the implementation of the host processor 5.
  • the touch coordinates and the palm coordinates derived by the AI coprocessor 9 are supplied to the host processor 5 via the touch IC 3.
  • An external processor can be added without changing the implementation of the host processor 5.
  • the touch detection unit 32 may also execute the processing shown in FIG. By doing so, also in the present embodiment, the touch IC 3 can derive the touch area and the palm area with higher accuracy.
  • pen data obtained as a result of pen detection (step S1) by the pen detection unit 33 may be supplied to the AI coprocessor 9.
  • the pen detection unit 33 can perform pen detection based on control from the host processor 5.
  • the AI coprocessor 9 can derive the palm area based on the pen coordinates.
  • more advanced processing such as gesture recognition based on a heat map may be performed in the AI coprocessor 9, and the result may be included in the determination data returned to the touch IC 3.
  • the touch IC 3 also reports the result of the advanced processing thus reduced to the host processor 5. This makes it possible to utilize the AI coprocessor 9 more meaningfully.

Abstract

【課題】タッチＩＣが外部プロセッサによる処理の結果を利用できるようにする。 【解決手段】本発明は、タッチ検出を実行するタッチＩＣ３とタッチＩＣ３と異なるタッチＩＣ対応ファームウェア５１とを含むシステム１で実行される方法である。システム１は、タッチＩＣ３に接続されたセンサ電極群２と、タッチＩＣ３とタッチＩＣ対応ファームウェア５１とを接続する専用バス４ａと、をさらに含む。本発明による方法において、タッチＩＣ３は、センサ電極群２の２次元位置ごとの検出レベルを示すフレームデータを生成し、専用バス４ａを介してタッチＩＣ対応ファームウェア５１に供給し、タッチＩＣ対応ファームウェア５１は、フレームデータに基づいて所定の処理を行った結果である判定データをタッチＩＣ３に還元し、タッチＩＣ３は、判定データに基づく動作を実行する。

Description

タッチＩＣ及び外部プロセッサを含むシステムで実行される方法
　本発明は、タッチＩＣ及び外部プロセッサを含むシステムで実行される方法に関する。
　タッチ面内における指や電子ペンの位置を検出する位置検出システムにおいて位置検出処理を実行するのは、通常、タッチＩＣである。しかしながら、近年ではジェスチャー認識などの複雑な処理を含む位置検出処理が求められるようになってきており、メモリ容量やプロセッサ処理能力などの計算機資源が少ない簡易な構成のタッチＩＣでは対応が難しくなってきている。そこで、外部プロセッサ（ＣＰＵ、ＧＰＵ，ＤＳＰ，ＡＩプロセッサ等のタッチＩＣと異なる集積回路）を追加し、これまでタッチＩＣで行われていた位置検出処理を外部プロセッサに肩代わりさせるシステムの検討が始まっている。この種のシステムによれば、外部プロセッサの潤沢な計算機資源を用いて、タッチＩＣにより取得されたフレームデータ（１タッチ面分の検出データ）に基づくジェスチャ認識等の高度な処理を実行することが可能となる。
　特許文献１，２には、そのようなシステムの一例が開示されている。具体的に説明すると、特許文献１の図３には、タッチＩＣ（３０４）から外部プロセッサであるＧＰＵ（３０８）にフレームデータを供給し、ＧＰＵ（３０８）によりタッチ位置を計算するシステムが開示されている。また、特許文献２の図１には、タッチＩＣをソース側とし、ＤＳＰである外部プロセッサをシンク側としたタッチデータの通信インタフェースを有するシステムが開示されている。
米国特許出願公開第２０１７／０２５５３２０号明細書 米国特許出願公開第２０１６／０１７０５４８号明細書
　しかしながら、特許文献１，２に記載のシステムにおいては、タッチＩＣに外部プロセッサによる処理の結果が還元されない。そうすると、タッチＩＣによるタッチ検出やペン検出の動作のために外部プロセッサによる処理の結果を利用することができないので、改善が必要とされている。
　また、タッチＩＣで検出された位置や筆圧などのデータは後段のホストプロセッサに送られ、そこでインクデータの生成などに使用されることになるが、外部プロセッサを追加する場合、ホストプロセッサは、それまでタッチＩＣから一括して得ていたデータの一部を外部プロセッサから取得しなければならなくなる。そうすると、ホストプロセッサの実装にも影響が及ぶことになってしまうので、ホストプロセッサの実装を変更せずに外部プロセッサを追加できるようにすることが必要とされている。
　本発明の第１の側面による方法は、タッチ検出を実行するタッチＩＣと前記タッチＩＣと異なる外部プロセッサとを含むシステムで実行される方法であって、前記システムは、前記タッチＩＣに接続されたセンサ電極群と、前記タッチＩＣと前記外部プロセッサとを接続する第１のバスと、をさらに含み、前記タッチＩＣは、前記センサ電極群の２次元位置ごとの検出レベルを示すフレームデータを生成し、前記第１のバスを介して前記外部プロセッサに供給し、前記外部プロセッサは、前記フレームデータに基づいて所定の処理を行った結果である判定データを前記タッチＩＣに還元し、前記タッチＩＣは、前記判定データに基づく動作を実行する、方法である。
　本発明の第２の側面による方法は、上記第１の側面による方法において、前記外部プロセッサは、前記第１のバスを介して前記判定データを前記タッチＩＣに還元し、前記外部プロセッサは、前記タッチＩＣを補助するためのＡＩコプロセッサであり、前記システムは、前記タッチＩＣとホストプロセッサとを接続する第２のバスをさらに含み、前記タッチＩＣは、前記判定データに含まれるタッチ座標を前記第２のバスを介して前記ホストプロセッサにレポートする、方法である。
　本発明の第１の側面によれば、外部プロセッサによる処理の結果である判定データを外部プロセッサからタッチＩＣに還元しているので、タッチＩＣは、外部プロセッサによる処理の結果を利用することが可能になる。
　本発明の第２の側面によれば、ＡＩコプロセッサで導出されたタッチ座標をタッチＩＣ経由でホストプロセッサに供給しているので、ホストプロセッサの実装を変更せずに外部プロセッサを追加することが可能になる。
本発明の第１の実施の形態によるシステム１の構成を示す図である。 図１に示したタッチ検出部３２が行うタッチ検出の詳細を示す処理フロー図である。 図１に示したペン検出部３３が行うペン検出の詳細を示す処理フロー図である。 （ａ）は、図１に示したタッチＩＣ対応ファームウェア５１が行うパーム領域の導出処理を説明する図であり、（ｂ）は、タッチＩＣ対応ファームウェア５１によるユーザの利き手の判定の例を説明する図である。 図１に示したシステム１の動作を示すシーケンス図である。 図５に示したステップＳ３で行われる判定処理の詳細を示す処理フロー図である。 図５に示したステップＳ４で行われる判定データに基づく処理のうちタッチ検出に関する部分の詳細を示す処理フロー図である。 図５に示したステップＳ４で行われる判定データに基づく処理のうちペン検出に関する部分の詳細を示す処理フロー図である。 本発明の第２の実施の形態によるシステム１の構成を示す図である。 図９に示したシステム１の動作を示すシーケンス図である。 図１０に示したステップＳ３ａで行われる判定処理の詳細を示す処理フロー図である。
　以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
　図１は、本発明の第１の実施の形態によるシステム１の構成を示す図である。同図に示すように、システム１は、センサ電極群２と、タッチＩＣ３と、専用バス４ａ（第１のバス）と、周辺機器バス４ｂ（第２のバス）と、バスインターフェース４０，４１と、メモリ４２と、ホストプロセッサ５と、内部バス６とを有して構成される。
　センサ電極群２は、タッチ面の直下に配置される複数のセンサ電極である。例えばシステム１がタブレット端末である場合、センサ電極群２は、タッチ面である表示面の直下に配置される。センサ電極群２を構成する複数のセンサ電極には、それぞれ図示したｙ方向に延在し、ｘ方向（ｙ方向と直交する方向）に等間隔で配置された複数のＸ電極２ｘと、それぞれ図示したｘ方向に延在し、ｙ方向に等間隔で配置された複数のＹ電極２ｙとが含まれる。
　タッチＩＣ３は、ファームウェア３１を実行可能に構成された集積回路であり、センサ電極群２を構成する各センサ電極に接続されている。ファームウェア３１は、図示した指８を検出する動作（以下、「タッチ検出」という）を行うタッチ検出部３２と、センサ電極群２に誘導される電荷に基づいてペン信号を検出することにより図示した電子ペン７を検出する動作（以下、「ペン検出」という）を行うペン検出部３３とを実現するよう構成される。
　図２は、タッチ検出部３２が行うタッチ検出の詳細を示す処理フロー図である。同図に示すように、タッチ検出部３２はまず、各Ｘ電極２ｘに対してタッチ検出用信号を送信し（ステップＳ１０）、続いて、各Ｙ電極２ｙにおいてタッチ検出用信号を受信する（ステップＳ１１）。そして、受信結果に基づいて、センサ電極群２の２次元位置ごとの検出レベルを示すヒートマップを作成する（ステップＳ１２）。
　ステップＳ１～Ｓ３の処理について、より詳しく説明する。タッチ検出用信号は、それぞれＫ個のパルス（「１」又は「－１」のデータ）を含むＫ個のパルス列からなる信号である。ただし、ＫはＸ電極２ｘの本数である。また、Ｋ個のパルス列の内容（すなわち、Ｋ個のパルスの組み合わせ）はすべて異なっている。
　タッチ検出部３２は、Ｋ個のパルス列を１つずつ、各Ｘ電極２ｘに対してパラレルに入力する（ステップＳ１０）。そして、入力の都度、各Ｙ電極２ｙから流れ出る電流の値を取得する（ステップＳ１１）。こうして取得される電流値は、入力したパルス列を構成するＫ個のパルスと、そのＹ電極２ｙと各Ｘ電極２ｘとの交点に形成されているＫ個の静電容量との内積となる。
　上記処理により、タッチ検出部３２は、Ｙ電極２ｙごとにＫ個の電流値を取得することになる。タッチ検出部３２は、Ｋ個のパルス列のそれぞれについて、該パルス列を構成するＫ個のパルスと、取得したＫ個の電流値との内積を算出することにより、センサ電極群２の２次元位置ごと（すなわち、各Ｘ電極２ｘと各Ｙ電極２ｙの交点ごと）の検出レベルを算出する（ステップＳ１２）。こうして、上述したヒートマップが完成する。
　ヒートマップを生成したタッチ検出部３２は、生成したヒートマップを含むフレームデータを生成し、ホストプロセッサ５に対して送信する（ステップＳ１３）。
　タッチ検出部３２はまた、生成したヒートマップに基づき、指８によってタッチされている領域であるタッチ領域と、指８ではなくユーザの手の平又は拳によってタッチされている領域であるパーム領域とを導出する処理を行う（ステップＳ１４）。具体的には、まず静電容量が所定の閾値より大きい領域を判定し、その領域の面積が所定の閾値以下である場合にはタッチ領域と判定し、そうでない場合にはパーム領域と判定する。ここまでの一連の処理により、１回のタッチ検出動作が終了する。なお、タッチ検出部３２は、ステップＳ１４で取得したタッチ領域及びパーム領域についても、ホストプロセッサ５に対して送信することとしてもよい。
　ここで、タッチ検出部３２がタッチ領域及びパーム領域を取得するために使用する上記各閾値は、タッチ検出部３２がタッチ検出を行うために使用するタッチ検出用各種パラメータの一部を構成する。タッチ検出用各種パラメータには、他に、ラベリング（隣接するタッチ領域を同一領域として認識する処理）のための判定基準となるパラメータ（例えば、縦２方向、横２方向、斜め４方向の計８方向のうちのｎ方向で隣接しているタッチ領域は１つのタッチ領域とみなす、という基準を設ける場合のｎ）、タッチ検出用信号の内容を制御するためのパラメータ、タッチ検出の対象とする領域を制御するためのパラメータ、センサ電極群２のうちタッチ検出において使用する１以上のセンサ電極を制御するためのパラメータ、マルチタッチの場合にトラッキング対象を決定するためのパラメータ、パーム領域の判定方法を制御するためのパラメータ、タッチ検出部３２からホストプロセッサ５に対して送信するデータの内容を制御するためのパラメータ、センサ電極群２の駆動方法を制御するためのパラメータ（例えば、タッチ検出用信号の波形、電圧、送信周波数）などが含まれ得る。詳しくは後述するが、タッチ検出部３２は、ホストプロセッサ５から還元される判定データに含まれるタッチ制御データに基づき、これらのタッチ検出用各種パラメータを制御するよう構成される。
　図３は、ペン検出部３３が行うペン検出の詳細を示す処理フロー図である。同図に示すように、ペン検出部３３はまず、アップリンク信号を生成して各Ｘ電極２ｘに対して入力することにより、電子ペン７に対してアップリンク信号を送信する処理を行う（ステップＳ２０）。アップリンク信号は、電子ペン７をシステム１に同期させるとともに、電子ペン７に対する命令（コマンド）を送信するための信号である。電子ペン７は、このアップリンク信号を受信したことに応じて、無変調のバースト信号と、電子ペン７内で取得される各種データ（筆圧、サイドスイッチのオンオン情報、ペンＩＤなど。以下、「ペン取得データ」と称する）により変調されたデータ信号とをこの順で含むペン信号を送信するよう構成される。アップリンク信号により送信されるコマンドは、データ信号により送信すべきデータの内容を電子ペン７に対して指示する役割を担う。
　続いてペン検出部３３は、グローバルスキャンを行うか否かを判定する（ステップＳ２１）。この判定は、ホストプロセッサ５から還元される判定データに含まれるペン制御データに基づいて行われるが、この点については後述する。
　ステップＳ２１においてグローバルスキャンを行うと判定した場合のペン検出部３３は、電子ペン７がペン信号の送信を行っているタイミングで、センサ電極群２を構成するすべてのセンサ電極をスキャンする処理（グローバルスキャン）を行い（ステップＳ２２）、その結果としてペン信号が検出されたか否かを判定する（ステップＳ２３）。グローバルスキャンにおいてはデータ信号の復調処理は行われず、ステップＳ２３においては、単にペン信号が検出されたか否かのみが判定される。ステップＳ２３においてペン信号が検出されなかったと判定した場合、ペン検出部３３は、ペン不検出を示すペンデータをホストプロセッサ５に対して送信し（ステップＳ３２）、ペン検出動作を終了する。
　一方、ステップＳ２３においてペン信号が検出されたと判定したペン検出部３３は、各センサ電極におけるペン信号の検出レベルに基づき、ペン座標を導出する（ステップＳ２４）。そして、導出したペン座標を示すペンデータをホストプロセッサ５に対して送信し（ステップＳ２５）、ペン検出動作を終了する。
　ステップＳ２１においてグローバルスキャンを行わないと判定した場合のペン検出部３３は、電子ペン７がバースト信号の送信を行っているタイミングで、センサ電極群２を構成する複数のセンサ電極のうち直前のペン座標の近傍に位置する所定数のセンサ電極のみをスキャンする処理（セクタスキャン）を行い（ステップＳ２６）、その結果としてペン信号が検出されたか否かを判定する（ステップＳ２７）。この判定においてペン信号が検出されなかったと判定した場合、ペン検出部３３は、ペン不検出を示すペンデータをホストプロセッサ５に対して送信し（ステップＳ３２）、ペン検出動作を終了する。
　一方、ステップＳ２７においてペン信号が検出されたと判定したペン検出部３３は、各センサ電極におけるペン信号の検出レベルに基づき、ペン座標を導出する（ステップＳ２８）。その後、導出したペン座標に最も近いセンサ電極を用いてデータ信号を受信し、復調することによって、電子ペン７が送信したペン取得データを受信する（ステップＳ２９）。
　続いてペン検出部３３は、ペン状態情報を取得する処理を行う（ステップＳ３０）。ペン状態情報は、電子ペン７がタッチ面に接触したこと（ペンアップ）、タッチ面に接触した電子ペン７が引き続きタッチ面に接触していること（ペンムーブ）、電子ペン７がタッチ面から離れたこと（ペンダウン）のいずれかを示す情報である。電子ペン７がタッチ面に接触しているか否かの判定は、ステップＳ３０で取得された筆圧が所定の閾値（以下、「筆圧ＯＮ荷重」と称する）を上回っているか否かに基づいて判定される。
　なお、ステップＳ３０で取得されるペン状態情報には、電子ペン７の傾きを示す傾き情報が含まれることとしてもよい。詳しく説明すると、傾き検出に対応している電子ペン７は、ペン信号を２つの送信電極のそれぞれから送信するよう構成される。ペン検出部３３は、こうして送信される２つのペン信号のそれぞれに基づいてペン座標を導出することによって２つのペン座標を取得し、これら２つのペン座標の間の距離に基づいて、電子ペン７の傾きを導出するよう構成される。
　ステップＳ３０を終了したペン検出部３３は、導出したペン座標、受信したペン取得データ、取得したペン状態情報を示すペンデータをホストプロセッサ５に対して送信し（ステップＳ３１）、ペン検出動作を終了する。
　ここで、ペン検出部３３がペン状態情報を取得するために使用する筆圧ＯＮ荷重は、ペン検出部３３がペン検出を行うために使用するペン検出用各種パラメータの一部を構成する。ペン検出用各種パラメータには、他に、グローバルスキャンを強制的に実行するためのグローバルスキャンとセクタスキャンの動作割合を示すパラメータ、図３のステップＳ２３，Ｓ２７でペン信号を検出したと判定するためのペン信号の検出レベルであるパラメータ、ペン信号の周波数であるパラメータ、アップリンク信号の送信強度（増幅レベル）であるバラメータ、ペン検出部３３が導出しているペン座標を補正するためのパラメータ、ペン検出部３３が導出している電子ペン７の傾きを補正するためのパラメータなどが含まれ得る。詳しくは後述するが、ペン検出部３３は、ホストプロセッサ５から還元される判定データに含まれるペン制御データに基づき、これらのペン検出用各種パラメータの制御も行うよう構成される。
　図１に戻る。ホストプロセッサ５はシステム１の中央処理装置（ＣＰＵ：Central Processing Unit）であり、所定のオペレーティングシステム（ＯＳ）５２を実行することによりシステム１の全体を制御する役割を担う。ホストプロセッサ５は、ＧＰＵ（Graphics Processing Unit）を含むこととしてもよい。ＧＰＵは、一般にＣＰＵよりも高速に演算を行える処理装置であり、リアルタイム画像処理など高速演算が必要な処理を担う。
　ホストプロセッサ５は、内部バス６を介してバスインターフェース４０，４１及びメモリ４２に接続される。メモリ４２には、ホストプロセッサ５の動作を規定するプログラムが記憶されており、ホストプロセッサ５はこのプログラムを読み出して実行することにより、後述する各処理を行う。また、メモリ４２は、ホストプロセッサ５が処理中に使用する各種データを一時的又は永続的に記憶する役割も担う。
　バスインターフェース４０は、専用バス４ａを介してタッチＩＣ３に接続され、バスインターフェース４１は、周辺機器バス４ｂを介してタッチＩＣ３に接続される。これによりホストプロセッサ５は、専用バス４ａ及び周辺機器バス４ｂのそれぞれを介し、２系統でタッチＩＣ３に接続される。
　周辺機器バス４ｂは、システム１の内部において一般的に利用されるバスであり、例えばユニバーサル・シリアル・バス（ＵＳＢ）によって構成される。タッチ検出部３２が導出したタッチ座標及びパーム座標、並びに、ペン検出部３３が取得したペンデータは、周辺機器バス４ｂによって、タッチＩＣ３からホストプロセッサ５に送信されることが好ましい。一方、専用バス４ａは、ヒートマップを含むフレームデータ及び判定データを送受信するために特別に設けたもので、大容量のデータを送受信できるよう、例えばシリアル・ペリフェラル・インタフェース（ＳＰＩ）によって構成される。なお、判定データについては、データ量がヒートマップほど大きくないことから、周辺機器バス４ｂによってホストプロセッサ５からタッチＩＣ３に送信することとしてもよい。
　ホストプロセッサ５においては、オペレーティングシステム５２の他にタッチＩＣ対応ファームウェア（ＦＷ）５１（外部プロセッサ）も実行される。タッチＩＣ対応ファームウェア５１は、例えばＧＰＵ上で動作するプログラムであり、タッチＩＣ３から供給されるフレームデータ（ヒートマップ）及びペンデータに基づいて所定の処理を行うことによって上記判定データを生成し、生成した判定データをタッチＩＣ３に還元する処理を行う。判定データの生成及び還元については、後ほどシーケンス図及び処理フロー図を参照しながらより詳しく説明する。
　タッチＩＣ対応ファームウェア５１が行う所定の処理には、タッチＩＣ３から供給されるヒートマップ及びペン座標に基づいてタッチ領域及びパーム領域を導出する処理が含まれる。タッチＩＣ対応ファームウェア５１は、導出したタッチ領域及びパーム領域をオペレーティングシステム５２のタッチドライバ５３に供給する。
　図４（ａ）は、タッチＩＣ対応ファームウェア５１が行うパーム領域の導出処理を説明する図である。同図には、タッチＩＣ対応ファームウェア５１により４つのタッチ領域Ａ～Ｄが導出され、かつ、タッチＩＣ３から１つのペン座標とが供給された場合を示している。
　ユーザが電子ペン７による入力を行う場合、電子ペン７を持つユーザの手がタッチ面に触れ、タッチ領域として導出されてしまう可能性がある。こうして導出される可能性があるタッチ領域は、ユーザが右利きであればペン座標の右側に、ユーザが左利きであればペン座標の左側に位置するはずである。そこでタッチＩＣ対応ファームウェア５１は、ユーザが右利きである場合には、ペン座標の右側に所定形状のパーム領域（図４（ａ）において破線で示した範囲）を仮に設定し、その中に含まれるタッチ領域をパーム領域として取得する。図４（ａ）の例では、タッチ領域Ｃ，Ｄがパーム領域として取得されることになる。また、ユーザが左利きである場合には、ペン座標の左側に所定形状のパーム領域を仮に設定し、その中に含まれるタッチ領域をパーム領域として取得する。
　タッチＩＣ対応ファームウェア５１がこのような処理を行うためには、予めユーザの利き手を示す情報を取得する必要がある。これは、一例では、事前のユーザ設定により、タッチＩＣ対応ファームウェア５１にユーザの利き手（右利き又は左利き）を示すパラメータを設定しておくことによって実現できる。また、他の一例では、タッチ領域とペン座標の位置関係から、タッチＩＣ対応ファームウェア５１がユーザの利き手を判定することによっても実現できる。
　図４（ｂ）は、タッチＩＣ対応ファームウェア５１によるユーザの利き手の判定の例を説明する図である。同図の例では、ペン座標の左側に２つのタッチ領域Ａ，Ｂが存在している。タッチ領域Ａ，Ｂとペン座標の位置関係がこの状態を保ったまま一定時間以上継続する場合、タッチＩＣ対応ファームウェア５１は、ユーザの利き手は左手であると判定することができる。このように、タッチＩＣ対応ファームウェア５１によってユーザの利き手を判定することも可能である。
　なお、ここではペン座標との位置関係に基づいてパーム領域を導出する例を説明したが、タッチＩＣ対応ファームウェア５１は、例えば、面積が所定値以上であるタッチ領域をパーム領域として取得することとしてもよい。
　図１に戻る。オペレーティングシステム５２には、タッチドライバ５３及びペンドライバ５４が含まれる。タッチドライバ５３は、タッチＩＣ対応ファームウェア５１により導出されたタッチ領域及びパーム領域を受け取り、所定の処理を加えたうえで、オペレーティングシステム５２上で動作する描画アプリケーションなどに渡す役割を担う。また、ペンドライバ５４は、タッチＩＣ３からペンデータを受け取り、所定の処理を加えたうえで上記描画アプリケーションなどに渡す役割を担う。描画アプリケーションは、こうしてタッチドライバ５３及びペンドライバ５４から受け取ったデータに基づき、タッチ面上における指８又は電子ペン７の軌跡を示すインクデータの生成及びレンダリングなどを行う。これにより、ユーザは、電子ペン７又は指８で入力した結果を画面上で確認することができる。
　次に、タッチＩＣ対応ファームウェア５１による判定データの生成及び還元について、図５～図８を参照しながら、詳しく説明する。
　図５は、図１に示したシステム１の動作を示すシーケンス図である。タッチＩＣ３は、ペン検出部３３によるペン検出（ステップＳ１）と、タッチ検出部３２によるタッチ検出（ステップＳ２）とを繰り返し実行するように構成される。なお、詳しくは後述するが、ステップＳ１，Ｓ２の実行比率（スキャンシナリオ）は、タッチＩＣ対応ファームウェア５１からタッチＩＣ３に還元される判定データに含まれるペン制御データ（ペン検出の動作を制御するためのデータ）によって、タッチＩＣ対応ファームウェア５１からタッチＩＣ３に指示される。タッチＩＣ３は、この指示に従ってステップＳ１，Ｓ２を実行するよう構成される。
　タッチＩＣ３は、ペン検出部３３によるペン検出（ステップＳ１）を実行した場合、タッチＩＣ対応ファームウェア５１とオペレーティングシステム５２（より具体的にはペンドライバ５４）に対して、ペンデータを供給する。この供給は、周辺機器バス４ｂを介して実行される。また、タッチＩＣ３は、タッチ検出部３２によるタッチ検出（ステップＳ２）を実行した場合、タッチＩＣ対応ファームウェア５１に対して、ヒートマップを含むフレームデータを供給する。この供給は、専用バス４ａを介して実行される。
　ペンデータ及びフレームデータを受信したタッチＩＣ対応ファームウェア５１は、判定処理を実行する（ステップＳ３）。この処理により、タッチ領域及びパーム領域を含むタッチ制御データと、ペン制御データとを含む判定データが生成される。生成された判定データは、専用バス４ａ又は周辺機器バス４ｂを介して、タッチＩＣ３に還元される。タッチ領域及びパーム領域は、オペレーティングシステム５２（より具体的にはタッチドライバ５３）にも供給される。
　図６は、ステップＳ３で行われる判定処理の詳細を示す処理フロー図である。同図に示すように、タッチＩＣ対応ファームウェア５１はまず、ペンデータにペン座標又はペン不検出を示すデータのいずれが含まれるかを判定する（ステップＳ４０）。そして、ペン座標が含まれると判定した場合には、ペン検出時のスキャンシナリオと、セクタスキャン位置とを指定するペン制御データを生成する（ステップＳ４１）。一方、ペン不検出を示すデータが含まれると判定した場合には、ペン未検出時のスキャンシナリオと、グローバルスキャン実行とを指定するペン制御データを生成する（ステップＳ４２）。
　ここで、ペン検出時のスキャンシナリオは、ペン未検出時のスキャンシナリオに比べてペン検出を高い頻度で含むシナリオである。こうすることで、ペン検出時にはタッチＩＣ３によるペン信号の受信頻度を上げることができるので、より高い頻度で電子ペン７の位置を検出することが可能になる他、電子ペン７からタッチＩＣ３に対して、よりサイズの大きいデータを送信することが可能になる。一方、ペン未検出時には、タッチ領域及びパーム領域をより高い頻度で取得することが可能になる。
　続いてタッチＩＣ対応ファームウェア５１は、受信したフレームデータからヒートマップ取り出し、取り出したヒートマップに基づき、タッチ領域を導出する（ステップＳ４３）。タッチＩＣ対応ファームウェア５１はさらに、受信したペンデータに含まれるペン座標と、ステップＳ４３で導出したタッチ領域とに基づき、パーム領域を導出する（ステップＳ４４）。この導出の詳細は、図４（ａ）を参照して説明したとおりである。ペン座標が受信されていない場合には、パーム領域を導出しないこととしてもよいし、面積が所定値以上であるタッチ領域をパーム領域として導出することとしてもよい。タッチＩＣ対応ファームウェア５１は、こうして導出したタッチ領域及びパーム領域をオペレーティングシステム５２（より具体的にはタッチドライバ５３）に供給する（ステップＳ４５）。
　次にタッチＩＣ対応ファームウェア５１は、導出したタッチ領域及びパーム領域を含むタッチ制御データを生成する（ステップＳ４６）とともに、受信したペン座標並びに導出したタッチ領域及びパーム領域等に基づいて上述したペン検出用各種パラメータの制御内容を生成し、ペン制御データに追加する（ステップＳ４７）。そして、タッチＩＣ対応ファームウェア５１は、タッチ制御データ及びペン制御データを含む判定データを生成してタッチＩＣ３に向けて送信し（ステップＳ４８）、判定処理を終了する。
　図５に戻る。判定データを受信したタッチＩＣ３は、タッチ検出部３２及びペン検出部３３のそれぞれにおいて、判定データに基づく処理を実行する（ステップＳ４）。
　図７は、ステップＳ４で行われる判定データに基づく処理のうち、タッチ検出に関する部分の詳細を示す処理フロー図である。同図に示すように、タッチ検出部３２はまず、判定データからタッチ制御データを取得し（ステップＳ５０）、その中に含まれるタッチ領域及びパーム領域と、タッチＩＣ３の内部で導出したタッチ領域及びパーム領域とを比較する（ステップＳ５１）。そしてタッチ検出部３２は、比較の結果に基づき、タッチＩＣ３内部で導出するタッチ領域及びパーム領域が、タッチＩＣ対応ファームウェア５１で導出されるタッチ領域及びパーム領域に近づくように、上述したタッチ検出用各種パラメータを制御し（ステップＳ５２）、処理を終了する。
　ステップ５２の制御には、タッチＩＣ対応ファームウェア５１側で５本の指が検出されているのにタッチＩＣ３側で４本しか検出されていない場合に、タッチの検出感度を上げるためにタッチを検出するための閾値（静電容量の閾値）を下げる、という制御、タッチＩＣ対応ファームウェア５１側でパームが検出されているのにタッチＩＣ３側でパームが検出されていない場合に、パームを検出しやすくするためにパームを検出するための閾値（面積の閾値）を上げる、という制御などが含まれ得る。また、それぞれ１以上のタッチ検出用各種パラメータをプリセットしてなる複数の動作モード（例えば、手袋モード、水滴等の異物付モード）を予めタッチＩＣ対応ファームウェア５１及びタッチ検出部３２のそれぞれに記憶しておき、タッチＩＣ対応ファームウェア５１がヒートマップに基づいて最適な動作モードを決定し、決定された動作モードで動作するようタッチＩＣ３がタッチ検出用各種パラメータを制御することとしてもよい。ステップＳ５２において、上述したその他のパラメータを制御することとしてもよいのは勿論である。
　図８は、ステップＳ４で行われる判定データに基づく処理のうち、ペン検出に関する部分の詳細を示す処理フロー図である。ペン検出部３３はまず、判定データからペン制御データを取得する（ステップＳ６０）。そして、取得ペン制御データの指定に従い、スキャンシナリオを設定する（ステップＳ６１）。これ以降のペン検出動作及びタッチ検出動作は、ここで設定されたスキャンシナリオに従って実行される。
　次にペン検出部３３は、ペン制御データによりグローバルスキャン実行とセクタスキャン位置のいずれが指定されているかを判定する（ステップＳ６２）。グローバルスキャン実行が指定されていると判定した場合、ペン検出部３３は、次回のペン検出をグローバルスキャンに設定する（ステップＳ６３）。これにより、次回のペン検出においては、図３のステップＳ２１の判定結果が肯定となる。一方、ステップＳ６２でセクタスキャン位置が指定されていると判定した場合、ペン検出部３３は、次回のペン検出をセクタスキャンに設定するとともに、その位置を設定する（ステップＳ６４）。これにより、次回のペン検出においては、図３のステップＳ２１の判定結果が否定となり、また、図３のステップＳ２６でスキャンの対象となるセンサ電極が決定される。
　最後にペン検出部３３は、ペン制御データに含まれるペン検出用各種パラメータの制御内容に基づいてペン検出用各種パラメータを制御し（ステップＳ６５）、処理を終了する。ステップ６５の制御には、タッチＩＣ対応ファームウェア５１とタッチＩＣ３のそれぞれにおける電子ペン７の検出の有無に応じて、図３のステップＳ２３，Ｓ２７でペン信号を検出したと判定するためのペン信号の検出レベルを上下し、又は、グローバルスキャンとセクタスキャンの動作割合を変更する制御などが含まれ得る。ステップＳ６５において、上述したその他のパラメータを制御することとしてもよいのは勿論である。
　以上説明したように、本実施の形態によるシステム１で実行される方法によれば、ホストプロセッサ５による処理の結果である判定データをタッチＩＣ対応ファームウェア５１からタッチＩＣ３に還元しているので、タッチＩＣ３は、ホストプロセッサ５による処理の結果を利用することが可能になる。その結果として、例えばタッチＩＣ３は、より高い精度でタッチ領域及びパーム領域を導出できるようになるし、タッチＩＣ対応ファームウェア５１からの制御に基づいてペン検出を行えるようになる。
　また、データサイズの大きいヒートマップを専用バス４ａにより送信することとしたので、周辺機器バス４ｂの通信リソースを圧迫することなく、タッチＩＣ３からホストプロセッサ５にヒートマップを供給することが可能になる。
　なお、本実施の形態においては、ペン検出部３３がペン検出を実行する都度、ペンデータがタッチＩＣ対応ファームウェア５１に供給されることとしたが、例えば、複数回のペン検出を実行した後に１回のタッチ検出を実行する、といったスキャンシナリオが採用される場合には、タッチ検出の直前に行われたペン検出の結果として得られたペンデータのみがタッチＩＣ対応ファームウェア５１に供給されることとしてもよい。このようにすれば、図５のステップＳ３における判定処理に影響を与えずに、タッチＩＣ対応ファームウェア５１の処理を軽減することが可能になる。
　また、本実施の形態においては、タッチＩＣ対応ファームウェア５１からオペレーティングシステム５２に対してタッチ領域及びパーム領域を供給するとしたが、ヒートマップに基づくジェスチャ認識などより高度な処理をタッチＩＣ対応ファームウェア５１において実施し、その結果もオペレーティングシステム５２に対して供給することとしてもよい。また、タッチＩＣ３に還元する判定データにも、高度な処理の結果を含めることとしてもよい。こうすることで、タッチＩＣ対応ファームウェア５１をより有意義に活用することが可能になる。
　また、本実施の形態においては、タッチＩＣ対応ファームウェア５１により導出されたタッチ領域及びパーム領域のみがタッチ制御データに含まれることとしたが、ペン検出用各種パラメータと同じように、タッチＩＣ対応ファームウェア５１において具体的なタッチ検出用各種パラメータの制御内容を生成し、タッチ制御データに含めることとしてもよい。こうすれば、タッチ検出部３２で使用されるタッチ検出用各種パラメータをタッチＩＣ対応ファームウェア５１から具体的に制御することが可能になる。
　図９は、本発明の第２の実施の形態によるシステム１の構成を示す図である。本実施の形態によるシステム１は、ホストプロセッサ５とは別に設けられるＡＩ（Artificial Intelligence）コプロセッサ９をタッチＩＣ３の外部プロセッサとして使用する点、外部プロセッサであるＡＩコプロセッサ９にペンデータが供給されない点で、第１の実施の形態によるシステム１と相違する。その他の点では第１の実施の形態によるシステム１と同様であるので、第１の実施の形態と同一の構成については同一の符号を付し、以下では、第１の実施の形態によるシステム１との相違点を中心に説明する。
　図９に示すように、本実施の形態によるシステム１は、ＡＩコプロセッサ９を有して構成される。図１に示したタッチＩＣ対応ファームウェア５１は、本実施の形態によるシステム１には設けられない。また、バスインターフェース４０は、ＡＩコプロセッサ９内に設けられ、内部バス６には接続されない。
　ＡＩコプロセッサ９は、人工知能を内蔵する補助プロセッサであり、専用バス４ａによりタッチＩＣ３に接続される。ＡＩコプロセッサ９は、タッチＩＣ３から専用バス４ａを介してヒートマップを含むフレームデータを受け取り、受け取ったヒートマップに基づいてタッチ座標及びパーム座標を導出し、その結果を含む判定データを専用バス４ａを介してタッチＩＣ３に還元する役割を担う。
　本実施の形態によるタッチ検出部３２は、還元された判定データからタッチ座標及びパーム座標を取り出し、周辺機器バス４ｂを介してホストプロセッサ５にレポートするよう構成される。これにより、ホストプロセッサ５は、ＡＩコプロセッサ９と通信を行うことなく、ＡＩコプロセッサ９により導出されたタッチ領域及びパーム領域を取得することができる。つまり、ホストプロセッサ５から見ればＡＩコプロセッサ９が隠蔽されていることになるので、ホストプロセッサ５の実装を変更せずに、外部プロセッサであるＡＩコプロセッサ９を追加することが実現される。
　図１０は、本実施の形態によるシステム１の動作を示すシーケンス図である。同図に示すように、本実施の形態では、ペン検出部３３によるペン検出（ステップＳ１）の結果として得られるペンデータは、オペレーティングシステム５２（より具体的にはペンドライバ５４）に対してのみ供給され、ＡＩコプロセッサ９へは供給されない。また、ステップＳ３の判定処理に代えて、ステップＳ３ａの判定処理が実行される。
　図１１は、ステップＳ３ａで行われる判定処理の詳細を示す処理フロー図である。同図に示すように、ステップＳ３ａで行われる判定処理は、図６に示した判定処理からステップＳ４０～Ｓ４２，Ｓ４５，Ｓ４７を省き、ステップＳ４４，Ｓ４８をそれぞれステップＳ４４ａ，Ｓ４８ａに変更したものとなっている。
　ステップＳ４４ａは、ペン座標を使用しない点で、図６に示したステップＳ４４と相違する。すなわち、ＡＩコプロセッサ９は、ステップＳ４３で導出したタッチ領域のみに基づき、パーム領域を導出するよう構成される。具体的な例では、面積が所定値以上であるタッチ領域をパーム領域として導出すればよい。ステップＳ４８ａは、判定データにペン制御データが含まれない点で、図６に示したステップＳ４８と相違する。
　図１０に戻る。タッチ検出部３２は、ＡＩコプロセッサ９から受信した判定データに含まれるタッチ領域及びパーム領域を、自身が導出したタッチ領域及びパーム領域としてホストプロセッサ５にレポートする。これにより、上記したように、ホストプロセッサ５の実装を変更せずに、外部プロセッサであるＡＩコプロセッサ９を追加することが実現される。
　以上説明したように、本実施の形態によるシステム１で実行される方法によれば、ＡＩコプロセッサ９で導出されたタッチ座標及びパーム座標をタッチＩＣ３経由でホストプロセッサ５に供給しているので、ホストプロセッサ５の実装を変更せずに外部プロセッサを追加することが可能になる。
　なお、本実施の形態によるタッチ検出部３２においても、図７に示した処理を実行することとしてもよい。こうすることで、本実施の形態においても、タッチＩＣ３は、より高い精度でタッチ領域及びパーム領域を導出できるようになる。
　また、本実施の形態においても、ペン検出部３３によるペン検出（ステップＳ１）の結果として得られるペンデータをＡＩコプロセッサ９へ供給することとしてもよい。こうすれば、本実施の形態においても、ペン検出部３３は、ホストプロセッサ５からの制御に基づいてペン検出を行えるようになる。また、ＡＩコプロセッサ９において、パーム領域の導出をペン座標に基づいて行うことが可能になる。
　また、本実施の形態においても、ヒートマップに基づくジェスチャ認識などより高度な処理をＡＩコプロセッサ９において実施し、タッチＩＣ３に還元される判定データにその結果を含めることとしてもよい。この場合、タッチＩＣ３は、こうして還元された高度な処理の結果もホストプロセッサ５にレポートすることが好ましい。こうすることで、ＡＩコプロセッサ９をより有意義に活用することが可能になる。
　以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
１　　　　　システム
２　　　　　センサ電極群
２ｘ　　　　Ｘ電極
２ｙ　　　　Ｙ電極
３　　　　　タッチＩＣ
４ａ　　　　専用バス
４ｂ　　　　周辺機器バス
５　　　　　ホストプロセッサ
６　　　　　内部バス
７　　　　　電子ペン
８　　　　　指
９　　　　　ＡＩコプロセッサ
３１　　　　ファームウェア
３２　　　　タッチ検出部
３３　　　　ペン検出部
４０，４１　バスインターフェース
４２　　　　メモリ
５１　　　　タッチＩＣ対応ファームウェア
５２　　　　オペレーティングシステム
５３　　　　タッチドライバ
５４　　　　ペンドライバ

Claims (11)

  1. 　タッチ検出を実行するタッチＩＣと前記タッチＩＣと異なる外部プロセッサとを含むシステムで実行される方法であって、
    　前記システムは、
    　前記タッチＩＣに接続されたセンサ電極群と、
    　前記タッチＩＣと前記外部プロセッサとを接続する第１のバスと、をさらに含み、
    　前記タッチＩＣは、前記センサ電極群の２次元位置ごとの検出レベルを示すフレームデータを生成し、前記第１のバスを介して前記外部プロセッサに供給し、
    　前記外部プロセッサは、前記フレームデータに基づいて所定の処理を行った結果である判定データを前記タッチＩＣに還元し、
    　前記タッチＩＣは、前記判定データに基づく動作を実行する、
    　方法。
  2. 　前記外部プロセッサは、前記第１のバスを介して前記判定データを前記タッチＩＣに還元する、
    　請求項１に記載の方法。
  3. 　前記判定データは、前記外部プロセッサが前記フレームデータに基づいて導出したタッチ領域又はパーム領域を含み、
    　前記タッチＩＣは、前記外部プロセッサから還元された前記タッチ領域又は前記パーム領域に基づいて、タッチ検出用各種パラメータを制御する、
    　請求項１又は２に記載の方法。
  4. 　前記タッチＩＣは、前記タッチＩＣが前記フレームデータに基づいて導出するタッチ領域又はパーム領域が前記外部プロセッサによって導出されるタッチ領域又はパーム領域に近づくように、前記タッチ検出用各種パラメータを制御する、
    　請求項３に記載の方法。
  5. 　前記タッチ検出用各種パラメータは、タッチ検出用信号の内容を制御するためのパラメータ、タッチ検出の対象とする領域を制御するためのパラメータ、前記センサ電極群のうちタッチ検出において使用する１以上のセンサ電極を制御するためのパラメータ、マルチタッチの場合にトラッキング対象を決定するためのパラメータ、パーム領域の判定方法を制御するためのパラメータ、ホストプロセッサに対して送信するデータの内容を制御するためのパラメータのうちの１つ以上を含む、
    　請求項３又は４に記載の方法。
  6. 　前記タッチＩＣはさらに、前記センサ電極群に誘導される電荷に基づいてペンから送信された信号を検出するペン検出を実行し、
    　前記判定データは、前記ペン検出の動作を制御するペン制御データを含み、
    　前記タッチＩＣは、
    　前記外部プロセッサから還元された前記ペン制御データに基づいて、次回のペン検出においてグローバルスキャン及びセクタスキャンのいずれかを実行するかを決定し、
    　セクタスキャンを実行すると決定した場合には、前記外部プロセッサから還元された前記ペン制御データに基づいて、前記センサ電極群のうちペン検出において使用する１以上のセンサ電極を選択する、
    　請求項１に記載の方法。
  7. 　前記タッチＩＣはさらに、前記外部プロセッサから還元された前記ペン制御データに基づいて、前記ペン検出と前記タッチ検出の実行比率を制御する、
    　請求項６に記載の方法。
  8. 　前記タッチＩＣはさらに、前記センサ電極群に誘導される電荷に基づいてペンから送信された信号を検出するペン検出を実行し、
    　前記ペン検出は、前記ペンに関するペンデータの生成を含み、
    　前記タッチＩＣは、前記フレームデータに加えて前記ペンデータを前記外部プロセッサに供給し、
    　前記外部プロセッサは、前記フレームデータ及び前記ペンデータを用いてパーム領域の導出を行う、
    　請求項１に記載の方法。
  9. 　前記ペンデータは、前記ペンの位置を示すペン座標を含む、
    　請求項８に記載の方法。
  10. 　前記外部プロセッサは、前記タッチＩＣを補助するためのＡＩコプロセッサであり、
    　前記システムは、前記タッチＩＣとホストプロセッサとを接続する第２のバスをさらに含み、
    　前記タッチＩＣは、前記判定データに含まれるタッチ座標を前記第２のバスを介して前記ホストプロセッサにレポートする、
    　請求項２に記載の方法。
  11. 　前記タッチＩＣはさらに、前記センサ電極群に誘導される電荷に基づいてペンから送信された信号を検出するペン検出を実行し、
    　前記タッチＩＣは、前記ペン検出によって生成した前記ペンの位置を示すペン座標を前記第２のバスを介して前記ホストプロセッサにレポートする、
    　請求項１０に記載の方法。
PCT/JP2019/022686 2018-06-25 2019-06-07 タッチｉｃ及び外部プロセッサを含むシステムで実行される方法 WO2020003970A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020527348A JP7467013B2 (ja) 2018-06-25 2019-06-07 タッチｉｃ及び外部プロセッサを含むシステムで実行される方法
US17/099,408 US11181989B2 (en) 2018-06-25 2020-11-16 Method performed by system including touch IC and external processor
US17/532,953 US11537216B2 (en) 2018-06-25 2021-11-22 System including touch IC and external processor, and touch sensor including touch IC
US18/062,348 US11941183B2 (en) 2018-06-25 2022-12-06 System including touch IC and external processor, and touch sensor including touch IC
JP2023222677A JP2024026603A (ja) 2018-06-25 2023-12-28 タッチｉｃ及び外部プロセッサを含むシステムで実行される方法、並びに、タッチｉｃ及び外部プロセッサを含むシステム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-120193 2018-06-25
JP2018120193 2018-06-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/099,408 Continuation US11181989B2 (en) 2018-06-25 2020-11-16 Method performed by system including touch IC and external processor

Publications (1)

Publication Number Publication Date
WO2020003970A1 true WO2020003970A1 (ja) 2020-01-02

Family

ID=68984729

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/022686 WO2020003970A1 (ja) 2018-06-25 2019-06-07 タッチｉｃ及び外部プロセッサを含むシステムで実行される方法

Country Status (3)

Country Link
US (3) US11181989B2 (ja)
JP (2) JP7467013B2 (ja)
WO (1) WO2020003970A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022200915A1 (ja) * 2021-03-25 2022-09-29 株式会社半導体エネルギー研究所 電子機器

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10747358B2 (en) * 2018-02-22 2020-08-18 Wacom Co., Ltd. Position detection circuit and position detection method
KR20210079601A (ko) * 2019-12-20 2021-06-30 주식회사 실리콘웍스 펌웨어를 업데이트하는 터치 시스템 및 방법
US11537239B1 (en) * 2022-01-14 2022-12-27 Microsoft Technology Licensing, Llc Diffusion-based handedness classification for touch-based input

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021937A (ja) * 2012-07-24 2014-02-03 Wacom Co Ltd 指示体位置検出装置
JP2014199495A (ja) * 2013-03-29 2014-10-23 株式会社ジャパンディスプレイ 電子機器、アプリケーション動作デバイス、電子機器の制御方法
WO2015083196A1 (ja) * 2013-12-03 2015-06-11 ニューコムテクノ株式会社 指定位置検出装置
JP2017527906A (ja) * 2014-09-12 2017-09-21 マイクロソフト テクノロジー ライセンシング，エルエルシー コンテキスト情報に基づくタッチ表面の非アクティブ領域
JP2018032251A (ja) * 2016-08-25 2018-03-01 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、タッチパネル感度制御方法、及びプログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130108614A (ko) * 2010-10-28 2013-10-04 사이프레스 세미컨덕터 코포레이션 팜 거부에 따른 용량성 스타일러스
US20150277601A1 (en) 2012-09-28 2015-10-01 Kenji Tahara Specified position detection device
KR20140046813A (ko) * 2012-10-11 2014-04-21 삼성전자주식회사 터치 감지 장치 및 그것의 구동 방법
TWI498809B (zh) * 2012-12-03 2015-09-01 Hon Hai Prec Ind Co Ltd 觸摸屏電子裝置及其控制方法
US20150091837A1 (en) * 2013-09-27 2015-04-02 Raman M. Srinivasan Providing Touch Engine Processing Remotely from a Touch Screen
US10372271B2 (en) * 2014-07-18 2019-08-06 Apple Inc. Adjustment of touch sensing stimulation voltage levels based on touch performance
US20160170548A1 (en) 2014-12-16 2016-06-16 Nobuyuki Suzuki Apparatus, system and method for communication of touch sensor information
US10133396B2 (en) 2016-03-07 2018-11-20 Intel Corporation Virtual input device using second touch-enabled display
KR102647885B1 (ko) * 2016-10-10 2024-03-15 삼성전자주식회사 전자 장치와 그 제어 방법 및 디스플레이 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014021937A (ja) * 2012-07-24 2014-02-03 Wacom Co Ltd 指示体位置検出装置
JP2014199495A (ja) * 2013-03-29 2014-10-23 株式会社ジャパンディスプレイ 電子機器、アプリケーション動作デバイス、電子機器の制御方法
WO2015083196A1 (ja) * 2013-12-03 2015-06-11 ニューコムテクノ株式会社 指定位置検出装置
JP2017527906A (ja) * 2014-09-12 2017-09-21 マイクロソフト テクノロジー ライセンシング，エルエルシー コンテキスト情報に基づくタッチ表面の非アクティブ領域
JP2018032251A (ja) * 2016-08-25 2018-03-01 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、タッチパネル感度制御方法、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022200915A1 (ja) * 2021-03-25 2022-09-29 株式会社半導体エネルギー研究所 電子機器

Also Published As

Publication number Publication date
US11941183B2 (en) 2024-03-26
US11537216B2 (en) 2022-12-27
US20220083154A1 (en) 2022-03-17
US20230093895A1 (en) 2023-03-30
JP7467013B2 (ja) 2024-04-15
US20210072843A1 (en) 2021-03-11
JPWO2020003970A1 (ja) 2021-07-08
JP2024026603A (ja) 2024-02-28
US11181989B2 (en) 2021-11-23

Similar Documents

Publication Publication Date Title
WO2020003970A1 (ja) タッチｉｃ及び外部プロセッサを含むシステムで実行される方法
US11385729B2 (en) Communication method, communication system, sensor controller, and stylus
US8525876B2 (en) Real-time embedded vision-based human hand detection
TWI574178B (zh) 主動式觸控筆及其位置資訊校正方法
JP5886139B2 (ja) タッチセンサシステム
US10156938B2 (en) Information processing apparatus, method for controlling the same, and storage medium
US11422660B2 (en) Input device, input method and program
JP2009258903A (ja) タッチパネル装置
TWI543064B (zh) 快速移動感應方法、控制電路與電磁式感測裝置
US20180299978A1 (en) Active stylus signal identification method applied to capacitive touch panel
US20220365610A1 (en) Method to be performed by stylus and sensor controller, stylus, and sensor controller
US11749016B2 (en) Method for fingerprint recognition and fingerprint recognition device
US20140028595A1 (en) Multi-touch based drawing input method and apparatus
JP6952753B2 (ja) アクティブペンの位置検出方法及びセンサコントローラ
JP2007241833A (ja) 認識装置、認識システム、形状認識方法、プログラム及びコンピュータ読み取り可能な記録媒体
US20180032142A1 (en) Information processing apparatus, control method thereof, and storage medium
US11586301B2 (en) Pointer position detection method and sensor controller
JP4053903B2 (ja) ポインティング方法、装置、およびプログラム
US10203774B1 (en) Handheld device and control method thereof
US10185419B2 (en) Image display system and related method for detecting touch input
JP6866541B1 (ja) センサシステム
JP2021193625A (ja) ポインタの位置検出方法
JP5487063B2 (ja) 医用画像通信処理システムおよび医用画像通信処理システムのサーバ
KR20140117067A (ko) 터치 모션 입력 장치의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19825156

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020527348

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19825156

Country of ref document: EP

Kind code of ref document: A1