WO2022168603A1 - 画像描画方法 - Google Patents

画像描画方法 Download PDF

Info

Publication number
WO2022168603A1
WO2022168603A1 PCT/JP2022/001733 JP2022001733W WO2022168603A1 WO 2022168603 A1 WO2022168603 A1 WO 2022168603A1 JP 2022001733 W JP2022001733 W JP 2022001733W WO 2022168603 A1 WO2022168603 A1 WO 2022168603A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
computer
gesture
drawing method
remote computer
Prior art date
Application number
PCT/JP2022/001733
Other languages
English (en)
French (fr)
Inventor
龍憲 加藤
一 淺田
佳文 武部
直樹 渡辺
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to JP2022579426A priority Critical patent/JPWO2022168603A1/ja
Priority to EP22749479.6A priority patent/EP4290826A1/en
Publication of WO2022168603A1 publication Critical patent/WO2022168603A1/ja
Priority to US18/362,820 priority patent/US20230377222A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/34—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators for rolling or scrolling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Definitions

  • the present invention relates to an image drawing method, and more particularly to an image drawing method for deforming an image according to gestures input by a user.
  • Patent Literature 1 discloses an example of a remote desktop system. This type of remote desktop system includes a host computer that generates an image to be displayed on the display of the remote computer, and a remote computer that displays the image supplied from the host computer.
  • the remote computer may have an input sensor for inputting with a finger or pen.
  • a remote computer having an input sensor detects that a position within the image has been indicated by a finger or pen, it sends various data including the indicated position to the host computer in the form of a report.
  • the host computer detects gestures (e.g., pinch out, pinch in, drag, rotate, etc.) based on the series of reports thus received, and transforms (e.g., enlarge, reduce, move, rotate, etc.) in response to the detected gestures. ) to give the above image.
  • gestures e.g., pinch out, pinch in, drag, rotate, etc.
  • transforms e.g., enlarge, reduce, move, rotate, etc.
  • one of the objects of the present invention is to provide an image drawing method that can prevent excessive deformation of an image due to processing delay due to gestures.
  • An image processing method comprises a host computer running an operating system and generating an image to be displayed on a display of a remote computer, an input sensor having a sensor surface, and the display, a remote computer for displaying the image supplied from a host computer on the display, wherein the remote computer inputs the position of the pointer on the sensor surface.
  • a sensor is used to sequentially detect at a predetermined sampling rate, and each time the position of the indicator is detected, report data including the detected position is sequentially transmitted to the host computer, and the host computer receives data from the remote computer. and generates a deformed image obtained by adding the content and amount of deformation indicated by the detected gesture to the image or the previously transmitted deformed image, and transmits the deformed image to the remote computer. and the host computer executes processing to cancel the deformation in response to the report data received from the remote computer being an end report indicating departure of the pointer from the sensor surface. drawing method.
  • An image processing method comprises a host computer running an operating system and generating an image to be displayed on a display of a remote computer, an input sensor having a sensor surface, and the display, a remote computer for displaying the image supplied from a host computer on the display, wherein the remote computer inputs the position of the pointer on the sensor surface.
  • the deformation of the image is canceled according to the end report, so it is possible to prevent the deformation of the image due to the gesture from becoming excessive due to the processing delay.
  • the gesture is replaced with data having a small data size and transmitted, it is possible to prevent excessive deformation of the image due to the processing delay due to the gesture.
  • FIG. 1 is a diagram showing a system configuration of computers 1 and 2 that execute an image processing method according to a first embodiment of the present invention
  • FIG. (a) is a diagram showing the format of the report data R generated by the operating system 30 of the computer 1 regarding the pen P
  • (b) is a diagram showing the format of the report data R generated by the processor 10 regarding the user's finger.
  • is. 2 is a schematic block diagram showing functional blocks of an operating system 30 of a computer 2
  • FIG. 3 is a diagram showing a processing flow of image transformation processing executed by a drawing application 31
  • FIG. 7 is a diagram showing a processing flow of a canceling image number setting process performed by the drawing application 31 to set the above-described canceling image number n in the memory 11
  • FIG. 10 is a diagram illustrating the relationship between time T_delay and the number n of cancellation images;
  • FIG. 10 is a diagram showing a processing flow of another example of a canceling image number setting process performed by the drawing application 31 to set the number n of canceling images in the memory 11;
  • 8 is a diagram showing a window image 40, which is an example of a test interface transmitted in step S30 of FIG. 7;
  • FIG. 2 is a schematic block diagram showing functional blocks of an operating system 30 of a computer 2 according to a modification of the first embodiment of the invention;
  • FIG. 10 is a diagram showing a processing flow of report data transmission processing executed by the operating system 30 of the computer 1 according to the second embodiment of the present invention
  • 3A and 3B are diagrams each showing an example of a correspondence table that associates gesture types with commands registered in the drawing application 31.
  • FIG. 10 is a diagram showing a processing flow of report data transmission processing executed by the operating system 30 of the computer 1 according to the second embodiment of the present invention
  • 3A and 3B are diagrams each showing an example of a correspondence table that associates gesture types with commands registered in the drawing application 31.
  • FIG. 1 is a diagram showing the system configuration of computers 1 and 2 that execute the image processing method according to the first embodiment of the present invention.
  • Computers 1 and 2 are information processing devices for personal use, such as personal computers, tablet terminals, and smart phones.
  • Computers 1 and 2 may have the same configuration, but in this embodiment, computer 1 is used as a remote computer and computer 2 is used as a host computer. Only the configuration necessary for doing so is illustrated.
  • the computer 1 which is a remote computer, comprises a processor 10, a memory 11, a communication device 12, an input device 13, a display 14, and an input sensor 15.
  • the computer 2, which is a host computer comprises a processor 10, a memory 11, a communication device 12, and a display .
  • the processor 10 is a central processing unit of the computers 1 and 2, and is configured to read out from the memory 11 programs constituting various device drivers and various applications in addition to the illustrated operating system 30 and execute them.
  • Applications executed by the processor 10 of the computer 2 include a drawing application 31 having a function of generating images.
  • the image generated by the drawing application 31 includes an image to be modified by the user.
  • the operating system 30 also includes a desktop window manager 30a, which is a program that manages screen drawing.
  • the desktop window manager 30a generates a video signal based on the image generated by the drawing application 31 and supplies it to its own display 14 and other computers, and also receives the video signal supplied from the other computer. It also plays a role of supplying to the display 14 of its own machine.
  • the memory 11 is a storage device that stores programs to be executed by the processor 10 and also stores various data that is referenced by the processor 10. Specifically, a main storage device such as a DRAM (Dynamic Random Access Memory). and an auxiliary storage device such as a hard disk.
  • a main storage device such as a DRAM (Dynamic Random Access Memory).
  • an auxiliary storage device such as a hard disk.
  • the communication device 12 is a device that has a function of communicating with other computers via the Internet or an ad-hoc network.
  • the operating system 30 transmits and receives various data to and from operating systems 30 of other computers via the communication device 12 .
  • the input device 13 is a device for receiving user input to the operating system 30, and includes, for example, a keyboard and a mouse. When the user operates the input device 13 , the input device 13 generates data indicating the details of the operation and supplies the data to the operating system 30 . Operating system 30 accepts user input based on the data thus supplied.
  • the display 14 is a device that visually outputs video signals supplied from the operating system 30 (more specifically, the desktop window manager 30a). As the display 14 outputs the video signal in this manner, the user can view the image generated by the drawing application 31 .
  • the input sensor 15 is a device having a sensor surface, and repeatedly and successively detects the position of an indicator such as the illustrated pen P or a user's finger on the sensor surface at a predetermined sampling rate, and receives various data from the pen P. It has the function to The data received from the pen P includes writing pressure detected by a pressure sensor built into the pen P.
  • FIG. The specific detection method of the pen P and the finger by the input sensor 15 is not particularly limited, but for example, the active electrostatic method or the electromagnetic induction method is preferably used for detecting the pen P, and the capacitance method is preferably used for detecting the finger. Available. In the following description, it is assumed that the pen P is detected by the active electrostatic method and the finger is detected by the electrostatic capacitance method.
  • the sensor surface of the input sensor 15 typically serves as the display surface of the display 14 as well. In this case, the user can operate the image displayed on the display 14 using the pointer as if operating by touching it directly.
  • the sensor surface of the input sensor 15 may be provided separately from the display surface of the display 14, such as a touch pad of a notebook computer or an external digitizer.
  • the input sensor 15 detects the position of the pointer and receives data from the pen P using these electrodes. The processing of the input sensor 15 will be described in detail below, separately for the case where the detection object is the pen P and the case where the detection object is the finger.
  • the input sensor 15 uses either one of the plurality of x electrodes and the plurality of y electrodes as a transmission electrode to periodically transmit a predetermined uplink signal. configured as follows.
  • This uplink signal contains a local ID to be assigned to the pen P that has not yet been detected.
  • the pen P When the pen P, which has not yet been paired with the input sensor 15, receives an uplink signal through the capacitive coupling with the x electrode or the y electrode, it extracts and acquires the local ID from it, and the uplink signal A downlink signal is transmitted at a timing corresponding to the reception timing of the
  • the downlink signal transmitted by the pen P at this stage consists only of the position signal, which is an unmodulated carrier signal.
  • the input sensor 15 receives this position signal at each of the plurality of x electrodes and the plurality of y electrodes in the input sensor 15, and detects the position of the pen P based on the reception intensity at each electrode (global scan). , performs pairing with the pen P using subsequent uplink signals.
  • the pen P which has established pairing with the input sensor 15, responds to an uplink signal periodically received from the input sensor 15 by transmitting a carrier wave signal modulated by the position signal and transmission data such as pen pressure. a data signal and a downlink signal.
  • the input sensor 15 updates the position of the pen P (local scan) by receiving the transmitted position signal with each of the predetermined number of x electrodes and y electrodes in the vicinity of the previously detected position, and receives the data signal. By doing so, the data transmitted by the pen P is acquired. Then, along with the local ID assigned to the pen P, the updated position and the acquired data are supplied to the processor 10 . This enables the operating system 30 to sequentially acquire data such as the position and pen pressure for each pen P.
  • the object to be detected is a user's finger.
  • the strength of the finger detection signal received by the input sensor 15 decreases through the capacitance generated between the finger and the x-electrode and the y-electrode.
  • the input sensor 15 periodically detects the position of the user's finger by detecting this change in reception intensity.
  • the input sensor 15 is configured to perform tracking processing for tracking the detected finger position. Specifically, when the input sensor 15 detects a new finger position, the input sensor 15 is configured to assign a finger ID to that position and supply it to the processor 10 together with the detected position. When a finger is detected at a position within a predetermined range from the previously detected position at the next timing, the same finger ID is assigned to the detected position and supplied to the processor 10 together with the detected position. This allows the operating system 30 to individually acquire the trajectory of each finger using the finger ID even when the positions of a plurality of fingers are detected.
  • the operating system 30 of the computer 1 When the operating system 30 of the computer 1 is supplied with the position and other data (including the data received from the pen P, the local ID, and the finger ID) from the input sensor 15 of the computer 1 as described above, A process of generating report data including the position and data obtained and transmitting the data to the computer 2 via the communication device 12 is performed. As a result, the contents of the operation performed by the user on the sensor surface of the input sensor 15 of the computer 1 are supplied to the operating system 30 of the computer 2 .
  • FIG. 2(a) is a diagram showing the format of the report data R generated by the operating system 30 of the computer 1 regarding the pen P.
  • the report data R generated for the pen P includes position data PD indicating the detected position, pen pressure data PRE indicating the pen pressure received from the pen P, and the local ID ( LID).
  • the writing pressure data PRE becomes a value greater than 0 when the pen P is in contact with the sensor surface, and becomes 0 when the pen P is not in contact with the sensor surface.
  • the start report SR generated for the pen P is report data R that includes pen-down information PenDown indicating that the pen P has come into contact with the sensor surface, in addition to the position data PD, pen pressure data PRE, and local ID.
  • the processor 10 is configured to generate a start report SR in response to the writing pressure data PRE changing from 0 to a value greater than 0.
  • the end report ER generated for the pen P is report data R that includes pen-up information PenUp indicating that the pen P has left the sensor surface, in addition to the position data PD, pen pressure data PRE, and local ID. .
  • the processor 10 is configured to generate an end report ER in response to the writing pressure data PRE changing from a value greater than zero to zero.
  • FIG. 2(b) is a diagram showing the format of the report data R generated by the processor 10 regarding the user's finger.
  • the report data R generated for the pen P includes position data PD indicating the detected position and the finger ID (FID) described above.
  • a start report SR generated for a finger includes position data PD and finger ID, as well as tracking start information Finger Track Start indicating that finger tracking has started.
  • the processor 10 is configured to generate a start report SR in response to a new finger tracking process being initiated by the input sensor 15 .
  • the end report ER generated for the finger includes, in addition to the finger ID, lost information Finger Track Loss indicating that the movement of the finger tracked as a series of positions by tracking processing is no longer detected.
  • the position data PD are not included in the end report ER generated for the finger.
  • the processor 10 is configured to generate an end report ER in response to the input sensor 15 finishing the finger tracking process.
  • Operations performed by the user on the sensor surface of the input sensor 15 may include various gestures such as pinch-out, pinch-in, drag, rotation, and swipe.
  • pinch-out is an operation to enlarge the displayed image by widening the distance between the two fingers touching the sensor surface
  • pinch-in is an operation to enlarge the distance between the two fingers touching the sensor surface.
  • Drag is an operation to move the displayed image by sliding the indicator on the sensor surface
  • rotation is an operation to reduce the displayed image by narrowing
  • a swipe is an operation to scroll the screen by sliding the pointer on the sensor surface. Detection of these gestures is performed by the operating system 30 or drawing application 31 of computer 2 based on a series of report data R received from computer 1 .
  • the drawing application 31 has a function of generating a deformed image by applying the content and amount of deformation indicated by the gesture detected as described above to the generated image.
  • the transformations applied to the image in this manner include enlargement, reduction, movement, rotation, scrolling, and the like.
  • the deformed image generated by the drawing application 31 is supplied to the computer 1 as a video signal through the desktop window manager 30a of the computer 2.
  • the desktop window manager 30a of the computer 1 updates the display of the display 14 of the computer 1 with the video signal thus supplied. This allows the user of computer 1 to visually recognize the deformed image generated as a result of his/her own operation.
  • the desktop window manager 30a of the computer 2 also supplies the video signal of the modified image to the display 14 of its own device. As a result, the computer 2 user can visually recognize the deformed image in the same manner as the computer 1 user.
  • FIG. 3 is a schematic block diagram showing functional blocks of the operating system 30 of the computer 2.
  • the operating system 30 functionally includes a receive buffer 30b and a transmit buffer 30c, which are FIFO (First In First Out) queues, in addition to the desktop window manager 30a described above. be.
  • the report data R (including the start report SR and the end report ER) received from the computer 1 is written via the communication device 12 into the reception buffer 30b.
  • the drawing application 31 first generates an image PIC to be displayed on the displays 14 of the computers 1 and 2, and writes it to the end of the transmission buffer 30c. After that, when the report data R indicating the result of the operation by the user of the computer 1 is written to the reception buffer 30b, the report data R are read out in chronological order, and a series of the report data R including the past report data R read up to that time is read. Based on the report data R, gesture detection is performed. Then, the latest image PIC is transformed based on the detected gesture, and the image PIC showing the result is written to the end of the transmission buffer 30c.
  • the desktop window manager 30a sequentially reads the image PIC from the transmission buffer 30c, generates a video signal based on the read image PIC each time, and performs processing for supplying the video signal to the communication device 12 and the display 14.
  • the communication device 12 transmits the supplied video signal to the computer 1 .
  • the desktop window manager 30a of the computer 1 that has received the video signal thus transmitted updates the display on the display 14 of the computer 1 with the received video signal.
  • the user of the computer 1 can visually recognize how the result of the operation is reflected in the image PIC.
  • the display 14 of the computer 2 which receives the video signal from the desktop window manager 30a, updates the displayed image with the supplied video signal.
  • the user of the computer 2 can also see how the results of operations performed by other users on the computer 1 are reflected in the image PIC.
  • the drawing application 31 executes processing for canceling the deformation of the image in response to the fact that the report data R received from the computer 1 is the end report ER.
  • the desktop window manager 30a is instructed to stop transmitting at least a portion of the one or more image PICs stored in the transmission buffer 30c.
  • the desktop window manager 30a cancels the transmission of the image PIC whose transmission is to be stopped from the transmission buffer 30c.
  • the deformation based on the last few gestures in the series of gestures can be canceled, thereby preventing the image from being excessively deformed.
  • FIG. 4 is a diagram showing a processing flow of image transformation processing executed by the drawing application 31.
  • FIG. 4 Hereinafter, the processing for canceling the deformation of the image will be described in more detail with reference to FIG. 4 as well.
  • the drawing application 31 first generates an image to be displayed on the displays 14 of the computers 1 and 2 (step S1), and writes the generated image to the transmission buffer 30c (step S2). After that, the drawing application 31 tries to acquire the report data R from the reception buffer 30b (step S3), and determines whether or not the report data R has been acquired (step S4). If the drawing application 31 determines in step S4 that it could not be acquired, it repeats step S3. If it determines that it was acquired, it temporarily stores the acquired report data R in the memory 11 (step S5), it is determined whether or not the acquired report data R is the end report ER (step S6).
  • step S6 If it is determined in step S6 that it is not the end report ER, the drawing application 31 attempts to detect a gesture based on the series of report data R acquired so far (step S7), and determines whether or not the gesture has been detected. (Step S8). As a result, if the gesture cannot be detected, the process returns to step S3 and the process is repeated. If the gesture is detected, the content and amount of deformation indicated by the detected gesture is applied to the image (step S9). ).
  • the image to be transformed is the image that the drawing application 31 wrote to the transmission buffer 30c last time.
  • the drawing application 31 that generated the deformed image in step S9 writes the generated deformed image to the transmission buffer 30c (step S10), and returns to step S3.
  • the drawing application 31, which has determined that n is not 0 in step S11 controls the desktop window manager 30a to stop sending the image after the n-th image (step S12).
  • the images corresponding to n pieces of report data R traced back from the end report ER are deleted from the transmission buffer 30c and are no longer reflected on the displays 14 of the computers 1 and 2.
  • the drawing application 31 determines whether or not the control of the desktop window manager 30a is in time (step S13). That is, if the value of n is large, it is possible that several images after the n-th image have already been transmitted when step S11 is executed. In such a case, the drawing application 31 determines that the control of the desktop window manager 30a was not in time. The drawing application 31, which determines that it is in time at step S13, returns the process to step S3. On the other hand, the drawing application 31, which has determined that it was not in time at step S13, based on the series of report data R stored in the memory 11, displays the image (n+1) previous image (displayed on the display 14 if the gesture was not performed).
  • Rewind image to be processed is regenerated and written to the transmission buffer 30c (step S14).
  • the image displayed on the display 14 is temporarily deformed excessively, it is possible to restore the image to the image that is not excessively deformed immediately after that.
  • FIG. 5 is a diagram showing the processing flow of the canceling image number setting process performed by the drawing application 31 to set the above-described canceling image number n in the memory 11.
  • FIG. The drawing application 31, which has started this process, first acquires environment information, as shown in the figure (step S20).
  • the environment information is information indicating the environment of the computer 1. For example, after the computer 1 detects the size of the display 14 of the computer 1 and the position of the pointer, the image corresponding to the position is displayed on the display 14 of the computer 1. T_delay, which is the time required until the The drawing application 31 may acquire the size of the display 14 of the computer 1 by receiving information indicating the size of the display 14 from the computer 1 . Also, the drawing application 31 may obtain the time T_delay by causing the operating system 30 of the computer 1 to measure the time T_delay and receiving the result from the computer 1 . The time T_delay will be described later in detail with reference to FIG.
  • the drawing application 31 determines the number n of negative images based on the acquired environment information (step S21).
  • n 0 (that is, the process of canceling image deformation is not executed)
  • n increases as the size of the display 14 increases. Excessive deformation of the image becomes more conspicuous as the size of the display 14 on which it is displayed is larger. Therefore, by determining the number n of images to be canceled in this way, it is possible to keep the excessive deformation of the image within an inconspicuous range. be possible.
  • FIG. 6 is a diagram explaining the relationship between the time T_delay and the number n of cancellation images.
  • the drawing application 31 may determine the number n of images to be canceled so that the gestures corresponding to the report data R corresponding to the time T_delay going back from the end report ER are cancelled. By determining the number n of images to be canceled in this manner, it is possible to perform the optimum amount of cancellation according to the time T_delay.
  • the drawing application 31 that has determined the number n of images to be canceled sets the determined number n of images to be canceled in the memory 11 (step S22). After this, the drawing application 31 refers to the number n of negative images set in step S22 in steps S11 and S12 of FIG.
  • FIG. 7 is a diagram showing a process flow of another example of the canceling image number setting process performed by the drawing application 31 to set the canceling image number n in the memory 11.
  • the drawing application 31 which has started this process, first sends a test interface to the computer 1, as shown in the figure (step S30).
  • FIG. 8 is a diagram showing a window image 40, which is an example of the test interface transmitted in step S30.
  • the window image 40 includes a drawing area 41 , a test image 42 arranged in the drawing area 41 , a slider 43 and an enter button 44 .
  • the test image 42 is an image configured to be deformable by gestures made by the user. For example, when the user pinches out on the test image 42, the test image 42 is enlarged and displayed.
  • the slider 43 is a component for adjusting the number n of images to be canceled by user operation, and is configured so that any integer from 0 to a predetermined number (10 in the example of FIG. 8) can be selected.
  • Selecting 0 on the slider 43 means not executing the process of canceling the deformation of the image. Also, selecting a value of 1 or more in the slider 43 means setting the degree of processing for canceling image deformation.
  • the decision button 44 is a button for fixing the number n of negative images to the value set in the slider 43 .
  • the drawing application 31 tentatively determines the number n of negative images based on the current position of the slider 43 (step S31). Then, using the temporarily determined negation image number n, image deformation processing is executed based on the user's operation (step S32).
  • the process of step S32 is specifically the image transformation process shown in FIG. 4, and is executed in the background of the process shown in FIG.
  • the drawing application 31 monitors the state of the enter button 44 while executing steps S31 and S32 (step S33). Then, in response to pressing (clicking or tapping) of the determination button 44, processing is performed to determine the number n of images to be canceled based on the current position of the slider 43 (step S34). (step S35).
  • the user of the computer 1 can select the optimal value for the number n of negative images while confirming the actual state of deformation.
  • the deformation of the image is canceled according to the end report ER. preventable.
  • the display of the computer 1 displays a test interface including a test image configured to be deformable by gestures made by the user and a slider for selecting the number of negated images n, the user of the computer 1 can , it becomes possible to select the optimum value for the number of negated images while checking the actual deformation situation.
  • the drawing application 31 deforms the image, but the desktop window manager 30a may deform the image.
  • FIG. 9 is a schematic block diagram showing functional blocks of the operating system 30 of the computer 2 according to the modification of this embodiment.
  • the image PIC generated by the drawing application 31 is written to the transmission buffer 30c by the desktop window manager 30a.
  • the desktop window manager 30a sequentially reads the report data R from the reception buffer 30b, detects a gesture based on a series of report data R including the past report data R read up to that point, and detects a gesture based on the detected gesture.
  • a process of transforming the latest image PIC and writing the resulting image PIC to the end of the transmission buffer 30c is performed.
  • the process of canceling the deformation of the image in this case is executed as an internal process of the desktop window manager 30a. Even in this way, it is possible to display the image PIC reflecting the result of the operation performed by the user on the displays 14 of the computers 1 and 2 and to prevent the image PIC from being excessively deformed.
  • the moving speed is the distance that the pointer moves per unit time, and the unit of distance may be the length of a sensor meter or the like, or the number of pixels.
  • the drawing application 31 preferably causes the computer 1 to obtain the average value of the moving speed of the pointer, and preferably reduces the number n of negative images as the obtained average value decreases. Since the excessive deformation of the image becomes less conspicuous as the movement speed of the indicator decreases, it is possible to cancel the image deformation by an optimum amount even in this manner.
  • the system configuration of computers 1 and 2 that execute the image processing method according to this embodiment is the same as that shown in FIG.
  • the report data R transmitted from the computer 1 is data with a small data size (specifically, data for a keyboard or mouse). It is different from the image processing method according to the first embodiment in that the data is replaced with report data) and transmitted. The following description focuses on the differences.
  • FIG. 10 is a diagram showing the processing flow of report data transmission processing executed by the operating system 30 of computer 1.
  • the operating system 30 of the computer 1 when the operating system 30 of the computer 1 according to the present embodiment receives the position and data from the input sensor S40 (step S40), it temporarily stores the received position and data in the memory 11 (step S41). Then, an attempt is made to detect a gesture based on a series of positions and data received so far (step S42), and it is determined whether or not the gesture has been detected (step S43).
  • the processing of steps S41 to S43 is nothing but the processing of steps S5, S7, and S8 shown in FIG.
  • step S44 the operating system 30 of computer 1 determines whether the detected gesture corresponds to a default gesture stored in a correspondence table. Details of the correspondence table will be described later with reference to FIG.
  • step S44 the operating system 30 of the computer 1, which has determined that the gesture corresponds to the predetermined gesture, acquires the key operation and mouse operation corresponding to the detected gesture from the correspondence table, and reports data for the keyboard or mouse indicating the acquired operation ( report data for a device of a type different from that of the input sensor 15) is transmitted to the computer 2 (step S46).
  • step S43 determines whether the gesture could not be detected, and if it is determined in step S44 that it does not correspond to the default gesture, the operating system 30 of the computer 1 sends the report data for the input sensor 15 to the computer 2. (step S47).
  • the report data transmitted in step S47 is the same as the report data described in the first embodiment.
  • FIGS. 11(a) and 11(b) are diagrams showing examples of correspondence tables that associate gesture types with commands registered in the drawing application 31, respectively.
  • a command is composed of either one of key operation and mouse operation, or a combination thereof.
  • the operating system 30 of the computer 1 acquires the key operation or mouse operation corresponding to the detected gesture by referring to this correspondence table in step S45 of FIG.
  • pinch-out is associated with simultaneous pressing of the "control” key and the "+” key
  • pinch-in is associated with the "control” key and the "+” key.
  • Simultaneous pressing of the "-” key is associated. Therefore, if the gesture detected in step S42 is pinch-out, for example, the operating system 30 of computer 1 selects the "control" key and the "+” key as the key operation or mouse operation corresponding to the detected gesture in step S44. is acquired, and in step S46, report data indicating simultaneous pressing of the "control" key and the "+” key is transmitted.
  • pinch-out is associated with a combination of "left click” and “mouse wheel scroll up”
  • pinch-in is associated with a combination of "left click” and “mouse wheel scroll down”.
  • a swipe is associated with a combination of "left click” and "direction of movement”. Therefore, if the gesture detected in step S42 is a swipe, for example, the operating system 30 of computer 1 selects "left click” and "movement direction” as the key operation or mouse operation corresponding to the detected gesture in step S44. The combination is obtained, and in step S46, report data indicating "left click” and "direction of movement” will be transmitted.
  • the specific contents of the “direction of movement” may be determined based on the direction of movement of the pointer indicated by a series of positions (positions of the pen P or finger) input from the input sensor 15 .
  • a gesture executed by the pen P or a finger is replaced with data having a small data size (specifically, report data for a keyboard or mouse). can be sent. Therefore, since the processing delay can be reduced, it is possible to prevent the deformation of the image due to the gesture from becoming excessive due to the processing delay, as in the first embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ジェスチャによる画像の変形が処理遅延のために過剰になってしまうことを防止する。 【解決手段】リモート計算機である計算機１は、センサ面上における指示体の位置を前記入力センサを用いて所定のサンプリングレートで逐次検出し、指示体の位置を検出する都度、検出した位置を含むレポートデータをホスト計算機に逐次送信する。ホスト計算機である計算機２は、計算機１から受信される一連のレポートデータに基づいてジェスチャを検出し、検出したジェスチャにより示される内容及び量の変形を画像に対して付与してなる変形画像を生成して計算機１に送信し、計算機１から受信したレポートデータが指示体のセンサ面からの離脱を示すエンドレポートであったことに応じて、上記変形を打ち消す処理を実行する。

Description

画像描画方法
　本発明は画像描画方法に関し、特に、ユーザが入力したジェスチャに従って画像の変形を行うための画像描画方法に関する。
　リモート計算機に画像を表示するリモートデスクトップシステムが普及してきている。特許文献１には、リモートデスクトップシステムの一例が開示されている。この種のリモートデスクトップシステムは、リモート計算機のディスプレイに表示するための画像を生成するホスト計算機と、このホスト計算器から供給される画像を表示するリモート計算機とを含んで構成される。
特開２０１６－１８９１２７号公報
　ところで、リモート計算機は、指やペンによる入力を行うための入力センサを有している場合がある。入力センサを有するリモート計算機は、指やペンにより上記画像内の位置が指示されたことを検出すると、指示された位置を含む各種データをレポートの形でホスト計算機に送信する。ホスト計算機は、こうして受信される一連のレポートに基づいてジェスチャ（例えば、ピンチアウト、ピンチイン、ドラッグ、ローテーションなど）を検出し、検出したジェスチャに応じた変形（例えば、拡大、縮小、移動、回転など）を上記画像に与える。こうして変形した画像がホスト計算機からリモート計算機に対して供給されると、リモート計算機においても変形した画像を視認できるようになる。
　しかしながら、以上の処理によれば、リモート計算機においてユーザがジェスチャを行った後、そのジェスチャによる変形がリモート計算機上に表示されている画像に反映されるまでには、リモート計算機とホスト計算機の間の通信を経る必要があることから、相当程度の処理遅延が発生する。この処理遅延のため、ユーザは、実際には十分な量のジェスチャを行っているにもかかわらず、まだジェスチャが足りていないと誤認し、余分なジェスチャを行ってしまう場合がある。そうすると、あたかも慣性が働いているかのように過剰に画像が変形してしまうことになるので、改善が必要とされていた。
　したがって、本発明の目的の一つは、ジェスチャによる画像の変形が処理遅延のために過剰になってしまうことを防止できる画像描画方法を提供することにある。
　本発明の第１の側面による画像処理方法は、オペレーティングシステムを実行し、リモート計算機のディスプレイに表示される画像を生成するホスト計算機と、センサ面を有する入力センサ、及び、前記ディスプレイを備え、前記ホスト計算器から供給される前記画像を前記ディスプレイに表示するリモート計算機と、を含むシステムにおいて実行される画像描画方法であって、前記リモート計算機は、前記センサ面上における指示体の位置を前記入力センサを用いて所定のサンプリングレートで逐次検出し、前記指示体の位置を検出する都度、検出した位置を含むレポートデータを前記ホスト計算機に逐次送信し、前記ホスト計算機は、前記リモート計算機から受信される一連のレポートデータに基づいてジェスチャを検出し、検出したジェスチャにより示される内容及び量の変形を前記画像又は前回送信した変形画像に対して付与してなる変形画像を生成して前記リモート計算機に送信し、前記ホスト計算機は、前記リモート計算機から受信した前記レポートデータが前記指示体の前記センサ面からの離脱を示すエンドレポートであったことに応じて、前記変形を打ち消す処理を実行する、画像描画方法である。
　本発明の第２の側面による画像処理方法は、オペレーティングシステムを実行し、リモート計算機のディスプレイに表示される画像を生成するホスト計算機と、センサ面を有する入力センサ、及び、前記ディスプレイを備え、前記ホスト計算器から供給される前記画像を前記ディスプレイに表示するリモート計算機と、を含むシステムにおいて実行される画像描画方法であって、前記リモート計算機は、前記センサ面上における指示体の位置を前記入力センサを用いて所定のサンプリングレートで逐次検出し、検出した位置により示される前記指示体の動きが既定のジェスチャに該当するか否かを判定し、前記指示体の動きが既定のジェスチャに該当しないと判定した場合には、前記入力センサ用のレポートデータを生成して前記ホスト計算機に送信し、前記指示体の動きが既定のジェスチャに該当すると判定した場合には、前記入力センサとは異なる種別のデバイスのためのレポートデータを生成して前記ホスト計算機に送信する、画像描画方法である。
　本発明の第１の側面によれば、エンドレポートに応じて画像の変形が打ち消されるので、ジェスチャによる画像の変形が処理遅延のために過剰になってしまうことを防止できる。
　本発明の第２の側面によれば、ジェスチャをデータサイズの小さいデータに置き換えて送信するので、ジェスチャによる画像の変形が処理遅延のために過剰になってしまうことを防止できる。
本発明の第１の実施の形態による画像処理方法を実行する計算機１，２のシステム構成を示す図である。 （ａ）は、ペンＰに関して計算機１のオペレーティングシステム３０が生成するレポートデータＲのフォーマットを示す図であり、（ｂ）は、ユーザの指に関してプロセッサ１０が生成するレポートデータＲのフォーマットを示す図である。 計算機２のオペレーティングシステム３０の機能ブロックを示す略ブロック図である。 描画アプリケーション３１によって実行される画像変形処理の処理フローを示す図である。 上述した打ち消し画像数ｎをメモリ１１に設定するために描画アプリケーション３１が行う打ち消し画像数設定処理の処理フローを示す図である。 時間Ｔ＿ｄｅｌａｙと打ち消し画像数ｎとの関係を説明する図である。 打ち消し画像数ｎをメモリ１１に設定するために描画アプリケーション３１が行う打ち消し画像数設定処理の他の例による処理フローを示す図である。 図７のステップＳ３０で送信されるテスト用インターフェイスの一例であるウインドウ画像４０を示す図である。 本発明の第１の実施の形態の変形例による計算機２のオペレーティングシステム３０の機能ブロックを示す略ブロック図である。 本発明の第２の実施の形態による計算機１のオペレーティングシステム３０によって実行されるレポートデータ送信処理の処理フローを示す図である。 （ａ）及び（ｂ）はそれぞれ、ジェスチャの種類と、描画アプリケーション３１に登録されているコマンドとを対応付ける対応テーブルの例を示す図である。
　以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。
　図１は、本発明の第１の実施の形態による画像処理方法を実行する計算機１，２のシステム構成を示す図である。計算機１，２はそれぞれ、例えばパーソナルコンピュータ、タブレット端末、スマートフォンなどの、個人用として用いられる情報処理装置である。計算機１，２の構成は同一でよいが、本実施の形態においては、計算機１をリモート計算機として用い、計算機２をホスト計算機として用いることとし、図１には、それぞれリモート計算機又はホスト計算機として機能するために必要な構成のみを図示している。
　リモート計算機である計算機１は、プロセッサ１０、メモリ１１、通信装置１２、入力デバイス１３、ディスプレイ１４、及び入力センサ１５を有して構成される。一方、ホスト計算機である計算機２は、プロセッサ１０、メモリ１１、通信装置１２、及びディスプレイ１４を有して構成される。
　プロセッサ１０は計算機１，２の中央処理装置であり、図示したオペレーティングシステム３０の他、各種のデバイスドライバや各種のアプリケーションを構成するプログラムをメモリ１１から読み出して実行するように構成される。計算機２のプロセッサ１０により実行されるアプリケーションには、画像を生成する機能を有する描画アプリケーション３１が含まれる。描画アプリケーション３１により生成される画像には、ユーザによる変形操作の対象となる画像が含まれる。また、オペレーティングシステム３０には、画面の描画を管理するプログラムであるデスクトップウインドウマネージャ３０ａが含まれる。デスクトップウインドウマネージャ３０ａは、描画アプリケーション３１によって生成された画像に基づいて映像信号を生成し、自機のディスプレイ１４及び他の計算機に供給する役割を果たすとともに、他の計算機から供給された映像信号を自機のディスプレイ１４に供給する役割も果たす。
　メモリ１１は、プロセッサ１０により実行されるプログラムを記憶する他、プロセッサ１０により参照される各種のデータを記憶する記憶装置であり、具体的には、ＤＲＡＭ(Dynamic Random Access Memory)などの主記憶装置と、ハードディスクなどの補助記憶装置とを含んで構成される。
　通信装置１２は、インターネットやアドホックネットワークを介して、他の計算機と通信する機能を有する装置である。オペレーティングシステム３０は、通信装置１２を介して、他の計算機のオペレーティングシステム３０との間で各種データの送受信を行う。
　入力デバイス１３は、オペレーティングシステム３０に対するユーザ入力を受け付けるための装置であり、例えばキーボード及びマウスを含んで構成される。ユーザが入力デバイス１３を操作すると、入力デバイス１３は、その操作内容を示すデータを生成し、オペレーティングシステム３０に供給する。オペレーティングシステム３０は、こうして供給されたデータに基づいてユーザ入力を受け付ける。
　ディスプレイ１４は、オペレーティングシステム３０（より具体的には、デスクトップウインドウマネージャ３０ａ）から供給される映像信号を視覚的に出力する装置である。こうしてディスプレイ１４が映像信号を出力することにより、ユーザは、描画アプリケーション３１により生成された画像を見ることができる。
　入力センサ１５はセンサ面を有する装置であり、図示したペンＰ又はユーザの指などの指示体のセンサ面上における位置を所定のサンプリングレートで繰り返し逐次検出するとともに、ペンＰから各種のデータを受信する機能を有している。ペンＰから受信されるデータには、ペンＰに内蔵される圧力センサにより検出される筆圧が含まれる。入力センサ１５によるペンＰ及び指の具体的な検出方式は特に限定されないが、例えば、ペンＰの検出にはアクティブ静電方式又は電磁誘導方式を、指の検出には静電容量方式を好適に使用できる。以下では、ペンＰの検出をアクティブ静電方式により行い、指の検出を静電容量方式により行うことを前提として説明を続ける。
　入力センサ１５のセンサ面は、典型的にはディスプレイ１４の表示面を兼ねている。この場合、ユーザは、あたかも直接触れて操作するかのごとく、ディスプレイ１４に表示されている画像を指示体を用いて操作することができる。ただし、例えばノートパソコンのタッチパッドや外付けのデジタイザのように、ディスプレイ１４の表示面とは別に入力センサ１５のセンサ面を設けることとしてもよい。
　センサ面の直下には、それぞれｙ方向に延在し、ｘ方向に等間隔で配置された複数のｘ電極と、それぞれｘ方向に延在し、ｙ方向に等間隔で配置された複数のｙ電極とが配置される。入力センサ１５は、これらの電極を用いて、指示体の位置の検出とペンＰからのデータの受信とを行う。以下、検出対象がペンＰであると指である場合とに分けて、入力センサ１５の処理を詳しく説明する。
　初めに検出対象がペンＰである場合について説明すると、入力センサ１５は、複数のｘ電極及び複数のｙ電極のいずれか一方を送信電極として用いて、所定のアップリンク信号を周期的に送信するよう構成される。このアップリンク信号には、未検出のペンＰに対して割り当てる予定のローカルＩＤが含まれる。
　まだ入力センサ１５とペアリングしていない状態のペンＰは、上記ｘ電極又はｙ電極との静電結合を通じてアップリンク信号を受信すると、その中からローカルＩＤを取り出して取得するとともに、アップリンク信号の受信タイミングに応じたタイミングでダウンリンク信号を送信する。この段階でペンＰが送信するダウンリンク信号は、無変調の搬送波信号である位置信号のみによって構成される。入力センサ１５は、この位置信号を入力センサ１５内の複数のｘ電極及び複数のｙ電極のそれぞれで受信し、各電極での受信強度に基づいてペンＰの位置を検出する（グローバルスキャン）とともに、次以降のアップリンク信号を用いてペンＰとのペアリングを実行する。
　入力センサ１５との間にペアリングを確立したペンＰは、入力センサ１５から周期的に受信されるアップリンク信号に応じて、上記位置信号と、筆圧などの送信データによって変調された搬送波信号であるデータ信号とを含むダウンリンク信号を送信する処理を行う。入力センサ１５は、こうして送信された位置信号を前回検出した位置の近傍の各所定数本のｘ電極及びｙ電極で受信することによってペンＰの位置を更新する（ローカルスキャン）とともに、データ信号を受信することによりペンＰが送信したデータを取得する。そして、そのペンＰに割り当てたローカルＩＤとともに、更新後の位置及び取得したデータをプロセッサ１０に供給する。これによりオペレーティングシステム３０は、ペンＰごとに、位置と筆圧等のデータとを逐次取得することが可能になる。
　次に検出対象がユーザの指である場合について説明すると、入力センサ１５は、複数のｘ電極及び複数のｙ電極のいずれか一方に所定の指検出用信号を供給し、複数のｘ電極及び複数のｙ電極のいずれか他方により受信する処理を周期的に実行するよう構成される。ｘ電極とｙ電極の交点に指が接近していると、指とｘ電極及びｙ電極の間に発生する静電容量を通じて、入力センサ１５により受信される指検出用信号の受信強度が小さくなる。入力センサ１５は、この受信強度の変化を検出することにより、ユーザの指の位置を周期的に検出する。
　ここで、入力センサ１５は、検出した指の位置を追跡するトラッキング処理を実行するよう構成される。具体的に説明すると、入力センサ１５は、新たに指の位置を検出すると、その位置に対して指ＩＤを付与し、検出した位置とともにプロセッサ１０に供給するよう構成される。次のタイミングで前回検出した位置から所定範囲内の位置に指を検出した場合には、検出した位置に同じ指ＩＤを付与し、検出した位置とともにプロセッサ１０に供給する。これによりオペレーティングシステム３０は、複数の指の位置が検出されている場合であっても、指ＩＤによって各指の軌跡を個別に取得することが可能になる。
　計算機１のオペレーティングシステム３０は、以上のようにして自機の入力センサ１５から位置及びその他のデータ（ペンＰから受信されたデータ、ローカルＩＤ、指ＩＤを含む）が供給されると、供給された位置及びデータを含むレポートデータを生成し、通信装置１２を介して計算機２に対して送信する処理を行う。これにより、計算機１の入力センサ１５のセンサ面上でユーザが行った操作の内容が計算機２のオペレーティングシステム３０に供給されることになる。
　図２（ａ）は、ペンＰに関して計算機１のオペレーティングシステム３０が生成するレポートデータＲのフォーマットを示す図である。同図に示すように、ペンＰに関して生成されるレポートデータＲは、検出された位置を示す位置データＰＤと、ペンＰから受信された筆圧を示す筆圧データＰＲＥと、上述したローカルＩＤ（ＬＩＤ）とを含んで構成される。筆圧データＰＲＥは、ペンＰがセンサ面に接触している場合には０より大きい値となり、ペンＰがセンサ面に接触していない場合には０となる。
　ペンＰに関して生成されるスタートレポートＳＲは、位置データＰＤ、筆圧データＰＲＥ、及びローカルＩＤに加え、ペンＰがセンサ面に接触したことを示すペンダウン情報ＰｅｎＤｏｗｎを含むレポートデータＲである。プロセッサ１０は、筆圧データＰＲＥが０から０より大きい値に変化したことに応じてスタートレポートＳＲを生成するよう構成される。
　また、ペンＰに関して生成されるエンドレポートＥＲは、位置データＰＤ、筆圧データＰＲＥ、及びローカルＩＤに加え、ペンＰがセンサ面から離脱したことを示すペンアップ情報ＰｅｎＵｐを含むレポートデータＲである。プロセッサ１０は、筆圧データＰＲＥが０より大きい値から０に変化したことに応じてエンドレポートＥＲを生成するよう構成される。
　図２（ｂ）は、ユーザの指に関してプロセッサ１０が生成するレポートデータＲのフォーマットを示す図である。同図に示すように、ペンＰに関して生成されるレポートデータＲは、検出された位置を示す位置データＰＤと、上述した指ＩＤ（ＦＩＤ）とを含んで構成される。
　指に関して生成されるスタートレポートＳＲは、位置データＰＤ及び指ＩＤに加え、指の追跡を開始したことを示す追跡開始情報Ｆｉｎｇｅｒ　Ｔｒａｃｋ　Ｓｔａｒｔを含んで構成される。プロセッサ１０は、入力センサ１５により新たな指のトラッキング処理が開始されたことに応じてスタートレポートＳＲを生成するよう構成される。
　指に関して生成されるエンドレポートＥＲは、指ＩＤに加え、トラッキング処理により一連の位置として追跡されていた指の動きが検出されなくなったことを示すロスト情報Ｆｉｎｇｅｒ　Ｔｒａｃｋ　Ｌｏｓｓを含んで構成される。位置データＰＤは、指に関して生成されるエンドレポートＥＲには含まれない。プロセッサ１０は、入力センサ１５が指のトラッキング処理を終了したことに応じてエンドレポートＥＲを生成するよう構成される。
　図１に戻る。入力センサ１５のセンサ面上でユーザが行う操作には、ピンチアウト、ピンチイン、ドラッグ、ローテーション、スワイプなど各種のジェスチャが含まれ得る。ただし、ピンチアウトは、センサ面に触れた２本の指の間隔を広げていくことにより、表示されている画像を拡大する操作であり、ピンチインは、センサ面に触れた２本の指の間隔を狭めていくことにより、表示されている画像を縮小する操作であり、ドラッグは、指示体をセンサ面上で摺動させることにより、表示されている画像を移動させる操作であり、ローテーションは、指示体をセンサ面上で摺動させることにより、表示されている画像を回転させる操作であり、スワイプは、指示体をセンサ面上で摺動させることにより、画面をスクロールさせる操作である。これらのジェスチャの検出は、計算機２のオペレーティングシステム３０又は描画アプリケーション３１により、計算機１から受信される一連のレポートデータＲに基づいて実行される。
　描画アプリケーション３１は、生成した画像に対し、上述のようにして検出されたジェスチャにより示される内容及び量の変形を付与することにより、変形画像を生成する機能を有している。こうして画像に付与される変形には、拡大、縮小、移動、回転、スクロールなどが含まれる。描画アプリケーション３１によって生成された変形画像は、計算機２のデスクトップウインドウマネージャ３０ａを通じ、映像信号として計算機１に供給される。計算機１のデスクトップウインドウマネージャ３０ａは、こうして供給された映像信号により計算機１のディスプレイ１４の表示を更新する。これにより計算機１のユーザは、自身の操作の結果として生成された変形画像を視認することが可能になる。また、計算機２のデスクトップウインドウマネージャ３０ａは、変形画像の映像信号を自機のディスプレイ１４にも供給する。これにより計算機２のユーザも、計算機１のユーザと同様に変形画像を視認することが可能になる。
　図３は、計算機２のオペレーティングシステム３０の機能ブロックを示す略ブロック図である。同図に示すように、オペレーティングシステム３０は機能的に、上述したデスクトップウインドウマネージャ３０ａの他、それぞれＦＩＦＯ(First In First Out)形式のキューである受信バッファ３０ｂ及び送信バッファ３０ｃを有して構成される。このうち受信バッファ３０ｂには、計算機１から受信されたレポートデータＲ（スタートレポートＳＲ及びエンドレポートＥＲを含む）が通信装置１２を介して書き込まれる。
　描画アプリケーション３１は、まず初めに、計算機１，２それぞれのディスプレイ１４に表示する画像ＰＩＣを生成し、送信バッファ３０ｃの末尾に書き込む。その後、計算機１のユーザによる操作の結果を示すレポートデータＲが受信バッファ３０ｂに書き込まれるようになると、古い物から順にレポートデータＲを読み出し、それまでに読み出した過去のレポートデータＲを含む一連のレポートデータＲに基づいてジェスチャの検出を行う。そして、検出したジェスチャに基づいて最新の画像ＰＩＣを変形し、その結果を示す画像ＰＩＣを送信バッファ３０ｃの末尾に書き込む。
　デスクトップウインドウマネージャ３０ａは、送信バッファ３０ｃから順次画像ＰＩＣを読み出し、その都度、読み出した画像ＰＩＣに基づいて映像信号を生成し、通信装置１２及びディスプレイ１４に供給する処理を行う。通信装置１２は、供給された映像信号を計算機１に対して送信する。図示していないが、こうして送信された映像信号を受信した計算機１のデスクトップウインドウマネージャ３０ａは、受信した映像信号により計算機１のディスプレイ１４の表示を更新する。これにより計算機１のユーザは、画像ＰＩＣに操作の結果が反映されていく様子を視認できるようになる。また、デスクトップウインドウマネージャ３０ａから映像信号の供給を受けた計算機２のディスプレイ１４は、供給された映像信号により表示中の画像を更新する。これにより計算機２のユーザも、計算機１において他のユーザが行った操作の結果が画像ＰＩＣに反映されていく様子を視認できるようになる。
　ここで、以上の処理によれば、計算機１の入力センサ１５上でユーザがジェスチャを行った後、そのジェスチャによる変形が計算機１のディスプレイ１４上に表示される画像に反映されるまでには、計算機１と計算機２の間の通信を経る必要があることから、相当程度の処理遅延が発生する。この処理遅延のため、ユーザは、実際には十分な量のジェスチャを行っているにもかかわらず、まだジェスチャが足りていないと誤認し、余分なジェスチャを行ってしまう場合がある。そうすると、あたかも慣性が働いているかのように、過剰に画像が変形してしまうことになる。
　そこで本実施の形態による描画アプリケーション３１は、計算機１から受信したレポートデータＲがエンドレポートＥＲであったことに応じて、画像の変形を打ち消す処理を実行する。具体的には、図３に示しているように、デスクトップウインドウマネージャ３０ａに対し、送信バッファ３０ｃに蓄積されている１以上の画像ＰＩＣのうちの少なくとも一部の送信を停止するよう指示する。この指示を受けたデスクトップウインドウマネージャ３０ａは、送信停止の対象となった画像ＰＩＣを送信バッファ３０ｃから破棄することにより、その送信を停止する。これにより、一連のジェスチャのうち最後の数回分に基づく変形を取り消すことができるので、画像が過剰に変形されてしまうことを防止できる。
　図４は、描画アプリケーション３１によって実行される画像変形処理の処理フローを示す図である。以下、この図４も参照しながら、画像の変形を打ち消す処理について、より詳しく説明する。
　描画アプリケーション３１は、まず前提として、計算機１，２のディスプレイ１４に表示するための画像を生成し（ステップＳ１）、生成した画像を送信バッファ３０ｃに書き込む（ステップＳ２）。その後、描画アプリケーション３１は、受信バッファ３０ｂからレポートデータＲの取得を試み（ステップＳ３）、レポートデータＲを取得できたか否かを判定する（ステップＳ４）。描画アプリケーション３１は、ステップＳ４で取得できなかったと判定した場合にはステップＳ３を繰り返す一方、取得できたと判定した場合には、取得したレポートデータＲをメモリ１１に一時的に記憶したうえで（ステップＳ５）、取得したレポートデータＲがエンドレポートＥＲであるか否かを判定する（ステップＳ６）。
　ステップＳ６においてエンドレポートＥＲでないと判定した場合、描画アプリケーション３１は、それまでに取得した一連のレポートデータＲに基づいてジェスチャの検出を試み（ステップＳ７）、ジェスチャを検出できたか否かを判定する（ステップＳ８）。その結果、ジェスチャを検出できなかった場合にはステップＳ３に戻って処理を繰り返す一方、ジェスチャを検出できた場合には、検出したジェスチャにより示される内容及び量の変形を画像に付与する（ステップＳ９）。ここで変形の対象となる画像は、描画アプリケーション３１が前回送信バッファ３０ｃに書き込んだ画像となる。ステップＳ９において変形画像を生成した描画アプリケーション３１は、生成した変形画像を送信バッファ３０ｃに書き込み（ステップＳ１０）、ステップＳ３に戻る。
　ステップＳ６においてエンドレポートＥＲであると判定した描画アプリケーション３１は、予めメモリ１１内に設定されている打ち消し画像数ｎを参照し、ｎ＝０であるか否かを判定する（ステップＳ１１）。打ち消し画像数ｎの詳細については、後ほど図５～図８を参照して詳しく説明する。
　ステップＳ１１でｎ＝０であると判定した描画アプリケーション３１は、処理をステップＳ３に戻す。この場合、画像の変形を打ち消す処理は行われないことになる。一方、ステップＳ１１でｎ＝０でないと判定した描画アプリケーション３１は、ｎ個前以降の画像の送信を停止するようデスクトップウインドウマネージャ３０ａを制御する（ステップＳ１２）。これにより、エンドレポートＥＲから遡ってｎ個のレポートデータＲ分の画像が送信バッファ３０ｃから削除され、計算機１，２のディスプレイ１４上に反映されなくなる。
　続いて描画アプリケーション３１は、デスクトップウインドウマネージャ３０ａの制御が間に合ったか否かを判定する（ステップＳ１３）。つまり、ｎの値が大きいと、ステップＳ１１の実行時点で既にｎ個前以降の数個の画像が送信されてしまっていることがあり得る。このような場合、描画アプリケーション３１は、デスクトップウインドウマネージャ３０ａの制御が間に合わなかったと判定する。ステップＳ１３で間に合ったと判定した描画アプリケーション３１は、処理をステップＳ３に戻す。一方、ステップＳ１３で間に合わなかったと判定した描画アプリケーション３１は、メモリ１１に記憶しておいた一連のレポートデータＲに基づいてｎ＋１個前の画像（ジェスチャが行われなかったとした場合にディスプレイ１４に表示されるべき巻き戻し画像）を再生成し、送信バッファ３０ｃに書き込む（ステップＳ１４）。これにより、ディスプレイ１４上に表示されている画像が一旦は過剰に変形されてしまうものの、その直後に、過剰な変形を受けていない画像に戻すことが可能になる。
　図５は、上述した打ち消し画像数ｎをメモリ１１に設定するために描画アプリケーション３１が行う打ち消し画像数設定処理の処理フローを示す図である。この処理を開始した描画アプリケーション３１は、同図に示すように、まず初めに環境情報を取得する（ステップＳ２０）。
　環境情報は計算機１の環境を示す情報であり、例えば、計算機１のディスプレイ１４のサイズ、及び、計算機１が指示体の位置を検出してから、該位置に対応する画像が計算機１のディスプレイ１４に表示されるまでに要する時間Ｔ＿ｄｅｌａｙのいずれか１つを含んで構成される。描画アプリケーション３１は、計算機１からディスプレイ１４のサイズを示す情報を受信することによって、計算機１のディスプレイ１４のサイズを取得すればよい。また、描画アプリケーション３１は、計算機１のオペレーティングシステム３０に時間Ｔ＿ｄｅｌａｙを測定させ、その結果を計算機１から受信することによって、時間Ｔ＿ｄｅｌａｙを取得すればよい。時間Ｔ＿ｄｅｌａｙについては、後ほど図６を参照して詳しく説明する。
　次に描画アプリケーション３１は、取得した環境情報に基づいて打ち消し画像数ｎを決定する（ステップＳ２１）。一例では、計算機１のディスプレイ１４のサイズが十分小さい場合にはｎ＝０とし（すなわち、画像の変形を打ち消す処理を実行しないこととし）、ディスプレイ１４のサイズが大きくなるほどｎを大きくすればよい。画像の過剰な変形は、それが表示されるディスプレイ１４のサイズが大きいほど目立つことから、このようにして打ち消し画像数ｎを決定することにより、画像の過剰な変形を目立たない範囲に留めることが可能になる。
　図６は、時間Ｔ＿ｄｅｌａｙと打ち消し画像数ｎとの関係を説明する図である。同図に示すように、計算機１においてユーザがジェスチャを入力した時刻ｔ１から、対応する変形画像が計算機１のディスプレイ１４に表示される時刻ｔ２までの間には、時間Ｔ＿ｄｅｌａｙ分の遅延が発生する。そこで描画アプリケーション３１は、図６に示すように、エンドレポートＥＲから遡って時間Ｔ＿ｄｅｌａｙ分のレポートデータＲ分のジェスチャを取り消すこととなるよう、打ち消し画像数ｎを決定すればよい。このようにして打ち消し画像数ｎを決定することにより、時間Ｔ＿ｄｅｌａｙに応じて最適な量の打ち消しを実行することが可能になる。
　図５に戻る。打ち消し画像数ｎを決定した描画アプリケーション３１は、決定した打ち消し画像数ｎをメモリ１１に設定する（ステップＳ２２）。これ以後、描画アプリケーション３１は、ステップＳ２２で設定した打ち消し画像数ｎを図４のステップＳ１１，Ｓ１２において参照することになる。
　図７は、打ち消し画像数ｎをメモリ１１に設定するために描画アプリケーション３１が行う打ち消し画像数設定処理の他の例による処理フローを示す図である。この処理を開始した描画アプリケーション３１は、同図に示すように、まず初めにテスト用インターフェイスを計算機１に対して送信する（ステップＳ３０）。
　図８は、ステップＳ３０で送信されるテスト用インターフェイスの一例であるウインドウ画像４０を示す図である。同図に示すように、ウインドウ画像４０は、描画エリア４１と、描画エリア４１内に配置されたテスト画像４２と、スライダ４３と、決定ボタン４４とを有して構成される。テスト画像４２は、ユーザが行うジェスチャにより変形可能に構成された画像である。例えば、ユーザがテスト画像４２の上でピンチアウトを行うと、テスト画像４２が拡大表示される。スライダ４３は、ユーザ操作により打ち消し画像数ｎを調整するためのコンポーネントであり、０から所定の数値（図８の例では１０）までの任意の整数を選択可能に構成される。スライダ４３において０を選択することは、画像の変形を打ち消す処理を実行しないことを意味する。また、スライダ４３において１以上の値を選択することは、画像の変形を打ち消す処理の度合いを設定することを意味する。決定ボタン４４は、打ち消し画像数ｎをスライダ４３に設定されている値に確定させるためのボタンである。
　図７に戻る。描画アプリケーション３１は、スライダ４３の現在位置に基づき、打ち消し画像数ｎを仮決定する（ステップＳ３１）。そして、仮決定した打ち消し画像数ｎを用い、ユーザ操作に基づいて画像変形処理を実行する（ステップＳ３２）。ステップＳ３２の処理は、具体的には図４に示した画像変形処理であり、図７に示した処理のバックグラウンドで実行される。描画アプリケーション３１は、ステップＳ３１，Ｓ３２を実行している間、決定ボタン４４の状態を監視する（ステップＳ３３）。そして、決定ボタン４４が押下（クリック又はタップ）されたことに応じ、スライダ４３の現在位置に基づいて打ち消し画像数ｎを決定する処理を行い（ステップＳ３４）、決定した打ち消し画像数ｎをメモリ１１に設定する（ステップＳ３５）。以上の処理により、計算機１のユーザは、実際の変形の状況を確認しながら、打ち消し画像数ｎの最適値を選択することが可能になる。
　以上説明したように、本実施の形態による画像処理方法によれば、エンドレポートＥＲに応じて画像の変形が打ち消されるので、ジェスチャによる画像の変形が処理遅延のために過剰になってしまうことを防止可能となる。
　また、計算機１のディスプレイ１４のサイズや、計算機１が指示体の位置を検出してから、該位置に対応する画像が計算機１のディスプレイ１４に表示されるまでに要する時間Ｔ＿ｄｅｌａｙなどに基づいて打ち消し画像数ｎを設定するので、環境に応じて打ち消し画像数ｎを最適化することが可能になる。
　さらに、ユーザが行うジェスチャにより変形可能に構成されたテスト画像と、打ち消し画像数ｎを選択するためのスライダとを含むテスト用インターフェイスを計算機１のディスプレイに表示しているので、計算機１のユーザは、実際の変形の状況を確認しながら、打ち消し画像数ｎの最適値を選択することが可能になる。
　なお、本実施の形態では描画アプリケーション３１が画像の変形を行うものとして説明したが、デスクトップウインドウマネージャ３０ａが画像の変形を行うこととしてもよい。
　図９は、本実施の形態の変形例による計算機２のオペレーティングシステム３０の機能ブロックを示す略ブロック図である。本変形例によれば、描画アプリケーション３１が生成した画像ＰＩＣは、デスクトップウインドウマネージャ３０ａにより送信バッファ３０ｃに書き込まれる。そしてデスクトップウインドウマネージャ３０ａは、受信バッファ３０ｂからレポートデータＲを順次読み出し、それまでに読み出した過去のレポートデータＲを含む一連のレポートデータＲに基づいてジェスチャの検出を行い、検出したジェスチャに基づいて最新の画像ＰＩＣを変形し、その結果を示す画像ＰＩＣを送信バッファ３０ｃの末尾に書き込む処理を行う。この場合における画像の変形を打ち消す処理は、デスクトップウインドウマネージャ３０ａの内部処理として実行される。このようにしても、計算機１，２のディスプレイ１４にユーザが行った操作の結果を反映させた画像ＰＩＣを表示し、かつ、画像ＰＩＣが過剰に変形されてしまうことを防止可能となる。
　また、本実施の形態では計算機１のディスプレイ１４のサイズに基づいて打ち消し画像数ｎを設定する例を説明したが、計算機１における指示体の移動速度に基づいて打ち消し画像数ｎを設定することとしてもよい。なお、移動速度は単位時間あたりに指示体が移動する距離とし、距離の単位は、センサメートルなどの長さであってもよいし、画素数であってもよい。この場合、描画アプリケーション３１は、指示体の移動速度の平均値を計算機１に取得させ、取得された平均値が小さいほど打ち消し画像数ｎを小さくすることが好ましい。指示体の移動速度が小さいほど画像の過剰な変形が目立たなくなるので、このようにしても、最適な量だけ画像変形の打ち消しを行うことが可能になる。
　次に、本発明の第２の実施の形態による画像処理方法について説明する。本実施の形態による画像処理方法を実行する計算機１，２のシステム構成は、図１と同様である。本実施の形態による画像処理方法は、計算機２において画像変形の打ち消し処理を実行することに代え、計算機１から送信するレポートデータＲをデータサイズの小さいデータ（具体的には、キーボード又はマウス用のレポートデータ）に置き換えて送信する点で、第１の実施の形態による画像処理方法と相違する。以下、相違点に着目して説明する。
　図１０は、計算機１のオペレーティングシステム３０によって実行されるレポートデータ送信処理の処理フローを示す図である。同図に示すように、本実施の形態による計算機１のオペレーティングシステム３０は、入力センサＳ４０から位置及びデータを受信すると（ステップＳ４０）、受信した位置及びデータをメモリ１１に一時的に記憶する（ステップＳ４１）。そして、それまでに受信した一連の位置及びデータに基づいてジェスチャの検出を試み（ステップＳ４２）、ジェスチャを検出できたか否かを判定する（ステップＳ４３）。ステップＳ４１～Ｓ４３の処理は、図４に示したステップＳ５，Ｓ７，Ｓ８の処理を計算機１内で実行していることに他ならない。
　ステップＳ４３においてジェスチャを検出できたと判定した場合、計算機１のオペレーティングシステム３０は、検出したジェスチャが後述する対応テーブルに格納されている既定のジェスチャに該当するか否かを判定する（ステップＳ４４）。対応テーブルの詳細については、図１１を参照しながら後述する。ステップＳ４４において既定のジェスチャに該当すると判定した計算機１のオペレーティングシステム３０は、検出したジェスチャに対応するキー操作及びマウス操作を対応テーブルから取得し、取得した操作を示すキーボード又はマウス用のレポートデータ（入力センサ１５とは異なる種別のデバイスのためのレポートデータ）を計算機２に対して送信する（ステップＳ４６）。一方、ステップＳ４３においてジェスチャを検出できなかったと判定した場合、及び、ステップＳ４４において既定のジェスチャに該当しないと判定した場合、計算機１のオペレーティングシステム３０は、入力センサ１５用のレポートデータを計算機２に対して送信する（ステップＳ４７）。ステップＳ４７で送信されるレポートデータは、第１の実施の形態で説明したレポートデータと同じものである。
　図１１（ａ）及び図１１（ｂ）はそれぞれ、ジェスチャの種類と、描画アプリケーション３１に登録されているコマンドとを対応付ける対応テーブルの例を示す図である。コマンドは、キー操作及びマウス操作のいずれか一方又はこれらの組み合わせにより構成される。計算機１のオペレーティングシステム３０は、図１０のステップＳ４５においてこの対応テーブルを参照することにより、検出したジェスチャに対応するキー操作又はマウス操作を取得する。
　各対応テーブルの例について具体的に説明すると、まず図１１（ａ）の例では、ピンチアウトに「コントロール」キーと「＋」キーの同時押下が対応付けられ、ピンチインに「コントロール」キーと「－」キーの同時押下が対応付けられる。したがって、計算機１のオペレーティングシステム３０は、例えばステップＳ４２で検出したジェスチャがピンチアウトであった場合、ステップＳ４４において、検出したジェスチャに対応するキー操作又はマウス操作として「コントロール」キーと「＋」キーの同時押下を取得し、ステップＳ４６において、「コントロール」キーと「＋」キーの同時押下を示すレポートデータを送信することになる。
　次に図１１（ｂ）の例では、ピンチアウトに「左クリック」及び「マウスホイール上スクロール」の組み合わせが対応付けられ、ピンチインに「左クリック」及び「マウスホイール下スクロール」の組み合わせが対応付けられ、スワイプに「左クリック」及び「移動方向」の組み合わせが対応付けられる。したがって、計算機１のオペレーティングシステム３０は、例えばステップＳ４２で検出したジェスチャがスワイプであった場合、ステップＳ４４において、検出したジェスチャに対応するキー操作又はマウス操作として「左クリック」及び「移動方向」の組み合わせを取得し、ステップＳ４６において、「左クリック」及び「移動方向」を示すレポートデータを送信することになる。なお、「移動方向」の具体的な内容は、入力センサ１５から入力された一連の位置（ペンＰ又は指の位置）により示される指示体の移動方向に基づいて決定すればよい。
　以上説明したように、本実施の形態による画像処理方法によれば、ペンＰ又は指によって実行されたジェスチャをデータサイズの小さいデータ（具体的には、キーボード又はマウス用のレポートデータ）に置き換えて送信することができる。したがって処理遅延を小さくすることができるので、第１の実施の形態と同様に、ジェスチャによる画像の変形が処理遅延のために過剰になってしまうことを防止可能となる。
　以上、本発明の好ましい実施の形態について説明したが、本発明はこうした実施の形態に何等限定されるものではなく、本発明が、その要旨を逸脱しない範囲において、種々なる態様で実施され得ることは勿論である。
１，２　　　　　計算機
１０　　　　　　プロセッサ
１１　　　　　　メモリ
１２　　　　　　通信装置
１３　　　　　　入力デバイス
１４　　　　　　ディスプレイ
１５　　　　　　入力センサ
３０　　　　　　オペレーティングシステム
３０ａ　　　　　デスクトップウインドウマネージャ
３０ｂ　　　　　受信バッファ
３０ｃ　　　　　送信バッファ
３１　　　　　　描画アプリケーション
４０　　　　　　ウインドウ画像（テスト用インターフェイス）
４１　　　　　　描画エリア
４２　　　　　　テスト画像
４３　　　　　　スライダ
４４　　　　　　決定ボタン
ＥＲ　　　　　　エンドレポート
ＦＩＤ　　　　　指ＩＤ
Ｆｉｎｇｅｒ　Ｔｒａｃｋ　Ｓｔａｒｔ　追跡開始情報
Ｆｉｎｇｅｒ　Ｔｒａｃｋ　Ｌｏｓｓ　ロスト情報
ＬＩＤ　　　　　ローカルＩＤ
Ｐ　　　　　　　ペン
ＰＤ　　　　　　位置データ
ＰｅｎＤｏｗｎ　ペンダウン情報
ＰｅｎＵｐ　　　ペンアップ情報
ＰＩＣ　　　　　画像
ＰＲＥ　　　　　筆圧データ
Ｒ　　　　　　　レポートデータ
ＳＲ　　　　　　スタートレポート

Claims (19)

  1. 　オペレーティングシステムを実行し、リモート計算機のディスプレイに表示される画像を生成するホスト計算機と、
    　センサ面を有する入力センサ、及び、前記ディスプレイを備え、前記ホスト計算器から供給される前記画像を前記ディスプレイに表示するリモート計算機と、
    　を含むシステムにおいて実行される画像描画方法であって、
    　前記リモート計算機は、前記センサ面上における指示体の位置を前記入力センサを用いて所定のサンプリングレートで逐次検出し、前記指示体の位置を検出する都度、検出した位置を含むレポートデータを前記ホスト計算機に逐次送信し、
    　前記ホスト計算機は、前記リモート計算機から受信される一連のレポートデータに基づいてジェスチャを検出し、検出したジェスチャにより示される内容及び量の変形を前記画像又は前回送信した変形画像に対して付与してなる変形画像を生成して前記リモート計算機に送信し、
    　前記ホスト計算機は、前記リモート計算機から受信した前記レポートデータが前記指示体の前記センサ面からの離脱を示すエンドレポートであったことに応じて、前記変形を打ち消す処理を実行する、
    　画像描画方法。
  2. 　前記打ち消す処理は、前記エンドレポートから遡って、前記リモート計算機が前記指示体の位置を検出してから該位置に対応する前記画像が前記ディスプレイに表示されるまでに要する時間分のレポートデータによる変形を打ち消す処理である、
    　請求項１に記載の画像描画方法。
  3. 　前記ホスト計算機は、
    　　生成した１以上の前記変形画像を蓄積する送信バッファと、
    　　前記送信バッファに蓄積されている１以上の前記変形画像を順次読み出して送信する送信部と、を有し、
    　前記打ち消す処理は、前記リモート計算機から受信した前記レポートデータが前記指示体の前記センサ面からの離脱を示すエンドレポートであったことに応じて、前記送信バッファに蓄積されている１以上の前記変形画像のうちの少なくとも一部の送信を停止する処理である、
    　請求項１に記載の画像描画方法。
  4. 　前記送信バッファに蓄積されている１以上の前記変形画像のうちの少なくとも一部の送信を停止する処理は、送信停止対象の前記変形画像を前記送信バッファから破棄する処理である、
    　請求項３に記載の画像描画方法。
  5. 　前記打ち消す処理は、前記ジェスチャが行われなかったとした場合に前記ディスプレイに表示されるべき巻き戻し画像を生成して前記リモート計算機に送信する処理を含む、
    　請求項１乃至４のいずれか一項に記載の画像描画方法。
  6. 　前記打ち消す処理は、前記エンドレポートから遡って所定数のレポートデータ分の変形を打ち消す処理であり、
    　前記所定数は前記ホスト計算機のメモリに予め設定される、
    　請求項１乃至５のいずれか一項に記載の画像描画方法。
  7. 　前記所定数は前記リモート計算機の環境を示す環境情報に基づいて決定される、
    　請求項６に記載の画像描画方法。
  8. 　前記ホスト計算機は、前記リモート計算機の環境を示す環境情報に応じて、前記打ち消す処理の実行の有無を設定可能に構成される、
    　請求項１乃至７のいずれか一項に記載の画像描画方法。
  9. 　前記環境情報は、前記ディスプレイのサイズ、及び、前記リモート計算機が前記指示体の位置を検出してから該位置に対応する前記画像が前記ディスプレイに表示されるまでに要する時間のいずれか１つを含む、
    　請求項７又は８に記載の画像描画方法。
  10. 　前記ホスト計算機は、前記打ち消し処理のテスト用インターフェイスを前記ディスプレイに表示させ、
    　前記テスト用インターフェイスは、前記ジェスチャによる変形の対象となるテスト画像と、前記打ち消し処理の有無を設定するコンポーネントとを含み、
    　前記ホスト計算機は、前記コンポーネントにおける設定に応じて、前記打ち消す処理の実行の有無を切り替える、
    　請求項１乃至８に記載の画像描画方法。
  11. 　前記コンポーネントは、前記打ち消し処理の度合いを設定可能に構成された部品を含み、
    　前記ホスト計算機は、前記コンポーネントにおける設定に応じて、前記打ち消す処理の度合いを切り替える、
    　請求項１０に記載の画像描画方法。
  12. 　前記ジェスチャは、ピンチアウト、ピンチイン、ドラッグ、ローテーションのいずれかである、
    　請求項１乃至１１のいずれか一項に記載の画像描画方法。
  13. 　前記変形は、拡大、縮小、移動、回転のいずれかである、
    　請求項１乃至１２のいずれか一項に記載の画像描画方法。
  14. 　前記変形は、前記オペレーティングシステム上で動作するアプリケーション、又は、前記オペレーティングシステムに含まれるデスクトップウインドウマネージャのいずれかによって実行される、
    　請求項１乃至１３のいずれか一項に記載の画像描画方法。
  15. 　前記指示体は指であり、
    　前記リモート計算機は、指の位置を追跡するトラッキング処理を実行するよう構成され、
    　前記エンドレポートは、前記トラッキング処理により一連の位置として追跡されていた指の動きが検出されなくなったことを示す情報を含むデータである、
    　請求項１乃至１４のいずれか一項に記載の画像描画方法。
  16. 　前記指示体は、筆圧を検出し、前記リモート計算機に対して送信可能に構成されたペンであり、
    　前記エンドレポートは、前記筆圧が０より大きい値から０に変化したことを示すペンアップ情報を含むデータである、
    　請求項１乃至１４のいずれか一項に記載の画像描画方法。
  17. 　オペレーティングシステムを実行し、リモート計算機のディスプレイに表示される画像を生成するホスト計算機と、
    　センサ面を有する入力センサ、及び、前記ディスプレイを備え、前記ホスト計算器から供給される前記画像を前記ディスプレイに表示するリモート計算機と、
    　を含むシステムにおいて実行される画像描画方法であって、
    　前記リモート計算機は、
    　　前記センサ面上における指示体の位置を前記入力センサを用いて所定のサンプリングレートで逐次検出し、検出した位置により示される前記指示体の動きが既定のジェスチャに該当するか否かを判定し、
    　　前記指示体の動きが既定のジェスチャに該当しないと判定した場合には、前記入力センサ用のレポートデータを生成して前記ホスト計算機に送信し、
    　　前記指示体の動きが既定のジェスチャに該当すると判定した場合には、前記入力センサとは異なる種別のデバイスのためのレポートデータを生成して前記ホスト計算機に送信する、
    　画像描画方法。
  18. 　前記ジェスチャは、ピンチアウト、ピンチイン、スワイプのいずれかであり、
    　前記異なる種別のデバイスはマウスであり、
    　前記異なる種別のデバイスのためのレポートデータは、前記マウスのホイールスクロール及びクリックの少なくとも一方を含む、
    　請求項１７に記載の画像描画方法。
  19. 　前記リモート計算機は、前記ジェスチャの種類と、前記ホスト計算機で実行されているアプリケーションに登録されているコマンドとを対応付けるテーブルを予め記憶しており、
    　前記既定のジェスチャは、前記テーブルに記憶されている種類のジェスチャである、
    　請求項１７又は１８に記載の画像描画方法。
PCT/JP2022/001733 2021-02-05 2022-01-19 画像描画方法 WO2022168603A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022579426A JPWO2022168603A1 (ja) 2021-02-05 2022-01-19
EP22749479.6A EP4290826A1 (en) 2021-02-05 2022-01-19 Image drawing method
US18/362,820 US20230377222A1 (en) 2021-02-05 2023-07-31 Image drawing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-017152 2021-02-05
JP2021017152 2021-02-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/362,820 Continuation US20230377222A1 (en) 2021-02-05 2023-07-31 Image drawing method

Publications (1)

Publication Number Publication Date
WO2022168603A1 true WO2022168603A1 (ja) 2022-08-11

Family

ID=82740601

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/001733 WO2022168603A1 (ja) 2021-02-05 2022-01-19 画像描画方法

Country Status (4)

Country Link
US (1) US20230377222A1 (ja)
EP (1) EP4290826A1 (ja)
JP (1) JPWO2022168603A1 (ja)
WO (1) WO2022168603A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016189127A (ja) 2015-03-30 2016-11-04 日本電気株式会社 仮想マシン及びリモートデスクトップシステム
JP2017525223A (ja) * 2014-06-19 2017-08-31 グーグル インコーポレイテッド メディアレコメンデーションのタイムリーな提供
JP2019145090A (ja) * 2017-05-16 2019-08-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． デジタルアシスタントサービスの遠距離拡張

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017525223A (ja) * 2014-06-19 2017-08-31 グーグル インコーポレイテッド メディアレコメンデーションのタイムリーな提供
JP2016189127A (ja) 2015-03-30 2016-11-04 日本電気株式会社 仮想マシン及びリモートデスクトップシステム
JP2019145090A (ja) * 2017-05-16 2019-08-29 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． デジタルアシスタントサービスの遠距離拡張

Also Published As

Publication number Publication date
US20230377222A1 (en) 2023-11-23
EP4290826A1 (en) 2023-12-13
JPWO2022168603A1 (ja) 2022-08-11

Similar Documents

Publication Publication Date Title
JP6009454B2 (ja) コンピューティング装置の動きを利用するコンピューティング装置と相互作用するときに発生する入力イベントの解釈の強化
US9013438B2 (en) Touch input data handling
KR101183381B1 (ko) 플릭 제스쳐
US8847978B2 (en) Information processing apparatus, information processing method, and information processing program
EP2652579B1 (en) Detecting gestures involving movement of a computing device
US7986307B2 (en) Mechanism for allowing applications to filter out or opt into tablet input
KR100636184B1 (ko) 정보 처리 장치의 표시 화면에 표시되는 표시 윈도우의위치 제어 방법 및 위치 제어 장치
US10599317B2 (en) Information processing apparatus
US20060267958A1 (en) Touch Input Programmatical Interfaces
JP2014241139A (ja) 仮想タッチパッド
EP2551759A2 (en) Gesture recognition method and touch system incorporating the same
KR20120135694A (ko) 디바이스에서 제스처를 이용한 웹브라우저 인터페이스 제공 장치 및 방법
WO2010032268A2 (en) System and method for controlling graphical objects
US20160195975A1 (en) Touchscreen computing device and method
US11550409B2 (en) Sensor system
KR20080066416A (ko) 터치 스크린을 갖는 이동 단말기의 사용자 인터페이스 방법
JP2000276281A (ja) マウスポインタ座標制御方法及び装置
WO2009119716A1 (ja) 情報処理システム、情報処理装置、方法及びプログラム
WO2022168603A1 (ja) 画像描画方法
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
JP2014160416A (ja) 閲覧システム及びプログラム
EP4177702A1 (en) Apparatus and method for supporting touch input events
CN114327147A (zh) 一种触屏系统
KR101429581B1 (ko) 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말
JP2014115825A (ja) 情報処理装置及びその制御方法、並びにプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22749479

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022579426

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022749479

Country of ref document: EP

Effective date: 20230905