WO2023013203A1 - 入力支援装置、方法、プログラム及び入力システム - Google Patents

入力支援装置、方法、プログラム及び入力システム Download PDF

Info

Publication number
WO2023013203A1
WO2023013203A1 PCT/JP2022/020331 JP2022020331W WO2023013203A1 WO 2023013203 A1 WO2023013203 A1 WO 2023013203A1 JP 2022020331 W JP2022020331 W JP 2022020331W WO 2023013203 A1 WO2023013203 A1 WO 2023013203A1
Authority
WO
WIPO (PCT)
Prior art keywords
setting
setting information
information
input
unit
Prior art date
Application number
PCT/JP2022/020331
Other languages
English (en)
French (fr)
Inventor
優 木佐
玄 五十嵐
直之 高▲崎▼
英之 原
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to JP2023539659A priority Critical patent/JPWO2023013203A1/ja
Priority to DE112022003264.2T priority patent/DE112022003264T5/de
Publication of WO2023013203A1 publication Critical patent/WO2023013203A1/ja
Priority to US18/430,488 priority patent/US20240168575A1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus

Definitions

  • the present invention relates to an input support device, method, program, and input system.
  • Patent Literature 1 discloses a method of setting various drawing parameters including stroke thickness, paint color and brightness through an instruction operation with an electronic pen.
  • the present invention has been made in view of such problems, and its object is to provide an input support device, method, program, and input system that can timely reflect writing setting information indicating the content or tendency of settings related to writing input. to provide.
  • An input support device includes a setting acquisition unit that acquires first setting information indicating the content or tendency of settings related to handwriting input using a first device, and the first setting acquired by the setting acquisition unit.
  • An information conversion unit that converts the first setting information into second setting information so that the content or tendency of the setting specified by the information is inherited by handwriting input using a second device different from the first device.
  • a setting output unit configured to output the second setting information converted by the information conversion unit to the second device.
  • an obtaining step of obtaining first setting information indicating the content or tendency of settings related to handwriting input using a first device, and a setting specified by the obtained first setting information a conversion step of converting the first setting information into second setting information so that the content or tendency of the above is inherited by the handwriting input using a second device different from the first device; and an output step of outputting the setting information to the second device.
  • an obtaining step of obtaining first setting information indicating the content or tendency of settings relating to handwriting input using a first device, and a setting specified by the obtained first setting information a conversion step of converting the first setting information into second setting information so that the content or tendency of the above is inherited by the handwriting input using a second device different from the first device; and an output step of outputting 2 setting information to the second device.
  • An input system includes a first device, a second device different from the first device, and an input support device capable of communicating with the first device and the second device.
  • the input support device includes: a setting acquisition unit that acquires first setting information indicating the content or tendency of settings related to handwriting input using the first device; 1 an information conversion unit that converts the first setting information into second setting information so that the content or tendency of the setting specified by the setting information is succeeded to the writing input using the second device; a setting output unit configured to output the second setting information converted by the conversion unit to the second device.
  • the present invention it is possible to timely reflect the writing setting information indicating the content or tendency of setting regarding writing input.
  • FIG. 1 is an overall configuration diagram of an input system according to a first embodiment of the present invention
  • FIG. 2 is a block diagram showing an example of a configuration of an input support device in FIG. 1
  • FIG. 2 is a block diagram showing an example of a configuration of a first device or a second device in FIG. 1
  • FIG. FIG. 3 is a flowchart showing an example of an operation of registering writing setting information by the input support device of FIGS. 1 and 2
  • FIG. 4 is a diagram showing an example of a data structure of a management table of setting information DB
  • FIG. FIG. 3 is a flow chart showing an example of an operation in which the input support device of FIGS. 1 and 2 converts writing setting information
  • FIG. 4 is a diagram showing an example of a data structure of a management table of setting information DB;
  • FIG. 4 is a flow chart showing an example of input support operation by the first device or the second device;
  • FIG. 10 is an overall configuration diagram of an input system according to a second embodiment of the present invention;
  • 4 is a diagram showing an example of a data structure of a management table of setting information DB;
  • FIG. 1 is an overall configuration diagram of an input system 10 according to the first embodiment of the present invention.
  • the input system 10 is provided to provide an "input support service" for assisting handwritten input by a user.
  • the input system 10 includes a first device 12a (corresponding to an “information processing device”), a second device 12b (corresponding to an “information processing device”), an electronic pen 14, and an input support device 16. and
  • the first device 12a is an electronic device (so-called client device) owned by a user who uses the input support service, and has a function of detecting the position pointed by the electronic pen 14.
  • the first device 12a is composed of, for example, a tablet, a smart phone, a personal computer, or the like.
  • the second device 12b is an electronic device having functions equivalent to those of the first device 12a, and has a function of detecting the position pointed by the electronic pen 14.
  • the second device 12b corresponds to a replacement product purchased by the same user.
  • the second device 12b is of a different model from the first device 12a, it may be of the same model.
  • the electronic pen 14 is a pen-type pointing device, and is configured to be able to communicate unidirectionally or bidirectionally with the first device 12a.
  • the electronic pen 14 is, for example, an active electrostatic coupling (AES) or electromagnetic induction (EMR) stylus.
  • AES active electrostatic coupling
  • EMR electromagnetic induction
  • the user can write pictures and characters on the first device 12a by holding the electronic pen 14 and moving the pen tip while pressing it against the touch surface of the first device 12a. It should be noted that the electronic pen 14 exhibits the same function for the second device 12b as it does for the first device 12a.
  • the input support device 16 is a server computer that performs comprehensive control related to support for handwriting input, and may be either a cloud type or an on-premise type.
  • the input support device 16 is illustrated as a single computer, the input support device 16 may alternatively be a group of computers constructing a distributed system.
  • the input support device 16 is configured to be able to communicate with the first device 12a and the second device 12b through the network NT. Thereby, the input support device 16 can acquire the first setting information 18a from the first device 12a and provide the second setting information 18b to the second device 12b.
  • the first setting information 18a is the writing setting information 18 suitable for the user using the first device 12a
  • the second setting information 18b is the writing setting information 18 suitable for the user using the second device 12b. .
  • the writing setting information 18 means information indicating the content or tendency of settings related to writing input using a device.
  • the “contents” of the setting means the content set in units of data for each stroke or for each object.
  • the “tendency” of setting means the tendency of contents set by the same user.
  • “description parameters” for example, a group of learning parameters for specifying calculation rules of a machine learning model) for expressing the user's tastes and habits, and the user's painting style and style.
  • FIG. 2 is a block diagram showing an example of the configuration of the input support device 16 in FIG. 1. As shown in FIG. This input support device 16 specifically includes a communication unit 20 , a control unit 22 , and a storage unit 24 .
  • the communication unit 20 is an interface that transmits and receives electrical signals to and from an external device. Thereby, the input support device 16 can exchange various data with the first device 12a or the second device 12b.
  • the control unit 22 is composed of processors including a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the control unit 22 functions as a setting acquisition unit 26 , a necessity determination unit 28 , an information conversion unit 30 and a setting output unit 32 by reading and executing programs and data stored in the storage unit 24 .
  • the setting acquisition unit 26 acquires the writing setting information 18 (that is, the first setting information 18a) that indicates the content or tendency of settings related to writing input using the first device 12a.
  • the setting acquisition unit 26 performs analysis processing on the digital ink 72 supplied from the first device 12a, and acquires the content set in units of data for each stroke or each object.
  • the setting acquisition unit 26 performs various information processing (for example, statistical processing, learning processing, etc.) on a plurality of sets of digital ink 72 generated in the past by the first device 12a, and obtains settings from the same user. Get trends.
  • the necessity determination unit 28 determines whether or not conversion of the writing setting information 18 by the information conversion unit 30 is necessary.
  • the determination condition is provided so that it can be estimated whether or not the writing setting information 18 is compatible. For example, if the models of the first device 12a and the second device 12b match, the necessity determining unit 28 determines that the conversion is not necessary. Determine that there is. Alternatively, the necessity determining unit 28 determines that the conversion is not necessary when the types or versions of drawing applications that can be used by the first device 12a and the second device 12b match. do not match, it is determined that conversion is necessary.
  • the information conversion unit 30 is configured so that the content or tendency of the setting specified by the first setting information 18a acquired by the setting acquisition unit 26 is succeeded to the handwriting input using the second device 12b different from the first device 12a. , the first setting information 18a is converted into the second setting information 18b.
  • “inheritance” means that when the writing setting information 18 is compatible, the content or tendency is maintained as it is, and when the writing setting information 18 is not compatible, a closer content or tendency is selected. means to be
  • the setting output unit 32 outputs the writing setting information 18 (here, the second setting information 18b) obtained through the conversion processing by the information conversion unit 30 to the second device 12b.
  • This "output” means transmitting as an electrical signal or outputting visible or audible information using an output device (not shown).
  • the storage unit 24 stores programs and data necessary for the control unit 22 to control each component.
  • the storage unit 24 is composed of a non-transitory computer-readable storage medium.
  • computer-readable storage media include [1] storage devices such as hard disks (HDD: Hard Disk Drives) and solid state drives (SSDs: Solid State Drives) built into computer systems, [2] magneto-optical disks , ROM, CD-ROM, flash memory, and other portable media.
  • a database (hereinafter referred to as "ink DB 34") relating to the digital ink 72 (FIG. 3) and a database (hereinafter referred to as “setting information DB 36”) relating to the writing setting information 18 (FIG. 3) are constructed. It is The storage unit 24 also stores first setting information 18a and second setting information 18b.
  • FIG. 3 is a block diagram showing an example of the configuration of the first device 12a or the second device 12b in FIG. 1.
  • the first device 12a or the second device 12b includes a touch panel display 50, a display driving IC (Integrated Circuit) 54, a touch IC 56, a communication module 58, a host processor 60, and a memory 62.
  • a touch panel display 50 a display driving IC (Integrated Circuit) 54
  • a touch IC 56 a touch IC 56
  • a communication module 58 a host processor 60
  • a memory 62 composed of
  • the touch panel display 50 includes a display panel 51 capable of visibly displaying content, and a planar touch sensor 52 arranged so as to overlap the display panel 51 in plan view.
  • the touch sensor 52 is an "external type” sensor attached to the display panel 51 from the outside. There may be.
  • the display panel 51 can display a monochrome image or a color image, and is composed of, for example, a liquid crystal panel, an organic EL (Electro-Luminescence) panel, and electronic paper. By giving flexibility to the display panel 51, the user can perform various writing operations while the touch surface of the user device 12 is curved or bent.
  • a liquid crystal panel an organic EL (Electro-Luminescence) panel
  • electronic paper By giving flexibility to the display panel 51, the user can perform various writing operations while the touch surface of the user device 12 is curved or bent.
  • the touch sensor 52 is a capacitive sensor in which a plurality of sensor electrodes are arranged in a plane.
  • the touch sensor 52 may be a mutual capacitance sensor in which linear electrodes are arranged in a two-dimensional lattice, or a self-capacitance sensor in which block electrodes are arranged in a two-dimensional lattice. It may be a sensor.
  • the display driving IC 54 is an integrated circuit that is electrically connected to the display panel 51 and controls driving of the display panel 51 .
  • the display driving IC 54 drives the display panel 51 based on display signals supplied from the host processor 60 . As a result, the content indicated by the digital ink 72 is displayed on the display panel 51 .
  • the touch IC 56 is an integrated circuit that is electrically connected to the touch sensor 52 and controls driving of the touch sensor 52 .
  • the touch IC 56 drives the touch sensor 52 based on control signals supplied from the host processor 60 .
  • the touch IC 56 performs a “pen detection function” for detecting the state of the electronic pen 14 and a “touch detection function” for detecting a touch by a user's finger or the like.
  • a graphical user interface (GUI) is constructed by combining the input function of the electronic pen 14 and the touch sensor 52 and the output function of the display panel 51 .
  • the communication module 58 has a communication function for wired communication or wireless communication with an external device. Accordingly, the first device 12 a or the second device 12 b can exchange various data including the writing setting information 18 and the digital ink 72 with the input support device 16 .
  • the host processor 60 is composed of a processing operation device including a CPU, GPU, or MPU (Micro-Processing Unit).
  • the host processor 60 reads out and executes programs and data stored in the memory 62, thereby functioning as an information setting section 64, a handwriting processing section 66, and an input support section 68, all of which will be described later.
  • the memory 62 is composed of a non-transitory computer-readable storage medium, similar to the storage unit 24 of FIG. In the example of this figure, the memory 62 stores writing setting information 18 , incidental information 70 and digital ink 72 .
  • the incidental information 70 includes user information 74 for specifying the user and device information 76 for specifying the device.
  • the user information 74 includes, for example, identification information of the user who uses the input support service (hereinafter referred to as user ID), identification information of the electronic pen 14 (hereinafter referred to as pen ID), and the like.
  • the device information 76 includes, for example, device identification information (hereinafter referred to as device ID), network information such as a MAC address, or model.
  • the digital ink 72 is ink data for expressing handwritten content.
  • Digital ink 72 can be, for example, [1] document metadata, [2] ink semantics, [3] devices, [4] strokes, [5] classification It has a data structure in which data (groups) and [6] context data (contexts) are sequentially arranged.
  • the input system 10 in the first embodiment is configured as described above. Next, operations of the input system 10 will be described mainly with reference to FIGS. 4 to 8. FIG.
  • the user uses the electronic pen 14 owned by the user to perform handwriting input to the first device 12a.
  • the handwriting processing unit 66 of the first device 12a sequentially receives user operations, thereby sequentially generating stroke data.
  • the host processor 60 generates the digital ink 72 upon completion of the handwriting process, and stores the digital ink 72 in the memory 62 .
  • the first device 12 a transmits the digital ink 72 generated by itself to the input support device 16 .
  • the control unit 22 of the input support device 16 causes the storage unit 24 to store the digital ink 72 received via the communication unit 20 .
  • new digital ink 72 is added and registered in the ink DB 34 .
  • FIG. 4 Each step shown in the flowchart of FIG. 4 is executed by the control unit 22 of the input support device 16 .
  • control unit 22 (more specifically, the setting acquisition unit 26) refers to the ink DB 34 and acquires the digital ink 72 to be analyzed.
  • step SP12 the setting acquisition unit 26 acquires various information indicating settings related to handwriting input by analyzing the digital ink 72 acquired in step SP10.
  • the setting acquisition unit 26 extracts and generates the writing setting information 18 using the analysis result at step SP12.
  • step SP16 the setting acquisition unit 26 registers the writing setting information 18 extracted and generated in step SP14 in association with the user who generated the digital ink 72. Specifically, the setting acquisition unit 26 performs data processing for updating the management table 80 of the setting information DB 36 . Thus, the input support device 16 ends the processing of the flowchart shown in FIG.
  • FIG. 5 is a diagram showing an example of the data structure of the management table 80 of the setting information DB 36.
  • the management table 80 is, for example, data in a table format that indicates the correspondence between the user information 74, the device information 76, and the writing setting information 18.
  • FIG. The user information 74 includes a “user ID”, which is user identification information, and a “pen ID”, which is identification information of the electronic pen 14 .
  • the device information 76 includes "NO" indicating the device ownership number (for example, up to 3 devices), "device ID” as device identification information, and "model” indicating the type of device. be.
  • step SP20 in FIG. 6 the control unit 22 confirms whether or not an update request has been received from the second device 12b.
  • This update request includes user information 74 (user ID and pen ID) and device information 76 (device ID and model). If the update request has not yet been received (step SP20: NO), the control unit 22 remains at step SP20 until the request is received. On the other hand, if an update request has been received (step SP20: YES), the controller 22 proceeds to the next step SP22.
  • the control unit 22 acquires the first setting information 18a and the model pair corresponding to the request at step SP20. Specifically, after extracting the device information 76 corresponding to the user information 74 from the setting information DB 36, the control unit 22 [1] acquires the “model” included in the device information 76 as the first model. , [2] Acquire the "writing setting information" corresponding to the first model as the first setting information 18a. Further, the control unit 22 acquires the “model” of the device information 76 included in the [3] change request as the second model.
  • step SP24 the control unit 22 (more specifically, the necessity determination unit 28) uses the model pair acquired in step SP22 to determine whether conversion of the first setting information 18a is necessary. If it is determined that conversion is not necessary (step SP24: NO), the control unit 22 omits execution of step SP26. For example, if the first model and the second model are different, it is determined that the writing setting information 18 needs to be converted (step SP24: YES), so the control section 22 proceeds to the next step SP26.
  • step SP26 the control unit 22 (more specifically, the information conversion unit 30) causes the content or tendency of the setting specified by the first setting information 18a to be inherited to the writing input using the second device 12b. , the first setting information 18a is converted into the second setting information 18b.
  • step SP28 the control unit 22 (more specifically, the setting output unit 32) sends the second setting information 18b obtained by the conversion in step SP26 to the second device 12b, which is the device that made the update request. Send.
  • the second device 12b stores the received second setting information 18b in the memory 62 so that the writing setting information 18 can be used in its own device environment.
  • the input support device 16 ends the processing of the flowchart shown in FIG.
  • FIG. 7 is a diagram showing an example of the data structure of the management table 80 of the setting information DB 36, similar to FIG. More specifically, FIG. 5 shows the state of the writing setting information 18 before conversion, while FIG. 7 shows the state of the writing setting information 18 after conversion.
  • the information setting unit 64 performs initial settings related to handwriting input. This allows the first device 12a or the second device 12b to use the given settings.
  • step SP32 the writing processing unit 66 performs writing processing for accepting writing input according to user's operation.
  • the input support unit 68 confirms whether or not the event detection timing has arrived.
  • the detection timing may be, for example, when one stroke operation is completed. If the detection timing has not yet arrived (step SP34: NO), the controller 22 returns to step SP32 and repeats steps SP32 and SP34 until the detection timing arrives. On the other hand, if the detection timing has arrived (step SP34: YES), the controller 22 proceeds to the next step SP36.
  • the input support unit 68 identifies the presence or absence and type of event from the writing state at the detection timing confirmed at step SP34. This identification processing is performed, for example, through a machine-learned classifier.
  • step SP38 the input support unit 68 confirms whether or not an event requiring support has been detected. If no event is detected (step SP38: NO), the control unit 22 returns to step SP32 and repeats steps SP32 to SP38 in sequence. On the other hand, if an event is detected (step SP38: YES), the control section 22 proceeds to the next step SP40.
  • the input support unit 68 performs support processing according to the type of event detected at step SP38. Thereafter, returning to step SP32, the first device 12a or the second device 12b continues the processing of the flow chart shown in FIG. 8 until the end operation by the user is received.
  • the second device 12b that differs from the first device 12a in the content or tendency of the setting specified by the first setting information 18a is used. Inherited by the writing input used. In other words, after the first device 12a is replaced with the second device 12b, the user can receive support equivalent to that for the first device 12a without resetting the second device 12b.
  • the writing setting information 18 may include information about the shape of the writing pressure curve (hereinafter referred to as writing pressure curve information). Then, the input support unit 68 may use this pen pressure curve information to adjust the pointing position or the sampling interval of the electronic pen 14 during execution of the pen-down operation. Specifically, when the moving speed of the electronic pen 14 is lower than the threshold, the input support unit 68 may increase the number of stages of the time-series data averaging process, or may increase the sampling interval. This helps to write strokes smoothly.
  • the writing setting information 18 may include a learning parameter group for detecting the user's writing habits and outputting corrected strokes. Then, the input support unit 68 may generate a predicted stroke curve after correction using a learning device constructed from this learning parameter group during execution of the pen-down operation. For example, when the user performs handwriting input, by superimposing the prediction curve on the display panel 51 (FIG. 3), the user is assisted in performing handwriting input without any writing habits.
  • the writing setting information 18 may include a group of learning parameters for outputting modified strokes that are slightly higher than the user's drawing skill from the strokes written by the user. Then, the input support unit 68 may correct strokes actually written by the user using a learning device constructed from this learning parameter group. This allows the user to experience the joy of drawing.
  • the writing setting information 18 may include a group of learning parameters for estimating objects (pictures, characters, etc.) being drawn and identifying incomplete parts.
  • the input support unit 68 may then use the learner constructed with this set of learning parameters to generate a set of strokes describing the unfinished portion of the object during execution of the pen-down operation. For example, when the user performs handwriting input, by superimposing the stroke group on the display panel 51 (FIG. 3), the user can quickly draw a desired object.
  • the writing setting information 18 may include a group of learning parameters for converting an intermediate rough sketch into a completed object. Then, the input support unit 68 may generate a completed object using the learner constructed by this learning parameter group during execution of the pen-down operation. For example, when the user performs handwriting input, displaying the object overlaid on the display panel 51 (FIG. 3) assists the user in imagining the completed object.
  • the writing setting information 18 may include the type of the electronic pen 14 and the type of the pen tip in addition to the identification information of the electronic pen 14 (that is, the pen ID). Then, while the electronic pen 14 is being used, the input support unit 68 may specify the type and usage of the electronic pen 14 that should be recommended to the user, using the learner constructed from this learning parameter group. For example, by displaying this recommended information on the display panel 51 (FIG. 3) when the user performs handwriting input, advice on the use of the electronic pen 14 and sales promotion activities for the electronic pen 14 can be performed.
  • the writing setting information 18 may include operation information related to operations using fingers such as tapping, swiping, pinching in, and pinching out. Then, when the user performs an operation using his or her finger, the input support unit 68 may use the operation information described above to perform control to move, enlarge, or reduce the display screen. As a result, screen display with low latency is performed, and the burden of operation by the user is reduced.
  • the writing setting information 18 may include window information indicating the relationship between the overlapping state of multiple windows and the execution history of operations on the windows. Then, the input support unit 68 may predict the window that the user is scheduled to select and operate next, using the above-described window information in a state where a plurality of windows are overlapped. As a result, the desired window is automatically selected, thereby reducing the burden of operation on the user.
  • the input system 10 in the first embodiment is configured to be able to communicate with the first device 12a, the second device 12b different from the first device 12a, and the first device 12a and the second device 12b. and an input support device 16.
  • the input support device 16 in the first embodiment includes a setting acquisition unit 26 that acquires first setting information 18a that indicates the content or tendency of settings related to handwriting input using the first device 12a, and the setting acquisition unit 26 acquires the first setting information 18a.
  • an information conversion unit that converts the first setting information 18a into the second setting information 18b so that the content or tendency of the setting specified by the first setting information 18a is inherited by the handwriting input using the second device 12b.
  • a setting output unit 32 that outputs the second setting information 18b converted by the information conversion unit 30 to the second device 12b.
  • one or more computers acquire the first setting information 18a indicating the content or tendency of the settings related to handwriting input using the first device 12a.
  • step (SP22 in FIG. 6) the first setting information 18a is changed to the first setting information 18a so that the content or tendency of the setting specified by the acquired first setting information 18a is succeeded to the handwriting input using the second device 12b. 2 setting information 18b, and an output step (SP26) of outputting the converted second setting information 18b to the second device 12b.
  • the recording medium (or storage medium) in this embodiment is a non-transitory computer-readable medium that stores the above-described program.
  • the second device 12b can use the second setting information 18b obtained through the conversion from the first setting information 18a, and the writing setting information 18 indicating the content or tendency of setting related to writing input. can be reflected in a timely manner.
  • the setting output unit 32 outputs the second settings converted by the information conversion unit 30 in response to a request from the second device 12b.
  • Information 18b may be output to second device 12b.
  • the setting acquisition unit 26 associates the first setting information 18a with the identification information of the electronic pen 14.
  • the setting output unit 32 transmits the second setting information 18b converted by the information conversion unit 30 to the second device 12b associated with the identification information of the electronic pen 14. may be output.
  • the input support device 16 may further include a necessity determination unit 28 that determines whether conversion by the information conversion unit 30 is necessary. Further, the necessity determination unit 28 may determine that conversion is necessary when the models of the first device 12a and the second device 12b are different.
  • FIG. 9 a second embodiment of the present invention will be described mainly with reference to FIGS. 9 and 10.
  • FIG. 9 a second embodiment of the present invention will be described mainly with reference to FIGS. 9 and 10.
  • FIG. 9 is an overall configuration diagram of an input system 100 according to the second embodiment of the invention.
  • the input system 100 includes a first device 12c (corresponding to an “information processing device”), a second device 12d (corresponding to an “information processing device”), a first electronic pen 14c, and a second The electronic pen 14d and the input support device 16 are included.
  • the first device 12c is an electronic device owned by the first user and has a function of detecting the position pointed by the first electronic pen 14c.
  • the first device 12c has a configuration similar to that of the first embodiment (FIG. 3).
  • the first user is, for example, a creator of digital content.
  • the second device 12d is an electronic device owned by the second user and has a function of detecting the position pointed by the second electronic pen 14d.
  • the second device 12d has a configuration similar to that of the first embodiment (FIG. 3).
  • the second user is, for example, a fan user of the above creator.
  • the input support device 16 has the same configuration as in the case of the first embodiment (Fig. 2).
  • the input support device 16 is configured to be able to communicate with the first device 12c and the second device 12d through the network NT. Thereby, the input support device 16 can acquire the first setting information 18c from the first device 12c and provide the second setting information 18d to the second device 12d.
  • the input system 100 in the second embodiment is configured as described above. The operation of the input system 100 will be described, focusing on points that differ from the first embodiment.
  • the operation of the input support device 16 to register the digital ink 72 is basically the same as the operation in the first embodiment.
  • the digital ink 72 is stored in the ink DB 34 of the input support device 16 after being generated using a device combination owned by the first user (that is, the first device 12c and the first electronic pen 14c). be registered.
  • the control unit 22 confirms whether or not an update request has been received from the second device 12d.
  • This update request includes user information 74 (user ID and pen ID) about the second user, device information 76 (device ID and model) about the second device 12d, and information for specifying the first user (for example, user ID).
  • the control unit 22 acquires the first setting information 18a and the model pair corresponding to the request at step SP20. Specifically, after extracting the device information 76 corresponding to the user ID of the first user from the setting information DB 36, the control unit 22 [1] changes the “model” included in the device information 76 to the first model. [2] Acquire "writing setting information" corresponding to the first model as the first setting information 18a. Further, the control unit 22 acquires the “model” of the device information 76 regarding the [3] second device 12d as the second model.
  • the setting output unit 32 transmits the second setting information 18d obtained by the conversion at step SP26 to the second device 12d, which is the device that made the update request.
  • the second device 12d stores the received second setting information 18d in the memory 62, thereby making it possible to use the writing setting information 18 of the first user in its own device environment.
  • the input support device 16 ends the processing of the flowchart shown in FIG.
  • FIG. 10 is a diagram showing an example of the data structure of the management table 80 of the setting information DB 36.
  • the management table 80 is data in table format showing the correspondence between the user information 74, the device information 76, and the writing setting information 18.
  • the input support operation performed by the first device 12a or the second device 12b is basically the same as the operation in the first embodiment, that is, the operation shown in the flowchart of FIG. A specific example of input assistance in the second embodiment will be described below.
  • the writing setting information 18 may include a plurality of types of color palettes with different color combinations. Then, the input support unit 68 may present one type of color palette preselected by the user from among multiple types of color palettes. For example, by arranging and comparing a plurality of objects drawn using each color palette on the setting screen, the user can select a preferred color scheme (that is, a preferred color palette).
  • the writing setting information 18 may include a learning parameter group for outputting a unique font (hereinafter referred to as a first font) to which a specific user's writing habits are assigned for characters of arbitrary shape. good. Then, after executing a series of stroke operations, the input support unit 68 may convert to the first font using a learning device constructed from this learning parameter group. For example, when the user performs handwriting input, the user can use the first font by displaying the first font overlaid on the display panel 51 (FIG. 3). Further, the first font may be combined with a font different from the first font (hereinafter referred to as a second font) to customize the font.
  • a second font a font different from the first font
  • the writing setting information 18 includes settings for giving strokes of arbitrary shapes the style of a particular user (for example, a famous artist or creator such as a painter, a calligrapher, or an ink painter) for output.
  • a set of learning parameters may be included.
  • the input support unit 68 may generate strokes that imitate a specific drawing style using a learning device constructed from this learning parameter group. For example, when the user performs handwriting input, by superimposing and displaying the stroke group on the display panel 51 (FIG. 3), the user can copy the style of drawing and writing that the user likes.
  • the writing setting information 18 includes a group of learning parameters for outputting an object of arbitrary shape (image data in vector or raster format) with a specific user's drawing style.
  • image data used for machine learning training may be works created in the past, or training images newly created for learning. In the latter case, for example, a particular user traces a photograph using the electronic pen 14 to obtain desired raster format data.
  • the input system 100 in the second embodiment is configured to be able to communicate with the first device 12c, the second device 12d different from the first device 12c, and the first device 12c and the second device 12d. and an input support device 16.
  • the input support device 16 includes a setting acquisition section 26 , an information conversion section 30 and a setting output section 32 .
  • the setting output unit 32 converts the second setting information 18d converted by the information conversion unit 30 in response to a request from the second device 12d. may be output to the second device 12d. This allows the user of the second device 12d to use the settings used by the user of the first device 12c.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本発明は、入力支援装置、方法、プログラム及び入力システムに関する。入力支援装置(16)は、第1機器を用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報(18a)を取得する設定取得部(26)と、第1設定情報(18a)により特定される設定の内容又は傾向が、第1機器とは異なる第2機器を用いた筆記入力に継承されるように、第1設定情報(18a)を第2設定情報(18b)に変換する情報変換部(30)と、変換された第2設定情報(18b)を第2機器に出力する設定出力部(32)と、を備える。

Description

入力支援装置、方法、プログラム及び入力システム
 本発明は、入力支援装置、方法、プログラム、及び入力システムに関する。
 従来から、ユーザが文字や絵などのコンテンツを手書きで入力するための電子機器が知られている。例えば、特許文献1には、電子ペンによる指示操作を介して、ストロークの太さ、ペイントの色や明るさを含む様々な描画パラメータの設定を行う方法が開示されている。
特開2015-038718号公報
 ところが、特許文献1に開示される方法では、例えば、電子機器を交換する度にパラメータなどを再設定する必要が生じ、その分だけユーザの負担が増してしまう。
 本発明はこのような問題に鑑みてなされたものであり、その目的は、筆記入力に関する設定の内容又は傾向を示す筆記設定情報を適時に反映可能な入力支援装置、方法、プログラム及び入力システムを提供することにある。
 第1の本発明における入力支援装置は、第1機器を用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報を取得する設定取得部と、前記設定取得部が取得した前記第1設定情報により特定される設定の内容又は傾向が、前記第1機器とは異なる第2機器を用いた筆記入力に継承されるように、前記第1設定情報を第2設定情報に変換する情報変換部と、前記情報変換部により変換された前記第2設定情報を前記第2機器に出力する設定出力部と、を備える。
 第2の本発明における入力支援方法では、第1機器を用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報を取得する取得ステップと、取得した前記第1設定情報により特定される設定の内容又は傾向が、前記第1機器とは異なる第2機器を用いた筆記入力に継承されるように、前記第1設定情報を第2設定情報に変換する変換ステップと、変換された前記第2設定情報を前記第2機器に出力する出力ステップと、を1つ又は複数のコンピュータが実行する。
 第3の本発明における入力支援プログラムでは、第1機器を用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報を取得する取得ステップと、取得した前記第1設定情報により特定される設定の内容又は傾向が、前記第1機器とは異なる第2機器を用いた筆記入力に継承されるように、前記第1設定情報を第2設定情報に変換する変換ステップと、変換された前記第2設定情報を前記第2機器に出力する出力ステップと、を1つ又は複数のコンピュータに実行させる。
 第4の本発明における入力システムは、第1機器と、前記第1機器とは異なる第2機器と、前記第1機器及び前記第2機器とそれぞれ通信可能に構成される入力支援装置と、を備えるシステムであって、前記入力支援装置は、前記第1機器を用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報を取得する設定取得部と、前記設定取得部が取得した前記第1設定情報により特定される設定の内容又は傾向が、前記第2機器を用いた筆記入力に継承されるように、前記第1設定情報を第2設定情報に変換する情報変換部と、前記情報変換部により変換された前記第2設定情報を前記第2機器に出力する設定出力部と、を備える。
 本発明によれば、筆記入力に関する設定の内容又は傾向を示す筆記設定情報を適時に反映させることができる。
本発明の第1実施形態における入力システムの全体構成図である。 図1における入力支援装置の構成の一例を示すブロック図である。 図1における第1機器又は第2機器の構成の一例を示すブロック図である。 図1及び図2の入力支援装置が筆記設定情報を登録する動作の一例を示すフローチャートである。 設定情報DBの管理テーブルが有するデータ構造の一例を示す図である。 図1及び図2の入力支援装置が筆記設定情報を変換する動作の一例を示すフローチャートである。 設定情報DBの管理テーブルが有するデータ構造の一例を示す図である。 第1機器又は第2機器による入力支援動作の一例を示すフローチャートである。 本発明の第2実施形態における入力システムの全体構成図である。 設定情報DBの管理テーブルが有するデータ構造の一例を示す図である。
 以下、添付図面を参照しながら本発明の実施形態について説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を付して、重複する説明は省略する。なお、本発明は、以下に説明する各実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。また、技術的に矛盾が生じない範囲でフローチャートを構成する各ステップの実行順を適宜変更してもよい。
[第1実施形態]
 まず、本発明の第1実施形態について、図1~図8を参照しながら説明する。
<全体構成>
 図1は、本発明の第1実施形態における入力システム10の全体構成図である。入力システム10は、ユーザによる筆記入力を支援するための「入力支援サービス」を提供するために設けられる。この入力システム10は、具体的には、第1機器12a(「情報処理装置」に相当)と、第2機器12b(「情報処理装置」に相当)と、電子ペン14と、入力支援装置16と、を含んで構成される。
 第1機器12aは、入力支援サービスを利用するユーザが所有する電子機器(いわゆる、クライアント装置)であって、電子ペン14による指示位置を検出する機能を有する。第1機器12aは、例えば、タブレット、スマートフォン、パーソナルコンピュータなどから構成される。
 第2機器12bは、第1機器12aと同等の機能を有する電子機器であって、電子ペン14による指示位置を検出する機能を有する。第1実施形態の場合、第2機器12bは、同一のユーザにより買い替えられた交換品に相当する。なお、第2機器12bは、第1機器12aと異なる機種であるが、これに代えて同一の機種であってもよい。
 電子ペン14は、ペン型のポインティングデバイスであり、第1機器12aとの間で一方向又は双方向に通信可能に構成される。この電子ペン14は、例えば、アクティブ静電結合方式(AES)又は電磁誘導方式(EMR)のスタイラスである。ユーザは、電子ペン14を把持し、第1機器12aが有するタッチ面にペン先を押し当てながら移動させることで、第1機器12aに絵や文字を書き込むことができる。なお、電子ペン14は、第2機器12bに対しても、第1機器12aの場合と同様の機能を発揮する。
 入力支援装置16は、筆記入力の支援に関する統括的な制御を行うサーバコンピュータであり、クラウド型あるいはオンプレミス型のいずれであってもよい。ここで、入力支援装置16を単体のコンピュータとして図示しているが、入力支援装置16は、これに代わって分散システムを構築するコンピュータ群であってもよい。
 入力支援装置16は、ネットワークNTを通じて、第1機器12a及び第2機器12bとの間で相互に通信可能に構成される。これにより、入力支援装置16は、第1設定情報18aを第1機器12aから取得するとともに、第2設定情報18bを第2機器12bに提供することができる。ここで、第1設定情報18aは第1機器12aを使用するユーザに適した筆記設定情報18であり、第2設定情報18bは第2機器12bを使用するユーザに適した筆記設定情報18である。
 ここで、筆記設定情報18(図3)は、機器を用いた筆記入力に関する設定の内容又は傾向を示す情報を意味する。設定の「内容」とは、ストローク毎又はオブジェクト毎のデータ単位にて設定される内容を意味し、例えば、表示パネル51の解像度・サイズ・種類、タッチセンサ52の検出性能・種類、筆圧カーブの形状などを含む「デバイスドライバ側の設定条件」や、コンテンツの種類、カラーパレットやブラシの色情報、視覚効果の設定を含む「描画アプリ側の設定条件」などが挙げられる。また、設定の「傾向」とは、同一のユーザにより設定される内容の傾向を意味し、例えば、設定パラメータの典型値・ばらつきの度合いなどを含む「設定パラメータの特徴量」や、ユーザによる操作の嗜好・癖、ユーザの画風・作風を表現するための「記述パラメータ」(例えば、機械学習モデルの演算規則を特定するための学習パラメータ群)などが挙げられる。
<入力支援装置16の構成>
 図2は、図1における入力支援装置16の構成の一例を示すブロック図である。この入力支援装置16は、具体的には、通信部20と、制御部22と、記憶部24と、を備える。
 通信部20は、外部装置に対して電気信号を送受信するインターフェースである。これにより、入力支援装置16は、第1機器12a又は第2機器12bとの間で、様々なデータをやり取りすることができる。
 制御部22は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)を含むプロセッサによって構成される。制御部22は、記憶部24に格納されたプログラム及びデータを読み出して実行することで、設定取得部26、要否判定部28、情報変換部30及び設定出力部32として機能する。
 設定取得部26は、第1機器12aを用いた筆記入力に関する設定の内容又は傾向を示す筆記設定情報18(つまり、第1設定情報18a)を取得する。例えば、設定取得部26は、第1機器12aから供給されたデジタルインク72に対して解析処理を実行し、ストローク毎又はオブジェクト毎のデータ単位にて設定された内容を取得する。あるいは、設定取得部26は、第1機器12aにより過去に生成された複数組のデジタルインク72に対して様々な情報処理(例えば、統計処理や学習処理など)を施し、同一のユーザによる設定の傾向を取得する。
 要否判定部28は、情報変換部30による筆記設定情報18の変換が必要であるか否かに関する判定を行う。判定条件は、筆記設定情報18の互換性の有無について推定できるように設けられる。例えば、要否判定部28は、第1機器12aと第2機器12bの間にて機種が一致する場合には変換が必要ないと判定する一方、当該機種が一致しない場合には変換が必要であると判定する。あるいは、要否判定部28は、第1機器12aと第2機器12bの間にて利用可能な描画アプリケーションの種類又はバージョンが一致する場合には変換が必要ないと判定する一方、当該種類又はバージョンが一致しない場合には変換が必要であると判定する。
 情報変換部30は、設定取得部26が取得した第1設定情報18aにより特定される設定の内容又は傾向が、第1機器12aとは異なる第2機器12bを用いた筆記入力に継承されるように、第1設定情報18aを第2設定情報18bに変換する。ここで、「継承」とは、筆記設定情報18の互換性がある場合には内容又は傾向がそのまま維持される一方、筆記設定情報18の互換性がない場合にはより近い内容又は傾向が選択されることを意味する。
 設定出力部32は、情報変換部30による変換処理を通じて得られた筆記設定情報18(ここでは、第2設定情報18b)を第2機器12bに出力する。この「出力」とは、電気信号として送信すること、あるいは図示しない出力デバイスを用いて可視情報又は可聴情報を出力することを意味する。
 記憶部24は、制御部22が各構成要素を制御するのに必要なプログラム及びデータを記憶している。記憶部24は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、[1]コンピュータシステムに内蔵されるハードディスク(HDD:Hard Disk Drive)、ソリッドステートドライブ(SSD:Solid State Drive)などの記憶装置、[2]光磁気ディスク、ROM、CD-ROM、フラッシュメモリなどの可搬媒体などから構成される。
 なお、記憶部24には、デジタルインク72(図3)に関するデータベース(以下、「インクDB34」という)と、筆記設定情報18(図3)に関するデータベース(以下、「設定情報DB36」という)が構築されている。また、記憶部24には、第1設定情報18a及び第2設定情報18bがそれぞれ格納されている。
<第1機器12a,第2機器12bの構成>
 図3は、図1における第1機器12a又は第2機器12bの構成の一例を示すブロック図である。第1機器12a又は第2機器12bは、具体的には、タッチパネルディスプレイ50と、表示駆動IC(Integrated Circuit)54と、タッチIC56と、通信モジュール58と、ホストプロセッサ60と、メモリ62と、を含んで構成される。
 タッチパネルディスプレイ50は、コンテンツを可視的に表示可能な表示パネル51と、平面視にて表示パネル51と重なるように配置される面状のタッチセンサ52と、を含んで構成される。本図の例では、タッチセンサ52は、表示パネル51に外側から取り付ける「外付け型」のセンサであるが、これに代えて表示パネル51と一体的に構成される「内蔵型」のセンサであってもよい。
 表示パネル51は、モノクロ画像又はカラー画像を表示可能であり、例えば、液晶パネル、有機EL(Electro-Luminescence)パネル、電子ペーパーから構成される。なお、表示パネル51に可撓性をもたせることで、ユーザは、ユーザ装置12のタッチ面を湾曲又は屈曲させた状態のまま、様々な筆記操作を行うことができる。
 タッチセンサ52は、複数のセンサ電極を面状に配置してなる静電容量方式のセンサである。このタッチセンサ52は、ライン状の電極を二次元格子状に配置してなる相互容量方式のセンサであってもよいし、ブロック状の電極を二次元格子状に配置してなる自己容量方式のセンサであってもよい。
 表示駆動IC54は、表示パネル51と電気的に接続され、かつ表示パネル51の駆動制御を行う集積回路である。表示駆動IC54は、ホストプロセッサ60から供給された表示信号に基づいて表示パネル51を駆動する。これにより、表示パネル51上には、デジタルインク72が示すコンテンツが表示される。
 タッチIC56は、タッチセンサ52と電気的に接続され、かつタッチセンサ52の駆動制御を行う集積回路である。タッチIC56は、ホストプロセッサ60から供給された制御信号に基づいてタッチセンサ52を駆動する。これにより、タッチIC56は、電子ペン14の状態を検出する「ペン検出機能」や、ユーザの指などによるタッチを検出する「タッチ検出機能」を実行する。電子ペン14及びタッチセンサ52による入力機能と、表示パネル51による出力機能を組み合わせることで、グラフィカル・ユーザ・インターフェース(GUI)が構築される。
 通信モジュール58は、外部装置との間で有線通信又は無線通信を行う通信機能を有する。これにより、これにより、第1機器12a又は第2機器12bは、入力支援装置16との間で、筆記設定情報18やデジタルインク72を含む様々なデータをやり取りできる。
 ホストプロセッサ60は、CPU、GPU、あるいはMPU(Micro-Processing Unit)を含む処理演算装置によって構成される。ホストプロセッサ60は、メモリ62に格納されたプログラム及びデータを読み出して実行することで、いずれも後述する情報設定部64、筆記処理部66及び入力支援部68として機能する。
 メモリ62は、図2の記憶部24と同様に、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。本図の例では、メモリ62には、筆記設定情報18、付帯情報70及びデジタルインク72が格納されている。
 付帯情報70は、ユーザを特定するためのユーザ情報74と、機器を特定するための機器情報76と、を含んで構成される。ユーザ情報74には、例えば、入力支援サービスを利用するユーザの識別情報(以下、ユーザID)や、電子ペン14の識別情報(以下、ペンID)などが含まれる。機器情報76には、例えば、機器の識別情報(以下、機器ID)、MACアドレスなどのネットワーク情報、あるいは機種などが含まれる。
 デジタルインク72は、手書きによるコンテンツを表現するためのインクデータである。デジタルインク72のデータ形式、いわゆる「インク記述言語」として、例えば、WILL(Wacom Ink Layer Language)、InkML(Ink Markup Language)、ISF(Ink Serialized Format)が挙げられる。デジタルインク72は、例えば、[1]文書メタデータ(document metadata)、[2]意味データ(ink semantics)、[3]装置データ(devices)、[4]ストロークデータ(strokes)、[5]分類データ(groups)、及び[6]文脈データ(contexts)を順次配列してなるデータ構造を有する。
<入力システム10の動作>
 第1実施形態における入力システム10は、以上のように構成される。続いて、入力システム10の動作について、主に図4~図8を参照しながら説明する。
(1.デジタルインク72の登録動作)
 まず、入力支援装置16がデジタルインク72を登録する動作について、図1~図3を参照しながら説明する。ここでは、ユーザが、交換前の機器組み合わせ(つまり、第1機器12a及び電子ペン14)を用いて操作する場合を想定する。
 図3に示すように、ユーザは、自身が所有する電子ペン14を用いて、第1機器12aに対して筆記入力を行う。第1機器12aの筆記処理部66が、ユーザによる操作を逐次受け付けることで、ストロークデータが順次生成される。そして、ホストプロセッサ60は、筆記処理の終了に伴ってデジタルインク72を生成し、当該デジタルインク72をメモリ62に格納させる。
 その後、第1機器12aは、自身が生成したデジタルインク72を入力支援装置16に送信する。図2に示すように、入力支援装置16の制御部22は、通信部20を介して受信したデジタルインク72を記憶部24に記憶させる。これにより、インクDB34に新たなデジタルインク72が追加・登録される。
(2.筆記設定情報18の登録)
 続いて、入力支援装置16が筆記設定情報18を登録する動作について、図4及び図5を参照しながら説明する。図4のフローチャートに示す各ステップは、入力支援装置16が有する制御部22により実行される。
 図4のステップSP10において、制御部22(より詳しくは、設定取得部26)は、インクDB34を参照し、解析対象であるデジタルインク72を取得する。
 ステップSP12において、設定取得部26は、ステップSP10で取得されたデジタルインク72を解析することで、筆記入力に関する設定を示す各種情報を取得する。
 ステップSP14において、設定取得部26は、ステップSP12による解析結果を用いて、筆記設定情報18の抽出及び生成を行う。
 ステップSP16において、設定取得部26は、ステップSP14で抽出及び生成された筆記設定情報18を、デジタルインク72を生成したユーザと対応付けて登録する。具体的には、設定取得部26は、設定情報DB36の管理テーブル80を更新するデータ処理を行う。このようにして、入力支援装置16は、図4に示すフローチャートの処理を終了する。
 図5は、設定情報DB36の管理テーブル80が有するデータ構造の一例を示す図である。管理テーブル80は、例えば、ユーザ情報74と、機器情報76と、筆記設定情報18との間の対応関係を示すテーブル形式のデータである。ユーザ情報74は、ユーザの識別情報である「ユーザID」と、電子ペン14の識別情報である「ペンID」と、を含んで構成される。機器情報76は、機器の所有番号(例えば、最大3台)を示す「NO」と、機器の識別情報である「機器ID」と、機器の種別を示す「機種」と、を含んで構成される。本図の例では、管理テーブル80には、ユーザが所有する電子ペン14(ペンID=「P001」)、第1機器12a(機器ID=「A-1」、機種=「K1」)、及び筆記設定情報18(「Config-1」)がそれぞれ記述されている。
(3.筆記設定情報18の変換)
 続いて、入力支援装置16が筆記設定情報18を変換する動作について、図6及び図7を参照しながら説明する。ここでは、ユーザが、交換後の機器組み合わせ(つまり、第2機器12b及び電子ペン14)を用いて操作する場合を想定する。図6のフローチャートに示す各ステップは、入力支援装置16が有する制御部22により実行される。
 図6のステップSP20において、制御部22は、第2機器12bからの更新要求を受け付けたか否かを確認する。この更新要求には、ユーザ情報74(ユーザID及びペンID)と、機器情報76(機器ID及び機種)と、が含まれる。更新要求をまだ受け付けていない場合(ステップSP20:NO)、制御部22は、当該要求を受け付けるまでステップSP20に留まる。一方、更新要求を受け付けた場合(ステップSP20:YES)、制御部22は、次のステップSP22に進む。
 ステップSP22において、制御部22は、ステップSP20での要求に応じた第1設定情報18a及び機種ペアをそれぞれ取得する。具体的には、制御部22は、設定情報DB36の中から、ユーザ情報74に対応する機器情報76を抽出した後、[1]機器情報76に含まれる「機種」を第1機種として取得し、[2]第1機種に対応する「筆記設定情報」を第1設定情報18aとして取得する。また、制御部22は、[3]変更要求に含まれる機器情報76のうちの「機種」を第2機種として取得する。
 ステップSP24において、制御部22(より詳しくは、要否判定部28)は、ステップSP22で取得された機種ペアを用いて、第1設定情報18aの変換が必要であるか否かについて判定する。変換が必要ないと判定された場合(ステップSP24:NO)、制御部22は、ステップSP26の実行を省略する。例えば、第1機種と第2機種とが異なる場合、筆記設定情報18の変換が必要であると判定されるので(ステップSP24:YES)、制御部22は、次のステップSP26に進む。
 ステップSP26において、制御部22(より詳しくは、情報変換部30)は、第1設定情報18aにより特定される設定の内容又は傾向が、第2機器12bを用いた筆記入力に継承されるように、第1設定情報18aを第2設定情報18bに変換する。
 ステップSP28において、制御部22(より詳しくは、設定出力部32)は、ステップSP26での変換により得られた第2設定情報18bを、更新要求を行った機器である第2機器12bに向けて送信する。第2機器12bは、受信した第2設定情報18bをメモリ62に格納することで、筆記設定情報18を自身の装置環境で利用可能になる。このようにして、入力支援装置16は、図6に示すフローチャートの処理を終了する。
 図7は、図5と同様に、設定情報DB36の管理テーブル80が有するデータ構造の一例を示す図である。より詳しくは、図5が筆記設定情報18の変換前の状態を示す一方、図7が筆記設定情報18の変換後の状態を示す。本図の例では、管理テーブル80には、第1機器12a及び第1設定情報18aと併せて、第2機器12b(機器ID=「A-2」、機種=「K2」)及び第2設定情報18b(「Config-2」)が新たに追記されている。
(4.入力支援動作)
 続いて、第1機器12a又は第2機器12bが行う入力支援動作について、図8のフローチャートを参照しながら説明する。図8に示す各ステップは、第1機器12a又は第2機器12bが有するホストプロセッサ60により実行される。
 図8のステップSP30において、情報設定部64は、筆記入力に関する初期設定を行う。これにより、第1機器12a又は第2機器12bは、所与の設定を利用可能になる。
 ステップSP32において、筆記処理部66は、ユーザの操作に応じた筆記入力を受け付ける筆記処理を行う。
 ステップSP34において、入力支援部68は、イベントの検出タイミングが到来したか否かを確認する。検出タイミングは、例えば、1回のストローク操作が終了した時点であってもよい。検出タイミングがまだ到来していない場合(ステップSP34:NO)、制御部22は、ステップSP32に戻って、検出タイミングが到来するまでの間、ステップSP32,SP34を順次繰り返す。一方、検出タイミングが到来した場合(ステップSP34:YES)、制御部22は、次のステップSP36に進む。
 ステップSP36において、入力支援部68は、ステップSP34にて確認された検出タイミングにおける筆記の状態から、イベントの有無及び種類を識別する。この識別処理は、例えば、機械学習がなされた識別器を通じて行われる。
 ステップSP38において、入力支援部68は、支援を要するイベントを検出したか否かを確認する。イベントが検出されなかった場合(ステップSP38:NO)、制御部22は、ステップSP32に戻って、以下、ステップSP32~SP38を順次繰り返す。一方、イベントが検出された場合(ステップSP38:YES)、制御部22は、次のステップSP40に進む。
 ステップSP40において、入力支援部68は、ステップSP38で検出されたイベントの種類に応じた支援処理を行う。以下、ステップSP32に戻って、ユーザによる終了操作を受け付けるまでの間、第1機器12a又は第2機器12bは、図8に示すフローチャートの処理を継続する。
 ところで、第2設定情報18bが第1設定情報18aからの変換を通じて生成される場合、第1設定情報18aにより特定される設定の内容又は傾向が、第1機器12aとは異なる第2機器12bを用いた筆記入力に継承される。つまり、第1機器12aから第2機器12bへの交換後において、ユーザは、第2機器12bの再設定を行うことなく、第1機器12aの場合と同等の支援を受けることができる。
<支援の具体例>
 筆記設定情報18には、筆圧カーブの形状に関する情報(以下、筆圧カーブ情報)が含まれてもよい。そして、入力支援部68は、ペンダウン操作の実行中に、この筆圧カーブ情報を用いて、電子ペン14の指示位置又はサンプリング間隔を調整してもよい。具体的には、入力支援部68は、電子ペン14の移動速度が閾値よりも低い場合に、時系列データの平均化処理の段数を増やしてもよいし、サンプリング間隔を大きくしてもよい。これにより、ストロークを滑らかに筆記するための支援になる。
 筆記設定情報18には、ユーザの書き癖を検出して、矯正されたストロークを出力するための学習パラメータ群が含まれてもよい。そして、入力支援部68は、ペンダウン操作の実行中に、この学習パラメータ群により構築された学習器を用いて、矯正後のストロークの予測曲線を生成してもよい。例えば、ユーザが筆記入力を行う際に、この予測曲線を表示パネル51(図3)上に重ねて表示させることで、ユーザにとって、書き癖がない筆記入力を行うための支援になる。
 筆記設定情報18には、ユーザが筆記したストロークから、当該ユーザの描画スキルよりも少しだけ高くなるように修正されたストロークを出力するための学習パラメータ群が含まれてもよい。そして、入力支援部68は、この学習パラメータ群により構築された学習器を用いて、ユーザが実際に筆記したストロークを修正してもよい。これにより、絵を描くことの楽しさをユーザに実感させることができる。
 筆記設定情報18には、描画中のオブジェクト(絵や文字など)を推定して、未完成部分を特定するための学習パラメータ群が含まれてもよい。そして、入力支援部68は、ペンダウン操作の実行中に、この学習パラメータ群により構築された学習器を用いて、オブジェクトの未完成部分を記述するストローク群を生成してもよい。例えば、ユーザが筆記入力を行う際に、このストローク群を表示パネル51(図3)上に重ねて表示させることで、ユーザにとって、所望のオブジェクトを素早く描画するための支援になる。
 筆記設定情報18には、中間的なラフなスケッチから、完成したオブジェクトに変換するための学習パラメータ群が含まれてもよい。そして、入力支援部68は、ペンダウン操作の実行中に、この学習パラメータ群により構築された学習器を用いて、完成したオブジェクトを生成してもよい。例えば、ユーザが筆記入力を行う際に、このオブジェクトを表示パネル51(図3)上に重ねて表示させることで、ユーザにとって、オブジェクトの完成物を想像するための支援になる。
 筆記設定情報18には、電子ペン14の識別情報(つまり、ペンID)の他に、電子ペン14の種類や、ペン先の種類が含まれてもよい。そして、入力支援部68は、電子ペン14の使用中に、この学習パラメータ群により構築された学習器を用いて、ユーザに推奨すべき電子ペン14の種類や使い方を特定してもよい。例えば、ユーザが筆記入力を行う際に、この推奨情報を表示パネル51(図3)上に表示させることで、電子ペン14の使用に関する助言や、電子ペン14の販促活動を行うことができる。
 筆記設定情報18には、タップ、スワイプ、ピンチイン、ピンチアウトなどの指を用いた操作に関する操作情報が含まれてもよい。そして、入力支援部68は、ユーザが自身の指を用いて操作を行う際に、上記した操作情報を用いて、表示画面を移動・拡大・縮小する制御を行ってもよい。これにより、レイテンシが低い画面表示が行われ、ユーザによる操作の負担が軽減される。
 筆記設定情報18には、複数のウィンドウの重なり状態と、ウィンドウ上での操作の実行履歴との関係を示すウィンドウ情報が含まれてもよい。そして、入力支援部68は、複数のウィンドウが重なっている状態にて、上記したウィンドウ情報を用いて、ユーザが次に選択及び操作を行う予定であるウィンドウを予測してもよい。これにより、所望のウィンドウが自動的に選択されるので、ユーザによる操作の負担が軽減される。
<第1実施形態による効果>
 以上のように、第1実施形態における入力システム10は、第1機器12aと、第1機器12aとは異なる第2機器12bと、第1機器12a及び第2機器12bとそれぞれ通信可能に構成される入力支援装置16と、を備える。
 そして、第1実施形態における入力支援装置16は、第1機器12aを用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報18aを取得する設定取得部26と、設定取得部26が取得した第1設定情報18aにより特定される設定の内容又は傾向が、第2機器12bを用いた筆記入力に継承されるように、第1設定情報18aを第2設定情報18bに変換する情報変換部30と、情報変換部30により変換された第2設定情報18bを第2機器12bに出力する設定出力部32と、を備える。
 また、第1実施形態における入力支援方法及びプログラムによれば、1つ又は複数のコンピュータが、第1機器12aを用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報18aを取得する取得ステップ(図6のSP22)と、取得した第1設定情報18aにより特定される設定の内容又は傾向が、第2機器12bを用いた筆記入力に継承されるように、第1設定情報18aを第2設定情報18bに変換する変換ステップ(SP24)と、変換された第2設定情報18bを第2機器12bに出力する出力ステップ(SP26)と、を実行する。また、この実施形態における記録媒体(あるいは記憶媒体)は、コンピュータ読み取り可能な非一過性の媒体であって、上記したプログラムを格納する。
 このように構成することで、第2機器12bが、第1設定情報18aからの変換を通じて得られた第2設定情報18bを利用可能となり、筆記入力に関する設定の内容又は傾向を示す筆記設定情報18を適時に反映させることができる。
 また、第1機器12a及び第2機器12bが、同一のユーザに対応付けられる場合、設定出力部32は、第2機器12bからの要求に応じて、情報変換部30により変換された第2設定情報18bを第2機器12bに出力してもよい。これにより、例えば、同一のユーザが第1機器12aから第2機器12bに交換して利用する際、第2機器12bに対して再度の設定を行わなくて済む。
 また、第1機器12a及び第2機器12bが、電子ペン14を用いて筆記入力可能に構成される場合、設定取得部26は、第1設定情報18aを電子ペン14の識別情報と対応付けて取得し、設定出力部32は、第2機器12bからの要求に応じて、情報変換部30により変換された第2設定情報18bを、電子ペン14の識別情報と対応付けられる第2機器12bに出力してもよい。電子ペン14の識別情報を用いてユーザの同一性を確認することで、第2機器12bへの設定がより円滑に行われる。
 また、入力支援装置16は、情報変換部30による変換が必要であるか否かを判定する要否判定部28をさらに備えてもよい。また、要否判定部28は、第1機器12aと第2機器12bの間で機種が異なる場合に変換が必要であると判定してもよい。
[第2実施形態]
 続いて、本発明の第2実施形態について、主に図9及び図10を参照しながら説明する。
<構成>
 図9は、本発明の第2実施形態における入力システム100の全体構成図である。この入力システム100は、具体的には、第1機器12c(「情報処理装置」に相当)と、第2機器12d(「情報処理装置」に相当)と、第1電子ペン14cと、第2電子ペン14dと、入力支援装置16と、を含んで構成される。
 第1機器12cは、第1ユーザが所有する電子機器であって、第1電子ペン14cによる指示位置を検出する機能を有する。第1機器12cは、第1実施形態(図3)の場合と同様の構成を有する。第1ユーザは、例えば、デジタルコンテンツのクリエータである。
 第2機器12dは、第2ユーザが所有する電子機器であって、第2電子ペン14dによる指示位置を検出する機能を有する。第2機器12dは、第1実施形態(図3)の場合と同様の構成を有する。第2ユーザは、例えば、上記したクリエータのファンユーザである。
 入力支援装置16は、第1実施形態(図2)の場合と同様の構成を有する。入力支援装置16は、ネットワークNTを通じて、第1機器12c及び第2機器12dとの間で相互に通信可能に構成される。これにより、入力支援装置16は、第1設定情報18cを第1機器12cから取得するとともに、第2設定情報18dを第2機器12dに提供することができる。
<動作>
 第2実施形態における入力システム100は、以上のように構成される。入力システム100の動作について、第1実施形態とは異なる点を中心に説明する。
(1.デジタルインク72の登録動作)
 入力支援装置16がデジタルインク72を登録する動作は、基本的には、第1実施形態における動作と同一である。第2実施形態では、デジタルインク72は、第1ユーザが所有する機器組み合わせ(つまり、第1機器12c及び第1電子ペン14c)を用いて生成された後に、入力支援装置16が有するインクDB34に登録される。
(2.筆記設定情報18の登録)
 入力支援装置16が筆記設定情報18を登録する動作は、基本的には、第1実施形態における動作、つまり図4のフローチャートに示す動作と同一である。
(3.筆記設定情報18の変換)
 入力支援装置16が筆記設定情報18を変換する動作は、基本的には、第1実施形態における動作、つまり図6のフローチャートに示す動作と同一である。ただし、ステップSP20,SP22において取り扱う情報が異なる。
 図6のステップSP20において、制御部22は、第2機器12dからの更新要求を受け付けたか否かを確認する。この更新要求には、第2ユーザに関するユーザ情報74(ユーザID及びペンID)と、第2機器12dに関する機器情報76(機器ID及び機種)と、第1ユーザを特定するための情報(例えば、ユーザID)が含まれる。
 ステップSP22において、制御部22は、ステップSP20での要求に応じた第1設定情報18a及び機種ペアをそれぞれ取得する。具体的には、制御部22は、設定情報DB36の中から、第1ユーザのユーザIDに対応する機器情報76を抽出した後、[1]機器情報76に含まれる「機種」を第1機種として取得し、[2]第1機種に対応する「筆記設定情報」を第1設定情報18aとして取得する。また、制御部22は、[3]第2機器12dに関する機器情報76のうちの「機種」を第2機種として取得する。
 続いて、ステップSP28において、設定出力部32は、ステップSP26での変換により得られた第2設定情報18dを、更新要求を行った機器である第2機器12dに向けて送信する。第2機器12dは、受信した第2設定情報18dをメモリ62に格納することで、第1ユーザの筆記設定情報18を自身の装置環境で利用可能になる。このようにして、入力支援装置16は、図6に示すフローチャートの処理を終了する。
 図10は、設定情報DB36の管理テーブル80が有するデータ構造の一例を示す図である。管理テーブル80は、第1実施形態の場合と同様に、ユーザ情報74と、機器情報76と、筆記設定情報18との間の対応関係を示すテーブル形式のデータである。本図の例では、管理テーブル80には、第1ユーザが所有する第1電子ペン14c(ペンID=「P003」)、第1機器12c(機器ID=「A-3」、機種=「K3」)、及び筆記設定情報18(「Config-3」)がそれぞれ記述されている。また、管理テーブル80には、第2ユーザが所有する第2電子ペン14d(ペンID=「P004」)、第2機器12d(機器ID=「A-4」、機種=「K4」)、及び筆記設定情報18(「Config-4」)がそれぞれ記述されている。
(4.入力支援動作)
 第1機器12a又は第2機器12bが行う入力支援動作は、基本的には、第1実施形態における動作、つまり図8のフローチャートに示す動作と同一である。以下、第2実施形態における入力支援の具体例について説明する。
<入力支援の具体例>
 筆記設定情報18には、色の組み合わせが異なる複数種類のカラーパレットが含まれてもよい。そして、入力支援部68は、複数種類のカラーパレットの中から、ユーザにより予め選択された1種類のカラーパレットを提示してもよい。例えば、各々のカラーパレットを用いて描画された複数のオブジェクトを設定画面上に並べて比較表示させることで、ユーザに好みの色使い(つまり、好みのカラーパレット)を選択させることができる。
 筆記設定情報18には、任意の形状からなる文字に対して、特定のユーザの書き癖が付与された独自のフォント(以下、第1フォント)を出力するための学習パラメータ群が含まれてもよい。そして、入力支援部68は、一連のストローク操作の実行後に、この学習パラメータ群により構築された学習器を用いて、第1フォントに変換してもよい。例えば、ユーザが筆記入力を行う際に、この第1フォントを表示パネル51(図3)上に重ねて表示させることで、ユーザは、第1フォントを使用することができる。また、第1フォントは、該第1フォントとは異なるフォント(以下、第2フォント)と組み合わせることで、フォントのカスタマイズを行ってもよい。
 筆記設定情報18には、任意の形状からなるストロークに対して、特定のユーザ(例えば、画家、書家、水墨画家などの有名なアーティストやクリエータ)の画風・作風を付与して出力するための学習パラメータ群が含まれてもよい。そして、入力支援部68は、一連のストローク操作の実行後に、この学習パラメータ群により構築された学習器を用いて、特定の画風・作風を模したストロークを生成してもよい。例えば、ユーザが筆記入力を行う際に、このストローク群を表示パネル51(図3)上に重ねて表示させることで、ユーザは、好みの画風・作風を模写することができる。
 同様に、筆記設定情報18には、任意の形状からなるオブジェクト(ベクトル形式又はラスタ形式の画像データ)に対して、特定のユーザの画風・作風を付与して出力するための学習パラメータ群が含まれてもよい。機械学習の訓練に用いられる画像データは、過去に創作した作品であってもよいし、学習のために新たに作成した訓練用画像であってもよい。後者の場合、例えば、特定のユーザが電子ペン14を用いて写真をトレースすることで、所望のラスタ形式データが得られる。
<第2実施形態のまとめ>
 以上のように、第2実施形態における入力システム100は、第1機器12cと、第1機器12cとは異なる第2機器12dと、第1機器12c及び第2機器12dとそれぞれ通信可能に構成される入力支援装置16と、を備える。そして、入力支援装置16は、設定取得部26、情報変換部30、及び設定出力部32を備える。このように構成することで、第1実施形態の場合と同様の作用効果が得られる。すなわち、筆記入力に関する設定の内容又は傾向を示す筆記設定情報18を適時に反映させることができる。
 また、第1機器12c及び第2機器12dが異なるユーザに対応付けられる場合、設定出力部32は、第2機器12dからの要求に応じて、情報変換部30により変換された第2設定情報18dを第2機器12dに出力してもよい。これにより、第2機器12dのユーザは、第1機器12cのユーザが用いる設定を利用することができる。
[符号の説明]
 10,100…入力システム、12a,12c…第1機器、12b,12d…第2機器、14…電子ペン、14c…第1電子ペン、14d…第2電子ペン、16,102…入力支援装置、18a,18c…第1設定情報、18b,18d…第2設定情報、26…設定取得部、28…要否判定部、30…情報変換部、32…設定出力部

Claims (9)

  1.  第1機器を用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報を取得する設定取得部と、
     前記設定取得部が取得した前記第1設定情報により特定される設定の内容又は傾向が、前記第1機器とは異なる第2機器を用いた筆記入力に継承されるように、前記第1設定情報を第2設定情報に変換する情報変換部と、
     前記情報変換部により変換された前記第2設定情報を前記第2機器に出力する設定出力部と、
     を備える入力支援装置。
  2.  前記第1機器及び前記第2機器は、同一のユーザに対応付けられ、
     前記設定出力部は、前記第2機器からの要求に応じて、前記情報変換部により変換された前記第2設定情報を前記第2機器に出力する、
     請求項1に記載の入力支援装置。
  3.  前記第1機器及び前記第2機器は、異なるユーザに対応付けられ、
     前記設定出力部は、前記第2機器からの要求に応じて、前記情報変換部により変換された前記第2設定情報を前記第2機器に出力する、
     請求項1に記載の入力支援装置。
  4.  前記第1機器及び前記第2機器は、電子ペンを用いて筆記入力可能に構成され、
     前記設定取得部は、前記第1設定情報を前記電子ペンの識別情報と対応付けて取得し、
     前記設定出力部は、前記第2機器からの要求に応じて、前記情報変換部により変換された前記第2設定情報を、前記電子ペンの識別情報と対応付けられる前記第2機器に出力する、
     請求項2又は3に記載の入力支援装置。
  5.  前記情報変換部による変換が必要であるか否かを判定する要否判定部をさらに備える、
     請求項1に記載の入力支援装置。
  6.  前記要否判定部は、前記第1機器と前記第2機器の間で機種が異なる場合に変換が必要であると判定する、
     請求項5に記載の入力支援装置。
  7.  第1機器を用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報を取得する取得ステップと、
     取得した前記第1設定情報により特定される設定の内容又は傾向が、前記第1機器とは異なる第2機器を用いた筆記入力に継承されるように、前記第1設定情報を第2設定情報に変換する変換ステップと、
     変換された前記第2設定情報を前記第2機器に出力する出力ステップと、
     を1つ又は複数のコンピュータが実行する、入力支援方法。
  8.  第1機器を用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報を取得する取得ステップと、
     取得した前記第1設定情報により特定される設定の内容又は傾向が、前記第1機器とは異なる第2機器を用いた筆記入力に継承されるように、前記第1設定情報を第2設定情報に変換する変換ステップと、
     変換された前記第2設定情報を前記第2機器に出力する出力ステップと、
     を1つ又は複数のコンピュータに実行させる、入力支援プログラム。
  9.  第1機器と、
     前記第1機器とは異なる第2機器と、
     前記第1機器及び前記第2機器とそれぞれ通信可能に構成される入力支援装置と、
     を備える入力システムであって、
     前記入力支援装置は、
     前記第1機器を用いた筆記入力に関する設定の内容又は傾向を示す第1設定情報を取得する設定取得部と、
     前記設定取得部が取得した前記第1設定情報により特定される設定の内容又は傾向が、前記第2機器を用いた筆記入力に継承されるように、前記第1設定情報を第2設定情報に変換する情報変換部と、
     前記情報変換部により変換された前記第2設定情報を前記第2機器に出力する設定出力部と、
     を備える、入力システム。
PCT/JP2022/020331 2021-08-05 2022-05-16 入力支援装置、方法、プログラム及び入力システム WO2023013203A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023539659A JPWO2023013203A1 (ja) 2021-08-05 2022-05-16
DE112022003264.2T DE112022003264T5 (de) 2021-08-05 2022-05-16 Eingabeunterstützungsgerät, verfahren, programm und eingabesystem
US18/430,488 US20240168575A1 (en) 2021-08-05 2024-02-01 Input support apparatus, method, computer-readable medium, and input system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-128811 2021-08-05
JP2021128811 2021-08-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/430,488 Continuation US20240168575A1 (en) 2021-08-05 2024-02-01 Input support apparatus, method, computer-readable medium, and input system

Publications (1)

Publication Number Publication Date
WO2023013203A1 true WO2023013203A1 (ja) 2023-02-09

Family

ID=85154163

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/020331 WO2023013203A1 (ja) 2021-08-05 2022-05-16 入力支援装置、方法、プログラム及び入力システム

Country Status (4)

Country Link
US (1) US20240168575A1 (ja)
JP (1) JPWO2023013203A1 (ja)
DE (1) DE112022003264T5 (ja)
WO (1) WO2023013203A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06214704A (ja) * 1993-01-20 1994-08-05 Hitachi Ltd 情報処理システムおよび個人照合システム
JP2018194890A (ja) * 2017-05-12 2018-12-06 株式会社リコー 情報処理装置、電子機器、設定情報利用方法、プログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6249486B2 (ja) 2013-08-19 2017-12-20 株式会社ワコム 描画装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06214704A (ja) * 1993-01-20 1994-08-05 Hitachi Ltd 情報処理システムおよび個人照合システム
JP2018194890A (ja) * 2017-05-12 2018-12-06 株式会社リコー 情報処理装置、電子機器、設定情報利用方法、プログラム

Also Published As

Publication number Publication date
JPWO2023013203A1 (ja) 2023-02-09
US20240168575A1 (en) 2024-05-23
DE112022003264T5 (de) 2024-04-11

Similar Documents

Publication Publication Date Title
JP4295602B2 (ja) 言語をペン先idに関連付ける方法、入力デバイスを使用して電子インクを処理装置に入力する方法および電子インクを受け取るための装置
CN104067204A (zh) 指示笔计算环境
CN107666987A (zh) 机器人过程自动化
JP6089793B2 (ja) 文書情報に基づく手書き情報と文書の関連付け
JP5925957B2 (ja) 電子機器および手書きデータ処理方法
US10049114B2 (en) Electronic device, method and storage medium
US20140270529A1 (en) Electronic device, method, and storage medium
US9400592B2 (en) Methods, systems and apparatus for digital-marking-surface space and display management
US9395911B2 (en) Computer input using hand drawn symbols
TW201732535A (zh) 模擬使用數位標誌、觸控輸入及低功率反射顯示器掛圖使用之方法及裝置
US20200356251A1 (en) Conversion of handwriting to text in text fields
US8948514B2 (en) Electronic device and method for processing handwritten document
US20160117093A1 (en) Electronic device and method for processing structured document
WO2023013203A1 (ja) 入力支援装置、方法、プログラム及び入力システム
US8494276B2 (en) Tactile input recognition using best fit match
JP5469985B2 (ja) データ受渡方法及び汎用データ取得方法
US20130201161A1 (en) Methods, Systems and Apparatus for Digital-Marking-Surface Content-Unit Manipulation
TW201248456A (en) Identifying contacts and contact attributes in touch sensor data using spatial and temporal features
US20170060407A1 (en) Electronic apparatus and method
WO2023281954A1 (ja) 情報処理装置、方法、プログラム及びシステム
US10762342B2 (en) Electronic apparatus, method, and program
WO2023132177A1 (ja) コンテンツ評価装置、プログラム、方法、及びシステム
WO2023145227A1 (ja) コンテンツ評価装置、プログラム、方法、及びシステム
JP7320157B1 (ja) コンテンツ評価装置、プログラム、方法、及びシステム
CN106406720B (zh) 信息处理方法和信息处理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22852632

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023539659

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 112022003264

Country of ref document: DE