WO2020208937A1 - デジタルインクを管理するホームｕｉシステム - Google Patents

デジタルインクを管理するホームｕｉシステム Download PDF

Info

Publication number
WO2020208937A1
WO2020208937A1 PCT/JP2020/006006 JP2020006006W WO2020208937A1 WO 2020208937 A1 WO2020208937 A1 WO 2020208937A1 JP 2020006006 W JP2020006006 W JP 2020006006W WO 2020208937 A1 WO2020208937 A1 WO 2020208937A1
Authority
WO
WIPO (PCT)
Prior art keywords
home
handwriting
house
determination
display
Prior art date
Application number
PCT/JP2020/006006
Other languages
English (en)
French (fr)
Inventor
信孝 井出
ムーツィー チェン
定雄 山本
ダニエル ションゲン フィリップ
バッハー ピーター
Original Assignee
株式会社ワコム
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ワコム filed Critical 株式会社ワコム
Priority to JP2021513503A priority Critical patent/JP7168768B2/ja
Publication of WO2020208937A1 publication Critical patent/WO2020208937A1/ja
Priority to US17/489,472 priority patent/US11915504B2/en
Priority to JP2022172390A priority patent/JP7450687B2/ja
Priority to US18/476,090 priority patent/US20240021002A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G06V30/333—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Definitions

  • the present invention relates to a home UI (User Interface) system that manages digital ink.
  • UI User Interface
  • Patent Document 1 discloses an example of an object-oriented digital ink as a data model inside a computer
  • Patent Document 2 discloses an example of a serialized format of digital ink.
  • Patent Document 3 contains digital ink as digital ink that makes it possible to identify who wrote stroke data indicating a locus
  • Patent Document 4 contains author as context data when stroke data is input.
  • Digital ink that acquires information such as pen ID, time information, and regional information acquired by GPS (Global Positioning System) and makes it possible to record them as metadata is disclosed.
  • Patent Document 5 discloses a method and an apparatus for grasping and determining the mental, psychological, and physiological states of a writer by quantifying the spatiotemporal information of handwritten characters and pictures and extracting feature quantities.
  • Patent Document 6 discloses an emotion estimation system that associates a writing state such as writing pressure with biological information corresponding to an emotion and derives biological information corresponding to the emotion only from the writing state.
  • Such digital ink that indicates "when, where, and what kind of handwriting was done” can be said to be the history data of the human trajectory, that is, the behavior or emotion.
  • personalized AI Artificial Intelligence
  • Patent Document 7 discloses a smart home automation system that senses the movement of an environment or a person in a house and dynamically changes a "policy" that characterizes the behavior of each home device based on the detection result. Has been done.
  • the "house itself" can function as an input / output device for digital ink.
  • the home devices or writers are mixed when the digital ink is input, or the writing information is mixed when the digital ink is output. obtain.
  • [1] the opportunity to use is lost due to the oversight of the home device, [2] the writer cannot be identified when sharing one electronic pen, and [3] fragments from a plurality of home devices.
  • There will be operational inconveniences such as not being able to fully utilize the handwriting information entered in.
  • An object of the present invention is that when the house itself functions as an input / output device for digital ink, it is possible to suppress inconvenience caused by a mixture of household devices or writers when inputting digital ink, or handwriting information indicated by digital ink. It is to provide a home UI system that manages digital ink, which can effectively output.
  • the home UI system for managing digital ink in the first aspect of the present invention comprises a plurality of state sensors capable of detecting a state or a change in the state in the house, and a state provided in the house or a part of the house.
  • a plurality of home devices including a handwriting sensor capable of detecting a handwriting by a person, and one or more devices that notify the person of the existence of the home device or the detectable area of the handwriting sensor.
  • the home UI system for managing digital ink in the second invention comprises a plurality of state sensors capable of detecting a state or a change in the state in the house, and a state provided in the house or a part of the house.
  • a household device including a handwriting sensor capable of detecting a handwriting by a person, and a handwriting using the detection results of one or more of the state sensors when the input of the handwriting is detected by the household device. It is provided with an estimation means for estimating the writer who input the above.
  • the third home UI system for managing digital ink in the present invention is a device provided in the house or forming a part of the house, and includes a plurality of handwriting sensors capable of inputting handwriting by a person.
  • a home device a storage device that stores handwriting data indicating the form of handwriting in association with the home device, a storage device capable of displaying an image or a video, and associated with one or more of the home devices.
  • the handwriting data of the household device corresponding to the terminal device is acquired from the storage device, and the handwritten information indicated by the acquired handwriting data or
  • a control means for instructing the terminal device to display the content information designated by the acquired handwriting data is provided.
  • the home UI system for managing digital ink in the fourth aspect of the present invention comprises a plurality of state sensors capable of detecting a state or a change in the state in the house, and a state provided in the house or a part of the house.
  • a household device including a touch panel display capable of inputting and outputting handwriting by a person, a storage device that stores handwriting data indicating the form of the handwriting in association with the household device, and one or more of the above-mentioned devices.
  • the state sensor detects a predetermined state of the person near the home device, the handwriting data corresponding to the home device is acquired from the storage device, and the handwritten information indicated by the acquired handwriting data is obtained.
  • a control means for instructing the display to the home device is provided.
  • the first aspect of the present invention it is possible to suppress the inconvenience caused by the mixture of household devices at the time of inputting digital ink.
  • the second invention it is possible to suppress the inconvenience caused by the mixture of writers at the time of inputting digital ink.
  • the handwriting information indicated by the digital ink can be effectively output.
  • FIG. 1 is an overall configuration diagram of a home UI system 10 according to an embodiment of the present invention.
  • the home UI system 10 is configured to be able to provide a "ubiquitous ink service" capable of inputting and outputting handwriting information at various places in the house 100.
  • the home UI system 10 is not limited to the house 100, and may be applied to various private spaces.
  • the home UI system 10 includes a digital ink server 12, a storage device 14, an IoT (Internet Of Things) hub 16, a plurality of status sensors 18, a plurality of home devices 20, 22 and the like.
  • the terminal device 24 and the like are included.
  • the digital ink server 12 is a computer that comprehensively controls the input and output of digital ink, and specifically includes a communication unit 26, a control unit 28, and a storage unit 30.
  • the communication unit 26 is an interface for transmitting and receiving electric signals to and from an external device.
  • the control unit 28 is composed of a processing arithmetic unit including a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the control unit 28 functions as a data acquisition unit 32, a data analysis unit 34, and a device control unit 36 (control means) by reading and executing a program stored in the storage unit 30.
  • the storage unit 30 is composed of a non-transient and computer-readable storage medium.
  • the computer-readable storage medium is a portable medium such as a magneto-optical disk, ROM, CD-ROM, or flash memory, or a storage device such as a hard disk built in a computer system.
  • the storage device 14 is composed of, for example, a hard disk drive (HDD: Hard Disk Drive) or a solid state drive (SSD: Solid State Drive), and stores various data handled by the digital ink server 12. Specifically, the storage device 14 has a database in which handwriting information generated through living in the house 100 is stored (hereinafter, handwriting information DB 38) and a database in which environmental information of the house 100 is stored (hereinafter, environment). Information DB40) has been constructed.
  • handwriting information DB 38 a database in which handwriting information generated through living in the house 100 is stored
  • environment environmental information of the house 100 is stored
  • the IoT hub 16 is a relay device capable of bidirectional communication with each IoT device in the house 100.
  • each IoT device can supply its own data to the digital ink server 12 through the IoT hub 16 and the network NW.
  • the digital ink server 12 can instruct each IoT device to perform necessary operations through the network NW and the IoT hub 16.
  • the IoT device is a state sensor 18, a home device 20, 22 or a terminal device 24.
  • the state sensor 18 is a sensor that detects a state or a change in the state in the house 100.
  • the state inside the house 100 may be the internal state of the house 100 or the state of the person Hm inside the house 100.
  • the internal state of the house 100 includes an environmental state including air, light, and sound, and an arrangement state and a usage state of the home devices 20 and 22.
  • the state of the person Hm includes position, posture, movement, physical condition, emotion, and the like.
  • the state sensor 18 may be a non-contact type sensor including a camera, an illuminance meter, a thermo-hygrometer, a voice sensor, an ultrasonic sensor, and an infrared sensor, or a contact including a pressure sensor, a tactile sensor, and a motion sensor. It may be a type sensor. Further, the state sensor 18 may be a stationary sensor arranged in the house 100, or is a portable (furthermore, wearable or non-wearable) sensor brought into the house 100. You may.
  • the home devices 20 and 22 are devices provided in the house 100 or forming a part of the house 100. Examples of the former include home appliances (including terminal devices described later), furniture, and fixtures. Examples of the latter include walls, floors, windows, pillars and the like.
  • the household devices 20 and 22 include a main body 50 for exerting its own function and a handwriting sensor 52 capable of detecting handwriting by a human Hm.
  • the handwriting sensor 52 includes a plurality of sensor electrodes for detecting the position of the electronic pen 54 or a finger.
  • the electronic pen 54 is, for example, an active electrostatic type (AES) or electromagnetic induction type (EMR) stylus.
  • AES active electrostatic type
  • EMR electromagnetic induction type
  • the home device 22 further includes an indicator 56 in addition to the main body 50 and the handwriting sensor 52.
  • the indicator 56 is a indicator capable of outputting information appealing to the five senses of a person Hm, and is composed of, for example, a lamp, a speaker, a vibrator, and a display. This allows the home device 22 to indicate its presence or detectable area.
  • the terminal device 24 is composed of, for example, a multi-function / multi-purpose device including a personal computer, a tablet, a smartphone, and an AI speaker.
  • the terminal device 24 may be a stationary device or a portable device.
  • the devices capable of notifying the person Hm through the output of information may be collectively referred to as the "notification device 58".
  • FIG. 2 is a diagram showing an example of a partial floor plan of the house 100 of FIG.
  • the kitchen 102 of the house 100 is provided with a camera as a state sensor 18 and a window as a home device 20.
  • the washroom 104 of the house 100 is provided with a weight scale as a state sensor 18 and a wall as a household device 22.
  • the person Hm who is a member of the house 100 possesses a smartphone as a terminal device 24.
  • FIG. 3A to 3C are diagrams showing an example of the data structure of the environmental information DB 40 of FIG. More specifically, FIG. 3A shows the sensor information 42, FIG. 3B shows the first device information 44, and FIG. 3C shows the second device information 46.
  • the environment information DB 40 also stores map data showing the floor plan of each house 100.
  • the sensor information 42 includes a "sensor ID” which is identification information of the state sensor 18, a "sensor type” indicating the type, a "position information” indicating the location, and a “detectable range”. It is table data showing the correspondence with "range information".
  • This position information may be, for example, a floor, a room, a section, absolute coordinates (for example, latitude / longitude), or relative coordinates from a reference point.
  • the range information is various information that can define the detection range, and may be, for example, geometric information including the coordinates of the feature point, the length of the boundary line, the radius, and the angle range, or the name of the section. (For example, kitchen / washroom) may be used.
  • the first device information 44 includes a "first device ID” which is identification information of the home devices 20 and 22, a “device type” indicating the type, and a “location information” indicating the location. , Table data showing the correspondence with “range information” indicating the accessible range.
  • the "accessible range” means a range in which a person Hm in the house 100 can see the home devices 20 and 22 on the spot, or a range in which the home devices 20 and 22 can be contacted. ..
  • the second device information 46 includes a "second device ID” which is identification information of the notification device 58, a "device type” which indicates the type, and a "user ID” which is the identification information of the owner.
  • This is table data showing the correspondence between the notification device 58 and the "first device ID" of the home devices 20 and 22 associated with the notification device 58.
  • the notification device 58 is a home device 22 (with an indicator 56)
  • the home device 22 may be designated as the notification device 58.
  • the terminal device 24 may be designated as the notification device 58.
  • the home UI system 10 in this embodiment is configured as described above. Subsequently, the operation of the home UI system 10 will be described separately for the first, second, third, and fourth operations.
  • the design of the home devices 20 and 22 may be designed so that the shape of the handwriting sensor 52 is inconspicuous in order to improve the appearance of the product. Then, when arranging the home devices 20 and 22 that are highly compatible with the house 100, the user can use the camouflage effect (or stealth effect) to create the presence or detectable area of the handwriting sensor 52 that is blended into the surrounding environment. It may not be possible to grasp the position. Alternatively, the same phenomenon may occur when the inside of the house 100 is dark or when the home devices 20 and 22 are misaligned and the detection surface is hidden.
  • the home UI system 10 performs a "first operation" for timely notifying the user in the right place of the location of the home devices 20 and 22 or the detectable range of the handwriting sensor 52.
  • this first operation will be described with reference to the flowchart of FIG. 4 and FIGS. 5 to 6C.
  • step S11 of FIG. 4 the data acquisition unit 32 of the digital ink server 12 receives data indicating a state or a state change in the house 100 from one or a plurality of state sensors 18 (hereinafter, also referred to as “state data”). ) To get.
  • the data analysis unit 34 makes a primary determination regarding the necessity of notification, which will be described later, using the state data acquired in step S11. Specifically, the data analysis unit 34 analyzes the state data in a multifaceted or time-series manner using various analysis methods including sensor fusion, and confirms whether or not a predetermined movement by the human Hm is detected. ..
  • the "predetermined movement” means a movement indicating a sign of a writing operation on the home devices 20 and 22. Specific examples thereof include [1] a movement of approaching the refrigerator and stopping, and [2] a movement of riding on a weight scale.
  • the former corresponds to a series of actions in which a person Hm opens the refrigerator door, checks the contents, closes the refrigerator door, and notes the ingredients that need to be purchased.
  • the latter corresponds to the "predictor" of a series of actions in which a person gets on the scale, confirms the result of this measurement, gets off the scale, and makes a note of the measurement result.
  • step S13 the data analysis unit 34 confirms whether or not the determination result in step S12 satisfies the primary determination condition. If the determination condition is not satisfied (step S13: NO), the process returns to step S11, and steps S11 to S13 are sequentially repeated until this condition is satisfied. On the other hand, if the determination condition is satisfied (step S13: YES), the process proceeds to the next step S14.
  • step S14 the data analysis unit 34 calculates a plurality of feature amounts used for the secondary determination described later from the state data acquired in step S11 or the state data additionally acquired.
  • the state sensor 18 is a camera
  • "physical features” including the writer's facial features, height, body shape, and clothes, and "movement features” including the writer's dominant hand and writing habits are extracted.
  • the state sensor 18 is a body measuring device
  • the body weight, body fat percentage, and body composition of the writer are extracted.
  • the state sensor 18 is a microphone
  • physical features including the writer's voiceprint and voice volume and "emotional features” indicating the state of emotions and emotions are extracted.
  • step S15 the data analysis unit 34 uses the feature amount calculated in step S14 to make a secondary determination regarding the necessity of notification described later.
  • the data analysis unit 34 can determine the necessity of notification depending on whether or not all of the plurality of individual conditions are satisfied, or by scoring the success or failure of the plurality of individual conditions.
  • the data analysis unit 34 may make a more accurate determination by using the determination device 70 that has been machine-learned.
  • FIG. 5 is a diagram showing the configuration of the determination device 70 included in the data analysis unit 34 of FIG.
  • the determination device 70 is composed of, for example, a hierarchical neural network including an input layer 72, an intermediate layer 74, and an output layer 76.
  • the calculation rule of the determination device 70 is determined by the value of the learning parameter group which is a set of learning parameters.
  • the learning parameter group may include, for example, a coefficient describing the activation function of a unit corresponding to a neuron, a weighting coefficient corresponding to the strength of synaptic connection, the number of units constituting each layer, and the number of intermediate layers 74.
  • the learning parameter group is stored in the storage unit 30 (FIG. 1) in a state where each value is fixed by the end of learning, and is read out in a timely manner as needed.
  • the input layer 72 is a layer for inputting a state of a person Hm or a feature amount related to a change in the state, and is composed of a plurality of units. These features are “time features” related to the time of writing, “place features” related to the writing location, “environmental features” related to the internal environment of the house 100, “movement features” related to the movement of the writer, and human emotions. It is an input vector containing at least one kind of component of "emotion feature amount” or other feature amount.
  • the output layer 76 is a layer that outputs a determination value, and is composed of one unit in the example of this figure. This determination value is, for example, an index normalized in the range of [0,1], and indicates a determination result that the larger the value, the higher the need for notification, and the smaller the value, the lower the need for notification. There is.
  • the judgment device 70 was constructed using a neural network, but the machine learning method is not limited to this.
  • various methods may be adopted, including logistic regression model, support vector machine (SVM), decision tree, random forest, and boosting method.
  • step S16 the data analysis unit 34 confirms whether or not the determination result in step S15 satisfies the secondary determination condition.
  • the data analysis unit 34 satisfies the determination condition when the determination value output from the determination device 70 is larger than the threshold value (for example, 0.7), while the determination condition is when the determination value is equal to or less than the threshold value. Is not satisfied. If the determination condition is not satisfied (step S16: NO), the process returns to step S11, and steps S11 to S16 are sequentially repeated until this condition is satisfied. On the other hand, if the determination condition is satisfied (step S16: YES), the process proceeds to the next step S17.
  • the threshold value for example, 0.7
  • the device control unit 36 selects at least one notification device 58 suitable for the state of the person Hm from among the one or more notification devices 58 available in the house 100. Specifically, the device control unit 36 collates the sensor information 42 and the first device information 44 with the IDs of the household devices 20 and 22 whose detectable range and accessible range partially overlap (that is, that is). The first device ID) is extracted. Further, the device control unit 36 refers to the second device information 46 and extracts the IDs (that is, the second device IDs) of one or more notification devices 58 corresponding to the first device IDs.
  • step S18 the device control unit 36 instructs the notification device 58 selected in step S17 to notify the home devices 20 and 22. Specifically, the device control unit 36 sends a command signal for instructing the notification to the notification device 58, which is the transmission destination. Then, the notification device 58 receives the command signal from the digital ink server 12 via the network NW and the IoT hub 16.
  • step S19 the notification device 58 notifies the presence of the home devices 20 and 22 or the detectable range of the handwriting sensor 52 to a nearby person Hm in an output mode according to the output function of the own device. ..
  • FIGS. 6A to 6C are diagrams showing an example of notification by the home device 22.
  • Each is a partial side view of the washroom 104 shown in FIG. 2, showing the state before and after the person Hm gets on the weight scale (state sensor 18) on the floor 106.
  • step S13 in FIG. 4 the display (indicator 56) embedded in the wall (household device 22) is turned off before the person Hm is placed on the scale. In this case, since the primary determination condition (step S13 in FIG. 4) is not satisfied, steps S11 to S13 are repeatedly executed.
  • both the primary and secondary determination conditions (steps S13 and S16 in FIG. 4) are satisfied, and the wall display shows the entire screen. Starts emitting light with.
  • the human Hm can grasp the detectable range of the handwriting sensor 52 by visually recognizing this light emission.
  • the digital ink server 12 may perform reinforcement learning on the determination device 70 (FIG. 5) that performs the second determination in parallel with the first operation.
  • the learning scheme in this case, [1] learning in which the action selection is "presence or absence of notification” and the reward is "the input of the handwriting", and [2] the action selection is "multiple notification modes”. , Learning that the reward is "there was a reaction by the person Hm", [3] learning that the action selection is “multiple notification contents” and the reward is "there was a reaction by the person Hm”, [4] Examples include learning in which the action selection is "plurality of home devices 22" and the reward is "there is a selection”.
  • the digital ink server 12 may perform the same learning (that is, condition cleansing processing) for the first determination. For example, when the first determination is made based on whether or not all of the plurality of individual conditions are satisfied, the individual conditions may be modified, deleted, or added so that the overall correct answer rate is high. Alternatively, when the success or failure of a plurality of individual conditions is scored to make the first determination, the weighting coefficient of the individual conditions may be adjusted so that the overall correct answer rate is high.
  • the home UI system 10 that manages digital ink comprises a plurality of state sensors 18 capable of detecting a state or a change in state in the house 100, and a part of the house 100 or provided in the house 100.
  • the notification is sent to at least one notification device 58.
  • a device control unit 36 (control means) for instructing is provided.
  • the digital ink server 12 determines from the detection results of one or more status sensors 18 that notification is necessary, at least one notification is provided.
  • An instruction step (S18 in FIG. 4) for instructing the device 58 to notify is executed.
  • the data analysis unit 34 (determination means) notifies using a determination device 70 having at least one feature amount indicating the detection result by the state sensor 18 as the input side and a determination value indicating the necessity of notification as the output side.
  • the device control unit 36 may instruct the notification according to the determination result using the determination device 70.
  • the determination device 70 may be configured so that the learning parameter group for determining the calculation rule can be updated by reinforcement learning.
  • step S21 of FIG. 7 the data acquisition unit 32 of the digital ink server 12 is data indicating handwriting by a person Hm from any one of a plurality of home devices 20 and 22 in the house 100 (hereinafter, Check if you have acquired (also called "handwriting data"). If it has not been acquired yet (step S21: NO), the process remains in step S21 until the handwriting data is acquired. On the other hand, when the handwriting data is acquired (step S21: YES), the process proceeds to the next step S22.
  • step S22 the data acquisition unit 32 acquires the state data corresponding to the home devices 20 and 22 that are the acquisition sources of the handwriting data acquired in step S21. Specifically, the data acquisition unit 32 collates the sensor information 42 in FIG. 3A with the first device information 44 in FIG. 3B, and one or more state sensors 18 in which the detectable range and the accessible range partially overlap. Get state data from.
  • step S23 the data analysis unit 34 calculates the feature amount from the state data acquired in step S22. Since this calculation is the same operation as in step S14 of FIG. 4, a specific description will be omitted.
  • step S24 the data analysis unit 34 estimates the writer who input the handwriting using the feature amount calculated in step S23. For example, when the reference value of the feature amount is stored for each member of the house 100, the data analysis unit 34 quantitatively evaluates the similarity of the feature amount for each member, and the evaluation value is maximized. It is estimated that the member is a writer. Alternatively, the data analysis unit 34 may perform more accurate estimation by using the classifier 80 that has been machine-learned.
  • FIG. 8 is a diagram showing the configuration of the classifier 80 included in the data analysis unit 34 of FIG.
  • the classifier 80 is composed of, for example, a hierarchical neural network including an input layer 82, an intermediate layer 84, and an output layer 86.
  • the definition of the learning parameter group may be the same as or different from that of the determination device 70 of FIG.
  • the classifier 80 is constructed using a neural network, but the machine learning method is not limited to this.
  • the input layer 82 is a layer for inputting a feature amount related to the state in which writing is performed, and is composed of a plurality of units. These features are “handwriting features” related to the form of handwriting, “time features” related to the time of writing, “place features” related to the writing location, “physical features” related to the writer's body, and “physical features” related to the movement of the writer. It is an input vector containing at least one kind of component of "motion feature amount” or other feature amount.
  • the output layer 88 is a layer that outputs the label group of the members of the house 100, and is composed of five units in the example of this figure.
  • This label group is an output vector having label values indicating the certainty of family members 1 to 5 as five components. For example, with respect to the label value normalized to the range of [0,1], if the label value of "family member 1" is the largest among the output label groups, the writer is "family member 1". Presumed.
  • step S25 the digital ink server 12 supplies the handwriting data acquired in step S21 to the storage device 14 together with the writer's identification information (that is, the user ID) estimated in step S23.
  • the handwriting data is stored in the handwriting information DB 38 in a state of being associated with an appropriate user ID.
  • the home UI system 10 that manages digital ink comprises a plurality of state sensors 18 capable of detecting a state or a change in the state in the house 100, and a part of the house 100 or provided in the house 100.
  • the home devices 20 and 22 including the handwriting sensor 52 capable of detecting the handwriting by a human Hm, and the home devices 20 and 22, one or more state sensors 18 It is provided with a data analysis unit 34 (estimation means) for estimating the writer who input the handwriting using the detection result by.
  • the digital ink server 12 as a computer detects the input of handwriting by the home devices 20 and 22, one or more state sensors 18 are used.
  • An estimation step (S24 in FIG. 7) for estimating the writer who input the handwriting using the detection result is executed. With this configuration, it is possible to estimate the state of the writer or the change in the state with high accuracy, and the inconvenience (here, data mapping error) due to the mixture of writers when inputting digital ink is eliminated. It can be suppressed.
  • step S31 of FIG. 9 the control unit 28 of the digital ink server 12 confirms whether or not a predetermined operation from the terminal device 24 has been accepted.
  • the "predetermined operation” includes, for example, an operation of starting a digital ink browsing application and tapping a button on the browsing screen. If the predetermined operation is not accepted (step S31: NO), the operation remains in step S31 until the operation is accepted. On the other hand, when a predetermined operation is accepted (step S31: YES), the process proceeds to the next step S32.
  • step S32 the data acquisition unit 32 reads out desired handwriting data from the handwriting information DB 38.
  • the data acquisition unit 32 identifies the second device ID of the terminal device 24 by referring to the second device information 46, and one or more first device IDs associated with the second device ID. To get.
  • the data acquisition unit 32 reads at least a part of the handwriting data associated with the user ID of the owner of the terminal device 24 and the first device ID from the handwriting information DB 38.
  • the data acquisition unit 32 may add search conditions regarding the creation time, creation location, etc. of the handwriting data, or may randomly extract the handwriting data at a predetermined ratio. ..
  • step S33 the device control unit 36 determines the past writing information to be displayed from the handwriting data read in step S32.
  • the "written information" is the handwritten information indicated by the handwriting or the content information designated by the handwriting in the electronic contents including the electronic book.
  • the former handwriting corresponds to a handwritten memo or annotation comment
  • the latter handwriting corresponds to an annotation including an underline / enclosed line.
  • step S34 the device control unit 36 instructs the terminal device 24 that has received the operation in step S31 to display the written information determined in step S33. Specifically, the device control unit 36 transmits the display data for displaying the written information to the terminal device 24, which is the transmission destination. Then, the terminal device 24 receives the display data from the digital ink server 12 via the network NW and the IoT hub 16.
  • step S35 the terminal device 24 displays the written information on the display screen using the display data supplied together with the instruction in step S34.
  • the terminal device 24 may switch and display a plurality of written information in a time-series order, or may switch and display a plurality of written information in a random order.
  • various display forms for example, character size, color, position, orientation, presence / absence of time stamp display, etc.
  • various control methods for example, display time, switching cycle, etc.
  • Visual effects, etc. may be used.
  • 10A and 10B are diagrams showing an example of display by the terminal device 24. It is assumed that the terminal device 24 switches and displays a plurality of writing information including (A) handwriting information 111 at the time of writing T1 and (B) content information 112 at the time of writing T2.
  • the writing time point T1 corresponds to a time point considerably before the writing time point T2 (for example, several years ago).
  • the handwritten information 110 in FIG. 10A shows a memo regarding the applicability of the touch sensor. That is, at the time of writing T1, while the touch sensor made of indium tin oxide (ITO) can be applied to the wall, it is technically difficult to apply it to the "window", and the application to the "floor” is meaningless. It has been judged.
  • the content information 112 of FIG. 10B shows a technological trend regarding the touch sensor. That is, it is already suggested that the touch sensor using the metal mesh pattern is highly feasible at the time of writing T2.
  • the home UI system 10 for managing digital ink is a device provided in the house 100 or forming a part of the house 100, and includes a plurality of handwriting sensors 52 capable of inputting a handwriting by a person Hm.
  • the device control unit 36 (control means) that acquires the handwriting data and instructs the terminal device 24 to display the handwritten information indicated by the acquired handwriting data or the content information specified by the handwriting data is provided.
  • the storage device 14 corresponds to the terminal device 24 for home use.
  • An instruction step (S34 in FIG. 9) is performed in which the handwriting data of the devices 20 and 22 is acquired and the terminal device 24 is instructed to display the handwritten information indicated by the acquired handwriting data or the content information specified by the handwriting data. Execute. With this configuration, the past writing information input from the home devices 20 and 22 can be centrally displayed as an image or video on a specific terminal device 24, and the handwriting information indicated by the digital ink can be effectively output. can do.
  • the human Hm can sequentially present a combination of unexpected fragmentary information, and the human Hm's brain. Organic combination of information from various perspectives is likely to occur within, leading to further creative activities of human Hm.
  • step S41 of FIG. 11 the data acquisition unit 32 of the digital ink server 12 acquires status data from one or more status sensors 18. Since this acquisition is the same operation as in step S11 of FIG. 4, a specific description will be omitted.
  • the data analysis unit 34 makes a primary determination regarding the necessity of notification using the state data acquired in step S41. Specifically, the data analysis unit 34 analyzes the state data in a multifaceted or time-series manner using various analysis methods including sensor fusion, and confirms whether or not a predetermined state by the human Hm is detected. ..
  • the "predetermined state” means, for example, a state of being relaxed near the home devices 20 and 22. Specific examples thereof include [1] sitting on a chair or sofa, [2] standing still, and [3] looking at specific household devices 20 and 22.
  • step S43 the data analysis unit 34 confirms whether or not the determination result in step S42 satisfies the primary determination condition. If the determination condition is not satisfied (step S43: NO), the process returns to step S41, and steps S41 to S43 are sequentially repeated until this condition is satisfied. On the other hand, if the determination condition is satisfied (step S43: YES), the process proceeds to the next step S44.
  • step S44 the data analysis unit 34 calculates a plurality of feature amounts used for the secondary determination from the state data acquired in step S41 or the state data additionally acquired.
  • the data analysis unit 34 may calculate the same feature amount as in step S14 of FIG. 4, or may calculate a different feature amount.
  • step S45 the data analysis unit 34 makes a secondary determination regarding the necessity of display, which will be described later, using the feature amount calculated in step S44.
  • the data analysis unit 34 can determine the necessity of display depending on whether or not all of the plurality of individual conditions are satisfied, or by scoring the success or failure of the plurality of individual conditions.
  • the data analysis unit 34 may make a more accurate determination by using the determination device 90 that has been machine-learned.
  • the determination device 90 may have the same configuration as that of the determination device 70 shown in FIG.
  • step S46 the data analysis unit 34 confirms whether or not the determination result in step S45 satisfies the secondary determination condition.
  • the data analysis unit 34 determines that the determination condition is satisfied when the determination value output from the determination device 90 is larger than the threshold value, while the determination condition is not satisfied when the determination value is equal to or less than the threshold value. If the determination condition is not satisfied (step S46: NO), the process returns to step S41, and steps S41 to S46 are sequentially repeated until this condition is satisfied. On the other hand, if the determination condition is satisfied (step S46: YES), the process proceeds to the next step S47.
  • step S47 the data analysis unit 34 selects one home device 22 having a touch panel display near the person Hm based on the analysis result in step S42.
  • the data analysis unit 34 may select the home device 22 by collating the sensor information 42 and the first device information 44, as in the case of step S17 (FIG. 4).
  • step S48 the data acquisition unit 32 reads the handwriting data of the home device 22 selected in step S47 from the handwriting information DB 38.
  • This handwriting data includes handwritten information indicated by the handwriting.
  • the data acquisition unit 32 may add search conditions regarding the creation time, creation location, etc. of the handwriting data, or may randomly extract the handwriting data at a predetermined ratio.
  • step S49 the device control unit 36 transmits display data including the handwriting data read in step S45 to the home device 22 selected in step S44. Then, the home device 22 receives the display data from the digital ink server 12 via the network NW and the IoT hub 16.
  • step S50 the home device 22 displays handwritten information on the display screen using the display data supplied in step S46.
  • the home device 22 may switch and display a plurality of handwritten information in a time-series order, or switch and display the plurality of handwritten information in a random order. You may.
  • various display forms for example, character size, color, position, orientation, time stamp display presence / absence, writer display presence / absence, etc.
  • various control methods for example, writer display presence / absence
  • Display time, switching cycle, visual effect, etc. may be used.
  • FIGS. 12A to 12C are diagrams showing a first example of display by the home device 22.
  • the home device 22 is a tablet capable of browsing an electronic book, and switches and displays a plurality of written information including randomly extracted content information 121, 122, 123.
  • the content information 121 of FIG. 12A shows the annotation written in a part of the fairy tale
  • the content information 122 of FIG. 12B shows the annotation written in the part of the fairy tale
  • FIG. 12C shows the annotation written in the mathematical figure. ..
  • FIGS. 13A to 13C are diagrams showing a second example of display by the home device 22.
  • the home device 22 is a table provided with a touch panel display, and switches and displays a plurality of written information including randomly extracted handwritten information 124, 125, 126.
  • the handwritten information 124 in FIG. 13A shows a shopping memo written by the “mother”
  • the handwritten information 125 in FIG. 13B shows an illustration written by the “father”
  • FIG. 13C shows a message written by the “child”.
  • the home device 22 slowly switches and displays at regular intervals, as if the pendulum clock ticks. By visually recognizing this display, which seems to have no special meaning, the person Hm becomes attached to the home device 22 and revives the memory of the house 100. That is, the person Hm gets a sense of belonging that he is in the house 100.
  • the digital ink server 12 may perform reinforcement learning on the determination device 90 (FIG. 5) that performs the second determination in parallel with the fourth operation. This reinforcement learning may be performed based on, for example, a learning scheme in which the action selection is "presence or absence of display” and the reward is "there was a reaction by the person Hm". Further, the digital ink server 12 may perform the same learning (that is, condition cleansing processing) for the first determination.
  • the home UI system 10 for managing digital ink is provided in the house 100 or is provided in the house 100 with one or more state sensors 18 capable of detecting the state or the change in the state in the house 100.
  • a household device 22 including a touch panel display capable of inputting / outputting a stroke by a person Hm, and a storage device that stores the stroke data indicating the form of the stroke in association with the household device 22.
  • the handwriting data corresponding to the household device 22 located near the person Hm from the storage device 14 is input. It includes a device control unit 36 (control means) that instructs the home device 22 to display the handwritten information that has been acquired and indicated by the acquired handwriting data.
  • the storage device An instruction step (FIG. 11) in which handwriting data corresponding to the home device 22 located close to the person Hm is acquired from 14 and the home device 22 is instructed to display the handwriting information indicated by the acquired handwriting data. S49) is executed.
  • the person Hm when the home device 22 randomly switches and displays a plurality of handwritten information, the person Hm can sequentially look back on the past memories, and psychological comfort and brain activation and other psychological and physical effects can be obtained. Obtainable. Further, by displaying the person Hm in a manner that does not seem to have any special meaning, it is possible to give the person Hm a sense of belonging as being in the house 100 and to revive the memory of the house 100.
  • the data analysis unit 34 displays using a determination device 90 having at least one feature amount indicating the detection result by the state sensor 18 as the input side and a determination value indicating the necessity of display as the output side.
  • the device control unit 36 may instruct the display according to the determination result using the determination device 90 after determining the necessity of the above.
  • the determination device 90 may be configured so that the learning parameter group for determining the calculation rule can be updated by reinforcement learning.
  • the data analysis unit 34 uses a feature quantity indicating the degree of harmony between the home devices 20 and 22 and the house 100. The necessity of notification may be determined. This feature amount may be calculated using an image captured by the camera, or may be stored in advance in the first device information 44.
  • the function of the first determination is performed on the downstream side. It may be carried by a device (for example, the IoT hub 16 in FIG. 1). As a result, distributed processing by edge computing becomes possible, and the load on the digital ink server 12 is reduced.
  • the data analysis unit 34 may make a primary determination using a relatively small number of state sensors 18 and a secondary determination using a relatively large number of state sensors 18. Thereby, the communication load with the state sensor 18 can be reduced. Similarly, the data analysis unit 34 performs the primary determination using the determination process in which the amount of calculation per operation is relatively small, and the secondary determination process using the determination process in which the amount of calculation per operation is relatively large. The determination may be made. As a result, the calculation load of the digital ink server 12 can be reduced.
  • the notification device 58 may perform a plurality of notifications with a time difference. For example, the notification device 58 performs the first notification in an output mode (for example, sound) having a relatively low directivity, and then performs a second notification in an output mode (for example, light) having a relatively high directivity. May be done.
  • an output mode for example, sound
  • an output mode for example, light
  • the data acquisition unit 32 may limit the handwriting data to be read from the handwriting information DB 38 according to the preset disclosure restrictions. As a result, it becomes possible to protect private information that is not desired to be shown to anyone even in the home, and it becomes easier to utilize the home UI system 10.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Document Processing Apparatus (AREA)

Abstract

家そのものをデジタルインクの入出力デバイスとして機能させる際、デジタルインクの入力時における家庭用デバイス又は筆記者の混在に伴う不都合を抑制可能であり、あるいはデジタルインクが示す筆跡情報を効果的に出力可能である、デジタルインクを管理するホームＵＩシステムを提供する。ホームＵＩシステム（１０）は、人による筆跡を検出可能な筆跡センサ（５２）をそれぞれ含む複数の家庭用デバイス（２０，２２）と、家庭用デバイス（２０，２２）の存在又は筆跡センサ（５２）の検出可能領域を人に向けて報知する１つ以上の報知手段（５８）と、１つ以上の状態センサ（１８）による検出結果から報知が必要であると判定された場合、少なくとも１つの報知手段（５８）に対して報知を指示する制御手段（３６）を備える。

Description

デジタルインクを管理するホームＵＩシステム
　本発明は、デジタルインクを管理するホームＵＩ（User Interface）システムに関する。
　電子ペンから生成されるデジタルインクは、従来のペンが紙の上に筆跡を残すように、電子ペンの軌跡を再現するために用いられるデータである。デジタルインクとして、特許文献１には、コンピュータ内部のデータモデルとしてオブジェクト指向に基づくデジタルインクの例が、特許文献２にはデジタルインクのシリアライズフォーマットの例がそれぞれ開示されている。
　さらに、デジタルインクに、単なる筆跡を再現するためのデータという枠を超え、人間の行動の軌跡として「いつ、誰が、どこで、どんな状況で」書いたのかを記録可能としたデジタルインクデータが知られている。例えば、特許文献３には、デジタルインクとして、軌跡を示すストロークデータを誰が書いたのかを特定可能にするデジタルインクが、特許文献４には、ストロークデータを入力した際のコンテキストデータとして、著者、ペンＩＤ、時刻情報、ＧＰＳ（Global Positioning System）で取得された地域情報、などの情報を取得し、それらをメタデータとして記録可能にするデジタルインクが開示されている。
　また、近年では、「どのような思いあるいは感情で書いたか」の推定を支援するためにデジタルインクを用いることが検討されている。例えば、特許文献５には、手書きの文字や絵の時空間情報を定量化し特徴量を抽出することで、書き手の精神・心理・生理状態を把握し、判定する方法と装置が開示されている。特許文献６には、筆圧等の筆記状態と感情に対応する生体情報を関連付け、筆記状態のみから前記感情に対応する生体情報を導き出す感情推定システムが開示されている。
　このような、「いつ、どこで、どのような手書きをしたのか」を示すデジタルインクは、いわばその人間の軌跡、つまり行動あるいは感情のヒストリーデータといえる。このようなデジタルインクと、パーソナライズされたＡＩ（Artificial Intelligence）とを組み合わせることにより、さらに高度な生活の実現が期待される。
　例えば、特許文献７では、家の中の環境又は人の動きをセンシングし、その検出結果に基づいて各々の家庭用デバイスの動作を特徴付ける「ポリシー」を動的に変更するスマートホーム自動化システムが開示されている。
米国特許第０７１５８６７５号明細書 米国特許第０７３９７９４９号明細書 特許第５８８６４８７号公報 米国特許公開第２０１６／０２２４２３９号明細書 特開２０１０－１３１２８０号公報 国際公開ＷＯ２０１８／０４３０６１号パンフレット 米国特許出願公開第２０１６／０２５９３０８号明細書
　ところで、家の中に設けられ又は家の一部を構成する家庭用デバイスに筆跡センサを組み込むことで、「家そのもの」をデジタルインクの入出力デバイスとして機能させることができる。ところが、家の各構成員が複数の家庭用デバイスに対してアクセス可能である場合、デジタルインクの入力時における家庭用デバイス又は筆記者の混在、あるいはデジタルインクの出力時における筆記情報の混在が起こり得る。これにより、例えば、［１］家庭用デバイスの見逃しによって使用機会を逸失する、［２］１本の電子ペンを共用する際に筆記者が特定できない、［３］複数の家庭用デバイスから断片的に入力された筆跡情報を十分に活用できない、などの運用上の不都合が生じてしまう。
　本発明の目的は、家そのものをデジタルインクの入出力デバイスとして機能させる際、デジタルインクの入力時における家庭用デバイス又は筆記者の混在に伴う不都合を抑制可能であり、あるいはデジタルインクが示す筆跡情報を効果的に出力可能である、デジタルインクを管理するホームＵＩシステムを提供することである。
　第１の本発明におけるデジタルインクを管理するホームＵＩシステムは、家の中の状態又は状態の変化を検出可能な複数の状態センサと、前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を検出可能な筆跡センサをそれぞれ含む複数の家庭用デバイスと、前記家庭用デバイスの存在又は前記筆跡センサの検出可能領域を前記人に向けて報知する１つ以上の報知手段と、１つ以上の前記状態センサによる検出結果から報知が必要であると判定された場合、少なくとも１つの前記報知手段に対して報知を指示する制御手段と、を備える。
　第２の本発明におけるデジタルインクを管理するホームＵＩシステムは、家の中の状態又は状態の変化を検出可能な複数の状態センサと、前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を検出可能な筆跡センサを含む家庭用デバイスと、前記家庭用デバイスにより筆跡の入力が検出された場合、１つ以上の前記状態センサによる検出結果を用いて筆跡の入力を行った筆記者を推定する推定手段と、を備える。
　第３の本発明におけるデジタルインクを管理するホームＵＩシステムは、家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を入力可能な筆跡センサをそれぞれ含む複数の家庭用デバイスと、筆跡の形態を示す筆跡データを前記家庭用デバイスと対応付けて記憶する記憶装置と、画像又は映像を表示可能に構成され、かつ１つ以上の前記家庭用デバイスに対応付けられた端末装置と、前記端末装置を介して所定の操作を受け付けた場合、前記記憶装置から前記端末装置に対応する前記家庭用デバイスの筆跡データを取得し、取得済みの筆跡データが示す手書き情報又は前記取得済みの筆跡データが指定するコンテンツ情報の表示を、前記端末装置に対して指示する制御手段と、を備える。
　第４の本発明におけるデジタルインクを管理するホームＵＩシステムは、家の中の状態又は状態の変化を検出可能な複数の状態センサと、前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を入出力可能なタッチパネルディスプレイを含む家庭用デバイスと、筆跡の形態を示す筆跡データを前記家庭用デバイスと対応付けて記憶する記憶装置と、１つ以上の前記状態センサにより前記家庭用デバイスの近くにいる前記人の所定の状態が検出された場合、前記記憶装置から前記家庭用デバイスに対応する筆跡データを取得し、取得済みの筆跡データが示す手書き情報の表示を、前記家庭用デバイスに対して指示する制御手段と、を備える。
　第１の本発明によれば、デジタルインクの入力時における家庭用デバイスの混在に伴う不都合を抑制することができる。
　第２の本発明によれば、デジタルインクの入力時における筆記者の混在に伴う不都合を抑制することができる。
　第３，４の本発明によれば、デジタルインクが示す筆跡情報を効果的に出力することができる。
本発明の一実施形態におけるホームＵＩシステムの全体構成図である。 図１の家の部分的な間取りの一例を示す図である。 環境情報ＤＢのセンサ情報が有するデータ構造の一例を示す図である。 環境情報ＤＢの第１デバイス情報が有するデータ構造の一例を示す図である。 環境情報ＤＢの第２デバイス情報が有するデータ構造の一例を示す図である。 ホームＵＩシステムの第１動作に関するフローチャートである。 図１のデータ解析部に含まれる判定器の構成を示す図である。 家庭用デバイスによる報知の一例を示す図である。 家庭用デバイスによる報知の一例を示す図である。 家庭用デバイスによる報知の一例を示す図である。 ホームＵＩシステムの第２動作に関するフローチャートである。 図１のデータ解析部に含まれる識別器の構成を示す図である。 ホームＵＩシステムの第３動作に関するフローチャートである。 端末装置による表示の一例を示す図である。 端末装置による表示の一例を示す図である。 ホームＵＩシステムの第４動作に関するフローチャートである。 家庭用デバイスによる表示の第１例を示す図である。 家庭用デバイスによる表示の第１例を示す図である。 家庭用デバイスによる表示の第１例を示す図である。 家庭用デバイスによる表示の第２例を示す図である。 家庭用デバイスによる表示の第２例を示す図である。 家庭用デバイスによる表示の第２例を示す図である。
　本発明におけるデジタルインクを管理するホームＵＩシステムについて、添付の図面を参照しながら説明する。
［ホームＵＩシステム１０の構成］
＜全体構成＞
　図１は、本発明の一実施形態におけるホームＵＩシステム１０の全体構成図である。ホームＵＩシステム１０は、家１００の中の様々な場所で筆跡情報の入力及び出力が可能な「ユビキタスインクサービス」を提供可能に構成される。ホームＵＩシステム１０は、家１００に限られず、様々なプライベート空間に適用されてもよい。このホームＵＩシステム１０は、具体的には、デジタルインクサーバ１２と、ストレージ装置１４と、ＩｏＴ（Internet Of Things）ハブ１６と、複数の状態センサ１８と、複数の家庭用デバイス２０，２２と、端末装置２４と、を含んで構成される。
　デジタルインクサーバ１２は、デジタルインクの入力及び出力に関する統括的な制御を行うコンピュータであり、具体的には、通信部２６と、制御部２８と、記憶部３０と、を含んで構成される。
　通信部２６は、外部装置に対して電気信号を送受信するインターフェースである。制御部２８は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）を含む処理演算装置によって構成される。制御部２８は、記憶部３０に格納されたプログラムを読み出して実行することで、データ取得部３２、データ解析部３４、及びデバイス制御部３６（制御手段）として機能する。
　記憶部３０は、非一過性であり、かつ、コンピュータ読み取り可能な記憶媒体で構成されている。ここで、コンピュータ読み取り可能な記憶媒体は、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ、フラッシュメモリ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。
　ストレージ装置１４は、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）又はソリッドステートドライブ（ＳＳＤ：Solid State Drive）から構成され、デジタルインクサーバ１２が取り扱う様々なデータを記憶する。具体的には、ストレージ装置１４には、家１００での暮らしを通じて生成された筆跡情報が蓄積されるデータベース（以下、筆跡情報ＤＢ３８）と、家１００の環境情報が蓄積されるデータベース（以下、環境情報ＤＢ４０）が構築されている。
　ＩｏＴハブ１６は、家１００の中にある各々のＩｏＴ機器との間で双方向に通信可能な中継機器である。これにより、各々のＩｏＴ機器は、ＩｏＴハブ１６及びネットワークＮＷを通じて、自身が有するデータをデジタルインクサーバ１２に供給することができる。また、デジタルインクサーバ１２は、ネットワークＮＷ及びＩｏＴハブ１６を通じて、各々のＩｏＴ機器に対して必要な動作を指示することができる。本図の例では、ＩｏＴ機器は、状態センサ１８、家庭用デバイス２０，２２、又は端末装置２４である。
　状態センサ１８は、家１００の中の状態又は状態の変化を検出するセンサである。家１００の中の状態は、家１００の内部状態であってもよいし、家１００の中にいる人Ｈｍの状態であってもよい。家１００の内部状態には、空気、光、音を含む環境状態、あるいは家庭用デバイス２０，２２の配置状態や使用状態などが含まれる。また、人Ｈｍの状態には、位置、姿勢、動き、体調、感情などが含まれる。
　検出対象、家１００の間取り、設置コストなどに応じて、様々な種類の状態センサ１８が用いられる。例えば、状態センサ１８は、カメラ、照度計、温湿度計、音声センサ、超音波センサ、赤外線センサを含む非接触型のセンサであってもよいし、圧力センサ、触覚センサ、モーションセンサを含む接触型のセンサであってもよい。また、状態センサ１８は、家１００の中に配置された据置型のセンサであってもよいし、家１００の中に持ち込まれる可搬型（さらには、装着型あるいは非装着型）のセンサであってもよい。
　家庭用デバイス２０，２２は、家１００の中に設けられ、又は家１００の一部を構成するデバイスである。前者の例として、家電製品（後述する端末装置を含む）、家具、備品などが挙げられる。後者の例として、壁、床、窓、柱などが挙げられる。家庭用デバイス２０，２２は、自身の機能を発揮するための本体部５０と、人Ｈｍによる筆跡を検出可能な筆跡センサ５２と、を含んで構成される。この筆跡センサ５２は、電子ペン５４又は指の位置を検出するための複数のセンサ電極を含んで構成される。この電子ペン５４は、例えば、アクティブ静電方式（ＡＥＳ）又は電磁誘導方式（ＥＭＲ）のスタイラスである。
　ところで、家庭用デバイス２２は、別の家庭用デバイス２０とは異なり、本体部５０及び筆跡センサ５２の他にインジケータ５６をさらに備える。インジケータ５６は、人Ｈｍの五感に訴える情報を出力可能な標示器であり、例えば、ランプ、スピーカ、バイブレータ、ディスプレイから構成される。これにより、家庭用デバイス２２は、自身の存在又は検出可能領域を標示することができる。
　端末装置２４は、例えば、パーソナルコンピュータ、タブレット、スマートフォン、ＡＩスピーカを含む多機能・多目的装置から構成される。端末装置２４は、据置型の装置であってもよいし、可搬型の装置であってもよい。以下、情報の出力を通じて人Ｈｍに報知可能な装置（本図の例では、家庭用デバイス２２及び端末装置２４）をまとめて「報知デバイス５８」という場合がある。
　図２は、図１の家１００の部分的な間取りの一例を示す図である。家１００のキッチン１０２には、状態センサ１８としてカメラと、家庭用デバイス２０としての窓が設けられている。家１００の洗面所１０４には、状態センサ１８としての体重計と、家庭用デバイス２２としての壁が設けられている。また、家１００の構成員である人Ｈｍは、端末装置２４としてのスマートフォンを所持している。
　図３Ａ～図３Ｃは、図１の環境情報ＤＢ４０が有するデータ構造の一例を示す図である。より詳しくは、図３Ａはセンサ情報４２、図３Ｂは第１デバイス情報４４、図３Ｃは第２デバイス情報４６をそれぞれ示している。なお、環境情報ＤＢ４０には、家１００毎の間取りを示す地図データも併せて格納されている。
　図３Ａに示すように、センサ情報４２は、状態センサ１８の識別情報である「センサＩＤ」と、種別を示す「センサ種別」と、所在を示す「位置情報」と、検出可能範囲を示す「範囲情報」との間の対応関係を示すテーブルデータである。この位置情報は、例えば、階、部屋、区画、絶対座標（例えば、緯度・経度）又は基準点からの相対座標であってもよい。また、範囲情報は、検出範囲を画定可能な様々な情報であり、例えば、特徴点の座標・境界線の長さ・半径・角度範囲を含む幾何学情報であってもよいし、区画の名称（例えば、キッチン・洗面所）であってもよい。
　図３Ｂに示すように、第１デバイス情報４４は、家庭用デバイス２０，２２の識別情報である「第１デバイスＩＤ」と、種別を示す「デバイス種別」と、所在を示す「位置情報」と、アクセス可能範囲を示す「範囲情報」との間の対応関係を示すテーブルデータである。ここで、「アクセス可能範囲」とは、家１００の中の人Ｈｍがその場で、家庭用デバイス２０，２２を視認し得る範囲、あるいは家庭用デバイス２０，２２に接触し得る範囲を意味する。
　図３Ｃに示すように、第２デバイス情報４６は、報知デバイス５８の識別情報である「第２デバイスＩＤ」と、種別を示す「デバイス種別」と、所有者の識別情報である「ユーザＩＤ」と、報知デバイス５８と紐付けされた家庭用デバイス２０，２２の「第１デバイスＩＤ」との間の対応関係を示すテーブルデータである。例えば、報知デバイス５８が家庭用デバイス２２（インジケータ５６あり）である場合、この家庭用デバイス２２が報知デバイス５８として指定されてもよい。一方、報知デバイス５８が家庭用デバイス２０（インジケータ５６なし）である場合、端末装置２４が報知デバイス５８として指定されてもよい。
［第１動作］
　この実施形態におけるホームＵＩシステム１０は、以上のように構成される。続いて、ホームＵＩシステム１０の動作について、第１、第２、第３及び第４動作に分けてそれぞれ説明する。
　家庭用デバイス２０，２２に筆跡センサ５２を組み込む際、製品の見映えを向上させるため、筆跡センサ５２の形状が目立たないように家庭用デバイス２０，２２のデザインが設計される可能性がある。そうすると、家１００との調和性が高い家庭用デバイス２０，２２を配置する場合、ユーザは、カモフラージュ効果（あるいは、ステルス効果）によって、周囲の環境に溶け込んだ筆跡センサ５２の存在又は検出可能領域の位置を把握できなくなることがある。あるいは、家１００の中が暗い場合や、家庭用デバイス２０，２２の配置がずれて検出面が隠されている場合にも、同様の現象が起こり得る。
　そこで、ホームＵＩシステム１０は、家庭用デバイス２０，２２の所在又は筆跡センサ５２の検出可能範囲を、適所にいるユーザに適時に報知するための「第１動作」を行う。以下、この第１動作について、図４のフローチャート、図５～図６Ｃを参照しながら説明する。
＜第１動作の流れ＞
　図４のステップＳ１１において、デジタルインクサーバ１２のデータ取得部３２は、１つ又は複数の状態センサ１８から、家１００の中の状態又は状態の変化を示すデータ（以下、「状態データ」ともいう）を取得する。
　ステップＳ１２において、データ解析部３４は、ステップＳ１１で取得された状態データを用いて、後述する報知の要否に関する１次判定を行う。具体的には、データ解析部３４は、センサフュージョンを含む様々な解析手法を用いて状態データを多角的又は時系列的に解析し、人Ｈｍによる所定の動きを検知したか否かを確認する。ここで、「所定の動き」とは、家庭用デバイス２０，２２に対する筆記操作の予兆を示す動きを意味する。具体的には、［１］冷蔵庫の前に近づいて停止する動き、［２］体重計に乗る動き、などが挙げられる。前者は、人Ｈｍが、冷蔵庫の扉を開け、内容物を確認し、冷蔵庫の扉を閉じ、買い足しが必要な食材をメモする、という一連の行動の「予兆」に相当する。後者は、人が、体重計の上に乗り、今回の測定結果を確認し、体重計から降り、計測結果をメモする、という一連の行動の「予兆」に相当する。
　ステップＳ１３において、データ解析部３４は、ステップＳ１２での判定結果が１次の判定条件を満たすか否かを確認する。判定条件を満たさない場合（ステップＳ１３：ＮＯ）、ステップＳ１１に戻って、以下、この条件を満たすまでステップＳ１１～Ｓ１３を順次繰り返す。一方、判定条件を満たす場合（ステップＳ１３：ＹＥＳ）、次のステップＳ１４に進む。
　ステップＳ１４において、データ解析部３４は、ステップＳ１１で取得された状態データ、又は追加的に取得された状態データから、後述する２次判定に用いられる複数の特徴量を算出する。例えば、状態センサ１８がカメラである場合、筆記者の顔の特徴・身長・体形・服装を含む「身体特徴量」や、筆記者の利き手・筆記の癖を含む「動き特徴量」が抽出される。また、状態センサ１８が身体測定器である場合、筆記者の体重、体脂肪率・体組成を含む身体特徴量が抽出される。また、状態センサ１８がマイクロフォンである場合、筆記者の声紋・声量を含む身体特徴量や、喜怒哀楽の状態を示す「感情特徴量」が抽出される。
　ステップＳ１５において、データ解析部３４は、ステップＳ１４で算出された特徴量を用いて、後述する報知の要否に関する２次判定を行う。例えば、データ解析部３４は、複数の個別条件をすべて満たすか否かによって、あるいは、複数の個別条件の成否を得点化して報知の要否を判定することができる。あるいは、データ解析部３４は、機械学習がなされた判定器７０を用いることで、より高精度な判定を行ってもよい。
　図５は、図１のデータ解析部３４に含まれる判定器７０の構成を示す図である。この判定器７０は、例えば、入力層７２、中間層７４及び出力層７６からなる階層型ニューラルネットワークで構成される。判定器７０の演算規則は、学習パラメータの集合体である学習パラメータ群の値によって定められる。学習パラメータ群は、例えば、ニューロンに相当するユニットの活性化関数を記述する係数、シナプス結合の強さに相当する重み付け係数、各層を構成するユニットの個数、中間層７４の数を含んでもよい。学習パラメータ群は、学習の終了によって各値が確定された状態で記憶部３０（図１）に格納され、必要に応じて適時に読み出される。
　入力層７２は、人Ｈｍの状態又は状態の変化に関する特徴量を入力する層であり、複数のユニットから構成される。この特徴量は、筆記時点に関する「時間特徴量」、筆記場所に関する「場所特徴量」、家１００の内部環境に関する「環境特徴量」、筆記者の動きに関する「動き特徴量」、人の感情に関する「感情特徴量」又はその他の特徴量のうち少なくとも１種類の成分を含む入力ベクトルである。出力層７６は、判定値を出力する層であり、本図の例では１個のユニットから構成される。この判定値は、例えば［０，１］の範囲で正規化された指標であり、値が大きいほど報知の必要性が高く、値が小さいほど報知の必要性が低い旨の判定結果を示している。
　なお、上記した例では、ニューラルネットワークを用いて判定器７０を構築したが、機械学習の手法はこれに限られない。例えば、ロジスティック回帰モデル、サポートベクターマシン（ＳＶＭ）、ディシジョンツリー、ランダムフォレスト、ブースティング法を含む様々な手法を採用してもよい。
　ステップＳ１６において、データ解析部３４は、ステップＳ１５での判定結果が２次の判定条件を満たすか否かを確認する。ここでは、データ解析部３４は、判定器７０から出力された判定値が閾値（例えば、０．７）よりも大きい場合に判定条件を満たす一方、この判定値が閾値以下である場合に判定条件を満たさないと判定する。判定条件を満たさない場合（ステップＳ１６：ＮＯ）、ステップＳ１１に戻って、以下、この条件を満たすまでステップＳ１１～Ｓ１６を順次繰り返す。一方、判定条件を満たす場合（ステップＳ１６：ＹＥＳ）、次のステップＳ１７に進む。
　ステップＳ１７において、デバイス制御部３６は、家１００の中で利用可能な１つ以上の報知デバイス５８のうち、人Ｈｍの状態に適した報知デバイス５８を少なくとも１つ選定する。具体的には、デバイス制御部３６は、センサ情報４２及び第１デバイス情報４４を照合することで、検出可能範囲とアクセス可能範囲が部分的に重複する家庭用デバイス２０，２２のＩＤ（つまり、第１デバイスＩＤ）を抽出する。さらに、デバイス制御部３６は、第２デバイス情報４６を参照し、第１デバイスＩＤに対応する１つ又は複数の報知デバイス５８のＩＤ（つまり、第２デバイスＩＤ）を抽出する。
　ステップＳ１８において、デバイス制御部３６は、ステップＳ１７で選定された報知デバイス５８に対して、家庭用デバイス２０，２２に関する報知を指示する。具体的には、デバイス制御部３６は、報知を指示するための指令信号を、送信先である報知デバイス５８に向けて送出する。そうすると、報知デバイス５８は、ネットワークＮＷ及びＩｏＴハブ１６を経由して、デジタルインクサーバ１２からの指令信号を受け付ける。
　ステップＳ１９において、報知デバイス５８は、自装置が有する出力機能に応じた出力態様で、家庭用デバイス２０，２２の存在又は筆跡センサ５２の検出可能範囲を、近くにいる人Ｈｍに向けて報知する。
　図６Ａ～図６Ｃは、家庭用デバイス２２による報知の一例を示す図である。いずれも、図２に示す洗面所１０４の部分側面図であって、人Ｈｍが床１０６の上にある体重計（状態センサ１８）に乗る前後の状態を示している。
　図６Ａに示すように、人Ｈｍが体重計に載る前では、壁（家庭用デバイス２２）に埋設されたディスプレイ（インジケータ５６）は消灯している。この場合、１次の判定条件（図４のステップＳ１３）を満たさないので、ステップＳ１１～Ｓ１３が繰り返し実行される。
　そして、図６Ｂに示すように、人Ｈｍが体重計に乗ることで、１次，２次の判定条件（図４のステップＳ１３，Ｓ１６）を両方とも満たすようになり、壁のディスプレイが画面全体で発光を開始する。人Ｈｍは、この発光を視認することで筆跡センサ５２の検出可能範囲を把握することができる。
　そして、図６Ｃに示すように、ディスプレイの発光を開始してから所定の時間が経過した後、壁のディスプレイは、人Ｈｍが体重計に乗っているにもかかわらず消灯する。これにより、発光をそのまま継続する場合と比べて消費電力が削減される。
　その後、図４のステップＳ１１に戻り、このフローチャートを繰り返して実行することで、ホームＵＩシステム１０の第１動作が逐次行われる。
　なお、デジタルインクサーバ１２は、この第１動作と並行して、第２判定を行う判定器７０（図５）に対して強化学習を行ってもよい。この場合の学習スキームの一例として、［１］行動選択を「報知の有無」とし、報酬を「筆跡の入力があったこと」とする学習、［２］行動選択を「複数の報知態様」とし、報酬を「人Ｈｍによる反応があったこと」とする学習、［３］行動選択を「複数の報知内容」とし、報酬を「人Ｈｍによる反応があったこと」とする学習、［４］行動選択を「複数の家庭用デバイス２２」とし、報酬を「選択があったこと」とする学習、などが挙げられる。
　同様に、デジタルインクサーバ１２は、第１判定に対しても同様の学習（つまり、条件のクレンジング処理）を行ってもよい。例えば、複数の個別条件をすべて満たすか否かで第１判定を行う場合、全体の正答率が高くなるように個別条件の修正・削除・追加を行ってもよい。あるいは、複数の個別条件の成否を得点化して第１判定を行う場合、全体の正答率が高くなるように個別条件の重み付け係数を調整してもよい。
＜第１動作のまとめ＞
　以上のように、デジタルインクを管理するホームＵＩシステム１０は、家１００の中の状態又は状態の変化を検出可能な複数の状態センサ１８と、家１００に設けられ又は家１００の一部を構成するデバイスであって、人Ｈｍによる筆跡を検出可能な筆跡センサ５２をそれぞれ含む複数の家庭用デバイス２０，２２と、家庭用デバイス２０，２２の存在又は筆跡センサ５２の検出可能領域を人Ｈｍに向けて報知する１つ以上の報知デバイス５８（報知手段）と、１つ以上の状態センサ１８による検出結果から報知が必要であると判定された場合、少なくとも１つの報知デバイス５８に対して報知を指示するデバイス制御部３６（制御手段）と、を備える。
　このホームＵＩシステム１０を用いた報知方法及び報知プログラムでは、コンピュータとしてのデジタルインクサーバ１２が、１つ以上の状態センサ１８による検出結果から報知が必要であると判定された場合、少なくとも１つの報知デバイス５８に対して報知を指示する指示ステップ（図４のＳ１８）を実行する。このように構成するので、家庭用デバイス２０，２２の使用可能性が高い人Ｈｍの状態又は状態の変化を捉えた適時の報知が可能となり、デジタルインクの入力時における家庭用デバイス２０，２２の混在に伴う不都合（ここでは、使用機会の逸失）を抑制することができる。
　また、データ解析部３４（判定手段）は、状態センサ１８による検出結果を示す少なくとも１つの特徴量を入力側とし、報知の要否を示す判定値を出力側とする判定器７０を用いて報知の要否を判定し、デバイス制御部３６は、判定器７０を用いた判定結果に従って報知を指示してもよい。この判定器７０は、演算規則を定めるための学習パラメータ群を強化学習により更新可能に構成されてもよい。
［第２動作］
　例えば、家１００の中で、複数の構成員が１本の電子ペン５４を共用する状況が想定される。この場合、電子ペン５４の識別情報（以下、ペンＩＤ）を用いて、実際の筆記者を特定することができない。そこで、このホームＵＩシステム１０は、別の入力操作を伴わずに筆記者を推定するための「第２動作」を行う。以下、この第２動作について、図７のフローチャート及び図８を参照しながら説明する。
＜第２動作の流れ＞
　図７のステップＳ２１において、デジタルインクサーバ１２のデータ取得部３２は、家１００の中にある複数の家庭用デバイス２０，２２のうちいずれか１つから、人Ｈｍによる筆跡を示すデータ（以下、「筆跡データ」ともいう）を取得したか否かを確認する。まだ取得していない場合（ステップＳ２１：ＮＯ）、以下、筆跡データを取得するまでステップＳ２１に留まる。一方、筆跡データを取得した場合（ステップＳ２１：ＹＥＳ）、次のステップＳ２２に進む。
　ステップＳ２２において、データ取得部３２は、ステップＳ２１で取得された筆跡データの取得元である家庭用デバイス２０，２２に対応する状態データを取得する。具体的には、データ取得部３２は、図３Ａのセンサ情報４２及び図３Ｂの第１デバイス情報４４を照合し、検出可能範囲とアクセス可能範囲が部分的に重複する１つ以上の状態センサ１８から状態データを取得する。　
　ステップＳ２３において、データ解析部３４は、ステップＳ２２で取得された状態データから特徴量を算出する。この算出は、図４のステップＳ１４の場合と同様の動作であるため、具体的な説明を省略する。
　ステップＳ２４において、データ解析部３４は、ステップＳ２３で算出された特徴量を用いて、筆跡の入力を行った筆記者を推定する。例えば、家１００の構成員毎に特徴量の基準値が記憶されている場合、データ解析部３４は、構成員毎に特徴量の類似度を定量的に評価し、評価値が最大となる構成員が筆記者であると推定する。あるいは、データ解析部３４は、機械学習がなされた識別器８０を用いることで、より高精度な推定を行ってもよい。
　図８は、図１のデータ解析部３４に含まれる識別器８０の構成を示す図である。この識別器８０は、例えば、入力層８２、中間層８４及び出力層８６からなる階層型ニューラルネットワークで構成される。学習パラメータ群の定義は、図５の判定器７０と同一であってもよいし、異なってもよい。本図の例では、ニューラルネットワークを用いて識別器８０が構築されているが、機械学習の手法はこれに限られない。
　入力層８２は、筆記が行われた状態に関する特徴量を入力する層であり、複数のユニットから構成される。この特徴量は、筆跡の形態に関する「筆跡特徴量」、筆記時点に関する「時間特徴量」、筆記場所に関する「場所特徴量」、筆記者の身体に関する「身体特徴量」、筆記者の動きに関する「動き特徴量」、又はその他の特徴量のうち少なくとも１種類の成分を含む入力ベクトルである。
　出力層８８は、家１００の構成員のラベル群を出力する層であり、本図の例では５個のユニットから構成される。このラベル群は、家族メンバ１～５の確からしさを示すラベル値を５つの成分とする出力ベクトルである。例えば、［０，１］の範囲に正規化されたラベル値に関して、出力されたラベル群のうち「家族メンバ１」のラベル値が最大である場合、筆記者は「家族メンバ１」であると推定される。
　ステップＳ２５において、デジタルインクサーバ１２は、ステップＳ２１で取得された筆跡データを、ステップＳ２３で推定された筆記者の識別情報（つまり、ユーザＩＤ）と併せてストレージ装置１４に供給する。これにより、筆跡データは、適切なユーザＩＤと対応付けられた状態で筆跡情報ＤＢ３８に蓄積される。
　その後、図７のステップＳ２１に戻り、このフローチャートを繰り返して実行することで、ホームＵＩシステム１０の第２動作が逐次行われる。
＜第２動作による効果＞
　以上のように、デジタルインクを管理するホームＵＩシステム１０は、家１００の中の状態又は状態の変化を検出可能な複数の状態センサ１８と、家１００に設けられ又は家１００の一部を構成するデバイスであって、人Ｈｍによる筆跡を検出可能な筆跡センサ５２を含む家庭用デバイス２０，２２と、家庭用デバイス２０，２２により筆跡の入力が検出された場合、１つ以上の状態センサ１８による検出結果を用いて筆跡の入力を行った筆記者を推定するデータ解析部３４（推定手段）と、を備える。
　また、このホームＵＩシステム１０を用いた推定方法及び推定プログラムでは、コンピュータとしてのデジタルインクサーバ１２が、家庭用デバイス２０，２２により筆跡の入力が検出された場合、１つ以上の状態センサ１８による検出結果を用いて筆跡の入力を行った筆記者を推定する推定ステップ（図７のＳ２４）を実行する。このように構成したので、筆記者の状態又状態の変化を捉えた高精度の推定が可能となり、デジタルインクの入力時における筆記者の混在に伴う不都合（ここでは、データの対応付けミス）を抑制することができる。
［第３動作］
　例えば、同一の人Ｈｍが、家１００での暮らしの中でふと閃いたアイディアを、最寄りの家庭用デバイス２０，２２に書き留めていくユースケースが想定される。ところが、断片的に蓄積された情報をそのまま放置しておくと、新たな創造活動に結び付かない可能性がある。そこで、ホームＵＩシステム１０は、人Ｈｍが過去に書き留めた筆記情報をより効果的に提示するための「第３動作」を行う。以下、この第３動作について、図９のフローチャート、図１０Ａ及び図１０Ｂを参照しながら説明する。
＜第３動作の流れ＞
　図９のステップＳ３１において、デジタルインクサーバ１２の制御部２８は、端末装置２４からの所定の操作を受け付けたか否かを確認する。ここで、「所定の操作」とは、例えば、デジタルインクの閲覧アプリを起動し、閲覧画面上のボタンをタップする操作が挙げられる。所定の操作を受け付けていない場合（ステップＳ３１：ＮＯ）、当該操作を受け付けるまでステップＳ３１に留まる。一方、所定の操作を受け付けた場合（ステップＳ３１：ＹＥＳ）、次のステップＳ３２に進む。
　ステップＳ３２において、データ取得部３２は、筆跡情報ＤＢ３８から所望の筆跡データを読み出す。この読み出しに先立ち、データ取得部３２は、第２デバイス情報４６を参照することで端末装置２４の第２デバイスＩＤを特定し、第２デバイスＩＤに対応付けられた１つ以上の第１デバイスＩＤを取得する。その後、データ取得部３２は、端末装置２４の所有者のユーザＩＤ及び第１デバイスＩＤに対応付けられた筆跡データの少なくとも一部を筆跡情報ＤＢ３８から読み出す。ここで、筆跡データを部分的に読み出す場合、データ取得部３２は、筆跡データの作成時間・作成場所などに関する検索条件を付与してもよいし、所定の割合で無作為に抽出してもよい。
　ステップＳ３３において、デバイス制御部３６は、ステップＳ３２で読み出された筆跡データから、表示対象である過去の筆記情報を決定する。ここで、「筆記情報」とは、筆跡が示す手書き情報、又は、電子書籍を含む電子コンテンツの中で筆跡により指定されるコンテンツ情報である。例えば、前者の筆跡は手書きメモ又は注釈コメントに対応し、後者の筆跡はアンダーライン・囲み線を含むアノテーションに対応する。
　ステップＳ３４において、デバイス制御部３６は、ステップＳ３１で操作を受け付けた端末装置２４に対して、ステップＳ３３で決定された筆記情報の表示を指示する。具体的には、デバイス制御部３６は、筆記情報を表示するための表示用データを、送信先である端末装置２４に向けて送出する。そうすると、端末装置２４は、ネットワークＮＷ及びＩｏＴハブ１６を経由して、デジタルインクサーバ１２からの表示用データを受信する。
　ステップＳ３５において、端末装置２４は、ステップＳ３４での指示とともに供給された表示用データを用いて、筆記情報を表示画面上に表示する。端末装置２４は、複数の筆記情報を時系列の順序で切り替えて表示してもよいし、複数の筆記情報を無作為の順序で切り替えて表示してもよい。この表示に際して、様々な表示形態（例えば、文字の大きさ・色・位置・向き・タイムスタンプの表示有無など）が用いられてもよいし、様々な制御方法（例えば、表示時間・切り替え周期・視覚効果など）が用いられてもよい。
　図１０Ａ及び図１０Ｂは、端末装置２４による表示の一例を示す図である。端末装置２４は、筆記時点Ｔ１における（Ａ）手書き情報１１１と、筆記時点Ｔ２における（Ｂ）コンテンツ情報１１２を含む複数の筆記情報を切り替えて表示する場合を想定する。なお、筆記時点Ｔ１は、筆記時点Ｔ２よりもかなり前の時点（例えば、数年前）に相当する。
　図１０Ａの手書き情報１１０は、タッチセンサの適用可能性に関するメモを示している。つまり、筆記時点Ｔ１では、酸化インジウムスズ（ＩＴＯ）からなるタッチセンサは、壁に適用され得る一方、「窓」への適用は技術上困難であり、「床」への適用は意義がないと判断されている。図１０Ｂのコンテンツ情報１１２は、タッチセンサに関する技術動向を示している。つまり、筆記時点Ｔ２では既に、金属メッシュパターンを用いたタッチセンサの実現性が高いことが示唆されている。
　人Ｈｍは、この表示を視認することで、タッチセンサを窓に組み込むことが技術的に実現可能となり、その結果、「家そのもの」をデジタルインクの入出力デバイスとみなす「ホームＵＩシステム」という新たなビジネスモデルの創出に繋がっていく。
　その後、図９のステップＳ３１に戻り、このフローチャートを繰り返して実行することで、ホームＵＩシステム１０の第３動作が逐次行われる。
＜第３動作による効果＞
　以上のように、デジタルインクを管理するホームＵＩシステム１０は、家１００に設けられ又は家１００の一部を構成するデバイスであって、人Ｈｍによる筆跡を入力可能な筆跡センサ５２をそれぞれ含む複数の家庭用デバイス２０，２２と、筆跡の形態を示す筆跡データを家庭用デバイス２０，２２と対応付けて記憶するストレージ装置１４（記憶装置）と、画像又は映像を表示可能に構成され、かつ１つ以上の家庭用デバイス２０，２２に対応付けられた端末装置２４と、端末装置２４を介して所定の操作を受け付けた場合、ストレージ装置１４から端末装置２４に対応する家庭用デバイス２０，２２の筆跡データを取得し、取得済みの筆跡データが示す手書き情報又は当該筆跡データが指定するコンテンツ情報の表示を、端末装置２４に対して指示するデバイス制御部３６（制御手段）と、を備える。
　このホームＵＩシステム１０を用いた表示方法及び表示プログラムでは、コンピュータとしてのデジタルインクサーバ１２が、端末装置２４を介して所定の操作を受け付けた場合、ストレージ装置１４から端末装置２４に対応する家庭用デバイス２０，２２の筆跡データを取得し、取得済みの筆跡データが示す手書き情報又は当該筆跡データが指定するコンテンツ情報の表示を、端末装置２４に対して指示する指示ステップ（図９のＳ３４）を実行する。このように構成したので、家庭用デバイス２０，２２から入力された過去の筆記情報を画像又は映像として特定の端末装置２４に一元的に表示可能となり、デジタルインクが示す筆跡情報を効果的に出力することができる。
　特に、端末装置２４が複数の手書き情報又は複数のコンテンツ情報を無作為に切り替えて表示する場合、人Ｈｍが思いもよらない断片的な情報の組み合わせを逐次的に提示可能となり、人Ｈｍの脳内において様々な切り口での情報の有機的結合が起こりやすくなり、人Ｈｍのさらなる創造活動に繋がる。
［第４動作］
　人Ｈｍは、過去の記憶を振り返ることで、心理的な快適さや脳の活性化、あるいは家庭への帰属感などの心身的効果を得ることができる。そこで、ホームＵＩシステム１０は、過去の筆記内容を想起させるための「第４動作」を行う。以下、この第４動作について、図１１のフローチャート，図１２Ａ～図１３Ｃを参照しながら説明する。
＜第４動作の流れ＞
　図１１のステップＳ４１において、デジタルインクサーバ１２のデータ取得部３２は、１つ又は複数の状態センサ１８から状態データを取得する。この取得は、図４のステップＳ１１の場合と同様の動作であるため、具体的な説明を省略する。
　ステップＳ４２において、データ解析部３４は、ステップＳ４１で取得された状態データを用いて、報知の要否に関する１次判定を行う。具体的には、データ解析部３４は、センサフュージョンを含む様々な解析手法を用いて状態データを多角的又は時系列的に解析し、人Ｈｍによる所定の状態を検知したか否かを確認する。ここで、「所定の状態」とは、例えば、家庭用デバイス２０，２２の近くでくつろいでいる状態を意味する。具体的には、［１］椅子やソファに座っている状態、［２］立ち止まっている状態、［３］特定の家庭用デバイス２０，２２を眺めている状態、などが挙げられる。
　ステップＳ４３において、データ解析部３４は、ステップＳ４２での判定結果が１次の判定条件を満たすか否かを確認する。判定条件を満たさない場合（ステップＳ４３：ＮＯ）、ステップＳ４１に戻って、以下、この条件を満たすまでステップＳ４１～Ｓ４３を順次繰り返す。一方、判定条件を満たす場合（ステップＳ４３：ＹＥＳ）、次のステップＳ４４に進む。
　ステップＳ４４において、データ解析部３４は、ステップＳ４１で取得された状態データ、又は追加的に取得された状態データから、２次判定に用いられる複数の特徴量を算出する。データ解析部３４は、図４のステップＳ１４の場合と同じ特徴量を算出してもよいし、異なる特徴量を算出してもよい。
　ステップＳ４５において、データ解析部３４は、ステップＳ４４で算出された特徴量を用いて、後述する表示の要否に関する２次判定を行う。例えば、データ解析部３４は、複数の個別条件をすべて満たすか否かによって、あるいは、複数の個別条件の成否を得点化して表示の要否を判定することができる。あるいは、データ解析部３４は、機械学習がなされた判定器９０を用いることで、より高精度な判定を行ってもよい。この判定器９０は、図５に示す判定器７０の場合と同様の構成をとり得る。
　ステップＳ４６において、データ解析部３４は、ステップＳ４５での判定結果が２次の判定条件を満たすか否かを確認する。ここでは、データ解析部３４は、判定器９０から出力された判定値が閾値よりも大きい場合に判定条件を満たす一方、この判定値が閾値以下である場合に判定条件を満たさないと判定する。判定条件を満たさない場合（ステップＳ４６：ＮＯ）、ステップＳ４１に戻って、以下、この条件を満たすまでステップＳ４１～Ｓ４６を順次繰り返す。一方、判定条件を満たす場合（ステップＳ４６：ＹＥＳ）、次のステップＳ４７に進む。
　ステップＳ４７において、データ解析部３４は、ステップＳ４２での解析結果に基づいて、人Ｈｍの近くにあってタッチパネルディスプレイを有する家庭用デバイス２２を１つ選定する。あるいは、データ解析部３４は、ステップＳ１７（図４）の場合と同様に、センサ情報４２及び第１デバイス情報４４の照合を通じて、家庭用デバイス２２を選定してもよい。
　ステップＳ４８において、データ取得部３２は、ステップＳ４７で選定された家庭用デバイス２２の筆跡データを筆跡情報ＤＢ３８から読み出す。この筆跡データには、筆跡が示す手書き情報が含まれる。なお、筆跡データを部分的に読み出す場合、データ取得部３２は、筆跡データの作成時間・作成場所などに関する検索条件を付与してもよいし、所定の割合で無作為に抽出してもよい。
　ステップＳ４９において、デバイス制御部３６は、ステップＳ４４で選定された家庭用デバイス２２に向けて、ステップＳ４５で読み出された筆跡データを含む表示用データを送出する。そうすると、家庭用デバイス２２は、ネットワークＮＷ及びＩｏＴハブ１６を経由して、デジタルインクサーバ１２からの表示用データを受信する。
　ステップＳ５０において、家庭用デバイス２２は、ステップＳ４６で供給された表示用データを用いて、手書き情報を表示画面上に表示する。家庭用デバイス２２は、ステップＳ３５（図８）の場合と同様に、複数の手書き情報を時系列の順序で切り替えて表示してもよいし、複数の手書き情報を無作為の順序で切り替えて表示してもよい。この表示に際して、様々な表示形態（例えば、文字の大きさ・色・位置・向き・タイムスタンプの表示有無・筆記者の表示有無など）が用いられてもよいし、様々な制御方法（例えば、表示時間・切り替え周期・視覚効果など）が用いられてもよい。
　図１２Ａ～図１２Ｃは、家庭用デバイス２２による表示の第１例を示す図である。ここで、家庭用デバイス２２は、電子書籍を閲覧可能なタブレットであり、無作為に抽出されたコンテンツ情報１２１，１２２，１２３を含む複数の筆記情報を切り替えて表示する。図１２Ａのコンテンツ情報１２１は童謡の一部に書き込まれた注釈、図１２Ｂのコンテンツ情報１２２は童話の一部に書き込まれた注釈、図１２Ｃは数学の図形に書き込まれた注釈をそれぞれ示している。
　図１３Ａ～図１３Ｃは、家庭用デバイス２２による表示の第２例を示す図である。ここで、家庭用デバイス２２は、タッチパネルディスプレイを備えるテーブルであり、無作為に抽出された手書き情報１２４，１２５，１２６を含む複数の筆記情報を切り替えて表示する。図１３Ａの手書き情報１２４は「母」が書いた買い物メモ、図１３Ｂの手書き情報１２５は「父」が書いたイラスト、図１３Ｃは「子供」が書いたメッセージをそれぞれ示している。
　家庭用デバイス２２は、まるで振り子時計が時を刻むかのように、一定の周期でゆっくりと切り替え表示を行う。人Ｈｍは、特別な意味が無いとも思えるこの表示を視認することで、家庭用デバイス２２に対する愛着が湧き、家１００の記憶を蘇らせる。つまり、人Ｈｍは、家１００の中にいるという帰属感を得る。
　その後、図１１のステップＳ４１に戻り、このフローチャートを繰り返して実行することで、ホームＵＩシステム１０の第４動作が逐次行われる。
　なお、デジタルインクサーバ１２は、この第４動作と並行して、第２判定を行う判定器９０（図５）に対して強化学習を行ってもよい。この強化学習は、例えば、行動選択を「表示の有無」とし、報酬を「人Ｈｍによる反応があったこと」とする学習スキームに基づいて行われてもよい。また、デジタルインクサーバ１２は、第１判定に対しても同様の学習（つまり、条件のクレンジング処理）を行ってもよい。
＜第４動作による効果＞
　以上のように、デジタルインクを管理するホームＵＩシステム１０は、家１００の中の状態又は状態の変化を検出可能な１つ又は複数の状態センサ１８と、家１００の中に設けられ又は家１００の一部を構成するデバイスであって、人Ｈｍによる筆跡を入出力可能なタッチパネルディスプレイを含む家庭用デバイス２２と、筆跡の形態を示す筆跡データを家庭用デバイス２２と対応付けて記憶するストレージ装置１４（記憶装置）と、１つ以上の状態センサ１８による検出結果から表示が必要であると判定された場合、ストレージ装置１４から人Ｈｍに近い位置にある家庭用デバイス２２に対応する筆跡データを取得し、取得済みの筆跡データが示す手書き情報の表示を、家庭用デバイス２２に対して指示するデバイス制御部３６（制御手段）と、を備える。
　また、このホームＵＩシステム１０を用いた表示方法及び表示プログラムでは、コンピュータとしてのデジタルインクサーバ１２が、１つ以上の状態センサ１８による検出結果から表示が必要であると判定された場合、ストレージ装置１４から人Ｈｍに近い位置にある家庭用デバイス２２に対応する筆跡データを取得し、取得済みの筆跡データが示す手書き情報の表示を、家庭用デバイス２２に対して指示する指示ステップ（図１１のＳ４９）を実行する。このように構成したので、家庭用デバイス２２に対して高い関心を示す人Ｈｍの状態又は状態の変化を捉えた適時の表示が可能となり、家庭用デバイス２２から入力された過去の筆記情報を画像又は映像として効果的に出力することができる。
　特に、家庭用デバイス２２が複数の手書き情報を無作為に切り替えて表示する場合、人Ｈｍが過去の記憶を逐次振り返ることが可能となり、心理的な快適さや脳の活性化などの心身的効果を得ることができる。また、特別な意味が無いとも思われる態様で表示することで、この人Ｈｍに対して、家１００の中にいるという帰属感を与えたり、家１００の記憶を蘇らせたりすることができる。
　また、データ解析部３４（判定手段）は、状態センサ１８による検出結果を示す少なくとも１つの特徴量を入力側とし、表示の要否を示す判定値を出力側とする判定器９０を用いて表示の要否を判定し、デバイス制御部３６は、判定器９０を用いた判定結果に従って表示を指示してもよい。この判定器９０は、演算規則を定めるための学習パラメータ群を強化学習により更新可能に構成されてもよい。
［変形例］
　なお、本発明は上記した実施形態に限定されるものではなく、この発明の主旨を逸脱しない範囲で自由に変更できることは勿論である。あるいは、技術的に矛盾が生じない範囲で各々の構成を任意に組み合わせてもよい。
　第１動作のステップＳ１５（図４）又は第４動作のステップＳ４５（図１１）に関して、データ解析部３４は、家庭用デバイス２０，２２と家１００の間の調和度を示す特徴量を用いて報知の要否を判定してもよい。この特徴量は、カメラによる撮像画像を用いて算出されてもよいし、第１デバイス情報４４に予め格納されていてもよい。
　第１動作のステップＳ１２，Ｓ１５（図４）又は第４動作のステップＳ４２，Ｓ４５（図１１）に関して、報知又は表示の要否に関する２段階判定を行う場合、第１判定の機能を下流側の装置（例えば、図１のＩｏＴハブ１６）に担わせてもよい。これにより、エッジコンピューティングによる分散処理が可能となり、デジタルインクサーバ１２の負荷が軽減される。
　また、データ解析部３４は、相対的に少数の状態センサ１８を用いて１次判定を行うとともに、相対的に多数の状態センサ１８を用いて２次判定を行ってもよい。これにより、状態センサ１８との間の通信負荷を軽減することができる。同様に、データ解析部３４は、１回あたりの演算量が相対的に少ない判定処理を用いて１次判定を行うとともに、１回あたりの演算量が相対的に多い判定処理を用いて２次判定を行ってもよい。これにより、デジタルインクサーバ１２の演算負荷を軽減することができる。
　第１動作のステップＳ１９（図４）に関して、報知デバイス５８は、時間差を設けた複数回の報知を行ってもよい。例えば、報知デバイス５８は、指向性が相対的に低い出力態様（例えば、音）で第１の報知を行った後に、指向性が相対的に高い出力態様（例えば、光）で第２の報知を行ってもよい。
　第４動作のステップＳ４８（図１１）に関して、データ取得部３２は、予め設定された開示制限に従って、筆跡情報ＤＢ３８から読み出す筆跡データを制限してもよい。これにより、家庭内であっても誰にも見せたくないプライベート情報を保護可能となり、ホームＵＩシステム１０をより活用しやすくなる。
［符号の説明］
　１０…ホームＵＩシステム、１２…デジタルインクサーバ、１４…ストレージ装置（記憶装置）、１６…ＩｏＴハブ、１８…状態センサ、２０，２２…家庭用デバイス、２４…端末装置、３２…データ取得部、３４…データ解析部、３６…デバイス制御部（制御手段）、３８…筆跡情報ＤＢ、４０…環境情報ＤＢ、５０…本体部、５２…筆跡センサ、５４…電子ペン、５６…インジケータ、５８…報知デバイス（報知手段）、７０，９０…判定器、８０…識別器、１００…家、１１１，１２４，１２５，１２６…手書き情報、１１２，１２１，１２２，１２３…コンテンツ情報、Ｈｍ…人

Claims (10)

  1. 　デジタルインクを管理するホームＵＩシステムであって、
    　家の中の状態又は状態の変化を検出可能な複数の状態センサと、
    　前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を検出可能な筆跡センサをそれぞれ含む複数の家庭用デバイスと、
    　前記家庭用デバイスの存在又は前記筆跡センサの検出可能領域を前記人に向けて報知する１つ以上の報知手段と、
    　１つ以上の前記状態センサによる検出結果から報知が必要であると判定された場合、少なくとも１つの前記報知手段に対して報知を指示する制御手段と、
    　を備えることを特徴とするホームＵＩシステム。
  2. 　前記状態センサによる検出結果を示す少なくとも１つの特徴量を入力側とし、報知の要否を示す判定値を出力側とする判定器を用いて、報知の要否を判定する判定手段をさらに備え、
    　前記制御手段は、前記判定器を用いた判定結果に従って報知を指示することを特徴とする請求項１に記載のホームＵＩシステム。
  3. 　前記判定器は、演算規則を定めるための学習パラメータ群を強化学習により更新可能に構成されることを特徴とする請求項２に記載のホームＵＩシステム。
  4. 　デジタルインクを管理するホームＵＩシステムであって、
    　家の中の状態又は状態の変化を検出可能な複数の状態センサと、
    　前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を検出可能な筆跡センサを含む家庭用デバイスと、
    　前記家庭用デバイスにより筆跡の入力が検出された場合、１つ以上の前記状態センサによる検出結果を用いて筆跡の入力を行った筆記者を推定する推定手段と、
    　を備えることを特徴とするホームＵＩシステム。
  5. 　デジタルインクを管理するホームＵＩシステムであって、
    　家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を入力可能な筆跡センサをそれぞれ含む複数の家庭用デバイスと、
    　筆跡の形態を示す筆跡データを前記家庭用デバイスと対応付けて記憶する記憶装置と、
    　画像又は映像を表示可能に構成され、かつ１つ以上の前記家庭用デバイスに対応付けられた端末装置と、
    　前記端末装置を介して所定の操作を受け付けた場合、前記記憶装置から前記端末装置に対応する前記家庭用デバイスの筆跡データを取得し、取得済みの筆跡データが示す手書き情報又は前記取得済みの筆跡データが指定するコンテンツ情報の表示を、前記端末装置に対して指示する制御手段と、
    　を備えることを特徴とするホームＵＩシステム。
  6. 　前記端末装置は、複数の手書き情報又は複数のコンテンツ情報を無作為に切り替えて表示することを特徴とする請求項５に記載のホームＵＩシステム。
  7. 　デジタルインクを管理するホームＵＩシステムであって、
    　家の中の状態又は状態の変化を検出可能な複数の状態センサと、
    　前記家の中に設けられ又は前記家の一部を構成するデバイスであって、人による筆跡を入出力可能なタッチパネルディスプレイを含む家庭用デバイスと、
    　筆跡の形態を示す筆跡データを前記家庭用デバイスと対応付けて記憶する記憶装置と、
    　１つ以上の前記状態センサによる検出結果から表示が必要であると判定された場合、前記記憶装置から前記人に近い位置にある前記家庭用デバイスに対応する筆跡データを取得し、取得済みの筆跡データが示す手書き情報の表示を、前記家庭用デバイスに対して指示する制御手段と、
    　を備えることを特徴とするホームＵＩシステム。
  8. 　前記家庭用デバイスは、複数の手書き情報を無作為に切り替えて表示することを特徴とする請求項７に記載のホームＵＩシステム。
  9. 　前記状態センサによる検出結果を示す少なくとも１つの特徴量を入力側とし、表示の要否を示す判定値を出力側とする判定器を用いて、表示の要否を判定する判定手段をさらに備え、
    　前記制御手段は、前記判定器を用いた判定結果に従って表示を指示することを特徴とする請求項７に記載のホームＵＩシステム。
  10. 　前記判定器は、演算規則を定めるための学習パラメータ群を強化学習により更新可能に構成されることを特徴とする請求項９に記載のホームＵＩシステム。
     
PCT/JP2020/006006 2019-04-08 2020-02-17 デジタルインクを管理するホームｕｉシステム WO2020208937A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021513503A JP7168768B2 (ja) 2019-04-08 2020-02-17 デジタルインクを管理するホームｕｉシステム
US17/489,472 US11915504B2 (en) 2019-04-08 2021-09-29 Home UI system for managing digital ink
JP2022172390A JP7450687B2 (ja) 2019-04-08 2022-10-27 デジタルインクを管理するホームｕｉシステム
US18/476,090 US20240021002A1 (en) 2019-04-08 2023-09-27 Home ui system for managing digital ink

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019073696 2019-04-08
JP2019-073696 2019-04-08

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/489,472 Continuation US11915504B2 (en) 2019-04-08 2021-09-29 Home UI system for managing digital ink

Publications (1)

Publication Number Publication Date
WO2020208937A1 true WO2020208937A1 (ja) 2020-10-15

Family

ID=72751789

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006006 WO2020208937A1 (ja) 2019-04-08 2020-02-17 デジタルインクを管理するホームｕｉシステム

Country Status (3)

Country Link
US (2) US11915504B2 (ja)
JP (2) JP7168768B2 (ja)
WO (1) WO2020208937A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123519A (ja) * 2010-12-07 2012-06-28 Fuji Xerox Co Ltd 画像処理システム、画像処理装置及び画像処理プログラム
JP2012220186A (ja) * 2011-04-12 2012-11-12 Lg Electronics Inc ディスプレイ装置及びこれを備える冷蔵庫
JP2013145468A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2017137732A (ja) * 2016-02-05 2017-08-10 Toto株式会社 トイレシステム
CN109324745A (zh) * 2018-08-02 2019-02-12 广州视源电子科技股份有限公司 白板操作方法、装置、系统、白板设备和介质
JP2019045911A (ja) * 2017-08-29 2019-03-22 日本電信電話株式会社 判定装置、判定方法及び判定プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000075975A (ja) 1998-09-02 2000-03-14 Brother Ind Ltd 軌跡入出力装置および記憶媒体
US7397949B2 (en) 2000-06-21 2008-07-08 Microsoft Corporation Serial storage of ink and its properties
JP2002078036A (ja) 2000-09-04 2002-03-15 Hitachi Ltd 家電機器用ネットワークシステム
TWI254551B (en) 2001-12-11 2006-05-01 Primax Electronics Ltd Electronic answering machine
US7158675B2 (en) 2002-05-14 2007-01-02 Microsoft Corporation Interfacing with ink
JP2009215871A (ja) 2008-02-12 2009-09-24 Kentaro Sasakura 壁埋め込み収納ボックス
JP2010131280A (ja) 2008-12-08 2010-06-17 Hitachi Ltd 精神状態判定支援方法および装置
EP3072039B1 (en) 2013-11-19 2019-08-14 Wacom Co., Ltd. Method and system for ink data generation, ink data rendering, ink data manipulation and ink data communication
JP5703454B1 (ja) * 2014-04-15 2015-04-22 パナソニックＩｐマネジメント株式会社 監視カメラシステム
US10114351B2 (en) 2015-03-05 2018-10-30 Google Llc Smart-home automation system that suggests or autmatically implements selected household policies based on sensed observations
EP3279774B1 (en) 2015-03-31 2021-02-24 Wacom Co., Ltd. Ink file output method, output device and program
US10365620B1 (en) * 2015-06-30 2019-07-30 Amazon Technologies, Inc. Interoperability of secondary-device hubs
KR102254699B1 (ko) * 2015-12-29 2021-05-24 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
TWI764906B (zh) 2016-09-01 2022-05-21 日商和冠股份有限公司 座標輸入處理裝置、情感推定裝置、情感推定系統及情感推定用資料庫之構築裝置
US11061374B2 (en) * 2019-03-06 2021-07-13 Ademco Inc. Multi-factor event sequencing and analytics systems
JP7325975B2 (ja) 2019-03-13 2023-08-15 三菱重工サーマルシステムズ株式会社 開放型圧縮機
US11388021B2 (en) * 2019-07-23 2022-07-12 International Business Machines Corporation Intelligent virtual assistant notification rerouting

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012123519A (ja) * 2010-12-07 2012-06-28 Fuji Xerox Co Ltd 画像処理システム、画像処理装置及び画像処理プログラム
JP2012220186A (ja) * 2011-04-12 2012-11-12 Lg Electronics Inc ディスプレイ装置及びこれを備える冷蔵庫
JP2013145468A (ja) * 2012-01-13 2013-07-25 Sony Corp 情報処理装置及び情報処理方法、並びにコンピューター・プログラム
JP2017137732A (ja) * 2016-02-05 2017-08-10 Toto株式会社 トイレシステム
JP2019045911A (ja) * 2017-08-29 2019-03-22 日本電信電話株式会社 判定装置、判定方法及び判定プログラム
CN109324745A (zh) * 2018-08-02 2019-02-12 广州视源电子科技股份有限公司 白板操作方法、装置、系统、白板设备和介质

Also Published As

Publication number Publication date
JPWO2020208937A1 (ja) 2021-11-25
US20240021002A1 (en) 2024-01-18
JP7168768B2 (ja) 2022-11-09
US20220019781A1 (en) 2022-01-20
JP7450687B2 (ja) 2024-03-15
JP2023015146A (ja) 2023-01-31
US11915504B2 (en) 2024-02-27

Similar Documents

Publication Publication Date Title
Augusto et al. Intelligent environments: a manifesto
Sadri Ambient intelligence: A survey
Leszczynski Digital methods III: The digital mundane
Greenfield Everyware: The dawning age of ubiquitous computing
US20150140527A1 (en) Providing Interventions by Leveraging Popular Computer Resources
US11521111B2 (en) Device and method for recommending contact information
CN111512617B (zh) 推荐联系人信息的装置和方法
Reijula et al. Human well-being and flowing work in an intelligent work environment
CN111656438A (zh) 电子装置及其控制方法
US20230070665A1 (en) Method and system for validation of disease condition reprogramming based on personality to disease condition mapping
Marcus Design, User Experience, and Usability: Novel User Experiences: 5th International Conference, DUXU 2016, Held as Part of HCI International 2016, Toronto, Canada, July 17–22, 2016, Proceedings, Part II
WO2020208937A1 (ja) デジタルインクを管理するホームｕｉシステム
KR102565198B1 (ko) 사용자 맞춤형 대화를 수행하는 디지털 휴먼 제공 방법 및 시스템
Baber et al. Embedded human computer interaction
Zhou et al. Human Aspects of IT for the Aged Population. Acceptance, Communication and Participation: 4th International Conference, ITAP 2018, Held as Part of HCI International 2018, Las Vegas, NV, USA, July 15–20, 2018, Proceedings, Part I
Lim Emotions, behaviour and belief regulation in an intelligent guide with attitude
Saadatian et al. An affective telepresence system using smartphone high level sensing and intelligent behavior generation
Bian et al. AMISA: A Pilot Study of an Emotional Supporting Device Between Friends Over Long-Distance
James SimSense-Gestural Interaction Design for Information Exchange between Large Public Displays and Personal Mobile Devices
US11321328B2 (en) System and method for customized user content
Ho et al. Developing a life rhythm related human support system
US20240050003A1 (en) Method and system for validating the response of a user using chatbot
Clemmensen et al. Global thoughts, local designs
Majethia et al. Stepping Into the Next Decade of Ubiquitous and Pervasive Computing: UbiComp and ISWC 2021
Stamato Developing an Ethical Framework for Affective Computing Applications

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20787139

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021513503

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20787139

Country of ref document: EP

Kind code of ref document: A1