WO2023149031A1 - 情報通知方法、情報通知装置及びプログラム - Google Patents

情報通知方法、情報通知装置及びプログラム Download PDF

Info

Publication number
WO2023149031A1
WO2023149031A1 PCT/JP2022/040247 JP2022040247W WO2023149031A1 WO 2023149031 A1 WO2023149031 A1 WO 2023149031A1 JP 2022040247 W JP2022040247 W JP 2022040247W WO 2023149031 A1 WO2023149031 A1 WO 2023149031A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
modal
notification
person
notification target
Prior art date
Application number
PCT/JP2022/040247
Other languages
English (en)
French (fr)
Inventor
充博 今尾
宏樹 竹内
Original Assignee
パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ filed Critical パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ
Publication of WO2023149031A1 publication Critical patent/WO2023149031A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/08Telephonic communication systems specially adapted for combination with other electrical systems specially adapted for optional reception of entertainment or informative matter

Definitions

  • This disclosure relates to technology for notifying users of information.
  • Patent Literature 1 discloses that a method of notifying information is determined based on the user's state and the nature of the information to be notified.
  • Patent Document 1 generally prefers auditory notification means to tactile notification means and visual notification means to auditory notification means. is based on the idea that it is possible to attract the user's attention more, and does not consider notifying information without interfering with the user's activities.
  • the present disclosure has been made to solve the above problems, and aims to present an information notification method, an information notification device, and a program capable of notifying a user of information without interfering with the user's activity.
  • An information notification method is an information notification method for notifying information by a modal that stimulates at least one of the five human senses, wherein a computer acquires the location of a notification target person, Obtaining the activity intensity of the notification target person at a location, and determining the activity of the notification target person based on the location and the activity intensity from among a modal group that can be used to notify information to the notification target person. determining a first modal to be inhibited, selecting a second modal to be used for notifying information to the person to be notified from among modals different from the first modal included in the modal group, Information is notified to the notification target person.
  • FIG. 1 is a diagram illustrating an example of an overall configuration of an information notification system according to an embodiment of the present disclosure
  • FIG. It is a figure which shows the output example of the information by each output part of an output system.
  • It is a block diagram which shows an example of a structure of an information notification apparatus.
  • It is a flow chart which shows an example of notification processing of information in an information notification device.
  • It is a figure which shows an example of notification request information.
  • It shows an example of user status information.
  • It is a figure which shows an example of an activity estimation table.
  • It is a figure which shows an example of a 1st rule table.
  • It is a figure which shows an example of a 3rd rule table.
  • It is a figure which shows an example of a 4th rule table and a 6th rule table.
  • It is a figure which shows an example of a user situation input screen.
  • Patent Document 1 there is an idea that auditory notification means can be used rather than tactile notification means, and visual notification means can be used more than auditory notification means to arouse user's attention. Based on this, a notification method is disclosed that can arouse the user's attention. Therefore, in the technique of Patent Document 1, the user's attention may be directed to the notified information, and the user's activities may be hindered.
  • the user when the user is cooking in the kitchen, if the user's attention is directed to the notified information, the user may be burned or injured.
  • the user when the user is relaxing in the living room, if the information is notified by a home controller located away from the living room, the user may find it troublesome to move to grasp the content of the information.
  • An information notification method is an information notification method for notifying information by a modal that stimulates at least one of the five human senses, in which a computer acquires the location of a person to be notified. , acquiring the activity intensity of the notification target person at the location, and selecting the notification target person from among a modal group that can be used for notifying information to the notification target person based on the location and the activity intensity determines a first modal that inhibits the activity of the modal group, selects a second modal to be used for notifying information to the person to be notified from modals different from the first modal included in the modal group, 2. The information is notified to the person to be notified by modal.
  • the notification target person is notified of the information by the second modal, which is different from the first modal that hinders the activity of the notification target person, among the modals that can be used to notify the notification target person of the information. be. Therefore, this configuration can notify information to a person to be notified without interfering with the activity of the person to be notified.
  • the activity content of the notification target person is estimated based on the location and the activity intensity, and based on the activity content
  • the first modal may be determined.
  • the first modal is determined based on the activity content of the notification target person estimated based on the location and activity intensity of the notification target person. Therefore, this configuration can notify the notification target person of the information so as not to hinder the activity indicated by the activity content.
  • a person other than the person to be notified who exists within a predetermined range from the location is detected, and the other person is detected. Based on the attributes of the person or the situation of the other person, at least one of a modal that hinders the activity of the other person and a modal that can leak information to be notified to the person to be notified to the other person It may be added as a first modal.
  • At least one of the modal that hinders the activity of the other person and the modal that can leak the information to be notified to the person to be notified to the other person is added as the first modal. Therefore, with this configuration, information can be notified to the person to be notified without interfering with the activity of the other person or without leaking the information to be notified to the person to be notified to the other person.
  • a modal that impedes a person's activity may be added as the first modal.
  • a modal that interferes with the person's activity and that is pre-associated with the time zone in which the location of the person to be notified is obtained is added as the first modal. Therefore, with this configuration, information can be notified to the person to be notified so as not to interfere with the activity of the person during the time when the location of the person to be notified is acquired.
  • a position where the notification target person may exist, an activity intensity of the notification target person at the position, and the modal group In a table that associates each modal included in the table with propriety information indicating whether or not the notification target person's activity is obstructed, the location that matches the location and the activity intensity that matches the activity intensity A modal indicating that the propriety information associated with the intensity hinders the notification target person's activity may be determined as the first modal, and further, a change in the contents of the table may be accepted.
  • this configuration it is possible to accept changes in the contents of the table used for determining the first modal. Therefore, this configuration can appropriately determine the first modal by appropriately changing the contents of the table.
  • the A third modal capable of notifying the location or a location farther than the location may be selected as the second modal.
  • information can be reliably notified to the person to be notified who exists at the location by the third modal capable of notifying the information to the location of the person to be notified or to a location farther than the location. can.
  • each modal included in the modal group is given a first priority, and in selecting the second modal, the third modal is selected.
  • a modal having the highest first priority among the third modals may be selected as the second modal.
  • the location or the location may be notified of the information notification by a fourth modal capable of notifying the information to a farther position.
  • the fourth modal capable of notifying information to the location of the person to be notified or to a location farther than the location notifies the person to be notified at the location that there is information notification. can be reliably notified.
  • each modal included in the modal group is given a second priority, and when the fourth modal is a plurality of modals, the The notification target person may be notified of the information notification by the modal set with the highest second priority among the fourth modals.
  • information can be notified to the person to be notified with more emphasis than usual by the fifth modal, which hinders the activity of the person to be notified and who is difficult to pay attention to. . Therefore, the notified person can grasp the notified information more easily without paying attention to the notified information than when the information is normally notified by the fifth modal. This can reduce the possibility that the activity of the person to be notified will be disturbed.
  • a sixth modal that inhibits the activity of the notification target is determined, and further, from among modals different from the sixth modal included in the input modal group, information by the notification target is selected.
  • a seventh modal used for input may be selected, and the notification of information by the second modal may further notify that information can be input by the seventh modal.
  • the person to be notified is notified that information can be input through the seventh modal, which is different from the sixth modal that hinders the activity of the person to be notified. Therefore, the person to be notified can input information without being hindered by the seventh modal.
  • the senor can be used to automatically acquire the location of the person to be notified.
  • a sensor in obtaining the activity intensity, a sensor is used for the notification target person existing in the space where the sensor is arranged. A motion speed may be detected, and the activity intensity may be obtained based on the motion speed of the notification target person.
  • a sensor in obtaining the activity intensity, a sensor is used for the notification target person existing in the space where the sensor is arranged. A posture may be detected, and the activity intensity may be obtained based on the posture of the notification target person.
  • a sensor in obtaining the activity intensity, a sensor is used to detect the motion speed of the notification target person, and the detected notification Of the two acquisition methods, a method of acquiring the activity intensity based on the target person's movement speed and a method of acquiring the detected activity intensity by detecting the posture of the notification target person using a sensor,
  • the activity intensity may be acquired by an acquisition method previously associated with the location.
  • a sensor in obtaining the activity intensity, a sensor is used to detect the movement speed of the notification target person, and the detected notification Of the two acquisition methods, a method of acquiring the activity intensity based on the target person's movement speed and a method of acquiring the detected activity intensity by detecting the posture of the notification target person using a sensor,
  • the activity intensity may be acquired by an acquisition method associated in advance with the number of possible postures of the notification target person at the location.
  • the activity intensity of the notification target person suitable for the number of possible postures of the notification target person at the location of the notification target person is determined. Can be obtained automatically.
  • An information notification device is an information notification device that notifies information by a modal that stimulates at least one of the five human senses, 1 acquisition unit, a second acquisition unit that acquires the activity intensity of the notification target person at the location, and the location and the activity from a modal group that can be used for notification of information to the notification target person a determination unit that determines a first modal that inhibits the activity of the notification target person based on the intensity; A selection unit that selects a second modal to be used for notification, and a notification unit that notifies the notification target person of information by the second modal.
  • a program according to another aspect of the present disclosure is a program that causes a computer of an information notification device that notifies information by a modal that stimulates at least one of the five human senses, wherein the computer functions as a notification target.
  • a first acquisition unit that acquires the location of a person
  • a second acquisition unit that acquires the activity intensity of the notification target person at the location; from, based on the location and the activity intensity, a determination unit that determines a first modal that inhibits the activity of the notification target person; It functions as a selection unit that selects a second modal used for notification of information to the person to be notified, and a notifying unit that notifies the person to be notified of information by the second modal.
  • the present disclosure can also be implemented as a system operated by such a program. It goes without saying that such a computer program can be distributed via a computer-readable non-temporary recording medium such as a CD-ROM or a communication network such as the Internet.
  • a computer-readable non-temporary recording medium such as a CD-ROM or a communication network such as the Internet.
  • FIG. 1 is a diagram showing an example of the overall configuration of an information notification system 1 according to an embodiment of the present disclosure.
  • the information notification system 1 includes a sensor 400 , an output system 300 , an input reception system 500 and an information notification device 100 .
  • Network 900 is, for example, a public communication line such as the Internet. Note that network 900 may be a local area network.
  • the sensor 400 is placed in a space in the facility used by the user of the information notification system 1.
  • Sensor 400, input reception system 500, and output system 300 may be communicatively connected via a local network within the facility.
  • a facility is, for example, a residence.
  • a residence may be an apartment complex or a detached house.
  • the facility may be an office.
  • Spaces include, for example, a living room, dining room, kitchen, LDK (living dining kitchen), Western-style room, Japanese-style room, corridor, toilet, entrance, and bath.
  • LDK is a space that combines a living room, a dining room, and a kitchen.
  • Spaces include, for example, offices, conference rooms, hot water supply rooms, reception rooms, lobbies, corridors, and toilets.
  • the sensor 400 periodically detects information about the space in which the sensor 400 is provided.
  • the sensor 400 notifies information (hereinafter, sensor information) including identification information of the sensor 400, detected information (hereinafter, detection information), and information indicating the date and time of detection of the information (hereinafter, detection date and time information).
  • sensor information information including identification information of the sensor 400, detected information (hereinafter, detection information), and information indicating the date and time of detection of the information (hereinafter, detection date and time information).
  • the sensors 400 include surveillance cameras, ranging sensors, radio wave sensors, and beacon sensors.
  • a surveillance camera captures an image of the space in which the surveillance camera is placed, and transmits sensor information including image data representing the captured image as detection information.
  • the ranging sensor detects the distance from the ranging sensor to a person existing in a predetermined direction using, for example, light rays such as infrared rays, radio waves, or ultrasonic waves, and transmits sensor information including the detected distance as detection information.
  • the radio wave sensor detects the external shape of a person existing in space based on the strength of the radio wave, and also detects the relative position of the person with respect to the placement position of the radio wave sensor.
  • the radio wave sensor transmits sensor information including data indicating the detected external shape of the person (hereinafter referred to as external shape data) and the relative position of the person as detection information.
  • the beacon sensor detects the identification information of a person within a predetermined distance from the beacon sensor and the relative position of the person with respect to the placement position of the beacon sensor.
  • the beacon sensor is configured to be capable of receiving a beacon signal transmitted from a mobile terminal carried by a person present within a predetermined distance from the beacon sensor.
  • the beacon sensor acquires the identification information of the person included in the beacon signal and the relative position of the mobile terminal with respect to the arrangement position of the beacon sensor.
  • the beacon sensor transmits sensor information including the identification information of the person and the relative position of the mobile terminal as detection information.
  • the output system 300 follows instructions from the information notification device 100 and outputs various information modally to stimulate at least one of the five human senses. Such modals include auditory stimulating alarm sounds and voices, visually stimulating lights, tactile stimulating vibrations, and visually stimulating images and characters.
  • the output system 300 includes five output units: a sound output unit 31 , a light output unit 32 , a vibration output unit 33 and an image output unit 34 .
  • FIG. 2 is a diagram showing an example of information output by each output unit of the output system 300. As shown in FIG.
  • the sound output unit 31 is configured by, for example, a smart speaker, a speaker arranged on the ceiling or side wall of a room, or a speaker provided in an electrical device.
  • Such electrical devices include, for example, smart phones, tablet terminals, personal computers, and home controllers.
  • the sound output unit 31 outputs a warning sound 311 instructed by the information notification device 100 .
  • the warning sound 311 includes a beep sound or an electronic sound with a frequency higher than that of human voice by a certain level. Also, the sound output unit 31 outputs the voice 312 instructed by the information notification device 100 .
  • the light output unit 32 is configured by, for example, a lighting fixture arranged on the ceiling or side wall of the room or a light provided by an electric device. Such electrical devices include, for example, smart phones, tablet terminals, personal computers, and home controllers. As shown in FIG. 2 , the light output unit 32 outputs light of a color specified by the information notification device 100 . In addition, the light output unit 32 outputs light that blinks at time intervals instructed by the information notification device 100 .
  • the vibration output unit 33 is configured by, for example, a vibrator provided in an electrical device such as a smartphone or tablet terminal. As shown in FIG. 2 , the vibration output section 33 vibrates the electric device including the vibration output section 33 in the vibration pattern instructed by the information notification device 100 .
  • the image output unit 34 is configured by, for example, a display or television included in the electrical equipment. Such electrical devices include, for example, smart phones, tablet terminals, personal computers, and home controllers. As shown in FIG. 2 , the image output unit 34 displays a still image or moving image 341 instructed by the information notification device 100 . The image output unit 34 also displays a character image (text) 342 instructed by the information notification device 100 .
  • Two or more output units out of the sound output unit 31, the light output unit 32, the vibration output unit 33, and the image output unit 34 may be provided in the same electric device, or the sound output unit 31 and the light output unit 32, the vibration output unit 33, and the image output unit 34 may be individually provided in different electric devices.
  • the input reception system 500 receives information input modally that stimulates at least one of the five human senses, and transmits the received information to the information notification device 100 .
  • the modals include sounds that stimulate the sense of hearing, gestures that stimulate the sense of sight, key operations that stimulate the sense of touch, and the like.
  • Input reception system 500 includes three input reception units: sound input reception unit 51 , gesture input reception unit 52 , and key operation input reception unit 53 .
  • the sound input reception unit 51 is configured by, for example, a microphone included in the electrical equipment.
  • Such electrical devices include, for example, smart phones, tablet terminals, personal computers, and home controllers.
  • the sound input receiving unit 51 picks up a voice representing the user's utterance and receives information recognized from the picked up voice.
  • the gesture input reception unit 52 is composed of, for example, a surveillance camera arranged on the ceiling or side wall of the room, or a camera included in an electrical device. Such electrical devices include, for example, smart phones, tablet terminals, personal computers, and home controllers.
  • the gesture input reception unit 52 photographs a predetermined range in the vicinity of the gesture input reception unit 52, and detects whether or not the photographed image includes an image of a predetermined gesture.
  • the gesture input reception unit 52 receives information associated with the gesture when it is detected that the photographed image includes an image of a predetermined gesture.
  • the key operation input reception unit 53 is configured by, for example, hard keys and a touch panel device provided in electrical equipment, or a keyboard and mouse provided in a personal computer. Such electrical devices include, for example, smart phones, tablet terminals, personal computers, and home controllers.
  • key operation input receiving portion 53 receives information associated with the soft key.
  • key operation input receiving portion 53 receives information associated with the hard key.
  • key operation input reception portion 53 receives information associated with the operated key.
  • two or more input reception units out of the sound input reception unit 51, the gesture input reception unit 52, and the key operation input reception unit 53 may be provided in the same electric device, or the sound input reception unit 51 and the gesture The input reception unit 52 and the key operation input reception unit 53 may be individually provided in different electric devices.
  • the devices that constitute each input reception unit included in the input reception system 500 may also be used as the sensor 400 .
  • the information notification device 100 is composed of a cloud server, an edge server in the facility, a personal computer, and the like.
  • FIG. 3 is a block diagram showing an example of the configuration of the information notification device 100. As shown in FIG. As shown in FIG. 3, the information notification device 100 includes a communication circuit 12, a processor 10 (computer), and a memory 11. FIG.
  • the communication circuit 12 is a communication circuit compatible with a communication method using a network 900 such as Ethernet (registered trademark), and connects the information notification device 100 to the network 900 .
  • a network 900 such as Ethernet (registered trademark)
  • the communication circuit 12 outputs various information received via the network 900 to the processor 10 .
  • the communication circuit 12 receives sensor information from the sensor 400 via the network 900 and outputs the received sensor information to the processor 10 .
  • Communication circuit 12 receives information input by the user from input reception system 500 via network 900 and outputs the received information to processor 10 .
  • the communication circuit 12 transmits various types of information via the network 900 to external devices connected to the network 900 .
  • the processor 10 is configured by, for example, a CPU (Central Processing Unit).
  • Processor 10 includes first acquisition unit 101 , second acquisition unit 102 , determination unit 103 , selection unit 104 , notification unit 105 and reception unit 106 .
  • the first acquisition unit 101 to reception unit 106 may be implemented by the processor 10 executing a predetermined program, or may be configured by a dedicated hardware circuit.
  • Reception unit 106 receives information received by communication circuit 12 from input reception system 500 . Details of the first acquisition unit 101 to the notification unit 105 will be described later.
  • the memory 11 is composed of nonvolatile rewritable semiconductor memory such as flash memory, HDD (Hard Disk Drive), SSD (Solid State Drive), and the like.
  • the memory 11 stores sensor information received by the communication circuit 12 from the sensor 400 by the processor 10 .
  • the memory 11 stores various information necessary for the processor 10 to execute processing.
  • the memory 11 stores information about the floor plan of the facility (hereinafter referred to as floor plan information).
  • the floor plan information includes information indicating the shape and position of each space in the facility.
  • the memory 11 stores information (hereafter referred to as device information) regarding the devices that constitute the sensor 400, the input reception system 500, and the output system 300.
  • the device information about the sensor 400 includes information indicating the arrangement position of the sensor 400, identification information of the sensor 400, and the like.
  • the device information related to the input reception system 500 includes identification information of the devices constituting each of the sound input reception unit 51, the gesture input reception unit 52, and the key operation input reception unit 53, information indicating the arrangement positions of the devices, and the like. .
  • the device information related to the output system 300 includes identification information of devices constituting each of the sound output unit 31, the light output unit 32, the vibration output unit 33, and the image output unit 34, information indicating the arrangement position of the device, and It includes an address and the like indicating the destination when transmitting the control command.
  • the memory 11 stores information about each of a plurality of users of the facility (hereinafter referred to as user information).
  • the user information includes user identification information (hereinafter referred to as user ID) and information indicating attributes of the user (hereinafter referred to as attribute information).
  • the user attribute information includes age and sex of the user.
  • the user attribute information also includes the group to which the user belongs (for example, the department to which the user belongs).
  • verification data used for verification with sensor information for the purpose of recognizing a user detected by the sensor 400 is stored in association with the user's user ID.
  • the collation data includes various data indicating features of the user, such as image data indicating an image of the user's face or whole body.
  • the memory 11 stores various rule tables that define various rules for determining the modal used to notify the user of information. Details of the various rule tables will be described later.
  • FIG. 4 is a flowchart showing an example of information notification processing in the information notification device 100 .
  • FIG. 5 is a diagram showing an example of the notification request information 111. As shown in FIG.
  • Step S1, Step S2) As shown in FIG. 4, when the communication circuit 12 receives notification request information 111 (FIG. 5) requesting notification of information to a specific user (hereafter referred to as notification target person) (YES in step S1), the first The acquisition unit 101 acquires the location of the person to be notified (step S2). On the other hand, while the communication circuit 12 has not received the notification request information 111 (FIG. 5) (NO in step S1), the first acquisition unit 101 is in a standby state.
  • the notification request information 111 received in step S1 includes the date and time when notification of information to the notification target is requested, the user ID of the notification target, and the notification target. contains information to be notified to (hereinafter referred to as notification information).
  • FIG. 5 shows an example of notification request information 111 transmitted to the information notification device 100 by a server or the like of a service that provides cooking recipes.
  • the notification request information 111 indicates that notification of cooking information to user A was requested at 13:00 on September 10, 2021.
  • step S2 the first acquisition unit 101 first acquires sensor information regarding the notification target indicated by the notification request information 111 received in step S1.
  • the first acquisition unit 101 acquires from the memory 11 the verification data associated with the user ID of the person to be notified included in the notification request information 111 .
  • the first acquisition unit 101 acquires detection date and time information indicating a date and time within a predetermined time (for example, 30 minutes) from the current date and time, among sensor information transmitted by the monitoring camera and the radio wave sensor stored in the memory 11, and Sensor information including image data or external shape data including features of the notification target indicated by the data is acquired.
  • the first acquisition unit 101 obtains detection date and time information indicating a date and time within a predetermined time period from the current date and time, and the notification request information 111 received in step S1, among the sensor information transmitted by the beacon sensor stored in the memory 11. acquires the sensor information including the user ID of the notification target person included in the .
  • the first acquisition unit 101 refers to the device information related to the sensor 400 stored in the memory 11 and grasps the arrangement position of the sensor 400 corresponding to the acquired sensor information.
  • the sensor 400 corresponding to the sensor information is the sensor 400 that transmitted the sensor information, identified by the identification information of the sensor 400 included in the sensor information.
  • the first acquisition unit 101 refers to the floor plan information stored in the memory 11 and acquires the space including the arrangement position of the sensor 400 as the location of the person to be notified. After acquiring the location of the person to be notified, the first acquisition unit 101 stores the user status information 112 ( FIG. 6 ) indicating the situation of the person to be notified in the memory 11 .
  • FIG. 6 is a diagram showing an example of the user status information 112.
  • the user status information 112 includes the date and time when the location of the notification target person was acquired, the user ID and location of the notification target person, and the notification target at the location. person's activity intensity;
  • the user status information 112 further includes a group of modals that can be used to notify information to a notification target, and a range from the location of the notification target to an output unit that outputs information by each modal included in the modal group. distance (hereafter, notification distance by each modal), and .
  • modal refers to a user interface (User Interface; hereinafter referred to as UI) that stimulates at least one of the five senses.
  • UI User Interface
  • this UI indicates a contact surface between an information input/output device and a person, and has a function (means) for mutually exchanging information between the input/output device and a person through at least one of the five senses.
  • functions (means) include the following.
  • the first acquisition unit 101 stores information other than the activity intensity of the person to be notified.
  • the first acquisition unit 101 refers to the floor plan information stored in the memory 11 and the device information related to the output system 300, and from a predetermined position in the space acquired as the location of the person to be notified, information is obtained by each modal. is stored as the notification distance by each modal.
  • the predetermined position in the space is, for example, the entrance/exit of the space.
  • FIG. 6 shows the date and time “2021/9/10 13:00” when the first acquisition unit 101 acquired the location of the person to be notified, the user ID “user A” of the person to be notified, and the location “ “kitchen” and the distance (notification distance) "2 m” from the location “kitchen” to the sound output unit 31 that outputs information by modal "warning sound” are shown.
  • the second acquisition unit 102 acquires the activity intensity of the person to be notified at the location of the person to be notified acquired in step S2.
  • the activity intensity of the notification target is information indicating the intensity of the activity of the notification target, and can be estimated, for example, from the amount of exercise of the notification target. Specifically, it is possible to obtain, as the activity intensity of the notification target, how many times the energy consumed by the notification target for the current activity is equivalent to the energy consumed at rest.
  • the activity intensity of the notification target in this disclosure is not limited to the above.
  • the intensity of activity that can be estimated from the physical condition of the person to be notified may be used as the activity intensity of the person to be notified.
  • the activity intensity is high; when the notification target is sitting, the activity intensity is medium; It may be low.
  • the intensity of activity that can be estimated from the degree of concentration of the notification target may be used as the activity intensity of the notification target.
  • the degree of concentration of the notification target person can be calculated based on the detection result, for example, by detecting the facial expression, face direction, body movement and/or eye movement of the notification target person.
  • the action of the target informant for each time period may be predicted. Then, the intensity of activity that can be estimated from the content of the predicted behavior in each time slot may be used as the activity intensity of the notification target person in each time slot.
  • the activity intensity of the person to be notified may be acquired by one acquisition method, or may be a combination of a plurality of activity intensities acquired by a plurality of acquisition methods.
  • the second acquisition unit 102 refers to the sensor information transmitted by the monitoring camera and the radio wave sensor stored in the memory 11, and detects the motion speed of the person to be notified.
  • the movement speed of the notification target is the movement speed of the entire body of the notification target, that is, the speed at which the notification target moves (hereinafter referred to as movement speed), or the speed at which a specific part of the body (eg, hand) moves (hereinafter referred to as the operation speed of the part).
  • the second acquisition unit 102 acquires the activity intensity of the notification target person based on the motion speed of the notification target person.
  • the second acquisition unit 102 acquires from the memory 11 matching data associated with the user ID included in the notification request information 111 .
  • the second acquisition unit 102 obtains sensor information including detection date and time information indicating a date and time within a predetermined time (for example, 30 minutes) from the current date and time, among the sensor information transmitted by the monitoring cameras and radio wave sensors stored in the memory 11. See
  • the second acquisition unit 102 acquires image data or outline data including characteristics of the notification target person indicated by the verification data from the sensor information referred to.
  • the second acquisition unit 102 detects the movement speed of the person to be notified from the image data or external shape data through known image processing and movement analysis processing.
  • the memory 11 further stores information indicating the relationship between the movement speed of a person, information indicating whether the movement speed is the speed at which the entire body or which part of the person is to be moved, and the activity intensity of the person ( Henceforth, 1st relational information) is memorize
  • the first relational information is defined such that the faster the motion speed of a person is, the higher the activity intensity of the person is.
  • the moving speed of a person is 0.8m/sec or more, it is estimated that the person is moving in a hurry to carry out some activity. Also, when the movement speed of the hands of the person is 20 mm/sec or more, it is estimated that the person is performing an activity using hands such as cooking. Therefore, in the first relational information, a person's moving speed of 0.8 m/sec or more and a hand movement speed of 20 mm/sec or more are associated with "high" indicating that the activity intensity is high.
  • a person's movement speed of 0.4 m / sec or more and less than 0.8 m / sec and a hand movement speed of 10 mm / sec or more and less than 20 mm / sec indicate that the activity intensity is moderate "Medium" is associated.
  • a person's moving speed of less than 0.4 m/sec and a hand movement speed of less than 10 mm/sec are associated with "low” indicating that the activity intensity is low.
  • the second acquisition unit 102 acquires the activity intensity associated with the detected movement speed of the notification target person in the first relationship information.
  • the second acquisition unit 102 adds the acquired activity intensity of the person to be notified to the user status information 112 (FIG. 6) stored in the memory 11 in step S2.
  • FIG. 6 shows an example in which the second acquisition unit 102 adds the activity intensity "high" of the notification target person acquired in step S3 to the user status information 112 stored by the first acquisition unit 101 in step S2. ing.
  • Step S4 the determination unit 103 estimates the activity content of the notification target person based on the location of the notification target person acquired in step S2 and the activity intensity of the notification target person acquired in step S3.
  • FIG. 7 is a diagram showing an example of the activity estimation table 113.
  • the memory 11 stores an activity estimation table 113 for estimating the activity content of the person to be notified.
  • the possible location of the notification target person, the intensity of the notification target person's activity at the position, and the activity content of the notification target person are associated with each other. remembered.
  • the activity intensity of the notification target at the position where the notification target may exist is the activity intensity of the notification target at the position where the notification target may exist.
  • step S4 the determining unit 103 determines, in the activity estimation table 113 (FIG. 7), the location that matches the location of the notification target person acquired in step S2 and the activity intensity that matches the activity intensity acquired in step S3. is estimated as the activity content of the notification target person.
  • Step S5 the determination unit 103 determines an NG modal (first modal) that hinders the activity of the notification target person based on the activity content of the notification target person estimated in step S4.
  • FIG. 8 is a diagram showing an example of the first rule table 114.
  • the memory 11 stores a first rule table 114 for determining the NG modal based on the activity of the person to be notified.
  • FIG. 8 shows a table obtained by synthesizing the activity estimation table 113 (FIG. 7) and the first rule table 114 used for estimating the activity of the person to be notified.
  • the first rule table 114 contains information ( Hereafter, it is a table that associates the OKNG flag) with the .
  • An OK modal is a modal that does not interfere with the activity of the person to be notified.
  • An NG modal is a modal that obstructs the activity of the person to be notified.
  • step S5 the determination unit 103 selects a modal (eg, voice, vibration) whose OKNG flag associated with the activity content (eg, exercise) acquired in step S4 in the first rule table 114 is "NG". , characters) as NG modal.
  • a modal eg, voice, vibration
  • the number of NG modals (for example, 3) associated with activity content requiring high activity intensity is higher than the activity content. It is determined to be larger than the number of NG modals (for example, one) associated with activity content (for example, document preparation) that requires a low activity intensity.
  • the first rule table 114 shown in FIG. 8 indicates that in spaces where activities that are difficult to interrupt such as "kitchen” and "workroom” are carried out, activity contents that require a low activity intensity (for example, document preparation) is determined to be an NG modal associated with activity content (eg, video conference) that requires a higher activity intensity than the activity content.
  • the first rule table 114 shown in FIG. 8 indicates that in a space such as a “living room” where activities that can be interrupted are performed, NG activities that require a high activity intensity (for example, exercise) are associated with NG activities. It is defined to include cases where the modal (eg, vibration) does not match the NG modal (eg, image) associated with activity content (eg, TV viewing) having a lower activity intensity than the activity content.
  • a space such as a “living room” where activities that can be interrupted are performed, NG activities that require a high activity intensity (for example, exercise) are associated with NG activities. It is defined to include cases where the modal (eg, vibration) does not match the NG modal (eg, image) associated with activity content (eg, TV viewing) having a lower activity intensity than the activity content.
  • the contents of the first rule table 114 are not limited to those shown in FIG. For example, it is assumed that information is notified by voice when the notification target person is cooking. In this case, the person to be notified may stop cooking and turn their attention to listening to the audio to understand the notified information. Therefore, in the first rule table 114 shown in FIG. 8, the OKNG flag of the modal "voice" associated with the activity content "cooking” may be "NG" indicating an NG modal.
  • Step S6 the selection unit 104 selects a modal (second modal) to be used for notification of information to the notification target person from modals different from the first modal included in the modal group that can be used for notification of information to the notification target person. modal).
  • FIG. 9 is a diagram showing an example of the second rule table 115.
  • the memory 11 stores a second rule table 115 for selecting a modal used for notification of information to the notification target.
  • the second rule table 115 includes a notification distance range (hereafter referred to as a distance range) by each modal and, when the notification distance by each modal is within the distance range, each modal to notify the notification target person of information. It is a table that associates information indicating whether or not it can be used (hereinafter referred to as a availability flag).
  • the distance range exceeding 5 m “5 m ⁇ distance ⁇ 10 m” and "10 m ⁇ distance” is associated with the usability flag "NG” indicating that the modal "text” cannot be used for information notification.
  • the information can be notified to the notification target persons existing within 5 m by modal "character", but the information can be notified to the notification target persons existing farther than 5 m. It is determined that you cannot.
  • information can be notified to a notification target person existing within 0 m by modal "vibration", but information can be notified to a notification target person existing farther than 0 m. It is determined that you cannot.
  • information can be notified by modal "vibration” to the notification target person who is in contact with the vibration output unit 33 that outputs information by modal "vibration", but the notification target who is not in contact with the vibration output unit 33 The user is shown that information cannot be notified by modal "vibration".
  • the second rule table 115 in FIG. 9 defines that the modal "warning sound” and "light” can notify information regardless of the location of the person to be notified.
  • step S6 the selection unit 104 refers to the second rule table 115, and among the modals different from the NG modal determined in step S5 included in the modal group, the location of the person to be notified or the location of the location A modal (third modal) capable of notifying information to a farther position than the above is selected as the modal used for notifying the information to the person to be notified.
  • step S5 it is assumed that three modals "vibration”, “image”, and “character” are determined as NG modals.
  • the selection unit 104 selects the modal "warning sound" as a modal to be used for notifying information to the person to be notified.
  • the selection unit 104 selects the modal "voice" as a modal used for notifying information to the person to be notified.
  • the selection unit 104 selects the modal "light" as a modal to be used for notifying information to the person to be notified.
  • the selection unit 104 further selects only one modal from among the plurality of modals by a predetermined method. You may make it select.
  • a first priority is set to each modal included in a modal group that can be used to notify information to a notification target, and the selection unit 104 selects the highest first priority among the plurality of modals. You may make it select only the modal with which was set.
  • the first priorities are “first”, “2 3rd place, 3rd place, 4th place, 5th place, and 6th place.
  • the selection unit 104 selects the modal "audio” to which the highest first priority among the three modals “warning sound", “audio”, and “light” is set. ” as the modal used for notifying the information to the notification target.
  • Step S7 the notification unit 105 generates a control command for outputting the notification information included in the notification request information 111 (FIG. 5) acquired in step S1 by the modal selected in step S6.
  • the notification unit 105 converts the notification information included in the notification request information 111 (FIG. 5) into a data format that can be output by the modal selected in step S6.
  • the notification unit 105 morphologically analyzes the notification information included in the notification request information 111 (FIG. 5) to grasp the content of the notification information. .
  • the notification unit 105 generates a control command for causing the sound output unit 31 (FIG. 1) to output a warning sound 311 (FIG. 2) having a frequency higher than that of a human voice according to the content of the notification information.
  • the notification unit 105 If the modal selected in step S6 is the modal "audio", the notification unit 105 generates audio data indicating the notification information included in the notification request information 111 (FIG. 5). Then, the notification unit 105 generates a control command for causing the sound output unit 31 (FIG. 2) to output the sound 312 (FIG. 2) indicated by the sound data.
  • the notification unit 105 morphologically analyzes the notification information included in the notification request information 111 (FIG. 5) to grasp the content of the notification information.
  • the notification unit 105 generates a control command for causing the light output unit 32 (FIG. 2) to output light of a color corresponding to the content of the notification information.
  • the notification unit 105 generates a control command for causing the light output unit 32 (FIG. 2) to output blinking light at time intervals according to the content of the notification information.
  • the notification unit 105 morphologically analyzes the notification information included in the notification request information 111 (FIG. 5) and grasps the content of the notification information.
  • the notification unit 105 generates a control command for causing the vibration output unit 33 ( FIG. 2 ) to vibrate the electric device including the vibration output unit 33 in a vibration pattern according to the content of the notification information.
  • the notification unit 105 If the modal selected in step S6 is the modal "image", the notification unit 105 generates still image or moving image data indicating the notification information included in the notification request information 111 (FIG. 5). Then, the notification unit 105 generates a control command for displaying the still image or moving image 341 (FIG. 2) indicated by the image data on the image output unit 34 (FIG. 2).
  • the notification unit 105 If the modal selected in step S6 is the modal "character", the notification unit 105 generates image data of a character image (text) indicating notification information included in the notification request information 111 (FIG. 5). Then, the notification unit 105 generates a control command for causing the image output unit 34 (FIG. 2) to display the character image 342 (FIG. 2) indicated by the image data.
  • Step S8 the notification unit 105 notifies the notification information included in the notification request information 111 (FIG. 5) by the modal selected in step S6.
  • step S8 the notification unit 105 transmits the control command generated in step S8 to the output system 300.
  • the output unit that outputs information modally selected in step S6 outputs notification information according to the control command.
  • notification information is notified to the notification target person.
  • a modal different from the NG modal that hinders the activity of the notification target is provided to the notification target. is notified. Therefore, this configuration can notify information to a person to be notified without interfering with the activity of the person to be notified. Further, in this configuration, the NG modal is determined based on the activity content of the notification target person estimated based on the location and activity intensity of the notification target person. Therefore, the information can be notified to the notification target person so as not to hinder the activity indicated by the activity content.
  • step S5 (FIG. 4)
  • step S4 (FIG. 4) is omitted.
  • the NG modal is determined based on the activity intensity of the notification target person acquired in FIG.
  • FIG. 10 is a diagram showing an example of the third rule table 116.
  • the memory 11 stores a third rule table 116 for determining the NG modal based on the location of the notification target and the activity intensity of the notification target at the location. is stored.
  • FIG. 10 shows a table obtained by synthesizing the activity estimation table 113 (FIG. 7) and the third rule table 116 used for estimating the activity of the person to be notified.
  • a third rule table 116 includes the possible locations of the notification target, the activity intensity of the notification target at the position, and the modal group that can be used to notify the notification target of information. and information indicating whether each modal received is an OK modal or an NG modal (hereinafter referred to as OKNG information).
  • the activity intensity of the notification target at the position where the notification target may exist is the activity intensity of the notification target at the position where the notification target may exist.
  • step S5 of the second embodiment the determining unit 103 determines, in the third rule table 116, a position (for example, a living room) that matches the location of the person to be notified acquired in step S2 (FIG. 4) and a step A modal (e.g., voice, vibration, text) whose OKNG information is "NG" associated with the activity intensity (e.g., high) that matches the activity intensity of the notification target acquired in S3 (FIG. 4) is determined as an NG modal.
  • a position for example, a living room
  • a step A modal e.g., voice, vibration, text
  • the contents of the third rule table 116 are not limited to those shown in FIG.
  • information is notified by voice when a notification target person is performing an activity with high activity intensity such as cutting ingredients with a knife in the kitchen.
  • the person to be notified may be injured by turning their attention to listening to the audio to understand the information being notified.
  • information is notified by voice when the person to be notified is performing an activity of medium intensity, such as putting ingredients into a pot in the kitchen. In this case, even if the person to be notified pays attention to listening to the voice in order to understand the notified information, it is considered that there is little risk of injury.
  • the OK/NG information for the modal "voice” associated with the position “kitchen” and the activity intensity “high” may be “NG”.
  • the OK/NG information for the modal "voice” associated with the location “kitchen” and activity intensity “medium” may be "OK”.
  • the NG modal is determined based on the location and activity intensity of the person to be notified. Therefore, the information can be notified to the notification target person so as not to hinder the activity corresponding to the location and activity intensity of the notification target person.
  • step S6 the selection unit 104 selects the modal to be used for notification of information to the person to be notified, in the same manner as when selecting the modal to be used for the notification of information to the person to be notified.
  • Select the modal used for the notification (hereinafter referred to as trigger notification).
  • the selection unit 104 refers to the second rule table 115 (FIG. 9), and selects the NG determined in step S5 (FIG. 4) included in the modal group that can be used to notify the notification target person.
  • a modal fourth modal capable of notifying information to the location of the person to be notified or a location farther than the location is selected as the modal to be used for the trigger notification.
  • the selection unit 104 may further select only one modal from the multiple modals by a predetermined method.
  • a second priority is set for each modal included in a modal group that can be used to notify information to a notification target, and the selection unit 104 selects the highest second priority among the plurality of modals. You may make it select only the modal with which was set.
  • the second priorities are "first”, “2 3rd place, 3rd place, 4th place, 5th place, and 6th place.
  • the selection unit 104 selects the modal "warning sound", “audio”, and “light” with the highest second priority "first” among the three modal "warning sound", “audio”, and “light”. Select only “sound” as the modal to use for the trigger notification.
  • step S7 the notification unit 105 further transmits information indicating that there is notification of information to the trigger selected in step S6, similarly to the control command for outputting notification information.
  • Generates a control command hereinafter referred to as a trigger notification command for output by a modal used for notification.
  • step S ⁇ b>8 the notification unit 105 further transmits a trigger notification command to the output system 300 .
  • the notification unit 105 notifies the notification target person of information indicating that there is information notification by the modal used for the trigger notification selected in step S6.
  • a modal capable of notifying the information to the location of the person to be notified or to a location farther than the location ensures that the information is notified to the person to be notified who is present at the location. can be notified.
  • FIG. 11 is a diagram showing an example of the fourth rule table 117 and the sixth rule table 118.
  • FIG. 11 Specifically, as shown in FIG. 11, in the memory 11, similar to the first rule table 114 (FIG. 8), based on the activity details of the notification recipient, the notification recipient can use to input information.
  • a fourth rule table 117 is stored for determining an NG modal from among a group of modals (hereinafter referred to as an input modal group).
  • FIG. 11 shows a table obtained by synthesizing the activity estimation table 113 (FIG. 7) used for estimating the activity content of the person to be notified and the fourth rule table 117 .
  • the fourth rule table 117 is a table that associates the activity content of the notification target with information indicating whether each modal included in the input modal group is an OK modal or an NG modal (hereinafter referred to as an input OK NG flag). is.
  • the input OKNG flag "OK” indicating that the modal "voice” is an OK modal is associated with the activity content "exercise” of the person to be notified.
  • two input OK/NG flags "NG” indicating that two modals “gesture” and “key operation” are NG modals are associated with the activity content "exercise” of the notification target. .
  • step S5 the determining unit 103 further associates the activity content (eg, exercise) acquired in step S4 (FIG. 4) with the fourth rule table 117.
  • a modal whose OKNG flag is "NG" is determined as an NG modal (sixth modal) at the time of information input by the notified person.
  • NG modal for example, gesture, key operation
  • an NG modal at the time of information input by the notification target person will be referred to as an input NG modal.
  • the memory 11 further stores a fifth rule table (not shown) having the same configuration as the second rule table 115 (FIG. 9).
  • the fifth rule table defines a range (hereinafter referred to as an input distance range), and information indicating whether or not each modal can be used by the notification target person to input information when the input distance by each modal is within the input distance range (hereinafter referred to as input availability flag ) are associated with each other.
  • the selection unit 104 further refers to the fifth rule table. Then, the selection unit 104 selects a modal (seventh modal) different from the input NG modal determined in step S5, which is used for inputting information by the notification target person from the input modal group. Specifically, the selection unit 104 selects, from the input modal group, modals that can be used by the notification target person to input information at the location of the notification target person or at a position farther from the location.
  • step S7 the notification unit 105 can input the notification information included in the notification request information 111 (FIG. 5) and the modal information selected in step S6.
  • a control command for outputting the notification information is generated, including the information indicating the.
  • step S8 the output unit that outputs information by the modal selected in step S7 (FIG. 4) follows the control command, along with the notification information included in the notification request information 111 (FIG. 5), to step S6.
  • step S6 Outputs information indicating that information can be entered using the modal selected in .
  • the person to be notified is notified of the notification information, and is notified that information can be input by the modal selected in step S6.
  • step S4 (FIG. 4) is omitted, and in step S5 (FIG. 4), the determination unit 103 determines the location of the person to be notified acquired in step S2 (FIG. 4). and the activity intensity of the notification target acquired in step S3 (FIG. 4), the input NG modal may be determined.
  • the memory 11 may store a sixth rule table 118 having the same configuration as the third rule table 116 (FIG. 10).
  • FIG. 11 shows a table obtained by synthesizing the activity estimation table 113 (FIG. 7) used for estimating the activity content of the person to be notified and the sixth rule table 118 .
  • the sixth rule table 118 contains information about possible positions of the person to be notified, activity intensity of the person to be notified at the location, and information to the person to be notified. This is a table that associates information indicating whether each modal included in a modal group that can be used for notification is an OK modal or an NG modal (hereinafter referred to as input OKNG information).
  • the activity intensity of the notification target at the position where the notification target may exist is the activity intensity of the notification target at the position where the notification target may exist.
  • step S5 the determination unit 103 selects a position (for example, a living room) that matches the location of the notification target person acquired in step S2 (FIG. 4) and step S3 (FIG. 4) in the sixth rule table 118.
  • the input OK/NG modal e.g., gesture, key operation
  • the input NG modal associated with the activity intensity (e.g., high) that matches the activity intensity of the notification target person acquired in , is called the input NG modal. may be determined as
  • the notification target is notified that information can be input through a modal different from the NG modal that hinders the activity of the notification target. Therefore, the person to be notified can input information without being hindered by the modal.
  • step S2 the first acquisition unit 101 may acquire the location of the person to be notified in more detail as follows.
  • the first acquisition unit 101 obtains detection date and time information indicating a date and time within a predetermined time period from the current date and time, and image data including user characteristics indicated by the verification data or the outline of a person.
  • Acquire sensor information including information indicating and
  • the first acquisition unit 101 When image data is included in the acquired sensor information, the first acquisition unit 101 performs known image processing based on the size and position of the user's image included in the image indicated by the image data, The user's relative position is grasped when the arrangement position of the sensor 400 (monitoring camera) that has transmitted the sensor information is set as a reference position.
  • the first acquisition unit 101 determines the arrangement of the sensor 400 (radio wave sensor) that transmitted the sensor information, which is included in the sensor information. Obtain information that indicates the relative position of the user with respect to the position.
  • the first acquisition unit 101 obtains, from the memory 11, detection date and time information indicating a date and time within a predetermined time period from the current date and time, and the user ID included in the notification request information 111 received in step S1. Get the sensor information sent by The 1st acquisition part 101 grasps
  • the first acquisition unit 101 refers to the device information of the sensor 400 stored in the memory 11 and grasps the arrangement position of the sensor 400 corresponding to the sensor information used to grasp the relative position of the user.
  • the first acquisition unit 101 acquires the absolute position corresponding to the relative position of the user ascertained from the sensor information with respect to the arrangement position of the sensor 400 as the location of the user.
  • the first acquisition unit 101 may acquire the location of the user using sensor information transmitted by the distance measuring sensor. Specifically, the first acquisition unit 101 selects sensor information including detection date and time information indicating a date and time within a predetermined time period from the current date and time from the sensor information transmitted by the ranging sensors stored in the memory 11. get.
  • the first acquisition unit 101 grasps the distance from the range sensor to a person present in a predetermined direction, which is included in the sensor information transmitted by the range sensor.
  • the first acquisition unit 101 refers to the device information of the distance measuring sensor stored in the memory 11 to grasp the arrangement position of the distance measuring sensor.
  • the first acquisition unit 101 acquires, as the location of the user, a position separated by the grasped distance in the predetermined direction from the arrangement position of the distance measuring sensor.
  • step S4 the determination unit 103 determines the position including the location of the notification target person acquired in step S2 and the activity intensity acquired in step S3 in the activity estimation table 113 (FIG. 7).
  • the activity content associated with the intensity of activity that matches is estimated as the activity content of the notification target person.
  • step S5 the determining unit 103 determines the position including the location of the person to be notified acquired in step S2 (FIG. 4) and step S3 (FIG. 4) in the third rule table 116 (FIG. 10). ) is determined as an NG modal if the OKNG information associated with the intensity of activity that matches the activity intensity of the notification target person acquired in step ) is “NG”.
  • step S5 when step S4 (FIG. 4) is omitted, the determination unit 103 performs step S2 (FIG. 11) in the sixth rule table 118 (FIG. 11).
  • the NG modal is determined based on the detailed location and activity intensity of the notification target, or based on the activity content inferred based on the detailed location and activity intensity of the notification target. Therefore, the information can be notified to the notification target person so as not to hinder the activity corresponding to the detailed location and activity intensity of the notification target person.
  • Sensor information related to the notification target may not be stored in the memory 11, for example, when the facility used by the notification target does not have a surveillance camera, radio wave sensor, or beacon sensor. Therefore, the first acquisition unit 101 may acquire the location of the notification target person and the activity intensity of the notification target person at the location received by the input reception system 500 (FIG. 1).
  • This configuration can be realized, for example, as follows.
  • FIG. 12 is a diagram showing an example of the user situation input screen 501.
  • an electrical device hereinafter referred to as an input device
  • a key operation input reception unit 53 displays a user status input screen 501 on the display 50 of the electrical device at any timing after a user logs in to the input device. do.
  • the user situation input screen 501 includes an ID column 510, a location specification column 520, an activity intensity selection column 530, an OK button 540 and a close button 550.
  • the ID column 510 displays the user ID of the user who logged in to the input device.
  • An image 521 showing the floor plan of the facility used by the user is displayed in the location designation field 520 .
  • the input device displays a predetermined mark 522 at that position.
  • a radio button 531 is displayed in the activity intensity selection field 530 for alternatively selecting the user's activity intensity at the location designated in the location designation field 520 .
  • the OK button 540 is a button for accepting information input on the user status input screen 501 .
  • a close button 550 is a button for closing the user situation input screen 501 .
  • An arbitrary position on the image 521 displayed in the location designation field 520 is designated using the touch panel device or the mouse that constitutes the key operation input reception unit 53, and radio buttons 531 displayed in the activity intensity selection field 530 are designated. is selected, and then the OK button 540 is pressed.
  • the key operation input reception unit 53 receives the user ID displayed in the ID column 510, information indicating the position where the mark 522 is displayed, and the activity intensity corresponding to the selected radio button, and notifies them of the information.
  • Send to device 100 For example, in FIG. 12, when the OK button 540 is pressed, the key operation input receiving unit 53 receives the user ID "JP00001", the information indicating the position of the mark 522, and the activity intensity "high". An example of transmission to the notification device 100 is shown.
  • the reception unit 106 receives the user ID, the information indicating the position where the mark 522 is displayed, and the activity intensity corresponding to the selected radio button, which are transmitted by the input device.
  • the receiving unit 106 associates the received user ID, the information indicating the position where the mark 522 is displayed, and the activity intensity with the current date and time and stores them in the memory 11 .
  • step S2 the first acquisition unit 101 determines whether the user ID included in the notification request information 111 and within a predetermined time range (for example, 30 minutes) from the execution date and time of step S2. Also, the information indicating the position where the mark 522 is displayed, which is associated with the current date and time indicating the most recent date and time, is acquired from the memory 11 . The first acquisition unit 101 acquires the position where the mark 522 is displayed as the location of the person to be notified.
  • a predetermined time range for example, 30 minutes
  • step S3 the second acquisition unit 102 obtains the user ID included in the notification request information 111 received in step S1 (FIG. 4) and the predetermined time range (for example, , 30 minutes) and the activity intensity associated with the current date and time indicating the most recent date and time.
  • the second acquisition unit 102 acquires the activity intensity as the activity intensity of the person to be notified.
  • the user situation input screen 501 includes an activity content selection column for alternatively selecting an activity content that the user can perform at the location specified in the location specification column 520 instead of the activity intensity selection column 530. good too.
  • the activity content selection column displays radio buttons for alternatively selecting the activity content that the user can perform at the position specified in the location specification column 520 .
  • key operation input reception unit 53 activates a radio button for alternatively selecting the content of activities that the user can perform at the changed position. indicate.
  • the receiving unit 106 receives the user ID, the information indicating the position where the mark 522 is displayed, and the activity content corresponding to the selected radio button, which are transmitted from the input device.
  • the reception unit 106 associates the received user ID, information indicating the position where the mark 522 is displayed, and activity details with the current date and time and stores them in the memory 11 .
  • step S3 (Fig. 4) is omitted.
  • step S4 the determining unit 103 retrieves from the memory 11 the user ID included in the notification request information 111 received in step S1 (FIG. 4) and a predetermined time from the execution date and time of step S2. Acquire information indicating activity details associated with the current date and time indicating the most recent date and time within a range (for example, 30 minutes).
  • the determination unit 103 determines that the location of the notification target person, which is located within a predetermined range from the location of the notification target person acquired in step S2 (FIG. 4), is different from the notification target person. A person may be detected. Then, the determining unit 103 leaks to the other person the modal that hinders the activity of the other person and the information to be notified to the notification target person based on the attribute of the other person or the situation of the other person. At least one modal among the obtained modals may be added as an NG modal.
  • This configuration can be realized, for example, as follows.
  • the determining unit 103 retrieves from the memory 11 detection date and time information indicating a date and time within a predetermined time period from the current date and time, and matching data associated with the user ID included in the notification request information 111. acquires sensor information (hereinafter referred to as first sensor information) including image data including user characteristics indicated by , or information indicating the outline of a person.
  • first sensor information sensor information including image data including user characteristics indicated by , or information indicating the outline of a person.
  • the determination unit 103 retrieves from the memory 11 detection date and time information indicating a date and time within a predetermined time period from the current date and time, and verification data associated with a user ID different from the user ID included in the notification request information 111.
  • Sensor information (hereinafter referred to as second sensor information) including image data including user features or information indicating the outline of a person is acquired.
  • the determination unit 103 refers to the device information about the sensor 400 stored in the memory 11, and determines the distance between the arrangement position of the sensor 400 corresponding to the first sensor information and the arrangement position of the sensor 400 corresponding to the second sensor information. Calculate the distance. If the calculated distance is within the predetermined distance, the determining unit 103 detects that a person other than the person to be notified, who corresponds to the different user ID, exists within a predetermined range from the location of the person to be notified. do.
  • the determining unit 103 refers to the attribute information included in the user information regarding the notification target person and the other person, stored in the memory 11 . Further, the determination unit 103 detects the motion speed of the other person from the image data included in the second sensor information or the information indicating the outline of the person by known image processing and motion analysis processing.
  • the determination unit 103 recognizes that the infant within a predetermined range from the notification target person is sleeping. In this case, the determining unit 103 adds the modals “warning sound” and “voice” that disturb the sleep of the infant as NG modals.
  • the determining unit 103 adds modals “image” and “text” that can leak information to be notified to the notification target person to the other person as NG modals.
  • At least one of the modal that hinders the activity of another person existing within a predetermined range from the notification target person and the modal that can leak information to be notified to the notification target person to the other person is NG.
  • information can be notified to the person to be notified without interfering with the activity of the other person or without leaking the information to be notified to the person to be notified to the other person.
  • the determination unit 103 may acquire the time zone in which the location of the notification target person was acquired in step S2 (FIG. 4).
  • the time period may be a time period in units of one hour, or may be a time period in units of a plurality of hours.
  • the determining unit 103 may add, as an NG modal, a modal that interferes with the person's activity and is associated in advance with the acquired time period.
  • This configuration can be realized, for example, as follows.
  • the memory 11 stores information (hereinafter referred to as NG modal information for each time period) that associates each time period with a modal that hinders a person's activity in each time period. For example, the time period from 1:00 am to 6:00 am is considered to be the time period during which the person is sleeping. For this reason, the memory 11 stores NG modal information for each time period that associates the time period from 1:00 am to 6:00 am with the modal "warning sound" and "speech" that inhibit sleep activity.
  • NG modal information for each time period that associates the time period from 1:00 am to 6:00 am with the modal "warning sound" and "speech" that inhibit sleep activity.
  • step S5 the determining unit 103, if the time period in which the location of the notification target person was acquired in step S2 (FIG. 4) is included in the time period NG modal information, In the NG modal information, the modal associated with the time zone is added as an NG modal.
  • the determination unit 103 determines that the time zone in which the location of the notification target person was acquired in step S2 (FIG. 4) is the time zone from 1:00 am to 6:00 am. In this case, add the modals "Warning Sound” and "Voice” as NG modals.
  • a modal that interferes with a person's activity and that is pre-associated with the time period in which the location of the person to be notified is acquired is added as an NG modal. Therefore, with this configuration, information can be notified to the person to be notified so as not to interfere with the activity of the person during the time when the location of the person to be notified is acquired.
  • the selection unit 104 excludes the modal (fifth modal) that is difficult to attract the attention of the active notification target person from the NG modals determined by the determination unit 103, and provides information to the notification target person. You may make it select the modal used for notification. Then, when the modal excluded from the NG modals is selected as the modal to be used for notification of information to the notification target, the notification unit 105 notifies the notification information by the selected modal with emphasis than usual. You may make it This configuration can be realized, for example, as follows.
  • modals that are difficult to direct the attention of active notification targets are defined as, for example, modals "voice”, "light”, etc., and stored in the memory 11 in advance.
  • the selection unit 104 selects modals that are stored in the memory 11 from the NG modals determined in step S5 (FIG. 4) and that are difficult to attract the attention of active notification recipients. to exclude.
  • step S6 the modal excluded from the NG modals in step S6 (Fig. 4) is selected as the modal to be used for notifying information to the notification target.
  • step S7 the notification unit 105 generates a control command for outputting the notification information with more emphasis than usual by the selected modal.
  • step S7 the notification unit 105 generates a control command for outputting the notification information with a modal "voice" at a sound pressure higher than normal.
  • step S7 the notification unit 105 generates a control command for outputting notification information with a modal "light” with a higher luminous intensity than normal.
  • the receiving unit 106 may receive changes in the contents of the third rule table 116 .
  • This configuration can be realized, for example, as follows.
  • the key operation input reception unit 53 When the key operation input reception unit 53 (FIG. 1) receives input of information requesting to change the contents of the third rule table 116 by the user (hereinafter referred to as change request information), it notifies the change request information. Send to device 100 .
  • the reception unit 106 receives the change request information. Upon receiving the change request information, the receiving unit 106 acquires the third rule table 116 stored in the memory 11 . Accepting unit 106 sends back acquired third rule table 116 to key operation input accepting unit 53 (FIG. 1).
  • the key operation input reception unit 53 displays the third rule table 116 returned from the information notification device 100 on the display provided in the electrical equipment having the key operation input reception unit 53 .
  • the key operation input reception unit 53 transmits the changed third rule table 116 to the information notification device 100. do.
  • the reception unit 106 receives the modification request information and stores the modified third rule table 116 in the memory 11 .
  • the receiving unit 106 may allow the user who requested to change the contents of the third rule table 116 to change only part of the contents of the third rule table 116 .
  • This configuration can be realized, for example, as follows.
  • the key operation input reception unit 53 (FIG. 1) transmits the user ID of the user who has input the change request information to the information notification device 100 together with the change request information.
  • the reception unit 106 acquires the user's location and activity intensity when the user corresponding to the user ID received by the communication circuit 12 together with the change request information is recently notified of the notification information.
  • Receiving unit 106 transmits only the location and activity intensity of the user and OKNG information associated with them, which are included in third rule table 116 acquired from memory 11, to key operation input receiving unit 53 (FIG. 1). Reply.
  • the key operation input reception unit 53 displays a part of the content of the third rule table 116 returned from the information notification device 100 on the display provided in the electrical equipment having the key operation input reception unit 53 .
  • the key operation input receiving unit 53 changes the contents of the part of the third rule table 116 after the change. is transmitted to the information notification device 100 .
  • the reception unit 106 stores the contents of the part of the third rule table 116 after the change in the memory 11.
  • the part of the content of the third rule table 116 is updated.
  • the receiving unit 106 may receive changes in the contents of part or all of the first rule table 114, the fourth rule table 117, and the sixth rule table 118.
  • this configuration it is possible to accept changes in the contents of various rule tables used for determining the first modal. Therefore, this configuration can appropriately determine the first modal by appropriately changing the contents of various rule tables.
  • step S3 the method by which the second acquisition unit 102 acquires the activity intensity of the person to be notified is not limited to the method described in the first embodiment.
  • the second acquisition unit 102 refers to the sensor information transmitted by the monitoring camera and the radio wave sensor stored in the memory 11, detects the posture of the notification target person, and based on the posture of the notification target person, You may make it acquire an activity intensity.
  • the posture of the notification target person includes the posture of the notification target person standing, sitting, or lying down. This configuration can be realized, for example, as follows.
  • the second acquisition unit 102 acquires verification data associated with the user ID included in the notification request information 111 from the memory 11 .
  • the second acquisition unit 102 obtains sensor information including detection date and time information indicating a date and time within a predetermined time (for example, 30 minutes) from the current date and time, among the sensor information transmitted by the monitoring cameras and radio wave sensors stored in the memory 11. See
  • the second acquisition unit 102 acquires image data or outline data including characteristics of the notification target person indicated by the verification data from the sensor information referred to.
  • the second acquisition unit 102 detects the posture of the person to be notified from the image data or the external shape data by known image processing.
  • the memory 11 further pre-stores information indicating the relationship between the posture of the person and the activity intensity of the person (hereinafter referred to as second relationship information).
  • the person is standing, it is presumed that the person is engaged in some kind of activity. If the person is in a sitting posture, it is presumed that the person is performing an activity that uses only the upper body. When a person is in a sleeping posture, it is estimated that the person is relaxing or sleeping without moving the body.
  • the standing posture is associated with "high” indicating that the activity intensity is high.
  • the sitting posture is associated with "middle” indicating that the activity intensity is moderate.
  • the sleeping posture is associated with "low” indicating that the activity intensity is low.
  • the second acquisition unit 102 acquires the activity intensity associated with the detected posture of the notification target person in the second relationship information.
  • the second acquisition unit 102 may use the method of acquiring the activity intensity based on the movement speed of the notification target person described in the first embodiment and the method of acquiring the activity intensity based on the above-described posture of the notification target person.
  • the activity intensity may be acquired by an acquisition method associated in advance with the location of the notification target person acquired by the first acquisition unit 101 .
  • This configuration can be realized, for example, as follows.
  • the method of acquiring the activity intensity based on the motion speed of the notification target person described in the first embodiment will be referred to as a first acquisition method.
  • the method of acquiring the activity intensity based on the posture of the person to be notified is referred to as a second acquisition method.
  • the memory 11 further pre-stores information indicating the relationship between the possible location of a person and the method of obtaining the activity intensity of the person (hereinafter referred to as third relationship information).
  • the person's activity intensity is considered to differ according to the movement speed of the person.
  • the activity intensity of the person is considered to differ according to the posture of the person.
  • the first acquisition method is associated with positions indicating spaces where only limited activities are performed, such as kitchens and workrooms.
  • the second acquisition method is associated with a position indicating a space where multiple activities can be performed, such as a living room.
  • the second acquisition unit 102 acquires the notification target person by the first acquisition method or the second acquisition method associated with the position including the location of the notification target person acquired by the first acquisition unit 101 in the third relationship information. Get the activity intensity of
  • the second acquisition unit 102 may select one of the two acquisition methods, the first acquisition method and the second acquisition method, to determine the posture that the notification target person can take at the location of the notification target person acquired by the first acquisition unit 101.
  • the activity intensity may be acquired by an acquisition method pre-associated with the number. This configuration can be realized, for example, as follows.
  • the memory 11 also pre-stores information indicating the relationship between possible positions of a person and the number of postures that person can take at that position (hereinafter referred to as fourth relationship information).
  • the memory 11 also pre-stores information indicating the relationship between the number of postures that a person can take and the method of obtaining the activity intensity of the person (hereinafter referred to as fifth relationship information).
  • the number of postures that a person can take is: 3 are associated.
  • 2 is associated as the number of possible postures of a person with a position indicating a space such as a bedroom where a person can take two postures such as standing and lying.
  • the position indicating a space where it is difficult for a person to take two or more of the three postures of standing, sitting, and sleeping, such as the kitchen and work room is , is associated with 1 as the number of postures that the person can take.
  • the activity intensity of the person is determined according to the posture of the person. be considered different.
  • the activity intensity of the person may vary depending on the movement speed of the person.
  • the second acquisition method is associated with "2" or "3", the number of postures that a person can take.
  • the first acquisition method is associated with "1”, the number of postures that a person can take.
  • the second acquisition unit 102 acquires the number of possible postures of the person associated with the position including the location of the notification target acquired by the first acquisition unit 101 in the fourth relationship information.
  • the second acquisition unit 102 acquires the activity intensity of the person to be notified by the first acquisition method or the second acquisition method associated with the number of possible postures of the acquired person in the fifth relationship information.
  • the output system 300 may include a plurality of output units of one or more of the sound output unit 31, the light output unit 32, the vibration output unit 33, and the image output unit 34.
  • the notification unit 105 selects one output unit from the plurality of output units by a predetermined method, and controls the output unit to output the notification information.
  • the predetermined method includes, for example, a method of randomly selecting one output section from the plurality of output sections, and a method of giving priority to the plurality of output sections in advance, and Methods for selecting the highest output are included.
  • notification modal a modal used for notification of notification information
  • notification modal an incorrect activity intensity may be obtained in step S3 (FIG. 4), and an inappropriate modal for the person to be notified may be selected as the notification modal.
  • the notification information is notified by the notification modal, the notified person may not be able to grasp the fact that the notification information has been notified or the content of the notification information.
  • processing for determining whether notification of notification information by the notification modal was appropriate may be performed based on the reaction of the person to be notified to the notification of the notification information by the notification modal. good. Then, when it is determined in the propriety determination process that the notification of the notification information by the notification modal is inappropriate, the notification modal may be selected again, and notification of the notification information may be performed by the notification modal.
  • This configuration can be realized, for example, as follows.
  • step S8 the processor 10 executes suitability determination processing.
  • the processor 10 notifies the notification modal when a predetermined waiting time (for example, 5 minutes) has passed since the notification unit 105 notified the notification information via the notification modal in step S8 (FIG. 4). Determine whether or not the notification of information was appropriate.
  • a predetermined waiting time for example, 5 minutes
  • the processor 10 acquires from the memory 11 the verification data associated with the user ID of the person to be notified.
  • the processor 10 selects detection date and time information within a predetermined reaction time (for example, one minute) from the point at which the notification unit 105 notifies the notification information from among the sensor information transmitted by the monitoring camera and the radio wave sensor stored in the memory 11. See included sensor information.
  • the processor 10 acquires, from the sensor information referred to, image data or outline data including the features of the notification target person indicated by the collation data. If the processor 10 can detect from the image data or external shape data that the person to be notified has performed a predetermined reaction motion by known image processing and motion analysis processing, the notification of the notification information by the notification modal is appropriate. determine that there was A reaction action is an action that a person performs when he/she recognizes notified information. For example, reaction actions include turning the face, clapping hands, raising both hands, clenching fists, and the like.
  • the processor 10 fails to acquire the image data or outline data containing the features of the notification target indicated by the verification data from the sensor information referred to, and if the image data or outline data obtained from the acquired image data or outline data is not detected to have performed the reaction operation, it is determined that the notification of the notification information by the notification modal was inappropriate.
  • Sensor 400 also includes a microphone.
  • the microphone may be a built-in microphone in smart speakers, laptops, and the like.
  • the microphone detects sound around the microphone, and transmits sensor information including sound data indicating the detected sound and the installation position of the microphone as detection information to the information notification device 100 .
  • the verification data stored in the memory 11 further includes voice data indicating the user's voice.
  • the processor 10 includes detection date and time information within the reaction time (for example, one minute) from the time when the notification unit 105 notifies the notification information, among the sensor information transmitted by the monitoring camera and the microphone stored in the memory 11. Refers to sensor information.
  • the processor 10 acquires, from the sensor information referred to, image data including the features of the notification target indicated by the verification data or audio data indicating the voice of the notification target indicated by the verification data. If the processor 10 can detect, from the image data or the audio data, that the person to be notified has shown a predetermined reaction emotion by known image processing and audio processing, the notification of the notification information by the notification modal is appropriate. I judge that.
  • a reaction emotion is an emotion that a person shows when recognizing notified information. For example, reactive emotions include happy, angry, sad, surprised, shut up, and the like.
  • the processor 10 fails to acquire, from the sensor information referred to, the image data including the features of the notification target indicated by the verification data and the voice data indicating the voice of the notification target indicated by the verification data, In addition, if it cannot be detected from the acquired image data or voice data that the person to be notified has shown the reaction emotion, it is determined that the notification of the notification information by the notification modal was inappropriate.
  • the processor 10 continues until it is determined in the subsequent propriety determination process that the notification of the notification information by the notification modal was appropriate. (FIG. 4) Repeatedly performing the suitability determination process after performing the subsequent processes. When it is determined in the propriety determination process that the notification of the notification information by the notification modal is appropriate, the processor 10 ends the information notification process shown in FIG.
  • step S6 when the processing after step S2 and the suitability determination processing are repeated, the selection unit 104 has not been selected as a notification modal after the start of the information notification processing shown in FIG. A modal may be selected as a notification modal.
  • the selection unit 104 may select the notification modal based on the initial request information preset by the person to be notified.
  • Initial request information is information indicating a modal that the user desires to use for notification of notification information.
  • the initial request information is input by a user's operation on the user terminal, the information notification device 100, or the like, and is stored in advance in the memory 11 in association with the user's user ID.
  • step S6 the selection unit 104 refers to the initial request information corresponding to the user ID of the person to be notified stored in the memory 11, and selects the modal indicated by the initial request information as the notification modal. good too.
  • the selection unit 104 may select the notification modal based on the state of the part of the person to be notified that can be stimulated by the modal (hereinafter referred to as the related body part). Relevant body parts include eyes, ears and hands. This configuration can be realized, for example, as follows.
  • step S6 the selection unit 104 acquires from the memory 11 the verification data associated with the user ID of the person to be notified.
  • the selection unit 104 selects, from among the sensor information stored in the memory 11, the detection date and time information within the reaction time (for example, one minute) from the time when the notification unit 105 notified the notification information in the latest step S8 (FIG. 4).
  • sensor information including
  • the selection unit 104 acquires image data and outline data including related body parts of the notification target person indicated by the verification data from the referenced sensor information.
  • the processor 10 acquires information (hereinafter referred to as part state information) indicating the state of the relevant body part of the person to be notified from the image data and the external shape data by known image processing and motion analysis processing.
  • the state of the relevant body part includes, for example, eyes closed, eyes covered, ears covered, hands in use, and the like.
  • the memory 11 stores a seventh rule table that associates part state information, one or more modals, and the order of priority for adopting each modal out of the one or more modals.
  • the target person's eyes when the target person's eyes are closed, the target person is more likely to recognize the notification information if it is notified by modal "vibration” or “sound” rather than by modal "light". it is conceivable that.
  • the notification target person's eyes are closed with their hands, it is considered that the notification information is easier to recognize when the notification information is notified by modal "sound” rather than by modal "vibration”. Therefore, in the seventh rule table, the part state information "eyes are closed” indicating that the eyes are closed corresponds to the three modals "sound", “vibration", and "light”.
  • the three modals "sound”, “vibration”, and “light” are associated with priority levels “1", “2", and "3", respectively, and stored.
  • the selection unit 104 refers to the seventh rule table stored in the memory 11, and selects one or more modals corresponding to the part state information acquired from the sensor information.
  • a modal that has not been selected as a notification modal since the start of the information notification process shown in 1 and is associated with the highest priority is selected as a notification modal.
  • step S8 (hereinafter referred to as re-step S8) performed when it is determined that the notification of the notification information by the notification modal is inappropriate in the propriety determination process, the mode of notifying the notification information by the notification modal is You may make it change to the 2nd mode different from the 1st mode when notification information was notified last time using the same modal as the said notification modal.
  • step S8 (FIG. 4) or re-step S8, after the notification information is notified in the first mode "vibrates continuously for 10 seconds" by the notification modal "vibration", in the propriety determination process, the notification modal "vibration" Assume that it is determined that the notification of the notification information was inappropriate. It is also assumed that the modal "vibration" is again selected as the notification modal in re-step S6 performed immediately after the determination.
  • the notification unit 105 sets the notification modal " Notification information may be notified using "vibration".
  • This configuration can be realized, for example, as follows.
  • the memory 11 stores an eighth rule table that associates one or more modals with a plurality of modes of notifying notification information by each modal.
  • the notification unit 105 refers to the eighth rule table in re-step S8 and notifies the previous notification information using the notification modal among the plurality of modes corresponding to the notification modal selected in the latest re-step S6.
  • the notification information is notified in a second mode different from the first mode of the time.
  • the notification unit 105 includes, in the control command generated in step S7 (FIG. 4), a control command instructing notification of notification information in a predetermined initial mode, The control command is transmitted to the output system 300 .
  • the output unit that outputs information modally selected in step S6 outputs the notification information in the initial mode according to the control command.
  • the notification unit 105 includes a control command instructing notification of the notification information in the second mode in the control command generated in the most recent step S7, and transmits the control command to the output system 300. Send.
  • the output unit that outputs information modally selected in step S6 again outputs the notification information in the second mode according to the control command.
  • the notification information is notified to the person to be notified by the notification modal
  • the information indicating the result of the suitability determination process (hereinafter referred to as judgment result information) may be recorded in the memory 11 each time the suitability determination process is performed. good.
  • the notification modal used for notification of the notification information to the notification target person may be reselected.
  • This configuration can be realized, for example, as follows.
  • the processor 10 stores determination result information indicating the result of the suitability determination process in the memory 11 every time it executes the suitability determination process.
  • the determination result information includes the user ID of the person to be notified, the modal for the propriety determination process, and information indicating whether or not the notification of the notification information was determined to be appropriate in the propriety determination process.
  • the modal subject to the suitability determination process is the notification modal used to notify the notification target person of the notification information in step S8 (FIG. 4) immediately before the suitability determination process.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Telephonic Communication Services (AREA)
  • Alarm Systems (AREA)

Abstract

人間の五感の少なくとも一つを刺激するモーダルによって情報を通知する情報通知方法であって、コンピュータが、通知対象者の所在位置を取得し、前記所在位置における前記通知対象者の活動強度を取得し、前記通知対象者への情報の通知に利用可能なモーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第1モーダルを決定し、前記モーダル群に含まれる前記第1モーダルとは異なるモーダルの中から、前記通知対象者への情報の通知に用いる第2モーダルを選択し、前記第2モーダルによって前記通知対象者に情報を通知する。

Description

情報通知方法、情報通知装置及びプログラム
 本開示は、ユーザに情報を通知する技術に関するものである。
 従来から、ユーザの携帯端末、ユーザが居住する住宅に設けられたホームコントローラ及び電気機器が備えるディスプレイ及びスピーカーによって、当該ユーザに各種の情報を通知する技術が知られている。例えば、特許文献1には、ユーザの状態と通知する情報の性質とに基づいて、情報を通知する方法を決定することが開示されている。
 しかし、特許文献1の技術は、段落〔0104〕に記載のように、一般的に、触覚的な通知手段よりも聴覚的な通知手段、聴覚的な通知手段よりも視覚的な通知手段の方がよりユーザの注意を喚起することができるという思想に基づいており、ユーザの活動を阻害せずに情報を通知することは考慮されていない。
国際公開第2015/198783号
 本開示は、上記課題を解決するためになされたものであり、ユーザの活動を阻害せずに、ユーザに情報を通知することができる情報通知方法、情報通知装置及びプログラムを提示することを目的とする。
 本開示の一態様に係る情報通知方法は、人間の五感の少なくとも一つを刺激するモーダルによって情報を通知する情報通知方法であって、コンピュータが、通知対象者の所在位置を取得し、前記所在位置における前記通知対象者の活動強度を取得し、前記通知対象者への情報の通知に利用可能なモーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第1モーダルを決定し、前記モーダル群に含まれる前記第1モーダルとは異なるモーダルの中から、前記通知対象者への情報の通知に用いる第2モーダルを選択し、前記第2モーダルによって前記通知対象者に情報を通知する。
本開示の実施の形態に係る情報通知システムの全体構成の一例を示す図である。 出力システムの各出力部による情報の出力例を示す図である。 情報通知装置の構成の一例を示すブロック図である。 情報通知装置における情報の通知処理の一例を示すフローチャートである。 通知要求情報の一例を示す図である。 ユーザ状況情報の一例を示す図である。 活動推定テーブルの一例を示す図である。 第1ルールテーブルの一例を示す図である。 第2ルールテーブルの一例を示す図である。 第3ルールテーブルの一例を示す図である。 第4ルールテーブル及び第6ルールテーブルの一例を示す図である。 ユーザ状況入力画面の一例を示す図である。
 (本開示に至る経緯)
 上記のように、従来から、ユーザの携帯端末、ユーザが居住する住宅に設けられたホームコントローラ及び電気機器が備えるディスプレイ及びスピーカーによって、当該ユーザに各種の情報を通知する技術が知られている。
 例えば、特許文献1には、触覚的な通知手段よりも聴覚的な通知手段、聴覚的な通知手段よりも視覚的な通知手段の方が、よりユーザの注意を喚起することができるという思想に基づいて、ユーザの注意を喚起することができる通知方法が開示されている。このため、特許文献1の技術では、ユーザの注意が通知された情報に向けられ、ユーザの活動が阻害される虞がある。
 例えば、ユーザがキッチンで料理をしている場合に、ユーザの注意が通知された情報に向けられると、ユーザが火傷及び怪我をする虞がある。また、ユーザがリビングルームでくつろいでいる場合に、リビングルームから離れた場所にあるホームコントローラによって情報が通知されると、ユーザは、情報の内容を把握するために移動することが煩わしいと感じる虞がある。
 そこで、本発明者は、ユーザの活動を阻害しないように情報を通知する技術について鋭意検討し、以下に示す本開示の各態様に相当するに至った。
 (1)本開示の一態様に係る情報通知方法は、人間の五感の少なくとも一つを刺激するモーダルによって情報を通知する情報通知方法であって、コンピュータが、通知対象者の所在位置を取得し、前記所在位置における前記通知対象者の活動強度を取得し、前記通知対象者への情報の通知に利用可能なモーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第1モーダルを決定し、前記モーダル群に含まれる前記第1モーダルとは異なるモーダルの中から、前記通知対象者への情報の通知に用いる第2モーダルを選択し、前記第2モーダルによって前記通知対象者に情報を通知する。
 本構成によれば、通知対象者への情報の通知に利用可能なモーダル群のうち、通知対象者の活動を阻害する第1モーダルとは異なる第2モーダルによって、通知対象者に情報が通知される。このため、本構成は、通知対象者の活動を阻害せずに、通知対象者に情報を通知することができる。
 (2)上記(1)に記載の情報通知方法において、前記第1モーダルの決定では、前記所在位置及び前記活動強度に基づいて前記通知対象者の活動内容を推定し、前記活動内容に基づいて前記第1モーダルを決定してもよい。
 本構成によれば、通知対象者の所在位置及び活動強度に基づいて推定された通知対象者の活動内容に基づいて第1モーダルが決定される。このため、本構成は、当該活動内容が示す活動を阻害しないように、通知対象者に情報を通知することができる。
 (3)上記(1)又は(2)に記載の情報通知方法において、更に、前記所在位置から所定範囲内に存在する、前記通知対象者とは他の人物を検出し、更に、前記他の人物の属性又は前記他の人物の状況に基づいて、前記他の人物の活動を阻害するモーダル及び前記通知対象者に通知する情報を前記他の人物に漏洩し得るモーダルのうち少なくとも一方を、前記第1モーダルとして追加してもよい。
 本構成によれば、前記他の人物の活動を阻害するモーダル及び通知対象者に通知する情報を前記他の人物に漏洩し得るモーダルのうち少なくとも一方が、第1モーダルとして追加される。このため、本構成は、前記他の人物の活動を阻害しないように又は通知対象者に通知する情報が前記他の人物に漏洩しないように、通知対象者に情報を通知することができる。
 (4)上記(1)から(3)の何れか一つに記載の情報通知方法において、更に、前記所在位置を取得した時間帯を取得し、更に、前記時間帯に予め対応付けられた、人物の活動を阻害するモーダルを、前記第1モーダルとして追加してもよい。
 本構成によれば、前記通知対象者の所在位置を取得した時間帯に予め対応付けられた、人物の活動を阻害するモーダルが、第1モーダルとして追加される。このため、本構成は、通知対象者の所在位置を取得した時間帯における人物の活動を阻害しないように、通知対象者に情報を通知することができる。
 (5)上記(1)に記載の情報通知方法において、前記第1モーダルの決定では、前記通知対象者が存在し得る位置と、前記位置における前記通知対象者の活動の強度と、前記モーダル群に含まれる各モーダルが前記通知対象者の活動を阻害するか否かを示す可否情報と、を対応付けたテーブルにおいて、前記所在位置と一致する前記位置と、前記活動強度と一致する前記活動の強度と、に対応付けられた前記可否情報が、前記通知対象者の活動を阻害することを示すモーダルを、前記第1モーダルとして決定し、更に、前記テーブルの内容の変更を受け付けてもよい。
 本構成によれば、第1モーダルの決定に用いる前記テーブルの内容の変更を受け付けることができる。このため、本構成は、前記テーブルの内容を適切に変更することで、第1モーダルを適切に決定することができる。
 (6)上記(1)から(5)の何れか一つに記載の情報通知方法において、前記第2モーダルの選択では、前記モーダル群に含まれる前記第1モーダルとは異なるモーダルのうち、前記所在位置又は前記所在位置よりも遠くの位置まで情報を通知可能な第3モーダルを、前記第2モーダルとして選択してもよい。
 本構成によれば、通知対象者の所在位置又は当該所在位置よりも遠くの位置まで情報を通知可能な第3モーダルによって、当該所在位置に存在する通知対象者に確実に情報を通知することができる。
 (7)上記(6)に記載の情報通知方法において、前記モーダル群に含まれる各モーダルには、第1の優先順位が設定されており、前記第2モーダルの選択では、前記第3モーダルが複数のモーダルである場合、前記第3モーダルの中で最も高い前記第1の優先順位が設定されたモーダルを、前記第2モーダルとして選択してもよい。
 本構成によれば、第3モーダルよりも第1の優先順位が低いモーダルによって情報が通知されることに対し、通知対象者が煩わしさを感じることを解消することができる。
 (8)上記(1)から(7)の何れか一つに記載の情報通知方法において、更に、前記モーダル群に含まれる前記第1モーダルとは異なるモーダルのうち、前記所在位置又は前記所在位置よりも遠くの位置まで情報を通知可能な第4モーダルによって、前記通知対象者に、情報の通知があることを通知してもよい。
 本構成によれば、通知対象者の所在位置又は当該所在位置よりも遠くの位置まで情報を通知可能な第4モーダルによって、当該所在位置に存在する通知対象者に、情報の通知があることを確実に通知することができる。
 (9)上記(8)に記載の情報通知方法において、前記モーダル群に含まれる各モーダルには、第2の優先順位が設定されており、前記第4モーダルが複数のモーダルである場合、前記第4モーダルの中で最も高い前記第2の優先順位が設定されたモーダルによって、前記通知対象者に、情報の通知があることを通知してもよい。
 本構成によれば、第4モーダルよりも第2の優先順位が低いモーダルによって情報の通知があることが通知されることに対し、通知対象者が煩わしさを感じることを解消することができる。
 (10)上記(1)から(9)の何れか一つに記載の情報通知方法において、更に、前記第1モーダルから、活動中の前記通知対象者の注意を向けることが困難な第5モーダルを除外し、前記第5モーダルを前記第2モーダルとして選択した場合、前記第5モーダルによって、通常時よりも強調して、前記通知対象者に情報を通知してもよい。
 本構成によれば、通知対象者に注意を向けることが困難な、通知対象者の活動を阻害する第5モーダルによって、通常時よりも強調して、通知対象者に情報を通知することができる。このため、通知対象者は、第5モーダルによって通常通りに情報が通知される場合よりも、通知される情報に注意を向けることなく、容易に通知された情報を把握することができる。これにより、通知対象者の活動が阻害される可能性を軽減することができる。
 (11)上記(1)から(10)の何れか一つに記載の情報通知方法において、更に、前記通知対象者による情報の入力に利用可能な入力モーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第6モーダルを決定し、更に、前記入力モーダル群に含まれる前記第6モーダルとは異なるモーダルの中から、前記通知対象者による情報の入力に用いる第7モーダルを選択し、前記第2モーダルによる情報の通知では、更に、前記第7モーダルによる情報の入力が可能であることを通知してもよい。
 本構成によれば、通知対象者の活動を阻害する第6モーダルとは異なる第7モーダルによる情報の入力が可能であることが通知対象者に通知される。このため、通知対象者は、第7モーダルによって活動を阻害されずに情報を入力することができる。
 (12)上記(1)から(11)の何れか一つに記載の情報通知方法において、前記所在位置の取得では、センサを用いて前記センサが配置された空間に前記通知対象者が存在するか否かを検出し、前記通知対象者が存在することを検出したセンサが配置されている空間を、前記所在位置として取得してもよい。
 本構成によれば、センサを用いて通知対象者の所在位置を自動的に取得することができる。
 (13)上記(1)から(11)の何れか一つに記載の情報通知方法において、更に、前記所在位置の入力を受け付け、前記所在位置の取得では、受け付けた前記所在位置を取得してもよい。
 本構成によれば、通知対象者の所在位置を入力することができる。
 (14)上記(1)から(13)の何れか一つに記載の情報通知方法において、前記活動強度の取得では、センサを用いて前記センサが配置された空間に存在する前記通知対象者の動作速度を検出し、前記通知対象者の動作速度に基づいて、前記活動強度を取得してもよい。
 本構成によれば、センサを用いて検出した通知対象者の動作速度に基づいて、通知対象者の活動強度を自動的に取得することができる。
 (15)上記(1)から(13)の何れか一つに記載の情報通知方法において、前記活動強度の取得では、センサを用いて前記センサが配置された空間に存在する前記通知対象者の姿勢を検出し、前記通知対象者の姿勢に基づいて、前記活動強度を取得してもよい。
 本構成によれば、センサを用いて検出した通知対象者の姿勢に基づいて、通知対象者の活動強度を自動的に取得することができる。
 (16)上記(1)から(13)の何れか一つに記載の情報通知方法において、前記活動強度の取得では、センサを用いて前記通知対象者の動作速度を検出し、検出した前記通知対象者の動作速度に基づいて前記活動強度を取得する方法と、センサを用いて前記通知対象者の姿勢を検出し、検出した前記活動強度を取得する方法と、の二つの取得方法のうち、前記所在位置に予め対応付けられた取得方法によって前記活動強度を取得してもよい。
 本構成によれば、センサを用いて検出した通知対象者の動作速度又は姿勢に基づいて、通知対象者の所在位置に適した通知対象者の活動強度を自動的に取得することができる。
 (17)上記(1)から(13)の何れか一つに記載の情報通知方法において、前記活動強度の取得では、センサを用いて前記通知対象者の動作速度を検出し、検出した前記通知対象者の動作速度に基づいて前記活動強度を取得する方法と、センサを用いて前記通知対象者の姿勢を検出し、検出した前記活動強度を取得する方法と、の二つの取得方法のうち、前記所在位置において前記通知対象者が取り得る姿勢の数に予め対応付けられた取得方法によって前記活動強度を取得してもよい。
 本構成によれば、センサを用いて検出した通知対象者の動作速度又は姿勢に基づいて、通知対象者の所在位置において通知対象者が取り得る姿勢の数に適した通知対象者の活動強度を自動的に取得することができる。
 (18)上記(1)から(13)の何れか一つに記載の情報通知方法において、更に、前記活動強度の入力を受け付け、前記活動強度の取得では、受け付けた前記活動強度を取得してもよい。
 本構成によれば、前記所在位置における通知対象者の活動強度を入力することができる。
 (19)本開示の別の一態様に係る情報通知装置は、人間の五感の少なくとも一つを刺激するモーダルによって情報を通知する情報通知装置であって、通知対象者の所在位置を取得する第1取得部と、前記所在位置における前記通知対象者の活動強度を取得する第2取得部と、前記通知対象者への情報の通知に利用可能なモーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第1モーダルを決定する決定部と、前記モーダル群に含まれる前記第1モーダルとは異なるモーダルの中から、前記通知対象者への情報の通知に用いる第2モーダルを選択する選択部と、前記第2モーダルによって前記通知対象者に情報を通知する通知部と、を備える。
 本構成によれば、上記情報通知方法と同様の作用効果が得られる。
 (20)本開示の別の一態様に係るプログラムは、人間の五感の少なくとも一つを刺激するモーダルによって情報を通知する情報通知装置のコンピュータを機能させるプログラムであって、前記コンピュータを、通知対象者の所在位置を取得する第1取得部と、前記所在位置における前記通知対象者の活動強度を取得する第2取得部と、前記通知対象者への情報の通知に利用可能なモーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第1モーダルを決定する決定部と、前記モーダル群に含まれる前記第1モーダルとは異なるモーダルの中から、前記通知対象者への情報の通知に用いる第2モーダルを選択する選択部と、前記第2モーダルによって前記通知対象者に情報を通知する通知部、として機能させる。
 本構成によれば、上記情報通知方法と同様の作用効果が得られる。
 本開示は、このようなプログラムによって動作するシステムとして実現することもできる。また、このようなコンピュータプログラムを、CD-ROM等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
 尚、以下で説明する実施の形態は、何れも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
 (第1の実施の形態)
 以下、本開示の実施の形態について、図面を参照しながら説明する。図1は、本開示の実施の形態に係る情報通知システム1の全体構成の一例を示す図である。情報通知システム1は、センサ400と、出力システム300と、入力受付システム500と、情報通知装置100と、を備えている。
 センサ400と、出力システム300と、入力受付システム500と、情報通知装置100と、はネットワーク900を介して互いに通信可能に接続されている。ネットワーク900は、例えば、インターネット等の公衆通信回線である。尚、ネットワーク900は、ローカルエリアネットワークであってもよい。
 センサ400は、情報通知システム1のユーザが利用する施設内の空間に配置されている。センサ400、入力受付システム500及び出力システム300は、施設内のローカルネットワークを介して通信可能に接続されていてもよい。
 施設は、例えば住宅である。住宅は、集合住宅であってもよいし、一軒家であってもよい。又は、施設は、オフィスであってもよい。施設が住宅である場合、ユーザは、居住者である。空間は、例えば、リビング、ダイニング、キッチン、LDK(リビングダイニングキッチン)、洋室、和室、廊下、トイレ、玄関、及び風呂等である。尚、LDKとは、リビング、ダイニング及びキッチンを兼ね備えた空間である。施設がオフィスの場合、ユーザは、オフィスの利用者である。空間は、例えば、執務室、会議室、給湯室、応接室、ロビー、廊下及びトイレ等である。
 センサ400は、定期的に、当該センサ400が設けられた空間に関する情報を検出する。センサ400は、当該センサ400の識別情報、検出した情報(以降、検出情報)及び当該情報を検出した日時を示す情報(以降、検出日時情報)を含む情報(以降、センサ情報)を、情報通知装置100に送信する。センサ400には、監視カメラ、測距センサ、電波センサ及びビーコンセンサが含まれる。
 監視カメラは、当該監視カメラが配置された空間の画像を撮影し、撮影した画像を示す画像データを検出情報として含むセンサ情報を送信する。測距センサは、例えば、赤外線等の光線、電波又は超音波によって、当該測距センサから所定方向に存在する人物までの距離を検出し、検出した距離を検出情報として含むセンサ情報を送信する。
 電波センサは、電波の強度によって空間に存在する人物の外形を検出するとともに、当該電波センサの配置位置を基準としたときの当該人物の相対位置を検出する。電波センサは、検出した当該人物の外形を示すデータ(以降、外形データ)及び当該人物の相対位置を検出情報として含むセンサ情報を送信する。
 ビーコンセンサは、当該ビーコンセンサから所定距離内に存在する人物の識別情報及び当該ビーコンセンサの配置位置を基準としたときの当該人物の相対位置を検出する。具体的には、ビーコンセンサは、当該ビーコンセンサから所定距離内に存在する人物が携帯する携帯端末から発信されたビーコン信号を受信可能に構成されている。ビーコンセンサは、当該ビーコン信号を受信した場合に、当該ビーコン信号に含まれる、当該人物の識別情報及び当該ビーコンセンサの配置位置を基準としたときの当該携帯端末の相対位置を取得する。ビーコンセンサは、当該人物の識別情報及び当該携帯端末の相対位置を検出情報として含むセンサ情報を送信する。
 出力システム300は、情報通知装置100の指示に従い、人間の五感の少なくとも一つを刺激するモーダルによって種々の情報を出力する。当該モーダルには、聴覚を刺激する警告音及び音声、視覚を刺激する光、触覚を刺激する振動、並びに視覚を刺激する画像及び文字等が含まれる。出力システム300は、音出力部31、光出力部32、振動出力部33及び画像出力部34の5個の出力部を含む。図2は、出力システム300の各出力部による情報の出力例を示す図である。
 音出力部31は、例えば、スマートスピーカー、室内の天井若しくは側壁等に配置されたスピーカー又は電気機器が備えるスピーカーによって構成される。当該電気機器には、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ及びホームコントローラが含まれる。図2に示すように、音出力部31は、情報通知装置100から指示された警告音311を出力する。警告音311には、人間の声よりも一定以上高い周波数のビープ音又は電子音が含まれる。また、音出力部31は、情報通知装置100から指示された音声312を出力する。
 光出力部32は、例えば、室内の天井若しくは側壁等に配置された照明器具又は電気機器が備えるライトによって構成される。当該電気機器には、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ及びホームコントローラが含まれる。図2に示すように、光出力部32は、情報通知装置100から指示された色の光を出力する。また、光出力部32は、情報通知装置100から指示された時間間隔で点滅する光を出力する。
 振動出力部33は、例えば、スマートフォン又はタブレット端末等の電気機器が備えるバイブレーターによって構成される。図2に示すように、振動出力部33は、情報通知装置100から指示された振動パターンで、振動出力部33を備える電気機器を振動させる。
 画像出力部34は、例えば、電気機器が備えるディスプレイ又はテレビによって構成される。当該電気機器には、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ及びホームコントローラが含まれる。図2に示すように、画像出力部34は、情報通知装置100から指示された静止画又は動画341を表示する。また、画像出力部34は、情報通知装置100から指示された文字画像(テキスト)342を表示する。
 尚、音出力部31、光出力部32、振動出力部33及び画像出力部34のうちの二以上の出力部が同一の電気機器に備えられてもよいし、音出力部31、光出力部32、振動出力部33及び画像出力部34のそれぞれが互いに異なる電気機器に個別に備えられてもよい。
 入力受付システム500は、人間の五感の少なくとも一つを刺激するモーダルによって入力された情報を受け付け、受け付けた情報を情報通知装置100に送信する。当該モーダルには、聴覚を刺激する音声、視覚を刺激するジェスチャ及び触覚を刺激するキー操作等が含まれる。入力受付システム500は、音入力受付部51、ジェスチャ入力受付部52、及びキー操作入力受付部53の3個の入力受付部を含む。
 音入力受付部51は、例えば、電気機器が備えるマイクによって構成される。当該電気機器には、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ及びホームコントローラが含まれる。音入力受付部51は、ユーザの発話を示す音声を収音し、収音した音声から認識した情報を受け付ける。
 ジェスチャ入力受付部52は、例えば、室内の天井若しくは側壁等に配置された監視カメラ又は電気機器が備えるカメラによって構成される。当該電気機器には、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ及びホームコントローラが含まれる。ジェスチャ入力受付部52は、当該ジェスチャ入力受付部52の近傍の所定範囲を撮影し、撮影した画像に、予め定められたジェスチャの画像が含まれているか否かを検出する。ジェスチャ入力受付部52は、前記撮影した画像に予め定められたジェスチャの画像が含まれていることを検出した場合に、当該ジェスチャに対応付けられた情報を受け付ける。
 キー操作入力受付部53は、例えば、電気機器が備えるハードキー、タッチパネル装置、又は、パーソナルコンピュータが備えるキーボード及びマウスによって構成される。当該電気機器には、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ及びホームコントローラが含まれる。キー操作入力受付部53は、タッチパネル装置、キーボード及びマウスの少なくとも一つを用いてソフトキーが操作されると、当該ソフトキーに対応付けられた情報を受け付ける。キー操作入力受付部53は、ハードキーが操作されると、当該ハードキーに対応付けられた情報を受け付ける。キー操作入力受付部53は、キーボードが操作されると、操作されたキーに対応付けられた情報を受け付ける。
 尚、音入力受付部51、ジェスチャ入力受付部52、及びキー操作入力受付部53のうちの二以上の入力受付部が同一の電気機器に備えられてもよいし、音入力受付部51、ジェスチャ入力受付部52、及びキー操作入力受付部53のそれぞれが互いに異なる電気機器に個別に備えられてもよい。
 また、入力受付システム500に含まれる各入力受付部を構成する機器は、センサ400として兼用されてもよい。
 情報通知装置100は、クラウドサーバ、施設内のエッジサーバ、パソコン等で構成されている。図3は、情報通知装置100の構成の一例を示すブロック図である。図3に示すように、情報通知装置100は、通信回路12、プロセッサ10(コンピュータ)及びメモリ11を備えている。
 通信回路12は、Ethernet(登録商標)等のネットワーク900を用いた通信方式に対応した通信回路であり、情報通知装置100をネットワーク900に接続する。
 通信回路12は、ネットワーク900を介して受信した各種の情報をプロセッサ10に出力する。例えば、通信回路12は、センサ400からネットワーク900を介してセンサ情報を受信し、受信したセンサ情報をプロセッサ10に出力する。通信回路12は、入力受付システム500からネットワーク900を介して、ユーザによって入力された情報を受信し、受信した情報をプロセッサ10に出力する。また、通信回路12は、プロセッサ10による制御の下、ネットワーク900に接続された外部装置に、ネットワーク900を介して各種の情報を送信する。
 プロセッサ10は、例えば、CPU(Central Processing Unit)によって構成されている。プロセッサ10は、第1取得部101、第2取得部102、決定部103、選択部104、通知部105及び受付部106を含む。第1取得部101~受付部106は、プロセッサ10が所定のプログラムを実行することで実現されてもよいし、専用のハードウェア回路で構成されてもよい。受付部106は、通信回路12が入力受付システム500から受信した情報を受け付ける。第1取得部101~通知部105の詳細については後述する。
 メモリ11は、フラッシュメモリ等の不揮発性の書き換え可能な半導体メモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)等により構成されている。
 メモリ11には、通信回路12がセンサ400から受信したセンサ情報がプロセッサ10によって記憶される。また、メモリ11には、プロセッサ10が行う処理の実行に必要な種々の情報が記憶されている。
 例えば、メモリ11には、施設の間取りに関する情報(以降、間取り情報)が記憶されている。間取り情報には、施設内の各空間の形状及び位置を示す情報等が含まれる。
 メモリ11には、センサ400、入力受付システム500及び出力システム300を構成する機器に関する情報(以降、機器情報)が記憶されている。
 センサ400に関する機器情報には、当該センサ400の配置位置を示す情報及び当該センサ400の識別情報等が含まれる。
 入力受付システム500に関する機器情報には、音入力受付部51、ジェスチャ入力受付部52及びキー操作入力受付部53のそれぞれを構成する機器の識別情報、当該機器の配置位置を示す情報等が含まれる。
 出力システム300に関する機器情報には、音出力部31、光出力部32、振動出力部33及び画像出力部34のそれぞれを構成する機器の識別情報、当該機器の配置位置を示す情報及び当該機器に制御コマンドを送信するときの宛先を示すアドレス等が含まれる。
 メモリ11には、施設の複数のユーザのそれぞれに関する情報(以降、ユーザ情報)が記憶されている。ユーザ情報には、ユーザの識別情報(以降、ユーザID)及び当該ユーザの属性を示す情報(以降、属性情報)が含まれる。ユーザの属性情報には、当該ユーザの年齢及び性別が含まれる。また、ユーザの属性情報には、当該ユーザが所属するグループ(例えば、所属部署等)が含まれる。
 メモリ11には、センサ400によって検出されたユーザを認識する等の目的でセンサ情報との照合に用いられる照合用データが、当該ユーザのユーザIDと対応付けて記憶されている。具体的には、照合用データには、ユーザの顔又は全身を撮影した画像を示す画像データ等、ユーザの特徴を示す各種のデータが含まれる。
 メモリ11には、ユーザへの情報の通知に用いるモーダルを決定するための種々のルールを定めた種々のルールテーブルが記憶されている。当該種々のルールテーブルの詳細については後述する。
 次に、情報通知装置100における情報の通知処理のフローについて説明する。当該説明の中で、第1取得部101~通知部105及びメモリ11に記憶されている種々のルールテーブルの詳細について説明する。図4は、情報通知装置100における情報の通知処理の一例を示すフローチャートである。図5は、通知要求情報111の一例を示す図である。
 (ステップS1、ステップS2)
 図4に示すように、通信回路12が、特定のユーザ(以降、通知対象者)への情報の通知を要求する通知要求情報111(図5)を受信すると(ステップS1でYES)、第1取得部101は、当該通知対象者の所在位置を取得する(ステップS2)。一方、通信回路12が通知要求情報111(図5)を受信していない間(ステップS1でNO)、第1取得部101は、待機状態となる。
 具体的には、図5に示すように、ステップS1で受信される通知要求情報111には、通知対象者への情報の通知が要求された日時、通知対象者のユーザID、及び通知対象者に通知する情報(以降、通知情報)が含まれる。図5は、料理レシピを提供するサービスのサーバ等によって情報通知装置100に送信された通知要求情報111の一例を示している。当該通知要求情報111は、ユーザAに料理情報を通知することが、2021年9月10日の13時に要求されたことを示している。
 ステップS2において、第1取得部101は、先ず、ステップS1で受信した通知要求情報111が示す通知対象者に関するセンサ情報を取得する。
 具体的には、第1取得部101は、通知要求情報111に含まれる通知対象者のユーザIDに対応付けられた照合用データをメモリ11から取得する。第1取得部101は、メモリ11に記憶されている監視カメラ及び電波センサが送信したセンサ情報のうち、現在日時から所定時間(例えば30分)以内の日時を示す検出日時情報と、当該照合用データが示す通知対象者の特徴を含む画像データ又は外形データと、を含んだセンサ情報を取得する。又は、第1取得部101は、メモリ11に記憶されているビーコンセンサが送信したセンサ情報のうち、現在日時から所定時間以内の日時を示す検出日時情報と、ステップS1で受信した通知要求情報111に含まれる通知対象者のユーザIDと、を含んだセンサ情報を取得する。
 次に、第1取得部101は、メモリ11に記憶されているセンサ400に関する機器情報を参照して、上記の取得したセンサ情報に対応するセンサ400の配置位置を把握する。センサ情報に対応するセンサ400とは、当該センサ情報に含まれるセンサ400の識別情報によって識別される、当該センサ情報を送信したセンサ400である。
 そして、第1取得部101は、メモリ11に記憶されている間取り情報を参照して、当該センサ400の配置位置を含む空間を、通知対象者の所在位置として取得する。第1取得部101は、通知対象者の所在位置を取得すると、当該通知対象者の状況を示すユーザ状況情報112(図6)をメモリ11に記憶する。
 図6は、ユーザ状況情報112の一例を示す図である。具体的には、図6に示すように、ユーザ状況情報112には、通知対象者の所在位置を取得した日時と、当該通知対象者のユーザID及び所在位置と、当該所在位置における当該通知対象者の活動強度と、が含まれる。ユーザ状況情報112には、更に、通知対象者への情報の通知に利用可能なモーダル群と、通知対象者の所在位置から、前記モーダル群に含まれる各モーダルによって情報を出力する出力部までの距離(以降、各モーダルによる通知距離)と、が含まれる。
 本開示において、モーダルとは、五感の少なくとも1つを刺激するユーザーインターフェイス(User Interface;以降、UI)を示す。つまり、このUIは、情報の入出力装置と人との接触面を示し、五感の少なくとも1つを通じて、入出力装置と人とが情報を相互にやり取りする機能(手段)を備える。前記機能(手段)の例には、以下のものが挙げられる。
 ・情報を、五感の少なくとも1つに刺激を与える、音、音声、光、振動、画像、テキスト、又は映像などに変換する。
 ・五感の少なくとも1つに刺激を与える、音、音声、光、振動、画像、テキスト、又は映像などを用いて情報を通知する。
 ・情報の内容に応じて、五感の少なくとも1つに刺激を与える、音、音声、光、振動、画像、テキスト、又は映像などの強度(音量、光量、振動量、画像サイズ、テキストサイズ、又は映像サイズなど)を変化させる。
 ・五感の少なくとも1つに刺激を与える、音、音声、ジェスチャ操作、タッチ操作(振動)などによって情報を入力する。
 ・情報の入出力に用いる、五感の少なくとも1つに刺激を与えるもの(音、音声、光、振動、画像、テキスト、又は映像など)の組み合わせ及び/又は強度を情報の内容に応じて変化させる。
 第1取得部101は、通知対象者の活動強度以外の情報を記憶する。尚、第1取得部101は、メモリ11に記憶されている間取り情報と出力システム300に関する機器情報を参照して、通知対象者の所在位置として取得された空間の所定位置から、各モーダルによって情報を出力する出力部までの距離を、各モーダルによる通知距離として記憶する。空間の所定位置とは、例えば、当該空間の出入口等である。
 例えば、図6は、第1取得部101が、通知対象者の所在位置を取得した日時「2021/9/10 13:00」と、当該通知対象者のユーザID「ユーザA」及び所在位置「キッチン」と、当該所在位置「キッチン」から、モーダル「警告音」によって情報を出力する音出力部31までの距離(通知距離)「2m」と、を記憶した例を示している。
 (ステップS3)
 次に、第2取得部102は、ステップS2で取得された通知対象者の所在位置における通知対象者の活動強度を取得する。通知対象者の活動強度とは、通知対象者の活動の強さを示す情報であり、例えば、通知者の運動量から推測することができる。具体的には、通知対象者が現在の活動に消費するエネルギーが、安静時に消費するエネルギーの何倍に相当するかを、通知対象者の活動強度として取得することができる。
 尚、本開示における通知対象者の活動強度は、上記に限定されるものではない。例えば、通知対象者の身体的な状態から推測できる活動の強さを、通知対象者の活動強度としてもよい。具体的には、通知対象者が立っている場合、活動強度が高いとし、通知対象者が座っている場合、活動強度が中程度であるとし、通知対象者が寝ている場合、活動強度が低いとしてもよい。
 又は、通知対象者の集中度から推測できる活動の強さを、通知対象者の活動強度としてもよい。通知対象者の集中度は、例えば、通知対象者の顔の表情、顔の向き、体動及び/又は目の動きなどを検出し、当該検出結果に基づいて算出することができる。又は、通知者対象者が過去に行った行動の履歴を示すデータに基づいて、時間帯ごとの通知対象者の行動を予測してもよい。そして、当該予測した各時間帯の行動の内容から推測できる活動の強さを、各時間帯における通知対象者の活動強度としてもよい。
 尚、通知対象者の活動強度は、一の取得方法で取得したものであっても良いし、複数の取得方法で取得した複数の活動強度を組み合わせたものであっても良い。
 具体的には、ステップS3において、第2取得部102は、メモリ11に記憶されている監視カメラ及び電波センサが送信したセンサ情報を参照して、通知対象者の動作速度を検出する。通知対象者の動作速度とは、通知対象者の体全体の動作速度、つまり、通知対象者が移動する速度(以降、移動速度)、又は、体の特定の部位(例えば手)を動作させる速度(以降、部位の動作速度)である。第2取得部102は、当該通知対象者の動作速度に基づいて、当該通知対象者の活動強度を取得する。
 以下、ステップS3の詳細について説明する。第2取得部102は、通知要求情報111に含まれるユーザIDに対応付けられた照合用データをメモリ11から取得する。第2取得部102は、メモリ11に記憶されている監視カメラ及び電波センサが送信したセンサ情報のうち、現在日時から所定時間(例えば30分)以内の日時を示す検出日時情報を含んだセンサ情報を参照する。第2取得部102は、参照したセンサ情報から、前記照合用データが示す通知対象者の特徴を含む画像データ又は外形データを取得する。第2取得部102は、公知の画像処理及び動作解析処理によって、当該画像データ又は外形データから通知対象者の動作速度を検出する。
 メモリ11には、更に、人物の動作速度と、当該動作速度が当該人物の体全体又はどの部位を動作させる速度であるかを示す情報と、当該人物の活動強度と、の関係を示す情報(以降、第1関係情報)が予め記憶されている。第1関係情報は、人物の動作速度が速い程、当該人物の活動強度が高くなるように定められている。
 例えば、人物の移動速度が0.8m/秒以上の場合、当該人物は、何等かの活動を実施するために急いで移動していると推定される。また、人物の手の動作速度が20mm/秒以上の場合、当該人物は、料理等の手を用いる活動を実施していると推定される。このため、第1関係情報において、0.8m/秒以上の人物の移動速度及び20mm/秒以上の手の動作速度には、活動強度が高いことを示す「高」が対応付けられている。
 第1関係情報において、0.4m/秒以上0.8m/秒未満の人物の移動速度及び10mm/秒以上20mm/秒未満の手の動作速度には、活動強度が中程度であることを示す「中」が対応付けられている。第1関係情報において、0.4m/秒未満の人物の移動速度及び10mm/秒未満の手の動作速度には、活動強度が低いことを示す「低」が対応付けられている。
 第2取得部102は、第1関係情報において上記の検出した通知対象者の動作速度に対応付けられている活動強度を取得する。第2取得部102は、取得した通知対象者の活動強度を、ステップS2でメモリ11に記憶されたユーザ状況情報112(図6)に追記する。例えば、図6は、第2取得部102が、ステップS3で取得した通知対象者の活動強度「高」を、ステップS2で第1取得部101が記憶したユーザ状況情報112に追記した例を示している。
 (ステップS4)
 次に、決定部103は、ステップS2で取得された通知対象者の所在位置及びステップS3で取得された当該通知対象者の活動強度に基づいて、当該通知対象者の活動内容を推定する。
 図7は、活動推定テーブル113の一例を示す図である。具体的には、メモリ11には、通知対象者の活動内容を推定するための活動推定テーブル113が記憶されている。図7に示すように、活動推定テーブル113には、通知対象者が存在し得る位置と、当該位置における当該通知対象者の活動の強度と、当該通知対象者の活動内容と、が対応付けて記憶されている。通知対象者が存在し得る位置における当該通知対象者の活動の強度とは、通知対象者が存在し得る位置における当該通知対象者の活動強度である。
 例えば、図7の活動推定テーブル113では、通知対象者が存在し得る位置「キッチン」と、当該位置「キッチン」における当該通知対象者の活動の強度「高」と、当該通知対象者の活動内容「料理」とが、対応付けられている。これは、通知対象者が「キッチン」に存在する場合に、当該通知対象者の活動強度が「高」であるとき、当該通知対象者の活動内容が「料理」であると推定されることを示している。
 ステップS4では、決定部103は、活動推定テーブル113(図7)において、ステップS2で取得された通知対象者の所在位置と一致する位置及びステップS3で取得された活動強度と一致する活動の強度に対応付けられている活動内容を、当該通知対象者の活動内容として推定する。
 (ステップS5)
 次に、決定部103は、ステップS4で推定された通知対象者の活動内容に基づいて、当該通知対象者の活動を阻害するNGモーダル(第1モーダル)を決定する。
 図8は、第1ルールテーブル114の一例を示す図である。具体的には、図8に示すように、メモリ11には、通知対象者の活動内容に基づいてNGモーダルを決定するための第1ルールテーブル114が記憶されている。尚、図8には、説明の便宜上、通知対象者の活動内容を推定するために用いた活動推定テーブル113(図7)と第1ルールテーブル114とを合成したテーブルを示している。
 第1ルールテーブル114は、通知対象者の活動内容と、当該通知対象者への情報の通知に利用可能なモーダル群に含まれる各モーダルがOKモーダルであるかNGモーダルであるかを示す情報(以降、OKNGフラグ)と、を対応付けるテーブルである。OKモーダルとは、通知対象者の活動を阻害しないモーダルである。NGモーダルとは、通知対象者の活動を阻害するモーダルである。
 例えば、図8に示す第1ルールテーブル114では、通知対象者の活動内容「エクササイズ」に対し、3個のモーダル「警告音」、「光」、「画像」がOKモーダルであることを示す3個のOKNGフラグ「OK」が対応付けられている。また、通知対象者の活動内容「エクササイズ」に対し、3個のモーダル「音声」、「振動」、「文字」がNGモーダルであることを示す3個のOKNGフラグ「NG」が対応付けられている。
 ステップS5では、決定部103は、第1ルールテーブル114において、ステップS4で取得された活動内容(例えば、エクササイズ)に対応付けられているOKNGフラグが「NG」であるモーダル(例えば、音声、振動、文字)を、NGモーダルとして決定する。
 尚、図8に示す第1ルールテーブル114は、原則として、高い活動強度を要する活動内容(例えば、ビデオ会議)に対応付けられるNGモーダルの数(例えば、3個)が、当該活動内容よりも低い活動強度を要する活動内容(例えば、書類作成)に対応付けられるNGモーダルの数(例えば、1個)よりも多くなるように定められている。
 また、図8に示す第1ルールテーブル114は、「キッチン」及び「仕事部屋」等の中断することが困難な活動が実施される空間では、低い活動強度を要する活動内容(例えば、書類作成)に対応付けられるNGモーダル(例えば、文字)が、当該活動内容よりも高い活動強度を要する活動内容(例えば、ビデオ会議)に対応付けられるNGモーダルとなるように定められている。
 また、図8に示す第1ルールテーブル114は、「リビングルーム」等の中断することが可能な活動が実施される空間において、高い活動強度を要する活動内容(例えば、エクササイズ)に対応付けられるNGモーダル(例えば、振動)が、当該活動内容よりも低い活動強度を有する活動内容(例えば、TV視聴)に対応付けられるNGモーダル(例えば、画像)と一致しない場合を含むように定められている。
 尚、第1ルールテーブル114の内容は、図8に示す内容に限らない。例えば、通知対象者が料理をしている場合に音声によって情報が通知されたとする。この場合、通知対象者は、料理を中断し、通知された情報を理解するために音声を聞くことに注意を向ける虞がある。このため、図8に示す第1ルールテーブル114において、活動内容「料理」に対応付けられているモーダル「音声」のOKNGフラグは、NGモーダルを示す「NG」であってもよい。
 (ステップS6)
 次に、選択部104は、通知対象者への情報の通知に利用可能なモーダル群に含まれる第1モーダルとは異なるモーダルの中から、通知対象者への情報の通知に用いるモーダル(第2モーダル)を選択する。
 図9は、第2ルールテーブル115の一例を示す図である。具体的には、図9に示すように、メモリ11には、通知対象者への情報の通知に用いるモーダルを選択するための第2ルールテーブル115が記憶されている。
 第2ルールテーブル115は、各モーダルによる通知距離の範囲(以降、距離範囲)と、各モーダルによる通知距離が当該距離範囲内である場合に、各モーダルが通知対象者に情報を通知するために利用できるか否かを示す情報(以降、利用可否フラグ)と、を対応付けるテーブルである。
 例えば、図9の第2ルールテーブル115では、5m以下の距離範囲「通知距離=0m」、「0m<通知距離≦2m」、「2m<通知距離≦5m」に対し、モーダル「文字」が情報の通知に利用できることを示す利用可否フラグ「OK」が対応付けられている。一方、5mを超える距離範囲「5m<距離≦10m」、「10m<距離」には、モーダル「文字」が情報の通知に利用できないことを示す利用可否フラグ「NG」が対応付けられている。つまり、図9の第2ルールテーブル115では、モーダル「文字」によって、5m以内に存在する通知対象者に情報を通知可能であるが、5mよりも遠くに存在する通知対象者には情報を通知できないことが定められている。
 同様に、図9の第2ルールテーブル115では、モーダル「音声」、「画像」によって、10m以内に存在する通知対象者に情報を通知可能であるが、10mよりも遠くに存在する通知対象者には情報を通知できないことが定められている。
 また、図9の第2ルールテーブル115では、モーダル「振動」によって、0m以内に存在する通知対象者に情報を通知可能であるが、0mよりも遠くに存在する通知対象者には情報を通知できないことが定められている。つまり、モーダル「振動」によって情報を出力する振動出力部33に接触している通知対象者には、モーダル「振動」によって情報を通知可能であるが、振動出力部33に接触していない通知対象者には、モーダル「振動」によって情報を通知できないことを示している。
 一方、図9の第2ルールテーブル115では、モーダル「警告音」、「光」は、通知対象者の所在位置によらず、情報を通知可能であることが定められている。
 ステップS6では、選択部104は、第2ルールテーブル115を参照して、前記モーダル群に含まれるステップS5で決定されたNGモーダルとは異なるモーダルのうち、通知対象者の所在位置又は当該所在位置よりも遠くの位置まで情報を通知可能なモーダル(第3モーダル)を、通知対象者への情報の通知に用いるモーダルとして選択する。
 例えば、図6に示すユーザ状況情報112がメモリ11に記憶されているとする。つまり、各モーダル「警告音」、「音声」、「光」、「振動」、「画像」、「文字」による通知距離が、「2m」、「2m」、「3m」、「10m」、「10m」、「10m」であるものとする。また、ステップS5では、3個のモーダル「振動」、「画像」、「文字」がNGモーダルとして決定されたとする。
 この場合、第2ルールテーブル115(図9)において、ステップS5で決定されたNGモーダルとは異なるモーダル「警告音」は、通知対象者の所在位置がモーダル「警告音」による通知距離「2m」よりも遠くの位置であっても、情報を通知可能であることが定められている。このため、選択部104は、モーダル「警告音」を通知対象者への情報の通知に用いるモーダルとして選択する。
 同様に、第2ルールテーブル115において、ステップS5で決定されたNGモーダルとは異なるモーダル「音声」は、通知対象者の所在位置がモーダル「音声」による通知距離「2m」よりも遠くの位置であっても、情報を通知可能であることが定められている。このため、選択部104は、モーダル「音声」を通知対象者への情報の通知に用いるモーダルとして選択する。
 また、第2ルールテーブル115において、ステップS5で決定されたNGモーダルとは異なるモーダル「光」は、通知対象者の所在位置がモーダル「光」による通知距離「3m」よりも遠くの位置であっても、情報を通知可能であることが定められている。このため、選択部104は、モーダル「光」を通知対象者への情報の通知に用いるモーダルとして選択する。
 本例のように、複数のモーダルが通知対象者への情報の通知に用いるモーダルとして選択される場合、選択部104は、更に、所定の方法で当該複数のモーダルの中から一のモーダルだけを選択するようにしてもよい。
 例えば、通知対象者への情報の通知に利用可能なモーダル群に含まれる各モーダルに第1の優先順位を設定し、選択部104が、上記複数のモーダルの中で最も高い第1の優先順位が設定されたモーダルだけを選択するようにしてもよい。
 例えば、前記モーダル群に含まれる各モーダル「音声」、「光」、「画像」、「文字」、「警告音」、「振動」に対して、第1の優先順位「1位」、「2位」、「3位」、「4位」、「5位」、「6位」を設定するとする。この場合、上記の例では、選択部104は、3個のモーダル「警告音」、「音声」、「光」のうち、最も高い第1の優先順位「1位」が設定されたモーダル「音声」だけを、通知対象者への情報の通知に用いるモーダルとして選択する。
 (ステップS7)
 次に、通知部105は、ステップS1で取得された通知要求情報111(図5)に含まれる通知情報を、ステップS6で選択されたモーダルによって出力するための制御コマンドを生成する。
 具体的には、通知部105は、通知要求情報111(図5)に含まれる通知情報を、ステップS6で選択されたモーダルによって出力可能なデータ形式に変換する。
 例えば、ステップS6で選択されたモーダルがモーダル「警告音」である場合、通知部105は、通知要求情報111(図5)に含まれる通知情報を形態素解析し、当該通知情報の内容を把握する。通知部105は、当該通知情報の内容に応じた人間の声より高い周波数の警告音311(図2)を、音出力部31(図1)に出力させる制御コマンドを生成する。
 ステップS6で選択されたモーダルがモーダル「音声」である場合、通知部105は、通知要求情報111(図5)に含まれる通知情報を示す音声データを生成する。そして、通知部105は、当該音声データが示す音声312(図2)を、音出力部31(図2)に出力させる制御コマンドを生成する。
 ステップS6で選択されたモーダルがモーダル「光」である場合、通知部105は、通知要求情報111(図5)に含まれる通知情報を形態素解析し、当該通知情報の内容を把握する。通知部105は、当該通知情報の内容に応じた色の光を光出力部32(図2)に出力させる制御コマンドを生成する。又は、通知部105は、当該通知情報の内容に応じた時間間隔で点滅する光を光出力部32(図2)に出力させる制御コマンドを生成する。
 ステップS6で選択されたモーダルがモーダル「振動」である場合、通知部105は、通知要求情報111(図5)に含まれる通知情報を形態素解析し、当該通知情報の内容を把握する。通知部105は、振動出力部33(図2)によって、当該通知情報の内容に応じた振動パターンで当該振動出力部33を備える電気機器を振動させるための制御コマンドを生成する。
 ステップS6で選択されたモーダルがモーダル「画像」である場合、通知部105は、通知要求情報111(図5)に含まれる通知情報を示す静止画又は動画の画像データを生成する。そして、通知部105は、当該画像データが示す静止画又は動画341(図2)を画像出力部34(図2)に表示させる制御コマンドを生成する。
 ステップS6で選択されたモーダルがモーダル「文字」である場合、通知部105は、通知要求情報111(図5)に含まれる通知情報を示す文字画像(テキスト)の画像データを生成する。そして、通知部105は、当該画像データが示す文字画像342(図2)を画像出力部34(図2)に表示させる制御コマンドを生成する。
 (ステップS8)
 次に、通知部105は、ステップS6で選択されたモーダルによって、通知要求情報111(図5)に含まれる通知情報を通知する。
 具体的には、ステップS8において、通知部105は、ステップS8で生成した制御コマンドを出力システム300に送信する。これにより、ステップS6で選択されたモーダルによって情報を出力する出力部は、当該制御コマンドに従って通知情報を出力する。その結果、通知対象者に通知情報が通知される。
 第1の実施の形態の構成によれば、通知対象者への情報の通知に利用可能なモーダル群のうち、通知対象者の活動を阻害するNGモーダルとは異なるモーダルによって、通知対象者に情報が通知される。このため、本構成は、通知対象者の活動を阻害せずに、通知対象者に情報を通知することができる。また、本構成では、通知対象者の所在位置及び活動強度に基づいて推定された通知対象者の活動内容に基づいてNGモーダルが決定される。このため、当該活動内容が示す活動を阻害しないように、通知対象者に情報を通知することができる。
 (第2の実施の形態)
 第1の実施の形態では、ステップS5(図4)において、決定部103が、ステップS4(図4)で推定した通知対象者の活動内容に基づいてNGモーダルを決定する例について説明した。第2の実施の形態では、ステップS4(図4)は省略し、ステップS5(図4)において、決定部103は、ステップS2(図4)で取得した通知対象者の所在位置とステップS3(図4)で取得した通知対象者の活動強度に基づいて、NGモーダルを決定する。
 図10は、第3ルールテーブル116の一例を示す図である。具体的には、図10に示すように、メモリ11には、通知対象者の所在位置と当該所在位置における当該通知対象者の活動強度に基づいてNGモーダルを決定するための第3ルールテーブル116が記憶されている。尚、図10には、説明の便宜上、通知対象者の活動内容を推定するために用いた活動推定テーブル113(図7)と第3ルールテーブル116とを合成したテーブルを示している。
 第3ルールテーブル116(テーブル)は、通知対象者が存在し得る位置と、当該位置における当該通知対象者の活動の強度と、当該通知対象者への情報の通知に利用可能なモーダル群に含まれる各モーダルがOKモーダルであるかNGモーダルであるかを示す情報(以降、OKNG情報)と、を対応付けるテーブルである。通知対象者が存在し得る位置における当該通知対象者の活動の強度とは、通知対象者が存在し得る位置における当該通知対象者の活動強度である。
 例えば、図10に示す第3ルールテーブル116では、通知対象者が存在し得る位置「リビングルーム」及び位置「リビングルーム」における通知対象者の活動の強度「高」に対し、3個のモーダル「警告音」、「光」、「画像」がOKモーダルであることを示す、3個のOKNG情報「OK」が対応付けられている。また、通知対象者が存在し得る位置「リビングルーム」及び位置「リビングルーム」における通知対象者の活動の強度「高」に対し、3個のモーダル「音声」、「振動」、「文字」がNGモーダルであることを示す、3個のOKNG情報「NG」が対応付けられている。
 第2の実施の形態のステップS5では、決定部103は、第3ルールテーブル116において、ステップS2(図4)で取得した通知対象者の所在位置と一致する位置(例えば、リビングルーム)及びステップS3(図4)で取得した通知対象者の活動強度と一致する活動の強度(例えば、高)に対応付けられている、OKNG情報が「NG」であるモーダル(例えば、音声、振動、文字)を、NGモーダルとして決定する。
 尚、第3ルールテーブル116の内容は、図10に示す内容に限らない。例えば、通知対象者がキッチンにおいて、食材を包丁で切る等の活動強度が高い活動を実施している場合に、音声によって情報が通知されたとする。この場合、通知対象者は、通知された情報を理解するために音声を聞くことに注意を向けることによって、怪我をする虞がある。一方、通知対象者がキッチンにおいて、食材を鍋に投入する等の活動強度が中程度の活動を実施している場合に、音声によって情報が通知されたとする。この場合、通知対象者は、通知された情報を理解するために音声を聞くことに注意を向けたとしても、怪我をする虞は低いと考えられる。
 このため、図10に示す第3ルールテーブル116において、位置「キッチン」及び活動の強度「高」に対応付けられているモーダル「音声」のOKNG情報は、「NG」であってもよい。一方、位置「キッチン」及び活動の強度「中」に対応付けられているモーダル「音声」のOKNG情報は、「OK」であってもよい。
 本構成では、通知対象者の所在位置及び活動強度に基づいてNGモーダルが決定される。このため、通知対象者の所在位置及び活動強度に応じた活動を阻害しないように、通知対象者に情報を通知することができる。
 (変形例)
 本開示は、以下の変形例が採用できる。
 (1)第1及び第2の実施の形態では、通知対象者の活動を阻害しないように、通知対象者に情報を通知する例について説明した。これと同様にして、更に、通知対象者の活動を阻害しないように、通知対象者に情報の通知があることを通知するようにしてもよい。本構成は、具体的には、以下のようにして実現することができる。
 本変形例におけるステップS6(図4)では、選択部104は、通知対象者への情報の通知に用いるモーダルを選択する場合と同様にして、更に、通知対象者への情報の通知があることの通知(以降、トリガー通知)に用いるモーダルを選択する。
 つまり、選択部104は、第2ルールテーブル115(図9)を参照して、通知対象者への情報の通知に利用可能なモーダル群に含まれる、ステップS5(図4)で決定されたNGモーダルとは異なるモーダルのうち、通知対象者の所在位置又は当該所在位置よりも遠くの位置まで情報を通知可能なモーダル(第4モーダル)を、トリガー通知に用いるモーダルとして選択する。
 ここで、複数のモーダルがトリガー通知に用いるモーダルとして選択される場合、選択部104は、更に、所定の方法で当該複数のモーダルの中から一のモーダルだけを選択するようにしてもよい。
 例えば、通知対象者への情報の通知に利用可能なモーダル群に含まれる各モーダルに第2の優先順位を設定し、選択部104が、上記複数のモーダルの中で最も高い第2の優先順位が設定されたモーダルだけを選択するようにしてもよい。
 例えば、前記モーダル群に含まれる各モーダル「警告音」、「音声」、「振動」、「光」、「画像」、「文字」に対して、第2の優先順位「1位」、「2位」、「3位」、「4位」、「5位」、「6位」を設定するとする。この場合、上記の例では、選択部104は、3個のモーダル「警告音」、「音声」、「光」のうち、最も高い第2の優先順位「1位」が設定されたモーダル「警告音」だけを、トリガー通知に用いるモーダルとして選択する。
 本変形例のステップS7(図4)では、通知部105は、更に、通知情報を出力するための制御コマンドと同様に、情報の通知があることを示す情報を、ステップS6で選択されたトリガー通知に用いるモーダルによって出力するための制御コマンド(以降、トリガー通知コマンド)を生成する。
 本変形例におけるステップS8(図4)では、通知部105は、更に、トリガー通知コマンドを出力システム300に送信する。これにより、通知部105は、ステップS6で選択されたトリガー通知に用いるモーダルによって情報の通知があることを示す情報を通知対象者に通知する。
 本構成によれば、通知対象者の所在位置又は当該所在位置よりも遠くの位置まで情報を通知可能なモーダルによって、当該所在位置に存在する通知対象者に、情報の通知があることを確実に通知することができる。
 (2)第1及び第2の実施の形態では、通知対象者の活動を阻害しないように、通知対象者に情報を通知する例について説明した。これと同様にして、通知対象者の活動を阻害しないように、通知対象者に情報を入力させるようにしてもよい。本構成は、具体的には、以下のようにして実現することができる。
 図11は、第4ルールテーブル117及び第6ルールテーブル118の一例を示す図である。具体的には、図11に示すように、メモリ11には、第1ルールテーブル114(図8)と同様に、通知対象者の活動内容に基づいて、通知対象者が情報の入力に利用可能なモーダル群(以降、入力モーダル群)の中から、NGモーダルを決定するための第4ルールテーブル117が記憶されている。尚、図11には、説明の便宜上、通知対象者の活動内容を推定するために用いた活動推定テーブル113(図7)と第4ルールテーブル117とを合成したテーブルを示している。
 第4ルールテーブル117は、通知対象者の活動内容と、前記入力モーダル群に含まれる各モーダルがOKモーダルであるかNGモーダルであるかを示す情報(以降、入力OKNGフラグ)と、を対応付けるテーブルである。
 例えば、図11の第4ルールテーブル117では、通知対象者の活動内容「エクササイズ」に対し、モーダル「音声」がOKモーダルであることを示す、入力OKNGフラグ「OK」が対応付けられている。また、通知対象者の活動内容「エクササイズ」に対し、2個のモーダル「ジェスチャ」、「キー操作」がNGモーダルであることを示す、2個の入力OKNGフラグ「NG」が対応付けられている。
 本変形例のステップS5(図4)では、決定部103は、更に、第4ルールテーブル117において、ステップS4(図4)で取得された活動内容(例えば、エクササイズ)に対応付けられている、OKNGフラグが「NG」であるモーダル(例えば、ジェスチャ、キー操作)を、通知対象者による情報入力時のNGモーダル(第6モーダル)として決定する。以降、通知対象者による情報入力時のNGモーダルを、入力NGモーダルと記載する。
 メモリ11には、更に、第2ルールテーブル115(図9)と同様の構成の第5ルールテーブル(図略)が記憶されている。第5ルールテーブルは、通知対象者の所在位置から、前記入力モーダル群に含まれる各モーダルによる情報の入力を受け付ける入力受付部までの距離(以降、各モーダルによる入力距離)の範囲(以降、入力距離範囲)と、各モーダルによる入力距離が当該入力距離範囲内である場合に、各モーダルが、通知対象者が情報を入力するために利用できるか否かを示す情報(以降、入力利用可否フラグ)と、を対応付けるテーブルである。
 本変形例におけるステップS6(図4)では、選択部104は、更に、第5ルールテーブルを参照する。そして、選択部104は、前記入力モーダル群の中から、通知対象者による情報の入力に用いる、ステップS5で決定された入力NGモーダルとは異なるモーダル(第7モーダル)を選択する。具体的には、選択部104は、前記入力モーダル群のうち、通知対象者の所在位置又は当該所在位置よりも遠くの位置で、通知対象者による情報の入力に利用可能なモーダルを選択する。
 本変形例におけるステップS7(図4)では、通知部105は、通知要求情報111(図5)に含まれる通知情報に、更に、ステップS6で選択されたモーダルによる情報の入力が可能であることを示す情報を含めて、当該通知情報を出力するための制御コマンドを生成する。
 これにより、ステップS8の後、ステップS7(図4)で選択されたモーダルによって情報を出力する出力部は、当該制御コマンドに従って、通知要求情報111(図5)に含まれる通知情報とともに、ステップS6で選択されたモーダルによる情報の入力が可能であることを示す情報を出力する。その結果、通知対象者に当該通知情報が通知されるとともに、ステップS6で選択されたモーダルによる情報の入力が可能であることが通知される。
 尚、第2の実施の形態と同様に、ステップS4(図4)を省略し、ステップS5(図4)において、決定部103が、ステップS2(図4)で取得した通知対象者の所在位置とステップS3(図4)で取得した通知対象者の活動強度とに基づいて、入力NGモーダルを決定するようにしてもよい。
 具体的には、図11に示すように、第3ルールテーブル116(図10)と同様の構成の第6ルールテーブル118をメモリ11に記憶してもよい。尚、図11には、説明の便宜上、通知対象者の活動内容を推定するために用いた活動推定テーブル113(図7)と第6ルールテーブル118とを合成したテーブルを示している。
 第6ルールテーブル118は、第3ルールテーブル116(図10)と同様、通知対象者が存在し得る位置と、当該位置における当該通知対象者の活動の強度と、当該通知対象者への情報の通知に利用可能なモーダル群に含まれる各モーダルがOKモーダルであるかNGモーダルであるかを示す情報(以降、入力OKNG情報)と、を対応付けるテーブルである。通知対象者が存在し得る位置における当該通知対象者の活動の強度とは、通知対象者が存在し得る位置における当該通知対象者の活動強度である。
 そして、ステップS5において、決定部103が、第6ルールテーブル118において、ステップS2(図4)で取得した通知対象者の所在位置と一致する位置(例えば、リビングルーム)及びステップS3(図4)で取得した通知対象者の活動強度と一致する活動の強度(例えば、高)に対応付けられている、入力OKNG情報が「NG」であるモーダル(例えば、ジェスチャ、キー操作)を、入力NGモーダルとして決定するようにしてもよい。
 本構成によれば、通知対象者の活動を阻害するNGモーダルとは異なるモーダルによる情報の入力が可能であることが通知対象者に通知される。このため、通知対象者は、当該モーダルによって活動を阻害されずに情報を入力することができる。
 (3)第1取得部101が、ステップS2(図4)において、以下のようにして、通知対象者の所在位置をより詳細に取得するようにしてもよい。
 具体的には、第1取得部101は、上記と同様にして、現在日時から所定時間以内の日時を示す検出日時情報と、前記照合用データが示すユーザの特徴を含む画像データ又は人物の外形を示す情報と、を含んだセンサ情報を取得する。
 第1取得部101は、取得したセンサ情報に画像データが含まれている場合、公知の画像処理を行うことによって、当該画像データが示す画像に含まれるユーザの画像の大きさ及び位置に基づき、当該センサ情報を送信したセンサ400(監視カメラ)の配置位置を基準位置としたときのユーザの相対位置を把握する。
 一方、第1取得部101は、取得したセンサ情報に人物の外形を示す情報が含まれている場合、当該センサ情報に含まれている、当該センサ情報を送信したセンサ400(電波センサ)の配置位置を基準としたときのユーザの相対位置を示す情報を把握する。
 又は、第1取得部101は、メモリ11から、現在日時から所定時間以内の日時を示す検出日時情報と、ステップS1で受信した通知要求情報111に含まれるユーザIDと、を含んだ、ビーコンセンサが送信したセンサ情報を取得する。第1取得部101は、当該センサ情報に含まれる、当該ビーコンセンサの配置位置を基準位置としたときのユーザの相対位置を把握する。
 そして、第1取得部101は、メモリ11に記憶されているセンサ400の機器情報を参照して、ユーザの相対位置の把握に用いたセンサ情報に対応するセンサ400の配置位置を把握する。第1取得部101は、当該センサ400の配置位置を基準としたときの、センサ情報から把握したユーザの相対位置に対応する絶対位置を、ユーザの所在位置として取得する。
 尚、第1取得部101は、測距センサが送信したセンサ情報を用いて、ユーザの所在位置を取得するようにしてもよい。具体的には、第1取得部101は、メモリ11に記憶されている測距センサが送信したセンサ情報の中から、現在日時から所定時間以内の日時を示す検出日時情報を含んだセンサ情報を取得する。
 第1取得部101は、測距センサが送信したセンサ情報に含まれる、当該測距センサから所定の方向に存在する人物までの距離を把握する。第1取得部101は、メモリ11に記憶されている当該測距センサの機器情報を参照して、当該測距センサの配置位置を把握する。第1取得部101は、当該測距センサの配置位置から、前記所定の方向に、上記の把握した距離だけ離間した位置を、ユーザの所在位置として取得する。
 この場合、ステップS4(図4)では、決定部103は、活動推定テーブル113(図7)において、ステップS2で取得された通知対象者の所在位置を含む位置及びステップS3で取得された活動強度と一致する活動の強度に対応付けられている活動内容を、当該通知対象者の活動内容として推定する。
 また、ステップS5(図4)では、決定部103は、第3ルールテーブル116(図10)において、ステップS2(図4)で取得した通知対象者の所在位置を含む位置及びステップS3(図4)で取得した通知対象者の活動強度と一致する活動の強度に対応付けられている、OKNG情報が「NG」であるモーダルを、NGモーダルとして決定する。
 また、上記の変形例(2)において、ステップS4(図4)を省略する場合のステップS5(図4)では、決定部103は、第6ルールテーブル118(図11)において、ステップS2(図4)で取得した通知対象者の所在位置を含む位置及びステップS3(図4)で取得した通知対象者の活動強度と一致する活動の強度に対応付けられている、入力OKNG情報が「NG」であるモーダルを、入力NGモーダルとして決定する。
 本構成では、通知対象者の詳細な所在位置及び活動強度に基づいて、又は、通知対象者の詳細な所在位置及び活動強度に基づき推知された活動内容に基づいて、NGモーダルが決定される。このため、通知対象者の詳細な所在位置及び活動強度に応じた活動を阻害しないように、通知対象者に情報を通知することができる。
 (4)例えば、通知対象者が利用する施設に、監視カメラ、電波センサ及びビーコンセンサが配置されていない場合等、通知対象者に関するセンサ情報がメモリ11に記憶されない場合がある。そこで、第1取得部101が、入力受付システム500(図1)によって受け付けられた、通知対象者の所在位置及び当該所在位置における通知対象者の活動強度を取得するようにしてもよい。本構成は、例えば以下のようにして実現することができる。
 図12は、ユーザ状況入力画面501の一例を示す図である。例えば、キー操作入力受付部53を備えた電気機器(以降、入力機器)は、ユーザが入力機器にログインした後、任意のタイミングでユーザ状況入力画面501を、当該電気機器が有するディスプレイ50に表示する。
 図12に示すように、ユーザ状況入力画面501は、ID欄510、所在地指定欄520、活動強度選択欄530、OKボタン540及び閉じるボタン550を含む。
 ID欄510には、入力機器にログインしたユーザのユーザIDが表示される。所在地指定欄520には、ユーザが利用する施設の間取りを示す画像521が表示される。キー操作入力受付部53を構成するタッチパネル装置又はマウスを用いて、当該画像521上の任意の位置が指定されると、入力機器は、当該位置に所定のマーク522を表示する。
 活動強度選択欄530には、所在地指定欄520で指定された位置におけるユーザの活動強度を択一的に選択するためのラジオボタン531が表示される。OKボタン540は、ユーザ状況入力画面501において入力された情報を受け付けるためのボタンである。閉じるボタン550は、ユーザ状況入力画面501を閉じるためのボタンである。
 キー操作入力受付部53を構成するタッチパネル装置又はマウスを用いて、所在地指定欄520に表示された画像521上の任意の位置が指定され、更に、活動強度選択欄530に表示されたラジオボタン531の何れかが選択された後、OKボタン540が押下されたとする。
 この場合、キー操作入力受付部53は、ID欄510に表示されたユーザID、マーク522が表示されている位置を示す情報、選択されたラジオボタンに対応する活動強度を受け付け、これらを情報通知装置100に送信する。例えば、図12は、OKボタン540が押下された場合に、キー操作入力受付部53が、ユーザID「JP00001」、マーク522の位置を示す情報及び活動強度「高」を受け付けて、これらを情報通知装置100に送信する例を示している。
 受付部106は、入力機器が送信した、ユーザID、マーク522が表示されている位置を示す情報、選択されたラジオボタンに対応する活動強度を受け付ける。受付部106は、当該受け付けたユーザID、マーク522が表示されている位置を示す情報、及び活動強度を現在日時と対応付けてメモリ11に記憶する。
 この場合、ステップS2(図4)では、第1取得部101は、通知要求情報111に含まれるユーザIDと、当該ステップS2の実行日時から所定の時間範囲(例えば、30分)内であって且つ最も直近の日時を示す現在日時と、に対応付けられた、マーク522が表示されている位置を示す情報を、メモリ11から取得する。第1取得部101は、当該マーク522が表示されている位置を、通知対象者の所在位置として取得する。
 ステップS3(図4)では、第2取得部102は、ステップS1(図4)で受信された通知要求情報111に含まれるユーザIDと、当該ステップS2の実行日時から前記所定の時間範囲(例えば、30分)内であって且つ最も直近の日時を示す現在日時と、に対応付けられた活動強度を、メモリ11から取得する。第2取得部102は、当該活動強度を、通知対象者の活動強度として取得する。
 尚、ユーザ状況入力画面501が、活動強度選択欄530に替えて、所在地指定欄520で指定された位置においてユーザが行い得る活動内容を択一的に選択するための活動内容選択欄を含むようにしてもよい。活動内容選択欄には、所在地指定欄520で指定された位置において、ユーザが行い得る活動内容を択一的に選択するためのラジオボタンが表示される。
 この場合、キー操作入力受付部53は、所在地指定欄520で指定される位置が変化する度に、当該変化後の位置においてユーザが行い得る活動内容を択一的に選択するためのラジオボタンを表示する。受付部106は、入力機器が送信した、ユーザID、マーク522が表示されている位置を示す情報、選択されたラジオボタンに対応する活動内容を受け付ける。受付部106は、当該受け付けたユーザID、マーク522が表示されている位置を示す情報、及び活動内容を現在日時と対応付けてメモリ11に記憶する。
 この場合、ステップS3(図4)は省略される。そして、ステップS4(図4)において、決定部103は、メモリ11から、ステップS1(図4)で受信された通知要求情報111に含まれるユーザIDと、当該ステップS2の実行日時から所定の時間範囲(例えば、30分)内であって且つ最も直近の日時を示す現在日時と、に対応付けられた活動内容を示す情報を取得する。
 (5)通知対象者の近傍に他の人物が存在する場合、通知対象者の活動を阻害することなく情報を通知することができても、当該通知が、当該他の人物の活動を阻害する虞がある。また、当該通知によって通知対象者に通知される情報が、当該他の人物に漏洩する虞もある。そこで、通知対象者の近傍に存在する他の人物の活動を阻害しないように、又は、通知対象者に通知される情報が、当該他の人物に漏洩しないように、通知対象者に情報を通知するようにしてもよい。
 具体的には、ステップS5(図4)の後、決定部103が、ステップS2(図4)で取得された通知対象者の所在位置から所定範囲内に存在する、通知対象者とは他の人物を検出するようにしてもよい。そして、決定部103が、当該他の人物の属性又は当該他の人物の状況に基づいて、当該他の人物の活動を阻害するモーダル及び通知対象者に通知する情報を当該他の人物に漏洩し得るモーダルのうち少なくとも一つのモーダルを、NGモーダルとして追加するようにしてもよい。本構成は、例えば以下のようにして実現することができる。
 決定部103は、ステップS5(図4)の後、メモリ11から、現在日時から所定時間以内の日時を示す検出日時情報と、通知要求情報111に含まれるユーザIDに対応付けられた照合用データが示すユーザの特徴を含む画像データ又は人物の外形を示す情報と、を含んだセンサ情報(以降、第1センサ情報)を取得する。
 更に、決定部103は、メモリ11から、現在日時から所定時間以内の日時を示す検出日時情報と、通知要求情報111に含まれるユーザIDとは異なるユーザIDに対応付けられた照合用データが示すユーザの特徴を含む画像データ又は人物の外形を示す情報と、を含んだセンサ情報(以降、第2センサ情報)を取得する。
 決定部103は、メモリ11に記憶されているセンサ400に関する機器情報を参照し、第1センサ情報に対応するセンサ400の配置位置と第2センサ情報に対応するセンサ400の配置位置との間の距離を算出する。決定部103は、算出した距離が所定距離内である場合、通知対象者の所在位置から所定範囲内に、前記異なるユーザIDに対応する、通知対象者とは他の人物が存在することを検出する。
 決定部103は、メモリ11に記憶されている、通知対象者及び当該他の人物に関するユーザ情報に含まれる属性情報を参照する。更に、決定部103は、公知の画像処理及び動作解析処理によって、第2センサ情報に含まれる画像データ又は人物の外形を示す情報から、当該他の人物の動作速度を検出する。
 例えば、前記他の人物の属性情報が幼児であることを示し、当該他の人物の動作速度が所定速度以下であるとする。この場合、決定部103は、通知対象者から所定範囲内に存在する幼児が睡眠している状況であると把握する。この場合、決定部103は、当該幼児の睡眠を阻害するモーダル「警告音」及び「音声」を、NGモーダルとして追加する。
 また、前記他の人物の属性情報が、通知対象者が属するグループ(例えば、会社、家族)とは異なるグループに属することを示しているとする。この場合、決定部103は、通知対象者に通知する情報を当該他の人物に漏洩し得るモーダル「画像」及び「文字」を、NGモーダルとして追加する。
 本構成によれば、通知対象者から所定範囲内に存在する他の人物の活動を阻害するモーダル及び通知対象者に通知する情報を当該他の人物に漏洩し得るモーダルのうち少なくとも一方が、NGモーダルとして追加される。このため、本構成は、前記他の人物の活動を阻害しないように又は通知対象者に通知する情報が前記他の人物に漏洩しないように、通知対象者に情報を通知することができる。
 (6)例えば深夜の住宅等、通知対象者の近傍に他の人物が存在しない場合であっても、通知対象者が利用する施設に複数の人物が存在する場合、時間帯によっては、通知対象者に対する情報の通知が、他者の活動を阻害する虞がある。そこで、時間帯に応じた情報の通知が行えるようにしてもよい。
 具体的には、ステップS5(図4)の後、決定部103が、ステップS2(図4)で通知対象者の所在位置が取得された時間帯を取得するようにしてもよい。時間帯は、1時間単位の時間帯であってもよいし、複数時間単位の時間帯であってもよい。そして、決定部103が、当該取得した時間帯に予め対応付けられた、人物の活動を阻害するモーダルをNGモーダルとして追加するようにしてもよい。本構成は、例えば以下のようにして実現することができる。
 メモリ11には、各時間帯と、各時間帯において人物の活動を阻害するモーダルと、を対応付ける情報(以降、時間帯別NGモーダル情報)が記憶されている。例えば、午前1時から午前6時までの時間帯は、人物が睡眠している時間帯と考えられる。このため、午前1時から午前6時までの時間帯と、睡眠の活動を阻害するモーダル「警告音」及び「音声」とを対応付ける時間帯別NGモーダル情報が、メモリ11に記憶されている。
 ステップS5(図4)の後、決定部103は、ステップS2(図4)で通知対象者の所在位置が取得された時間帯が時間帯別NGモーダル情報に含まれている場合、時間帯別NGモーダル情報において、当該時間帯に対応付けられているモーダルをNGモーダルとして追加する。
 例えば、上記の時間帯別NGモーダル情報がメモリ11に記憶されているとする。この場合、ステップS5(図4)の後、決定部103は、ステップS2(図4)で通知対象者の所在位置が取得された時間帯が午前1時から午前6時までの時間帯である場合、モーダル「警告音」及び「音声」をNGモーダルとして追加する。
 本構成によれば、通知対象者の所在位置を取得した時間帯に予め対応付けられた、人物の活動を阻害するモーダルが、NGモーダルとして追加される。このため、本構成は、通知対象者の所在位置を取得した時間帯における人物の活動を阻害しないように、通知対象者に情報を通知することができる。
 (7)通知対象者が情報の通知に利用可能なモーダル群の中に、決定部103によって決定されたNGモーダルとは異なるモーダルが存在しない場合、通知対象者に情報を通知することができなくなる。
 そこで、選択部104が、決定部103によって決定されたNGモーダルから、活動中の通知対象者の注意を向けることが困難なモーダル(第5モーダル)を除外して、通知対象者への情報の通知に用いるモーダルを選択するようにしてもよい。そして、NGモーダルから除外されたモーダルが通知対象者への情報の通知に用いるモーダルとして選択された場合、通知部105が、当該選択されたモーダルによって、通常時よりも強調して通知情報を通知するようにしてもよい。本構成は、例えば以下のようにして実現することができる。
 具体的には、活動中の通知対象者の注意を向けることが困難なモーダルを、例えば、モーダル「音声」、「光」等に定め、メモリ11に予め記憶する。ステップS6(図4)では、選択部104は、ステップS5(図4)で決定されたNGモーダルから、メモリ11に記憶されている、活動中の通知対象者の注意を向けることが困難なモーダルを除外する。
 そして、ステップS6(図4)においてNGモーダルから除外されたモーダルが通知対象者への情報の通知に用いるモーダルとして選択されたとする。この場合、ステップS7(図4)において、通知部105は、当該選択されたモーダルによって、通常時よりも強調して通知情報を出力するための制御コマンドを生成する。
 例えば、モーダル「音声」がNGモーダルから除外され、ステップS6(図4)において通知対象者への情報の通知に用いるモーダルとして選択されたとする。この場合、ステップS7(図4)において、通知部105は、モーダル「音声」によって通常時よりも大きい音圧で通知情報を出力するための制御コマンドを生成する。
 また、モーダル「光」がNGモーダルから除外され、ステップS6(図4)において通知対象者への情報の通知に用いるモーダルとして選択されたとする。この場合、ステップS7(図4)において、通知部105は、モーダル「光」によって通常時よりも強い光度で通知情報を出力するための制御コマンドを生成する。
 本構成によれば、通知対象者に注意を向けることが困難な、通知対象者の活動を阻害するモーダルによって、通常時よりも強調して通知対象者に情報を通知することができる。このため、通知対象者は、当該モーダルによって通常通りに情報が通知される場合よりも、通知される情報に注意を向けることなく、容易に通知された情報を把握することができる。これにより、通知対象者の活動が阻害される可能性を軽減することができる。
 (8)受付部106が、第3ルールテーブル116の内容の変更を受け付けるようにしてもよい。本構成は、例えば以下のようにして実現することができる。
 キー操作入力受付部53(図1)は、ユーザによる第3ルールテーブル116の内容を変更することを要求する情報(以降、変更要求情報)の入力を受け付けた場合、当該変更要求情報を情報通知装置100に送信する。
 通信回路12が入力受付システム500から変更要求情報を受信すると、受付部106は、当該変更要求情報を受け付ける。受付部106は、変更要求情報を受け付けると、メモリ11に記憶されている第3ルールテーブル116を取得する。受付部106は、取得した第3ルールテーブル116を、キー操作入力受付部53(図1)に返信する。
 キー操作入力受付部53は、キー操作入力受付部53を備えた電気機器が備えるディスプレイに、情報通知装置100から返信された第3ルールテーブル116を表示する。ユーザがタッチパネル装置、キーボード及びマウスの少なくとも一つを用いて第3ルールテーブル116の内容を変更すると、キー操作入力受付部53は、変更後の第3ルールテーブル116を、情報通知装置100に送信する。
 通信回路12が前記変更後の第3ルールテーブル116を受信すると、受付部106は、当該変更要求情報を受け付け、当該変更後の第3ルールテーブル116をメモリ11に臆する。
 尚、受付部106が、第3ルールテーブル116の内容の変更を要求したユーザに対して、第3ルールテーブル116の一部の内容のみを変更させるようにしてもよい。本構成は、例えば以下のようにして実現することができる。
 キー操作入力受付部53(図1)は、変更要求情報とともに、当該変更要求情報を入力したユーザのユーザIDを情報通知装置100に送信する。受付部106は、通信回路12が変更要求情報とともに受信したユーザIDに対するユーザに対して直近に通知情報を通知したときの、当該ユーザの所在位置及び活動強度を取得する。受付部106は、メモリ11から取得した第3ルールテーブル116に含まれる、当該ユーザの所在位置及び活動強度とこれに対応付けられたOKNG情報のみを、キー操作入力受付部53(図1)に返信する。
 キー操作入力受付部53は、キー操作入力受付部53を備えた電気機器が備えるディスプレイに、情報通知装置100から返信された第3ルールテーブル116の一部の内容を表示する。ユーザがタッチパネル装置、キーボード及びマウスの少なくとも一つを用いて第3ルールテーブル116の一部の内容を変更すると、キー操作入力受付部53は、変更後の第3ルールテーブル116の一部の内容を、情報通知装置100に送信する。
 通信回路12が前記変更後の第3ルールテーブル116の一部の内容を受信すると、受付部106は、当該変更後の第3ルールテーブル116の一部の内容によって、メモリ11に記憶されている第3ルールテーブル116の当該一部の内容を更新する。
 更に、上記と同様にして、受付部106が、第1ルールテーブル114、第4ルールテーブル117、及び第6ルールテーブル118の一部又は全体の内容の変更を受け付けるようにしてもよい。
 本構成によれば、第1モーダルの決定に用いる種々のルールテーブルの内容の変更を受け付けることができる。このため、本構成は、種々のルールテーブルの内容を適切に変更することで、第1モーダルを適切に決定することができる。
 (9)ステップS3(図4)において、第2取得部102が通知対象者の活動強度を取得する方法は、第1の実施の形態で説明した方法に限らない。
 例えば、第2取得部102が、メモリ11に記憶されている監視カメラ及び電波センサが送信したセンサ情報を参照して、通知対象者の姿勢を検出し、当該通知対象者の姿勢に基づいて、活動強度を取得するようにしてもよい。通知対象者の姿勢には、通知対象者が、立っている、座っている又は寝ている姿勢が含まれる。本構成は、例えば以下のようにして実現することができる。
 第2取得部102は、通知要求情報111に含まれるユーザIDに対応付けられた照合用データをメモリ11から取得する。第2取得部102は、メモリ11に記憶されている監視カメラ及び電波センサが送信したセンサ情報のうち、現在日時から所定時間(例えば30分)以内の日時を示す検出日時情報を含んだセンサ情報を参照する。第2取得部102は、参照したセンサ情報から、前記照合用データが示す通知対象者の特徴を含む画像データ又は外形データを取得する。第2取得部102は、公知の画像処理によって、当該画像データ又は外形データから通知対象者の姿勢を検出する。
 メモリ11には、更に、人物の姿勢と、当該人物の活動強度と、の関係を示す情報(以降、第2関係情報)が予め記憶されている。
 人物が立っている姿勢の場合、当該人物は、何等かの活動を実施中であると推定される。人物が座っている姿勢の場合、当該人物は、上半身のみを使用する活動を実施中であると推定される。人物が寝ている姿勢の場合、当該人物は、身体を動かさずにくつろいでいる又は睡眠中であると推定される。
 このため、第2関係情報において、立っている姿勢には、活動強度が高いことを示す「高」が対応付けられている。第2関係情報において、座っている姿勢には、活動強度が中程度であることを示す「中」が対応付けられている。第2関係情報において、寝ている姿勢には、活動強度が低いことを示す「低」が対応付けられている。
 第2取得部102は、第2関係情報において上記の検出した通知対象者の姿勢に対応付けられている活動強度を取得する。
 又は、第2取得部102は、第1の実施の形態で説明した通知対象者の動作速度に基づいて活動強度を取得する方法と上記の通知対象者の姿勢に基づいて活動強度を取得する方法との二つの取得方法のうち、第1取得部101が取得した通知対象者の所在位置に予め対応付けられた取得方法によって活動強度を取得するようにしてもよい。本構成は、例えば以下のようにして実現することができる。以降、第1の実施の形態で説明した通知対象者の動作速度に基づいて活動強度を取得する方法を、第1取得方法と記載する。上記の通知対象者の姿勢に基づいて活動強度を取得する方法を、第2取得方法と記載する。
 メモリ11には、更に、人物が存在し得る位置と、当該人物の活動強度の取得方法と、の関係を示す情報(以降、第3関係情報)が予め記憶されている。
 例えば、キッチン及び仕事部屋等、限られた活動しか行われない空間に人物が存在する場合、当該人物の活動強度は、当該人物の動作速度に応じて異なると考えられる。一方、リビングルーム等、複数の活動が行われ得る空間に人物が存在する場合、当該人物の活動強度は、当該人物の姿勢に応じて異なると考えられる。
 このため、第3関係情報において、キッチン及び仕事部屋等、限られた活動しか行われない空間を示す位置には、第1取得方法が対応付けられている。第3関係情報において、リビングルーム等、複数の活動が行われ得る空間を示す位置には、第2取得方法が対応付けられている。
 第2取得部102は、第3関係情報において、第1取得部101が取得した通知対象者の所在位置を含む位置に対応付けられている第1取得方法又は第2取得方法によって、通知対象者の活動強度を取得する。
 又は、第2取得部102は、第1取得方法と第2取得方法との二つの取得方法のうち、第1取得部101が取得した通知対象者の所在位置において通知対象者が取り得る姿勢の数に予め対応付けられた取得方法によって活動強度を取得するようにしてもよい。本構成は、例えば以下のようにして実現することができる。
 メモリ11には、更に、人物が存在し得る位置と、当該位置において当該人物が取り得る姿勢の数と、の関係を示す情報(以降、第4関係情報)が予め記憶されている。また、メモリ11には、更に、人物が取り得る姿勢の数と、当該人物の活動強度の取得方法と、の関係を示す情報(以降、第5関係情報)が予め記憶されている。
 例えば、第4関係情報において、リビングルーム等、人物が立っている、座っている及び寝ているの3つの姿勢を自在に取り得る空間を示す位置には、人物が取り得る姿勢の数として、3が対応付けられている。また、第4関係情報において、寝室等、人物が立っている及び寝ている等の2つの姿勢を取り得る空間を示す位置には、人物が取り得る姿勢の数として、2が対応付けられている。また、第4関係情報において、キッチン及び仕事部屋等、人物が立っている、座っている及び寝ているの3つの姿勢のうち、2以上の姿勢を取ることが困難な空間を示す位置には、人物が取り得る姿勢の数として、1が対応付けられている。
 リビングルーム等、立っている、座っている及び寝ているの3つの姿勢のうち、2以上の姿勢を取り得る空間に人物が存在する場合、当該人物の活動強度は、当該人物の姿勢に応じて異なると考えられる。一方、キッチン及び仕事部屋等、立っている、座っている及び寝ているの3つの姿勢のうち、2以上の姿勢を取ることが困難な空間に人物が存在する場合、当該人物の活動強度は、当該人物の動作速度に応じて異なると考えられる。
 このため、第5関係情報において、人物が取り得る姿勢の数「2」又は「3」には、第2取得方法が対応付けられている。一方、第5関係情報において、人物が取り得る姿勢の数「1」には、第1取得方法が対応付けられている。
 そこで、第2取得部102は、第4関係情報において、第1取得部101が取得した通知対象者の所在位置を含む位置に対応付けられている人物が取り得る姿勢の数を取得する。第2取得部102は、第5関係情報において、取得した人物が取り得る姿勢の数に対応付けられている第1取得方法又は第2取得方法によって、通知対象者の活動強度を取得する。
 (10)出力システム300(図1)が、音出力部31、光出力部32、振動出力部33及び画像出力部34のうちの一以上の出力部を複数個備えてもよい。これにより、ステップS6(図4)で選択されたモーダルによって情報を出力する出力部が複数個存在する場合がある。この場合、ステップS7(図4)において、通知部105は、所定の方法で、当該複数個の出力部の中から一の出力部を選択し、当該一の出力部に通知情報を出力させる制御コマンドを生成するようにすればよい。前記所定の方法には、例えば、前記複数個の出力部の中からランダムに一の出力部を選択する方法、及び、前記複数個の出力部に予め優先順位を付与しておき、優先順位が最も高い出力部を選択する方法等が含まれる。
 (11)例えば、通知対象者がキッチンで音楽を聴きながら料理をしている場合に、図4に示す情報の通知処理が行われ、ステップS6において、当該通知対象者の活動強度に基づいて、モーダル「音声」が通知情報の通知に用いるモーダル(以降、通知モーダル)として選択される虞がある。また、センサ400の故障等が原因で、ステップS3(図4)において誤った活動強度が取得され、通知対象者にとって不適切なモーダルが通知モーダルとして選択される虞がある。これらの場合、通知モーダルによって通知情報が通知されたとしても、通知対象者は、通知情報が通知されたこと又は通知情報の内容を把握できない虞がある。
 そこで、通知モーダルによる通知情報の通知に対する通知対象者の反応に基づいて、当該通知モーダルによる通知情報の通知が適切であったか否かを判定する処理(以降、適否判定処理)を行うようにしてもよい。そして、適否判定処理において、通知モーダルによる通知情報の通知が不適切であったと判定した場合、通知モーダルを選択し直し、当該通知モーダルによって通知情報の通知を行うようにしてもよい。本構成は、例えば以下のようにして実現することができる。
 ステップS8(図4)の後、プロセッサ10は適否判定処理を実行する。適否判定処理において、プロセッサ10は、ステップS8(図4)で通知部105が通知モーダルによって通知情報を通知した時点から、所定の待機時間(例えば5分)が経過したときに、通知モーダルによる通知情報の通知が適切であったか否かを判定する。
 具体的には、プロセッサ10は、通知対象者のユーザIDに対応付けられた照合用データをメモリ11から取得する。プロセッサ10は、メモリ11に記憶されている監視カメラ及び電波センサが送信したセンサ情報のうち、通知部105が通知情報を通知した時点から所定の反応時間(例えば1分)以内の検出日時情報を含んだセンサ情報を参照する。
 プロセッサ10は、参照したセンサ情報から、前記照合用データが示す通知対象者の特徴を含む画像データ又は外形データを取得する。プロセッサ10は、公知の画像処理及び動作解析処理によって、当該画像データ又は外形データから、通知対象者が所定の反応動作を行ったことを検出できた場合、通知モーダルによる通知情報の通知が適切であったと判定する。反応動作とは、人が、通知された情報を認識したときに行う動作である。例えば、反応動作には、顔の向きを変える、手を叩く、両手を挙げる、拳を握る等が含まれる。
 一方、プロセッサ10は、参照したセンサ情報から、前記照合用データが示す通知対象者の特徴を含む画像データ又は外形データを取得できなかった場合、及び、取得した画像データ又は外形データから通知対象者が反応動作を行ったことを検出できなかった場合、通知モーダルによる通知情報の通知が不適切であったと判定する。
 尚、適否判定処理は、上記に限らず、以下のように実現してもよい。センサ400には、更にマイクが含まれる。マイクは、スマートスピーカー及びノートパソコン等に内蔵されたマイクであってもよい。マイクは、当該マイク周辺の音声を検出し、検出した音声を示す音声データ及びマイクの設置位置を検出情報として含むセンサ情報を、情報通知装置100に送信する。これに合わせて、メモリ11に記憶されている照合用データには、更にユーザの声を示す音声データが含まれる。
 プロセッサ10は、メモリ11に記憶されている、監視カメラ及びマイクが送信したセンサ情報のうち、通知部105が通知情報を通知した時点から前記反応時間(例えば1分)以内の検出日時情報を含んだセンサ情報を参照する。
 プロセッサ10は、参照したセンサ情報から、前記照合用データが示す通知対象者の特徴を含む画像データ又は前記照合用データが示す通知対象者の声を示す音声データを取得する。プロセッサ10は、公知の画像処理及び音声処理によって、当該画像データ又は音声データから、通知対象者が所定の反応感情を示したことを検出できた場合、通知モーダルによる通知情報の通知が適切であったと判定する。反応感情とは、人が、通知された情報を認識したときに示す感情である。例えば、反応感情には、喜ぶ、怒る、悲しむ、驚く、黙り込む等が含まれる。
 一方、プロセッサ10は、参照したセンサ情報から、前記照合用データが示す通知対象者の特徴を含む画像データ及び前記照合用データが示す通知対象者の声を示す音声データを取得できなかった場合、並びに、取得した画像データ又は音声データから、通知対象者が前記反応感情を示したことを検出できなかった場合、通知モーダルによる通知情報の通知が不適切であったと判定する。
 プロセッサ10は、適否判定処理において通知モーダルによる通知情報の通知が不適切であったと判定した場合、以降の適否判定処理において通知モーダルによる通知情報の通知が適切であったと判定されるまで、ステップS2(図4)以降の処理を行った後に適否判定処理を行うことを繰り返す。プロセッサ10は、適否判定処理において通知モーダルによる通知情報の通知が適切であったと判定されると、図4に示す情報の通知処理を終了する。
 尚、ステップS2以降の処理及び適否判定処理を繰り返す場合のステップS6(以降、再ステップS6)では、選択部104が、図4に示す情報の通知処理の開始以降、通知モーダルとして選択されていないモーダルを、通知モーダルとして選択するようにしてもよい。
 また、再ステップS6において、選択部104が、通知対象者が予め設定した初期リクエスト情報に基づいて、通知モーダルを選択するようにしてもよい。初期リクエスト情報とは、ユーザが通知情報の通知に用いることを希望するモーダルを示す情報である。初期リクエスト情報は、ユーザ端末又は情報通知装置100等におけるユーザの操作によって入力され、当該ユーザのユーザIDと対応付けてメモリ11に予め記憶されている。
 つまり、再ステップS6では、選択部104が、メモリ11に記憶されている通知対象者のユーザIDに対応する初期リクエスト情報を参照し、初期リクエスト情報が示すモーダルを通知モーダルとして選択するようにしてもよい。
 また、例えば、通知対象者が眼帯をしている場合、視覚に刺激を与えるモーダルによって通知対象者に通知情報を通知したとしても、通知対象者は、通知情報が通知されたこと又は通知情報の内容を把握できない虞がある。そこで、再ステップS6において、選択部104が、通知対象者の、モーダルによって刺激され得る部位(以降、関連身体部位)の状態に基づいて通知モーダルを選択するようにしてもよい。関連身体部位には、目、耳、手が含まれる。本構成は、例えば以下のようにして実現することができる。
 再ステップS6において、選択部104は、通知対象者のユーザIDに対応付けられた照合用データをメモリ11から取得する。選択部104は、メモリ11に記憶されているセンサ情報のうち、直近のステップS8(図4)において通知部105が通知情報を通知した時点から前記反応時間(例えば1分)以内の検出日時情報を含んだセンサ情報を参照する。
 選択部104は、参照したセンサ情報から、前記照合用データが示す通知対象者の関連身体部位を含む画像データ及び外形データを取得する。プロセッサ10は、公知の画像処理及び動作解析処理によって、当該画像データ及び外形データから、通知対象者の関連身体部位の状態を示す情報(以降、部位状態情報)を取得する。関連身体部位の状態には、例えば、目を閉じている、目が塞がれている、耳が塞がれている、手を使っている等が含まれる。
 メモリ11には、部位状態情報と、一以上のモーダルと、当該一以上のモーダルの中から各モーダルを採用する優先順位と、を対応付けた第7ルールテーブルが記憶されている。
 例えば、通知対象者の目が塞がれている場合、通知対象者は、モーダル「光」よりもモーダル「振動」、「音」によって通知情報を通知される方が当該通知情報を認識し易いと考えられる。また、当該通知対象者の目が手で塞がれている場合、モーダル「振動」よりもモーダル「音」によって通知情報を通知される方が当該通知情報を認識し易いと考えられる。このため、第7ルールテーブルでは、目が塞がれていることを示す部位状態情報「目が塞がれている」と三個のモーダル「音」、「振動」、「光」とが対応付けて記憶され、三個のモーダル「音」、「振動」、「光」には、それぞれ、優先順位「1」、「2」、「3」が対応付けて記憶されている。
 そこで、選択部104は、再ステップS6において、メモリ11に記憶されている第7ルールテーブルを参照し、センサ情報から取得した部位状態情報に対応けられている一以上のモーダルのうち、図4に示す情報の通知処理の開始以降、通知モーダルとして選択されていないモーダルであって、且つ、最も高い優先順位に対応付けられているモーダルを通知モーダルとして選択する。
 更に、適否判定処理において通知モーダルによる通知情報の通知が不適切であったと判定された場合に行われるステップS8(以降、再ステップS8)において、通知モーダルによって通知情報を通知するときの態様を、当該通知モーダルと同じモーダルを用いて前回通知情報を通知したときの第1態様とは異なる第2態様に変更するようにしてもよい。
 例えば、ステップS8(図4)又は再ステップS8において、通知モーダル「振動」によって通知情報が第1態様「10秒間連続で振動する」で通知された後、適否判定処理において通知モーダル「振動」による通知情報の通知が不適切であったと判定されたとする。また、当該判定の直後に行われる再ステップS6において、モーダル「振動」が再び通知モーダルとして選択されたとする。
 この場合、当該判定後に行われる再ステップS8では、通知部105が、第1態様「10秒間連続で振動する」とは異なる第2態様「20秒間、間欠的に振動する」で、通知モーダル「振動」を用いて通知情報を通知するようにしてもよい。本構成は、例えば、以下のようにして実現することができる。
 メモリ11には、一以上のモーダルと、各モーダルによって通知情報を通知するときの複数の態様と、を対応付けた第8ルールテーブルが記憶されている。通知部105は、再ステップS8において、第8ルールテーブルを参照し、直近の再ステップS6で選択された通知モーダルに対応する複数の態様のうち、当該通知モーダルを用いて前回通知情報を通知したときの第1態様とは異なる第2態様で、通知情報を通知する。
 具体的には、通知部105は、ステップS8(図4)において、ステップS7(図4)で生成した制御コマンドに、通知情報を所定の初期態様で通知することを指示する制御コマンドを含め、当該制御コマンドを出力システム300に送信する。これにより、ステップS6で選択されたモーダルによって情報を出力する出力部は、当該制御コマンドに従って、通知情報を前記初期態様で出力する。
 同様に、通知部105は、再ステップS8において、直近のステップS7で生成した制御コマンドに、通知情報を第2態様で通知することを指示する制御コマンドを含め、当該制御コマンドを出力システム300に送信する。これにより、再ステップS6で選択されたモーダルによって情報を出力する出力部は、当該制御コマンドに従って、通知情報を前記第2態様で出力する。
 また、通知対象者に対する通知モーダルによる通知情報の通知後、適否判定処理が行われる度に、当該適否判定処理の結果を示す情報(以降、判定結果情報)をメモリ11に記録するようにしてもよい。これに合わせて、再ステップS6では、メモリ11に記憶されている判定結果情報に基づいて、通知対象者に対する通知情報の通知に用いる通知モーダルを選択し直すようにしてもよい。本構成は、例えば、以下のようにして実現することができる。
 具体的には、プロセッサ10は、適否判定処理を実行する度に、当該適否判定処理の結果を示す判定結果情報をメモリ11に記憶する。判定結果情報には、通知対象者のユーザIDと、適否判定処理の対象のモーダルと、当該適否判定処理において通知情報の通知が適切であったと判定されたか否かを示す情報と、が含まれる。適否判定処理の対象のモーダルとは、当該適否判定処理の直前のステップS8(図4)で通知対象者に対する通知情報の通知に用いられた通知モーダルである。
 再ステップS6では、選択部104は、メモリ11に記憶されている、通知対象者のユーザIDを含む判定結果情報を参照し、通知情報の通知が適切であったと判定されたことを示す情報の数が多いモーダルから順番に、通知モーダルとして選択する。
 (12)本開示は、上記の第1の実施の形態、第2の実施の形態及び変形例(1)~(11)を任意に組み合わせてもよい。
 本開示によれば、種々の活動が可能な施設においてユーザの活動を阻害せずに情報を通知する上で有用である。

Claims (20)

  1.  人間の五感の少なくとも一つを刺激するモーダルによって情報を通知する情報通知方法であって、
     コンピュータが、
     通知対象者の所在位置を取得し、
     前記所在位置における前記通知対象者の活動強度を取得し、
     前記通知対象者への情報の通知に利用可能なモーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第1モーダルを決定し、
     前記モーダル群に含まれる前記第1モーダルとは異なるモーダルの中から、前記通知対象者への情報の通知に用いる第2モーダルを選択し、
     前記第2モーダルによって前記通知対象者に情報を通知する、
     情報通知方法。
  2.  前記第1モーダルの決定では、
     前記所在位置及び前記活動強度に基づいて前記通知対象者の活動内容を推定し、前記活動内容に基づいて前記第1モーダルを決定する、
     請求項1に記載の情報通知方法。
  3.  更に、前記所在位置から所定範囲内に存在する、前記通知対象者とは他の人物を検出し、
     更に、前記他の人物の属性又は前記他の人物の状況に基づいて、前記他の人物の活動を阻害するモーダル及び前記通知対象者に通知する情報を前記他の人物に漏洩し得るモーダルのうち少なくとも一方を、前記第1モーダルとして追加する、
     請求項1又は2に記載の情報通知方法。
  4.  更に、前記所在位置を取得した時間帯を取得し、
     更に、前記時間帯に予め対応付けられた、人物の活動を阻害するモーダルを、前記第1モーダルとして追加する、
     請求項1に記載の情報通知方法。
  5.  前記第1モーダルの決定では、
     前記通知対象者が存在し得る位置と、前記位置における前記通知対象者の活動の強度と、前記モーダル群に含まれる各モーダルが前記通知対象者の活動を阻害するか否かを示す可否情報と、を対応付けたテーブルにおいて、前記所在位置と一致する前記位置と、前記活動強度と一致する前記活動の強度と、に対応付けられた前記可否情報が、前記通知対象者の活動を阻害することを示すモーダルを、前記第1モーダルとして決定し、
     更に、前記テーブルの内容の変更を受け付ける、
     請求項1に記載の情報通知方法。
  6.  前記第2モーダルの選択では、
     前記モーダル群に含まれる前記第1モーダルとは異なるモーダルのうち、前記所在位置又は前記所在位置よりも遠くの位置まで情報を通知可能な第3モーダルを、前記第2モーダルとして選択する、
     請求項1に記載の情報通知方法。
  7.  前記モーダル群に含まれる各モーダルには、第1の優先順位が設定されており、
     前記第2モーダルの選択では、
     前記第3モーダルが複数のモーダルである場合、前記第3モーダルの中で最も高い前記第1の優先順位が設定されたモーダルを、前記第2モーダルとして選択する、
     請求項6に記載の情報通知方法。
  8.  更に、前記モーダル群に含まれる前記第1モーダルとは異なるモーダルのうち、前記所在位置又は前記所在位置よりも遠くの位置まで情報を通知可能な第4モーダルによって、前記通知対象者に、情報の通知があることを通知する、
     請求項1に記載の情報通知方法。
  9.  前記モーダル群に含まれる各モーダルには、第2の優先順位が設定されており、
     前記第4モーダルが複数のモーダルである場合、前記第4モーダルの中で最も高い前記第2の優先順位が設定されたモーダルによって、前記通知対象者に、情報の通知があることを通知する、
     請求項8に記載の情報通知方法。
  10.  更に、前記第1モーダルから、活動中の前記通知対象者の注意を向けることが困難な第5モーダルを除外し、
     前記第5モーダルを前記第2モーダルとして選択した場合、前記第5モーダルによって、通常時よりも強調して、前記通知対象者に情報を通知する、
     請求項1に記載の情報通知方法。
  11.  更に、前記通知対象者による情報の入力に利用可能な入力モーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第6モーダルを決定し、
     更に、前記入力モーダル群に含まれる前記第6モーダルとは異なるモーダルの中から、前記通知対象者による情報の入力に用いる第7モーダルを選択し、
     前記第2モーダルによる情報の通知では、
     更に、前記第7モーダルによる情報の入力が可能であることを通知する、
     請求項1に記載の情報通知方法。
  12.  前記所在位置の取得では、
     センサを用いて前記センサが配置された空間に前記通知対象者が存在するか否かを検出し、
     前記通知対象者が存在することを検出したセンサが配置されている空間を、前記所在位置として取得する、
     請求項1に記載の情報通知方法。
  13.  更に、前記所在位置の入力を受け付け、
     前記所在位置の取得では、
     受け付けた前記所在位置を取得する、
     請求項1に記載の情報通知方法。
  14.  前記活動強度の取得では、
     センサを用いて前記センサが配置された空間に存在する前記通知対象者の動作速度を検出し、
     前記通知対象者の動作速度に基づいて、前記活動強度を取得する、
     請求項1に記載の情報通知方法。
  15.  前記活動強度の取得では、
     センサを用いて前記センサが配置された空間に存在する前記通知対象者の姿勢を検出し、
     前記通知対象者の姿勢に基づいて、前記活動強度を取得する、
     請求項1に記載の情報通知方法。
  16.  前記活動強度の取得では、
     センサを用いて前記通知対象者の動作速度を検出し、検出した前記通知対象者の動作速度に基づいて前記活動強度を取得する方法と、センサを用いて前記通知対象者の姿勢を検出し、検出した前記活動強度を取得する方法と、の二つの取得方法のうち、前記所在位置に予め対応付けられた取得方法によって前記活動強度を取得する、
     請求項1に記載の情報通知方法。
  17.  前記活動強度の取得では、
     センサを用いて前記通知対象者の動作速度を検出し、検出した前記通知対象者の動作速度に基づいて前記活動強度を取得する方法と、センサを用いて前記通知対象者の姿勢を検出し、検出した前記活動強度を取得する方法と、の二つの取得方法のうち、前記所在位置において前記通知対象者が取り得る姿勢の数に予め対応付けられた取得方法によって前記活動強度を取得する、
     請求項1に記載の情報通知方法。
  18.  更に、前記活動強度の入力を受け付け、
     前記活動強度の取得では、
     受け付けた前記活動強度を取得する、
     請求項1に記載の情報通知方法。
  19.  人間の五感の少なくとも一つを刺激するモーダルによって情報を通知する情報通知装置であって、
     通知対象者の所在位置を取得する第1取得部と、
     前記所在位置における前記通知対象者の活動強度を取得する第2取得部と、
     前記通知対象者への情報の通知に利用可能なモーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第1モーダルを決定する決定部と、
     前記モーダル群に含まれる前記第1モーダルとは異なるモーダルの中から、前記通知対象者への情報の通知に用いる第2モーダルを選択する選択部と、
     前記第2モーダルによって前記通知対象者に情報を通知する通知部と、
     を備える情報通知装置。
  20.  人間の五感の少なくとも一つを刺激するモーダルによって情報を通知する情報通知装置のコンピュータを機能させるプログラムであって、
     前記コンピュータを、
     通知対象者の所在位置を取得する第1取得部と、
     前記所在位置における前記通知対象者の活動強度を取得する第2取得部と、
     前記通知対象者への情報の通知に利用可能なモーダル群の中から、前記所在位置及び前記活動強度に基づいて、前記通知対象者の活動を阻害する第1モーダルを決定する決定部と、
     前記モーダル群に含まれる前記第1モーダルとは異なるモーダルの中から、前記通知対象者への情報の通知に用いる第2モーダルを選択する選択部と、
     前記第2モーダルによって前記通知対象者に情報を通知する通知部、
    として機能させるプログラム。
PCT/JP2022/040247 2022-02-01 2022-10-27 情報通知方法、情報通知装置及びプログラム WO2023149031A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022014431 2022-02-01
JP2022-014431 2022-02-01

Publications (1)

Publication Number Publication Date
WO2023149031A1 true WO2023149031A1 (ja) 2023-08-10

Family

ID=87552133

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/040247 WO2023149031A1 (ja) 2022-02-01 2022-10-27 情報通知方法、情報通知装置及びプログラム

Country Status (1)

Country Link
WO (1) WO2023149031A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002872A1 (ja) * 2014-07-04 2016-01-07 クラリオン株式会社 情報処理装置
JP2016131603A (ja) * 2015-01-16 2016-07-25 セイコーエプソン株式会社 身体活動検出装置
WO2017138212A1 (ja) * 2016-02-08 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019111465A1 (ja) * 2017-12-04 2019-06-13 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016002872A1 (ja) * 2014-07-04 2016-01-07 クラリオン株式会社 情報処理装置
JP2016131603A (ja) * 2015-01-16 2016-07-25 セイコーエプソン株式会社 身体活動検出装置
WO2017138212A1 (ja) * 2016-02-08 2017-08-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
WO2019111465A1 (ja) * 2017-12-04 2019-06-13 ソニー株式会社 情報処理装置、情報処理方法、および記録媒体

Similar Documents

Publication Publication Date Title
US11521477B2 (en) Providing priming cues to a user of an electronic device
KR101726945B1 (ko) 수동 시작/종료 포인팅 및 트리거 구문들에 대한 필요성의 저감
WO2016157658A1 (ja) 情報処理装置、制御方法、およびプログラム
JP2005284492A (ja) 音声利用操作装置
KR20070029794A (ko) 유저와 시스템 사이에 통신을 하기 위한 방법 및 시스템
JP2017203967A (ja) 音声出力制御装置、電子機器、および音声出力制御装置の制御方法
JP2009087074A (ja) 機器制御システム
US10946280B2 (en) In-game reactions to interruptions
WO2019215983A1 (ja) 情報処理システム、情報処理方法、および記録媒体
JP6864831B2 (ja) ロボット装置及びプログラム
WO2023149031A1 (ja) 情報通知方法、情報通知装置及びプログラム
US11657821B2 (en) Information processing apparatus, information processing system, and information processing method to execute voice response corresponding to a situation of a user
WO2018146184A1 (en) A method and apparatus for monitoring a subject
JP2021033676A (ja) 情報処理装置及びプログラム
US20230360507A1 (en) In-home event intercom and notifications
KR20170092379A (ko) 전자장치 및 그 제어방법
US20210280022A1 (en) Voice message communication apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22924936

Country of ref document: EP

Kind code of ref document: A1