WO2021024649A1 - 情報処理装置、方法およびプログラム - Google Patents

情報処理装置、方法およびプログラム Download PDF

Info

Publication number
WO2021024649A1
WO2021024649A1 PCT/JP2020/025574 JP2020025574W WO2021024649A1 WO 2021024649 A1 WO2021024649 A1 WO 2021024649A1 JP 2020025574 W JP2020025574 W JP 2020025574W WO 2021024649 A1 WO2021024649 A1 WO 2021024649A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
processing device
information processing
unit
notification
Prior art date
Application number
PCT/JP2020/025574
Other languages
English (en)
French (fr)
Inventor
達人 佐藤
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to EP20850245.0A priority Critical patent/EP4009297A4/en
Priority to CN202080054253.0A priority patent/CN114207681A/zh
Priority to US17/624,676 priority patent/US11887457B2/en
Publication of WO2021024649A1 publication Critical patent/WO2021024649A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/04—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons
    • G08B21/0407—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis
    • G08B21/0423—Alarms for ensuring the safety of persons responsive to non-activity, e.g. of elderly persons based on behaviour analysis detecting deviation from an expected pattern of behaviour or schedule
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1654—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems
    • G08B13/1672—Actuation by interference with mechanical vibrations in air or other fluid using passive vibration detection systems using sonic detecting means, e.g. a microphone operating in the audio frequency range
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19647—Systems specially adapted for intrusion detection in or around a vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/001—Alarm cancelling procedures or alarm forwarding decisions, e.g. based on absence of alarm confirmation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/10—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using wireless transmission systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification techniques
    • G10L17/26—Recognition of special voice characteristics, e.g. for use in lie detectors; Recognition of animal voices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/0003—Home robots, i.e. small robots for domestic use
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19697—Arrangements wherein non-video detectors generate an alarm themselves
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination

Definitions

  • This disclosure relates to information processing devices, methods and programs.
  • a pet-type robot that patrols the house and reports to the residents and police when an abnormality is detected in the house.
  • a pet-type robot detects the above abnormality based on preset rule information.
  • the information processing device of one aspect according to the present disclosure obtains the sensing result based on the sensing result of the sensor that senses the environmental information in the predetermined area and the preset rule information. Based on the transmitting unit that transmits the notification information based on the terminal device, the receiving unit that receives the feedback information for the notification information transmitted by the transmitting unit from the terminal device, and the feedback information received by the receiving unit. , It is provided with an update unit for updating the rule information.
  • the rule information can be easily optimized.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 3 is a diagram (3) showing a specific example of notification information displayed on a terminal device.
  • FIG. (4) which shows the specific example of the notification information displayed on a terminal device.
  • FIG. 3 is a schematic diagram which shows an example of the information processing which concerns on embodiment. It is a flowchart which shows the processing procedure which the information processing apparatus which concerns on embodiment execute.
  • the robot detects an abnormality based on preset rule information and notifies the above terminal device.
  • the rule information is information about a rule when transmitting notification information, and includes dictionary information and condition information described later.
  • FIG. 1 is a diagram showing an outline of an information processing system according to the present embodiment.
  • the information processing system according to the embodiment includes an information processing device 1 and a terminal device 10.
  • the information processing device 1 is a pet type robot
  • the information processing device 1 is replaced with a humanoid robot, a cleaning robot, and the like. It may be a drone or the like.
  • the information processing device 1 may be a fixed type or may be attached to an actual pet (for example, a dog).
  • the pet-type robot is an example of a mobile robot.
  • the information processing device 1 is, for example, a pet-type robot, and performs an event in the house H based on the detection result of a sensor that patrols the house H and senses environmental information in the house H. To detect.
  • a sensor that patrols the house H and senses environmental information in the house H to detect.
  • the event is not limited to the abnormality and can be changed arbitrarily.
  • the information processing device 1 has a microphone sensor 22 and a camera sensor 23, and is based on the sound data collected by the microphone sensor 22 and the image data captured by the camera sensor 23. Therefore, it is possible to detect an abnormal sound or a suspicious person in the house H.
  • the information processing device 1 detects an abnormality in the house H, it transmits notification information based on the abnormality to the user's terminal device 10.
  • the information processing device 1 shows a scene in which a home helper assisting a resident is detected as a suspicious person.
  • the image data that detects the home helper that is, the data that is the basis of the abnormality, the detection time, the position of the camera sensor when the image data is captured, the angle of view, and the position of the home helper. Display information about such as.
  • the terminal device 10 generates feedback information for the notification information based on the user's operation for the notification information, and transmits the feedback information to the information processing device 1.
  • the terminal device 10 transmits feedback information indicating that the person (home helper) shown in the image data is not a suspicious person to the information processing device 1.
  • the information processing device 1 can identify that the home helper is not a suspicious person based on the feedback information, and updates the above rule information. That is, by registering the home helper in the rule information as a person who is not a suspicious person, the information processing device 1 does not have to detect the home helper as a suspicious person in the subsequent processing.
  • the information processing device 1 does not transmit the notification information that makes the home helper a suspicious person to the terminal device 10, so that unnecessary notification information for the terminal device 10 can be reduced.
  • the information processing device 1 can gradually refine the rule information by sequentially updating the rule information based on the feedback information for the notification information. Therefore, according to the information processing device 1, it is not necessary for the user to set detailed rule information in advance, and the rule information can be optimized by a simple operation, which facilitates the optimization of the rule information. be able to.
  • FIG. 2 is a block diagram showing a configuration example of the information processing device 1 according to the embodiment.
  • the information processing apparatus 1 is provided with a moving mechanism for moving in the house H. Further, in the following, the information processing device 1 will be described as patrolling a predetermined area (inside the house H) at a preset cycle or time, for example.
  • the information processing device 1 includes a sensor unit 2, a communication unit 3, a storage unit 4, and a control unit 5.
  • the sensor unit 2 has a sensor that senses environmental information in a predetermined area (inside the house H).
  • the sensor unit 2 includes a depth sensor 21, a microphone sensor 22, and a camera sensor 23.
  • the depth sensor 21 is a device that acquires depth information such as an infrared range finder, an ultrasonic range finder, a LiDAR (Laser Imaging Detection and Ringing), or a stereo camera.
  • the microphone sensor 22 is a device that collects ambient sound and outputs audio data converted into a digital signal via an amplifier and an ADC (Analog Digital Converter).
  • the camera sensor 23 is an imaging device that has a lens system such as an RGB camera and an image pickup device, and captures an image (still image or moving image).
  • the information processing device 1 may acquire the sensing result of a predetermined area from the sensor unit 2 provided separately from the information processing device 1. Further, when the information processing device 1 is not a mobile robot, that is, when the sensor unit 2 is fixed, a plurality of sensor units 2 may be provided.
  • the communication unit 3 is a communication module that transmits / receives data to / from the terminal device 10 via a predetermined network. Further, the communication unit 3 includes a reception unit 31 and a transmission unit 32. The receiving unit 31 receives the above feedback information from the terminal device 10 and notifies the control unit 5. The transmission unit 32 transmits the above notification information to the terminal device 10.
  • the storage unit 4 stores map information 41, person dictionary information 42, voice dictionary information 43, image database 44, voice database 45, threshold information 46, and condition information 47.
  • the map information 41 is information related to the map in the house H, and is, for example, information generated by the control unit 5 described later based on the depth information input from the depth sensor 21.
  • FIG. 3 is a diagram showing a specific example of the map information 41 according to the embodiment. As shown in FIG. 3, the storage unit 4 stores the spatial information in the house H as the map information 41.
  • the map information 41 is information indicating obstacles (walls, furniture, etc.) and floor plans.
  • the person dictionary information 42 is an example of dictionary information, and is information that serves as an event detection criterion.
  • the person dictionary information 42 is information regarding the feature amount on the image data of the authorized user registered by the user.
  • FIG. 4 is a diagram showing a specific example of the person dictionary information 42 according to the embodiment.
  • the person dictionary information 42 is information in which a "person ID”, a “feature amount”, a "name”, and the like are associated with each other.
  • the "person ID” is an identifier that identifies each authorized user.
  • the “feature amount” indicates the feature amount of the corresponding authorized user. More specifically, the feature amount is the feature amount of the face of the authorized user. In the example shown in FIG. 4, the feature amount is abstracted and shown as "B001", but it is assumed that specific information is stored in "B001".
  • the person dictionary information 42 may include information related to the attributes of the authorized user.
  • the attributes here include, for example, family, friends, guests, and the like.
  • the user can, for example, register the image data of the family in the person dictionary information 42 at the time of initial setting, but the user can add new information to the person dictionary information 42 by a feedback operation for the notification information displayed on the terminal device 10. You can also register authorized users.
  • FIG. 5 is a diagram showing an example of a registration operation of the person dictionary information 42 according to the embodiment. As shown in FIG. 5, for example, the terminal device 10 displays image data of a person detected as a suspicious person by the information processing device 1.
  • the screen transitions to the registration screen of the authorized user.
  • the case where the information on the detection history of the same person detected as a suspicious person in the information processing device 1 and the additional registration button B1 are displayed on the terminal device 10 is shown.
  • an input screen (not shown) such as a name is displayed on the terminal device 10, and information about a person is input to the input screen.
  • the terminal device 10 transmits such information as feedback information for the notification information to the information processing device 1, and the information processing device 1 updates the person dictionary information 42 based on the feedback information.
  • the information processing device 1 can register the feature amount of the authorized user in the person dictionary information 42. Further, a person who is originally a permitted user but is not detected as a permitted user will be notified to the terminal device 10 as a suspicious person. In this case, the user can also perform an operation to make such a person displayed on the terminal device 10 an already registered authorized user, and feedback information from the terminal device 10 to make the above person an existing authorized user. Is transmitted to the information processing device 1.
  • the information processing device 1 updates the person dictionary information 42 based on the feedback information. That is, it is also possible to learn the feature amount of the authorized user already registered in the person dictionary information 42 at any time. As a result, the recognition accuracy of the existing authorized user can be improved.
  • the voice dictionary information 43 is an example of dictionary information, like the person dictionary information 42.
  • the voice dictionary information 43 is information regarding the feature amount of each voice.
  • FIG. 6 is a diagram showing a specific example of the voice dictionary information 43 according to the embodiment. As shown in FIG. 6, the voice dictionary information 43 is information in which "life sound ID", "feature amount”, "registration information" and the like are associated with each other.
  • the information processing device 1 stores not the feature amount related to the abnormal sound but the feature amount of the daily life sound, that is, the feature amount of each voice other than the abnormal sound as the voice dictionary information 43. This is because there are a wide variety of abnormal sounds compared to daily life sounds, and it is difficult to comprehensively register all abnormal sounds in advance. In addition, it is difficult to define the abnormal sound because what kind of sound is regarded as the abnormal sound differs depending on the environment.
  • the "living sound ID” is an identifier that identifies each living sound.
  • the “feature amount” is a feature amount of the sound of the corresponding life sound.
  • the feature amount is shown as an abstraction such as "D001", but it is assumed that specific information is stored in "D001".
  • Registration information is information regarding the date and time when the life sound of the corresponding life sound ID was registered. Similar to the person dictionary information 42, the information processing device 1 can update the voice dictionary information 43 based on the feedback information for the notification information.
  • the voice dictionary information 43 may include information related to abnormal sounds.
  • the voice data that is regarded as an abnormal sound by the feedback information may be registered as an abnormal sound.
  • the image database 44 is a database that stores image data captured by the camera sensor 23.
  • FIG. 7 is a diagram showing a specific example of the image database 44 according to the embodiment.
  • the image database 44 stores "image data”, “imaging time”, “imaging position”, “imaging orientation”, “feature amount”, “person ID”, etc. in association with each other.
  • the “image data” is the image data body.
  • the “imaging time” indicates the imaging time of the image data.
  • the “imaging orientation” indicates the orientation of the camera sensor 23 when the corresponding image data is captured.
  • Feature amount indicates the feature amount of the person reflected in the image data.
  • the "person ID” indicates a person ID of a person appearing in the image data. In the example of FIG. 7, the fact that the person ID of the image ID "E002" is not registered indicates that a person who is not registered in the person dictionary information 42 appears in the image data.
  • the voice database 45 is a database that stores voice data collected by the microphone sensor 22.
  • FIG. 8 is a diagram showing a specific example of the voice database 45 according to the embodiment. As shown in FIG. 8, in the voice database 45, "voice data”, “recording point”, “sound source”, “feature amount”, “life sound ID” and the like are stored in association with each other.
  • “Voice data” is the main body of voice data.
  • the “recording time” indicates the time when the corresponding voice data was recorded, and the “recording point” indicates the position where the corresponding voice data was recorded.
  • “Sound source” indicates the position of the sound source of the corresponding audio data.
  • the "feature amount” indicates the feature amount extracted from the voice data
  • the "life sound ID” indicates the life sound ID of the life sound that matches the corresponding voice data.
  • the voice data “E002” is not given a life sound ID, and does not match the life sound registered in the voice dictionary information 43.
  • the threshold value information 46 is information regarding a threshold value for the degree of similarity between the feature amount registered in the person dictionary information 42 and the voice dictionary information 43 and the feature amount of the image data and the voice data.
  • a plurality of threshold values are stored as threshold information 46 for each of the image data and the audio data.
  • FIG. 9 is a schematic diagram of the threshold value for the similarity according to the embodiment.
  • the information processing apparatus 1 has a similar distance between the feature amount of the voice data or the image data and the feature amount registered in the person dictionary information 42 or the voice dictionary information 43 (hereinafter, referred to as a model feature amount). To calculate. The smaller the similarity distance, the higher the similarity between the two data.
  • the threshold information 46 is information regarding a plurality of thresholds.
  • the threshold information 46 is information about the first threshold Th1 and the second threshold Th2 whose value is smaller than the first threshold Th1.
  • the similar distances are leveled based on the first threshold Th1 and the second threshold Th2.
  • the level is 1, and the similarity distance is less than the first threshold Th1 and the second threshold. If it exceeds Th2, it becomes level 2. If the similar distance is less than the second threshold Th2, the level is 1.
  • the information processing device 1 can include the above level information (hereinafter referred to as level information) in the notification information and transmit it, and this point will be described later.
  • level information level information
  • the threshold value information 46 is information regarding two threshold values of the first threshold value Th1 and the second threshold value Th2 is shown, but the threshold value may be one or three or more. May be good. Further, different threshold values may be set for the audio data and the image data.
  • the condition information 47 is information regarding transmission conditions for notifying the notification information.
  • the information processing device 1 can suppress the notification of unnecessary notification information that does not meet the transmission condition by transmitting only the notification information that satisfies the transmission condition of the condition information 47 to the terminal device 10.
  • FIG. 10 is a diagram showing a specific example of condition information 47 indicating transmission conditions according to the embodiment.
  • the condition information 47 is information in which a "condition ID”, a "data type”, a "transmission condition", and the like are associated with each other.
  • condition ID is an identifier that identifies the transmission condition.
  • Data type indicates the type of data (image data or audio data) in which an abnormality is detected.
  • Transmission condition indicates a condition to be notified when an abnormality is detected. That is, the notification information is notified only when the transmission condition is satisfied.
  • condition ID "E001” has a data type of image data and a transmission condition of time "9:00 to 15:00".
  • the user can suppress the transmission of unnecessary notification information from the information processing device 1 by setting the time when the user or his / her family is away as the transmission condition.
  • the information processing device 1 may learn the time when the user himself / herself or his / her family is away, and set the transmission condition regarding the time based on the learning result.
  • condition ID "E002" shown in FIG. 10 has a data type of voice data and a transmission condition of a position "other than F004".
  • the condition ID "E002” does not transmit the notification information to the terminal device 10 when the source of the abnormal sound is the point "F004", and notifies when the above source is a point other than "F004". Indicates that the information is transmitted to the terminal device 10.
  • FIG. 11 is a diagram showing a specific example of a user operation at the time of updating the transmission condition according to the embodiment.
  • the terminal device 10 displays a map based on the map information 41 as a transmission condition setting screen.
  • the user can specify the above-mentioned "position" by selecting the position of the sound source such as a television or a speaker from the map displayed on the terminal device 10. That is, in this case, the sound generated from the television or the speaker is not notified to the terminal device 10 as an abnormal sound.
  • the sound source such as a television or a speaker
  • the data type is described as image data or audio data, but it is possible to set in more detail.
  • the information processing device 1 may analyze the behavior of the authorized user from the image data and set the transmission condition so as to transmit the notification information when the authorized user takes a predetermined behavior.
  • the transmission condition is set so that the notification information is transmitted. Is also possible.
  • the control unit 5 has a function of controlling each configuration included in the information processing device 1. Further, as shown in FIG. 2, the control unit 5 includes a map generation unit 51, a voice detection unit 52, a sound source estimation unit 53, a person detection unit 54, a determination unit 55, and a notification information generation unit 56. It includes an update unit 57.
  • the map generation unit 51 creates a map of a predetermined area (inside the house H) based on the depth information detected by the depth sensor 21, and stores it in the storage unit 4 as the map information 41.
  • the map generation unit 51 can generate map information 41 by SLAM (Simulation Localization and Mapping).
  • the map generation unit 51 may update the map information 41 at a predetermined cycle on the assumption that the furniture in the house H will be rearranged, or generate a map every time the patrol occurs. You may decide. Further, the information processing device 1 may store the map generated by another device as the map information 41.
  • the voice detection unit 52 is an example of a detection unit, and detects the occurrence of an abnormal sound by an event. Specifically, the voice detection unit 52 extracts the feature amount of the voice data input from the microphone sensor 22, and performs matching with the model feature amount registered in the voice dictionary information 43 by round-robin.
  • the voice detection unit 52 calculates the Euclidean distance between the feature quantities as a similar distance, and when the similar distance exceeds a predetermined threshold value (for example, the second threshold value Th2 shown in FIG. 9), both voice data compared are compared. Judge that they match.
  • a predetermined threshold value for example, the second threshold value Th2 shown in FIG. 9
  • the voice dictionary information 43 is information related to the characteristics of voice other than daily life sounds, in other words, abnormal sounds. Therefore, the voice detection unit 52 detects the voice data as an abnormal sound when the feature amount of the voice data does not match any of the model feature amounts registered in the voice dictionary information 43. That is, when the voice data is other than the abnormal sound, the voice detection unit 52 detects the voice data as the permitted voice.
  • the voice detection unit 52 determines the level based on the smallest similar distance among the compared feature quantities. That is, the voice detection unit 52 sets the level to 1 when the smallest similar distance exceeds the first threshold Th1 and lowers the level 2 and the second threshold Th2 when the first threshold Th1 to the second threshold Th2. In some cases, each level is determined as level 3.
  • the voice detection unit 52 registers the information regarding the voice data in which the abnormal sound is detected in the voice database 45.
  • the voice detection unit 52 detects voice data related to daily life sounds, the voice detection unit 52 can also register the voice data in the voice database 45.
  • the sound source estimation unit 53 estimates the source of the abnormal sound detected by the voice detection unit 52, that is, the position of the sound source. Specifically, the sound source estimation unit 53 estimates the direction in which an abnormal sound is generated by using various orientation calculation algorithms such as the MUSIC (Multiple Signal Classification) method for voice data, for example. Then, the position of the sound source is estimated based on the current location and orientation of the information processing device 1 and the estimated orientation. When the sound source is estimated, the sound source estimation unit 53 writes the position information of the estimated sound source in the column of the sound source of the corresponding audio data in the audio database 45.
  • MUSIC Multiple Signal Classification
  • the person detection unit 54 is an example of the detection unit, and detects the entry of a suspicious person as an event. Specifically, the person detection unit 54 detects the face of a person reflected in the image data from the image data, and extracts the feature amount of the detected face (hereinafter, referred to as an image feature amount). Next, the person detection unit 54 performs a round-robin matching between the image feature amount and the model feature amount of the face of the authorized user of the person dictionary information 42.
  • the person detection unit 54 performs matching by calculating the Euclidean distance between the image feature amount and the model feature amount as the similarity distance. If the similarity distance is less than a predetermined threshold, the person detection unit 54 identifies the person in the image data and the authorized user as the same person, and if the similarity distance is greater than or equal to the above threshold, excludes the person in the image data as the authorized user. Detected as a person.
  • the person detection unit 54 will detect it as a suspicious person.
  • the person detection unit 54 identifies the position of the suspicious person based on the imaging position of the image data, the imaging direction of the camera sensor 23 when the image data is captured, and the like, and the suspicious person.
  • the feature amount and the like of the above are written in the image database 44. Further, the person detection unit 54 can determine the level based on the similar distance as in the voice detection unit 52.
  • the determination unit 55 determines whether or not the abnormality matches the transmission condition of the condition information 47. Specifically, the determination unit 55 refers to the condition information 47 and determines whether or not the time when the abnormality occurs, the position where the abnormality occurs, and the like match the transmission conditions.
  • the determination unit 55 finds that the source of the abnormal sound is other than the permitted point "F004", or the detection time of the suspicious person is the permitted time "9:00 to 15:00". If it is other than ", it is determined that the transmission condition is satisfied. That is, the determination unit 55 determines that the transmission condition is not met when the source of the abnormal sound is the permission point or when the detection time of the suspicious person is the permission time.
  • the notification information generation unit 56 generates notification information regarding an abnormality determined by the determination unit 55 to meet the transmission conditions. Specifically, the notification information generation unit 56 generates notification information by extracting data related to an abnormality determined to meet the transmission conditions from the image database 44 or the voice database 45.
  • the notification information about the suspicious person includes information such as the image data of the suspicious person, the imaging time of the image data, the imaging position, and the imaging direction.
  • the notification information regarding the abnormal sound includes information such as voice data of the abnormal sound, a recording time, a recording point, and a sound source.
  • FIGS. 12A to 12D are diagrams showing specific examples of notification information displayed on the terminal device 10.
  • the terminal device 10 displays the map M and the image data I as notification information in addition to the information regarding the type of abnormality and the time when the abnormality occurs.
  • a position icon A1 indicating the imaging position of the image data I, a suspicious person icon A2 indicating the position of the suspicious person, and the direction of the camera sensor 23 when the suspicious person is imaged, that is, the angle of view V are displayed. Is displayed.
  • the notification information generation unit 56 extracts the data necessary for the notification information from the map information 41 and the image database 44, and generates the notification information.
  • the notification information generation unit 56 may generate an image of the notification information displayed on the terminal device 10 and transmit it to the terminal device 10, or the terminal device 10 will generate such an image. You may.
  • the notification information generation unit 56 can also collect a plurality of notification information based on the same rule information.
  • "based on the same rule information” means that, for example, the same suspicious person has been detected.
  • the determination of whether or not the person is the same suspicious person is performed by calculating the similar distance between the feature quantities and checking whether or not the calculated similar distance is less than the threshold value (for example, the second threshold value Th2).
  • the notification information generation unit 56 collectively generates one notification information by collecting a plurality of notification information determined to be the same suspicious person.
  • the terminal device 10 displays the position icon A1 and the angle of view V, as well as a plurality of image data I including the face of the suspicious person, and the detection time T at which the suspicious person is detected on one map M. Will be done.
  • the user can confirm the suspicious person with less notification information than when checking each notification information, so that the burden on the user's check can be reduced.
  • the notification information generation unit 56 may newly generate the notification information shown in FIG. 12B for each detection of the same suspicious person, or may generate notification information for each detection of the suspicious person. It may be generated and the notification information may be integrated on the terminal device 10 side.
  • the play button B is displayed on the terminal device 10 together with the map M. Further, as shown in FIG. 12C, the map M displays the position icon A1, the direction icon D indicating the direction of the information processing device 1, and the sound source icon A3 indicating the position of the sound source.
  • the voice data detected as an abnormal sound is played back on the terminal device 10.
  • the user can confirm the abnormal sound.
  • the user generates feedback information for the notification information in the terminal device 10 based on the operation of whether or not the confirmed voice is an abnormal sound, and the generated feedback information is transmitted to the information processing device 1.
  • the notification information of the abnormal sound may include image data obtained by capturing the sound source in addition to the sound source icon A3. As a result, the user can easily grasp the situation when the abnormal sound is generated.
  • the notification information generation unit 56 can include the level information related to the level shown in FIG. 9 in the notification information, so that the terminal device 10 can collectively display the notification information for each level.
  • the terminal device 10 displays a plurality of tabs according to the level, and notification information is displayed for each tab.
  • the tabs are associated with importance for each level.
  • level 1 notification information is displayed on tabs with a high importance level
  • level 2 notification information is displayed on tabs with a low importance level.
  • the lower the level the higher the similarity distance. Therefore, the lower the level, the greater the deviation from the feature amount registered in the person dictionary information 42 or the voice dictionary information 43.
  • the lower the level the more the person or abnormal sound deviates from the authorized user or daily life sound.
  • level 1 there is a high possibility that it is a suspicious person or an abnormal sound, so the importance is displayed as "high”
  • level 2 there is a high possibility that it is a suspicious person or an abnormal sound compared to level 1. Since it is low, the importance is displayed as "low”.
  • the terminal device 10 may change the notification method to the user according to the level of the notification information. For example, the terminal device 10 can perform push notification only when receiving level 1 notification information, and can make pull notification when receiving level 2 notification information.
  • the update unit 57 updates the rule information based on the feedback information for the notification information. Specifically, the update unit 57 updates the person dictionary information 42, the voice dictionary information 43, and the condition information 47 based on the feedback information.
  • the person dictionary information 42, the voice dictionary information 43, and the condition information 47 are examples of rule information
  • the person dictionary information 42 and the voice dictionary information 43 correspond to an example of dictionary information.
  • the rule information may include the threshold information 46.
  • the update unit 57 registers a new authorized user or life sound in the person dictionary information 42 or the voice dictionary information 43 based on the feedback information.
  • the feedback information includes information on whether or not the person detected as a suspicious person is actually a suspicious person, and information on whether or not the voice detected as an abnormal sound is actually an abnormal sound. .. That is, the feedback information includes correctness information regarding the correctness of the abnormality indicated by the notification information.
  • the update unit 57 registers the person detected as a suspicious person in the person dictionary information 42 as an authorized user based on the correctness information, or registers the voice detected as an abnormal sound in the voice dictionary information 43 as a living sound. You can register.
  • the update unit 57 can not only register new data in the person dictionary information 42 and the voice dictionary information 43, but also delete arbitrary data.
  • the voice dictionary information 43 can be described, but the same can be applied to the person dictionary information 42 as well.
  • FIG. 13 is a schematic diagram showing data deletion of dictionary information according to the embodiment. As shown in FIG. 13, the updating unit 57 deletes the undetected living sound for a predetermined period (for example, one month).
  • “deletion” may mean actually deleting, or indicates that the feature amount is deleted from the comparison target without actually deleting it.
  • voice associated with construction is registered as a living sound.
  • the construction when the construction is completed, it may become an abnormal sound instead of a daily life sound.
  • the construction personnel are once designated as authorized users, they may become suspicious persons once the construction is completed.
  • the update unit 57 can appropriately detect an abnormality according to the current environment by deleting the voice that has not been detected for a predetermined period.
  • an input of a period for registering as a permitted user or a living sound may be accepted from the user.
  • the update unit 57 can also delete the transmission condition of the condition information 47. That is, by deleting the old transmission condition, it is possible to newly set the transmission condition according to the current situation of the user.
  • the update unit 57 updates the condition information 47 based on the transmission condition specified by the user and the feedback information.
  • the update unit 57 updates the condition information 47 based on the transmission condition specified by the user, as shown in FIG. 10, the user uses the transmission condition in which the data type, the time, and the position are combined. Can be set.
  • the update unit 57 can update the transmission conditions such as the time and position for each abnormal sound based on the feedback information.
  • the update unit 57 updates the transmission condition so that the notification information regarding the above-mentioned voice data is not transmitted only under the condition that the occurrence time and the position are limited.
  • the update unit 57 can optimize the transmission conditions for the audio data having the same content by sequentially repeating the above processing.
  • the voice data having the same content indicates that the similar distance of the feature amount is equal to or less than a predetermined value.
  • the update unit 57 can add conditions such as the day of the week and the weather for each voice data. Specifically, if it is a weekday, the notification information will be sent, if it is a holiday, the transmission conditions will be set so that the notification information will not be sent, and if it is a sunny day, the notification information will be sent and it will rain. If it is a day, the transmission conditions can be updated so that the notification information is not transmitted.
  • the update unit 57 may update the transmission condition based on the situation when the abnormality is detected. Specifically, the update unit 57 may add to the transmission condition the presence or absence of authorized users existing around when the abnormality is detected.
  • the update unit 57 may update the threshold value for the similar distance based on the feedback information. For example, the update unit 57 can learn the feature amount of the data determined to be non-abnormal by the feedback information and the feature amount of the data determined to be abnormal, respectively, and can update the threshold value based on the learning result. .. That is, by optimizing the threshold value for the similar distance, the abnormality detection accuracy can be improved.
  • FIG. 14 is a flowchart showing a processing procedure executed by the information processing apparatus 1 according to the embodiment.
  • step S101 when the information processing apparatus 1 acquires the sensing result (step S101), the information processing apparatus 1 performs a matching process between the feature amount in the sensing result and the feature amount registered in the dictionary information (step S102).
  • step S102 The processing procedure of step S102 will be described later with reference to FIG.
  • the information processing apparatus 1 determines whether or not an abnormality has been detected as a result of the matching process in step S102 (step S103), and if no abnormality has been detected (step S103, No), the sensing result. Ends the processing for.
  • step S104 determines whether or not the detected abnormality matches the transmission condition.
  • step S104 determines in the determination process of step S104 that the transmission conditions are not met (steps S104, No).
  • the information processing apparatus 1 ends the process related to the abnormality. Further, when the information processing apparatus 1 determines in the determination process of step S104 that the transmission conditions are met (steps S104, Yes), the information processing apparatus 1 transmits notification information regarding the abnormality to the terminal apparatus 10 (step S105).
  • the information processing device 1 receives the feedback information from the terminal device 10 (step S106), updates the rule information based on the feedback information (step S107), and ends the process.
  • FIG. 15 is a flowchart showing a processing procedure of the matching process shown in step S102 of FIG.
  • the information processing apparatus 1 selects the model feature amount registered in the dictionary information (step S111), and calculates the similar distance between the feature amount of the sensing result and the model feature amount (step S112). ..
  • the information processing apparatus 1 determines whether or not the similar distance calculated in step S112 is smaller than the first threshold Th1 (step S113), and when the similar distance is smaller than the first threshold Th1 (step). S113, Yes), it is determined whether or not the similar distance is smaller than the second threshold Th2 (step S114).
  • step S114 when the similar distance is smaller than the second threshold value Th2 (step S114, Yes), the information processing apparatus 1 determines the level to level 3 (step S115) and ends the process.
  • step S114 when the similar distance is equal to or greater than the second threshold value (step S114, No), the information processing apparatus 1 determines to level 2 (step S116) and ends the process.
  • step S113 when the similar distance is equal to or greater than the first threshold Th1 (step S113, No), the information processing apparatus 1 determines whether or not matching with all the model features has been completed (step). S117).
  • step S117, No when the information processing apparatus 1 has a model feature amount that is not matched (step S117, No), the process proceeds to the process of step S111, and when matching with all the model feature amounts is completed (step S117, Yes). The level 1 is determined (step S118), and the process ends.
  • the similarity distance with a plurality of model feature quantities is equal to or less than the first threshold Th1 or the second threshold Th2
  • the similarity distance with all the model feature quantities is calculated, and then the minimum similarity is obtained.
  • Levels may be divided according to distance.
  • the information processing device 1 is arranged in the predetermined area (house H) has been described, but the present invention is not limited to this.
  • the information processing device 1 can be configured as a server device.
  • FIG. 16 is a schematic view of the information processing device 1A according to the modified example. Note that FIG. 16 shows the information processing device 1A in a simplified manner. As shown in FIG. 16, the information processing device 1A according to the modified example is a server device, and includes rule information DB 410 and feedback information DB 420.
  • the information processing device 1A receives, for example, the sensing result of the environmental information transmitted from the pet-type robot 200, and transmits the notification information to the terminal device 10 based on the dictionary information and the transmission conditions registered in the rule information DB 410. Judge whether or not.
  • the information processing device 1A determines that the transmission condition is satisfied, the information processing device 1A transmits the notification information to the terminal device 10, and then receives the feedback information for the notification information. Then, the information processing apparatus 1A stores the feedback information in the feedback information DB 420, and updates the rule information registered in the rule information DB based on the feedback information.
  • the present invention is not limited to this. That is, the dictionary information is built in the pet-type robot 200, the pet-type robot 200 detects a suspicious person and an abnormal sound, and the information processing device 1A determines whether or not the transmission condition is satisfied. You may decide.
  • the predetermined area has been described as the house H, but the present invention is not limited to this, and any area can be set as the predetermined area.
  • the present invention is not limited to this. That is, what kind of event is detected may be arbitrarily changed at the request of the user. Specifically, the event may be arbitrarily set, such as sending notification information when it is detected that a predetermined user has returned home.
  • FIG. 16 is a hardware configuration diagram showing an example of a computer 1000 that realizes the functions of the information processing device 1.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, an HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each part of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on the program stored in the ROM 1300 or the HDD 1400, and controls each part. For example, the CPU 1100 expands the program stored in the ROM 1300 or the HDD 1400 into the RAM 1200 and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, a program that depends on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records a program executed by the CPU 1100 and data used by the program.
  • the HDD 1400 is a recording medium for recording a program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device or transmits data generated by the CPU 1100 to another device via the communication interface 1500.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or mouse via the input / output interface 1600. Further, the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600. Further, the input / output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium (media).
  • the media is, for example, an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk), a magneto-optical recording medium such as MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory.
  • an optical recording medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • a magneto-optical recording medium such as MO (Magneto-Optical disk)
  • tape medium such as DVD (Digital Versatile Disc) or PD (Phase change rewritable Disk)
  • MO Magneto-optical disk
  • the CPU 1100 of the computer 1000 realizes the functions of the map generation unit 51 and the like by executing the program loaded on the RAM 1200.
  • the HDD 1400 stores the program related to the present disclosure and the data in the storage unit 4.
  • the CPU 1100 reads the program data 1450 from the HDD 1400 and executes the program, but as another example, these programs may be acquired from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • a transmission unit that transmits notification information based on the sensing result to the terminal device based on the sensing result of the sensor that senses the environmental information of the predetermined area and the preset rule information.
  • a receiving unit that receives feedback information for the notification information transmitted by the transmitting unit from the terminal device, and a receiving unit.
  • An information processing device including an update unit that updates the rule information based on the feedback information received by the reception unit.
  • a detection unit that detects the event from the sensing result based on dictionary information that serves as a detection criterion for a predetermined event.
  • the condition information indicating the transmission condition for transmitting the notification information is provided with a determination unit for determining whether or not the event detected by the detection unit matches.
  • the transmitter The notification information regarding the event determined to meet the transmission condition by the determination unit is transmitted.
  • the information processing device according to (1) above.
  • the detection unit As the event, an abnormality in the predetermined area is detected.
  • the determination unit When the occurrence time of the abnormality is not the permitted time when the occurrence of the abnormality is permitted under the transmission condition, it is determined that the transmission condition is satisfied.
  • the determination unit When the occurrence position of the abnormality is not the permitted point where the occurrence of the abnormality is permitted under the transmission condition, it is determined that the transmission condition is satisfied.
  • the information processing device according to (3) or (4) above.
  • the detection unit When the person appearing in the image data as the sensing result is not an authorized user registered in the dictionary information, it is detected as the abnormality.
  • the information processing device according to any one of (3) to (5) above.
  • the detection unit When the voice data as the sensing result is not the permitted voice registered in the dictionary information, it is detected as the abnormality.
  • the dictionary information is Life sounds are registered as prescriptive permitted voices, The information processing device according to (7) above.
  • the update part Of the rule information information that has not been used for a predetermined period is deleted.
  • the information processing device according to any one of (1) to (8) above.
  • the detection unit The level of the abnormality is determined by comparing a plurality of threshold values with respect to the degree of similarity between the feature amount registered in the dictionary information and the feature amount of the sensing result.
  • the transmitter Send the notification information with the importance given according to the level.
  • the information processing device according to any one of (3) to (9) above.
  • the update part Update the threshold based on the feedback information.
  • the information processing device according to (10) above.
  • (12) The transmitter A plurality of the notification information based on the same rule information are collectively transmitted as one notification information.
  • the information processing device according to any one of (1) to (11) above.
  • the receiver As the feedback information, the correctness information regarding the correctness of the abnormality indicated by the notification information is received.
  • the update part The condition information is updated based on the correctness information.
  • the information processing device according to any one of (2) to (12) above.
  • the update part The dictionary information is updated based on the correctness information.
  • the information processing device according to (13) above.
  • the transmitter As the notification information, information regarding the position where the abnormality occurs, the time when the abnormality occurs, the position where the abnormality is detected, and at least one of the sensing results which is the basis of the abnormality is transmitted.
  • the information processing device according to any one of (3) to (14) above.
  • the transmitter When the sensing result in which the abnormality is detected is image data, information regarding the imaging direction in which the image data is imaged is transmitted as the notification information.
  • the information processing device according to (15) above.
  • a mobile robot The information processing device according to any one of (1) to (16) above.
  • the notification information based on the sensing result is transmitted to the terminal device.
  • the feedback information for the transmitted notification information is received from the terminal device, and the feedback information is received.
  • a transmission unit that transmits notification information based on the sensing result to the terminal device based on the sensing result of the sensor that senses the environmental information of the predetermined area and the preset rule information.
  • a receiving unit that receives feedback information for the notification information transmitted by the transmitting unit from the terminal device, and a receiving unit.
  • a program that functions as an update unit that updates the rule information based on the feedback information received by the receiver.
  • Sensor unit 10 Terminal device 21 Depth sensor (example of sensor) 22 Microphone sensor (example of sensor) 23 Camera sensor (example of sensor) 31 Receiver 32 Transmitter 42 Person dictionary information (an example of dictionary information) 43 Voice dictionary information (an example of dictionary information) 51 Map generation unit 52 Voice detection unit (example of detection unit) 53 Sound source estimation unit 54 Person detection unit (an example of detection unit) 55 Judgment unit 56 Notification information generation unit 57 Update unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)
  • Gerontology & Geriatric Medicine (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

情報処理装置（１）は、所定エリアの環境情報をセンシングするセンサ（２）のセンシング結果と、予め設定されたルール情報とに基づいて、センシング結果に基づく通知情報を端末装置（１０）へ送信する送信部（３２）と、送信部（３２）によって送信された通知情報に対するフィードバック情報を端末装置（１０）から受信する受信部（３１）と、受信部（３１）によって受信されたフィードバック情報に基づいて、ルール情報を更新する更新部（５７）とを備える。

Description

情報処理装置、方法およびプログラム
　本開示は、情報処理装置、方法およびプログラムに関する。
　例えば住宅内を巡回し、住宅内の異常を検知した場合に、住人や警察などへ通報するペット型ロボットがある。かかるペット型ロボットは、予め設定されたルール情報に基づいて、上記の異常を検知する。
特開２０１８－９４６８３号公報
　しかしながら、ペット型ロボットを設置する環境に応じて、上記したルール情報を最適化する必要があるが、実際に最適化を行うのは容易ではなく、仮に、ユーザが最適化を行う場合、ユーザの負担が大きく、その作業も煩雑なものとなる。
　そこで、本開示では、ルール情報を容易に最適化することができる情報処理装置、方法およびプログラムを提案する。
　上記の課題を解決するために、本開示に係る一態様の情報処理装置は、所定エリアにおける環境情報をセンシングするセンサのセンシング結果と、予め設定されたルール情報とに基づいて、前記センシング結果に基づく通知情報を端末装置へ送信する送信部と、前記送信部によって送信された前記通知情報に対するフィードバック情報を前記端末装置から受信する受信部と、前記受信部によって受信された前記フィードバック情報に基づいて、前記ルール情報を更新する更新部とを備える。
　実施形態の一態様によれば、ルール情報を容易に最適化することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
実施形態に係る情報処理システムの概要を示す図である。 実施形態に係る情報処理装置の構成例を示すブロック図である。 実施形態に係るマップ情報の具体例を示す図である。 実施形態に係る人物辞書情報の具体例を示す図である。 実施形態に係る人物辞書情報の登録操作の一例を示す図である。 実施形態に係る音声辞書情報の具体例を示す図である。 実施形態に係る画像データベースの具体例を示す図である。 実施形態に係る音声データベースの具体例を示す図である。 実施形態に係る類似度に対する閾値の模式図である。 実施形態に係る送信条件を示す条件情報の具体例を示す図である。 実施形態に係る送信条件の更新時のユーザ操作の具体例を示す図である。 端末装置に表示される通知情報の具体例を示す図（１）である。 端末装置に表示される通知情報の具体例を示す図（２）である。 端末装置に表示される通知情報の具体例を示す図（３）である。 端末装置に表示される通知情報の具体例を示す図（４）である。 実施形態に係る情報処理の一例を示す模式図である。 実施形態に係る情報処理装置が実行する処理手順を示すフローチャートである。 図１４のステップＳ１０２に示したマッチング処理の処理手順を示すフローチャートである。 変形例に係る情報処理装置の模式図である。 情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（実施形態）
［実施形態に係るシステムの構成］
　まず、本開示の一実施形態の概要について説明する。上述したように、近年では、例えば、ペット型ロボットなどのロボットが、住宅などの異常を検知した場合に、ユーザの端末装置へ通知する見守りサービスに関する技術が開発されている。
　かかる見守りサービスでは、予め設定されたルール情報に基づいて、ロボットが異常を検出し、上記の端末装置へ通知を行う。しかしながら、かかる見守りサービスにおいては、ルール情報の最適化を行うのが容易でなかった。具体的には、ユーザ毎に生活環境が異なるため、ユーザ毎にルール情報の最適化を行う必要があるが、ユーザ自身が全てのルールを設定すると、ユーザの負担が大きく、また、その作業も煩雑なものになる。
　本技術思想は、上記の点に着目して発想されたものであり、ユーザに通知する通知情報に対するフィードバックに基づき、ルール情報を更新することで、ルール情報の最適化を容易にすることが可能となる。ここで、ルール情報とは、通知情報を送信する際のルールに関する情報であり、後述する辞書情報および条件情報が含まれる。
　まず、図１を用いて、本実施形態に係る情報処理システムの構成例について説明する。図１は、本実施形態に係る情報処理システムの概要を示す図である。図１に示すように、実施形態に係る情報処理システムは、情報処理装置１と、端末装置１０とを備える。なお、以下では、情報処理装置１が、図１に示すように、ペット型ロボットである場合について説明するが、情報処理装置１は、ペット型ロボットに代えて、人型ロボット、掃除用ロボット、ドローンなどであってもよい。また、情報処理装置１は、固定式であってもよく、実際のペット（例えば、犬）に装着するものであってもよい。なお、ペット型ロボットは、移動型ロボットの一例である。
　図１の例において、情報処理装置１は、例えば、ペット型ロボットであり、住宅Ｈ内を巡回し、住宅Ｈ内の環境情報をセンシングするセンサの検出結果に基づいて、住宅Ｈ内のイベントを検出する。なお、以下では、イベントとして、異常を検出する場合について説明するが、イベントは異常に限られず、任意に変更可能である。
　情報処理装置１は、図２にて後述するように、マイクセンサ２２、カメラセンサ２３を有しており、マイクセンサ２２で集音した音声データや、カメラセンサ２３で撮像される画像データに基づいて、住宅Ｈ内の異常音や不審者などを検出することが可能である。
　そして、情報処理装置１は、住宅Ｈ内の異常を検出すると、ユーザの端末装置１０へ異常に基づく通知情報を送信する。図１に示す例では、情報処理装置１が、住民を介助するホームヘルパーを不審者として検出した場面を示す。
　端末装置１０は、通知情報を受信すると、ホームヘルパーを検出した画像データ、すなわち、異常の根拠となるデータ、検出時刻、画像データを撮像したときのカメラセンサの位置、画角、ホームヘルパーの位置などに関する情報を表示する。
　例えば、端末装置１０は、通知情報に対するユーザの操作に基づいて、通知情報に対するフィードバック情報を生成し、情報処理装置１へ送信する。図１に示す例では、端末装置１０は、ユーザが右へフリック操作を行った場合、画像データに写る人物（ホームヘルパー）が不審者でない旨を示すフィードバック情報を情報処理装置１へ送信する。
　これにより、情報処理装置１は、かかるフィードバック情報に基づいて、ホームヘルパーが不審者でないことを識別することができ、上記のルール情報を更新する。すなわち、情報処理装置１は、ホームヘルパーを不審者でない人物としてルール情報に登録することで、以降の処理において、ホームヘルパーを不審者として検出せずに済むことになる。
　したがって、情報処理装置１は、以降の処理においては、ホームヘルパーを不審者とする通知情報を端末装置１０へ送信しないので、端末装置１０に対する不要な通知情報を削減することができる。
　このように、情報処理装置１は、通知情報に対するフィードバック情報に基づいて、ルール情報を順次更新することで、ルール情報を徐々に洗練することができる。したがって、情報処理装置１によれば、ユーザが詳細なルール情報を予め設定しておく必要が無く、簡易な操作でルール情報を最適化することができるので、ルール情報の最適化を容易にすることができる。
［実施形態に係る情報処理装置の構成］
　次に、図２を用いて、実施形態に係る情報処理装置１の構成例について説明する。図２は、実施形態に係る情報処理装置１の構成例を示すブロック図である。なお、図２では、図示を省略したが、情報処理装置１は、住宅Ｈ内を移動する移動機構を備えるものとする。また、以下では、情報処理装置１は、例えば、予め設定された周期又は時刻に、所定エリア（住宅Ｈ内）を巡回するものとして説明する。
　図２に示すように、情報処理装置１は、センサ部２と、通信部３と、記憶部４と、制御部５とを備える。センサ部２は、所定エリア（住宅Ｈ内）における環境情報をセンシングするセンサを有する。図２に示す例において、センサ部２は、デプスセンサ２１と、マイクセンサ２２と、カメラセンサ２３とを備える。
　デプスセンサ２１は、赤外線測距装置、超音波測距装置、ＬｉＤＡＲ（Laser　Imaging　Detection　and　Ranging）又はステレオカメラ等の深度情報を取得する装置である。マイクセンサ２２は、周囲の音を収音し、アンプおよびＡＤＣ（Analog　Digital　Converter）を介してデジタル信号に変換した音声データを出力する装置である。カメラセンサ２３は、ＲＧＢカメラ等の、レンズ系、及び撮像素子を有し、画像（静止画像又は動画像）を撮像する撮像装置である。
　なお、情報処理装置１は、情報処理装置１とは別に設けられたセンサ部２から所定エリアのセンシング結果を取得することにしてもよい。また、情報処理装置１が、移動型ロボットでない場合、すなわち、センサ部２が固定される場合には、複数のセンサ部２を設けることにしてもよい。
　通信部３は、端末装置１０と所定のネットワークを介してデータを送受信する通信モジュールである。また、通信部３は、受信部３１と、送信部３２とを備える。受信部３１は、端末装置１０から上記のフィードバック情報を受信し、制御部５へ通知する。送信部３２は、上記の通知情報を端末装置１０へ送信する。
　記憶部４は、マップ情報４１と、人物辞書情報４２と、音声辞書情報４３と、画像データベース４４と、音声データベース４５と、閾値情報４６と、条件情報４７とを記憶する。
　マップ情報４１は、住宅Ｈ内のマップに関する情報であり、例えば、デプスセンサ２１から入力される深度情報に基づいて、後述する制御部５によって生成される情報である。図３は、実施形態に係るマップ情報４１の具体例を示す図である。図３に示すように、記憶部４には、住宅Ｈ内の空間情報がマップ情報４１として記憶される。マップ情報４１は、障害物（壁、家具など）や間取りなど示す情報である。
　図２の説明に戻り、人物辞書情報４２について説明する。人物辞書情報４２は、辞書情報の一例であり、イベントの検出基準となる情報である。本実施形態において、人物辞書情報４２は、ユーザによって登録された許可ユーザの画像データ上の特徴量に関する情報である。図４は、実施形態に係る人物辞書情報４２の具体例を示す図である。
　図４に示すように、人物辞書情報４２は、「人物ＩＤ」、「特徴量」、「氏名」などが互いに関連付けられた情報である。「人物ＩＤ」は、各許可ユーザを識別する識別子である。「特徴量」は、対応する許可ユーザの特徴量を示す。より詳細には、特徴量は、許可ユーザの顔の特徴量である。なお、図４に示す例では、特徴量を「Ｂ００１」など抽象化して示しているが、「Ｂ００１」には具体的な情報が記憶されているものとする。
　「氏名」は、対応する人物の氏名を示す。なお、人物辞書情報４２には、許可ユーザの属性に関する情報を含むようにしてもよい。ここでの属性とは、例えば、家族、友達、ゲストなどを含む。
　また、ユーザは、初期設定時に例えば、家族の画像データを人物辞書情報４２に登録することも可能であるが、端末装置１０に表示された通知情報に対するフィードバック操作によって、人物辞書情報４２に新たな許可ユーザを登録することもできる。
　図５は、実施形態に係る人物辞書情報４２の登録操作の一例を示す図である。図５に示すように、例えば、端末装置１０には、情報処理装置１によって不審者として検出された人物の画像データなどが表示される。
　ユーザは、端末装置１０に表示された人物を選択すると、許可ユーザの登録画面に遷移する。図５に示す例では、情報処理装置１において不審者として検出された同一人物の検出履歴に関する情報と、追加登録ボタンＢ１とが端末装置１０に表示される場合を示す。
　ユーザは、端末装置１０に表示された追加登録ボタンＢ１を選択することで、端末装置１０には、氏名などの入力画面（不図示）が表示され、かかる入力画面に人物に関する情報を入力する。
　端末装置１０は、かかる情報を通知情報に対するフィードバック情報として、情報処理装置１へ送信することで、情報処理装置１は、かかるフィードバック情報に基づいて、人物辞書情報４２を更新する。
　これにより、情報処理装置１は、許可ユーザの特徴量を人物辞書情報４２に登録することができる。また、仮に、本来、許可ユーザであるものの、許可ユーザとして検出されなかった人物については、不審者として端末装置１０に通知されることになる。この場合、ユーザは、端末装置１０に表示されたかかる人物について、既に登録された許可ユーザとする操作を行うことも可能であり、端末装置１０から上記の人物を既存の許可ユーザとするフィードバック情報が情報処理装置１に送信される。
　そして、情報処理装置１は、フィードバック情報に基づいて、人物辞書情報４２を更新する。つまり、人物辞書情報４２に既に登録された許可ユーザの特徴量を随時学習することも可能である。これにより、既存の許可ユーザの認識精度を向上させることができる。
　図２の説明に戻り、音声辞書情報４３について説明する。音声辞書情報４３は、人物辞書情報４２と同様に、辞書情報の一例である。本実施形態において、音声辞書情報４３は、各音声の特徴量に関する情報である。図６は、実施形態に係る音声辞書情報４３の具体例を示す図である。図６に示すように、音声辞書情報４３は、「生活音ＩＤ」、「特徴量」、「登録情報」等が互いに対応付けられた情報である。
　実施形態に係る情報処理装置１は、異常音に関する特徴量ではなく、生活音すなわち、異常音以外の各音声の特徴量を音声辞書情報４３として記憶する。これは、生活音に比べて、異常音が多岐に渡り、全ての異常音を網羅的に予め登録するのが困難であるためである。また、どのような音声を異常音とするかは、環境によって異なるので、異常音の定義が困難であるためである。
　図５に示す例において、「生活音ＩＤ」は、各生活音を識別する識別子である。「特徴量」は、対応する生活音の音声の特徴量である。なお、図６では、特徴量を「Ｄ００１」など抽象化して示しているが、「Ｄ００１」には具体的な情報が記憶されているものとする。
　「登録情報」は、対応する生活音ＩＤの生活音が登録された日時に関する情報である。情報処理装置１は、人物辞書情報４２と同様に、音声辞書情報４３を通知情報に対するフィードバック情報に基づいて更新することができる。
　なお、ここでは、音声辞書情報４３が、異常音以外の音声に関する情報である場合を示したが、音声辞書情報４３は、異常音に関する情報を含むようにしてもよい。例えば、フィードバック情報によって異常音とされた音声データについて、異常音として登録することにしてもよい。
　図２の説明に戻り、画像データベース４４について説明する。画像データベース４４は、カメラセンサ２３によって撮像された画像データを記憶するデータベースである。図７は、実施形態に係る画像データベース４４の具体例を示す図である。
　図７に示すように、画像データベース４４は、「画像データ」、「撮像時刻」、「撮像位置」、「撮像向き」、「特徴量」、「人物ＩＤ」などを互いに関連付けて記憶する。「画像データ」は、画像データ本体である。「撮像時刻」は、画像データの撮像時刻を示す。「撮像向き」は、対応する画像データを撮像したときのカメラセンサ２３の向きを示す。
　「特徴量」は、画像データに写る人物の特徴量を示す。「人物ＩＤ」は、画像データに写る人物の人物ＩＤを示す。図７の例において、画像ＩＤ「Ｅ００２」の人物ＩＤが未登録となっているのは、人物辞書情報４２に登録されていない人物が画像データに写っていたことを示す。
　図２の説明に戻り、音声データベース４５について説明する。音声データベース４５は、マイクセンサ２２によって集音された音声データを記憶するデータベースである。図８は、実施形態に係る音声データベース４５の具体例を示す図である。図８に示すように、音声データベース４５には、「音声データ」、「録音地点」、「音源」、「特徴量」、「生活音ＩＤ」などを互いに関連付けて記憶する。
　「音声データ」は、音声データ本体である。「録音時刻」は、対応する音声データを録音した時刻を示し、「録音地点」は、対応する音声データを録音した位置を示す。「音源」は、対応する音声データの音源の位置を示す。
　「特徴量」は、音声データから抽出される特徴量を示し、「生活音ＩＤ」は、対応する音声データと一致する生活音の生活音ＩＤを示す。図７に示す例において、音声データ「Ｅ００２」には、生活音ＩＤが付与されておらず、音声辞書情報４３に登録された生活音と一致しなかったことを示す。
　図２の説明に戻り、閾値情報４６について説明する。閾値情報４６は、人物辞書情報４２や、音声辞書情報４３に登録された特徴量と、画像データ、音声データの特徴量との類似度に対する閾値に関する情報である。本実施形態において、画像データおよび音声データについて、それぞれ複数の閾値が閾値情報４６として記憶される。
　図９は、実施形態に係る類似度に対する閾値の模式図である。後述するように、情報処理装置１は、音声データまたは画像データの特徴量と、人物辞書情報４２または音声辞書情報４３に登録された特徴量（以下、モデル特徴量と記載する）との類似距離を計算する。なお、類似距離が小さいほど、双方のデータの類似度が高いことを示す。
　ここで、閾値情報４６は、複数の閾値に関する情報である。図９に示す例では、閾値情報４６が、第１閾値Ｔｈ１と、第１閾値Ｔｈ１よりも値が小さい第２閾値Ｔｈ２とに関する情報である場合を示す。
　また、図９に示すように、類似距離は、第１閾値Ｔｈ１および第２閾値Ｔｈ２に基づいてレベル分けされる。図９に示す例では、類似距離が第１閾値Ｔｈ１を超える場合、すなわち、類似度が第１閾値Ｔｈ１よりも低い場合にレベル１となり、類似距離が第１閾値Ｔｈ１未満、かつ、第２閾値Ｔｈ２を超える場合にレベル２となる。また、類似距離が第２閾値Ｔｈ２未満である場合、レベル１となる。
　情報処理装置１は、上記のレベルに関する情報（以下、レベル情報）を通知情報に含めて送信することが可能であるが、この点については後述する。なお、ここでは、閾値情報４６が、第１閾値Ｔｈ１および第２閾値Ｔｈ２の２つの閾値に関する情報である場合について示したが、閾値は、１つであってもよく、３つ以上であってもよい。また、音声データと画像データとで、異なる閾値を設けることにしてもよい。
　図２の説明に戻り、条件情報４７について説明する。条件情報４７は、通知情報を通知する送信条件に関する情報である。情報処理装置１は、条件情報４７の送信条件を満たす通知情報のみが端末装置１０へ送信することで、送信条件に合致しない不要な通知情報の通知を抑制することが可能である。
　図１０は、実施形態に係る送信条件を示す条件情報４７の具体例を示す図である。図１０に示すように、条件情報４７は、「条件ＩＤ」、「データ種別」、「送信条件」などが互いに関連付けられた情報である。
　「条件ＩＤ」は、送信条件を識別する識別子である。「データ種別」は、異常を検出したデータの種別（画像データまたは音声データ）を示す。「送信条件」は、異常を検出した際の通知する条件を示す。すなわち、送信条件に合致する場合のみ、通知情報を通知することになる。
　また、送信条件として、「時刻」、「位置」などの条件が含まれる。図１０の例において、条件ＩＤ「Ｅ００１」は、データ種別が画像データであり、送信条件が時刻「９：００～１５：００」である。
　条件ＩＤ「Ｅ００１」では、９：００～１５：００の間に撮像された画像データから認識した人物が人物辞書情報４２に登録されていなかった場合、すなわち、許可ユーザ以外の不審者を検出した場合に、通知情報を端末装置１０へ送信することを示す。
　つまり、ユーザは、ユーザ自身または家族が留守にする時刻を送信条件に設定しておくことで、情報処理装置１からの不要な通知情報の送信を抑制することができる。なお、情報処理装置１は、ユーザ自身または家族が留守にする時刻を学習し、学習結果に基づいて時刻に関する送信条件を設定することにしてもよい。
　また、図１０に示す条件ＩＤ「Ｅ００２」は、データ種別が音声データであり、送信条件が位置「Ｆ００４以外」である。条件ＩＤ「Ｅ００２」は、異常音の発生源が「Ｆ００４」の地点である場合、通知情報を端末装置１０へ送信せず、上記の発生源が「Ｆ００４」以外の地点である場合に、通知情報を端末装置１０へ送信することを示す。
　ここで、情報処理装置１は、端末装置１０に対するユーザ操作に基づいて、条件情報４７を更新することができる。図１１は、実施形態に係る送信条件の更新時のユーザ操作の具体例を示す図である。
　なお、ここでは、条件情報４７のうち、図１１に示した条件ＩＤ「Ｅ００２」の「位置」、すなわち、許可位置を登録する場合を例に挙げて説明する。図１１に示すように、端末装置１０には、送信条件の設定画面として、マップ情報４１に基づくマップが表示される。
　そして、ユーザは、端末装置１０に表示されたマップからテレビやスピーカなどの音声の発生源の位置を選択することで、上記の「位置」を指定することができる。すなわち、この場合においては、テレビやスピーカから発生する音声は、異常音として端末装置１０へ通知されないことになる。
　なお、図１０に示した例では、データ種別を画像データまたは音声データとして説明したが、さらに詳細に設定することも可能である。例えば、許可ユーザや生活音毎に、送信条件を設定することも可能である。具体的には、特定の許可ユーザ（例えば、上記のホームヘルパー）が指定したエリア以外に入ったことを検出した場合に、通知情報を送信するように送信条件を設定したりすることができる。
　また、情報処理装置１が、画像データから許可ユーザの挙動を解析し、許可ユーザが所定の挙動を取った場合に、通知情報を送信するように送信条件を設定することにしてもよい。
　また、例えば、特定の生活音（例えば、水の音）が、指定した場所（水回り）以外のエリアで発生したことを検出した場合に、通知情報を送信するように送信条件を設定することも可能である。
　図２の説明に戻り、制御部５について説明する。制御部５は、情報処理装置１が備える各構成を制御する機能を有する。また、図２に示すように、制御部５は、マップ生成部５１と、音声検出部５２と、音源推定部５３と、人物検出部５４と、判定部５５と、通知情報生成部５６と、更新部５７とを備える。
　マップ生成部５１は、デプスセンサ２１によって検出される深度情報に基づき、所定エリア（住宅Ｈ内）のマップを作成し、マップ情報４１として記憶部４に記憶する。マップ生成部５１は、ＳＬＡＭ（Simulation　Localization　and　Mapping）によってマップ情報４１を生成することが可能である。
　なお、マップ生成部５１は、住宅Ｈ内の家具の配置換えなどが行われることを想定して、所定の周期でマップ情報４１を更新することにしてもよいし、巡回時にマップを毎回生成することにしてもよい。また、情報処理装置１は、他の装置で生成されたマップをマップ情報４１として記憶することにしてもよい。
　音声検出部５２は、検出部の一例であり、イベントして異常音の発生を検出する。具体的には、音声検出部５２は、マイクセンサ２２から入力される音声データの特徴量を抽出するとともに、音声辞書情報４３に登録されたモデル特徴量と総当たりでマッチングを行う。
　音声検出部５２は、特徴量同士のユークリッド距離を類似距離として算出し、類似距離が所定の閾値（例えば、図９に示した第２閾値Ｔｈ２）を超える場合に、比較した双方の音声データが一致すると判定する。
　上述のように、音声辞書情報４３は、生活音、言い換えれば、異常音以外の音声の特徴に関する情報である。したがって、音声検出部５２は、音声データの特徴量が音声辞書情報４３に登録されたモデル特徴量といずれも一致しなかった場合に、音声データを異常音として検出する。つまり、音声検出部５２は、音声データが異常音以外であった場合に、かかる音声データを許可音声として検出する。
　また、音声検出部５２は、比較した特徴量のうち、最も小さい類似距離に基づいて、レベルを決定する。すなわち、音声検出部５２は、最も小さい類似距離が、第１閾値Ｔｈ１を超える場合に、レベル１とし、第１閾値Ｔｈ１～第２閾値Ｔｈ２である場合に、レベル２、第２閾値Ｔｈ２未満である場合に、レベル３としてそれぞれレベルを決定する。
　そして、音声検出部５２は、異常音を検出した音声データに関する情報を音声データベース４５に登録する。なお、音声検出部５２は、生活音に関する音声データを検出した場合に、かかる音声データを音声データベース４５に登録することもできる。
　音源推定部５３は、音声検出部５２によって検出された異常音の発生源、すなわち、音源の位置を推定する。具体的には、音源推定部５３は、例えば、音声データについてＭＵＳＩＣ（Multiple　Signal　Classification）法などの各種方位演算アルゴリズムを用いることで、異常音の発生する方位を推定する。そして、情報処理装置１の現在地および向きと、推定した方位とに基づいて、音源の位置を推定する。音源推定部５３は、音源を推定すると、推定した音源の位置情報を音声データベース４５の対応する音声データの音源の欄に書き込みを行う。
　人物検出部５４は、検出部の一例であり、イベントとして不審者の進入を検出する。具体的には、人物検出部５４は、画像データから画像データに写る人物の顔を検出し、検出した顔の特徴量（以下、画像特徴量と記載する）を抽出する。次いで、人物検出部５４は、画像特徴量と、人物辞書情報４２の許可ユーザの顔のモデル特徴量とを総当たりでマッチングを行う。
　人物検出部５４は、画像特徴量とモデル特徴量とのユークリッド距離を類似度距離として計算することでマッチングを行う。人物検出部５４は、類似度距離が所定の閾値を下回っていれば、画像データに写る人物と許可ユーザとを同一人物、類似度距離が上記の閾値以上なら画像データに写る人物を許可ユーザ以外の人物として検出する。
　すなわち、人物検出部５４は、画像データに写る人物がいずれの許可ユーザとも一致しなかった場合、不審者として検出することになる。そして、人物検出部５４は、不審者を検出した場合、画像データの撮像位置、画像データを撮像したときのカメラセンサ２３の撮像向きなどに基づいて、不審者の位置を特定するとともに、不審者の特徴量等を画像データベース４４に書き込みを行う。また、人物検出部５４は、音声検出部５２と同様に類似距離に基づいて、レベルを決定することもできる。
　判定部５５は、音声検出部５２または人物検出部５４によって異常音または不審者などの異常が検出された場合に、かかる異常が条件情報４７の送信条件に合致するか否かを判定する。具体的には、判定部５５は、条件情報４７を参照し、異常の発生時刻、発生位置などが送信条件に合致するか否かを判定する。
　図１０に示した例において、判定部５５は、異常音の発生源が許可地点である「Ｆ００４」の地点以外である場合や、不審者の検出時刻が許可時刻「９：００～１５：００」以外である場合に、送信条件に合致すると判定する。つまり、判定部５５は、異常音の発生源が許可地点である場合や、不審者の検出時刻が許可時刻である場合に、送信条件に合致しないと判定する。
　通知情報生成部５６は、判定部５５によって送信条件に合致すると判定された異常に関する通知情報を生成する。具体的には、通知情報生成部５６は、送信条件に合致すると判定された異常に関するデータを画像データベース４４または音声データベース４５から抽出することで、通知情報を生成する。
　ここで、不審者に関する通知情報は、不審者の画像データ、画像データの撮像時刻、撮像位置、撮像向きなどの情報が含まれる。また、異常音に関する通知情報は、異常音の音声データ、録音時刻、録音地点、音源などの情報が含まれる。
　図１２Ａ～図１２Ｄは、端末装置１０に表示される通知情報の具体例を示す図である。まず、図１２Ａを用いて、不審者に関する通知情報の具体例について説明する。図１２Ａに示すように、端末装置１０には、通知情報として、異常の種別、異常の発生時刻に関する情報に加え、マップＭおよび画像データＩが表示される。
　また、マップＭには、画像データＩの撮像位置を示す位置アイコンＡ１と、不審者の位置を示す不審者アイコンＡ２、不審者を撮像したときのカメラセンサ２３の向き、すなわち、画角Ｖが表示される。
　また、画像データＩには、不審者として認識した人物の顔を囲うマーカーが表示される。通知情報生成部５６は、これら通知情報に必要なデータをマップ情報４１や画像データベース４４から抽出し、通知情報を生成することになる。なお、通知情報生成部５６は、端末装置１０に表示される通知情報の画像を生成して、端末装置１０へ送信することにしてもよいし、かかる画像を端末装置１０側で生成することにしてもよい。
　また、通知情報生成部５６は、同一のルール情報に基づく複数の通知情報をまとめることも可能である。ここで、同一のルール情報に基づくとは、例えば、同一の不審者が検出されたことを示す。なお、同一の不審者か否かの判定は、特徴量同士の類似距離を算出し、算出した類似距離が閾値（例えば、第２閾値Ｔｈ２）未満であるか否かで行われる。
　そして、通知情報生成部５６は、同一の不審者と判定された複数の通知情報をまとめて１つの通知情報を生成する。この場合、端末装置１０には、１つのマップＭに、位置アイコンＡ１、画角Ｖに加えて、不審者の顔を含む複数の画像データＩとともに、不審者を検出した検出時刻Ｔがそれぞれ表示される。
　このように、通知情報をまとめることで、ユーザは各通知情報をチェックする場合に比べて、少ない通知情報で不審者を確認することができるので、ユーザのチェックに対する負担を軽減することができる。
　この場合、例えば、通知情報生成部５６は、同じ不審者の検出毎に、図１２Ｂに示す通知情報を新たに生成することにしてもよいし、あるいは、不審者の検出毎に通知情報をそれぞれ生成し、端末装置１０側で通知情報を統合することにしてもよい。
　次に、図１２Ｃを用いて、異常音に関する通知情報の具体例について説明する。図１２Ｃに示すように、端末装置１０には、マップＭとともに、再生ボタンＢが表示される。また、図１２Ｃに示すように、マップＭには、位置アイコンＡ１とともに、情報処理装置１の向きを示す向きアイコンＤ、音源の位置を示す音源アイコンＡ３が表示される。
　ユーザは、再生ボタンＢを選択することで、異常音として検出された音声データが端末装置１０で再生される。これにより、ユーザは、異常音を確認することができる。そして、ユーザは、確認した音声が異常音であるか否かの操作に基づいて、端末装置１０で通知情報に対するフィードバック情報が生成され、生成されたフィードバック情報が情報処理装置１へ送信される。
　なお、異常音の通知情報については、音源アイコンＡ３に加えて、音源を撮像した画像データを含めるようにしてもよい。これにより、ユーザは、異常音が発生したときの状況を容易に把握することが可能となる。
　また、通知情報生成部５６は、図９に示したレベルに関するレベル情報を通知情報に含めることで、端末装置１０は、レベルごとに通知情報をまとめて表示することも可能である。
　例えば、図１２Ｄに示すように、端末装置１０には、レベルに応じた複数のタブが表示され、タブごとに通知情報が表示される。図１２Ｄに示す例では、タブには、レベルごとに重要度が対応付けられている場合を示す。
　具体的には、重要度が「高」であるタブには、レベル１の通知情報が表示され、重要度が「低」であるタブには、レベル２の通知情報が表示される。図９に示した例では、レベルが低いほど、類似距離が高いので、レベルが低いほど、人物辞書情報４２または音声辞書情報４３に登録された特徴量から大きく乖離していることを示す。
　したがって、レベルが低いほど、許可ユーザや生活音から乖離した人物や異常音であることを示す。つまり、レベル１の場合、不審者や異常音である可能性が高いので、重要度を「高」として表示し、レベル２の場合、不審者や異常音である可能性がレベル１に比べて低いので、重要度を「低」として表示している。
　そして、端末装置１０に、重要度ごとに通知情報をまとめて表示することで、ユーザは、重要度の高い通知情報を優先的に確認することができる。これにより、ユーザによる通知情報の確認を容易にすることができる。なお、端末装置１０は、通知情報のレベルに応じて、ユーザへの通知方法を変更することにしてもよい。例えば、端末装置１０は、レベル１の通知情報を受信した場合にのみ、プッシュ通知を行い、レベル２の通知情報を受信した場合には、プル通知にしたりすることができる。
　図２の説明に戻り、更新部５７について説明する。更新部５７は、通知情報に対するフィードバック情報に基づいて、ルール情報を更新する。具体的には、更新部５７は、フィードバック情報に基づいて、人物辞書情報４２、音声辞書情報４３および、条件情報４７を更新する。ここで、人物辞書情報４２、音声辞書情報４３および条件情報４７は、ルール情報の一例であり、人物辞書情報４２および音声辞書情報４３は、辞書情報の一例に対応する。また、ルール情報に、閾値情報４６を含むようにしてもよい。
　まず、更新部５７が辞書情報を更新する場合について説明する。更新部５７は、フィードバック情報に基づいて、人物辞書情報４２または音声辞書情報４３に新たな許可ユーザや生活音を登録する。ここで、フィードバック情報は、不審者として検出された人物が実際に不審者であるか否かに関する情報や、異常音として検出された音声が実際に異常音であるか否かに関する情報が含まれる。つまり、フィードバック情報には、通知情報が示す異常の正否に関する正否情報が含まれる。
　このため、更新部５７は、正否情報に基づいて、不審者として検出された人物を許可ユーザとして人物辞書情報４２に登録したり、異常音として検出された音声を生活音として音声辞書情報４３に登録したりすることができる。
　また、更新部５７は、人物辞書情報４２や音声辞書情報４３に新たなデータを登録するのみならず、任意のデータについて削除することも可能である。以下、音声辞書情報４３からデータを削除する場合について説明するが、人物辞書情報４２についても同様に適用することができる。
　図１３は、実施形態に係る辞書情報のデータ削除を示す模式図である。図１３に示すように、更新部５７は、所定期間（例えば、１ヵ月間）、検出されなかった生活音を削除する。
　ここで、「削除する」とは、実際に削除することであってもよいし、あるいは、実際には削除せずに、特徴量の比較対象から削除することを示す。例えば、工事に伴う音声を生活音として登録した場合を想定する。この場合、工事が終われば、生活音でなく異常音となる場合もある。同様に、工事関係者を一旦、許可ユーザとしたものの、工事が終われば、不審者になることもある。
　つまり、更新部５７は、所定期間検出されなかった音声について削除することで、現在の環境にあわせて適切に異常を検出することが可能となる。なお、上記の例に限られず、許可ユーザや生活音の登録時に、許可ユーザや生活音として登録する期間の入力をユーザから受け付けることにしてもよい。
　なお、ここでは、更新部５７が辞書情報を削除する場合について示したが、更新部５７は、条件情報４７の送信条件を削除することも可能である。すなわち、古くなった送信条件を削除することで、ユーザの現在の状況にあわせた送信条件を新たに設定することが可能となる。
　続いて、更新部５７がルール情報のうち、条件情報４７を更新する処理について説明する。更新部５７は、ユーザが指定した送信条件や、フィードバック情報に基づいて、条件情報４７を更新する。
　具体的には、更新部５７は、ユーザが指定した送信条件に基づいて、条件情報４７を更新する場合、図１０に示したように、ユーザは、データ種別、時刻、位置を組み合わせた送信条件を設定することが可能である。
　ところで、同一の音声であっても、発生時刻や、音源の位置が異なれば、実際の生活音である場合と異常音である場合の双方のケースが考えられる。このため、更新部５７は、フィードバック情報に基づいて、異常音ごとに時刻や位置などの送信条件を更新することができる。
　例えば、異常音として送信された音声データに対して、異常音でないとするフィードバック情報が受信された場合を想定する。この場合、更新部５７は、発生時刻や位置を限定した条件でのみ、上記の音声データに関する通知情報が送信されないように送信条件を更新する。
　そして、更新部５７は、上記の処理を順次繰り返して行うことで、同一内容の音声データに対する送信条件を最適化することができる。なお、同一内容の音声データとは、特徴量の類似距離が所定値以下であることを示す。
　また、更新部５７は、音声データごとに、曜日や天候などの条件を付け加えることも可能である。具体的には、平日であれば、通知情報が送信され、休日であれば、通知情報が送信されないように送信条件を設定したり、晴れの日であれば、通知情報が送信され、雨の日であれば、通知情報が送信されないように、送信条件を更新したりすることもできる。
　さらに、更新部５７は、異常が検出されたときの状況に基づいて、送信条件を更新することにしてもよい。具体的には、更新部５７は、異常が検出されたときの周囲に存在する許可ユーザの有無などを送信条件に付け加えることにしてもよい。
　また、更新部５７は、フィードバック情報に基づいて、類似距離に対する閾値を更新することにしてもよい。例えば、更新部５７は、フィードバック情報によって異常でないとされたデータの特徴量と、異常であるとされたデータの特徴量とをそれぞれ学習し、学習結果に基づいて、閾値を更新することができる。つまり、類似距離に対する閾値を最適化することで、異常の検出精度を向上させることができる。
　次に、図１４を用いて、実施形態に係る情報処理装置１が実行する処理手順について説明する。図１４は、実施形態に係る情報処理装置１が実行する処理手順を示すフローチャートである。
　図１４に示すように、情報処理装置１は、センシング結果を取得すると（ステップＳ１０１）、センシング結果における特徴量と、辞書情報に登録された特徴量とのマッチング処理を行う（ステップＳ１０２）。なお、ステップＳ１０２の処理手順については、図１５を用いて後述する。
　続いて、情報処理装置１は、ステップＳ１０２のマッチング処理の結果、異常を検出したか否かを判定し（ステップＳ１０３）、異常を検出していなかった場合（ステップＳ１０３，Ｎｏ）、かかるセンシング結果に対する処理を終了する。
　また、情報処理装置１は、ステップＳ１０３の判定において、異常を検出したと判定した場合（ステップＳ１０３，Ｙｅｓ）、検出した異常が送信条件に合致するか否かを判定する（ステップＳ１０４）。
　続いて、情報処理装置１は、ステップＳ１０４の判定処理において、送信条件に合致しないと判定した場合（ステップＳ１０４，Ｎｏ）、かかる異常に関する処理を終了する。また、情報処理装置１は、ステップＳ１０４の判定処理において、送信条件に合致すると判定した場合（ステップＳ１０４，Ｙｅｓ）、端末装置１０へかかる異常に関する通知情報を送信する（ステップＳ１０５）。
　その後、情報処理装置１は、端末装置１０からフィードバック情報を受信し（ステップＳ１０６）、フィードバック情報に基づいてルール情報を更新し（ステップＳ１０７）、処理を終了する。
　次に、図１５を用いて、図１４のステップＳ１０２に示したマッチング処理の処理手順について説明する。図１５は、図１４のステップＳ１０２に示したマッチング処理の処理手順を示すフローチャートである。
　図１５に示すように、情報処理装置１は、辞書情報に登録されたモデル特徴量を選択し（ステップＳ１１１）、センシング結果の特徴量とモデル特徴量との類似距離を算出する（ステップＳ１１２）。
　続いて、情報処理装置１は、ステップＳ１１２にて算出した類似距離が第１閾値Ｔｈ１よりも小さいか否かを判定し（ステップＳ１１３）、類似距離が第１閾値Ｔｈ１よりも小さかった場合（ステップＳ１１３，Ｙｅｓ）、類似距離が第２閾値Ｔｈ２よりも小さいか否かを判定する（ステップＳ１１４）。
　情報処理装置１は、ステップＳ１１４の判定処理において、類似距離が第２閾値Ｔｈ２よりも小さい場合（ステップＳ１１４，Ｙｅｓ）、レベルをレベル３に決定し（ステップＳ１１５）、処理を終了する。
　また、情報処理装置１は、ステップＳ１１４の判定処理において、類似距離が第２閾値以上である場合（ステップＳ１１４，Ｎｏ）、レベル２に決定し（ステップＳ１１６）、処理を終了する。
　また、情報処理装置１は、ステップＳ１１３の判定処理において、類似距離が第１閾値Ｔｈ１以上である場合（ステップＳ１１３，Ｎｏ）、全てのモデル特徴量とマッチング終了したか否かを判定する（ステップＳ１１７）。
　そして、情報処理装置１は、マッチングしていないモデル特徴量がある場合（ステップＳ１１７，Ｎｏ）、ステップＳ１１１の処理へ移行し、全てのモデル特徴量とマッチング終了した場合（ステップＳ１１７，Ｙｅｓ）、レベル１に決定し（ステップＳ１１８）、処理を終了する。
　なお、例えば、複数のモデル特徴量との類似距離が第１閾値Ｔｈ１または第２閾値Ｔｈ２以下となる場合を考慮して、全てのモデル特徴量との類似距離を算出したうえで、最小の類似距離でレベル分けを行うことにしてもよい。
［変形例の概要］
　ところで、上述した実施形態では、情報処理装置１が、所定エリア（住宅Ｈ）に配置される場合について説明したが、これに限定されるものではない。例えば、情報処理装置１をサーバ装置として構成することも可能である。
　図１６は、変形例に係る情報処理装置１Ａの模式図である。なお、図１６では、情報処理装置１Ａを簡略化して示す。図１６に示すように、変形例に係る情報処理装置１Ａは、サーバ装置であり、ルール情報ＤＢ４１０と、フィードバック情報ＤＢ４２０を備える。
　情報処理装置１Ａは、例えば、ペット型ロボット２００から送信される環境情報のセンシング結果を受信し、ルール情報ＤＢ４１０に登録された辞書情報や送信条件に基づいて、端末装置１０へ通知情報を送信するか否かを判定する。
　情報処理装置１Ａは、送信条件に合致すると判定した場合、通知情報を端末装置１０へ送信し、その後、通知情報に対するフィードバック情報を受信する。そして、情報処理装置１Ａは、フィードバック情報をフィードバック情報ＤＢ４２０に格納するとともに、フィードバック情報に基づいて、ルール情報ＤＢに登録されたルール情報を更新する。
　なお、ここでは、情報処理装置１Ａが、ペット型ロボット２００からセンシング結果を受信する場合について説明したが、これに限定されるものではない。すなわち、辞書情報をペット型ロボット２００に内蔵しておき、不審者の検出および異常音の検出をペット型ロボット２００側で行い、送信条件を満たすか否かの判定を情報処理装置１Ａ側で行うことにしてもよい。
［その他の変形例］
　ところで、上述した実施形態では、所定エリアを住宅Ｈとした説明したが、これに限定されるものではなく、任意のエリアを所定エリアとして設定することが可能である。
　また、上述した実施形態では、情報処理装置１が、所定エリアのイベントとして異常を検出する場合について説明したが、これに限定されるものではない。すなわち、どのようなイベントを検出するかについては、ユーザの要求によって任意に変更することにしてもよい。具体的には、イベントとして、所定のユーザが帰宅したことを検出した場合に、通知情報を送信したりするなど、任意に設定することにしてもよい。
　上述してきた各実施形態に係る情報処理装置、ＨＭＤ、コントローラ等の情報機器は、例えば図１６に示すような構成のコンピュータ１０００によって実現される。以下、実施形態に係る情報処理装置１を例に挙げて説明する。図１６は、情報処理装置１の機能を実現するコンピュータ１０００の一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係るプログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置１として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、マップ生成部５１等の機能を実現する。また、ＨＤＤ１４００には、本開示に係るプログラムや、記憶部４内のデータが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　所定エリアの環境情報をセンシングするセンサのセンシング結果と、予め設定されたルール情報とに基づいて、前記センシング結果に基づく通知情報を端末装置へ送信する送信部と、
　前記送信部によって送信された前記通知情報に対するフィードバック情報を前記端末装置から受信する受信部と、
　前記受信部によって受信された前記フィードバック情報に基づいて、前記ルール情報を更新する更新部と
　を備える、情報処理装置。
（２）
　前記ルール情報のうち、所定のイベントの検出基準となる辞書情報に基づいて、前記センシング結果から前記イベントを検出する検出部と、
　前記ルール情報のうち、前記通知情報を送信する送信条件を示す条件情報に、前記検出部によって検出された前記イベントが合致するか否かを判定する判定部と
　を備え、
　前記送信部は、
　前記判定部によって前記送信条件に合致すると判定された前記イベントに関する前記通知情報を送信する、
　上記（１）に記載の情報処理装置。
（３）
　前記検出部は、
　前記イベントとして、前記所定エリアの異常を検出する、
　上記（２）に記載の情報処理装置。
（４）
　前記判定部は、
　前記異常の発生時刻が前記送信条件において前記異常の発生が許可された許可時刻でなかった場合に、前記送信条件に合致すると判定する、
　上記（３）に記載の情報処理装置。
（５）
　前記判定部は、
　前記異常の発生位置が前記送信条件において前記異常の発生が許可された許可地点でなかった場合に、前記送信条件に合致すると判定する、
　上記（３）または（４）に記載の情報処理装置。
（６）
　前記検出部は、
　前記センシング結果である画像データに写る人物が前記辞書情報に登録された許可ユーザでなかった場合に、前記異常として検出する、
　上記（３）～（５）のいずれかに記載の情報処理装置。
（７）
　前記検出部は、
　前記センシング結果である音声データが前記辞書情報に登録された許可音声でなかった場合に、前記異常として検出する、
　上記（３）～（６）のいずれかに記載の情報処理装置。
（８）
　前記辞書情報は、
　記前許可音声として生活音が登録される、
　上記（７）に記載の情報処理装置。
（９）
　前記更新部は、
　前記ルール情報のうち、所定期間使用されなかった情報を削除する、
　上記（１）～（８）のいずれかに記載の情報処理装置。
（１０）
　前記検出部は、
　前記辞書情報に登録された特徴量と前記センシング結果の特徴量との類似度について、複数の閾値とを比較することで、前記異常のレベルを決定し、
　前記送信部は、
　前記レベルに応じた重要度を付与した前記通知情報を送信する、
　上記（３）～（９）のいずれかに記載の情報処理装置。
（１１）
　前記更新部は、
　前記フィードバック情報に基づいて、前記閾値を更新する、
　上記（１０）に記載の情報処理装置。
（１２）
　前記送信部は、
　同一の前記ルール情報に基づく複数の前記通知情報を１つの前記通知情報にまとめて送信する、
　上記（１）～（１１）のいずれかに記載の情報処理装置。
（１３）
　前記受信部は、
　前記フィードバック情報として、前記通知情報が示す前記異常の正否に関する正否情報を受信し、
　前記更新部は、
　前記正否情報に基づいて、前記条件情報を更新する、
　上記（２）～（１２）のいずれかに記載の情報処理装置。
（１４）
　前記更新部は、
　前記正否情報に基づいて、前記辞書情報を更新する、
　上記（１３）に記載の情報処理装置。
（１５）
　前記送信部は、
　前記通知情報として、前記異常の発生位置、前記異常の発生時刻、前記異常を検出した位置、および、前記異常の根拠となる前記センシング結果の少なくとも１つに関する情報を送信する、
　上記（３）～（１４）のいずれかに記載の情報処理装置。
（１６）
　前記送信部は、
　前記異常を検出した前記センシング結果が画像データである場合、前記画像データを撮像した撮像向きに関する情報を前記通知情報として送信する、
　上記（１５）に記載の情報処理装置。
（１７）
　移動型ロボットである、
　上記（１）～（１６）のいずれかに記載の情報処理装置。
（１８）
　所定エリアの環境情報をセンシングするセンサのセンシング結果と、予め設定されたルール情報とに基づいて、前記センシング結果に基づく通知情報を端末装置へ送信し、
　送信した前記通知情報に対するフィードバック情報を前記端末装置から受信し、
　受信した前記フィードバック情報に基づいて、前記ルール情報を更新する
　方法。
（１９）
　コンピュータを、
　所定エリアの環境情報をセンシングするセンサのセンシング結果と、予め設定されたルール情報とに基づいて、前記センシング結果に基づく通知情報を端末装置へ送信する送信部と、
　前記送信部によって送信された前記通知情報に対するフィードバック情報を前記端末装置から受信する受信部と、
　前記受信部によって受信された前記フィードバック情報に基づいて、前記ルール情報を更新する更新部と
　として機能させる、プログラム。
　　１、１Ａ　情報処理装置
　　２　　　　センサ部
　１０　　　端末装置
　２１　　　デプスセンサ（センサの一例）
　２２　　　マイクセンサ（センサの一例）
　２３　　　カメラセンサ（センサの一例）
　３１　　　受信部
　３２　　　送信部
　４２　　　人物辞書情報（辞書情報の一例）
　４３　　　音声辞書情報（辞書情報の一例）
　５１　　　マップ生成部
　５２　　　音声検出部（検出部の一例）
　５３　　　音源推定部
　５４　　　人物検出部（検出部の一例）
　５５　　　判定部
　５６　　　通知情報生成部
　５７　　　更新部

Claims (19)

  1. 　所定エリアの環境情報をセンシングするセンサのセンシング結果と、予め設定されたルール情報とに基づいて、前記センシング結果に基づく通知情報を端末装置へ送信する送信部と、
    　前記送信部によって送信された前記通知情報に対するフィードバック情報を前記端末装置から受信する受信部と、
    　前記受信部によって受信された前記フィードバック情報に基づいて、前記ルール情報を更新する更新部と
    　を備える、情報処理装置。
  2. 　前記ルール情報のうち、所定のイベントの検出基準となる辞書情報に基づいて、前記センシング結果から前記イベントを検出する検出部と、
    　前記ルール情報のうち、前記通知情報を送信する送信条件を示す条件情報に、前記検出部によって検出された前記イベントが合致するか否かを判定する判定部と
    　を備え、
    　前記送信部は、
    　前記判定部によって前記送信条件に合致すると判定された前記イベントに関する前記通知情報を送信する、
    　請求項１に記載の情報処理装置。
  3. 　前記検出部は、
    　前記イベントとして、前記所定エリアの異常を検出する、
    　請求項２に記載の情報処理装置。
  4. 　前記判定部は、
    　前記異常の発生時刻が前記送信条件において前記異常の発生が許可された許可時刻でなかった場合に、前記送信条件に合致すると判定する、
    　請求項３に記載の情報処理装置。
  5. 　前記判定部は、
    　前記異常の発生地点が前記送信条件において前記異常の発生が許可された許可地点でなかった場合に、前記送信条件に合致すると判定する、
    　請求項３に記載の情報処理装置。
  6. 　前記検出部は、
    　前記センシング結果である画像データに写る人物が前記辞書情報に登録された許可ユーザでなかった場合に、前記異常として検出する、
    　請求項３に記載の情報処理装置。
  7. 　前記検出部は、
    　前記センシング結果である音声データが前記辞書情報に登録された許可音声でなかった場合に、前記異常として検出する、
    　請求項３に記載の情報処理装置。
  8. 　前記辞書情報は、
    　前記許可音声として生活音が登録される、
    　請求項７に記載の情報処理装置。
  9. 　前記更新部は、
    　前記ルール情報のうち、所定期間使用されなかった情報を削除する、
    　請求項１に記載の情報処理装置。
  10. 　前記検出部は、
    　前記辞書情報に登録された特徴量と前記センシング結果の特徴量との類似度について、複数の閾値とを比較することで、前記異常のレベルを決定し、
    　前記送信部は、
    　前記レベルに応じた重要度を付与した前記通知情報を送信する、
    　請求項３に記載の情報処理装置。
  11. 　前記更新部は、
    　前記フィードバック情報に基づいて、前記閾値を更新する、
    　請求項１０に記載の情報処理装置。
  12. 　前記送信部は、
    　同一の前記ルール情報に基づく複数の前記通知情報を１つの前記通知情報にまとめて送信する、
    　請求項１に記載の情報処理装置。
  13. 　前記受信部は、
    　前記フィードバック情報として、前記通知情報が示す前記異常の正否に関する正否情報を受信し、
    　前記更新部は、
    　前記正否情報に基づいて、前記条件情報を更新する、
    　請求項３に記載の情報処理装置。
  14. 　前記更新部は、
    　前記正否情報に基づいて、前記辞書情報を更新する、
    　請求項１３に記載の情報処理装置。
  15. 　前記送信部は、
    　前記通知情報として、前記イベントの発生位置、前記イベントの発生時刻、前記イベントを検出した位置、および、前記イベントの根拠となる前記センシング結果の少なくとも１つに関する情報を送信する、
    　請求項２に記載の情報処理装置。
  16. 　前記送信部は、
    　前記イベントを検出した前記センシング結果が画像データである場合、前記画像データを撮像した撮像向きに関する情報を前記通知情報として送信する、
    　請求項１５に記載の情報処理装置。
  17. 　移動型ロボットである、
    　請求項１に記載の情報処理装置。
  18. 　コンピュータが、
    　所定エリアの環境情報をセンシングするセンサのセンシング結果と、予め設定されたルール情報とに基づいて、前記センシング結果に基づく通知情報を端末装置へ送信し、
    　送信した前記通知情報に対するフィードバック情報を前記端末装置から受信し、
    　受信した前記フィードバック情報に基づいて、前記ルール情報を更新する
    　方法。
  19. 　コンピュータを、
    　所定エリアの環境情報をセンシングするセンサのセンシング結果と、予め設定されたルール情報とに基づいて、前記センシング結果に基づく通知情報を端末装置へ送信する送信部と、
    　前記送信部によって送信された前記通知情報に対するフィードバック情報を前記端末装置から受信する受信部と、
    　前記受信部によって受信された前記フィードバック情報に基づいて、前記ルール情報を更新する更新部と
    　として機能させる、プログラム。
PCT/JP2020/025574 2019-08-02 2020-06-29 情報処理装置、方法およびプログラム WO2021024649A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP20850245.0A EP4009297A4 (en) 2019-08-02 2020-06-29 INFORMATION PROCESSING DEVICE, METHOD AND PROGRAM
CN202080054253.0A CN114207681A (zh) 2019-08-02 2020-06-29 信息处理设备、方法和程序
US17/624,676 US11887457B2 (en) 2019-08-02 2020-06-29 Information processing device, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019143079 2019-08-02
JP2019-143079 2019-08-02

Publications (1)

Publication Number Publication Date
WO2021024649A1 true WO2021024649A1 (ja) 2021-02-11

Family

ID=74502918

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/025574 WO2021024649A1 (ja) 2019-08-02 2020-06-29 情報処理装置、方法およびプログラム

Country Status (4)

Country Link
US (1) US11887457B2 (ja)
EP (1) EP4009297A4 (ja)
CN (1) CN114207681A (ja)
WO (1) WO2021024649A1 (ja)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056664A (ja) * 2002-07-23 2004-02-19 Ntt Data Corp 共同撮影システム
JP2005173668A (ja) * 2003-12-08 2005-06-30 Hitachi Ltd 生活行動パターンの異常判定システム及びそのための装置
JP2006155451A (ja) * 2004-12-01 2006-06-15 Matsushita Electric Ind Co Ltd 自走式機器およびそのプログラム
JP2007068149A (ja) * 2005-08-02 2007-03-15 Canon Inc 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム並びに記憶媒体
JP2008197879A (ja) * 2007-02-13 2008-08-28 Matsushita Electric Ind Co Ltd 監視システム、制御方法、およびそのプログラム
JP2011250161A (ja) * 2010-05-27 2011-12-08 Hitachi Ltd 監視カメラシステム
JP2012100005A (ja) * 2010-11-01 2012-05-24 Nec Commun Syst Ltd 携帯端末、健康管理システムおよび携帯端末を用いた健康管理方法
JP2013077258A (ja) * 2011-09-30 2013-04-25 Secom Co Ltd 警備システム
JP2013222216A (ja) * 2012-04-12 2013-10-28 Denso Corp 監視装置、ユーザ端末、及び監視センタ
US20170053504A1 (en) * 2015-08-21 2017-02-23 Xiaoyi Technology Co., Ltd. Motion detection system based on user feedback
JP2018094683A (ja) 2016-12-14 2018-06-21 株式会社メニコン 見守り型ペットロボット

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4003591B2 (ja) 2002-07-11 2007-11-07 ソニー株式会社 モニタリングシステム、モニタリング方法およびプログラム
JP5188840B2 (ja) * 2008-02-29 2013-04-24 綜合警備保障株式会社 警備装置および更新方法
JP2010238182A (ja) * 2009-03-31 2010-10-21 Sogo Keibi Hosho Co Ltd 自律移動体及び不審者検知方法
JP6045806B2 (ja) * 2012-03-30 2016-12-14 セコム株式会社 侵入監視装置
CA2834877A1 (en) * 2012-11-28 2014-05-28 Henry Leung System and method for event monitoring and detection
CN103218554B (zh) * 2013-03-18 2015-10-28 卡巴斯基实验室封闭式股份公司 用于基于用户行为适应性控制用户动作的系统和方法
US11445274B2 (en) * 2014-07-29 2022-09-13 GroGuru, Inc. Sensing system and method for use in electromagnetic-absorbing material
US10502865B2 (en) * 2014-07-29 2019-12-10 GroGuru, Inc. Sensing system and method for use in electromagnetic-absorbing material
US10191184B2 (en) * 2014-07-29 2019-01-29 GroGuru, Inc. Systems and methods for an improved soil moisture sensor
EP3489948A4 (en) * 2016-07-22 2019-08-14 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, AND PROGRAM
US10444769B2 (en) * 2017-04-24 2019-10-15 Rain Bird Corporation Sensor-based interruption of an irrigation controller
CN108647582A (zh) * 2018-04-19 2018-10-12 河南科技学院 一种复杂动态环境下目标行为识别与预测方法
CN109800577B (zh) * 2018-12-29 2020-10-16 360企业安全技术(珠海)有限公司 一种识别逃逸安全监控行为的方法及装置

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056664A (ja) * 2002-07-23 2004-02-19 Ntt Data Corp 共同撮影システム
JP2005173668A (ja) * 2003-12-08 2005-06-30 Hitachi Ltd 生活行動パターンの異常判定システム及びそのための装置
JP2006155451A (ja) * 2004-12-01 2006-06-15 Matsushita Electric Ind Co Ltd 自走式機器およびそのプログラム
JP2007068149A (ja) * 2005-08-02 2007-03-15 Canon Inc 画像処理装置、撮像装置、画像処理方法、コンピュータプログラム並びに記憶媒体
JP2008197879A (ja) * 2007-02-13 2008-08-28 Matsushita Electric Ind Co Ltd 監視システム、制御方法、およびそのプログラム
JP2011250161A (ja) * 2010-05-27 2011-12-08 Hitachi Ltd 監視カメラシステム
JP2012100005A (ja) * 2010-11-01 2012-05-24 Nec Commun Syst Ltd 携帯端末、健康管理システムおよび携帯端末を用いた健康管理方法
JP2013077258A (ja) * 2011-09-30 2013-04-25 Secom Co Ltd 警備システム
JP2013222216A (ja) * 2012-04-12 2013-10-28 Denso Corp 監視装置、ユーザ端末、及び監視センタ
US20170053504A1 (en) * 2015-08-21 2017-02-23 Xiaoyi Technology Co., Ltd. Motion detection system based on user feedback
JP2018094683A (ja) 2016-12-14 2018-06-21 株式会社メニコン 見守り型ペットロボット

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4009297A4

Also Published As

Publication number Publication date
EP4009297A4 (en) 2022-09-14
EP4009297A1 (en) 2022-06-08
US20220262225A1 (en) 2022-08-18
CN114207681A (zh) 2022-03-18
US11887457B2 (en) 2024-01-30

Similar Documents

Publication Publication Date Title
US10685257B2 (en) Systems and methods of person recognition in video streams
US11256951B2 (en) Systems and methods of person recognition in video streams
US10424175B2 (en) Motion detection system based on user feedback
CN110383235A (zh) 多用户智能辅助
JP5355446B2 (ja) 移動物体追跡システムおよび移動物体追跡方法
WO2009113265A1 (ja) タグセンサシステムおよびセンサ装置、ならびに、物体位置推定装置および物体位置推定方法
US11057649B1 (en) Live video streaming based on an environment-related trigger
US11783010B2 (en) Systems and methods of person recognition in video streams
CN110209281B (zh) 对运动信号进行处理的方法、电子设备和介质
US20220351600A1 (en) Information processing apparatus, information processing method, and information processing program
EP3410343A1 (en) Systems and methods of person recognition in video streams
KR102292333B1 (ko) 모니터링되는 환경에 관련된 결정 요인에 따라 전관 방송을 송출하는 기법
CN107618036B (zh) 控制装置、控制系统和控制方法
KR102254718B1 (ko) 모바일 민원 처리 시스템 및 방법
KR20200005476A (ko) 소급 소리 식별 시스템
WO2021024649A1 (ja) 情報処理装置、方法およびプログラム
WO2012147970A1 (ja) 位置コンテキスト取得装置、位置コンテキスト取得プログラムを記録したコンピュータ読み取り可能な記録媒体、及び位置コンテキスト取得方法
WO2021199284A1 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
WO2021186692A1 (ja) Ａｉ制御装置、ａｉ制御装置に接続されるサーバー装置、及びａｉ制御方法
KR20190023544A (ko) IoT 센서와 연계된 사운드 기반의 디지털 영상저장 장치 및 방법
US20210027779A1 (en) Information processing device and information processing method
JP2020155061A (ja) 個人識別システム、個人識別装置、個人識別方法及びコンピュータプログラム
JP7047174B1 (ja) 予測システム、予測装置、予測方法および予測プログラム
US20230128043A1 (en) Information processing device, information processing method, and information processing program
CN117831518A (zh) 基于移动远场语音识别的网点客情监测方法和装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20850245

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020850245

Country of ref document: EP

Effective date: 20220302

NENP Non-entry into the national phase

Ref country code: JP