WO2019230092A1 - ロボット、行動検知サーバ、および行動検知システム - Google Patents

ロボット、行動検知サーバ、および行動検知システム Download PDF

Info

Publication number
WO2019230092A1
WO2019230092A1 PCT/JP2019/007507 JP2019007507W WO2019230092A1 WO 2019230092 A1 WO2019230092 A1 WO 2019230092A1 JP 2019007507 W JP2019007507 W JP 2019007507W WO 2019230092 A1 WO2019230092 A1 WO 2019230092A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
sensor
detection
control unit
mobile robot
Prior art date
Application number
PCT/JP2019/007507
Other languages
English (en)
French (fr)
Inventor
小谷 正直
浩平 京谷
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to CN201980025077.5A priority Critical patent/CN112005182A/zh
Priority to US17/048,471 priority patent/US20210178594A1/en
Priority to SG11202010403YA priority patent/SG11202010403YA/en
Publication of WO2019230092A1 publication Critical patent/WO2019230092A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2836Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means characterised by the parts which are controlled
    • A47L9/2852Elements for displacement of the vacuum cleaner or the accessories therefor, e.g. wheels, casters or nozzles
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2805Parameters or conditions being sensed
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L9/00Details or accessories of suction cleaners, e.g. mechanical means for controlling the suction or for effecting pulsating action; Storing devices specially adapted to suction cleaners or parts thereof; Carrying-vehicles specially adapted for suction cleaners
    • A47L9/28Installation of the electric equipment, e.g. adaptation or attachment to the suction cleaner; Controlling suction cleaners by electric means
    • A47L9/2857User input or output elements for control, e.g. buttons, switches or displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089Determining the position of the robot with reference to its environment
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/02Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/023Cartesian coordinate type
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04QSELECTING
    • H04Q9/00Arrangements in telecontrol or telemetry systems for selectively calling a substation from a main station, in which substation desired apparatus is selected for applying a control signal thereto or for obtaining measured values therefrom
    • AHUMAN NECESSITIES
    • A47FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47LDOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L2201/00Robotic cleaning machines, i.e. with automatic control of the travelling movement or the cleaning operation
    • A47L2201/04Automatic control of the travelling movement; Automatic obstacle detection

Definitions

  • the present invention relates to a robot that cooperates with a plurality of sensors provided in a room, a behavior detection server that cooperates with these sensors and the robot, and a behavior detection system that includes the sensor, the robot, and the behavior detection server.
  • Patent Document 1 is a conventional technique for managing a sensor for efficiently grasping a user's location and state in order to grasp user activities and control devices according to the state of each user.
  • the abstract of Patent Document 1 includes “a management server 20 to which a plurality of sensors 10 are connected.
  • the control unit 21 of the management server 20 detects a person based on sensor information acquired from the sensor 10, and The location recording process is executed in the information storage unit 25. Further, the control unit 21 executes a state detection process, a used device detection process, and a usage amount recording process in the individual information storage unit 25. Then, the control unit.
  • the control unit 21 executes the user information recording process in the individual information storage unit 25.
  • the senor may malfunction when a device provided in the room is activated. Furthermore, in such a system, the device provided in the room may move in the room, causing the sensor to malfunction, and sending erroneous detection information.
  • This invention is made
  • the behavior detection system of the present invention includes a first sensor that detects information and a first communication unit that transmits information, and a plurality of sensor devices provided in any of the rooms,
  • the plurality of sensor devices include a second sensor that detects information, a second communication unit that transmits and receives information, and a robot that includes a moving unit that can move in the room, and a third communication unit that transmits and receives information.
  • a server Based on the detection information of the first sensor and the detection information of the second sensor included in the robot, a server that detects the state is constructed. Other means will be described in the embodiment for carrying out the invention.
  • SI sensor installation information
  • EI event information
  • GI sensor information
  • HI household appliance installation information
  • EI event information
  • FIG. 1 is a schematic diagram illustrating a configuration of the behavior detection system S.
  • the behavior detection system S includes a plurality of sensor devices 1, a mobile robot 2, a power feeding device 3, and a behavior detection server 4.
  • the sensor device 1 is provided in a room, senses information, and transmits information to the outside by the communication unit 14.
  • the mobile robot 2 includes a detection unit 22 and a mechanism unit 23, and is a robot that can move in a room.
  • the mobile robot 2 is, for example, a robot having a cleaning function, but is not limited thereto, and may be a pet robot or a security robot, and is not limited thereto.
  • the power feeding device 3 supplies power to the mobile robot 2.
  • the control unit 41 of the behavior detection server 4 includes a plurality of sensor devices 1 and a communication unit 44 that communicates with the mobile robot 2. Based on the detection information of the connected sensor device 1 and mobile robot 2, the behavior and / or state of a moving body such as a person, an animal, or another robot device is detected.
  • the plurality of sensor devices 1 includes a control unit 11, a detection unit 12 (first sensor), a storage unit 13, a communication unit 14 (first communication means), and a power supply unit 15, and is shown in FIG. A plurality are installed in 9.
  • the power supply unit 15 activates the sensor device 1 and supplies power to each unit.
  • the communication unit 14 is a wireless or wired communication module, and transmits the detection information of the sensor device 1 and the unique ID (IDentifier) of the sensor device 1 to the behavior detection server 4.
  • the storage unit 13 is, for example, a ROM (Read Only Memory) or a flash memory, and stores a unique ID of the sensor device 1 and the like.
  • the detection unit 12 functions as a first sensor that detects indoor information.
  • the detection unit 12 is a human sensor that detects a person or the like with, for example, infrared rays or ultrasonic waves, and can detect a moving body such as a person or a mobile robot.
  • the control unit 11 controls the operation of the detection unit 12.
  • the mobile robot 2 includes a power supply unit 25, a mechanism unit 23 (moving unit), a detection unit 22 (second sensor), a control unit 21, a storage unit 24, a communication unit 27 (second communication unit), and an operation unit 26. Is provided.
  • the mobile robot 2 includes a secondary battery (not shown) in the power supply unit 25 and operates by charging the secondary battery with the power supply device 3.
  • the power supply unit 25 activates the mobile robot 2 and supplies power to each unit of the mobile robot 2.
  • the mechanism part 23 is for moving in a room, and is composed of, for example, a motor and wheels.
  • the mechanism unit 23 functions as a moving means that can move inside the living room 9.
  • the detection unit 22 functions as a second sensor that detects indoor information.
  • the detection unit 22 is a sensor group for detecting the position of the mobile robot 2 and detecting the behavior of a moving body such as a person or an animal.
  • the control unit 21 is, for example, a CPU (Central Processing Unit), analyzes the detection information of the detection unit 22, and controls the operation of the mobile robot 2 based on the analyzed information.
  • the storage unit 24 is, for example, a RAM (Random Access Memory) or a flash memory, and stores information analyzed by the control unit 21.
  • the communication unit 27 is, for example, a Wi-Fi (registered trademark) communication module, and transmits and receives information between the control unit 21 and the behavior detection server 4.
  • the operation unit 26 is a switch or button for the user to operate the mobile robot 2.
  • the power feeding device 3 supplies power to the mobile robot 2.
  • the power feeding device 3 includes a detection unit 31 and a communication unit 32.
  • the detection unit 31 is a sensor that detects the position of the mobile robot 2.
  • the communication unit 32 is, for example, a Wi-Fi (registered trademark) communication module, and transmits and receives information between the control unit 21 and the behavior detection server 4.
  • the detection unit 22 of the mobile robot 2 includes a sensor group such as infrared rays, ultrasonic waves, lasers, accelerations, cameras, and voice recognition, and a sensor group that detects the operation of the mechanism unit 23.
  • the detection unit 22 is detection means including a position sensor for detecting geometric information of a space in which the detection unit 22 has moved. As a result, the room can be moved.
  • the control unit 21 can recognize the self position using the operation information of the mechanism unit 23 and the detection information of the sensor group.
  • the control unit 21 of the mobile robot 2 analyzes the geometric information of the living room 9 by the detection unit 22 and stores the analyzed geometric shape information (residential space map) in the storage unit 24. Thereby, the control unit 21 can recognize the position of the mobile robot 2 itself. If the destination information (geometric information) is received by the communication unit 27, the mobile robot 2 can move to the destination.
  • control unit 21 of the mobile robot 2 can transmit spatial information (GI) of its own position to the behavior detection server 4 via the communication unit 27.
  • control unit 21 of the mobile robot 2 includes a recognition unit that recognizes the behavior of a moving body such as a person or an animal by an image and a voice by the detection unit 22. For this reason, the control part 21 of the mobile robot 2 can transmit the information of the state of the detected moving body to the action detection server 4 via the communication part 27.
  • the control unit 41 of the behavior detection server 4 that has received the state information can transmit the state information to the outside via the external communication unit 45.
  • the behavior detection server 4 includes a control unit 41, a storage unit 42, a timer 43, a communication unit 44 (third communication means), and an external communication unit 45.
  • the communication unit 44 is, for example, a Wi-Fi (registered trademark) communication module, receives information transmitted from the sensor device 1 and the mobile robot 2, and transmits information to the mobile robot 2.
  • the communication unit 44 functions as a third communication unit that can communicate with the plurality of sensor devices 1 and the mobile robot 2 provided in the room.
  • the external communication unit 45 is, for example, a network interface card (NIC), and transmits / receives information to / from an external network other than the network constructed by the sensor device 1 and the mobile robot 2.
  • the control unit 41 analyzes information received from the sensor device 1, the mobile robot 2, and the external communication unit 45, and controls the mobile robot 2 based on the analysis result.
  • the control unit 41 detects the behavior of the moving body based on the sensor information (first detection information) detected by the plurality of sensor devices 1 and the information (second detection information) detected by the detection unit 22 of the mobile robot 2. Functions as a control means.
  • the storage unit 42 stores input information from the external communication unit 45 and control information of the control unit 41.
  • the storage unit 42 indicates the correspondence relationship between the sensor position information indicating the positions where the plurality of sensor devices 1 are installed, the geometric information of the space where the mobile robot 2 has moved, and the information on the positions where the plurality of sensor devices 1 are provided.
  • the control part 41 memorize
  • the timer 43 recognizes the event occurrence time.
  • Each function of the behavior detection server 4 may be incorporated in the mobile robot 2 or the sensor device 1.
  • FIG. 2 is a diagram illustrating the living room 9 in which the behavior detection system S according to the first embodiment is installed.
  • the living room 9 is a room such as a home, but may be a company office or a warehouse, and is not limited.
  • seven sensor devices 1-1 to 1-7 and a power feeding device 3 are installed, and the mobile robot 2 circulates along a route indicated by a thick arrow. The positions of the mobile robot 2 and the person at each event time Et1 to Et8 are shown on the path of the thick arrow.
  • the sensor devices 1-7, 1-1, 1-2 are installed in the living room, and the power feeding device 3 is installed in the vicinity of the sensor device 1-7. Further, a sensor device 1-3 is installed in the kitchen, and a sensor device 1-4 is installed in the cafeteria of the bowl. A sensor device 1-5 is installed in the corridor down the stairs, and a sensor device 1-6 is installed in the entrance. Note that when the sensor devices 1-1 to 1-7 are not particularly distinguished, they are simply referred to as the sensor device 1.
  • NS7 is assigned to the sensor device 1-7 as a unique ID.
  • a feature space NR7, which is a detection range of the sensor device 1-7, is on the left side of the living room, as indicated by a broken line.
  • NS1 is assigned as a unique ID to the sensor device 1-1.
  • the feature space NR1, which is the detection range of the sensor device 1-1, is on the right side of the living room as indicated by a broken line.
  • NS2 is assigned to the sensor device 1-2 as a unique ID.
  • the feature space NR2, which is the detection range of the sensor device 1-2, is on the right side of the living room as indicated by the broken line.
  • NS3 is assigned to the sensor device 1-3 as a unique ID.
  • the feature space NR3, which is the detection range of the sensor device 1-2, is a kitchen as indicated by a broken line.
  • NS4 is assigned as a unique ID to the sensor device 1-4.
  • the feature space NR4, which is the detection range of the sensor device 1-4, is a canteen as indicated by a broken line.
  • NS5 is assigned to the sensor device 1-5 as a unique ID.
  • the feature space NR5, which is the detection range of the sensor device 1-5, is a corridor as indicated by a broken line.
  • NS6 is assigned to the sensor device 1-6 as a unique ID.
  • the feature space NR6, which is the detection range of the sensor device 1-6, is a front door as indicated by a broken line.
  • the plurality of sensor devices 1-1 to 1-7 installed in the living room 9 act as information obtained by adding the unique ID (NS) of the sensor device 1 to the detection information (SD) of each sensor device 1.
  • a call can be made to the detection server 4.
  • FIG. 3 is a diagram illustrating an example of sensor installation information (SI).
  • the behavior detection server 4 is provided with a storage unit 42.
  • sensor installation information (SI) indicating the relationship between the individual IDs (NR1 to NR7) for each feature space of the living room 9 and the unique ID (NS) of the installed sensor device 1 is stored in advance. ing.
  • geometric information (GI) related to the detection area information (RS) can be added and stored.
  • the control unit 41 of the behavior detection server 4 is provided with the timer 43, the time when the data (NSi, SDi) of the sensor device 1 is received is additionally stored as the event occurrence time (Et). Can be made.
  • FIG. 4 is a diagram illustrating an example of event information (EI).
  • the event information (EI) shown in FIG. 4 can be stored and held as data relating to detection of human behavior.
  • the event information (EI) is managed as data for each sensor unique ID (NS).
  • the event information (EI) is configured by storing and holding the ID (NRj) for each feature space of the living room 9, the data (SD) of each sensor device 1, and the event occurrence time (Et). As shown in FIG. 3, the feature space (NR) and the sensor ID (NS) do not have to correspond one-to-one.
  • FIG. 5 shows an outline of operations of the sensor device 1 and the mobile robot 2 when generating sensor installation information.
  • FIG. 6 illustrates detection information for each time series of each sensor (NSi).
  • the control unit 41 of the behavior detection server 4 sets the sensor installation information flag Sf.
  • the control unit 41 of the behavior detection server 4 transmits an activation signal to the mobile robot 2 and receives the responses of the sensor device 1 and the mobile robot 2 after the mobile robot 2 is activated. Wait in the state to do.
  • the sensor device 1-7 (NS7), sensor device 1-1 (NS1),..., Sensor device 1-6 (NS6), sensor device 1-7 are sequentially operated in accordance with the operation of the mobile robot 2. (NS7) reacts.
  • the control unit 41 of the behavior detection server 4 receives sensor detection data (NSi, SDi) according to the reaction of each sensor device 1.
  • the control unit 41 acquires the event occurrence time (Et) from the timer 43 and requests the mobile robot 2 to transmit its own position.
  • the mobile robot 2 is provided with a detection unit 22 that detects a position with respect to the power supply device 3 and can recognize its own position in the coordinate system shown in FIG.
  • the control unit 21 of the mobile robot 2 measures the coordinates (X, Y) with the power supply device 3 as the origin and the absolute distance R between the mobile robot 2 and the power supply device 3 by the detection unit 22. . Thereafter, the control unit 21 responds to the behavior detection server 4 with the measured coordinates (X, Y) and the absolute distance R.
  • the control unit 41 of the behavior detection server 4 identifies the unique ID of the sensor device 1 that has detected this data from the received sensor detection data (NSi, SDi).
  • the control unit 41 reads the detection area coordinate information of the sensor device 1 corresponding to the sensor unique ID in the sensor installation information (SI).
  • the detection area coordinate information includes the minimum value Rmin and the maximum value Rmax of the absolute distance R, the minimum value Xmin and the maximum value Xmax of the coordinate X, and the minimum value Ymin and the maximum value Ymax of the coordinate Y.
  • the control unit 41 compares the read detection area information with the coordinate data (GI (R, X, Y)) received from the mobile robot 2 (S10). The control unit 41 determines whether or not the following expressions (1) and (2) are satisfied, and determines the reaction range (S11). The control unit 41 updates the detection area information (Rmax, Rmin, Xmin, Xmax, Ymax, Ymin), and adds geometric information to the sensor installation information (SI) (S12).
  • GI coordinate data
  • SI sensor installation information
  • FIG. 8 is a flowchart showing processing in the sensor installation information (GI) mode.
  • processing is performed as follows.
  • the control unit 41 of the behavior detection server 4 sets the sensor installation information flag Sf (S40).
  • step S41 the control unit 41 of the behavior detection server 4 determines whether or not the mobile robot 2 is in a power supply state. If it is determined that the mobile robot 2 is in the power supply state (Yes), the control unit 41 of the behavior detection server 4 proceeds to the process of step S43. If it is determined that the mobile robot 2 is activated (No), the control unit 41 of step S42 Proceed to processing.
  • step S42 the control unit 41 of the behavior detection server 4 instructs the mobile robot 2 to move to the power feeding position, and the process returns to step S41. Thereby, the control unit 41 stands by until the mobile robot 2 is in a power supply state.
  • step S ⁇ b> 43 the control unit 41 of the behavior detection server 4 acquires the event occurrence time (Et) by the timer 43 and acquires sensor detection data (NSi, SDi) from each sensor device 1.
  • the control unit 41 holds the acquired sensor data as (Et, NSi, SDi), and proceeds to the process of step S44.
  • step S44 the control unit 41 of the behavior detection server 4 requests spatial information from the mobile robot 2, acquires the spatial information (GI (R, X, Y)) from the mobile robot 2, and performs the process of step S45. move on.
  • step S45 the control unit 41 of the behavior detection server 4 calls the sensor installation information of the sensor ID (NSi) that is the detection target, and proceeds to the process of step S451.
  • step S451 the control unit 41 of the behavior detection server 4 reads the detection area information (RS), and then proceeds to the process of step S46.
  • This detection area information (RS) includes information of (Rmax, Rmin, Xmin, Xmax, Ymax, Ymin).
  • step S46 the control unit 41 of the behavior detection server 4 determines whether or not a detection value is input and stored in the detection area information (RS). When the detection area information (RS) does not exist (No), the control unit 41 proceeds to the process of step S48. When the detection value is stored in the detection area information (RS) (Yes), the control unit 41 proceeds to the process of step S47.
  • step S47 the control unit 41 of the behavior detection server 4 compares the detection area information (RS) and the spatial information (GI, (R, X, Y)). The control unit 41 checks whether the position information (GI, (R, X, Y)) of the mobile robot 2 is within the detection area information (RS), that is, within the past geometric information range. When it is not within the past geometric information range (No), the control unit 41 of the behavior detection server 4 proceeds to the process of step S48. If it is within the past geometric information range, the control unit 41 of the behavior detection server 4 proceeds to the process of step S50.
  • step S48 the control unit 41 of the behavior detection server 4 updates the data by replacing the stored detection area information (RS) with the spatial information (GI (R, X, Y)) from the mobile robot 2.
  • the process proceeds to step S49.
  • step S49 the control unit 41 of the behavior detection server 4 integrates and calculates the search area area, and the process proceeds to step S50.
  • step S50 the control unit 41 of the behavior detection server 4 evaluates whether the integrated value of the search area matches the entire area of the search space.
  • the control unit 41 of the behavior detection server 4 proceeds to the process of step S51.
  • the control unit 41 of the behavior detection server 4 returns to the process of step S41.
  • the control unit 41 of the behavior detection server 4 clears the sensor installation information flag Sf and ends the sensor installation information mode.
  • the control unit 41 of the behavior detection server 4 separates the response of the sensor device 1 to the mobile robot 2 and the response of the sensor device 1 to the behavior of a moving body such as a person or an animal. To detect. Therefore, the control part 41 can memorize
  • event information EI
  • FIG. 9 shows an outline of the reaction of the sensor device 1 when the mobile robot 2 and a person are acting simultaneously.
  • the mobile robot 2 circulates along a route indicated by a thick arrow.
  • the positions at the respective event times Et1 to Et8 are indicated on the route indicated by the thick arrows.
  • the route of the mobile robot 2 shown in FIG. 9 is different from the route shown in FIG. This is because the sensor installation information mode is completed and the event information mode is entered.
  • FIG. 10 illustrates detection information for each time series of the detected sensor (NSi).
  • each sensor device 1 reacts to each event time. That is, the sensor device 1-7 (NS7) reacts at the event time Et1.
  • the sensor device 1-1 (NS1) reacts.
  • the sensor device 1-2 (NS2) reacts.
  • the sensor device 1-3 (NS3) reacts.
  • the sensor device 1-4 (NS4) reacts.
  • the sensor device 1-5 (NS5) reacts.
  • the sensor device 1-6 (NS6) reacts.
  • the sensor device 1-7 (NS7) reacts.
  • the sensor device 1-5 reacts at the event time Et3.
  • the sensor device 1-6 reacts at the event time Et4.
  • the control unit 41 of the behavior detection server 4 receives the spatial information (GI (R, X, Y)) of the mobile robot 2 every time it receives the detection information of the sensor device 1-i (NSi). Thereafter, the control unit 41 compares the detection area (RS) stored in the sensor installation information (SI) with the spatial information (GI (R, X, Y)). Thereby, the control part 41 produces
  • event information EI
  • FIG. 12 is a graph obtained by extracting only event information (EI).
  • EI event information
  • the sensor device 1-5 (NS5) is responding at the event time Et3.
  • the sensor device 1-6 (NS6) is reacting at the event time Et4.
  • This is detection information that excludes information that has detected the mobile robot 2, and is information that indicates that a person or animal has been detected.
  • the control unit 41 can detect the behavior of a moving body such as a person or an animal.
  • FIG. 13 is a flowchart showing processing when the mobile robot 2 is not activated in the event information (EI) mode.
  • the control unit 41 of the behavior detection server 4 receives sensor detection information (NSi, Et, SD) from the sensor device 1 in step S60, and proceeds to the process of step S61.
  • step S ⁇ b> 61 the control unit 41 of the behavior detection server 4 confirms whether or not the mobile robot 2 has been activated. When the mobile robot 2 is not activated (No), the process proceeds to step S62. When the mobile robot 2 is activated (Yes), the process proceeds to step S70 shown in FIG.
  • step S62 the control unit 41 of the behavior detection server 4 determines whether or not the sensor installation information mode is set.
  • the control unit 41 determines that the sensor installation information mode is set, and returns to the process of step S60.
  • the control unit 41 proceeds to the process of step S63.
  • step S63 the control unit 41 of the behavior detection server 4 requests the past stored data of the target sensor (NSi) from the event information (EI), and proceeds to the process of step S631.
  • step S631 the control unit 41 of the behavior detection server 4 reads the past stored data of the target sensor (NSi) from the event information (EI), and proceeds to the process of step S64.
  • step S64 the control unit 41 of the behavior detection server 4 calculates comparison data from past stored data, and proceeds to the process of step S65. For example, the control unit 41 calculates comparison data by averaging the received detection information (NSi, Et, SD).
  • step S65 the control unit 41 of the behavior detection server 4 compares the detection information (NSi, Et, SD) with the comparison data (CD). When the difference exceeds the threshold value ⁇ 1 (Yes), the control unit 41 determines that an action different from daily life is detected, and proceeds to step S67. In step S67, the control unit 41 changes the mode to the abnormal mode, and sets the abnormal mode flag EMf to 1. When the difference is equal to or smaller than the threshold ⁇ 1 (Yes), the control unit 41 of the behavior detection server 4 determines that the state is the normal state, and adds the detection information to the event information (EI) (S66). Thereafter, the control unit 41 returns to the process of step S60.
  • the control unit 41 of the behavior detection server 4 compares the detection information (NSi, Et, SD) with the comparison data (CD). When the difference exceeds the threshold value ⁇ 1 (Yes), the control unit 41 determines that an action different from daily life is detected, and proceeds to step S67. In step S67, the control unit 41 changes the mode to the abnormal mode
  • FIG. 14 is a flowchart showing processing when the mobile robot 2 is activated in the event information (EI) mode.
  • the control unit 41 of the behavior detection server 4 confirms whether or not the abnormal processing mode is set, depending on whether or not the abnormal mode flag EMf is set.
  • the control unit 41 determines that the abnormal processing mode is set (Yes)
  • the control unit 41 transitions to the abnormal mode in FIG.
  • the control unit 41 determines that the abnormal processing mode is not set (No)
  • the control unit 41 proceeds to the process of step S71.
  • step S71 the control unit 41 of the behavior detection server 4 determines whether or not the sensor installation information mode is set.
  • the control unit 41 determines that the sensor installation information mode is set, and returns to the process of step S60.
  • the sensor installation information flag Sf is cleared (No) the control unit 41 proceeds to the process of step S72.
  • step S72 the control unit 41 of the behavior detection server 4 requests the mobile robot 2 for the self-location information GI (R, X, Y).
  • the control unit 41 acquires the self-position information GI (R, X, Y) from the mobile robot 2, the control unit 41 proceeds to the process of step S73.
  • step S ⁇ b> 73 the control unit 41 of the behavior detection server 4 determines the sensor device 1 that is reacting by the mobile robot 2 from the self-location information GI (R, X, Y) of the mobile robot 2 and the sensor installation information (SI). Determine the detection information.
  • the control unit 41 determines that the detection information of the sensor device 1 other than the sensor device 1 reacting by the mobile robot 2 is the behavior detection information (MI) of a moving body such as a person or an animal, and step S74. Proceed to the process.
  • MI behavior detection information
  • step S74 the control unit 41 of the behavior detection server 4 requests the event information (EI) for data to be compared with the behavior detection information (MI).
  • step S741 the control unit 41 acquires the requested data, and proceeds to the process of step S75.
  • step S75 the control unit 41 of the behavior detection server 4 calculates the comparison data (CD) from the data obtained from the event information (EI), and proceeds to the process of step S76.
  • step S76 the control unit 41 of the behavior detection server 4 compares the behavior detection information (MI) with the comparison data (CD). When the comparison result exceeds the threshold ⁇ 2 (Yes), the control unit 41 of the behavior detection server 4 determines that the state is abnormal and proceeds to the process of step S78, sets the processing state to the abnormal mode, and sets the abnormal mode flag. Set EMf to 1. If the threshold value ⁇ 2 or less (No), the control unit 41 proceeds to the process of step S77.
  • control part 41 of action detection server 4 adds action detection information (MI) to event information (EI), and returns to processing of Step S60.
  • the control unit 41 of the behavior detection server 4 that has shifted the processing to the abnormal mode performs the following processing using FIG. 15 to FIG. 17 and FIG.
  • FIG. 15 shows that in the case of daily behavior (event information (EI)), there is a response of NS5 (sensor device 1-5) between Et4 and Et5, and NS6 (sensor device 1-6) between Et4 and Et5. It shows the flow of processing in an abnormal normal state where there is no reaction.
  • EI event information
  • FIG. 16 shows detection information for each time series of the detected sensor (NSi).
  • the control unit 41 of the behavior detection server 4 compares the event information (EI) and the detection information (NSi, SD). When the difference between the event information (EI) and the detection information (NSi, SD) exceeds the threshold value, the control unit 41 determines that the behavior is abnormal and proceeds to the mobile robot 2 where the abnormal behavior is found (NSi). Thus, the sensor installation information (SI (R, X, Y)) is communicated. When the event information (EI) matches the detection information (NSi, SD), the control unit 41 of the behavior detection server 4 continues the detection mode.
  • step S80 the control unit 41 of the behavior detection server 4 requests the self position (GI (R, X, Y)) of the mobile robot 2, acquires the current position of the mobile robot 2, and proceeds to the process of step S81. .
  • step S81 the control unit 41 of the behavior detection server 4 performs multiple branching according to the abnormal mode flag.
  • the abnormal mode flag EMf 1
  • the control unit 41 of the behavior detection server 4 proceeds to the process of step S82.
  • the abnormal mode flag EMf is 2
  • the control unit 41 of the behavior detection server 4 proceeds to the process of step S85.
  • the abnormal mode flag EMf is 3
  • the control unit 41 of the behavior detection server 4 proceeds to the process of step S87.
  • step S82 the control unit 41 of the behavior detection server 4 transmits an abnormal normal diagnosis mode to the mobile robot 2, and the target coordinates GIo (NSi, R, X, Y) and the passage prediction sensor (PS). Is transmitted (S83). Further, the control unit 41 sets the abnormal mode flag EMf to 2 (S84), and transitions to the event information mode.
  • step S85 the control unit 41 of the behavior detection server 4 determines whether or not the mobile robot 2 exists in the abnormality search area by comparing the self position (GI) of the mobile robot 2 with the target coordinates (GIo). To do. When the difference between the self position (GI) and the target coordinate (GIo) is equal to or smaller than the threshold ⁇ 3 (No), the control unit 41 determines that the mobile robot 2 has moved to the abnormality search area, and sets the abnormality mode flag EMf to 3. (S86) and transition to the event information mode. When the difference between the self position (GI) and the target coordinate (GIo) exceeds the threshold ⁇ 3 (Yes), the control unit 41 determines that the mobile robot 2 has not reached the abnormality search area, and the event information mode Transition to.
  • GI self position
  • GIo target coordinate
  • step S87 the control unit 41 of the behavior detection server 4 determines that it is in the abnormality search mode, and checks whether there is an abnormality.
  • the confirmation of the presence or absence of an abnormality may be detected by using an image and sound from an image sensor or a sound sensor provided in the detection unit 22 of the mobile robot 2.
  • the control unit 41 proceeds to the process of step S88 to create an abnormality report, and the external communication unit 45 provided in the behavior detection server 4 causes an abnormality to be made to an external service. Contact is made (S88), and the event information mode is entered.
  • step S87 When no abnormality is detected in step S87 (No), the control unit 41 proceeds to the process of step S89 to create a search report, and the external communication unit 45 provided in the behavior detection server 4 searches the external service. Send. After transmitting the search report, the control unit 41 of the behavior detection server 4 proceeds to the process of step S90, resets the abnormality diagnosis mode (S90), and transitions to the event information mode.
  • the behavior detection system S of the present invention a plurality of sensor devices 1 provided in the living room 9 and a mobile robot 2 having moving means for moving in the living room 9 are linked. Thereby, the action detection system S can ensure the privacy of the user while preventing the transmission of erroneous information caused by the malfunction of the sensor device 1.
  • FIG. 18 is a schematic diagram illustrating a configuration of a behavior detection system according to the second embodiment.
  • a plurality of home appliances 8 are installed in a room instead of the plurality of sensor devices 1, and the operation information and detection information of the home appliances are detected instead of the detection information of the sensor device. It detects behavior.
  • the plurality of home appliances 8 have various functions as home appliances in addition to the function of the sensor device 1 in the first embodiment.
  • the behavior detection system S includes a plurality of home appliances 8, a mobile robot 2, a power feeding device 3, and a behavior detection server 4.
  • the home appliance 8 is installed in a living room to realize various functions, and is a television, lighting, an air conditioner, or the like, for example.
  • the household electrical appliance 8 transmits the operation information when it is operated by the communication unit 14 to the outside.
  • the mobile robot 2 includes a detection unit 22 and a mechanism unit 23, and is a robot that can move in a living room (living environment).
  • the power feeding device 3 supplies power to the mobile robot 2.
  • the control unit 41 of the behavior detection server 4 includes a plurality of home appliances 8 and a communication unit 44 that communicates with the mobile robot 2. Based on the detection information of the connected home appliances 8 and the mobile robot 2, the behavior and / or state of a moving body such as a person, an animal, or another robot device is detected.
  • the plurality of home appliances 8 include a control unit 81, a detection unit 82, a storage unit 83, a communication unit 84, a power supply unit 85, and a wireless tag 86.
  • the power supply unit 85 activates the home appliance 8 and supplies power to each unit of the home appliance 8.
  • the communication unit 84 is a wireless or wired communication module, and transmits operation information for the home appliance 8 and a unique ID of the home appliance 8 to the behavior detection server 4.
  • the storage unit 83 is, for example, a ROM or a flash memory, and is constructed by a storage unit 83 for storing a unique ID of the home appliance 8, a detection unit 82, and a control unit 81 for controlling the operation of the detection unit 82.
  • a plurality of rooms are installed in the living room 9 shown.
  • the detection unit 22 of the mobile robot 2 is a group of sensors for detecting the position of the mobile robot 2 and the behavior of a moving object such as a person or an animal.
  • the detection unit 22 further has a function of detecting the wireless tag 86 included in the home appliance 8.
  • the mobile robot 2 is configured in the same manner as in the first embodiment except for the detection unit 22, and operates in the same manner as in the first embodiment.
  • the power feeding device 3 supplies power to the mobile robot 2.
  • the power feeding device 3 is configured in the same manner as in the first embodiment, and operates in the same manner as in the first embodiment.
  • the detection unit 22 of the mobile robot 2 includes a sensor group such as infrared rays, ultrasonic waves, lasers, accelerations, cameras, and voice recognition, and a sensor group that detects the operation of the mechanism unit 23.
  • the control unit 21 of the mobile robot 2 that can move in the room can recognize its own position using the operation information of the mechanism unit 23 and the detection information of the sensor group.
  • the control unit 21 can analyze the geometric information of the living room 9 by the detection unit 22, store the analyzed geometric shape information (residential space map) in the storage unit 24, and can recognize its own position. If the destination information (geometric information) is received by the communication unit 27, the mobile robot 2 can move to the destination.
  • control unit 21 of the mobile robot 2 can transmit spatial information (GI) of its own position to the behavior detection server 4 via the communication unit 27.
  • control unit 21 of the mobile robot 2 includes a recognition unit that recognizes the behavior of a moving body such as a person or an animal by an image and a sound by the detection unit 22. For this reason, the control part 21 of the mobile robot 2 can transmit the information of the state of the detected moving body to the action detection server 4 via the communication part 27.
  • the control unit 41 of the behavior detection server 4 that has received the state information can transmit the state information to the outside via the external communication unit 45.
  • the behavior detection server 4 includes a control unit 41, a storage unit 42, a timer 43, a communication unit 44, and an external communication unit 45.
  • the communication unit 44 is, for example, a Wi-Fi (registered trademark) communication module, receives information transmitted from the home appliance 8 and the mobile robot 2, and transmits information to the mobile robot 2.
  • the external communication unit 45 is, for example, a network interface card (NIC), and transmits / receives information to / from an external network other than the network constructed by the home appliance 8 and the mobile robot 2.
  • the control unit 41 analyzes the information received from the home appliance 8, the mobile robot 2, and the external communication unit 45, and controls the mobile robot 2 based on the analysis result.
  • the storage unit 42 stores input information from the external communication unit 45 and control information of the control unit 41.
  • the timer 43 recognizes the event occurrence time.
  • FIG. 19 is a diagram illustrating the living room 9 in which the behavior detection system S according to the second embodiment is installed.
  • the living room 9 seven home appliances 8-1 to 8-7 and the power feeding device 3 are installed, and the mobile robot 2 circulates along a route indicated by a thick arrow.
  • the positions at the respective event times Et1 to Et8 are indicated on the route indicated by the thick arrows.
  • home appliances 8-7, 8-1, and 8-2 are installed in the living room, and a power feeding device 3 is installed in the vicinity of the home appliance 8-7. Furthermore, a home appliance 8-3 is installed in the kitchen, and a home appliance 8-4 is installed in the cafeteria. A home appliance 8-5 is installed in the corridor down the stairs, and a home appliance 8-6 is installed in the entrance. Note that the home appliances 8-1 to 8-7 are simply referred to as home appliances 8 when not particularly distinguished.
  • the home appliance 8-7 is given NH7 as a unique ID.
  • a feature space ND7 in which the mobile robot 2 can detect the home appliance 8-7 is on the left side of the living room as indicated by a broken line.
  • the home appliance 8-1 is assigned NH1 as a unique ID.
  • a feature space ND1 in which the mobile robot 2 can detect the home appliance 8-1 is on the right side of the living room as indicated by a broken line.
  • the home appliance 8-2 is given NH2 as a unique ID.
  • a feature space ND2 which is a range in which the mobile robot 2 can detect the home appliance 8-2, is on the right side of the living room as indicated by a broken line.
  • the home appliance 8-3 is assigned NH3 as a unique ID.
  • a feature space ND3 that is a range in which the mobile robot 2 can detect the home appliance 8-3 is a kitchen, as indicated by a broken line.
  • the home appliance 8-4 is assigned NH4 as a unique ID.
  • a feature space ND4 which is a range in which the mobile robot 2 can detect the home appliance 8-4, is a cafeteria as indicated by a broken line.
  • the home appliance 8-5 is assigned NH5 as a unique ID.
  • a feature space ND5 that is a range in which the mobile robot 2 can detect the home appliance 8-2 is a corridor, as indicated by a broken line.
  • the home appliance 8-6 is given NH6 as a unique ID.
  • a feature space ND6, which is a range in which the mobile robot 2 can detect the home appliance 8-2, is a front door as indicated by a broken line.
  • the mobile robot 2 can detect the positions of the plurality of home appliances 8-1 to 8-7 installed in the living room 9. Further, each home appliance 8 can transmit information obtained by adding the unique ID (NH) of the home appliance 8 to the operation information and detection information (HD) of the home appliance to the behavior detection server 4.
  • NH unique ID
  • HD detection information
  • FIG. 20 is a diagram illustrating an example of home appliance installation information (HI).
  • the behavior detection server 4 is provided with a storage unit 42.
  • the storage unit 42 stores home appliance installation information (HI) indicating the relationship between the individual IDs (ND1 to ND7) for each feature space of the living room 9 and the unique ID (NH) of the installed home appliance 8. .
  • HI home appliance installation information
  • HI home appliance installation information
  • GI geometric information related to the detection area information
  • Et event occurrence time
  • FIG. 21 is a diagram illustrating an example of event information (EI).
  • the event information (EI) shown in FIG. 21 is stored and held as data relating to detection of human behavior.
  • Event information (EI) is managed as data for each unique ID (NH) of the home appliance 8, ID (ND) for each feature space of the living room 9, data (HD) for each home appliance 8, event occurrence time (Et) ) Is stored and held.
  • FIG. 22 is a graph showing a time series of detection of the home appliance 8 by the robot.
  • the control unit 41 of the behavior detection server 4 transmits an activation signal to the mobile robot 2 and receives the responses of the home appliance 8 and the mobile robot 2 after the mobile robot 2 is activated. Wait in the state to do.
  • the home appliance 8-7 (NH7), home appliance 8-1 (NH1), home appliance 8-2 (NH2),... (NH6) and household electrical appliance 8-7 (NH7) react.
  • the control unit 41 of the behavior detection server 4 receives home appliance detection data (NHi, HDi) in accordance with the detection of each home appliance 8 by the mobile robot 2.
  • the control unit 41 acquires the event occurrence time (Et) from the timer 43 and requests the mobile robot 2 to transmit its own position.
  • the mobile robot 2 is provided with a detection unit 22 that detects a position with respect to the power supply device 3, and can recognize its own position in the coordinate system shown in FIG. 19.
  • the control unit 21 of the mobile robot 2 measures the coordinates (X, Y) with the power supply device 3 as the origin and the absolute distance R between the mobile robot 2 and the power supply device 3 by the detection unit 22. . Thereafter, the control unit 21 responds to the behavior detection server 4 with the measured coordinates (X, Y) and the absolute distance R.
  • FIG. 23 is a flowchart showing processing in the home appliance installation information mode.
  • processing is performed as follows. After receiving the home appliance installation information mode, the control unit 41 of the behavior detection server 4 sets the home appliance installation information flag Hf (S140).
  • step S141 the control unit 41 of the behavior detection server 4 determines whether or not the mobile robot 2 is in a power supply state. If it is determined that the mobile robot 2 is in the power supply state (Yes), the control unit 41 of the behavior detection server 4 proceeds to the process of step S143. If it is determined that the mobile robot 2 is activated (No), the control unit 41 of step S142 Proceed to processing. In step S142, the control unit 41 of the behavior detection server 4 instructs the mobile robot 2 to move to the power feeding position, and the process returns to step S141. Thereby, the control unit 41 stands by until the mobile robot 2 is in a power supply state.
  • step S143 the control unit 41 of the behavior detection server 4 acquires the event occurrence time (Et) by the timer 43, and acquires home appliance operation data (NSi, HDi) from each home appliance 8.
  • the control unit 41 holds the acquired operation data as (Et, NHi, HDi), and proceeds to the process of step S144.
  • step S144 the control unit 41 of the behavior detection server 4 requests spatial information from the mobile robot 2, acquires the spatial information (GI (R, X, Y)) from the mobile robot 2, and performs the processing in step S145. move on.
  • step S145 the control unit 41 of the behavior detection server 4 calls the home appliance installation information of the home appliance ID (NHi) that is the detection target, and proceeds to the process of step S1451.
  • step S1451 the control unit 41 of the behavior detection server 4 reads the detection area information (RH), and then proceeds to the process of step S146.
  • This detection area information (RH) includes information of (Rmax, Rmin, Xmin, Xmax, Ymax, Ymin).
  • step S146 the control unit 41 of the behavior detection server 4 determines whether or not a detection value is input and stored in the detection area information (RH). When the detection area information (RH) does not exist (No), the control unit 41 proceeds to the process of step S148. When the detection value is stored in the detection area information (RH) (Yes), the control unit 41 proceeds to the process of step S147.
  • step S147 the control unit 41 of the behavior detection server 4 compares the detection area information (RH) and the spatial information (GI, (R, X, Y)). By this comparison, the control unit 41 confirms whether the position information (GI, (R, X, Y)) of the mobile robot 2 is within the detection area information (RH), that is, within the past geometric information range. When it is not within the past geometric information range (No), the control unit 41 of the behavior detection server 4 proceeds to the process of step S148. When it is within the past geometric information range (Yes), the control unit 41 of the behavior detection server 4 proceeds to the process of step S150.
  • step S148 the control unit 41 of the behavior detection server 4 replaces the stored detection area information (RH) with the spatial information (GI (R, X, Y)) from the mobile robot 2 and updates the data.
  • the process proceeds to step S149.
  • step S149 the control unit 41 of the behavior detection server 4 calculates and calculates the search area area, and proceeds to the process of step S150.
  • step S150 the control unit 41 of the behavior detection server 4 evaluates whether the integrated value of the search area matches the entire area of the search space. When the integrated value of the search area matches the entire area of the search space (Yes), the control unit 41 of the behavior detection server 4 proceeds to the process of step S151. When the accumulated area of the search area does not match the entire area of the search space (No), the control unit 41 of the behavior detection server 4 returns to the process of step S141. In step S151, the control unit 41 of the behavior detection server 4 clears the home appliance installation information flag Hf and ends the home appliance installation information mode.
  • the control unit 41 of the behavior detection server 4 can detect the position where the home appliance 8 is installed.
  • FIG. 24 is a flowchart showing processing when the mobile robot 2 is not activated in the event information (EI) mode.
  • the control unit 41 of the behavior detection server 4 receives operation information (NHi, Et, HD) from the home appliance 8 in step S160, and proceeds to the process of step S161.
  • step S161 the control unit 41 of the behavior detection server 4 confirms whether or not the mobile robot 2 has been activated.
  • the process proceeds to step S163.
  • the process proceeds to step S70 shown in FIG.
  • step S162 the control unit 41 of the behavior detection server 4 determines whether or not the home appliance installation information mode is set.
  • the control unit 41 determines that the home appliance installation information mode is set, and returns to the process of step S160.
  • the control unit 41 proceeds to the process of step S163.
  • step S163 the control unit 41 of the behavior detection server 4 requests past operation data for the target home appliance 8 (NHi) from the event information (EI), and the process proceeds to step S1631.
  • step S1631 the control unit 41 of the behavior detection server 4 reads past operation data for the target home appliance 8 (NHi) from the event information (EI), and proceeds to the process of step S164.
  • step S164 the control unit 41 of the behavior detection server 4 calculates comparison data from past operation data, and proceeds to the process of step S165.
  • the control unit 41 calculates comparison data by averaging the received detection information (NHi, Et, HD), for example.
  • step S165 the control unit 41 of the behavior detection server 4 compares the detection information (NHi, Et, HD) with the comparison data (CD). When the difference exceeds the threshold value ⁇ 1 (Yes), the control unit 41 determines that an operation different from daily life is detected, and proceeds to the process of step S167.
  • step S167 the control unit 41 changes the mode to the abnormal mode, and sets the abnormal mode flag EMf to 1.
  • step S165 when the difference is equal to or smaller than the threshold ⁇ 1 (No), the control unit 41 of the behavior detection server 4 determines that the state is the normal state, and adds the detection information to the event information (EI) (S166). Thereafter, the control unit 41 proceeds to the process of step S160.
  • FIG. 25 is a flowchart showing processing when the mobile robot 2 is activated in the event information (EI) mode.
  • the control unit 41 of the behavior detection server 4 confirms whether or not the abnormal processing mode is set, depending on whether or not the abnormal mode flag EMf is set.
  • the control unit 41 determines that the abnormal processing mode is set, the control unit 41 makes a transition to an abnormal mode similar to that in the first embodiment (see FIG. 18). If the control unit 41 determines that it is not the abnormal processing mode, the control unit 41 proceeds to the processing of step S171.
  • step S171 the control unit 41 of the behavior detection server 4 determines whether or not the home appliance installation information mode is set.
  • the control unit 41 determines that the home appliance installation information mode is set, and returns to the process of step S160 illustrated in FIG.
  • the home appliance installation information flag Hf is cleared (No) the control unit 41 proceeds to the process of step S172.
  • step S172 the control unit 41 of the behavior detection server 4 requests the mobile robot 2 for the self-location information GI (R, X, Y).
  • the control unit 41 acquires the self-position information GI (R, X, Y) from the mobile robot 2, the control unit 41 proceeds to the process of step S173.
  • step S173 the control unit 41 of the behavior detection server 4 determines the home appliance 8 that is reacting by the mobile robot 2 from the self-location information GI (R, X, Y) of the mobile robot 2 and the home appliance installation information (HI). Determine the detection information.
  • the control unit 41 determines that the detection information of the home appliances 8 other than the home appliance 8 that is reacting by the mobile robot 2 is the action detection information (MI) of a moving body such as a person or an animal, and the process of step S174 Proceed to
  • step S174 the control unit 41 of the behavior detection server 4 requests the event information (EI) for data to be compared with the behavior detection information (MI).
  • step S1741 the control unit 41 acquires the requested data, and proceeds to the process of step S175.
  • step S175 the control unit 41 of the behavior detection server 4 calculates the comparison data (CD) from the data obtained from the event information (EI), and proceeds to the process of step S176.
  • step S176 the control unit 41 of the behavior detection server 4 compares the behavior detection information (MI) with the comparison data (CD). When the comparison result exceeds the threshold value ⁇ 2 (Yes), the control unit 41 of the behavior detection server 4 determines that the state is abnormal and proceeds to the process of step S178, sets the processing state to the abnormal mode, and sets the abnormal mode flag. Set EMf to 1. When the comparison result is equal to or less than the threshold ⁇ 2 (No), the control unit 41 proceeds to the process of step S177.
  • step S177 the control unit 41 of the behavior detection server 4 adds the behavior detection information (MI) to the event information (EI), and returns to the process of step S160 illustrated in FIG.
  • the present invention is not limited to the embodiments described above, and includes various modifications.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • the above-described configurations, functions, processing units, processing means, etc. may be partially or entirely realized by hardware such as an integrated circuit.
  • Each of the above-described configurations, functions, and the like may be realized by software by a processor interpreting and executing a program that realizes each function.
  • Information such as programs, tables, and files for realizing each function may be stored in a recording device such as a memory, a hard disk, an SSD (Solid State Drive), or a recording medium such as a flash memory card or a DVD (Digital Versatile Disk). it can.
  • control lines and information lines indicate what is considered necessary for the explanation, and not all control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other. Examples of modifications of the present invention include the following (a) to (e).
  • the mobile robot 2 may execute processing in the event information mode or processing in the abnormal mode.
  • the behavior detection server 4 may not be provided, and each sensor device 1 may autonomously execute the event information mode process or the abnormal mode process.
  • the communication unit 44 and the external communication unit 45 of the behavior detection server 4 may be common.
  • the mobile robot 2 of the first embodiment may include a wireless tag, and the sensor device 1 may detect this wireless tag. Thereby, the sensor apparatus 1 can detect the mobile robot 2 reliably.
  • E Even after the sensor installation information mode is finished, the sensor position information stored in the storage unit may be corrected when a change in the sensor position is detected.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Manipulator (AREA)
  • Telephonic Communication Services (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Selective Calling Equipment (AREA)
  • Alarm Systems (AREA)

Abstract

センサの誤動作によって発生する誤情報の発信を防止しつつ、利用者のプライバシーを確保する。行動検知システム(S)は、情報を検知する検知部(12)、および情報を送信する通信部(14)を備え、住環境のいずれかに設けられた複数のセンサ装置(1)と、情報を検知する検知部(22)、情報を送受信する通信部(27)、および住環境を移動可能な移動手段を備えた移動ロボット(2)と、情報を送受信する通信部(44)を備え、複数のセンサ装置(1)が備える検知部(12)の検知情報、および移動ロボット(2)が備える検知部(22)の検知情報に基づいて、状態を検知する行動検知サーバ(4)を備える。

Description

ロボット、行動検知サーバ、および行動検知システム
 本発明は、室内に設けた複数のセンサと連携するロボットや、これらセンサおよびロボットと連携する行動検知サーバや、センサおよびロボット、行動検知サーバを含んだ行動検知システムに関する。
 ユーザの活動の把握や各ユーザの状態に応じた機器の制御を行うために、ユーザの所在や状態を効率的に把握するためのセンサを管理する従来技術としては、特許文献1がある。特許文献1の要約書には、「複数のセンサ10が接続されている管理サーバ20を設ける。管理サーバ20の制御部21は、センサ10から取得したセンサ情報に基づいて人を検知し、個体情報記憶部25において所在の記録処理を実行する。更に、制御部21は、個体情報記憶部25において、状態検知処理、使用機器の検知処理、使用量の記録処理を実行する。そして、制御部21は、この人間の追跡処理を実行する。一方、ユーザを特定可能と判定した場合、制御部21は、個体情報記憶部25にユーザ情報の記録処理を実行する。」と記載されている。
特開2015-146514号公報
 室内に設けたセンサによって人の行動を検知するシステムでは、室内に設けた機器が作動することによってセンサが誤動作することがあった。更にこのようなシステムは、室内に設けた機器が、この室内を移動することでセンサが誤動作し、誤った検知情報を発信することがあった。
 例えば、室内に人感センサを設けて人の行動を検知するシステムでは、利用者が窓を開放したまま外出し風が窓外から吹き込んだ場合、風に誘起されたカーテンの動きによって、センサが誤動作する場合がある。一方、上記の誤動作の防止のために、室内に複数台のカメラを設けた場合、プライバシーを確保することや導入コストや運営コスト等の観点で課題が生じる。
 本発明は、上記のような課題に対してなされるものであり、センサの誤動作によって発生する誤情報の発信を防止しつつ、利用者のプライバシーを確保できる行動検知システムを提供することを課題とする。
 前記した課題を解決するため、本発明の行動検知システムは、情報を検知する第1センサ、および情報を送信する第1通信手段を備え、室内のいずれかに設けられた複数のセンサ装置と、情報を検知する第2センサ、情報を送受信する第2通信手段、および前記室内を移動可能な移動手段を備えたロボットと、情報を送受信する第3通信手段を備え、前記複数のセンサ装置が備える前記第1センサの検知情報、および前記ロボットが備える前記第2センサの検知情報に基づいて、状態を検知するサーバとによって構築される。
 その他の手段については、発明を実施するための形態のなかで説明する。
 本発明によれば、センサの誤動作によって発生する誤情報の発信を防止しつつ、利用者のプライバシーを確保可能となる。
第1の実施形態における行動検知システムの構成を示す概略図である。 第1の実施形態の検知システムが設置された居室を示す図である。 センサ設置情報(SI)の一例を示す図である。 イベント情報(EI)の一例を示す図である。 センサ設置情報(SI)モード時における居室を示す図である。 センサ情報(GI)を示すグラフである。 センサ情報作成モードの処理を示すフローチャートである。 センサ設置情報モードの処理を示すフローチャートである。 イベント情報モードにおける居室を示す図である。 イベント情報モードにおけるセンサ情報(GI)を示すグラフである。 イベント情報モードの処理を示すフローチャートである。 イベント情報のみを抽出したグラフである。 イベント情報モードのうち移動ロボットが起動していないときの処理を示すフローチャートである。 イベント情報モードのうち移動ロボットが起動しているときの処理を示すフローチャートである。 異常検知時における居室を示す図である。 イベント情報の欠落を抽出したグラフである。 異常検知モードの処理を示すフローチャートである。 第2の実施形態における行動検知システムの構成を示す概略図である。 第2の実施形態の検知システムが設置された居室を示す図である。 家電設置情報(HI)の一例を示す図である。 イベント情報(EI)の一例を示す図である。 ロボットが検知した家電情報のグラフである。 家電設置情報モードの処理を示すフローチャートである。 イベント情報モードのうち移動ロボットが起動していないときの処理を示すフローチャートである。 イベント情報モードのうち移動ロボットが起動しているときの処理を示すフローチャートである。
《第1の実施形態》
 第1の実施形態の行動検知システムSを、図1~図18を用いて、以下に説明する。
 図1は、行動検知システムSの構成を示す概略図である。
 図1に示すように、行動検知システムSは、複数のセンサ装置1と、移動ロボット2と、給電装置3と、行動検知サーバ4とを含んで構成される。
 センサ装置1は、室内に設けられて情報をセンシングし、通信部14によって情報を外部に送信するものである。移動ロボット2は、検知部22と機構部23などを有し、室内を移動することができるロボットである。移動ロボット2は、例えば掃除機能を有するロボットであるが、これに限られず、愛玩用のロボットや警備用のロボットであってもよく、限定されない。
 給電装置3は、この移動ロボット2に電力を供給するものである。行動検知サーバ4の制御部41は、複数のセンサ装置1、および移動ロボット2と通信する通信部44を有している。これら接続したセンサ装置1や移動ロボット2の検知情報に基づいて、人や動物や他のロボット装置などの移動体の行動および/または状態を検知する。
 複数のセンサ装置1は、制御部11と、検知部12(第1センサ)と、記憶部13と、通信部14(第1通信手段)と、電源部15とを備え、図2に示す居室9内に複数設置される。
 電源部15は、このセンサ装置1を起動して各部に電力を供給する。通信部14は、無線または有線の通信モジュールであり、センサ装置1の検知情報およびセンサ装置1の固有ID(IDentifier)を行動検知サーバ4へ送信する。記憶部13は、例えばROM(Read Only Memory)やフラッシュメモリであり、センサ装置1の固有IDなどを記憶する。検知部12は、室内の情報を検知する第1センサとして機能する。検知部12は、例えば赤外線や超音波などで人などを検知する人感センサであり、人や移動ロボットなどの移動体を検知可能である。制御部11は、検知部12の動作を制御する。
 移動ロボット2は、電源部25と、機構部23(移動手段)と、検知部22(第2センサ)と、制御部21、記憶部24、通信部27(第2通信手段)、操作部26を備える。移動ロボット2は、電源部25に二次電池(不図示)を備え、この二次電池を給電装置3で充電することによって動作する。
 電源部25は、移動ロボット2を起動させると共に、この移動ロボット2の各部に電力を供給する。機構部23は、室内を移動するためのものであり、例えばモータと車輪で構成される。機構部23は、居室9の内部を移動可能な移動手段として機能する。
 検知部22は、室内の情報を検知する第2センサとして機能する。検知部22は、移動ロボット2の位置を検知したり、人や動物などの移動体の行動を検知するためのセンサ群である。制御部21は、例えばCPU(Central Processing Unit)であり、検知部22の検知情報を分析し、この分析した情報に基づいて移動ロボット2の動作を制御する。記憶部24は、例えばRAM(Random Access Memory)やフラッシュメモリであり、制御部21が分析した情報を記憶する。通信部27は、例えばWi-Fi(登録商標)の通信モジュールであり、制御部21と行動検知サーバ4との間で情報を送受信する。操作部26は、利用者が移動ロボット2を操作するためのスイッチやボタン等である。
 給電装置3は、移動ロボット2に電力を供給するものである。また、給電装置3は、検知部31と通信部32を備える。検知部31は、移動ロボット2の位置を検知するセンサである。通信部32は、例えばWi-Fi(登録商標)の通信モジュールであり、制御部21と行動検知サーバ4との間で情報を送受信する。
 なお、移動ロボット2の検知部22は、赤外線、超音波、レーザ、加速度、カメラ、音声認識等のセンサ群と、機構部23の動作を検知するセンサ群を含んで構成されている。検知部22は、自身が移動した空間の幾何情報を検知するための位置センサを含む検知手段である。これによって、室内を移動することができる。制御部21は、機構部23の動作情報とセンサ群の検知情報を用いて自己位置を認識することができる。その結果、移動ロボット2の制御部21は、検知部22によって居室9の幾何情報を分析し、分析した幾何形状の情報(住空間地図)を記憶部24に記憶させる。これによって、制御部21は、移動ロボット2自身の位置を認識することができる。通信部27によって目的地情報(幾何情報)を受信すれば、移動ロボット2は、目的地へ移動することができる。
 また、移動ロボット2の制御部21は、通信部27を介して行動検知サーバ4に自己位置の空間情報(GI)を発信できる。更に、移動ロボット2の制御部21は、検知部22により人や動物などの移動体の行動を、画像および音声で認識する認知手段も備えている。このため、移動ロボット2の制御部21は、検知した移動体の状態の情報を、通信部27を介して行動検知サーバ4に発信できる。状態の情報を受信した行動検知サーバ4の制御部41は、外部通信部45を介して外部に、この状態の情報を発信できる。
 行動検知サーバ4は、制御部41と、記憶部42と、タイマ43と、通信部44(第3通信手段)と、外部通信部45とを含んで構成されている。通信部44は、例えばWi-Fi(登録商標)の通信モジュールであり、センサ装置1および移動ロボット2から発信された情報を受信し、移動ロボット2へ情報を発信する。通信部44は、室内に設けられた複数のセンサ装置1や移動ロボット2と通信可能な第3通信手段として機能する。
 外部通信部45は、例えばネットワークインタフェースカード(NIC)であり、センサ装置1および移動ロボット2で構築されるネットワーク以外の外部ネットワークとの間で情報を送受信する。制御部41は、センサ装置1、移動ロボット2、および外部通信部45から受信した情報を分析し、この分析結果に基づいて移動ロボット2の制御を行う。制御部41は、複数のセンサ装置1が検知したセンサ情報(第1検知情報)、および移動ロボット2の検知部22が検知した情報(第2検知情報)に基づいて、移動体の行動を検知する制御手段として機能する。
 記憶部42は、外部通信部45からの入力情報や制御部41の制御情報を記憶する。記憶部42は、複数のセンサ装置1を設置した位置を示すセンサ位置情報、および移動ロボット2が移動した空間の幾何情報と複数のセンサ装置1が設けられている位置の情報との対応関係を記憶する記憶手段である。制御部41は、各センサ装置1が設けられている位置を、移動ロボット2が位置センサによって検知した空間の座標系で表現された位置情報として記憶部42に記憶する。タイマ43は、イベントの発生時刻を認識する。
 なお、行動検知サーバ4の各機能は、移動ロボット2やセンサ装置1に組み込まれていてもよい。
 図2は、第1の実施形態の行動検知システムSが設置された居室9を示す図である。
 居室9は、家庭などの室内であるが、その他、会社の事務室や倉庫などであってもよく、限定されない。居室9には、7個のセンサ装置1-1~1-7と、給電装置3とが設置されており、移動ロボット2が太線矢印の経路で巡回している。太線矢印の経路上には、各イベント時刻Et1~Et8における移動ロボット2や人の位置が示されている。
 居室9のうちリビングには、センサ装置1-7,1-1,1-2が設置され、センサ装置1-7の近傍には給電装置3が設置されている。更に台所にはセンサ装置1-3が設置され、その奧の食堂にはセンサ装置1-4が設置されている。階段を下りた廊下には、センサ装置1-5が設置され、玄関にはセンサ装置1-6が設置されている。なお、各センサ装置1-1~1-7を特に区別しないときには、単にセンサ装置1と記載する。
 センサ装置1-7には、固有IDとしてNS7が付与されている。センサ装置1-7の検知範囲である特徴空間NR7は、破線で示されているように、居間の左側である。
 センサ装置1-1には、固有IDとしてNS1が付与されている。センサ装置1-1の検知範囲である特徴空間NR1は、破線で示されているように、居間の右側である。
 センサ装置1-2には、固有IDとしてNS2が付与されている。センサ装置1-2の検知範囲である特徴空間NR2は、破線で示されているように、居間の右側である。
 センサ装置1-3には、固有IDとしてNS3が付与されている。センサ装置1-2の検知範囲である特徴空間NR3は、破線で示されているように、台所である。
 センサ装置1-4には、固有IDとしてNS4が付与されている。センサ装置1-4の検知範囲である特徴空間NR4は、破線で示されているように、食堂である。
 センサ装置1-5には、固有IDとしてNS5が付与されている。センサ装置1-5の検知範囲である特徴空間NR5は、破線で示されているように、廊下である。
 センサ装置1-6には、固有IDとしてNS6が付与されている。センサ装置1-6の検知範囲である特徴空間NR6は、破線で示されているように、玄関である。
 以上により、居室9内に設置した複数のセンサ装置1-1~1-7は、各センサ装置1の検知情報(SD)に、このセンサ装置1の固有ID(NS)を付与した情報を行動検知サーバ4へ発信することができる。
 図3は、センサ設置情報(SI)の一例を示す図である。
 行動検知サーバ4には、記憶部42が設けられている。記憶部42には、居室9の特徴空間毎の個別ID(NR1~NR7)と、設置されているセンサ装置1の固有ID(NS)との関係を示すセンサ設置情報(SI)が予め記憶されている。
 このセンサ設置情報(SI)には、検知領域情報(RS)と関連する幾何情報(GI)を追加して記憶させることができる。更に、行動検知サーバ4の制御部41は、タイマ43が設けられているため、センサ装置1のデータ(NSi,SDi)を受信した際の時刻をイベント発生時刻(Et)として、追加して記憶させることができる。
 図4は、イベント情報(EI)の一例を示す図である。
 図4に示すイベント情報(EI)は、人の行動の検知に関わるデータとして記憶・保持させることができる。イベント情報(EI)は、センサ固有ID(NS)毎のデータとして管理される。イベント情報(EI)は、居室9の特徴空間毎のID(NRj)と各センサ装置1のデータ(SD)、イベント発生時刻(Et)を記憶・保持させることによって構成される。なお、図3に示す通り、特徴空間(NR)とセンサID(NS)とは一対一で対応していなくてもよい。
 センサ設置情報(SI)への空間情報(GI)の追加に関しては、図7および図8のフローチャートに基づいて説明する。図5は、センサ設置情報生成時のセンサ装置1と移動ロボット2の動作の概略を示したものである。図6は、各センサ(NSi)の時系列毎の検知情報を図示したものである。図5と図6に示すように、行動検知サーバ4が外部通信部45を介して、センサ設置情報作成モードを受信すると、行動検知サーバ4の制御部41はセンサ設置情報フラグSfをセットする。行動検知サーバ4の制御部41は、センサ設置情報フラグSfがセットされると、移動ロボット2へ起動信号を送信し、移動ロボット2が起動した後、センサ装置1と移動ロボット2の応答を受信する状態で待機する。
 図5に示すように移動ロボット2の動作に伴い、順次、センサ装置1-7(NS7)、センサ装置1-1(NS1)、…、センサ装置1-6(NS6)、センサ装置1-7(NS7)が反応する。
 図6に示すように、行動検知サーバ4の制御部41は、各センサ装置1の反応に従って、センサ検知データ(NSi,SDi)を受信する。制御部41は、センサ検知データ(NSi,SDi)の受信時に、タイマ43からイベント発生時刻(Et)を取得して、移動ロボット2に対して自己の位置を送信するようにリクエストする。
 移動ロボット2は、給電装置3に対する位置を検知する検知部22が設けられており、図5に示す座標系で自身の位置を認識できる。このリクエストを受けた移動ロボット2の制御部21は、検知部22によって給電装置3を原点とした座標(X,Y)と移動ロボット2と給電装置3との間の絶対距離Rとを測定する。その後、制御部21は、測定した座標(X,Y)と絶対距離Rとを行動検知サーバ4に応答する。
 図7に示すように、行動検知サーバ4の制御部41は、受信したセンサ検知データ(NSi,SDi)から、このデータを検知したセンサ装置1の固有IDを特定する。制御部41は、センサ設置情報(SI)内のセンサ固有IDに該当するセンサ装置1の検知領域座標情報を読み込む。検知領域座標情報は、絶対距離Rの最小値Rminおよび最大値Rmax、座標Xの最小値Xminおよび最大値Xmax、座標Yの最小値Yminおよび最大値Ymaxを含んでいる。
 制御部41は、読み込んだ検知領域情報と、移動ロボット2から受信した座標データ(GI(R,X,Y))とを比較する(S10)。制御部41は、以下の式(1)と式(2)が成立するか否かを判定して、反応範囲を確定させる(S11)。制御部41は、検知領域情報(Rmax,Rmin,Xmin,Xmax,Ymax,Ymin)を更新して、センサ設置情報(SI)へ幾何情報を付与する(S12)。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 以上のように、センサ装置1の検知情報と座標情報を関連付けすることによって、各センサ装置1の検知領域と移動ロボット2が生成する住空間地図(LS)の空間座標とを関連付けすることができる。
 図8は、センサ設置情報(GI)モードの処理を示すフローチャートである。
 センサ設置情報モードでは、以下のように処理される。行動検知サーバ4の制御部41は、センサ設置モードを受信した後、センサ設置情報フラグSfをセットする(S40)。
 ステップS41において、行動検知サーバ4の制御部41は、移動ロボット2が給電状態であるか否かを判定する。行動検知サーバ4の制御部41は、移動ロボット2が給電状態と判定したならば(Yes)、ステップS43の処理に進み、移動ロボット2が起動中と判定したならば(No)、ステップS42の処理に進む。
 ステップS42において、行動検知サーバ4の制御部41は、移動ロボット2に給電位置へ移動するように指令して、ステップS41の処理に戻る。これにより制御部41は、移動ロボット2が給電状態になるまで待機する。
 ステップS43において、行動検知サーバ4の制御部41は、タイマ43によってイベント発生時刻(Et)を取得し、各センサ装置1よりセンサ検知データ(NSi,SDi)を取得する。制御部41は、取得したセンサデータを(Et,NSi,SDi)として保持し、ステップS44の処理に進む。
 ステップS44において、行動検知サーバ4の制御部41は、移動ロボット2から空間情報をリクエストして、移動ロボット2から空間情報(GI(R,X,Y))を取得し、ステップS45の処理に進む。
 ステップS45において、行動検知サーバ4の制御部41は、検知対象となっているセンサID(NSi)のセンサ設置情報を呼出し、ステップS451の処理に進む。
 ステップS451において、行動検知サーバ4の制御部41は、検知領域情報(RS)を読み込んだ後、ステップS46の処理に進む。この検知領域情報(RS)は、(Rmax,Rmin,Xmin,Xmax,Ymax,Ymin)の情報を含んでいる。
 ステップS46において、行動検知サーバ4の制御部41は、検知領域情報(RS)に検知値が入力・記憶されているか否かを判定する。制御部41は、検知領域情報(RS)が存在しない場合(No)、ステップS48の処理に進む。制御部41は、検知領域情報(RS)に検知値を記憶している場合(Yes)、ステップS47の処理に進む。
 ステップS47おいて、行動検知サーバ4の制御部41は、検知領域情報(RS)と空間情報(GI,(R,X,Y))を比較する。制御部41は、移動ロボット2の位置情報(GI,(R,X,Y))が検知領域情報(RS)の範囲内、つまり過去の幾何情報範囲内であるか確認する。過去の幾何情報範囲内ではない場合(No)、行動検知サーバ4の制御部41は、ステップS48の処理に進む。過去の幾何情報範囲内である場合、行動検知サーバ4の制御部41は、ステップS50の処理に進む。
 ステップS48において、行動検知サーバ4の制御部41は、記憶している検知領域情報(RS)を、移動ロボット2からの空間情報(GI(R,X,Y))に置き換えてデータを更新し、ステップS49の処理に進む。
 ステップS49において、行動検知サーバ4の制御部41は、探索エリア面積を積算して算出し、ステップS50の処理に進む。
 ステップS50において、行動検知サーバ4の制御部41は、探索エリアの積算値が、探索空間の全面積と合致するかを評価する。探索エリアの積算値が探索空間の全面積と合致した場合(Yes)、行動検知サーバ4の制御部41はステップS51の処理に進む。探索エリアの積算地が探索空間の全面積と合致しない場合(No)、行動検知サーバ4の制御部41は、ステップS41の処理に戻る。
 ステップS51において、行動検知サーバ4の制御部41は、センサ設置情報フラグSfをクリアして、センサ設置情報モードを終了する。
 上述したセンサ設置情報(SI)を用いることによって、行動検知サーバ4の制御部41は、移動ロボット2に対するセンサ装置1の反応と人や動物などの移動体の行動に対するセンサ装置1の反応を分離して検知する。よって制御部41は、移動体の行動に対するセンサ装置1の検知情報をイベント情報(EI)として記憶させることができる。以下、センサ装置1が検知した情報を移動体の行動とそれ以外のデータに分離する手順を図11および図13、図14のフローチャートに基づいて説明する。
 図9は、移動ロボット2と人とが同時に行動している際のセンサ装置1の反応の概略を示したものである。
 居室9には、7個のセンサ装置1-1~1-7と、給電装置3とが設置されており、移動ロボット2が太線矢印の経路で巡回している。太線矢印の経路上には、各イベント時刻Et1~Et8における位置が示されている。図9に示す移動ロボット2の経路は、図2に示した経路とは異なっている。これは、センサ設置情報モードが完了して、イベント情報モードに遷移したためである。
 図10は、検知したセンサ(NSi)の時系列毎の検知情報を図示したものである。
 図10に示すように、移動ロボット2が移動する毎に、各センサ装置1が各イベント時刻に反応する。つまり、イベント時刻Et1において、センサ装置1-7(NS7)が反応する。イベント時刻Et2において、センサ装置1-1(NS1)が反応する。イベント時刻Et3において、センサ装置1-2(NS2)が反応する。イベント時刻Et4において、センサ装置1-3(NS3)が反応する。イベント時刻Et5において、センサ装置1-4(NS4)が反応する。イベント時刻Et6において、センサ装置1-5(NS5)が反応する。イベント時刻Et7において、センサ装置1-6(NS6)が反応する。イベント時刻Et8において、センサ装置1-7(NS7)が反応する。
 同様に、人が行動した際に、イベント時刻Et3においてセンサ装置1-5(NS5)が反応する。イベント時刻Et4においてセンサ装置1-6(NS6)が反応する。
 行動検知サーバ4の制御部41は、センサ装置1-i(NSi)の検知情報を受信する毎に、移動ロボット2の自己位置の空間情報(GI(R,X,Y))を受信する。その後、制御部41は、センサ設置情報(SI)に記憶している検知領域(RS)と空間情報(GI(R,X,Y))とを比較する。これにより、制御部41は、移動ロボット2の動作によって反応したデータとそれ以外のデータを選別したイベント情報(EI)を生成し、イベント情報(EI)として記憶部42に記憶する。
 図12は、イベント情報(EI)のみを抽出したグラフである。
 図12に示すように、イベント時刻Et3においてセンサ装置1-5(NS5)が反応している。イベント時刻Et4においてセンサ装置1-6(NS6)が反応している。これは、移動ロボット2を検知した情報を除外した検知情報であり、人や動物などを検知したことを示す情報である。このようにして、制御部41は、人や動物などの移動体の行動を検知することができる。
 以上のイベント情報モードは、以下の図13と図14において処理される。
 図13は、イベント情報(EI)モードのうち移動ロボット2が起動していないときの処理を示すフローチャートである。
 イベント情報(EI)モードにおいて、行動検知サーバ4の制御部41は、ステップS60において、センサ装置1よりセンサ検知情報を受信(NSi,Et,SD)し、ステップS61の処理に進む。
 ステップS61において、行動検知サーバ4の制御部41は移動ロボット2へ起動の有無を確認する。移動ロボット2が起動していないときは(No)、ステップS62の処理に進む。移動ロボット2が起動しているときは(Yes)、図14に示すステップS70に進む。
 ステップS62において、行動検知サーバ4の制御部41は、センサ設置情報モードであるか否かを判断する。センサ設置情報フラグSfがセットされていない場合、制御部41は、センサ設置情報モードであると判断し、ステップS60の処理に戻る。センサ設置情報フラグSfがクリアされている場合、制御部41はステップS63の処理に進む。
 ステップS63において、行動検知サーバ4の制御部41は、対象のセンサ(NSi)の過去の記憶データをイベント情報(EI)に要求し、ステップS631の処理に進む。
 ステップS631において、行動検知サーバ4の制御部41は、対象のセンサ(NSi)の過去の記憶データをイベント情報(EI)から読み出し、ステップS64の処理に進む。
 ステップS64において、行動検知サーバ4の制御部41は、過去の記憶データから比較データを算出し、ステップS65の処理に進む。制御部41は、例えば受信した検知情報(NSi,Et,SD)に対して平均化を行うことで、比較データを算出する。
 ステップS65において、行動検知サーバ4の制御部41は、検知情報(NSi,Et,SD)と比較データ(CD)を比較する。その差が閾値ε1を超える場合(Yes)、制御部41は、日常と異なる行動を検知したと判断し、ステップS67に進む。制御部41は、ステップS67において、モードを異常モードに変更し、異常モードフラグEMfを1に設定する。
 その差が閾値ε1以下の場合(Yes)、行動検知サーバ4の制御部41は、通常状態であると判断し、検知情報をイベント情報(EI)へ追加する(S66)。その後、制御部41は、ステップS60の処理に戻る。
 図14は、イベント情報(EI)モードのうち移動ロボット2が起動しているときの処理を示すフローチャートである。
 ステップS70において、行動検知サーバ4の制御部41は、異常モードフラグEMfがセットされているか否かによって、異常処理モードか否かを確認する。制御部41は、異常処理モードであると判断した場合(Yes)、図17の異常モードに遷移する。制御部41は、異常処理モードでないと判断した場合(No)、ステップS71の処理に進む。
 ステップS71において、行動検知サーバ4の制御部41は、センサ設置情報モードであるか否かを判断する。センサ設置情報フラグSfがセットされている場合(Yes)、制御部41は、センサ設置情報モードであると判断し、ステップS60の処理に戻る。センサ設置情報フラグSfがクリアされている場合(No)、制御部41はステップS72の処理に進む。
 ステップS72において、行動検知サーバ4の制御部41は、移動ロボット2へ自己位置情報GI(R,X,Y)をリクエストする。制御部41は、移動ロボット2から自己位置情報GI(R,X,Y)を取得すると、ステップS73の処理に進む。
 ステップS73において、行動検知サーバ4の制御部41は、移動ロボット2の自己位置情報GI(R,X,Y)とセンサ設置情報(SI)から、移動ロボット2によって反応しているセンサ装置1の検知情報を判別する。制御部41は、移動ロボット2によって反応しているセンサ装置1以外の他のセンサ装置1の検知情報を、人や動物などの移動体の行動検知情報(MI)であると判別し、ステップS74の処理に進む。
 ステップS74において、行動検知サーバ4の制御部41は、行動検知情報(MI)と比較するデータをイベント情報(EI)にリクエストする。
 ステップS741において、制御部41は、リクエストしたデータを取得し、ステップS75の処理に進む。
 ステップS75において、行動検知サーバ4の制御部41は、イベント情報(EI)から得たデータから比較データ(CD)を算出し、ステップS76の処理に進む。
 ステップS76において、行動検知サーバ4の制御部41は、行動検知情報(MI)と比較データ(CD)を比較する。比較した結果が閾値ε2を超える場合(Yes)、行動検知サーバ4の制御部41は、異常常態であると判断して、ステップS78の処理に進み、処理状態を異常モードにし、異常モードフラグEMfを1に設定する。制御部41は、閾値ε2以下の場合(No)、ステップS77の処理に進む。
 ステップS77において、行動検知サーバ4の制御部41は、行動検知情報(MI)をイベント情報(EI)へ追記し、ステップS60の処理に戻る。
 異常モードに処理を移した行動検知サーバ4の制御部41は、図15から図17および図18を用いて以下のような処理を行う。
 図15は、日常行動(イベント情報(EI))には、Et4-Et5間でNS5(センサ装置1-5)の反応がある場合に、Et4-Et5間でNS6(センサ装置1-6)の反応が無いような異常常態時の処理の流れを示している。
 図16は、検知したセンサ(NSi)の時系列毎の検知情報を図示したものである。
 図16に示すように、Et4-Et5間でセンサ検知反応が無い場合、行動検知サーバ4の制御部41は、イベント情報(EI)と検知情報(NSi,SD)を比較する。イベント情報(EI)と検知情報(NSi,SD)の差が閾値を越えた場合、制御部41は、異常行動であると判断し、移動ロボット2へ異常行動が発見された(NSi)へ向かうように、センサ設置情報(SI(R,X,Y))を通信する。イベント情報(EI)と検知情報(NSi,SD)が一致する場合、行動検知サーバ4の制御部41は、検知モードを続行する。
 以上の異常診断モードは、図17において以下のように処理される。
 行動検知サーバ4の制御部41は、ステップS80において、移動ロボット2の自己位置(GI(R,X,Y))をリクエストし、移動ロボット2の現在位置を取得し、ステップS81の処理に進む。
 ステップS81において、行動検知サーバ4の制御部41は、異常モードフラグに応じて多重分岐する。異常モードフラグEMfが1の場合、行動検知サーバ4の制御部41は、ステップS82の処理に進む。異常モードフラグEMfが2の場合、行動検知サーバ4の制御部41は、ステップS85の処理に進む。異常モードフラグEMfが3の場合、行動検知サーバ4の制御部41は、ステップS87の処理に進む。
 ステップS82において、行動検知サーバ4の制御部41は、移動ロボット2に対して異常常態診断モードであることを送信し、目標座標GIo(NSi,R,X,Y)および通過予測センサ(PS)を送信する(S83)。更に制御部41は、異常モードフラグEMfを2に設定して(S84)、イベント情報モードに遷移する。
 ステップS85において、行動検知サーバ4の制御部41は、移動ロボット2の自己位置(GI)と目標座標(GIo)を比較することによって、移動ロボット2が異常探索エリアに存在するか否かを判断する。自己位置(GI)と目標座標(GIo)との差が閾値ε3以下の場合(No)、制御部41は、移動ロボット2が異常探索エリアに移動したと判断し、異常モードフラグEMfを3に変更して(S86)、イベント情報モードに遷移する。自己位置(GI)と目標座標(GIo)との差が閾値ε3を超えた場合(Yes)、制御部41は、移動ロボット2が異常探索エリアに到達していないと判断し、イベント情報モードに遷移する。
 ステップS87において、行動検知サーバ4の制御部41は、異常探索モードであると判断し、異常の有無を確認する。異常の有無の確認は、移動ロボット2の検知部22に設けられた画像センサや音声センサによる画像および音声を用いて、異常を検知しても良い。ステップS87において異常を検知した場合(Yes)、制御部41は、ステップS88の処理に進んで異常レポートを作成し、行動検知サーバ4に設けられた外部通信部45によって、外部のサービスへ異常を連絡し(S88)、イベント情報モードに遷移する。
 ステップS87において異常を検知しない場合(No)、制御部41は、ステップS89の処理に進んで探索リポートを作成し、行動検知サーバ4に設けられた外部通信部45によって、外部のサービスへ探索リポートを送信する。探索リポートを送信後、行動検知サーバ4の制御部41は、ステップS90の処理に進み、異常診断モードをリセットして(S90)、イベント情報モードに遷移する。
 本発明の行動検知システムSは、居室9内に設けた複数のセンサ装置1と、居室9内を移動する移動手段を有した移動ロボット2とを連携させている。これにより、行動検知システムSは、センサ装置1の誤動作によって発生する誤情報の発信を防止しつつ、利用者のプライバシーを確保可能である。
《第2の実施形態》
 図18は、第2の実施形態における行動検知システムの構成を示す概略図である。第2の実施形態では、複数のセンサ装置1の代わりに複数の家電機器8を居室に設置し、センサ装置の検知情報の代わりに家電機器の操作情報や検知情報を検知することで、人の行動を検知するものである。これら複数の家電機器8は、第1の実施形態におけるセンサ装置1の機能に加えて、家電機器としての各種機能を備えている。
 図18に示すように、行動検知システムSは、複数の家電機器8と、移動ロボット2と、給電装置3と、行動検知サーバ4とを含んで構成される。
 家電機器8は、居室内に設置されて各種機能を実現するものであり、例えばテレビや照明やエアコンなどである。家電機器8は、通信部14によって、自身が操作された際の操作情報を外部に送信するものである。移動ロボット2は、検知部22と機構部23などを有し、居室(住環境)内を移動することができるロボットである。給電装置3は、この移動ロボット2に電力を供給するものである。行動検知サーバ4の制御部41は、複数の家電機器8、および移動ロボット2と通信する通信部44を有している。これら接続した家電機器8や移動ロボット2の検知情報に基づいて、人や動物や他のロボット装置などの移動体の行動および/または状態を検知する。
 複数の家電機器8は、制御部81と、検知部82と、記憶部83と、通信部84と、電源部85と、無線タグ86を備える。電源部85は、この家電機器8を起動し、家電機器8の各部に電力を供給する。通信部84は、無線または有線の通信モジュールであり、家電機器8に対する操作情報および家電機器8の固有IDを行動検知サーバ4へ送信する。記憶部83は、例えばROMやフラッシュメモリであり、家電機器8の固有IDを記憶するための記憶部83、検知部82、検知部82の動作を制御する制御部81で構築され、図19に示す居室9内に複数設置される。
 移動ロボット2の検知部22は、移動ロボット2の位置および人や動物などの移動体の行動を検知するためのセンサ群である。検知部22は更に、家電機器8が備える無線タグ86を検知する機能を有する。移動ロボット2は、検知部22の他は、第1の実施形態と同様に構成されており、第1の実施形態と同様に動作する。
 給電装置3は、移動ロボット2に電力を供給するものである。給電装置3は、第1の実施形態と同様に構成されており、第1の実施形態と同様に動作する。
 移動ロボット2の検知部22は、赤外線、超音波、レーザ、加速度、カメラ、音声認識等のセンサ群と、機構部23の動作を検知するセンサ群を含んで構成されている。これによって、室内を移動することができる移動ロボット2の制御部21に、機構部23の動作情報とセンサ群の検知情報を用いて自己位置を認識させることができる。その結果、制御部21は、検知部22によって居室9の幾何情報を分析し、分析した幾何形状の情報(住空間地図)を記憶部24に記憶することができ、自身の位置を認識できる。通信部27によって目的地情報(幾何情報)を受信すれば、移動ロボット2は、目的地へ移動することができる。
 また、移動ロボット2の制御部21は、通信部27を介して行動検知サーバ4に自己位置の空間情報(GI)を発信できる。更に、移動ロボット2の制御部21は、検知部22により人や動物などの移動体の行動を、画像および音声で認識する認識手段も備えている。このため、移動ロボット2の制御部21は、検知した移動体の状態の情報を、通信部27を介して行動検知サーバ4に発信できる。状態の情報を受信した行動検知サーバ4の制御部41は、外部通信部45を介して外部に、この状態の情報を発信できる。
 行動検知サーバ4は、制御部41と、記憶部42と、タイマ43と、通信部44と、外部通信部45とを含んで構成されている。通信部44は、例えばWi-Fi(登録商標)の通信モジュールであり、家電機器8および移動ロボット2から発信された情報を受信し、移動ロボット2へ情報を発信する。
 外部通信部45は、例えばネットワークインタフェースカード(NIC)であり、家電機器8および移動ロボット2で構築されるネットワーク以外の外部ネットワークと情報を送受信する。制御部41は、家電機器8、移動ロボット2、および外部通信部45から受信した情報を分析し、この分析結果に基づいて移動ロボット2の制御を行う。記憶部42は、外部通信部45からの入力情報や制御部41の制御情報を記憶する。タイマ43は、イベントの発生時刻を認識する。
 図19は、第2の実施形態の行動検知システムSが設置された居室9を示す図である。
 居室9には、7個の家電機器8-1~8-7と、給電装置3とが設置されており、移動ロボット2が太線矢印の経路で巡回している。太線矢印の経路上には、各イベント時刻Et1~Et8における位置が示されている。
 居室9のうちリビングには、家電機器8-7,8-1,8-2が設置され、家電機器8-7の近傍には給電装置3が設置されている。更に台所には家電機器8-3が設置され、その奧の食堂には家電機器8-4が設置されている。階段を下りた廊下には、家電機器8-5が設置され、玄関には家電機器8-6が設置されている。なお、各家電機器8-1~8-7を特に区別しないときには、単に家電機器8と記載する。
 家電機器8-7には、固有IDとしてNH7が付与されている。移動ロボット2が家電機器8-7を検知可能な範囲である特徴空間ND7は、破線で示されているように、居間の左側である。
 家電機器8-1には、固有IDとしてNH1が付与されている。移動ロボット2が家電機器8-1を検知可能な範囲である特徴空間ND1は、破線で示されているように、居間の右側である。
 家電機器8-2には、固有IDとしてNH2が付与されている。移動ロボット2が家電機器8-2を検知可能な範囲である特徴空間ND2は、破線で示されているように、居間の右側である。
 家電機器8-3には、固有IDとしてNH3が付与されている。移動ロボット2が家電機器8-3を検知可能な範囲である特徴空間ND3は、破線で示されているように、台所である。
 家電機器8-4には、固有IDとしてNH4が付与されている。移動ロボット2が家電機器8-4を検知可能な範囲である特徴空間ND4は、破線で示されているように、食堂である。
 家電機器8-5には、固有IDとしてNH5が付与されている。移動ロボット2が家電機器8-2を検知可能な範囲である特徴空間ND5は、破線で示されているように、廊下である。
 家電機器8-6には、固有IDとしてNH6が付与されている。移動ロボット2が家電機器8-2を検知可能な範囲である特徴空間ND6は、破線で示されているように、玄関である。
 以上のような構成で行動検知システムSを構築することによって、移動ロボット2は、居室9内に設置した複数の家電機器8-1~8-7の位置を検知可能である。更に各家電機器8は、家電機器の操作情報や検知情報(HD)に、この家電機器8の固有ID(NH)を付与した情報を行動検知サーバ4へ発信することができる。
 図20は、家電設置情報(HI)の一例を示す図である。
 行動検知サーバ4には、記憶部42が設けられている。記憶部42には、居室9の特徴空間毎の個別ID(ND1~ND7)と、設置されている家電機器8の固有ID(NH)との関係を示す家電設置情報(HI)が記憶される。
 この家電設置情報(HI)には、検知領域情報(RH)と関連する幾何情報(GI)を追加して記憶させることができる。更に、行動検知サーバ4の制御部41は、タイマ43が設けられているため、家電機器8のデータ(NHi,HDi)を受信した際の時刻をイベント発生時刻(Et)として、追加して記憶させることができる。
 図21は、イベント情報(EI)の一例を示す図である。
 図21に示すイベント情報(EI)は、人の行動の検知に関わるデータとして記憶・保持される。イベント情報(EI)は、家電機器8の固有ID(NH)毎のデータとして管理され、居室9の特徴空間毎のID(ND)と各家電機器8のデータ(HD)、イベント発生時刻(Et)が記憶・保持されて構成される。図22は、ロボットによる家電機器8の検知の時系列を示すグラフである。
 行動検知サーバ4が外部通信部45を介して、家電設置情報作成モードを受信すると、行動検知サーバ4の制御部41は家電設置情報フラグHfをセットする。行動検知サーバ4の制御部41は、家電設置情報フラグHfがセットされると、移動ロボット2へ起動信号を送信し、移動ロボット2が起動した後、家電機器8と移動ロボット2の応答を受信する状態で待機する。図21に示すように移動ロボット2の動作に伴って順次、家電機器8-7(NH7)、家電機器8-1(NH1)、家電機器8-2(NH2)、…、家電機器8-6(NH6)、家電機器8-7(NH7)が反応する。
 図22に示すように、行動検知サーバ4の制御部41は、移動ロボット2による各家電機器8の検知に従って、家電検知データ(NHi,HDi)を受信する。制御部41は、家電検知データ(NHi,HDi)の受信時に、タイマ43からイベント発生時刻(Et)を取得して、移動ロボット2に対して自己の位置を送信するようにリクエストする。移動ロボット2は、給電装置3に対する位置を検知する検知部22が設けられており、図19に示す座標系で自身の位置を認識できる。このリクエストを受けた移動ロボット2の制御部21は、検知部22によって給電装置3を原点とした座標(X,Y)と移動ロボット2と給電装置3との間の絶対距離Rとを測定する。その後、制御部21は、測定した座標(X,Y)と絶対距離Rとを行動検知サーバ4に応答する。
 図23は、家電設置情報モードの処理を示すフローチャートである。
 家電設置情報モードでは、以下のように処理される。行動検知サーバ4の制御部41は、家電設置情報モードを受信した後、家電設置情報フラグHfをセットする(S140)。
 ステップS141において、行動検知サーバ4の制御部41は、移動ロボット2が給電状態であるか否かを判定する。行動検知サーバ4の制御部41は、移動ロボット2が給電状態と判定したならば(Yes)、ステップS143の処理に進み、移動ロボット2が起動中と判定したならば(No)、ステップS142の処理に進む。
 ステップS142において、行動検知サーバ4の制御部41は、移動ロボット2に給電位置へ移動するように指令して、ステップS141の処理に戻る。これにより制御部41は、移動ロボット2が給電状態になるまで待機する。
 ステップS143において、行動検知サーバ4の制御部41は、タイマ43によってイベント発生時刻(Et)を取得し、各家電機器8より家電操作データ(NSi,HDi)を取得する。制御部41は、取得した操作データを(Et,NHi,HDi)として保持し、ステップS144の処理に進む。
 ステップS144において、行動検知サーバ4の制御部41は、移動ロボット2から空間情報をリクエストして、移動ロボット2から空間情報(GI(R,X,Y))を取得し、ステップS145の処理に進む。
 ステップS145において、行動検知サーバ4の制御部41は、検知対象となっている家電機器ID(NHi)の家電設置情報を呼出し、ステップS1451の処理に進む。
 ステップS1451において、行動検知サーバ4の制御部41は、検知領域情報(RH)を読み込んだ後、ステップS146の処理に進む。この検知領域情報(RH)は、(Rmax,Rmin,Xmin,Xmax,Ymax,Ymin)の情報を含んでいる。
 ステップS146において、行動検知サーバ4の制御部41は、検知領域情報(RH)に検知値が入力・記憶されているか否かを判定する。制御部41は、検知領域情報(RH)が存在しない場合(No)、ステップS148の処理に進む。制御部41は、検知領域情報(RH)に検知値を記憶している場合(Yes)、ステップS147の処理に進む。
 ステップS147おいて、行動検知サーバ4の制御部41は、検知領域情報(RH)と空間情報(GI,(R,X,Y))を比較する。この比較により制御部41は、移動ロボット2の位置情報(GI,(R,X,Y))が検知領域情報(RH)の範囲内、つまり過去の幾何情報範囲内であるか確認する。過去の幾何情報範囲内ではない場合(No)、行動検知サーバ4の制御部41は、ステップS148の処理に進む。過去の幾何情報範囲内である場合(Yes)、行動検知サーバ4の制御部41は、ステップS150の処理に進む。
 ステップS148において、行動検知サーバ4の制御部41は、記憶している検知領域情報(RH)を、移動ロボット2からの空間情報(GI(R,X,Y))に置き換えてデータを更新し、ステップS149の処理に進む。
 ステップS149において、行動検知サーバ4の制御部41は、探索エリア面積を積算して算出し、ステップS150の処理に進む。
 ステップS150において、行動検知サーバ4の制御部41は、探索エリアの積算値が、探索空間の全面積と合致するかを評価する。探索エリアの積算値が探索空間の全面積と合致した場合(Yes)、行動検知サーバ4の制御部41はステップS151の処理に進む。探索エリアの積算地が探索空間の全面積と合致しない場合(No)、行動検知サーバ4の制御部41は、ステップS141の処理に戻る。
 ステップS151において、行動検知サーバ4の制御部41は、家電設置情報フラグHfをクリアして、家電設置情報モードを終了する。
 上述した家電設置情報(HI)を用いることによって、行動検知サーバ4の制御部41は、家電機器8が設置された位置を検知することができる。
 図24は、イベント情報(EI)モードのうち移動ロボット2が起動していないときの処理を示すフローチャートである。
 イベント情報(EI)モードにおいて、行動検知サーバ4の制御部41は、ステップS160において、家電機器8より操作情報を受信(NHi,Et,HD)し、ステップS161の処理に進む。
 ステップS161において、行動検知サーバ4の制御部41は移動ロボット2へ起動の有無を確認する。移動ロボット2が起動していないときは(No)、ステップS163の処理に進む。移動ロボット2が起動しているときは(Yes)、図14に示すステップS70に進む。
 ステップS162において、行動検知サーバ4の制御部41は、家電設置情報モードであるか否かを判断する。家電設置情報フラグHfがセットされている場合(Yes)、制御部41は、家電設置情報モードであると判断し、ステップS160の処理に戻る。家電設置情報フラグHfがクリアされている場合(No)、制御部41は、ステップS163の処理に進む。
 ステップS163において、行動検知サーバ4の制御部41は、対象の家電機器8(NHi)に対する過去の操作データをイベント情報(EI)に要求し、ステップS1631の処理に進む。
 ステップS1631において、行動検知サーバ4の制御部41は、対象の家電機器8(NHi)に対する過去の操作データをイベント情報(EI)から読み出し、ステップS164の処理に進む。
 ステップS164において、行動検知サーバ4の制御部41は、過去の操作データから比較データを算出し、ステップS165の処理に進む。制御部41は、例えば受信した検知情報(NHi,Et,HD)に対して平均化を行うことで、比較データを算出する。
 ステップS165において、行動検知サーバ4の制御部41は、検知情報(NHi,Et,HD)と比較データ(CD)を比較する。その差が閾値ε1を超える場合(Yes)、制御部41は、日常と異なる操作を検知したと判断し、ステップS167の処理に進む。
 ステップS167において、制御部41は、モードを異常モードに変更し、異常モードフラグEMfを1に設定する。
 ステップS165において、その差が閾値ε1以下の場合(No)、行動検知サーバ4の制御部41は、通常状態であると判断し、検知情報をイベント情報(EI)へ追加する(S166)。その後、制御部41は、ステップS160の処理に進む。
 図25は、イベント情報(EI)モードのうち移動ロボット2が起動しているときの処理を示すフローチャートである。
 ステップS170において、行動検知サーバ4の制御部41は、異常モードフラグEMfがセットされているか否かによって、異常処理モードか否かを確認する。制御部41は、異常処理モードであると判断した場合、第1の実施形態と同様な異常モード(図18参照)に遷移する。制御部41は、異常処理モードでないと判断した場合、ステップS171の処理に進む。
 ステップS171において、行動検知サーバ4の制御部41は、家電設置情報モードであるか否かを判断する。家電設置情報フラグHfがセットされている場合(Yes)、制御部41は、家電設置情報モードであると判断し、図24に示したステップS160の処理に戻る。家電設置情報フラグHfがクリアされている場合(No)、制御部41は、ステップS172の処理に進む。
 ステップS172において、行動検知サーバ4の制御部41は、移動ロボット2へ自己位置情報GI(R,X,Y)をリクエストする。制御部41は、移動ロボット2から自己位置情報GI(R,X,Y)を取得すると、ステップS173の処理に進む。
 ステップS173において、行動検知サーバ4の制御部41は、移動ロボット2の自己位置情報GI(R,X,Y)と家電設置情報(HI)から、移動ロボット2によって反応している家電機器8の検知情報を判別する。制御部41は、移動ロボット2によって反応している家電機器8以外の家電機器8の検知情報を、人や動物などの移動体の行動検知情報(MI)であると判別し、ステップS174の処理に進む。
 ステップS174において、行動検知サーバ4の制御部41は、行動検知情報(MI)と比較するデータをイベント情報(EI)にリクエストする。
 ステップS1741において、制御部41は、リクエストしたデータを取得し、ステップS175の処理に進む。
 ステップS175において、行動検知サーバ4の制御部41は、イベント情報(EI)から得たデータから比較データ(CD)を算出し、ステップS176の処理に進む。
 ステップS176において、行動検知サーバ4の制御部41は、行動検知情報(MI)と比較データ(CD)を比較する。比較した結果が閾値ε2を超える場合(Yes)、行動検知サーバ4の制御部41は、異常常態であると判断して、ステップS178の処理に進み、処理状態を異常モードにし、異常モードフラグEMfを1に設定する。比較した結果が閾値ε2以下の場合(No)、制御部41は、ステップS177の処理に進む。
 ステップS177において、行動検知サーバ4の制御部41は、行動検知情報(MI)をイベント情報(EI)へ追記し、図24に示したステップS160の処理に戻る。
(変形例)
 本発明は上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば上記した実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。
 上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路などのハードウェアで実現してもよい。上記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈して実行することにより、ソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリ、ハードディスク、SSD(Solid State Drive)などの記録装置、または、フラッシュメモリカード、DVD(Digital Versatile Disk)などの記録媒体に置くことができる。
 各実施形態において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には、殆ど全ての構成が相互に接続されていると考えてもよい。
 本発明の変形例として、例えば、次の(a)~(e)のようなものがある。
(a) 行動検知サーバ4を設けず、移動ロボット2がイベント情報モードの処理や異常モードの処理を実行してもよい。
(b) 行動検知サーバ4を設けず、各センサ装置1が自律的にイベント情報モードの処理や異常モードの処理を実行してもよい。
(c) 行動検知サーバ4の通信部44と外部通信部45とは、共通であってもよい。
(d) 第1の実施形態の移動ロボット2は無線タグを備え、センサ装置1によってこの無線タグを検知するようにしてもよい。これにより、センサ装置1が確実に移動ロボット2を検知できるようになる。
(e) センサ設置情報モードが終了した後であっても、センサ位置の変更を検知した際には、記憶部に記憶されたセンサ位置情報を修正してもよい。
S 行動検知システム
1,1-1~1-7 センサ装置
11 制御部
12 検知部 (第1センサ)
13 記憶部
14 通信部 (第1通信手段)
15 電源部
2 移動ロボット
21 制御部
22 検知部 (第2センサ)
23 機構部
24 記憶部
25 電源部
26 操作部
27 通信部 (第2通信手段)
3 給電装置
31 検知部
32 通信部
4 行動検知サーバ
41 制御部
42 記憶部
43 タイマ
44 通信部 (第3通信手段)
45 外部通信部 (外部通信手段)
5 外部電源
8,8-1~8-7 家電機器 (センサ装置)
81 制御部
82 検知部 (第1センサ)
83 記憶部
84 通信部 (第1通信手段)
85 電源部
9 居室

Claims (9)

  1.  室内に設けられた複数のセンサ装置と通信可能な通信手段と、
     前記室内を移動可能な移動手段と、
     検知手段と、
     前記複数のセンサ装置が検知した第1検知情報、および前記検知手段が検知した第2検知情報に基づいて、移動体の行動を検知する制御手段と、
     を備えるロボット。
  2.  前記複数のセンサ装置は、家電機器であり、
     前記通信手段は、前記家電機器の操作情報を受信する、
     ことを特徴とする請求項1に記載のロボット
  3.  前記検知手段は、自身が移動した空間の幾何情報を検知するための位置センサを含んでおり、
     前記複数のセンサ装置を設置した位置を示すセンサ位置情報、および自身が移動した空間の幾何情報と前記複数のセンサ装置が設けられている位置の情報との対応関係を記憶する記憶手段を有する、
     ことを特徴とする請求項1または2に記載のロボット
  4.  前記制御手段は、複数のセンサ装置が設けられている位置を、自身が前記位置センサによって検知した空間の座標系で表現された位置情報として前記記憶手段に記憶する、
     ことを特徴とする請求項3に記載のロボット
  5.  前記制御手段は、前記検知手段によって情報を検知すると、検知した前記情報を前記記憶手段に保持し、現在の情報と前記記憶手段に保持された過去の情報とを比較することで、異常状態を診断する、
     ことを特徴とする請求項3または4に記載のロボット。
  6.  前記制御手段は、異常状態と診断した場合、異常を検知したセンサ装置の座標に自身を移動させて、当該異常を診断する、
     ことを特徴とする請求項5に記載のロボット。
  7.  異常の詳細を診断するセンサと、
     外部と通信する外部通信手段が設けられており、
     前記制御手段は、異常を確定した場合、前記外部通信手段により、確定した異常情報を外部へ送信する、
     ことを特徴とする請求項6に記載のロボット。
  8.  室内に設けられた複数のセンサ装置、および前記室内を移動可能な移動手段を備えたロボットと通信可能な通信手段と、
     前記複数のセンサ装置が検知した第1検知情報、および前記ロボットが検知した第2検知情報に基づいて、移動体の行動を検知する制御手段と、
     を備える行動検知サーバ。
  9.  情報を検知する第1センサ、および情報を送信する第1通信手段を備え、室内のいずれかに設けられた複数のセンサ装置と、
     情報を検知する第2センサ、情報を送受信する第2通信手段、および前記室内を移動可能な移動手段を備えたロボットと、
     情報を送受信する第3通信手段を備え、前記複数のセンサ装置が備える前記第1センサの検知情報、および前記ロボットが備える前記第2センサの検知情報に基づいて、移動体の行動を検知するサーバと、
     によって構築される行動検知システム。
PCT/JP2019/007507 2018-05-28 2019-02-27 ロボット、行動検知サーバ、および行動検知システム WO2019230092A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980025077.5A CN112005182A (zh) 2018-05-28 2019-02-27 机器人、行动检测服务器以及行动检测系统
US17/048,471 US20210178594A1 (en) 2018-05-28 2019-02-27 Robot, Action Detection Server, and Action Detection System
SG11202010403YA SG11202010403YA (en) 2018-05-28 2019-02-27 Robot, action detection server, and action detection system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018101400A JP2019207463A (ja) 2018-05-28 2018-05-28 ロボット、行動検知サーバ、および行動検知システム
JP2018-101400 2018-05-28

Publications (1)

Publication Number Publication Date
WO2019230092A1 true WO2019230092A1 (ja) 2019-12-05

Family

ID=68696942

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/007507 WO2019230092A1 (ja) 2018-05-28 2019-02-27 ロボット、行動検知サーバ、および行動検知システム

Country Status (6)

Country Link
US (1) US20210178594A1 (ja)
JP (1) JP2019207463A (ja)
CN (1) CN112005182A (ja)
SG (1) SG11202010403YA (ja)
TW (1) TWI742379B (ja)
WO (1) WO2019230092A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7489463B2 (ja) * 2020-06-23 2024-05-23 Thk株式会社 自律移動ロボット連係システム及び自律移動ロボット
KR20240042319A (ko) * 2022-09-23 2024-04-02 삼성전자주식회사 로봇 장치의 동작 상태를 식별하는 전자 장치 및 그 제어 방법
JP7287559B1 (ja) 2022-11-04 2023-06-06 三菱電機ビルソリューションズ株式会社 移動体管理システム、管理装置、移動体管理方法、及びコンピュータ読み取り可能な記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092356A (ja) * 2004-09-24 2006-04-06 Sanyo Electric Co Ltd 推定システム、推定装置およびセンシング装置
JP2015125592A (ja) * 2013-12-26 2015-07-06 トヨタ自動車株式会社 状態判定システム、状態判定方法及び移動ロボット
JP2016220174A (ja) * 2015-05-26 2016-12-22 株式会社東芝 家電制御方法及び家電制御装置
JP2017191612A (ja) * 2012-09-21 2017-10-19 グーグル インコーポレイテッド スマートセンサーを装備した家のためのデバイス、方法、および関連する情報処理

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3885019B2 (ja) * 2002-11-29 2007-02-21 株式会社東芝 セキュリティシステム及び移動ロボット
US20080281470A1 (en) * 2007-05-09 2008-11-13 Irobot Corporation Autonomous coverage robot sensing
JP5093023B2 (ja) * 2008-09-22 2012-12-05 パナソニック株式会社 住宅監視システム
JP2013171314A (ja) * 2012-02-17 2013-09-02 Sharp Corp 自走式電子機器
US10071475B2 (en) * 2014-10-31 2018-09-11 Vivint, Inc. Smart home system with existing home robot platforms
DE112017001573B4 (de) * 2016-03-28 2020-01-30 Groove X, Inc. Autonom agierender Roboter, der eine Begrüssungsaktion durchführt
CN109074329A (zh) * 2016-05-12 2018-12-21 索尼公司 信息处理设备、信息处理方法和程序
US10310464B1 (en) * 2016-06-01 2019-06-04 Phorena, Inc. Smart devices kit for recessed light housing
JP2018005470A (ja) * 2016-06-30 2018-01-11 カシオ計算機株式会社 自律移動装置、自律移動方法及びプログラム
JP7007108B2 (ja) * 2017-05-23 2022-01-24 東芝ライフスタイル株式会社 電気掃除機

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006092356A (ja) * 2004-09-24 2006-04-06 Sanyo Electric Co Ltd 推定システム、推定装置およびセンシング装置
JP2017191612A (ja) * 2012-09-21 2017-10-19 グーグル インコーポレイテッド スマートセンサーを装備した家のためのデバイス、方法、および関連する情報処理
JP2015125592A (ja) * 2013-12-26 2015-07-06 トヨタ自動車株式会社 状態判定システム、状態判定方法及び移動ロボット
JP2016220174A (ja) * 2015-05-26 2016-12-22 株式会社東芝 家電制御方法及び家電制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MORIOKA KAZUYUKI ET AL.: "Control of human following robot based on cooperative positioning with an intelligence space", IEEJ TRANSACTIONS, vol. 131, no. 5, 2011, pages 1050 - 1058 *

Also Published As

Publication number Publication date
TWI742379B (zh) 2021-10-11
SG11202010403YA (en) 2020-12-30
TW202005411A (zh) 2020-01-16
JP2019207463A (ja) 2019-12-05
CN112005182A (zh) 2020-11-27
US20210178594A1 (en) 2021-06-17

Similar Documents

Publication Publication Date Title
WO2019230092A1 (ja) ロボット、行動検知サーバ、および行動検知システム
KR100804919B1 (ko) 대상물상태 검지장치, 대상물상태 검지방법, 가전기기,네트워크 어댑터 및 매체
US9460350B2 (en) Activity recognition in multi-entity environments
US11044889B1 (en) Pet monitoring
CN111630576B (zh) 存储传感器装置的事件
WO2016160724A1 (en) Devices and methods for determining and acting upon cumulative exposure of a building occupant to a hazardous substance
JP2022135922A (ja) ゲートウェイ基盤の状況モニタリングシステム
JP2007034561A (ja) 自走式掃除機およびそのプログラム
GB2514230A (en) In-room probability estimating apparatus, method therefor and program
KR101584600B1 (ko) 주변환경 연계형 복합센서 사물인터넷시스템
WO2020189052A1 (ja) 行動検知システム、インタフェース装置及びロボット
KR20100049380A (ko) 로봇을 이용한 빌딩 관리 방법 및 그 시스템
JP6076167B2 (ja) 空間状態判定装置
JP2005328230A (ja) 無線センサノード、センサネットワーク及び監視サーバ
US20230252874A1 (en) Shadow-based fall detection
CN116466727A (zh) 移动机器人的巡检控制方法、装置、存储介质和电子设备
KR102612827B1 (ko) 인공지능 이동 로봇의 제어 방법
JP6906380B2 (ja) 経路制御装置、経路制御方法、コンピュータプログラム及び無線通信システム
KR20200049189A (ko) 가전 기기
JP5026324B2 (ja) 事象認識システムおよび事象認識方法
KR101792814B1 (ko) 보안 서비스 장치 및 방법
JP2020166502A (ja) 警備システム
Knauth et al. Towards smart watch position estimation employing rssi based probability maps
US11832028B2 (en) Doorbell avoidance techniques
JP2008107885A (ja) 監視システム、監視装置、電気機器、監視方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19810451

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19810451

Country of ref document: EP

Kind code of ref document: A1