WO2005069222A1 - 情報認識装置、情報認識方法、情報認識プログラム及び警報システム - Google Patents

情報認識装置、情報認識方法、情報認識プログラム及び警報システム Download PDF

Info

Publication number
WO2005069222A1
WO2005069222A1 PCT/JP2005/000315 JP2005000315W WO2005069222A1 WO 2005069222 A1 WO2005069222 A1 WO 2005069222A1 JP 2005000315 W JP2005000315 W JP 2005000315W WO 2005069222 A1 WO2005069222 A1 WO 2005069222A1
Authority
WO
WIPO (PCT)
Prior art keywords
pattern model
information
information recognition
operation pattern
thermal radiation
Prior art date
Application number
PCT/JP2005/000315
Other languages
English (en)
French (fr)
Inventor
Ken Udagawa
Makoto Shozakai
Yuji Yamazaki
Original Assignee
Asahi Kasei Kabushiki Kaisha
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Asahi Kasei Kabushiki Kaisha filed Critical Asahi Kasei Kabushiki Kaisha
Priority to EP05703554A priority Critical patent/EP1705612A4/en
Priority to JP2005517059A priority patent/JP4180600B2/ja
Priority to US10/585,823 priority patent/US20070241863A1/en
Publication of WO2005069222A1 publication Critical patent/WO2005069222A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/10Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors
    • G01J5/34Radiation pyrometry, e.g. infrared or optical thermometry using electric radiation detectors using capacitors, e.g. pyroelectric capacitors

Definitions

  • Information recognition device information recognition method, information recognition program, and alarm system
  • the present invention relates to information processing using a thermal radiation sensor, and in particular, to the output of the thermal radiation sensor for an object to be detected and the operation patterns of a plurality of targets prepared in advance using a predetermined modeling method.
  • the present invention relates to an information recognizing device, an information recognizing method and an information recognizing program capable of recognizing predetermined information on an object to be detected based on a corresponding operation pattern model, and an alarm system including the information recognizing device.
  • the detection output of the other human body detecting means is invalidated for a fixed time by the first detection control means, and
  • the second detection control means invalidates the detection output of the other human body detection means. I do. This enables quick and accurate notification of the moving direction of the human body detected in the human body detection range.
  • Patent Document 1 Japanese Patent No. 2766820
  • the present inventors have detected thermal radiation emitted from a large number of detected objects performing the same action within the detection range of the pyroelectric infrared sensor using the pyroelectric infrared sensor. There is an individual difference in the output of the pyroelectric infrared sensor for each type of sensing object (person, animal, gender, etc.) and for each individual in the same sensing object (for example, for humans, A, B etc.) I found something.
  • An object of the present invention is to provide an information recognizing device, an information recognizing method, an information recognizing program, and a security system including the information recognizing device capable of recognizing the predetermined information!
  • an information recognition device provides a heat radiation sensor that detects thermal radiation emitted from a detection target existing within a detection range by a thermal radiation sensor.
  • Radiation detection means
  • An operation pattern model that stores an operation pattern model obtained by preliminarily modeling the output of the thermal radiation sensor according to the operation pattern of the detected object according to a predetermined modeling method.
  • Dell storage means ;
  • An information recognizing means for recognizing predetermined information relating to the object to be detected within the detection range based on a detection result of the thermal radiation detecting means and the operation pattern model stored in the operation pattern model storage means; It is characterized by having!
  • the thermal radiation sensor With such a configuration, it is possible for the thermal radiation sensor to detect thermal radiation emitted from the detection object existing within the detection range by the thermal radiation detecting means, and to store the operation pattern model.
  • the thermal radiation sensor By means, it is possible to store an operation pattern model in which the output of the thermal radiation sensor according to the operation pattern of the detected object is modeled in advance according to a predetermined modeling method. Based on the detection result of the heat radiation detection unit and the operation pattern model stored in the operation pattern model storage unit, it is possible to recognize predetermined information related to the detected object present in the detection range. It is.
  • the predetermined information of the detected object is recognized based on the detection result of the thermal radiation sensor and the operation pattern model, so that various behavior patterns of the detected object, attributes of the detected object, and so on are recognized. Recognition of information becomes possible.
  • the object to be detected includes anything such as humans, animals other than humans, creatures such as insects, and inanimate objects as long as they emit thermal radiation.
  • the thermal radiation sensor may be any type of sensor that detects the heat released from the object.
  • an infrared sensor that detects infrared emitted from the object.
  • there is a quantum sensor using a photovoltaic effect or a photoconductive effect or a thermal sensor using a thermoelectromotive effect, a pyroelectric effect or a thermoconductive effect.
  • the predetermined modeling method includes, for example, a well-known modeling method such as an HMM or a -ural network.
  • the predetermined information relating to the detected object includes the operation content of the detected object within the detection range and
  • the operation pattern model storage unit stores a plurality of operation pattern models respectively corresponding to a plurality of types of operation patterns.
  • the operation pattern model of the detected object is determined by the predetermined modeling method based on an output of the thermal radiation sensor. It is characterized by having an operation pattern model generating means for generating.
  • the operation pattern model of the detected object can be generated by the predetermined modeling method based on the output of the thermal radiation sensor by the operation pattern model generation means.
  • the invention according to claim 4 is the information recognition device according to any one of claims 1 to 3, wherein the thermal radiation sensor is a thermal sensor.
  • the thermal radiation sensor is a thermal sensor.
  • a thermal radiation sensor using a thermopile or the like utilizing the thermoelectromotive effect, a sensor utilizing the pyroelectric effect using PZT (lead zirconate titanate), LiTa03 (lithium tantalate), a thermistor, It is composed of a thermal sensor such as a sensor using a thermocouple effect using a porometer or the like.
  • the invention according to claim 5 is the information recognition device according to any one of claims 1 to 3, wherein the thermal radiation sensor is a quantum sensor. .
  • the thermal radiation sensor uses a photovoltaic effect using a photodiode, a phototransistor, a photo IC, a solar cell, etc., and a photoconductive effect using a CdS cell, CdSe cell, PdS cell, etc. It is constituted by a quantum sensor such as a sensor utilizing a photoelectron emission effect using a sensor, a photoelectric tube, a photomultiplier tube or the like.
  • the invention according to claim 6 is the information recognition device according to claim 4, wherein
  • the type sensor is characterized in that it is a pyroelectric infrared sensor that detects infrared rays emitted from the body force to be detected using a pyroelectric effect.
  • the pyroelectric infrared sensor is used as the thermal radiation sensor, it is possible to easily detect a moving object within the detection range.
  • the invention according to claim 7 is the information recognition device according to any one of claims 1 to 6, wherein the predetermined modeling method is an HMM (Hidden Markov Model). It is characterized by.
  • HMM Hidden Markov Model
  • the invention according to claim 8 is the information recognition device according to any one of claims 1 to 7, wherein the predetermined information includes an action content of the object to be detected and the object to be detected.
  • the output of the thermal radiation sensor changes depending on the action content, moving speed, size, etc. of the detected object.
  • the action content of the detected object is, for example, a movement in a certain direction, an operation of a part of the body such as a hand or a foot (a gesture or the like), and the like.
  • the size is a size with respect to the height, width, length, surface area, volume, etc. of the detected object, and this is not limited to the entire detected object, but may be a size for a part of the detected object. The size shall be included.
  • the predetermined information includes attribute information of the detected object.
  • the information recognizing means can recognize the attribute information of the detected object within the detection range.
  • the attribute information is, for example, broadly, a person, an animal (mammal) other than a human, an insect, etc. This is information on the types of living things that emit heat, cars, motorcycles, curtains, sunlight, lights, air-conditioners, and other inanimate objects that emit heat such as hot and cold air.
  • attribute information also includes information on the type of inanimate objects, such as curtain swings, tree branches and leaf swings, and the like. Recognition of such inanimate predetermined information that does not emit heat can be performed in combination with an object that emits heat. For example, if there is a thermal radiation sensor on one side of the curtain and a heat source on the other side, when the heat source is covered with a curtain, the heat radiated by the heat source will also be radiated to the sensor. When the curtain is shaken and the heat source is exposed, the heat radiated from the heat source is detected by the sensor. By comparing such a detection result with the operation pattern, it is possible to determine, for example, whether it is a curtain shake or whether a person has entered the building.
  • recognition of such inanimate predetermined information that does not emit heat can be performed in combination with an object that emits heat. For example, if there is a thermal radiation sensor on one side of the curtain and a heat source on the other side, the heat radiated by the heat source will also be radiated to the
  • attribute information is personal information, it is possible to identify an individual if it is a human or an individual if it is an insect or animal.
  • An invention according to claim 10 is the information recognition device according to any one of claims 1 to 9, wherein the information recognition means is characterized by a detection result of the thermal radiation detection means. Amount data is extracted, and a likelihood between the feature amount data and the operation pattern model is calculated based on the feature amount data and the operation pattern model stored in the operation pattern model storage means. The predetermined information relating to the detected object is recognized based on the likelihood.
  • the likelihood between the feature data and the motion pattern model is calculated, and the predetermined information on the detected object is recognized based on the calculated likelihood. It works.
  • the characteristic amount data is obtained from a spectrum in a frame unit of a detection result of the thermal radiation detecting unit.
  • second feature amount data including an average amplitude value of the spectrum in the frame unit.
  • the first feature data which is the spectral power of the detection result in frame units
  • the second feature data which is the average amplitude value of the spectrum in frame units
  • the invention according to claim 12 is characterized in that, in the information recognition apparatus according to claim 11, the first feature amount data is obtained by converting the value of the spectrum into a common logarithmic value.
  • the first feature amount data a value obtained by converting the value of the spectrum in the frame unit into a common logarithmic value is used. If it is 1 or more, the dispersion range will be narrowed. Thereby, depending on conditions, it is possible to further improve the recognition accuracy of the predetermined information.
  • the feature amount data is a feature amount indicated by the first feature amount data of a selected frame, and It is characterized in that it further includes third feature value data which is a difference force from the feature value indicated by the first feature value data of the frame immediately before the selected frame.
  • the feature indicated by the first feature data of the selected frame and the first feature of the frame immediately before the selected frame are displayed.
  • Recognition of the predetermined information is performed by using the third feature data, which is a power of difference from the feature indicated by the collected data, so that the recognition accuracy of the predetermined information can be further improved. .
  • the characteristic amount data includes a characteristic amount indicated by the second characteristic amount data of the selected frame and a characteristic amount of the selected frame. It is characterized in that it further includes fourth feature value data that is a difference force from the feature value indicated by the second feature value data of the previous frame.
  • the second feature data of the selected frame Recognition of the predetermined information is performed by using the fourth feature data including the difference between the feature indicated by the data and the feature indicated by the second feature data of the frame immediately before the selected frame. As a result, it is possible to further improve the recognition accuracy of the predetermined information.
  • the motion pattern model is a feature data storage device having four or more dimensions.
  • Feature quantity data display means for displaying the feature quantity data corresponding to each action pattern model stored in the action pattern model storage means as coordinate points in a two-dimensional or three-dimensional space;
  • a detection result display unit for displaying a coordinate point corresponding to the detection result of the thermal radiation detection unit on a space where the coordinate point of the feature amount data is displayed.
  • the feature data display means corresponds to each motion pattern model stored in the motion pattern model storage means.
  • the feature data can be displayed as coordinate points on a two-dimensional or three-dimensional space, and the detection result display means displays the thermal radiation detection means on the space where the coordinate points of the feature data are displayed. It is possible to display the coordinate point corresponding to the detection result of.
  • the information recognition method according to claim 16 of the present invention detects a thermal radiation emitted from a detection target existing within a detection range by a thermal radiation sensor
  • An operation pattern model is prepared in which outputs of the thermal radiation sensor corresponding to a plurality of types of operation patterns of a plurality of detected objects are modeled in advance according to a predetermined modeling method.
  • the detection is performed based on a detection result of the thermal radiation sensor and the operation pattern model. Recognizing predetermined information relating to the detected object existing within the known range.
  • the present invention can be realized by the information recognition device or the like described in claim 1, and the description thereof is omitted because the effects are duplicated.
  • the information recognition program according to claim 17 of the present invention includes a thermal radiation detecting step of detecting thermal radiation emitted from a detection target existing within a detection range by a thermal radiation sensor,
  • Information recognition for recognizing predetermined information related to the detected object within the detection range based on the detection result of the thermal radiation detection step and the operation pattern model stored in the operation pattern model storage step. And a step.
  • the present invention is a program that can be applied to the information recognition device described in claim 1, and the description thereof is omitted because the effects are duplicated.
  • an alarm system according to claim 18 includes an information recognition device according to any one of claims 1 to 15,
  • Judging means for judging whether or not the detected object is human-powered based on a recognition result of the information recognition device
  • An alarming means for issuing an alarm when the object to be detected is judged to be a person by the judging means.
  • the above-mentioned “alarming” refers to a threat issued to an intruder, such as flowing a warning message by voice to a speaker or the like and continuously playing a peculiar sound such as a buzzer sound from a speaker. And warnings as warnings, and alerts to system users about dangers, which notify the system users directly of the intrusion of people into the building by voice or screen display.
  • the alarm for the intruder and the alarm for the system user may be either a configuration including both of them or a configuration including either of them.
  • FIG. 1 is a block diagram showing a configuration of an information recognition device according to the present invention.
  • FIG. 2 (a) is a diagram showing an installation position of the information recognition device 1, (b) is a diagram showing a detection range of the pyroelectric infrared sensor 10a, and (c) is a detection target.
  • FIG. 6 is a diagram showing an operation pattern of FIG.
  • FIG. 3 is a diagram showing a relationship between an output waveform of a pyroelectric infrared sensor 10a and an operation pattern model.
  • FIG. 4 is a flowchart showing an operation process of the infrared detection unit 10.
  • FIG. 5 is a flowchart showing an operation process of an operation pattern model generation unit 11.
  • FIG. 6 is a flowchart showing an operation process of a recognition processing unit 13.
  • FIG. 7 is a diagram showing a recognition result of an operation direction in the embodiment.
  • FIG. 8 is a diagram showing an example in which a detection range 20 is finely divided into small ranges.
  • FIGS. 9 (a) and 9 (b) are diagrams showing information on a dog as a detection target at the time of identification.
  • FIG. 10 (a) is a diagram showing recognition results of humans (to distinguish adults and children) and dogs (to distinguish large dogs and small dogs), and (b) shows the results of recognition of humans (to distinguish adults and children). It is a figure which shows the recognition result of a dog (no distinction between a large dog and a small dog) and a dog (no distinction).
  • FIG. 11 is a diagram showing a recognition result of an operation direction in a third embodiment.
  • FIGS. 12 (a) and (b) are diagrams showing recognition results of an operation direction in a fourth embodiment.
  • FIG. 13 is a diagram showing a display example of a motion pattern model projected two-dimensionally.
  • FIG. 14 is a flowchart showing an operation process of the two-dimensional projection unit 14.
  • FIG. 15 is a block diagram showing a configuration of an alarm system according to a fourth embodiment of the present invention.
  • FIG. 16 is a flowchart showing an operation process of the alarm control unit 50.
  • FIG. 1 to FIG. 6 are diagrams showing a first embodiment of the information recognition device according to the present invention.
  • FIG. 1 is a block diagram showing the configuration of the information recognition device according to the first embodiment of the present invention.
  • the information recognition device 1 has a configuration including an infrared detection unit 10, an operation pattern model generation unit 11, an operation pattern model storage unit 12, and a recognition processing unit 13. It has become.
  • the infrared detector 10 has a configuration including a pyroelectric infrared sensor 10a and a signal processor 10b.
  • the pyroelectric infrared sensor 10a is a sensor that can detect infrared light that also emits a detected physical force existing within the detection range by using the pyroelectric effect.
  • the signal processing unit 10b performs signal processing such as sampling and FFT (Fast Fourie Transform) on the analog signal of the detection result output from the pyroelectric infrared sensor 10a, and calculates feature amount data of the detection result. It has.
  • signal processing such as sampling and FFT (Fast Fourie Transform)
  • the operation pattern model generation unit 11 has a function of generating a motion pattern model by modeling feature amount data obtained from the infrared detection unit 10 using an HMM.
  • the operation pattern model storage unit 12 has a function of storing the generated operation pattern model.
  • the recognition processing unit 13 detects a detection target existing within the detection range of the pyroelectric infrared sensor 10a based on the storage content of the operation pattern model storage unit 12 and the feature amount data of the infrared detection result obtained also from the infrared detection unit 10.
  • Machine for recognizing body movement pattern information and attribute information It has the ability.
  • the information recognition device 1 includes a processor (not shown), a random access memory (RAM), and a storage medium storing a dedicated program.
  • the above-mentioned components are controlled by executing a dedicated program.
  • the storage medium is a semiconductor storage medium such as a RAM or a ROM, a magnetic storage type storage medium such as an FD or HD, a CD, a CDV, an LD, a DVD or the like.
  • Optical read-type storage medium, magnetic storage type such as MO, etc.Z Optical read-type storage medium, which can be read by a computer regardless of electronic, magnetic, optical, etc. If so, it includes all storage media.
  • FIGS. 2A is a diagram showing an installation position of the information recognition device 1
  • FIG. 2B is a diagram showing a detection range of the pyroelectric infrared sensor 10a
  • FIG. 2C is an operation pattern of a detection target.
  • FIG. 3 is a diagram showing a relationship between an output waveform of the pyroelectric infrared sensor 10a and an operation pattern model.
  • the information recognition device 1 mounts a pyroelectric infrared sensor 10a, which is a component thereof, on a ceiling such as a room, and detects an object passing through a detection range 20 thereof. Forces are also installed to detect emitted infrared radiation. Then, from the detection result of the infrared ray detected from the detected object passing through the detection range, the operation pattern and the attribute of the detected object are recognized! /
  • the pyroelectric infrared sensor 10a uses one in which four pyroelectric elements are projected by 16 Fresnel lenses to expand the detection range, and the detection range is used.
  • 20 has a range of about 6 m in the X direction and about 7 m in the y direction, with the horizontal axis as the X axis and the vertical axis as the y axis. That is, as shown in FIG. 2 (b), it is possible to detect infrared rays from an object to be detected passing through any of the plurality of detection zones within the above-described range.
  • the detected object sets the detection range 20 in each of the directions (1) and (8) as shown in FIG. From outside the detection range 20 Walk !, think about what you have when you pass.
  • a plurality of detected objects are caused to perform the above-described eight motion pattern actions in advance (for example, each action is performed five times by the same person).
  • the signal processing unit 10b performs signal processing on the detection results from the pyroelectric infrared sensor 10a, which also provides the action force of these operation patterns, to calculate feature amount data, and the operation pattern model generation unit 12
  • the feature data corresponding to each motion pattern is modeled by HMM.
  • the analog output signal 30 having a data time length of 10 [s] from the pyroelectric infrared sensor 10a is converted to 100 [ [ms]
  • the analog output signal 30 is converted into digital data by subjecting the sampled data to AZD conversion.
  • the sampling data at intervals of 100 [ms] is divided into a plurality of frames 31 in 1.6 [s] units.
  • FFT is performed on the sampling data of 31 units of each frame, and these sampling data are developed into a Fourier series to calculate the spectrum of each harmonic ((spectrum 32 in FIG. 3).
  • Each of the frames 31 corresponds to 16 pieces of sampling data, and the overlap between the frames is set to 12 pieces of sampling data.
  • the first eight are used as first feature data, and an average amplitude level is calculated for each frame, which is used as second feature data.
  • the operation pattern model generation unit 11 obtains the first and second feature data from the infrared detection unit 10 and uses these feature data to perform the processing shown in FIG. Create HMM33 as shown.
  • the HMM 33 uses the first feature data as a first parameter and the second feature data as a second parameter. Then, the number of internal states is set to 5 states of S—S, and each parameter is
  • the motion pattern model generated by the motion pattern model generation unit 11 is stored in the motion pattern model storage unit 12 in association with the attribute (for example, name) of the detected object and the content of the motion pattern. .
  • the recognition processing unit 13 After the generation of the motion pattern models of the plurality of detection targets as detection targets is completed in this way, the recognition processing unit 13 thereafter executes the detection processing based on the signal processing results from the infrared detection unit 10 based on the detection results. Recognition processing of the motion pattern and the attribute of the detection object is performed.
  • the pyroelectric infrared sensor 10a detects the infrared ray of the detection target A and outputs an analog signal according to the detection result.
  • This analog signal is input to the signal processing unit 1 Ob, where the above-described signal processing is performed, and the processing result is input to the recognition processing unit 13.
  • the recognition processing unit 13 extracts similar feature data from the signal processing result for the motion of the detection target A, and stores the feature data and the motion pattern stored in the motion pattern model storage unit 12. Recognize the motion pattern and attributes of the detected object A based on the model.
  • a feature amount data sequence (including the observation sequence) for the motion of the detection target A is selected from the motion pattern models stored in the motion pattern model storage unit 12.
  • a model having a state transition sequence that generates the highest probability and the highest probability the motion pattern and the attribute of the detected object A are recognized.
  • a known method is used for the detection method using the above-mentioned Viterbi algorithm.
  • the motion pattern model when the motion pattern model corresponding to the state transition sequence having the maximum probability is detected by using the Viterbi algorithm, the motion pattern model includes the motion pattern in advance as described above. Since the contents and attributes of the object A are associated with! / ⁇ , the operation contents of the detected object A that has passed through the detection range (such as walking in the direction of (6)) can be recognized. It can also be recognized that the object to be detected is A.
  • This recognition result is output to, for example, a display processing unit that displays the recognition result on a display unit, or an information processing unit such as an application program that performs some processing using the recognition result.
  • FIG. 4 is a flowchart showing the operation processing of the infrared ray detection unit 10.
  • step S100 the analog output signal of the sensor is input to the signal processing unit 10b in the pyroelectric infrared sensor 10a, and the process proceeds to step S102.
  • the signal processing unit 10b performs sampling processing on the obtained analog output signal at predetermined time intervals (for example, 100 ms), and then proceeds to step S104.
  • step S104 the signal processing unit 10b performs AZD conversion processing on the sampling result, and proceeds to step S106.
  • step S106 the signal processing unit 10b determines whether or not the output signal has changed based on the output signal of the pyroelectric infrared sensor 10a that has been subjected to the sampling processing and the AZD conversion processing. If it is determined that the error has occurred (Yes), the process proceeds to step S108; otherwise, the process proceeds to step S110.
  • the signal processing unit 10b stores the AZD-converted output signal in a storage unit (not shown) including a RAM or the like, and then proceeds to step S100.
  • step S110 the signal processing unit 10b determines whether or not there is data stored in the storage unit. When it is determined that the data is present (Yes), the process proceeds to step S112. If not, the process proceeds to step S100.
  • step S112 the signal processing unit 10b performs frame division processing on the data stored in the storage unit in a predetermined time unit (for example, 1.6 s), and proceeds to step S114.
  • a predetermined time unit for example, 1.6 s
  • step S114 the signal processing unit 10b performs an FFT for each frame unit, calculates a spectrum of each harmonic as a result of the FFT, and furthermore, calculates an average amplitude for each frame unit. The width is calculated, and the flow shifts to step S116.
  • step S116 the infrared detection unit 10 determines whether the operation mode is the operation pattern model generation mode, and if it is determined that the operation mode is the operation pattern model generation mode (Yes), the process proceeds to step S118. Otherwise, (No) the process proceeds to step S120.
  • two modes can be set: an operation pattern model generation mode and an information recognition mode, and the operation mode is set to the operation pattern model generation mode. If the information processing mode is set to the information recognition mode, the signal processing result of the infrared detector 10 is input to the recognition pattern Enter in Part 13.
  • step S 118 the infrared detection unit 10 inputs the signal processing result to the operation pattern model generation unit 11 and proceeds to step S 100.
  • step S120 the signal processing result is input to the recognition processing unit 13 in the infrared detecting unit 10, and the process proceeds to step S100.
  • FIG. 5 is a flowchart showing the operation process of the operation pattern model generation unit 11.
  • step S 200 it is determined whether or not a signal processing result from the infrared detector 10 has been obtained. If it is determined that the signal processing result has been obtained (Yes), the process proceeds to step S 202. If not, (No) wait until it is obtained.
  • step S202 based on the obtained signal processing result, an operation pattern model is generated using the HMM, and the process proceeds to step S204.
  • step S204 the operation content and the attribute information are associated with the generated operation pattern model, and the flow advances to step S206.
  • step S206 the operation pattern model associated with the operation content and the attribute information is stored in the operation pattern model storage unit 12, and the process ends.
  • FIG. 6 is a flowchart showing the operation processing of the recognition processing unit 13.
  • step S 300 the infrared detection unit 10 performs signal processing. It is determined whether or not the result has been obtained. If it is determined that the result has been obtained (Yes), the process proceeds to step S302; otherwise (No), the process waits until the result is obtained.
  • step S302 the operation pattern model is read from the operation pattern model storage unit 12, and the process proceeds to step S304.
  • step S304 based on the read operation pattern model and the obtained signal processing result, an operation pattern model having a state transition sequence having the maximum probability is detected using the Viterbi algorithm, and the flow advances to step S306.
  • step S306 recognition processing is performed based on the detected motion pattern model, and the flow advances to step S308.
  • the recognition process is to read the operation content and attribute information associated with the operation pattern model, as described above.
  • step S308 the recognition result is output to information processing means such as an application program, and the process ends.
  • the infrared detection section 10 detects infrared rays of a plurality of detection targets within the detection range 20, performs a signal processing on an output signal of the detection result, and generates an operation pattern model generation section.
  • the HMM generates a motion pattern model corresponding to the motion pattern content of each detected object and the attribute of the detected object, and can store the motion pattern model in the motion pattern model storage unit 12. .
  • the recognition processing unit 13 performs a detection based on the infrared detection result of the detected object operating within the detection range 20 of the infrared detection unit 10 and the operation pattern model stored in the operation pattern model storage unit 12. It is possible to recognize the motion pattern of the detected object and its attributes.
  • the infrared detecting unit 10 shown in FIG. 1 corresponds to the thermal radiation detecting means according to any one of claims 1, 10 and 11, and the operation pattern model generating unit 11 is described in claim 3.
  • the operation pattern model storage unit 12 corresponds to the operation pattern model storage unit described in any one of claims 1, 2, and 10, and the recognition processing unit 13 Corresponds to the information recognition means described in item 1 or 10.
  • FIG. 7 is a diagram illustrating a recognition result of the operation direction in the first embodiment.
  • FIG. 8 is a diagram showing an example in which the detection range 20 is subdivided into small ranges.
  • a 5-state HMM is generated using the same feature parameters as those in the first embodiment.
  • an HMM is generated using data obtained by performing 17 (1)-(8) operations in eight directions five times by the 17 subjects A to Q in the first embodiment.
  • the attributes of the object to be detected are ignored, and the generation of the motion pattern model in each direction is repeated five times by 17 persons in each direction. Were used (85 data of 17 people x 5 times).
  • an HMM dedicated to each object is generated using five pieces of data for each attribute to generate a motion pattern model in each direction.
  • an HMM corresponding to each direction motion of an unspecified number of detected objects is generated using all data of each direction of 17 persons.
  • the average recognition rate of the movement direction of the detection target A to Q when the detection object 20 passes through the detection range 20 using the generated movement pattern model is shown in FIG. As shown in Fig. 7, when the same line error is considered, it becomes 73.7%, and when the same line error is ignored, it becomes 88.7%.
  • an operation pattern model is generated for the entire detection range 20, thereby recognizing the eight directions (1)-(8).
  • the detection range 20 is finely divided into small areas, and an operation pattern model in each direction is generated for each of the sections. By combining these, it is possible to recognize various operation contents in the detection range 20 of the detection target.
  • FIGS. 9 (a) and 9 (b) are diagrams showing information of a dog as a detection target at the time of identification.
  • FIG. 10 (a) is a diagram showing recognition results of a person (to distinguish between an adult and a child) and a dog (to distinguish between a large dog and a small dog), and
  • FIG. It is a figure which shows the recognition result of a dog (no distinction between a large dog and a small dog) and a dog.
  • An HMM is generated using data obtained by performing the operations of (1)-(8) in the eight directions in the first embodiment 50 times for each of the detected objects in the first embodiment.
  • a value obtained by converting the first feature parameter in the first embodiment into a common logarithmic value and a second feature parameter in the first embodiment are used.
  • the number of internal states of the HMM was set to 7 using this calculation.
  • large dogs and small dogs are determined from among dogs selected as detected objects, including Labrador retrievers with a body height of 63 cm and a body length of 80 cm. Larger dogs were designated as large dogs, while smaller dogs, including toy poodles 40 cm tall and 40 cm tall, were designated small dogs.
  • body height and body length are the height of the part of the body at the highest ground force when the dog is standing, and body length is the height when the dog is standing. The tip of the nose is also the length to the tail.
  • an adult motion pattern model generated using the 36 adult motion data a child motion pattern model generated using the above 6 child motion data
  • Four types of models are used: a large dog motion pattern model generated using five large dog motion data, and a small dog motion pattern model generated using the seven small dog motion data described above.
  • Each motion pattern model also includes eight HMM forces corresponding to each behavior pattern. In the generation of each model, only 10 of the 50 learning data (motion data) were used for each behavior pattern, and the remaining 40 evaluation data were used for recognition processing.
  • the information recognition device 1 uses the As shown in Fig. 10 (b), the average recognition rate for adults is 99.6%, the average recognition rate for children is 98.4%, and the average The recognition rate was 96.4%, the average recognition rate for small dogs was 94.8%, and the average recognition rate for these dogs was 97.3%. According to the results, it can be seen that the reason why the recognition rate of large dogs was low when large dogs and small dogs were distinguished was that most of them misrecognized large dogs and small dogs. And the recognition rate of large dogs increased dramatically, so that the overall average recognition rate increased significantly to 97.3%. From this, it was found that the information recognition device 1 according to the present invention can discriminate between a human and a dog (an animal other than a human) with high probability.
  • FIG. 11 and FIG. 12 are diagrams showing the results of the information recognition device according to the second embodiment of the present invention.
  • the feature data used for modeling and recognition processing are the first and second feature data in addition to the first and second feature data in the first embodiment.
  • the third and fourth feature amount data calculated from the feature amount data is used. Therefore, in the configuration similar to the first embodiment, the generation method and the recognition processing method of the motion pattern model are partially different.
  • the same parts as those in the first embodiment will be described. The description will be made with reference to the drawings.
  • the data processing unit 10b transmits the data time length 10 [s] from the pyroelectric infrared sensor 10a, as shown in FIG.
  • the analog output signal 30 is sampled at intervals of 100 [ms], and the sampled data is subjected to AZD conversion to convert the analog output signal 30 into digital data.
  • the sampling data at intervals of 100 [ms] is divided into a plurality of frames 31 in 1.6 [s] units.
  • each frame has 31 units of sampling data FFT is performed on these samples, and these sampled data are expanded into a Fourier series to calculate the spectrum of each harmonic ((spectrum 32 in Fig. 3).
  • each frame 31 corresponds to 16 samples of data.
  • the overlap between frames is set to 12 pieces of sampling data, and in the present embodiment, the value N is used as a regular pair for the first half of the above-mentioned spectrum 32 of each frame 31.
  • the value converted to a numerical value (logN) is used as the first feature data, the average amplitude level is calculated for each frame, and this is used as the second feature data.
  • the difference between the numerical value of the first characteristic amount data and the numerical value of the first characteristic amount data with respect to the immediately preceding frame 31 is defined as third characteristic amount data, and each selected value in all frames 31 is selected.
  • the difference between the value of the second feature data for the frame 31 and the value of the second feature data for the immediately preceding frame 31 is defined as fourth feature data.
  • the motion pattern model generation unit 11 acquires the first to fourth feature data from the infrared detection unit 10 and creates an HMM by using these feature data. I do.
  • the first-fourth feature data is the first-fourth parameter
  • the number of internal states is S—S
  • the probability distribution of each parameter is the probability distribution of each parameter
  • the motion pattern model generated by the motion pattern model generation unit 11 is associated with the attribute (eg, name) of the detected object and the content of the motion pattern, and is stored in the motion pattern model storage unit 12.
  • the recognition processing unit 13 detects the detected objects based on the signal processing result from the infrared detection unit 10. A recognition process of the motion pattern and the attribute is performed.
  • step S 114 in the flowchart shown in FIG. 4, which is different from the first embodiment, will be described.
  • step S114 the signal processing unit 10b performs an FFT for each frame, calculates a spectrum of each harmonic as a result of the FFT, and based on the calculated spectrum.
  • the first to fourth feature amount data are calculated, and the flow shifts to step S116.
  • the value of the spectrum of each harmonic is converted into a common logarithmic value to generate first feature data, and the average amplitude of each spectrum for each frame unit is calculated as the first amplitude.
  • the difference between the first feature data for the selected frame and the first feature data for the immediately preceding frame for all frames is calculated as the third feature data.
  • the difference between the second feature data for the selected frame and the second feature data for the immediately preceding frame is calculated as fourth feature data for all frames.
  • the infrared detection unit 10 detects infrared rays of a plurality of detected objects within the detection range 20, performs signal processing on the output signal of the detection result, and performs the signal processing by the operation pattern model generation unit 11. Resulting power It is possible to generate a motion pattern model corresponding to the motion pattern content of each detected object and the attribute of the detected object by the HMM, and store the generated motion pattern model in the motion pattern model storage unit 12.
  • the motion pattern model generation unit 11 can generate a motion pattern model using the first to fourth feature amount data.
  • the recognition processing unit 13 also detects the detected object based on the infrared detection result of the detected object operating within the detection range 20 of the infrared detection unit 10 and the operation pattern model stored in the operation pattern model storage unit 12. It is possible to recognize the motion pattern and its attributes.
  • the infrared detecting section 10 shown in FIG. 1 corresponds to the thermal radiation detecting means according to any one of claims 1, 10 and 11, and the operation pattern model generating section 11
  • the operation pattern model storage means 12 corresponds to the operation pattern model generation means described in 3
  • the recognition processing section 13 corresponds to the operation pattern model storage means described in any one of claims 1, 2, and 10. Corresponds to the information recognition means described in claim 1 or 10.
  • FIG. 14 is a diagram illustrating a recognition result of an operation direction in a third embodiment.
  • an HMM having seven internal states is generated using the same feature parameters as in the second embodiment.
  • an HMM is generated by using data obtained by performing the above-mentioned operations (1)-(8) in the eight directions five times by 17 persons A to Q, each of which is to be detected.
  • the attribute of the detected object is ignored, and the generation of the motion pattern model in each direction is repeated five times for 17 directions in each direction. All trial data (85 of 17 people x 5) were used.
  • an HMM dedicated to each object is generated using five pieces of data for each attribute in generating a motion pattern model in each direction.
  • an HMM corresponding to each direction motion of an unspecified number of detected objects is generated using all the data of each of the 17 persons in each direction.
  • the information recognition apparatus 1 a result of performing a process of recognizing a motion direction by passing the detection target A to Q through the detection range 20 using the generated motion pattern model is described.
  • the average recognition rate is 90.3% when the same line error is considered, and 97.0% when the same line error is ignored.
  • the line alignment error when the line alignment error is considered, it is 73.7%, and when the line alignment error is ignored, it is 88.7%.
  • the introduction of the third and fourth parameters described in the second embodiment significantly increased the recognition rate compared with the recognition result shown in FIG. 7 in the first embodiment. I can say.
  • FIGS. 12A and 12B are diagrams showing recognition results of the operation direction in the fourth embodiment.
  • an HMM having seven internal states is generated using the same feature parameters as those in the second embodiment.
  • the HMM is used by using data obtained from three persons A to C, who also selected the 17 subjects A to Q of the detected objects A to Q, who performed the above (1) -one (8) in eight directions 50 times each. Generate In this embodiment, an HMM for each operation pattern is generated.
  • the motion direction of the detected objects A to C by passing through the detection range 20 is determined.
  • the average recognition rate of A is 96.3%
  • the average recognition rate of B is 93.5%
  • the average recognition rate of C is , 90.5%
  • their average recognition rate was 93.4%.
  • the recognition rate is as high as 90% or more on average, and it is understood that the present invention is effective even if the identification of each individual is added to the identification of each movement direction.
  • the average recognition rate of A was 96.
  • the average recognition rate for B was 97.8%
  • the average recognition rate for C was 96.8%
  • these average recognition rates were 96.8%.
  • the present invention can be said to be powerful and effective for personal identification.
  • the heights and weights of the detected objects A to C are A “165 cm, 64 kg”, B “177 cm, 68 kg”, and C “182 cm, 68 kg”. It is thought that there is a difference between individuals depending on the body type and walking style.
  • FIG. 13 and FIG. 14 are diagrams showing a third embodiment of the information recognition device according to the present invention.
  • the information recognition device 1 in the first and second embodiments is stored in the feature pattern data for the recognition target operation and in the operation pattern model storage unit 12.
  • the feature data used when generating the motion pattern model is This is a configuration that can be displayed as coordinate points in space. In this case, for example, a two-dimensional projection unit and an information display unit are added to the information recognition device 1 shown in FIG. 1 in the first and second embodiments.
  • the two-dimensional projection unit includes feature amount data (hereinafter, referred to as first feature amount data) at the time of generating the motion pattern model and feature amount data (hereinafter, referred to as first feature amount data) obtained from the infrared detection unit 10.
  • first feature amount data feature amount data
  • second feature data the mathematical distance between the first feature data and the mathematical distance between the first feature data and the second feature data. Things.
  • the Brooke distance between the respective feature data is calculated.
  • the feature data has multi-dimensional (four or more) information.
  • the two-dimensional projection unit uses the well-known Sammon method (Jon W. Sammon, JR , A Nonlinear Mapping for Data Structure Analysis, IEEE Trans. Transformers, see Vol. C-18, No. 5, May 1969) to project multidimensional information into two-dimensional information.
  • Sammon method Jon W. Sammon, JR , A Nonlinear Mapping for Data Structure Analysis, IEEE Trans. Transformers, see Vol. C-18, No. 5, May 1969
  • the information display unit has a function of displaying information of the projection result of the two-dimensional projection unit.
  • FIG. 13 is a diagram illustrating a display example of feature amount data that has been two-dimensionally projected.
  • the first feature amount data the data of each of the five trials for each of the A to Q individuals in the first embodiment with respect to the above (1)-(8) behavior pattern is used. Used. Therefore, five feature data (coordinate points of the same shape in FIG. 9) are two-dimensionally projected and displayed for each of A to Q for a certain action pattern.
  • the two-dimensional projection unit first calculates the mathematical distance between the first feature data with respect to the behavior pattern of the five trials A to Q described above (calculated for each trial), and illustrates this. Not stored in the data storage unit. Then, when the signal processing result (second feature data) is obtained from the infrared detector 10, based on this feature data and the feature data for the five trials A to Q, the second feature data and Calculate the mathematical distance from the first feature data. Further, a mathematical distance between the first feature data with respect to A—Q stored in the data storage unit is read, and a mathematical distance between the first feature data and the second feature data is calculated. Using the Sammon method described above, each feature data is two-dimensionally projected while maintaining these mathematical distance relationships. Here, the coordinate information generated by the two-dimensional projection is input to the information display unit.
  • the information display unit displays the acquired coordinate information as coordinate points having different shapes for each attribute, as shown in FIG.
  • 40 in FIG. 9 is the coordinates of the second feature data, and the relationship between the shape of each coordinate point and A—Q is shown in the frame of 41 in FIG.
  • the second feature data star-shaped coordinate points
  • the detection result is closest to the attribute A even when viewing the display contents of the coordinate points by the two-dimensional projection. That is, it is possible for an operator or the like to recognize or predict the attribute (in this case, A) of the recognition target that crosses the detection range 20 by looking at the display contents of the coordinate points.
  • FIG. 14 is a flowchart showing the operation processing of the two-dimensional projection unit.
  • step S400 the process proceeds to step S400, and it is determined whether or not the signal processing result of the infrared detection unit 10 has been acquired. If it is determined that the result has been acquired (Yes), the process proceeds to step S402. If not, move to step S410.
  • step S402 the feature amount data is The process proceeds to step S404. That is, the motion pattern model storage unit 12 stores the first feature amount data.
  • step S404 a mathematical distance between the two is calculated based on the read characteristic amount data and the characteristic amount data as a result of the signal processing, and the process proceeds to step S406.
  • step S406 based on the mathematical distance between the feature data stored in advance in the data storage unit and the calculated mathematical distance, the feature data is obtained using the Sammon method. Perform a process of two-dimensional projection while maintaining the mathematical distance relationship!
  • step S408 information about the projection result is input to the information display unit, and the flow advances to step S400.
  • step S410 without acquiring the signal processing result in step S400, it is determined whether or not the first feature amount data has been acquired. If it is determined that the first feature amount data has been acquired (Yes), the process proceeds to step S410. The process moves to S412, and if not! /, If (No), the process moves to step S400. When the process proceeds to step S412, a mathematical distance between the feature data is calculated, and the process proceeds to step S414.
  • step S414 the calculated mathematical distance is stored in the data storage unit, and the flow advances to step S400.
  • the display processing of the two-dimensional coordinates by the two-dimensional projection unit and the information display unit in the text corresponds to the feature data display unit and the detection result display unit.
  • FIG. 15 and FIG. 16 are diagrams showing a fourth embodiment of the information recognition apparatus according to the present invention.
  • This embodiment is an embodiment of an alarm system including the information recognition device 1 in the first and second embodiments.
  • the information recognition device 1 whether a person or another moving object is used.
  • This is an embodiment of a system that performs a process of recognizing an object and issues an alarm when it is determined from the result of the recognition that the person who has entered the detection range of the sensor is a person. That is, the application system using the recognition result of the information recognition device 1 in the first and second embodiments described above. Stem. Therefore, the same parts as those in the first and second embodiments are denoted by the same reference numerals, and description thereof will be omitted. Only different parts will be described.
  • FIG. 15 is a block diagram showing the configuration of the alarm system according to the fourth embodiment of the present invention.
  • the alarm system 2 includes an information recognition device 1, an alarm control unit 50 for controlling alarm generation based on the recognition result from the information recognition device 1, and an alarm command from the alarm control unit 50. And a notifying unit 52 for notifying the system user of the contents of the alarm in response to a notification command from the alarm control unit 50.
  • the motion pattern model storage unit 12 stores a motion pattern model generated for a human motion pattern and a motion pattern model generated for a non-human animal such as a dog or cat. And remember! /
  • the recognition processing unit 13 detects a detection target existing within the detection range of the pyroelectric infrared sensor 10a based on the storage content of the operation pattern model storage unit 12 and the feature amount data of the infrared detection result obtained also from the infrared detection unit 10. It has a function of recognizing body movement pattern information and attribute information, and a function of transmitting the recognition result to the alert control unit 20.
  • the feature data is compared with the motion pattern model stored in the motion pattern model storage unit 12 to recognize whether or not the detected object is human-powered.
  • the alarm control unit 50 determines whether or not the detected object is a human power, and when it is determined that the detected object is a human, Has a function of transmitting an instruction to cause the alarm unit 51 to issue an alarm and transmitting an instruction to notify the system user of the contents of the alarm (for example, intrusion of a person into the building) to the notification unit 52. I have. On the other hand, if the alarm control unit 50 determines that the detected object is other than a person, the alarm instruction and the notification instruction are not transmitted to the alarm unit 51 and the notification unit 52. Will not be notified.
  • the recognition result "person, person, other than person ⁇ other than person, person, person ⁇ other than person ⁇ person, person, person, person, person, person, person, person, person, person, for example, when the recognition of a person is repeated a predetermined number of times (for example, three times or more), it is determined that the detected object is a person. It is possible to reduce the error of the result.
  • the alarm unit 51 has a function of outputting a predetermined alarm sound together with the sound of the alarm message from a speaker (not shown) in response to an alarm command from the alarm control unit 50.
  • the notifying unit 52 has a function of notifying the system user of the contents of the warning via a network (not shown) in response to a notification command from the alert control unit 50.
  • the alarm system 2 apart from the information recognizing device 1, the alarm system 2 includes a processor (not shown), a RAM (Random Access Memory), and a storage medium storing a dedicated program.
  • the processor controls each of the above units by executing a dedicated program by the processor.
  • the storage medium includes semiconductor storage media such as RAM and ROM, magnetic storage media such as FD and HD, optical reading storage media such as CD, CDV, LD and DVD, and magnetic storage Z such as MO. It is an optically readable storage medium, and includes any storage medium that can be read by a computer, regardless of an electronic, magnetic, optical, or other reading method.
  • the above-mentioned alarm system 2 installs the pyroelectric infrared sensor 10a provided in the information recognition device 1 near an entrance of a building such as an art museum or a jewelry store (a route that must pass when entering the building). Then, the information recognizing device 1 recognizes whether the person (detected body) has entered the building, whether a person or a person, and based on the recognition result, furthermore, the alarm control unit 50 further detects the detected object. It is determined whether or not the detected object is a person. If it is determined that the detected object is a person, an alarm is issued in the alarm unit 51, and the notification unit 52 notifies the system user of the contents of the alarm.
  • a "person” such as a thief invades the building, it can be recognized as a person, and the warning and warning can be given by the warning of the warning unit 21.
  • a person other than a person such as a dog or a cat, enters a building, it is possible to judge that the person is not a person and not to issue unnecessary warnings or notifications.
  • FIG. 16 is a flowchart showing the operation process of the alarm control unit 50.
  • step 500 the process proceeds to step 500, where it is determined whether or not the recognition result has been received from the recognition processing unit 13. If it is determined that the result has been received (Yes), the process proceeds to step S502. Otherwise (No), the determination process is continued until it is received.
  • step S502 the recognition result received in step S500 is stored in a storage unit (not shown), and the process proceeds to step S504.
  • step S504 it is determined whether a predetermined time has elapsed since the reception of the first recognition result, or whether the number of received recognition results for the same object has exceeded the predetermined reception number. If so (Yes), the process proceeds to step S506; otherwise (No), the process proceeds to step S500.
  • step S 506 a process of determining whether or not the detected object is a person is performed based on the recognition result for the same detected object stored in the storage unit, and the process proceeds to step S 508.
  • the process of determining whether or not human power is performed is performed based on, for example, the number of times of continuous recognition as a “human” as described above.
  • step S508 the process proceeds to step S510 if it is determined that the person is a powerful person as a result of the determination in step S506 (Yes), and to step S512 if not (No).
  • step S 510 a notification instruction is transmitted to the alarm unit 51, and a notification instruction is transmitted to the notification unit 52, and the process proceeds to step S 512.
  • step S512 the recognition result stored in the storage unit is deleted, the determination process ends, and the flow shifts to step S500.
  • the alarm control unit 50 determines whether the detected object is a person, and if it is a person, issues an alarm in the alarm unit 51, and notifies the system user of the contents of the alarm in the notification unit 52. On the other hand, when it is determined that the person is other than a person, the alarm unit 51 does not issue an alarm and the notification unit 52 does not notify the contents of the alarm, thereby providing unnecessary alarm and notification. It is possible to do so.
  • the alarm control section 50 shown in FIG. 15 corresponds to the determining means described in claim 18, and the alarm section 51 and the notifying section 52 correspond to the alarm means described in claim 18.
  • the living body that emits heat radiation other than human beings is the object to be detected.
  • the invention is not limited to this. It is good.
  • the present invention is not limited to this, and it is not limited to the eight directions. Recognition processing of these operation patterns may be performed.
  • the name of the detected object is described as an example of the attribute associated with the motion pattern model.
  • the attributes include gender, age, and height.
  • another element such as weight, weight, etc. may be associated, or a plurality of elements may be arbitrarily combined and associated.
  • multidimensional feature data is projected onto two-dimensional coordinate information.
  • present invention is not limited to this, and multidimensional feature data is converted into three-dimensional data. May be projected onto the coordinate information.
  • the predetermined information of the detection target is recognized based on the detection result of the thermal radiation sensor and a plurality of types of operation pattern models. It is possible to recognize various information such as complex behavior patterns of the detected object and attributes of the detected object.
  • a plurality of Recognition processing can be performed based on a plurality of motion pattern models respectively corresponding to the types of motion patterns and the detection result, and thus it is possible to recognize various types of information on the detected object within the detection range.
  • the information recognition device of the third aspect in addition to the effect of the first or second aspect, it is easy to add a new operation pattern model, and furthermore, according to a given condition. Since the motion pattern model can be generated, it is possible to flexibly cope with a change in the motion pattern model due to a change in the recognition content.
  • a pyroelectric infrared sensor is used as the thermal radiation sensor. It is possible to easily detect a moving object in the inside.
  • a behavior pattern is modeled using an HMM that is a probability model of a time-series signal.
  • the thermal radiation sensor is controlled by the action content, moving speed, size, etc. of the detected object. Since the output changes, it is possible to recognize the action details, the moving speed, the size, etc. of the detected object by generating and preparing an operation pattern model corresponding to these in advance.
  • the motion pattern model may include a plurality of types of detected objects. Therefore, the information recognizing means can recognize the type of the detected object within the detection range.
  • the likelihood between the feature data and the motion pattern model is calculated. Since the predetermined information related to the detected object is recognized based on the detected information, the predetermined information can be easily recognized.
  • the first feature amount data composed of the spectrum of the frame result of the detection result and the spectrum of the frame unit are obtained. Since the likelihood between the second feature value data having the average amplitude value force and the motion pattern model is calculated and the predetermined information relating to the detection target is recognized based on the calculation result, It is possible to improve the recognition accuracy of the predetermined information.
  • the information recognition apparatus of claim 12 as the first feature value data, a value obtained by converting the value of the spectrum in the frame unit into a common logarithmic value is used. Can improve the recognition accuracy of the predetermined information.
  • the first and second feature data are calculated, and the feature indicated by the first feature data of the selected frame and the selected frame are displayed.
  • the predetermined information is recognized using the third feature amount data which is a difference from the feature amount indicated by the first feature amount data of the previous frame, so that the predetermined information can be obtained. It is possible to further improve the recognition accuracy of.
  • the feature indicated by the second feature data of the selected frame and the selected frame are displayed.
  • the predetermined information is recognized using the fourth feature value data, which is a difference force from the feature value indicated by the second feature value data of the frame immediately before the frame, so that the predetermined information is obtained. It is possible to further improve the information recognition accuracy.
  • the effects of any one of claims 1 to 8 are added to the effect, and the detection result is a motion pattern model of a plurality of other detected objects. This makes it possible to visually grasp the feature amount data by comparing it with the feature amount data corresponding to the information, and to visually recognize predetermined information.
  • the information recognition method described in claim 16 is realized by the information recognition device or the like described in claim 1, and the description thereof is omitted because the industrial applicability thereof overlaps.
  • the information recognition program described in claim 17 is a program applicable to the information recognition device described in claim 1, and the description thereof is omitted because its industrial applicability overlaps.
  • the crime prevention system according to claim 18 of the present invention, complicated detection of the detected object is performed. Based on the recognition result of an information recognition device that can recognize various information such as motion patterns and attributes of the detected object, it is possible to distinguish between humans and animals other than humans. When used for security, it is possible to reduce the occurrence of false alarms by determining that animals other than humans enter the building as humans.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Burglar Alarm Systems (AREA)
  • Fire-Detection Mechanisms (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

 検知範囲内に存在する被検知体に対する熱放射線検知手段の出力と、所定のモデル化手法を用いて予め用意した、複数対象の動作パターンにそれぞれ対応する熱放射線センサの出力に応じた動作パターンモデルと、に基づき被検知体に係る所定情報を認識することが可能な情報認識装置、情報認識方法及び情報認識プログラムを提供する。  情報認識装置1を、赤外線検出部10と、動作パターンモデル生成部11と、動作パターンモデル記憶部12と、認識処理部13と、を含んだ構成とし、赤外線検知部10を、焦電型赤外線センサ10aと、信号処理部10bと、を含んだ構成とし、生成した動作パターンモデルは動作内容及び属性情報を対応付けて動作パターンモデル記憶部12に記憶した。そして、赤外線検出部10の出力と動作パターンモデルとに基づき被検知体の情報を認識するようにした。

Description

明 細 書
情報認識装置、情報認識方法、情報認識プログラム及び警報システム 技術分野
[0001] 本発明は、熱放射線センサを用いた情報処理に係り、特に、被検知体に対する熱 放射線センサの出力と、所定のモデルィ匕手法を用いて予め用意された複数対象の 動作パターンにそれぞれ対応する動作パターンモデルと、に基づき被検知体に係る 所定情報を認識することが可能な情報認識装置、情報認識方法及び情報認識プロ グラム、並びに情報認識装置を備えた警報システムに関する。
背景技術
[0002] 従来、焦電型赤外線センサ等の人体検知手段を利用して人体の移動方向を判別 する技術として、特許文献 1の人体移動方向判別装置がある。
これは、複数の人体検知範囲を有する 2つの人体検知手段のうちの一方が複数の 人体検知範囲で連続して人体を検出したときには、人体移動方向判別手段により 2 つの人体検出手段のうちどちらが人体を検知したかによつて人体の移動方向を判別 し、この判別出力を受けて報知手段により判別した人体移動方向に応じた報知をす る。更に、 2つの人体検知手段のうち一方が複数の人体検知範囲で連続して人体を 検知した際には、第 1の検知制御手段により他方の人体検知手段の検出出力を一 定時間無効にし、 2つの人体検知手段のうち一方が複数の人体検知範囲のうちの 1 つの人体検知範囲でのみ人体を検出した際には、第 2の検知制御手段により他方の 人体検知手段の検知出力を無効にする。これにより、人体検知範囲において検知さ れた人体の、迅速且つ正確な移動方向の報知が可能となる。
[0003] また、従来、人体を検知可能なセンサによって、警備対象の建物内に人が侵入した ことを検知し、当該検知結果を警備員に通知するような防犯システムがある。このよう な防犯システムにお ヽては、通知を受けた警備員が現場に急行する等の対処を行う ことが多い。
特許文献 1:特許 2766820号公報
[0004] し力しながら、上記特許文献 1の従来技術においては、検知範囲内において、 2つ の人体検知手段が人体を検知したか否かのみに基づき判断処理等の各処理が行わ れるため、人体の移動方向のように単純な行動内容の判断を行うことしかできない。 また、人体検知手段と称して 、るように検知対象を人体のみに限定して 、るため、 猫や犬などの動物が横切った場合にも動作してしまう恐れがあると共に、建物内など への動物等の侵入といったように被検知体の種類や人以外の行動までもを判断する ことはできない。このことは、上記従来の防犯システムにおいても言えることで、人体 検知用のセンサが、人と、猫や犬などの動物との判別がつかず、動物が建物内に侵 入した場合でも人が侵入したと判別して警備員に対し誤った通知を行うため、動物の 侵入に対して警備員が現場に急行するといつたような無駄な労力が生じる問題があ る。
[0005] 一方、本発明者らは、焦電型赤外線センサを用いて、当該センサの検知範囲内に おいて同一の行動を行う多数の被検知体の放出する熱放射線を検出した結果、被 検知体の種類毎 (人、動物、性別等)、同じ被検知体における各個人毎 (例えば、人 間なら、 Aさん、 Bさん等)などにおいて、焦電型赤外線センサの出力に個体差がある ことを見つけ出した。
そこで、本発明は、上記した従来の技術の有する未解決の課題、且つ、上記した焦 電型赤外線センサの出力特性に着目してなされたものであって、検知範囲内に存在 する被検知体に対する熱放射線検知手段の出力と、所定のモデル化手法を用いて 予め用意した、複数対象の動作パターンにそれぞれ対応する熱放射線センサの出 力に応じた動作パターンモデルと、に基づき被検知体に係る所定情報を認識するこ とが可能な情報認識装置、情報認識方法及び情報認識プログラム、並びに情報認 識装置を備えた防犯システムを提供することを目的として!ヽる。
発明の開示
[0006] 上記目的を達成するために、本発明に係る請求項 1記載の情報認識装置は、検知 範囲内に存在する被検知体から放出される熱放射線を、熱放射線センサによって検 知する熱放射線検知手段と、
被検知体の動作パターンに応じた前記熱放射線センサの出力を、所定のモデル化 手法に従って予めモデルィ匕してなる動作パターンモデルを記憶する動作パターンモ デル記憶手段と、
前記熱放射線検知手段の検知結果と、前記動作パターンモデル記憶手段に記憶 された前記動作パターンモデルとに基づき、前記検知範囲内に存在する前記被検 知体に係る所定情報を認識する情報認識手段と、を備えることを特徴として!、る。
[0007] このような構成であれば、熱放射線検知手段によって、検知範囲内に存在する被 検知体から放出される熱放射線を、熱放射線センサによって検出することが可能で あり、動作パターンモデル記憶手段によって、被検知体の動作パターンに応じた前 記熱放射線センサの出力を、所定のモデルィ匕手法に従って予めモデルィ匕してなる 動作パターンモデルを記憶することが可能であり、情報認識手段によって、前記熱放 射線検知手段の検知結果と、前記動作パターンモデル記憶手段に記憶された前記 動作パターンモデルとに基づき、前記検知範囲内に存在する前記被検知体に係る 所定情報を認識することが可能である。
[0008] 従って、熱放射線センサの検知結果と動作パターンモデルとに基づき被検知体の 所定情報を認識するようにしたので、被検知体の複雑な行動パターン、被検知体の 属性などの様々な情報の認識が可能となる。
ここで、被検知体とは、熱放射線を放出するものであれば、人、人以外の動物や虫 等の生き物、無生物等何でも含まれるものである。
[0009] また、熱放射線センサとは、被検知体力も放出される熱を検知するものならどのよう なものであっても良ぐ例えば、被検知体から放出される赤外線を検知する赤外線セ ンサであれば、光起電力効果又は光導電効果を利用した量子型センサ、あるいは、 熱起電力効果、焦電効果又は熱導電効果を利用した熱型センサなどがある。
また、所定のモデル化手法は、例えば、公知の HMMや-ユーラルネットワーク等 のモデル化手法がある。
[0010] また、被検知体に係る所定情報とは、検知範囲内における被検知体の動作内容や
、被検知体の属性 (性別、動物、虫など)等の情報である。
また、請求項 2に係る発明は、請求項 1記載の情報認識装置において、前記動作 ノターンモデル記憶手段には、複数種類の動作パターンにそれぞれ応じた複数の 動作パターンモデルを記憶することを特徴としている。 [0011] つまり、複数種類の動作パターンにそれぞれ応じた複数の動作パターンモデルと 検知結果とに基づき認識処理を行うことができるので、検知範囲内の被検知体の様 々な情報を認識することが可能となる。
また、請求項 3に係る発明は、請求項 1又は請求項 2記載の情報認識装置におい て、前記熱放射線センサの出力に基づき前記被検知体の前記動作パターンモデル を前記所定のモデルィ匕手法により生成する動作パターンモデル生成手段を備えるこ とを特徴としている。
[0012] つまり、動作パターンモデル生成手段によって、熱放射線センサの出力に基づき前 記被検知体の前記動作パターンモデルを前記所定のモデル化手法により生成する ことが可能である。
従って、新規動作パターンモデルの追加が容易であり、また、与えられた条件に応 じて動作パターンモデルを生成することができるので、認識内容の変更等による動作 ノ ターンモデルの変更等において柔軟な対応が可能である。
[0013] また、請求項 4に係る発明は、請求項 1乃至請求項 3のいずれ力 1項に記載の情報 認識装置において、前記熱放射線センサは、熱型センサであることを特徴としている つまり、熱放射線センサが、サーモパイル等を使用した熱起電力効果を利用したセ ンサ、 PZT (ジルコン酸チタン酸鉛)、 LiTa03 (タンタル酸リチウム)等を使用した焦 電効果を利用したセンサ、サーミスタ、ポロメータ等を使用した熱電対効果を利用し たセンサ等の熱型センサによって構成されて 、る。
[0014] また、請求項 5に係る発明は、請求項 1乃至請求項 3のいずれ力 1項に記載の情報 認識装置において、前記熱放射線センサは、量子型センサであることを特徴としてい る。
つまり、熱放射線センサが、フォトダイオード、フォトトランジスタ、フォト IC、太陽電 池等を使用した光起電力効果を利用したセンサ、 CdSセル、 CdSeセル、 PdSセル 等を使用した光導電効果を利用したセンサ、光電管、光電子倍増管等を使用した光 電子放出効果を利用したセンサ等の量子型センサによって構成されている。
[0015] また、請求項 6に係る発明は、請求項 4に記載の情報認識装置において、前記熱 型センサは、焦電効果を利用して前記被検知体力 放出される赤外線を検知する焦 電型赤外線センサであることを特徴として 、る。
つまり、熱放射線センサとして焦電型赤外線センサを用いるようにしたので、検知範 囲内における移動体の検知を容易に行うことが可能である。
[0016] また、請求項 7に係る発明は、請求項 1乃至請求項 6のいずれ力 1項に記載の情報 認識装置において、前記所定のモデル化手法は、 HMM (Hidden Markov Model)で あることを特徴としている。
つまり、時系列信号の確率モデルである HMMを用いて動作パターンをモデル化 することにより、非定常な時系列信号であっても容易にモデルィ匕することが可能とな るので、被検知体の動作パターンを的確にモデルィ匕することが可能である。
[0017] また、請求項 8に係る発明は、請求項 1乃至請求項 7のいずれ力 1項に記載の情報 認識装置において、前記所定情報は、前記被検知体の行動内容、前記被検知体の 移動速度及び前記被検知体の大きさのうち少なくとも 1つを含むことを特徴としている つまり、被検知体の行動内容、移動速度、大きさ等により熱放射線センサの出力は 変化するので、これらに対応する動作パターンモデルを予め生成して用意しておくこ とにより、被検知体の行動内容、移動速度、大きさ等を認識することが可能となる。
[0018] ここで、被検知体の行動内容とは、被検知体が人であれば、例えば、ある方向への 移動、手や足などの体の一部分の動作 (ジェスチャー等)などである。
また、大きさとは、被検知体の高さ、幅、長さ、表面積、体積等に対する大きさであり 、これは被検知体全体に対するものに限らず、被検知体の一部に対しての大きさも 含むものとする。
[0019] また、請求項 9に係る発明は、請求項 1乃至請求項 8のいずれ力 1項に記載の情報 認識装置において、前記所定情報は、前記被検知体の属性情報を含むことを特徴と している。
つまり、情報認識手段は、検知範囲内の被検知体の属性情報を認識することが可 能となる。
ここで、属性情報とは、例えば、大局的には、人、人以外の動物(ほ乳類)、虫等の 熱を放射する生物、車、バイク、カーテン、太陽光、ライト、エアコン等による温風や冷 風などの熱を放射する無生物などの種類の情報となる。
[0020] また、カーテンのゆれ、木の枝や葉のゆれなどの熱を放射しな!、無生物の種類の 情報も属性情報に含む。このような熱を放射しない無生物の所定情報の認識は、熱 を放射するものとの組み合わせで行うことが可能である。例えば、カーテンを境に一 方の側に熱放射線センサがあり、他方の側に熱源があるような場合に、熱源がカーテ ンに覆われて 、るときは熱源力も放射される熱はセンサに検知されず、カーテンがゆ れて熱源が晒されたときは熱源カゝら放射される熱がセンサに検知されることを利用す る。このような検知結果と動作パターンとを比較することで、例えば、それがカーテン のゆれであるのか、人が建物内に侵入したのかを判断することが可能となる。
[0021] 一方、局所的には、人であれば、男性、女性、大人、子供等の種類の情報、動物で あれば、犬、猫、ねずみ、鳥等の種類の情報、虫であれば、蝶、蜘蛛、ノッタ、力ブト ムシ、クヮガタ等の種類の情報、更に、これら各種類に対する個有情報となる。更に、 人以外の生物についても、その種類の中で上記した人と同様の種類分けをしても良 い。
なお、属性情報を、個有情報とした場合は、人間なら個人の識別、虫や動物なら個 体の識別が可能となる。
[0022] また、請求項 10に係る発明は、請求項 1乃至請求項 9のいずれか 1項に記載の情 報認識装置において、前記情報認識手段は、前記熱放射線検知手段の検知結果 から特徴量データを抽出し、当該特徴量データと前記動作パターンモデル記憶手段 に記憶された前記動作パターンモデルとに基づき、前記特徴量データと前記動作パ ターンモデルとの尤度を算出し、当該算出された尤度に基づき前記被検知体に係る 所定情報を認識するようになって 、ることを特徴として 、る。
[0023] つまり、特徴量データと前記動作パターンモデルとの尤度を算出して、これに基づ き被検知体に係る所定情報を認識するようにしたので、所定情報の簡易な認識が可 能となる。
また、請求項 11に係る発明は、請求項 10記載の情報認識装置において、前記特 徴量データは、前記熱放射線検知手段の検知結果のフレーム単位のスペクトルから なる第 1の特徴量データと、前記フレーム単位のスペクトルの平均振幅値からなる第 2の特徴量データとを含むことを特徴として 、る。
[0024] つまり、検知結果のフレーム単位のスペクトル力 なる第 1の特徴量データと、この フレーム単位のスペクトルの平均振幅値からなる第 2の特徴量データとに対し、これら と前記動作パターンモデルとの尤度を算出し、当該算出結果に基づき被検知体に係 る所定情報を認識するようにしたので、所定情報の認識精度を向上することが可能と なる。
また、請求項 12に係る発明は、請求項 11記載の情報認識装置において、前記第 1 の特徴量データは、前記スペクトルの値を常用対数値に変換したものであることを特 徴としている。
[0025] つまり、第 1の特徴量データとして、前記フレーム単位のスペクトルの値を常用対数 値に変換したものを用いるようにしたので、スペクトルの値が 1未満であれば、その分 散範囲が広がるようになり、 1以上であればその分散範囲が狭まるようになる。これに より、条件によっては、所定情報の認識精度をより向上することが可能となる。
また、請求項 13に係る発明は、請求項 11又は請求項 12記載の情報認識装置に おいて、前記特徴量データは、選択したフレームの前記第 1の特徴量データの示す 特徴量と、前記選択したフレームの 1つ前のフレームの前記第 1の特徴量データの示 す特徴量との差分力 なる第 3の特徴量データを更に含むことを特徴としている。
[0026] つまり、第 1及び第 2の特徴量データに加え、選択したフレームの前記第 1の特徴 量データの示す特徴量と、当該選択したフレームの 1つ前のフレームの前記第 1の特 徴量データの示す特徴量との差分力 なる第 3の特徴量データを用いて、所定情報 の認識を行うようにしたので、これにより、所定情報の認識精度をより向上することが 可能となる。
また、請求項 14に係る発明は、請求項 13記載の情報認識装置において、前記特 徴量データは、選択したフレームの前記第 2の特徴量データの示す特徴量と、当該 選択したフレームの 1つ前のフレームの前記第 2の特徴量データの示す特徴量との 差分力 なる第 4の特徴量データを更に含むことを特徴としている。
[0027] つまり、第 1一第 3の特徴量データに加え、選択したフレームの前記第 2の特徴量 データの示す特徴量と、当該選択したフレームの 1つ前のフレームの前記第 2の特徴 量データの示す特徴量との差分からなる第 4の特徴量データを用いて、所定情報の 認識を行うようにしたので、これにより、所定情報の認識精度をより向上することが可 能となる。
また、請求項 15に係る発明は、請求項 1乃至請求項 14のいずれか 1項に記載の情 報認識装置において、前記動作パターンモデルが、 4次元以上の高次元の前記特 徴量データ力 成るときに、
前記動作パターンモデル記憶手段に記憶された各動作パターンモデルに対応す る前記特徴量データを、 2次元又は 3次元空間上の座標点として表示する特徴量デ ータ表示手段と、
前記特徴量データの座標点が表示された空間上に、前記熱放射線検知手段の検 知結果に対応する座標点を表示する検知結果表示手段と、を備えることを特徴とし ている。
[0028] つまり、前記動作パターンモデルが、 4次元以上の高次元の特徴量データから成る ときに、特徴量データ表示手段によって、前記動作パターンモデル記憶手段に記憶 された各動作パターンモデルに対応する特徴量データを、 2次元又は 3次元空間上 の座標点として表示することが可能であり、検知結果表示手段によって、前記特徴量 データの座標点が表示された空間上に、前記熱放射線検知手段の検知結果に対応 する座標点を表示することが可能である。
[0029] 従って、検知結果を他の複数の被検知体の動作パターンに対応する特徴量データ と対比させて視覚的に捉えることが可能となり、視覚による所定情報の認識等が可能 となる。
また、本発明に係る請求項 16記載の情報認識方法は、検知範囲内に存在する被 検知体から放出される熱放射線を、熱放射線センサによって検知し、
複数の被検知体の複数種類の動作パターンにそれぞれ応じた前記熱放射線セン サの出力を、所定のモデルィ匕手法に従って予めモデルィ匕してなる動作パターンモデ ルを用意し、
前記熱放射線センサの検知結果と、前記動作パターンモデルとに基づき、前記検 知範囲内に存在する前記被検知体に係る所定情報を認識することを特徴としている
[0030] ここで、本発明は、請求項 1記載の情報認識装置等により実現することが可能であ り、その効果は重複するので記載を省略する。
また、本発明に係る請求項 17記載の情報認識プログラムは、検知範囲内に存在す る被検知体から放出される熱放射線を、熱放射線センサによって検知する熱放射線 検知ステップと、
複数の被検知体の複数種類の動作パターンにそれぞれ応じた前記熱放射線セン サの出力を、所定のモデルィ匕手法に従って予めモデルィ匕してなる動作パターンモデ ルを記憶する動作パターンモデル記憶ステップと、
前記熱放射線検知ステップによる検知結果と、前記動作パターンモデル記憶ステツ プにおいて記憶された前記動作パターンモデルとに基づき、前記検知範囲内に存 在する前記被検知体に係る所定情報を認識する情報認識ステップと、を備えることを 特徴としている。
[0031] ここで、本発明は、請求項 1記載の情報認識装置に適用可能なプログラムであり、 その効果は重複するので記載を省略する。
一方、上記目的を達成するために、請求項 18記載の警報システムは、請求項 1乃 至請求項 15のいずれか 1項に記載の情報認識装置と、
前記情報認識装置の認識結果に基づき、前記被検知体が人力ゝ否かを判断する判 断手段と、
前記判断手段によって、前記被検知体が人であると判定されたときに、警報を発す る警報手段と、を備えることを特徴としている。
[0032] このような構成であれば、判断手段によって、情報認識装置の認識結果に基づき、 前記被検知体が人力ゝ否かを判断することが可能であり、警報手段によって、被検知 体が人であると判断されたときに、警報を発することが可能である。
従って、被検知体の複雑な行動パターン、被検知体の属性などの様々な情報の認 識が可能な情報認識装置の認識結果に基づき、人と人以外の動物等との判別が可 能となるので、本システムを、建物の警備に利用した場合に、建物内への人以外の 動物等の侵入を人の侵入と判断して誤った警報を発することを低減することが可能と なる。
[0033] ここで、上記「警報を発する」とは、音声による警告メッセージをスピーカ等力 流し たり、ブザー音等の特異音を連続してスピーカから流したりするなど、侵入者に対し て発する威嚇や警告としての警報と、建物内への人の侵入を音声や画面表示などで システム利用者に対して直接通知する、危険に対するシステム利用者への警報とを 含む。なお、侵入者に対する警報と、システム利用者に対する警報とは、これら両方 を含む構成、どちらか一方を含む構成のいずれでも良い。
図面の簡単な説明
[0034] [図 1]本発明に係る情報認識装置の構成を示すブロック図である。
[図 2] (a)は、情報認識装置 1の設置位置を示す図であり、 (b)は、焦電型赤外線セン サ 10aの検知範囲を示す図であり、(c)は、検知対象の動作パターンを示す図である
[図 3]焦電型赤外線センサ 10aの出力波形と動作パターンモデルとの関係を示す図 である。
[図 4]赤外線検出部 10の動作処理を示すフローチャートである。
[図 5]動作パターンモデル生成部 11の動作処理を示すフローチャートである。
[図 6]認識処理部 13の動作処理を示すフローチャートである。
[図 7]実施例における動作方向の認識結果を示す図である。
[図 8]検知範囲 20を小さな範囲に細力べ区分した一例を示す図である。
[図 9] (a)及び (b)は、識別の際に被検知体とした犬の情報を示す図である。
[図 10] (a)は、人 (大人及び子供を区別)と犬 (大型犬及び小型犬とを区別)との認識 結果を示す図であり、(b)は、人 (大人及び子供の区別なし)と犬 (大型犬及び小型 犬の区別なし)との認識結果を示す図である。
[図 11]第 3の実施例における動作方向の認識結果を示す図である。
[図 12] (a)及び (b)は、第 4の実施例における動作方向の認識結果を示す図である。
[図 13]二次元射影した動作パターンモデルの表示例を示す図である。
[図 14]二次元射影部 14の動作処理を示すフローチャートである。 [図 15]本発明の第 4の実施の形態に係る警報システムの構成を示すブロック図であ る。
[図 16]発報制御部 50の動作処理を示すフローチャートである。
発明を実施するための最良の形態
[0035] 〔第 1の実施の形態〕
以下、本発明の第 1の実施の形態を図面に基づき説明する。図 1一図 6は、本発明 に係る情報認識装置の第 1の実施の形態を示す図である。
まず、本発明の第 1の実施の形態に係る情報認識装置の構成を図 1に基づき説明 する。図 1は、本発明の第 1の実施の形態に係る情報認識装置の構成を示すブロック 図である。
[0036] 図 1に示されるように、情報認識装置 1は、赤外線検出部 10と、動作パターンモデ ル生成部 11と、動作パターンモデル記憶部 12と、認識処理部 13と、を含んだ構成と なっている。
赤外線検知部 10は、焦電型赤外線センサ 10aと、信号処理部 10bと、を含んだ構 成となっている。
[0037] 焦電型赤外線センサ 10aは、焦電効果を利用して検知範囲内に存在する被検知 体力も放出される赤外線を検知することが可能なセンサである。
信号処理部 10bは、焦電型赤外線センサ 10aから出力される検知結果のアナログ 信号に対して、サンプリング、 FFT (Fast Fourie Transform)などの信号処理を行い、 検知結果の特徴量データを算出する機能を有したものである。
[0038] 動作パターンモデル生成部 11は、赤外線検知部 10から取得した特徴量データを HMMを用いてモデルィ匕して動作パターンモデルを生成する機能を有したものであ る。
動作パターンモデル記憶部 12は、上記生成された動作パターンモデルを記憶する 機能を有したものである。
認識処理部 13は、動作パターンモデル記憶部 12の記憶内容と、赤外線検知部 10 力も取得した赤外線検知結果の特徴量データとに基づき、焦電型赤外線センサ 10a の検知範囲内に存在する被検知体の動作パターン情報及び属性情報を認識する機 能を有したものである。
[0039] ここで、本実施の形態において、情報認識装置 1は、図示しないプロセッサと、 RA M (Random Access Memory)と、専用のプログラムの記憶された記憶媒体と、を備え ており、プロセッサにより専用のプログラムを実行することにより上記各部の制御を行 また、記憶媒体とは、 RAM, ROM等の半導体記憶媒体、 FD、 HD等の磁気記憶 型記憶媒体、 CD、 CDV、 LD、 DVD等の光学的読取方式記憶媒体、 MO等の磁気 記憶型 Z光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取 り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あ らゆる記憶媒体を含むものである。
[0040] 更に、図 2—図 5に基づき、情報認識装置 1のより具体的な動作を説明する。図 2 (a )は、情報認識装置 1の設置位置を示す図であり、 (b)は、焦電型赤外線センサ 10a の検知範囲を示す図であり、(c)は、検知対象の動作パターンを示す図であり、図 3 は、焦電型赤外線センサ 10aの出力波形と動作パターンモデルとの関係を示す図で ある。
まず、図 2 (a)に示すように、情報認識装置 1は、その構成要素である焦電型赤外 線センサ 10aを室内等の天井に取り付け、その検知範囲 20内を通過する被検知体 力も放出される赤外線を検知するように設置されている。そして、検知範囲内を通る 被検知体から検知した赤外線の検知結果から、その被検知体の動作パターン及び 属性を認識するようになって!/、る。
[0041] 更に、本実施の形態において、焦電型赤外線センサ 10aは、 4つの焦電素子を 16 面のフレネルレンズで投影して検知範囲を拡大するものを使用しており、その検知範 囲 20は、図 2 (b)に示すように、横方向の軸を X軸とし縦方向の軸^ y軸として、 X方向 に約 6m、 y方向に約 7mの範囲となる。つまり、図 2 (b)に示すように、前記した範囲 内にある複数の検出ゾーンのいずれかを通過する被検知体からの赤外線を検知す ることがでさる。
[0042] 更に、本実施の形態においては、被検知体の動作パターンとして、図 2 (c)に示す ように(1)一(8)の各方向に、被検知体が検知範囲 20を当該検知範囲 20の外から 歩!、て通過したときのものを考える。
ここで、本実施の形態においては、予め複数の被検知体 (本実施の形態では人間) に上記した 8つの動作パターンの行動をしてもらい(例えば、各行動を同じ人に 5回 ずつしてもらう)、これら動作パターンの行動力も得られる焦電型赤外線センサ 10aか らの検知結果を、信号処理部 10bにおいて信号処理して特徴量データを算出し、動 作パターンモデル生成部 12によって、各動作パターンに対応した特徴量データを H MMによりモデル化する。
[0043] また、本実施の形態においては、信号処理部 10bにおいて、図 3に示すように、焦 電型赤外線センサ 10aからのデータ時間長 10 [s]のアナログの出力信号 30を、 100 [ms]間隔でサンプリングし、更に、これらサンプリングデータに対して AZD変換を行 うことによって当該アナログの出力信号 30をデジタルデータに変換する。そして、こ の 100 [ms]間隔のサンプリングデータを、 1. 6 [s]単位の複数のフレーム 31に分割 する。そして、各フレーム 31単位のサンプリングデータに対して FFTを行い、これら サンプリングデータをフーリエ級数に展開し、各高調波のスペクトル((図 3中のスぺク トル 32)を算出する。なお、各フレーム 31には、それぞれ 16個のサンプリングデータ が対応しており、フレーム間のオーバーラップはサンプリングデータ 12個分とした。ま た、本実施の形態においては、各フレーム 31の上記したスペクトル 32の前半 8つを 第 1の特徴量データとし、更に、各フレーム毎に平均振幅レベルを算出し、これを第 2 の特徴量データとする。
[0044] また、本実施の形態において、動作パターンモデル生成部 11は、赤外線検知部 1 0から、第 1及び第 2の特徴量データを取得し、これら特徴量データを用いて、図 3に 示す、 HMM33を作成する。
ここで、 HMM33は、第 1の特徴量データを第 1のパラメータとし、第 2の特徴量デ 一タを第 2のパラメータとする。そして、内部状態数を S— Sの 5状態とし、各パラメ
1 5 一 タの確率分布としてシングルガウシアンを用いた。更に、 HMM33の学習には各属 性の各動作パターン毎に 5回ずつ行った行動パターンに対するデータを使用し、各 属性毎に各動作パターンのモデルィ匕を行った。なお、 HMMによる学習については 、公知の方法を用いる。 [0045] 本実施の形態においては、被検知体 A— Qまでの 17人の人物について、上記した 8つの動作パターンの行動をそれぞれ 5回ずつ行ってもらい、各被検知体毎に対応 する 8つの動作パターンの動作パターンモデルを生成した。
更に、動作パターンモデル生成部 11にお!、て生成された動作パターンモデルを、 被検知体の属性 (例えば、名前)及び動作パターンの内容と対応付けて、動作バタ ーンモデル記憶部 12に記憶する。
[0046] このようにして、検知対象である複数の被検知体の動作パターンモデルの生成が 完了すると、以降は、認識処理部 13において、赤外線検知部 10からの信号処理結 果に基づき、被検知体の動作パターン及び属性の認識処理が行われる。
例えば、被検知体 Aが、検知範囲 20を、図 2 (c)に示す (6)の方向に歩いて通過し たとする。これにより、焦電型赤外線センサ 10aは、被検知体 Aの赤外線を検知し、 当該検知結果に応じたアナログ信号を出力する。このアナログ信号は、信号処理部 1 Obに入力され、上記した信号処理が行われその処理結果が認識処理部 13に入力さ れる。
[0047] 認識処理部 13では、被検知体 Aの動作に対する上記信号処理結果から上記同様 の特徴量データを抽出し、この特徴量データと、動作パターンモデル記憶部 12に記 憶された動作パターンモデルとに基づき、被検知体 Aの動作パターン及び属性を認 識する。
本実施の形態においては、公知のビタビアルゴリズムを用いて、動作パターンモデ ル記憶部 12に記憶された動作パターンモデルの中から、被検知体 Aの動作に対す る特徴量データ系列 (観測系列とも 、う)を最も高 、確率で生成する状態遷移系列を 有するモデルを検出することで、被検知体 Aの動作パターン及び属性を認識する。 なお、上記したビタビアルゴリズムを用いた検出方法については、公知の方法を用い る。
[0048] 上記したように、ビタビアルゴリズムを利用することにより、最大確率の状態遷移系 列に対応する動作パターンモデルが検出されると、この動作パターンモデルには、上 記したように予め動作パターンの内容及び属性が対応付けられて!/ヽるので、これによ り、検知範囲内を通過した被検知体 Aの動作内容((6)の方向に歩いて通過等)が認 識でき、更に、通過した被検知体が Aであることも認識できる。この認識結果は、例え ば、当該認識結果を表示部に表示する表示処理部や、認識結果を利用して何らか の処理を行うアプリケーションプログラム等の情報処理手段に出力される。
[0049] 更に、図 4に基づき、赤外線検出部 10の動作処理の流れを説明する。図 4は、赤 外線検出部 10の動作処理を示すフローチャートである。
図 4に示すように、まずステップ S 100に移行し、焦電型赤外線センサ 10aにおいて 、センサのアナログ出力信号を信号処理部 10bに入力してステップ S102に移行する
[0050] ステップ S102に移行した場合は、信号処理部 10bにおいて、取得したアナログ出 力信号に対して所定時間間隔 (例えば、 100ms)でサンプリング処理を行 、ステップ S 104に移行する。
ステップ S104では、信号処理部 10bにおいて、サンプリング結果に対して AZD変 換処理を行 、ステップ S 106に移行する。
[0051] ステップ S106では、信号処理部 10bにおいて、サンプリング処理及び AZD変換 処理された焦電型赤外線センサ 10aの出力信号に基づいて、当該出力信号に変化 があった力否かを判定し、変化があつたと判定された場合 (Yes)はステップ S108に移 行し、そうでな!/、場合 (No)はステップ S110に移行する。
ステップ S 108に移行した場合は、信号処理部 10bにおいて、上記 AZD変換され た出力信号を図示しない RAM等力も成る記憶部に保存してステップ S100に移行す る。
[0052] ステップ S110に移行した場合は、信号処理部 10bにおいて、上記記憶部に保存 データがあるカゝ否かを判定し、あると判定された場合 (Yes)はステップ S112に移行し 、そうでな!/、場合 (No)はステップ S 100に移行する。
ステップ S112では、信号処理部 10bにおいて、上記記憶部に保存されたデータに 対して、所定時間単位 (例えば、 1. 6s)でフレーム分割処理を行いステップ S114に 移行する。
[0053] ステップ S114では、信号処理部 10bにおいて、フレーム単位毎に FFTを行い、当 該 FFTの結果力も各高調波のスペクトルを算出し、更に、フレーム単位毎の平均振 幅を算出してステップ S 116に移行する。
ステップ S116では、赤外線検知部 10において、動作モードが動作パターンモデ ルの生成モードであるか否かを判定し、動作パターンモデルの生成モードであると判 定された場合 (Yes)はステップ S 118に移行し、そうでない場合 (No)はステップ S 120 に移行する。
[0054] ここで、本実施の形態にお!、ては、動作パターンモデルの生成モードと、情報認識 モードの 2つのモードが設定可能となっており、動作パターンモデルの生成モードに 設定されている場合は、赤外線検知部 10の信号処理結果を動作パターンモデル生 成部 11に入力し、一方、情報認識モードに設定されている場合は、赤外線検知部 1 0の信号処理結果を、認識処理部 13に入力する。
[0055] ステップ S 118に移行した場合は、赤外線検知部 10において、上記信号処理結果 を動作パターンモデル生成部 11に入力してステップ S 100に移行する。
一方、ステップ S120に移行した場合は、赤外線検知部 10において、上記信号処 理結果を認識処理部 13に入力してステップ S 100に移行する。
更に、図 5に基づき、動作パターンモデル生成部 11の動作処理の流れを説明する 。図 5は、動作パターンモデル生成部 11の動作処理を示すフローチャートである。
[0056] 図 5に示すように、まずステップ S 200に移行し、赤外線検知部 10からの信号処理 結果を取得したか否かを判定し、取得したと判定された場合 (Yes)はステップ S202に 移行し、そうでな 、場合 (No)は取得するまで待機する。
ステップ S202では、上記取得した信号処理結果に基づき、 HMMを用いて動作パ ターンモデルを生成してステップ S204に移行する。
[0057] ステップ S204では、生成した動作パターンモデルに動作内容及び属性情報を対 応付けてステップ S 206に移行する。
ステップ S206では、動作内容及び属性情報の対応付けられた動作パターンモデ ルを動作パターンモデル記憶部 12に記憶して処理を終了する。
更に、図 6に基づき、認識処理部 13の動作処理の流れを説明する。図 6は、認識 処理部 13の動作処理を示すフローチャートである。
[0058] 図 6に示すように、まずステップ S 300に移行し、赤外線検知部 10から信号処理結 果を取得したか否かを判定し、取得したと判定された場合 (Yes)はステップ S302に移 行し、そうでない場合 (No)は取得するまで待機する。
ステップ S302では、動作パターンモデル記憶部 12から動作パターンモデルを読 み出しステップ S 304に移行する。
[0059] ステップ S304では、読み出した動作パターンモデルと上記取得した信号処理結果 とに基づき、ビタビアルゴリズムを用いて最大確率となる状態遷移系列を有する動作 パターンモデルを検出してステップ S306に移行する。
ステップ S306では、検出された動作パターンモデルに基づき、認識処理を行いス テツプ S308に移行する。ここで、認識処理とは、上記したように、動作パターンモデ ルに対応付けられた動作内容及び属性情報を読み取ることである。
[0060] ステップ S308では、上記認識結果をアプリケーションプログラム等の情報処理手段 に出力し処理を終了する。
以上、赤外線検知部 10によって検知範囲 20内における複数の被検知体の赤外線 を検知すると共に、検知結果の出力信号を信号処理し、動作パターンモデル生成部
11によって前記信号処理された検知結果力 各被検知体の動作パターン内容及び 被検知体の属性に対応した動作パターンモデルを HMMにより生成し、動作パター ンモデル記憶部 12に記憶することが可能である。
[0061] また、認識処理部 13によって、赤外線検知部 10による検知範囲 20内において動 作する被検知体の赤外線検知結果と、動作パターンモデル記憶部 12に記憶された 動作パターンモデルとに基づき、被検知体の動作パターン及びその属性を認識する ことが可能である。
ここで、図 1に示す、赤外線検知部 10は、請求項 1、 10及び 11のいずれ力 1項に 記載の熱放射線検知手段に対応し、動作パターンモデル生成部 11は、請求項 3記 載の動作パターンモデル生成手段に対応し、動作パターンモデル記憶部 12は、請 求項 1、 2及び 10のいずれか 1項に記載の動作パターンモデル記憶手段に対応し、 認識処理部 13は、請求項 1又は 10記載の情報認識手段に対応する。
[0062] 〔第 1の実施例〕
更に、図 7及び図 8に基づき、上記第 1の実施の形態における情報認識装置 1を、 上記同様の検知範囲 20を被検知体 A— Qが通過した場合の上記(1)一(8)の 8つ の動作方向の認識に適用した第 1の実施例を説明する。ここで、図 7は、第 1の実施 例における動作方向の認識結果を示す図である。また、図 8は、検知範囲 20を小さ な範囲に細かく区分した一例を示す図である。
[0063] 本実施例においては、上記第 1の実施の形態と同様の特徴パラメータを用いて、 5 状態の HMMを生成する。ここでも、被検知体 A— Qの 17名に上記第 1の実施の形 態における(1)一 (8)の 8方向の動作を 5回行ってもらったデータを用いて HMMを 生成する。但し、本実施例では、各動作パターン毎の HMMを生成するときに、被検 知体の属性を無視し、更に、各方向の動作パターンモデルの生成において、 17名の 各方向に対する 5回試行の全データ( 17名 X 5回の 85個)を用いた。
[0064] つまり、上記実施の形態においては、各方向の動作パターンモデルの生成に各属 性毎の 5個のデータを用いて、各被検知体専用の HMMを生成したのに対して、本 実施例では、 17名の各方向毎の全データを用いて、不特定多数の被検知体の各方 向動作に対応した HMMを生成して ヽる。
そして、上記第 1の実施の形態における情報認識装置 1において、上記生成された 動作パターンモデルを用いて、被検知体 A— Qの検知範囲 20の通過による動作方 向の平均認識率は、図 7に示すように、同線誤りを考慮すると 73. 7%となり、同線誤 りを無視すると 88. 7%となる。
[0065] なお、上記実施の形態及び実施例にお!、ては、検知範囲 20の全体に対して動作 パターンモデルを生成し、これにより上記(1)一(8)の 8方向を認識するようにしてい る力 これに限らず、図 8に示すように、検知範囲 20を小さな範囲に細力べ区分し、各 区分毎に各方向の動作パターンモデルを生成することにより、これら動作パターンモ デルを組み合わせることによって、被検知体の検知範囲 20内での様々な動作内容 を認識することが可能となる。
[0066] 〔第 2の実施例〕
更に、図 9及び図 10に基づき、上記第 1の実施の形態における情報認識装置 1を、 人と人以外の動物との識別に適用した第 2の実施例を説明する。
ここで、図 9 (a)及び (b)は、識別の際に被検知体とした犬の情報を示す図である。 また、図 10 (a)は、人 (大人及び子供を区別)と犬 (大型犬及び小型犬とを区別)との 認識結果を示す図であり、(b)は、人 (大人及び子供の区別なし)と犬 (大型犬及び 小型犬の区別なし)との認識結果を示す図である。
[0067] 本実施例では、被検知体として、人 42名(大人 36名、子供 6名(幼稚園児) )と、犬 12匹 (大型犬 5匹、小型犬 7匹)とを選び、これら被検知体に対して、上記第 1の実施 の形態における(1)一 (8)の 8方向の動作を 50回ずつ行ってもらったデータを用い て HMMを生成する。ここで、 HMMの生成においては、上記第 1の実施の形態にお ける第 1の特徴パラメータを常用対数値に変換したものと、上記第 1の実施の形態に おける第 2の特徴パラメータとを算出して用い、 HMMの内部状態数を 7状態とした。
[0068] ここで、大型犬、小型犬の判別は、図 9 (b)に示すように、被検知体として選ばれた 犬の中から、体高 63センチ、体長 80センチのラブラドールレトリバーを含めそれより 大きい犬を大型犬とし、一方、体高 40センチ、体長 40センチのトイプードルを含めそ れより小さい犬を小型犬とした。なお、体高及び体長は、図 9 (a)に示すように、犬が 立ち上がった状態の地面力 最も高い位置にある体の一部までの高さであり、体長 は、犬が立ち上がった状態の鼻先力も尻尾までの長さである。
[0069] 本実施例では、上記 36名の大人の動作データを用いて生成した大人用の動作パ ターンモデル、上記 6名の子供の動作データを用いて生成した子供用の動作パター ンモデル、上記 5匹の大型犬の動作データを用いて生成した大型犬用の動作パター ンモデル及び上記 7匹の小型犬の動作データを用いて生成した小型犬用の動作パ ターンモデルの 4種類のモデルを用いて認識処理を行った。なお、各動作パターン モデルは、各行動パターンに対応した 8つの HMM力も構成される。また、各モデル の生成においては、学習データ(動作データ)は、各行動パターン毎に 50回あるうち 10回分のみを使用し、残りの 40回分は認識処理に用いる評価データとした。
[0070] そして、人にっ ヽては大人と子供とを区別し、且つ犬につ 、ては大型犬と小型犬と を区別して、情報認識装置 1において、上記生成された動作パターンモデルを用い て、各被検知体の動作方向の識別処理を行った結果、図 10 (a)に示すように、大人 に対する平均認識率は、 93. 9%となり、子供に対する平均認識率は、 91. 1%となり 、大型犬に対する平均認識率は、 61. 9%となり、小型犬に対する平均認識率は、 7 9. 5%となり、これらの平均認識率は、 81. 6%となった。この結果を見ると、大型犬 の認識率が他と比べて際立って低くなつているため、大人と子供とが 90%を上回つ ているにもかかわらず、全体の平均認識率が 81. 6%と 90%を大きく下回っている。
[0071] 一方、人にっ 、ては大人と子供とを区別せず、且つ犬につ 、ては大型犬と小型犬 とを区別せずに、情報認識装置 1において、各被検知体の動作方向の認識処理をし た結果、図 10 (b)に示すように、大人に対する平均認識率は、 99. 6%となり、子供 に対する平均認識率は、 98. 4%となり、大型犬に対する平均認識率は、 96. 4%と なり、小型犬に対する平均認識率は、 94. 8%となり、これらの平均認識率は、 97. 3 %となった。この結果を見ると、大型犬と小型犬とを区別した場合に、大型犬の認識 率が低力つた理由が、その大部分が大型犬と小型犬とを誤認識していたことが解る。 そして、大型犬の認識率が飛躍的にアップしたため、全体の平均認識率は、 97. 3 %と大幅にアップした。このことから、本発明に係る情報認識装置 1においては、人と 犬 (人以外の動物)との識別について、高確率で識別できることが解った。
[0072] 〔第 2の実施の形態〕
更に、本発明の第 2の実施の形態を説明する。図 11及び図 12は、本発明に係る情 報認識装置の第 2の実施の形態の結果を示す図である。
上記第 1の実施の形態と異なるのは、モデル化や認識処理に用いる特徴量データ として、上記第 1の実施の形態における第 1及び第 2の特徴量データに加え、これら 第 1及び第 2の特徴量データから算出される第 3及び第 4の特徴量データを用いる点 にある。従って、上記第 1の実施の形態と同様の構成において、動作パターンモデル の生成方法及び認識処理方法が一部異なることとなるので、以下、上記第 1の実施 の形態と重複する部分については同様の図面を用いて説明を行う。
[0073] 本実施の形態においては、上記第 1の実施の形態と同様に、信号処理部 10bにお いて、図 3に示すように、焦電型赤外線センサ 10aからのデータ時間長 10 [s]のアナ ログの出力信号 30を、 100 [ms]間隔でサンプリングし、更に、これらサンプリングデ ータに対して AZD変換を行うことによって当該アナログの出力信号 30をデジタルデ ータに変換する。そして、この 100 [ms]間隔のサンプリングデータを、 1. 6 [s]単位 の複数のフレーム 31に分割する。そして、各フレーム 31単位のサンプリングデータに 対して FFTを行い、これらサンプリングデータをフーリエ級数に展開し、各高調波の スペクトル((図 3中のスペクトル 32)を算出する。なお、各フレーム 31には、それぞれ 16個のサンプリングデータが対応しており、フレーム間のオーバーラップはサンプリ ングデータ 12個分とした。また、本実施の形態においては、各フレーム 31の上記し たスペクトル 32の前半 8つに対してその値 Nを常用対数値 (logN)に変換したものを 第 1の特徴量データとし、更に、各フレーム毎に平均振幅レベルを算出し、これを第 2 の特徴量データとし、全フレーム 31における各選択したフレーム 31に対する第 1の 特徴量データの数値と、その 1つ前のフレーム 31に対する第 1の特徴量データの数 値との差分を第 3の特徴量データとし、全フレーム 31における各選択したフレーム 31 に対する第 2の特徴量データの数値と、その 1つ前のフレーム 31に対する第 2の特徴 量データの数値との差分を第 4の特徴量データとする。
[0074] また、本実施の形態において、動作パターンモデル生成部 11は、赤外線検知部 1 0から、第 1一第 4の特徴量データを取得し、これら特徴量データを用いて、 HMMを 作成する。ここで、 HMMの生成においては、第 1一第 4の特徴量データを第 1一第 4 のパラメータとし、内部状態数を S— Sの 7状態とし、各パラメータの確率分布として
1 7
シングルガウシアンを用いた。例えば、 HMMの学習には、上記第 1の実施の形態と 同様に、各属性の各動作パターン毎に 5回ずつ行った行動パターンに対するデータ を使用し、各属性毎に各動作パターンのモデルィ匕を行う。
[0075] 更に、動作パターンモデル生成部 11にお 、て生成された動作パターンモデルを、 被検知体の属性 (例えば、名前)及び動作パターンの内容と対応付けて、動作バタ ーンモデル記憶部 12に記憶する。
このようにして、検知対象である複数の被検知体の動作パターンモデルの生成が 完了すると、以降は、認識処理部 13において、赤外線検知部 10からの信号処理結 果に基づき、被検知体の動作パターン及び属性の認識処理が行われる。
[0076] 次に、上記図 4に示すフローチャートにおける、上記第 1の実施の形態と異なる処 理内容となるステップ S 114について説明を行う。
ステップ S114では、信号処理部 10bにおいて、フレーム単位毎に FFTを行い、当 該 FFTの結果力 各高調波のスペクトルを算出し、当該算出したスペクトルに基づき 第 1一第 4の特徴量データを算出してステップ S 116に移行する。
[0077] ここで、本実施の形態においては、各高調波のスペクトルの値を常用対数値に変 換して第 1の特徴量データを生成し、各スペクトルのフレーム単位毎の平均振幅を第 2の特徴量データとして算出し、全フレームに対して、選択したフレームに対する第 1 の特徴量データと、その 1つ前のフレームに対する第 1の特徴量データとの差分を第 3の特徴量データとして算出し、全フレームに対して、選択したフレームに対する第 2 の特徴量データと、その 1つ前のフレームに対する第 2の特徴量データとの差分を第 4の特徴量データとして算出する。
[0078] 以上、赤外線検知部 10によって検知範囲 20内における複数の被検知体の赤外線 を検知すると共に、検知結果の出力信号を信号処理し、動作パターンモデル生成部 11によって前記信号処理された検知結果力 各被検知体の動作パターン内容及び 被検知体の属性に対応した動作パターンモデルを HMMにより生成し、動作パター ンモデル記憶部 12に記憶することが可能である。
[0079] また、動作パターンモデル生成部 11において、上記第 1一第 4の特徴量データを 用いて動作パターンモデルを生成することが可能である。
また、認識処理部 13によって、赤外線検知部 10による検知範囲 20内において動 作する被検知体の赤外線検知結果と、動作パターンモデル記憶部 12に記憶された 動作パターンモデルとに基づき、被検知体の動作パターン及びその属性を認識する ことが可能である。
[0080] ここで、図 1に示す、赤外線検知部 10は、請求項 1、 10及び 11のいずれ力 1項に 記載の熱放射線検知手段に対応し、動作パターンモデル生成部 11は、請求項 3記 載の動作パターンモデル生成手段に対応し、動作パターンモデル記憶部 12は、請 求項 1、 2及び 10のいずれか 1項に記載の動作パターンモデル記憶手段に対応し、 認識処理部 13は、請求項 1又は 10記載の情報認識手段に対応する。
[0081] 〔第 3の実施例〕
更に、図 11に基づき、上記第 2の実施の形態における情報認識装置 1を、上記第 1 の実施の形態と同様の検知範囲 20を被検知体 A— Qが通過した場合の上記(1)一 (8)の 8つの動作方向の認識に適用した第 3の実施例を説明する。ここで、図 11は、 第 3の実施例における動作方向の認識結果を示す図である。
[0082] 本実施例においては、上記第 2の実施の形態と同様の特徴パラメータを用いて、内 部状態数が 7の HMMを生成する。ここでも、被検知体 A— Qの 17名に上記(1)一( 8)の 8方向の動作を 5回ずつ行つてもらったデータを用 V、て HMMを生成する。但し 、本実施例では、各動作パターン毎の HMMを生成するときに、被検知体の属性を 無視し、更に、各方向の動作パターンモデルの生成において、 17名の各方向に対 する 5回試行の全データ(17名 X 5回の 85個)を用いた。
[0083] つまり、上記第 2の実施の形態においては、各方向の動作パターンモデルの生成 に各属性毎の 5個のデータを用いて、各被検知体専用の HMMを生成したのに対し て、本実施例では、 17名の各方向毎の全データを用いて、不特定多数の被検知体 の各方向動作に対応した HMMを生成して 、る。
そして、上記第 2の実施の形態における情報認識装置 1において、上記生成された 動作パターンモデルを用いて、被検知体 A— Qの検知範囲 20の通過による動作方 向の認識処理を行った結果、図 11に示すように、平均認識率は、同線誤りを考慮す ると 90. 3%となり、同線誤りを無視すると 97. 0%となる。上記第 1の実施例では、同 線誤りを考慮した場合に 73. 7%、同線誤りを無視した場合に 88. 7%となっている ので、動作パターンモデルの生成及び認識処理において、上記第 2の実施の形態 において説明した、第 3及び第 4のノ ラメータを導入することで、前述した第 1の実施 例における図 7に示す認識結果と比較して大幅に認識率がアップしたと言える。
[0084] 〔第 4の実施例〕
更に、図 11に基づき、上記第 2の実施の形態における情報認識装置 1を、上記第 1 の実施の形態と同様の検知範囲 20を被検知体 A— Qが通過した場合の上記(1)一 (8)の 8つの動作方向の認識に適用した第 4の実施例を説明する。ここで、図 12 (a) 及び (b)は、第 4の実施例における動作方向の認識結果を示す図である。
[0085] 本実施例においては、上記第 2の実施の形態と同様の特徴パラメータを用いて、内 部状態数が 7の HMMを生成する。ここでは、被検知体 A— Qの 17名の中力も選択 した A— Cの 3人に上記(1)一(8)の 8方向の動作を 50回ずつ行ってもらったデータ を用いて HMMを生成する。なお、本実施例では、各動作パターン毎の HMMを生 成するときに、被検知体の属性を考慮し、更に、各方向の動作パターンモデルの生 成において、 A— Cの各個人の各方向に対する 50回試行の全データ(3名 X 50回 X 8方向の計 1200個)を用いて、 A— Cの各個人に対して、上記(1)一 (8)の各方向 の 8つの HMMを生成し、これら各個人毎の 8つの HMMを、各個人の動作パターン データとした。
[0086] そして、上記第 2の実施の形態における情報認識装置 1にお 、て、上記生成された 動作パターンモデルを用いて、被検知体 A— Cの検知範囲 20の通過による動作方 向の認識処理をした結果、図 12 (a)に示すように、 Aの平均認識率は、 96. 3%とな り、 Bの平均認識率は、 93. 5%となり、 Cの平均認識率は、 90. 5%となり、これらの 平均認識率は、 93. 4%となった。つまり、平均して 90%以上の高い認識率となって おり、各動作方向の識別に各個人毎の識別が加わっても本発明が有効であることが 解る。
[0087] 更に、動作方向を無視して、検知範囲 20を、 A— Cの誰が通過したのかを認識した 結果は、図 12 (b)に示すように、 Aの平均認識率は、 96. 5%となり、 Bの平均認識率 は、 97. 8%となり、 Cの平均認識率は、 96. 8%となり、これらの平均認識率は、 96. 8%となった。つまり、図 12 (a)を見ると解るように、動作方向の識別に個人差がある ことから、動作方向を無視することにより、かなりの高認識率で通過者が誰であるかを 認識することができるので、本発明は、個人の識別に対して力なり有効であると言え る。
[0088] なお、被検知体 A— Cの身長及び体重は、 A「165センチ、 64kg」、 B「177センチ 、 68kg」、 C「182センチ、 68kg」であり、それぞれ歩き方も異なることから、体型と歩 き方によって各個人に差が生じると考えられる。
〔第 3の実施の形態〕
更に、本発明の第 3の実施の形態を図面に基づき説明する。図 13及び図 14は、本 発明に係る情報認識装置の第 3の実施の形態を示す図である。
[0089] 本実施の形態においては、上記第 1及び第 2の実施の形態における、情報認識装 置 1を、認識対象の動作に対する特徴量データと、上記動作パターンモデル記憶部 12に記憶された動作パターンモデルの生成時に用いた特徴量データとを、二次元 空間上の座標点として表示できる構成としたものである。この場合は、上記第 1及び 第 2の実施の形態における、図 1に示す情報認識装置 1に、例えば、二次元射影部と 、情報表示部とを追加する。
[0090] ここで、二次元射影部は、動作パターンモデル生成時の特徴量データ(以下、第 1 特徴量データという)と、赤外線検知部 10から取得した信号処理結果の特徴量デー タ(以下、第 2特徴量データという)とに基づき、第 1特徴量データ相互間の数学的距 離及び第 1特徴量データと第 2特徴量データとの間の数学的距離を算出する機能を 有したものである。更に、これら算出された数学的距離に基づき、多次元の特徴量デ ータを、前記算出した数学的距離の関係が保持された状態で、二次元の座標情報 に射影する機能を有したものである。
[0091] ここで、本実施の形態においては、数学的距離として、各特徴量データ相互間のュ ークリツド距離を算出する。
また、特徴量データは、上記したように多次元 (4次元以上)の情報を持つものであ り、本実施の形態において、二次元射影部は、公知の Sammon法 (Jon W. Sammon, JR., A Nonlinear Mapping for Data Structure Analysis , IEEE Trans. し omputers, Vol. C-18, No. 5, May 1969参照)を用いて、多次元の情報を二次元の情報に射影 する。
[0092] 更に、情報表示部は、二次元射影部の射影結果の情報を表示する機能を有したも のである。
以下、図 13に基づき、具体的な動作を説明する。図 13は、二次元射影化した特徴 量データの一表示例を示す図である。ここで、上記第 1特徴量データとしては、上記 第 1の実施の形態における、 A— Qの各人の、上記(1)一(8)の行動パターンに対す る各 5回試行のデータを用いている。従って、ある 1つの行動パターンに対して A— Q の各人毎に 5つの特徴量データ(図 9における同じ形状の座標点)が二次元射影表 示される。
[0093] 二次元射影部は、まず、上記した A— Qの 5回試行の行動パターンに対する第 1特 徴量データ相互間の数学的距離を算出 (各試行毎に算出)し、これを図示しないデ ータ記憶部に記憶する。 そして、赤外線検知部 10から信号処理結果 (第 2特徴量データ)を取得すると、こ の特徴量データと、 A— Qの 5回試行に対する特徴量データとに基づき、第 2特徴量 データと、第 1特徴量データとの数学的距離を算出する。更に、上記データ記憶部に 記憶された A— Qに対する第 1特徴量データ相互間の数学的距離を読み出し、これ と、第 1特徴量データと第 2特徴量データとの数学的距離とに対して上記した Samm on法を用いて、各特徴量データを、これらの数学的距離関係を維持した状態で二次 元射影化する。ここで、二次元射影化により生成された座標情報は、情報表示部に 入力される。
[0094] 情報表示部では、取得した座標情報を、図 9に示すように、各属性毎に異なる形状 の座標点で表示する。ここで、図 9中 40は、第 2特徴量データの座標であり、また、図 4中 41の枠内には、各座標点の形状と A— Qとの関係が示されている。図 9に示すよ うに、第 2特徴量データ(星形の座標点)は、 Aの黒塗りの菱形に最も近い位置に表 示されている。従って、二次元射影化による座標点の表示内容を見ても、検知結果 が属性 Aに最も近いことが解る。つまり、オペレータ等が座標点の表示内容を見て、 検知範囲 20を横切った認識対象の属性 (この場合は A)を認識又は予測することが 可能である。
[0095] なお、二次元射影化による座標点が同じような位置にある人物同士を一つのカテゴ リとし、 HMMを用いて動作パターンモデルを生成することによって、人物のカテゴリ 分類が可能となる。カテゴリは様々で、歩き方、体系、歩行速度、歩行方向など、同じ ような位置に存在する人物に共通する特徴で分けることが可能である。また、人物に 限らず、赤外線を発する物体すべてに適応可能で、人物と動物の区別や、動物同士 の区別などに応用が可能である。
[0096] 更に、図 14に基づき、二次元射影部の動作処理の流れを説明する。図 14は、二 次元射影部の動作処理を示すフローチャートである。
図 14に示すように、まずステップ S400に移行し、赤外線検知部 10の信号処理結 果を取得したか否かを判定し、取得したと判定された場合 (Yes)はステップ S402に移 行し、そうでな!/、場合 (No)はステップ S410に移行する。
[0097] ステップ S402に移行した場合は、動作パターンモデル記憶部 12から特徴量デー タを読み出しステップ S404に移行する。つまり、動作パターンモデル記憶部 12には 、第 1特徴量データが記憶されている。
ステップ S404では、上記読み出した特徴量データと、信号処理結果の特徴量デ ータとに基づき、両者の数学的距離を算出してステップ S406に移行する。
[0098] ステップ S406では、データ記憶部に予め記憶された特徴量データ相互間の数学 的距離と、上記算出された数学的距離とに基づき、 Sammon法を用いて特徴量デ ータを、その数学的距離関係を保持した状態で二次元射影する処理を行!ヽステップ S408に移行する。
ステップ S408では、射影結果の情報を情報表示部に入力してステップ S400に移 行する。
[0099] 一方、ステップ S400において信号処理結果を取得せずステップ S410に移行した 場合は、第 1特徴量データを取得したか否かを判定し、取得したと判定された場合 (Yes)はステップ S412に移行し、そうでな!/、場合 (No)はステップ S400に移行する。 ステップ S412に移行した場合は、特徴量データ相互間の数学的距離を算出して ステップ S414に移行する。
[0100] ステップ S414では、データ記憶部に上記算出された数学的距離を記憶してステツ プ S400に移行する。
ここで、本文中における、二次元射影部及び情報表示部による二次元座標の表示 処理は、請求項 15記載の特徴量データ表示手段及び検知結果表示手段に対応す る。
〔第 4の実施の形態〕
更に、本発明の第 4の実施の形態を図面に基づき説明する。図 15及び図 16は、本 発明に係る情報認識装置の第 4の実施の形態を示す図である。
[0101] 本実施の形態は、上記第 1及び第 2の実施の形態における情報認識装置 1を備え た警報システムの実施の形態であり、情報認識装置 1において、人かそれ以外の動 物かを認識する処理を行い、当該認識結果からセンサの検知範囲内に侵入した者 が人であると判断されたときに警報を発するシステムの実施の形態となる。つまり、上 記第 1及び第 2の実施の形態における情報認識装置 1の認識結果を利用した応用シ ステムである。従って、上記第 1及び第 2の実施の形態と重複する部分については同 じ符号を付して説明を省略し、異なる部分のみ説明を行う。
[0102] まず、本発明の第 4の実施の形態に係る警報システムの構成を図 15に基づき説明 する。図 15は、本発明の第 4の実施の形態に係る警報システムの構成を示すブロッ ク図である。
警報システム 2は、情報認識装置 1と、当該情報認識装置 1からの認識結果に基づ き警報の発報を制御する発報制御部 50と、発報制御部 50からの発報命令に応じて 警報を発する警報部 51と、発報制御部 50からの通知命令に応じてシステム利用者 に警報内容を通知する通知部 52とを含んだ構成となっている。
[0103] 本実施の形態において、動作パターンモデル記憶部 12は、人の動作パターンに 対して生成された動作パターンモデルと、犬や猫などの人以外の動物に対して生成 された動作パターンモデルとを記憶して!/、る。
認識処理部 13は、動作パターンモデル記憶部 12の記憶内容と、赤外線検知部 10 力も取得した赤外線検知結果の特徴量データとに基づき、焦電型赤外線センサ 10a の検知範囲内に存在する被検知体の動作パターン情報及び属性情報を認識する機 能と、当該認識結果を発報制御部 20に送信する機能とを有したものである。本実施 の形態においては、特徴量データと、上記動作パターンモデル記憶部 12に記憶さ れた動作パターンモデルとを比較して、被検知体が人力ゝ否かを認識する。
[0104] 発報制御部 50は、情報認識装置 1の認識処理部 13からの認識結果に基づき、被 検知体が人力否かを判断し、被検知体が人であると判断された場合に、警報部 51に 警報を発報させる命令を伝送すると共に、通知部 52に警報内容 (例えば、建物内へ の人の侵入等)をシステム利用者に通知させる命令を伝送する機能を有している。一 方、発報制御部 50おいて、被検知体が人以外であると判断された場合には、前述し た発報命令及び通知命令を警報部 51及び通知部 52に送信しないため、警報も通 知も行わないことになる。なお、このような構成に限らず、被検知体が人以外と判断さ れた場合にも通知命令だけは通知部 51に通知するようにすることで、発報制御部 50 において、万が一誤った判断がされたときにもシステム利用者が適切に対処すること が可能である。 [0105] また、上記判断処理において、認識処理部 13から連続して送られてくる認識結果 力 「人,人,人以外 ·人以外,人,人 · ·人以外 ·人,人,人,人,人以外」といった内容 であった場合、例えば、人であるとの認識が所定回数以上 (例えば、 3回以上)連続 したときに、被検知体が人であると判断することで、判断結果の誤りを低減することが 可能である。
[0106] 警報部 51は、発報制御部 50からの発報命令に応じて、警告メッセージの音声と共 に所定の警告音を図示しないスピーカから出力する機能を有している。
通知部 52は、発報制御部 50からの通知命令に応じて、警告内容を、図示しないネ ットワーク等を介してシステム利用者に通知する機能を有している。
従って、前述したように被検知体が人以外であると判断された場合は、警報も通知 も行わないことになる。
[0107] ここで、本実施の形態において、警報システム 2は、情報認識装置 1とは別に、図示 しないプロセッサと、 RAM (Random Access Memory)と、専用のプログラムの記憶さ れた記憶媒体と、を備えており、プロセッサにより専用のプログラムを実行することに より上記各部の制御を行う。
また、記憶媒体とは、 RAM, ROM等の半導体記憶媒体、 FD、 HD等の磁気記憶 型記憶媒体、 CD、 CDV、 LD、 DVD等の光学的読取方式記憶媒体、 MO等の磁気 記憶型 Z光学的読取方式記憶媒体であって、電子的、磁気的、光学的等の読み取 り方法のいかんにかかわらず、コンピュータで読み取り可能な記憶媒体であれば、あ らゆる記憶媒体を含むものである。
[0108] 上記した警報システム 2は、その情報認識装置 1が備える焦電型赤外線センサ 10a を、例えば、美術館や宝石店等の建物の入り口付近 (建物内に入るときに必ず通る ルート)に設置することで、情報認識装置 1において建物内に侵入した者 (被検知体) が人か人以外かを認識し、この認識結果に基づき、更に、発報制御部 50において、 被検知体が人である力否かを判断し、被検知体が人であると判断された場合に、警 報部 51において警報を発し、通知部 52において警報内容をシステム利用者に通知 する。従って、建物内に泥棒等の「人」が侵入した場合に、それを人であると認識して 、警報部 21の警報により威嚇及び警告を行うことが可能であり、更に、通知部 52によ り「人」の建物内への侵入をシステム利用者に通知することで、例えば、システム利用 者である警備員などが現場に急行して泥棒を取り押さえたり、警察に連絡して警官に 現場に急行して貰ったりする等の対処が可能となる。一方、建物内に犬や猫などの「 人以外」の者が侵入した場合に、それを人以外と判断して、無用な警報や通知を行 わないことが可能である。
[0109] 更に、図 16に基づき、警報システム 2における発報制御部 50の動作処理の流れを 説明する。図 16は、発報制御部 50の動作処理を示すフローチャートである。
図 16に示すように、まずステップ 500に移行し、認識処理部 13から認識結果を受 信したカゝ否かを判定し、受信したと判定された場合 (Yes)はステップ S 502に移行し、 そうでない場合 (No)は受信するまで判定処理を続行する。
[0110] ステップ S502に移行した場合は、ステップ S500で受信した認識結果を図示しない 記憶部に記憶してステップ S504に移行する。
ステップ S504では、最初の認識結果の受信から所定時間が経過したか否か、又は 同じ被検知体に対する認識結果の受信数が所定受信数を越えたか否かを判定し、 経過した又は越えたと判定された場合 (Yes)はステップ S506に移行し、そうでな 、場 合 (No)はステップ S 500に移行する。
[0111] ステップ S506に移行した場合は、記憶部に記憶された同じ被検知体に対する認 識結果に基づき、当該被検知体が人か否かを判断する処理を行 ヽステップ S508に 移行する。ここで、人力ゝ否かを判断する処理は、上記したように、連続して「人」である と認識された回数などに基づき行う。
ステップ S508に移行した場合は、ステップ S506の判断結果力 人である判断され た場合 (Yes)はステップ S 510に移行し、そうでな 、場合 (No)はステップ S512に移行 する。
[0112] ステップ S510に移行した場合は、発報命令を警報部 51に送信すると共に、通知 命令を通知部 52に送信してステップ S512に移行する。
ステップ S512では、記憶部に記憶された認識結果を削除し判断処理を終了してス テツプ S 500に移行する。
以上、上記第 1及び第 2の実施の形態における情報認識装置 1の認識結果に基づ き、発報制御部 50において、被検知体が人か否かを判断し、人である場合には警報 部 51において警報を発し、通知部 52において警報内容をシステム利用者に通知す ることが可能であり、一方、人以外と判断された場合には警報部 51において警報を 発さず、且つ通知部 52において警報内容を通知しないようにすることで、無用な警 報及び通知を行わな 、ようにすることが可能である。
[0113] ここで、図 15に示す、発報制御部 50は、請求項 18記載の判断手段に対応し、警 報部 51及び通知部 52は、請求項 18記載の警報手段に対応する。
なお、上記第 1一第 3の実施の形態においては、人間及び人間以外の熱放射線を 放出する生物を被検知体としているが、これに限らず、熱放射線を放出する無生物 等を被検知体としても良い。
[0114] また、上記第 1一第 3の実施の形態においては、上記(1)一(8)の 8方向の動作パ ターンにつ 、て動作パターンモデルの生成や、これら動作パターンの認識処理を行 う例を説明したが、これに限らず、 8方向に限らない様々な方向の移動や、被検知体 の体の一部の動作等他の動作パターンについて動作パターンモデルの生成や、こ れら動作パターンの認識処理を行うようにしても良い。
[0115] また、上記第 1一第 3の実施の形態においては、動作パターンモデルに対応付ける 属性として被検知体の名前を例として説明したが、これに限らず、属性として、性別、 年齢、身長、体重等別の要素を対応付けても良ぐ又、複数の要素を任意に組み合 わせて対応付けても良い。
また、上記第 3の実施の形態においては、多次元の特徴量データを、二次元の座 標情報に射影する例を説明したが、これに限らず、多次元の特徴量データを、三次 元の座標情報に射影するようにしても良い。
産業上の利用の可能性
[0116] 本発明に係る請求項 1記載の情報認識装置によれば、熱放射線センサの検知結 果と複数種類の動作パターンモデルとに基づき被検知体の所定情報を認識するよう にしたので、被検知体の複雑な行動パターン、被検知体の属性などの様々な情報の 認識が可能である。
また、請求項 2記載の情報認識装置によれば、請求項 1の前記効果に加え、複数 種類の動作パターンにそれぞれ応じた複数の動作パターンモデルと検知結果とに基 づき認識処理を行うことができるので、検知範囲内の被検知体の様々な情報を認識 することが可能である。
[0117] また、請求項 3記載の情報認識装置によれば、請求項 1又は請求項 2の前記効果 に加え、新規動作パターンモデルの追加が容易であり、また、与えられた条件に応じ て動作パターンモデルを生成することができるので、認識内容の変更等による動作 ノターンモデルの変更等において柔軟な対応が可能である。
また、請求項 6記載の情報認識装置によれば、請求項 1乃至請求項 3のいずれか 1 の前記効果に加え、熱放射線センサとして焦電型赤外線センサを用いるようにしたの で、検知範囲内における移動体の検知を容易に行うことが可能である。
[0118] また、請求項 7記載の情報認識装置によれば、請求項 1乃至請求項 6のいずれか 1 の前記効果に加え、時系列信号の確率モデルである HMMを用いて動作パターン をモデルィ匕することにより、非定常な時系列信号であっても容易にモデルィ匕すること が可能となるので、被検知体の動作パターンを的確にモデルィ匕することが可能であ る。
また、請求項 8記載の情報認識装置によれば、請求項 1乃至請求項 7のいずれか 1 の前記効果に加え、被検知体の行動内容、移動速度、大きさ等により熱放射線セン サの出力は変化するので、これらに対応する動作パターンモデルを予め生成して用 意しておくことにより、被検知体の行動内容、移動速度、大きさ等を認識することが可 能である。
[0119] また、請求項 9記載の情報認識装置によれば、請求項 1乃至請求項 8のいずれか 1 の前記効果に加え、動作パターンモデルとして、複数種類の被検知体のものを含む ようにしたので、情報認識手段は、検知範囲内の被検知体の種類を認識することが 可能である。
また、請求項 10記載の情報認識装置によれば、請求項 1乃至請求項 9のいずれか 1の前記効果に加え、特徴量データと前記動作パターンモデルとの尤度を算出して 、これに基づき被検知体に係る所定情報を認識するようにしたので、所定情報の簡 易な認識が可能である。 [0120] また、請求項 11記載の情報認識装置によれば、請求項 10の前記効果に加え、検 知結果のフレーム単位のスペクトルからなる第 1の特徴量データと、このフレーム単位 のスペクトルの平均振幅値力 なる第 2の特徴量データとに対し、これらと前記動作 パターンモデルとの尤度を算出し、当該算出結果に基づき被検知体に係る所定情 報を認識するようにしたので、所定情報の認識精度を向上することが可能である。
[0121] また、請求項 12記載の情報認識装置によれば、第 1の特徴量データとして、前記フ レーム単位のスペクトルの値を常用対数値に変換したものを用いるようにしたので、 条件によっては、所定情報の認識精度をより向上することが可能である。
また、請求項 13記載の情報認識装置によれば、第 1及び第 2の特徴量データにカロ え、選択したフレームの前記第 1の特徴量データの示す特徴量と、当該選択したフレ ームの 1つ前のフレームの前記第 1の特徴量データの示す特徴量との差分からなる 第 3の特徴量データを用いて、所定情報の認識を行うようにしたので、これにより、所 定情報の認識精度をより向上することが可能である。
[0122] また、請求項 14記載の情報認識装置によれば、第 1一第 3の特徴量データに加え 、選択したフレームの前記第 2の特徴量データの示す特徴量と、当該選択したフレー ムの 1つ前のフレームの前記第 2の特徴量データの示す特徴量との差分力 なる第 4 の特徴量データを用いて、所定情報の認識を行うようにしたので、これにより、所定情 報の認識精度をより向上することが可能である。
[0123] また、請求項 15記載の情報認識装置によれば、請求項 1乃至請求項 8のいずれか 1の前記効果にカ卩え、検知結果を他の複数の被検知体の動作パターンモデルに対 応した特徴量データと対比させて視覚的に捉えることが可能となり、視覚による所定 情報の認識等が可能である。
ここで、請求項 16記載の情報認識方法は、請求項 1記載の情報認識装置等により 実現されるものであり、その産業上の利用可能性は重複するので記載を省略する。
[0124] また、請求項 17記載の情報認識プログラムは、請求項 1記載の情報認識装置に適 用可能なプログラムであり、その産業上の利用可能性は重複するので記載を省略す る。
また、本発明に係る請求項 18記載の防犯システムによれば、被検知体の複雑な行 動パターン、被検知体の属性などの様々な情報の認識が可能な情報認識装置の認 識結果に基づき、人と人以外の動物等との判別が可能となるので、本システムを、建 物の警備に利用した場合に、建物内への人以外の動物等の侵入を人の侵入と判断 して誤った警報を発することを低減することが可能である。

Claims

請求の範囲
[1] 検知範囲内に存在する被検知体から放出される熱放射線を、熱放射線センサによ つて検知する熱放射線検知手段と、
被検知体の動作パターンに応じた前記熱放射線センサの出力を、所定のモデル化 手法に従って予めモデルィ匕してなる動作パターンモデルを記憶する動作パターンモ デル記憶手段と、
前記熱放射線検知手段の検知結果と、前記動作パターンモデル記憶手段に記憶 された前記動作パターンモデルとに基づき、前記検知範囲内に存在する前記被検 知体に係る所定情報を認識する情報認識手段と、を備えることを特徴とする情報認 識装置。
[2] 前記動作パターンモデル記憶手段には、複数種類の動作パターンにそれぞれ応じ た複数の動作パターンモデルを記憶することを特徴とする請求項 1記載の情報認識 装置。
[3] 前記熱放射線センサの出力に基づき前記被検知体の前記動作パターンモデルを 前記所定のモデルィ匕手法により生成する動作パターンモデル生成手段を備えること を特徴とする請求項 1又は請求項 2記載の情報認識装置。
[4] 前記熱放射線センサは、熱型センサであることを特徴とする請求項 1乃至請求項 3 の!、ずれか 1項に記載の情報認識装置。
[5] 前記熱放射線センサは、量子型センサであることを特徴とする請求項 1乃至請求項
3の 、ずれか 1項に記載の情報認識装置。
[6] 前記熱型センサは、焦電効果を利用して前記被検知体から放出される赤外線を検 知する焦電型赤外線センサであることを特徴とする請求項 1乃至請求項 3のいずれ 力 1項に記載の情報認識装置。
[7] 前記所定のモデル化手法は、 HMM (Hidden Markov Model)であることを特徴とす る請求項 1乃至請求項 6のいずれか 1項に記載の情報認識装置。
[8] 前記所定情報は、前記被検知体の行動内容、前記被検知体の移動速度及び前記 被検知体の大きさのうち少なくとも 1つを含むことを特徴とする請求項 1乃至請求項 7 の!、ずれか 1項に記載の情報認識装置。
[9] 前記所定情報は、前記被検知体の属性情報を含むことを特徴とする請求項 1乃至 請求項 8のいずれか 1項に記載の情報認識装置。
[10] 前記情報認識手段は、前記熱放射線検知手段の検知結果から特徴量データを抽 出し、当該特徴量データと前記動作パターンモデル記憶手段に記憶された前記動 作パターンモデルとに基づき、前記特徴量データと前記動作パターンモデルとの尤 度を算出し、当該算出された尤度に基づき前記被検知体に係る所定情報を認識す るようになって!/、ることを特徴とする請求項 1乃至請求項 9の 、ずれか 1項に記載の情 報認識装置。
[11] 前記特徴量データは、前記熱放射線検知手段の検知結果のフレーム単位のスぺ クトルカ なる第 1の特徴量データと、前記フレーム単位のスペクトルの平均振幅値か らなる第 2の特徴量データとを含むことを特徴とする請求項 10記載の情報認識装置
[12] 前記第 1の特徴量データは、前記フレーム単位のスペクトルの値を常用対数値に 変換したものであることを特徴とする請求項 11記載の情報認識装置。
[13] 前記特徴量データは、選択したフレームの前記第 1の特徴量データの示す特徴量 と、前記選択したフレームの 1つ前のフレームの前記第 1の特徴量データの示す特徴 量との差分力 なる第 3の特徴量データを更に含むことを特徴とする請求項 11又は 請求項 12記載の情報認識装置。
[14] 前記特徴量データは、選択したフレームの前記第 2の特徴量データの示す特徴量 と、前記選択したフレームの 1つ前のフレームの前記第 2の特徴量データの示す特徴 量との差分力もなる第 4の特徴量データを更に含むことを特徴とする請求項 13記載 の情報認識装置。
[15] 前記動作パターンモデルが、 4次元以上の高次元の前記特徴量データから成ると きに、
前記動作パターンモデル記憶手段に記憶された各動作パターンモデルに対応す る前記特徴量データを、 2次元又は 3次元空間上の座標点として表示する特徴量デ ータ表示手段と、
前記特徴量データの座標点が表示された空間上に、前記熱放射線検知手段の検 知結果に対応する座標点を表示する検知結果表示手段と、を備えることを特徴とす る請求項 1乃至請求項 14のいずれか 1項に記載の情報認識装置。
[16] 検知範囲内に存在する被検知体から放出される熱放射線を、熱放射線センサによ つて検知し、
複数の被検知体の複数種類の動作パターンにそれぞれ応じた前記熱放射線セン サの出力を、所定のモデルィ匕手法に従って予めモデルィ匕してなる動作パターンモデ ルを用意し、
前記熱放射線センサの検知結果と、前記動作パターンモデルとに基づき、前記検 知範囲内に存在する前記被検知体に係る所定情報を認識することを特徴とする情報 認識方法。
[17] 検知範囲内に存在する被検知体から放出される熱放射線を、熱放射線センサによ つて検知する熱放射線検知ステップと、
複数の被検知体の複数種類の動作パターンにそれぞれ応じた前記熱放射線セン サの出力を、所定のモデルィ匕手法に従って予めモデルィ匕してなる動作パターンモデ ルを記憶する動作パターンモデル記憶ステップと、
前記熱放射線検知ステップによる検知結果と、前記動作パターンモデル記憶ステツ プにおいて記憶された前記動作パターンモデルとに基づき、前記検知範囲内に存 在する前記被検知体に係る所定情報を認識する情報認識ステップと、を備えることを 特徴とするコンピュータで実行させるための情報認識プログラム。
[18] 請求項 1乃至請求項 15のいずれか 1項に記載の情報認識装置と、
前記情報認識装置の認識結果に基づき、前記被検知体が人力ゝ否かを判断する判 断手段と、
前記判断手段によって、前記被検知体が人であると判定されたときに、警報を発す る警報手段と、を備えることを特徴とする警報システム。
PCT/JP2005/000315 2004-01-15 2005-01-13 情報認識装置、情報認識方法、情報認識プログラム及び警報システム WO2005069222A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05703554A EP1705612A4 (en) 2004-01-15 2005-01-13 INFORMATION DETECTION DEVICE, INFORMATION RECOGNITION PROCEDURE, INFORMATION RECOGNITION PROGRAM AND ALARM SYSTEM
JP2005517059A JP4180600B2 (ja) 2004-01-15 2005-01-13 情報認識装置、情報認識方法、情報認識プログラム及び警報システム
US10/585,823 US20070241863A1 (en) 2004-01-15 2005-01-13 Information Recognition Device, Information Recognition Method, Information Recognition Program, and Alarm System

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-008240 2004-01-15
JP2004008240 2004-01-15

Publications (1)

Publication Number Publication Date
WO2005069222A1 true WO2005069222A1 (ja) 2005-07-28

Family

ID=34792217

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/000315 WO2005069222A1 (ja) 2004-01-15 2005-01-13 情報認識装置、情報認識方法、情報認識プログラム及び警報システム

Country Status (5)

Country Link
US (1) US20070241863A1 (ja)
EP (1) EP1705612A4 (ja)
JP (1) JP4180600B2 (ja)
CN (1) CN100527167C (ja)
WO (1) WO2005069222A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006346180A (ja) * 2005-06-16 2006-12-28 Asahi Kasei Corp 出力時間変化値生成装置、出力時間変化値生成方法及びプログラム
JP2008247194A (ja) * 2007-03-30 2008-10-16 Kenwood Corp カーセキュリティ装置
JP2009281981A (ja) * 2008-05-26 2009-12-03 Hitachi Plant Technologies Ltd 人体検出装置、および、それを用いた人体検出システム
JP2010071984A (ja) * 2008-08-21 2010-04-02 Asahi Kasei Corp 検知装置
CN102176067A (zh) * 2010-12-29 2011-09-07 神华集团有限责任公司 获取地下煤火变化信息的方法
JP2012181630A (ja) * 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 警備装置および警備動作切替え方法
JP2014153246A (ja) * 2013-02-12 2014-08-25 Mega Chips Corp センサ装置およびセンサ応用機器
JP2016537698A (ja) * 2013-09-25 2016-12-01 フィリップス ライティング ホールディング ビー ヴィ 検出システム及び方法、並びにこのような検出システムを用いる空間制御システム
JP2017004106A (ja) * 2015-06-05 2017-01-05 トヨタ自動車株式会社 車両の衝突回避支援装置
JP2017523376A (ja) * 2014-06-03 2017-08-17 ザ・セキュリティ・オラクル・インク 防御及び拒絶システム
JP2017215668A (ja) * 2016-05-30 2017-12-07 Necプラットフォームズ株式会社 警報通知装置、警報通知システム及び警報通知プログラム
CN108616725A (zh) * 2018-05-21 2018-10-02 佛山科学技术学院 一种人工智能精确捕鱼装置及其工作系统和方法
CN110487410A (zh) * 2019-07-31 2019-11-22 上海电力大学 多模态图像特征融合的电力设备构件温度提取方法及装置

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8482613B2 (en) * 2007-09-10 2013-07-09 John Kempf Apparatus and method for photographing birds
US8142023B2 (en) * 2007-12-21 2012-03-27 Honda Motor Co., Ltd. Optimized projection pattern for long-range depth sensing
WO2010055205A1 (en) * 2008-11-11 2010-05-20 Reijo Kortesalmi Method, system and computer program for monitoring a person
JP5340899B2 (ja) * 2009-11-27 2013-11-13 綜合警備保障株式会社 警備装置およびセンサ反応要因の推定方法
US8462002B2 (en) 2010-06-18 2013-06-11 The Invention Science Fund I, Llc Personal telecommunication device with target-based exposure control
US8686865B2 (en) 2010-06-18 2014-04-01 The Invention Science Fund I, Llc Interactive technique to reduce irradiation from external source
US8810425B2 (en) 2010-06-18 2014-08-19 The Invention Science Fund I, Llc Travel route mapping based on radiation exposure risks
US8463288B2 (en) 2010-06-18 2013-06-11 The Invention Science Fund I, Llc Irradiation self-protection from user telecommunication device
TWI421477B (zh) * 2010-08-30 2014-01-01 Emcom Technology Inc 溫度變化感應裝置及其方法
CN102466524B (zh) * 2010-11-09 2015-03-04 好庆科技企业股份有限公司 温度变化感应装置及其方法
US9460350B2 (en) * 2011-07-01 2016-10-04 Washington State University Activity recognition in multi-entity environments
US9600744B2 (en) 2012-04-24 2017-03-21 Stmicroelectronics S.R.L. Adaptive interest rate control for visual search
US8829439B2 (en) * 2012-10-16 2014-09-09 The United States Of America As Represented By The Secretary Of The Army Target detector with size detection and method thereof
US9380275B2 (en) * 2013-01-30 2016-06-28 Insitu, Inc. Augmented video system providing enhanced situational awareness
US10482759B2 (en) * 2015-05-13 2019-11-19 Tyco Safety Products Canada Ltd. Identified presence detection in and around premises
JP6646549B2 (ja) * 2016-08-30 2020-02-14 アズビル株式会社 監視装置、監視方法、およびプログラム。
US10712204B2 (en) 2017-02-10 2020-07-14 Google Llc Method, apparatus and system for passive infrared sensor framework
US11179293B2 (en) 2017-07-28 2021-11-23 Stryker Corporation Patient support system with chest compression system and harness assembly with sensor system
CN112419637B (zh) * 2019-08-22 2024-05-14 北京奇虎科技有限公司 安防图像数据的处理方法及装置
CN111557647B (zh) * 2020-03-23 2024-02-27 未来穿戴技术有限公司 体温检测的方法、颈部按摩仪和装置
US20220101494A1 (en) * 2020-09-30 2022-03-31 Nvidia Corporation Fourier transform-based image synthesis using neural networks
CN112598865B (zh) * 2020-12-14 2023-03-03 深圳供电局有限公司 一种电缆线路防外力破坏的监控方法及系统
CN113037311A (zh) * 2021-02-24 2021-06-25 重庆工程职业技术学院 一种用于室内定位导航的手环

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06251159A (ja) * 1993-03-01 1994-09-09 Nippon Telegr & Teleph Corp <Ntt> 動作認識装置
JPH0755573A (ja) * 1993-08-20 1995-03-03 Matsushita Electric Ind Co Ltd 車搭載用人体検知センサー及び人体検知連動装置
JPH0933215A (ja) * 1995-07-19 1997-02-07 Matsushita Electric Ind Co Ltd 移動パターン認識装置
JPH0942924A (ja) * 1995-07-31 1997-02-14 Matsushita Electric Works Ltd 熱画像センサシステム
JP2766820B2 (ja) 1991-09-20 1998-06-18 セイコープレシジョン株式会社 人体移動方向判別装置
JP2001304973A (ja) * 2000-04-26 2001-10-31 Denso Corp 赤外線イメージセンサ

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03278696A (ja) * 1990-03-28 1991-12-10 Toshiba Corp リモートコントロール装置
EP0566852B1 (en) * 1992-04-21 1998-08-26 Mitsubishi Denki Kabushiki Kaisha Human body detection system
JPH06117925A (ja) * 1992-09-30 1994-04-28 Horiba Ltd 差出力型デュアルツイン焦電検出器
JPH06266840A (ja) * 1993-03-11 1994-09-22 Hitachi Ltd 移動物体の状態検出装置
JPH0784592A (ja) * 1993-09-14 1995-03-31 Fujitsu Ltd 音声認識装置
JPH07288875A (ja) * 1994-04-14 1995-10-31 Matsushita Electric Ind Co Ltd 人体動作認識センサ及び非接触型操作装置
JPH08161292A (ja) * 1994-12-09 1996-06-21 Matsushita Electric Ind Co Ltd 混雑度検知方法およびそのシステム
JPH08305853A (ja) * 1995-04-28 1996-11-22 Mitsubishi Electric Corp 対象の認識およびそれにもとづく意思決定の方法およびその装置
DE69616191T2 (de) * 1995-07-19 2002-03-14 Matsushita Electric Industrial Co., Ltd. Bewegungsmuster-Erkennungseinrichtung zum Bestimmen der Bewegung von Menschen sowie zum Zählen vorbeigegangener Personen
JP3497632B2 (ja) * 1995-09-20 2004-02-16 セコム株式会社 検出器
JP3086406B2 (ja) * 1995-10-04 2000-09-11 オプテックス株式会社 受動型赤外線式人体検知装置
JPH09101204A (ja) * 1995-10-06 1997-04-15 Matsushita Electric Ind Co Ltd 焦電型赤外線検出装置
JP3279175B2 (ja) * 1996-04-30 2002-04-30 松下電工株式会社 赤外線検出装置
JPH10160856A (ja) * 1996-11-28 1998-06-19 Nec Robotics Eng Ltd 焦電型人体検知装置
JPH1172386A (ja) * 1997-08-29 1999-03-16 Matsushita Electric Works Ltd 人体検知センサ
US6092192A (en) * 1998-01-16 2000-07-18 International Business Machines Corporation Apparatus and methods for providing repetitive enrollment in a plurality of biometric recognition systems based on an initial enrollment
CN1297343A (zh) * 1998-05-06 2001-05-30 松下电器产业株式会社 耳式妇女体温计
JP4053188B2 (ja) * 1999-07-06 2008-02-27 富士通株式会社 パターン切り出し装置及びパターン認識装置
JP4404329B2 (ja) * 1999-12-28 2010-01-27 ホーチキ株式会社 炎検出装置
JP2003030240A (ja) * 2001-07-13 2003-01-31 Ntt Data Corp データ検索装置、データ検索方法、及びデータ検索プログラム
US20030058111A1 (en) * 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Computer vision based elderly care monitoring system
JP2003281543A (ja) * 2002-03-26 2003-10-03 Namco Ltd 動作認識装置、動作検出方法および情報記録媒体

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2766820B2 (ja) 1991-09-20 1998-06-18 セイコープレシジョン株式会社 人体移動方向判別装置
JPH06251159A (ja) * 1993-03-01 1994-09-09 Nippon Telegr & Teleph Corp <Ntt> 動作認識装置
JPH0755573A (ja) * 1993-08-20 1995-03-03 Matsushita Electric Ind Co Ltd 車搭載用人体検知センサー及び人体検知連動装置
JPH0933215A (ja) * 1995-07-19 1997-02-07 Matsushita Electric Ind Co Ltd 移動パターン認識装置
JPH0942924A (ja) * 1995-07-31 1997-02-14 Matsushita Electric Works Ltd 熱画像センサシステム
JP2001304973A (ja) * 2000-04-26 2001-10-31 Denso Corp 赤外線イメージセンサ

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JON W. SAMMON, JR.: "A Nonlinear Mapping for Data Structure Analysis", IEEE TRANS. COMPUTERS, vol. C-18, no. 5, May 1969 (1969-05-01)
See also references of EP1705612A4

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006346180A (ja) * 2005-06-16 2006-12-28 Asahi Kasei Corp 出力時間変化値生成装置、出力時間変化値生成方法及びプログラム
JP4667130B2 (ja) * 2005-06-16 2011-04-06 旭化成株式会社 出力時間変化値生成装置、出力時間変化値生成方法及びプログラム
JP2008247194A (ja) * 2007-03-30 2008-10-16 Kenwood Corp カーセキュリティ装置
JP2009281981A (ja) * 2008-05-26 2009-12-03 Hitachi Plant Technologies Ltd 人体検出装置、および、それを用いた人体検出システム
JP2010071984A (ja) * 2008-08-21 2010-04-02 Asahi Kasei Corp 検知装置
CN102176067A (zh) * 2010-12-29 2011-09-07 神华集团有限责任公司 获取地下煤火变化信息的方法
JP2012181630A (ja) * 2011-02-28 2012-09-20 Sogo Keibi Hosho Co Ltd 警備装置および警備動作切替え方法
JP2014153246A (ja) * 2013-02-12 2014-08-25 Mega Chips Corp センサ装置およびセンサ応用機器
JP2016537698A (ja) * 2013-09-25 2016-12-01 フィリップス ライティング ホールディング ビー ヴィ 検出システム及び方法、並びにこのような検出システムを用いる空間制御システム
JP2017523376A (ja) * 2014-06-03 2017-08-17 ザ・セキュリティ・オラクル・インク 防御及び拒絶システム
JP2017004106A (ja) * 2015-06-05 2017-01-05 トヨタ自動車株式会社 車両の衝突回避支援装置
JP2017215668A (ja) * 2016-05-30 2017-12-07 Necプラットフォームズ株式会社 警報通知装置、警報通知システム及び警報通知プログラム
CN108616725A (zh) * 2018-05-21 2018-10-02 佛山科学技术学院 一种人工智能精确捕鱼装置及其工作系统和方法
CN110487410A (zh) * 2019-07-31 2019-11-22 上海电力大学 多模态图像特征融合的电力设备构件温度提取方法及装置
CN110487410B (zh) * 2019-07-31 2021-03-02 上海电力大学 多模态图像特征融合的电力设备构件温度提取方法及装置

Also Published As

Publication number Publication date
JPWO2005069222A1 (ja) 2008-04-24
EP1705612A1 (en) 2006-09-27
JP4180600B2 (ja) 2008-11-12
EP1705612A8 (en) 2006-11-02
CN1906638A (zh) 2007-01-31
CN100527167C (zh) 2009-08-12
US20070241863A1 (en) 2007-10-18
EP1705612A4 (en) 2012-07-04

Similar Documents

Publication Publication Date Title
JP4180600B2 (ja) 情報認識装置、情報認識方法、情報認識プログラム及び警報システム
US11615623B2 (en) Object detection in edge devices for barrier operation and parcel delivery
KR102408257B1 (ko) 조기에 위험을 경고하는 방법 및 장치
EP3012813B1 (en) Event detection system
Yun et al. Detecting direction of movement using pyroelectric infrared sensors
JP2020135243A (ja) モデル生成装置、予測装置、モデル生成方法、及びモデル生成プログラム
Gami Movement direction and distance classification using a single PIR sensor
US11219415B1 (en) Thermal imaging system for disease outbreak detection
CN104637242A (zh) 一种基于多分类器集成的老人跌倒检测方法及系统
US20210287798A1 (en) Systems and methods for non-invasive virus symptom detection
US20140218195A1 (en) Apparatus and Method for Rapid Human Detection with Pet Immunity
Gomes et al. Multi-human fall detection and localization in videos
Tsou et al. Counting people by using convolutional neural network and a PIR array
Raheja et al. Cross border intruder detection in hilly terrain in dark environment
TW201123087A (en) System and method for detecting multi-layer intrusion events and the computer program product thereof
CN116745580A (zh) 用于确定物理空间中的非静止对象的系统
JP4667130B2 (ja) 出力時間変化値生成装置、出力時間変化値生成方法及びプログラム
EP3414540B1 (en) Compressive sensing detector
Kamble et al. Fall alert: a novel approach to detect fall using base as a YOLO object detection
EP3617933B1 (en) Detecting room occupancy with binary pir sensors
Reddy et al. Automated facemask detection and monitoring of body temperature using IoT enabled smart door
Velychko et al. Artificial Intelligence Based Emergency Identification Computer System
EP2568414A1 (en) Surveillance system and method for detecting behavior of groups of actors
JPH06282654A (ja) 学習可能な保安装置とその方法
EP4207107A1 (en) Information processing program, information processing method, and information processing apparatus

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200580001807.6

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 2005517059

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 2005703554

Country of ref document: EP

Ref document number: 10585823

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Ref document number: DE

WWP Wipo information: published in national office

Ref document number: 2005703554

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 10585823

Country of ref document: US