WO2016199504A1 - 行動検知装置および行動検知方法ならびに被監視者監視装置 - Google Patents

行動検知装置および行動検知方法ならびに被監視者監視装置 Download PDF

Info

Publication number
WO2016199504A1
WO2016199504A1 PCT/JP2016/062487 JP2016062487W WO2016199504A1 WO 2016199504 A1 WO2016199504 A1 WO 2016199504A1 JP 2016062487 W JP2016062487 W JP 2016062487W WO 2016199504 A1 WO2016199504 A1 WO 2016199504A1
Authority
WO
WIPO (PCT)
Prior art keywords
action
predetermined
unit
behavior
determination result
Prior art date
Application number
PCT/JP2016/062487
Other languages
English (en)
French (fr)
Inventor
林 修二
藤原 浩次
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2016555632A priority Critical patent/JP6048630B1/ja
Publication of WO2016199504A1 publication Critical patent/WO2016199504A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to a behavior detection device and a behavior detection method for detecting a predetermined behavior of a monitored person.
  • the present invention relates to a monitored person monitoring apparatus that monitors the monitored person using the behavior detecting apparatus.
  • Japan is an aging society, more specifically the ratio of population over 65 years old to the total population due to the improvement of living standards accompanying the post-war high economic growth, improvement of sanitary environment and improvement of medical standards, etc. It is a super-aging society with an aging rate exceeding 21%.
  • the total population was about 126.5 million, while the elderly population over the age of 65 was about 25.56 million.
  • the total population was about 124.11 million.
  • the elderly population will be about 34.56 million.
  • nurses who need nursing or nursing care due to illness, injury, elderly age, etc., or those who need nursing care are those who need nursing in a normal society that is not an aging society.
  • monitored person monitoring techniques for monitoring a monitored person to be monitored, such as a care recipient, have been researched and developed.
  • the fall detection system disclosed in Patent Document 1 is a distance image sensor that detects a distance value of each pixel in a predetermined detection area, and a person's fall based on the distance value of each pixel detected by the distance image sensor.
  • the fall detection device sets a rectangular parallelepiped based on the outer shape of the person detected by the distance image sensor, and detects the fall of the person based on the aspect ratio of the rectangular parallelepiped. .
  • the fall detection system disclosed in Patent Document 1 detects the fall of a person based on the aspect ratio of the rectangular parallelepiped. For this reason, in the fall detection system disclosed in Patent Document 1, the distance image sensor expects a detection area obliquely from above. In such an arrangement position, for example, a part of the body such as a foot is shielded from the distance image sensor by furniture such as a desk or chair, so that the setting of the rectangular parallelepiped becomes inaccurate, and a person's fall is erroneously detected. End up. For this reason, in order to eliminate the shielding, a method of detecting the distance value of each pixel in the detection area from a plurality of angles by using a plurality of distance image sensors can be considered.
  • a plurality of distance image sensors are used.
  • the cost increases by using.
  • a method of arranging a distance image sensor so as to look directly under the detection area from the center of the detection area may be considered. Since the appearance from the image sensor is different, the aspect ratio cannot be obtained appropriately, and a person's fall is erroneously detected. For example, even when a person is in an upright state, the position immediately below the distance image sensor (the position immediately below) and the position away from the position immediately below the distance image sensor are different from each other and the aspect ratio is different.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is an action detection device capable of detecting a predetermined action in a monitored person with higher accuracy based on an image obtained by one imaging device. And a behavior detection method and a monitored person monitoring device using the behavior detection device.
  • the predetermined first and second parts of the human body are extracted from the image to be imaged, and the predetermined behavior of the monitored person is detected.
  • the predetermined action is finally determined based on at least one of the first and second determination results obtained based on the first and second parts by the first and second action detection algorithms. Therefore, the behavior detection device, the behavior detection method, and the monitored person monitoring device according to the present invention can detect the predetermined behavior of the monitored person with higher accuracy based on the image obtained by one imaging device.
  • the monitored person monitoring apparatus in the embodiment notifies the outside of the predetermined action detected by the action detecting unit and the action detecting unit that detects a predetermined action that is set in advance in the monitored person that is the monitoring target. And a notification unit. Then, the behavior detection unit determines each of the predetermined behaviors in the monitored person by using a plurality of different behavior detection algorithms based on the images of the imaging target obtained by imaging a predetermined range of imaging targets, and the plurality of determination results Based on at least one of them, the predetermined behavior of the monitored person is finally determined and detected.
  • a monitored person monitoring apparatus may be realized by being integrally configured as one device, and may be realized by a plurality of devices as a system.
  • the behavior detection unit may be mounted on any of the plurality of devices.
  • an embodiment of the monitored person monitoring apparatus will be described in the case where the monitored person monitoring apparatus is realized by a plurality of devices as a system. Note that, even when the monitored person monitoring apparatus is configured integrally as a single device, the monitored person monitoring apparatus can be configured similarly to the following description.
  • a case where the behavior detection unit is mounted on a sensor device SU described later together with the notification unit will be described here.
  • other devices in the system for example, a management server device SV described later, Even when mounted on the fixed terminal device SP or the portable terminal device TA, the monitored person monitoring device can be configured similarly to the following description.
  • the monitored person monitoring system MSa including the sensor device SUa as the first embodiment and the monitored person monitoring system MSb including the sensor device SUb as the second embodiment will be described in order.
  • FIG. 1 is a diagram illustrating a configuration of a monitored person monitoring system according to the embodiment.
  • FIG. 2 is a diagram illustrating a configuration of a sensor device in the monitored person monitoring system according to the first embodiment.
  • FIG. 3 is a diagram for explaining an arrangement mode of the sensor device in the monitored person monitoring system according to the embodiment.
  • the monitored person monitoring system MSa in the first embodiment of the example in which the monitored person monitoring apparatus is realized as a system is a monitored person (a watching target person) that is a monitoring target (a watching target) to be monitored (a watching target).
  • a predetermined action set in Ob (Ob-1 to Ob-4) is detected to monitor the monitored person Ob. For example, as shown in FIG.
  • a network such as a LAN (Local Area Network), a telephone network, and a data communication network.
  • NW network, communication line
  • the network NW may be provided with relays such as repeaters, bridges, routers, and cross-connects that relay communication signals.
  • the plurality of sensor devices SUa-1 to SUa-4, the management server device SV, the fixed terminal device SP, and the plurality of portable terminal devices TA-1 and TA-2 are wireless including an access point AP.
  • a LAN for example, a LAN according to the IEEE 802.11 standard
  • NW is connected to be communicable with each other.
  • the monitored person monitoring system MSa is arranged at an appropriate place according to the monitored person Ob.
  • the monitored person (person to be watched) Ob is, for example, a person who needs nursing due to illness or injury, a person who needs care due to a decrease in physical ability, a single person living alone, or the like.
  • the monitored person Ob may be a person who needs the detection when a predetermined inconvenient event such as an abnormal state occurs in the person. preferable.
  • the monitored person monitoring system MSa is suitably arranged in a building such as a hospital, an elderly welfare facility, or a dwelling unit according to the type of the monitored person Ob.
  • the monitored person monitoring system MSa is disposed in a building of a care facility that includes a plurality of rooms RM in which a plurality of monitored persons Ob and a plurality of rooms such as a nurse station ST are provided. .
  • the sensor device SUa is a device that has a communication function for communicating with other devices SV, SP, and TA via the network NW, detects the monitored person Ob, and transmits the detection result to the management server device SV. This sensor device SUa will be described in further detail later.
  • the management server device SV has a communication function for communicating with other devices SUa, SP, and TA via the network NW, and receives a detection result regarding the monitored person Ob and an image of the monitored person Ob from the sensor device SUa.
  • This is a device that manages information (monitoring information) related to monitoring of the monitored person Ob.
  • the management server apparatus SV stores (records) the monitoring information related to monitoring the monitored person Ob, and A communication signal (monitoring information communication signal) containing the monitoring information related to the monitoring of the observer Ob is transmitted to the fixed terminal device SP and the portable terminal device TA.
  • the management server device SV provides the client with data corresponding to the request of the client (in this embodiment, the fixed terminal device SP and the portable terminal device TA).
  • a management server device SV can be configured by, for example, a computer with a communication function.
  • the fixed terminal device SP includes a communication function for communicating with other devices SUa, SV, TA via the network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and the like.
  • a user interface of the monitored person monitoring system MS by inputting a predetermined instruction or data to be given to the management server SV or the portable terminal device TA, or displaying a detection result or an image obtained by the sensor device SUa. It is a device that functions as (UI).
  • Such a fixed terminal device SP can be configured by, for example, a computer with a communication function.
  • the mobile terminal device TA communicates with other devices SV, SP, SUa via the network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and a voice call. It has a calling function to perform, and inputs a predetermined instruction or data to be given to the management server device SV or the sensor device SUa, or displays the detection result or image obtained by the sensor device SUa by a notification from the management server device SV It is a device that receives and displays the monitoring information related to the monitoring of the monitored person Ob.
  • a portable terminal device TA can be configured by a portable communication terminal device such as a so-called tablet computer, a smartphone, or a mobile phone.
  • the sensor device SUa includes an imaging unit 1, a control processing unit 2a, a communication interface unit (communication IF unit) 3, and a storage unit 4a.
  • the imaging unit 1 is an apparatus that is connected to the control processing unit 2a and generates an image (image data) under the control of the control processing unit 2a.
  • the imaging unit 1 can monitor a space (location space, in the example shown in FIG. 1, where the monitored person Ob to be monitored) is to be monitored, above the location space. (For example, a ceiling surface, an upper wall surface, etc.), taking the location space as an imaging target from above, generating an image (image data) overlooking the imaging target, and controlling the imaging target image Output to 2a.
  • the imaging unit 1 generates a still image and a moving image.
  • Such an imaging unit 1 has a high probability of being able to image the entire location space (imaging target) so as not to be hidden. Therefore, as shown in FIG.
  • the imaging unit 1 is an example of an image acquisition unit that acquires an image of the imaging target obtained by capturing an imaging target within a predetermined range.
  • Such an imaging unit 1 may be a device that generates an image of visible light, but in the present embodiment, a device that generates an image of infrared light so that the monitored person Ob can be monitored even in a relatively dark place. It is.
  • such an imaging unit 1 has an imaging optical system that forms an infrared optical image of an imaging target on a predetermined imaging surface, and a light receiving surface that matches the imaging surface.
  • An image sensor that is arranged and converts an infrared optical image in the imaging target into an electrical signal, and image data that represents an infrared image in the imaging target by performing image processing on the output of the image sensor It is a digital infrared camera provided with the image processing part etc. which produce
  • the imaging optical system of the imaging unit 1 is a wide-angle optical system (see FIG. 1 and FIG. 3 that has a field angle) that can image the entire location space (the entire room RM in the example shown in FIGS. 1 and 3).
  • a so-called wide-angle lens (including a fisheye lens) is preferable.
  • the sensor apparatus SUa may further include an infrared illumination device that emits infrared rays.
  • the communication IF unit 3 is a communication circuit that is connected to the control processing unit 2a and performs communication according to the control of the control processing unit 2a.
  • the communication IF unit 3 generates a communication signal containing the data to be transferred input from the control processing unit 2a according to the communication protocol used in the network NW of the monitored person monitoring system MSa, and generates the generated communication signal. It transmits to other devices SV, SP, TA via the network NW.
  • the communication IF unit 3 receives a communication signal from another device SV, SP, TA via the network NW, extracts data from the received communication signal, and a format in which the control processing unit 2a can process the extracted data And output to the control processing unit 2a.
  • the communication IF unit 3 further uses, for example, standards such as Bluetooth (registered trademark) standard, IrDA (Infrared Data Association) standard, and USB (Universal Serial Bus) standard to input / output data to / from external devices.
  • standards such as Bluetooth (registered trademark) standard, IrDA (Infrared Data Association) standard, and USB (Universal Serial Bus) standard to input / output data to / from external devices.
  • An interface circuit may be provided.
  • the storage unit 4a is a circuit that is connected to the control processing unit 2a and stores various predetermined programs and various predetermined data under the control of the control processing unit 2a.
  • the various predetermined programs include, for example, a control processing program such as a monitoring processing program for executing information processing related to monitoring of the monitored person Ob.
  • the monitoring processing program includes a first part extraction program for extracting a predetermined first part of the human body from an image to be imaged acquired by the imaging unit 1, and a first part for detecting a predetermined action in the monitored person Ob. From the first action determination program for determining the predetermined action based on the first part extracted by the first part extraction program and the image of the imaging target acquired by the imaging unit 1 by using one action detection algorithm.
  • a second part extraction program for extracting a predetermined second part different from the first part in the human body, or a predetermined first part for detecting the predetermined action in the monitored person Ob, which is different from the first action detection algorithm.
  • the predetermined action is determined based on the second part extracted by the second part extraction program by using the two action detection algorithm.
  • a final determination program that finally determines the predetermined behavior based on a first determination result of the first behavior determination program and a second determination result of the second behavior determination program, and the final determination
  • a notification processing program for notifying the predetermined action detected by the program to the outside, a streaming processing program for streaming the moving image captured by the imaging unit 1 to the fixed terminal device SP or the mobile terminal device TA that requested the moving image, and the like included.
  • the various kinds of predetermined data include, for example, data necessary for executing each of the above-described programs such as threshold values Th described later, data necessary for monitoring the monitored person Ob, and the like.
  • the storage unit 4a includes, for example, a ROM (Read Only Memory) which is a nonvolatile storage element, an EEPROM (Electrically Erasable Programmable Read Only Memory) which is a rewritable nonvolatile storage element, and the like.
  • the storage unit 4a includes a RAM (Random Access Memory) that serves as a working memory for the so-called control processing unit 2a that stores data generated during execution of the predetermined program.
  • the control processing unit 2a controls each unit of the sensor device SUa according to the function of each unit, acquires an image of the imaging target obtained by imaging the imaging target from above by the imaging unit 1, and based on the acquired image This is a circuit for detecting and notifying a predetermined action in the monitored person Ob.
  • the control processing unit 2a includes, for example, a CPU (Central Processing Unit) and its peripheral circuits. When the control processing program is executed, the control processing unit 2a controls the control unit 21, the first part extracting unit 22, the first action determining unit 23, the second part extracting unit 24, the second action determining unit 25, and the final.
  • the determination unit 26a (26a-1, 26a-2), the notification processing unit 27, and the streaming processing unit 28 are functionally provided.
  • the control unit 21 controls each part of the sensor device SUa according to the function of each part, and controls the entire sensor device SUa.
  • the first part extraction unit 22 extracts a predetermined first part of the human body from the image to be imaged acquired by the imaging unit 1.
  • the first action determination unit 23 uses the first action detection algorithm for detecting the predetermined action in the monitored person Ob, and thereby the predetermined action based on the first part extracted by the first part extraction unit 22. Is determined. More specifically, in the present embodiment, for example, the first behavior determination unit 23 uses the first behavior detection algorithm, and based on the first part extracted by the first part extraction unit 22, the predetermined action. A first evaluation value representing the probability of occurrence of the action is obtained as a first determination result.
  • the second part extraction unit 24 extracts a predetermined second part different from the first part in the human body from the image to be imaged acquired by the imaging unit 1.
  • the second part may be a part completely different from the first part, may be a part having a wider range than the first part including the first part, and the first part may be It may be a part having a narrower range than the included first part.
  • the second behavior determination unit 25 uses a second behavior detection algorithm for detecting a predetermined behavior in the monitored person Ob, which is different from the first behavior detection algorithm, so that the second part extraction unit 24 extracts the first behavior.
  • the predetermined action is determined based on two parts. More specifically, in the present embodiment, for example, the second behavior determination unit 25 uses the second behavior detection algorithm, and based on the second part extracted by the second part extraction unit 24, the predetermined action A second evaluation value representing the probability of occurrence of the action is obtained as the second determination result.
  • the final determination unit 26 a finally determines a predetermined action in the monitored person Ob based on the first determination result of the first action determination unit 23 and the second determination result of the second action determination unit 25.
  • the final determination unit 26a determines that one of the first determination result (first evaluation value in the present embodiment) and the second determination result (second evaluation value in the present embodiment) is predetermined.
  • the predetermined action is finally determined based on the other of the first determination result and the second determination result when the threshold value Th is less than the threshold Th.
  • the final determination unit 26 determines the one of the first determination result and the second determination result as The final determination result obtained by finally determining the predetermined action is used.
  • the final determination unit 26a determines the second action when the first determination result (first evaluation value Va1 in the present embodiment) by the first action determination unit 23 is less than a predetermined first threshold value Th1.
  • the first determination result by the first action determination unit 23 It includes at least one of the final determination units 26a-2 of the second aspect that finally determines the predetermined behavior based on Va1).
  • the final determination unit 26a-1 of the first aspect is a final determination result obtained by finally determining the predetermined action.
  • the second determination result (second evaluation value Va2 in the present embodiment) by the second action determination unit 25 is equal to or greater than the predetermined second threshold Th2
  • the final determination unit 26a-2 of the second aspect Let the 2nd determination result be the final determination result which finally determined the predetermined action.
  • the predetermined threshold Th in the above-described example, each of the predetermined first and second thresholds Th1 and Th2 is set in advance to an appropriate value based on, for example, a plurality of samples.
  • the first part is a head
  • the predetermined action is a fall and a fall
  • the first action determination unit 23 determines the predetermined action based on the size of the head. Determine.
  • the first action determination unit 23 may further based on the position of the head when determining the predetermined action.
  • the second part is a main body part including at least the trunk of the trunk, arms, and legs, and the predetermined action is a fall and a fall, and a second action determination unit 25 determines the predetermined action based on the shape of the main body part and the position of the main body part.
  • the second behavior determining unit 25 may further determine the predetermined behavior based on the shape orientation of the main body part.
  • the second action determination unit 25 may further determine the predetermined action based on the moving speed of the main body part.
  • the notification processing unit 27 notifies a predetermined action (in this embodiment, a fall and a fall) in the monitored person Ob detected by the final determination unit 26a to the outside. More specifically, the notification processing unit 27 is information representing the detected predetermined behavior (state, situation) (detected behavior information (information representing one or more of falls and falls in the present embodiment)). , Identifier information for identifying and identifying the monitored person Ob in which the predetermined action is detected (identifier information for identifying and identifying the sensor device SUa detecting the monitored person Ob), and A communication signal (monitoring information communication signal) containing an image or the like used for detection of a predetermined action is generated and transmitted to the management server device SV by the communication IF unit 3.
  • a predetermined action in this embodiment, a fall and a fall
  • the notification processing unit 27 is information representing the detected predetermined behavior (state, situation) (detected behavior information (information representing one or more of falls and falls in the present embodiment)).
  • the streaming processing unit 28 when there is a video distribution request from the fixed terminal device SP or the portable terminal device TA via the network NW and the communication IF unit 3, the fixed terminal device SP or the portable terminal device that has made this request.
  • the moving image (for example, live moving image) generated by the imaging unit 1 is distributed to the TA via the communication IF unit 3 and the network NW by streaming reproduction.
  • FIG. 1 shows four first to fourth sensor devices SUa-1 to SUa-4 as an example, and the first sensor device SUa-1 is one of the monitored persons Ob.
  • the second sensor device SUa-2 is disposed in the room RM-1 (not shown) of Ob-1, and the second sensor device SUa-2 is arranged in the room RM-2 (not shown) of Mr. B Ob-2 who is one of the monitored persons Ob.
  • the third sensor device SUa-3 is disposed in a room RM-3 (not shown) of Mr. C Ob-3 who is one of the monitored subjects Ob, and the fourth sensor device SUa-4 is It is arranged in the room RM-4 (not shown) of Mr. D Ob-4, one of the monitored persons Ob.
  • the control processing unit 2a includes the control unit 21, the first part extracting unit 22, the first action determining unit 23, the second part extracting unit 24, and the second action determining unit. 25, the final determination unit 26a (26a-1, 26a-2), the notification processing unit 27, and the streaming processing unit 28 are functionally configured.
  • the monitored person monitoring system MSa having the above configuration generally monitors each monitored person Ob by the following operation.
  • the sensor device SUa acquires images by the imaging unit 1 at a time interval corresponding to a predetermined frame rate, and the control processing unit 2a performs predetermined actions on the monitored person Ob based on the images acquired by the imaging unit 1 ( If the monitored person Ob is determined to be the predetermined action set in advance (for example, falling or falling in this embodiment) as a result of this determination, the notification processing unit 27 Manages a communication signal (monitoring information communication signal) containing monitoring information such as determination result information indicating the determination result determined as the state of the monitored person Ob and image data of a still image of the monitored person Ob via the network NW. Transmit to server device SV. Note that an operation (behavior detection operation) for detecting a fall and a fall will be described in detail later.
  • the management server device SV When the management server device SV receives the monitoring information communication signal from the sensor device SUa via the network NW, the management server device SV stores monitoring information such as determination result information and still image data stored in the monitoring information communication signal in its storage unit. (Record). Then, the management server device SV transmits a monitoring information communication signal containing monitoring information such as the determination result information and still image data to the terminal device (in this embodiment, the fixed terminal device SP and the portable terminal device TA). . As a result, the state (situation) of the monitored person Ob is notified to a monitor such as a nurse or a caregiver via the terminal devices SP and TA.
  • the fixed terminal device SP and the portable terminal device TA When receiving the monitoring information communication signal from the management server device SV via the network NW, the fixed terminal device SP and the portable terminal device TA display the monitoring information accommodated in the monitoring information communication signal.
  • the monitored person monitoring system MS detects each monitored person Ob by each sensor device SUa, the management server device SV, the fixed terminal device SP, and the portable terminal device TA, and each monitored person. Ob is being monitored.
  • the sensor device SUa has the first mode final determination unit 26a-1.
  • the operation of the first mode of the sensor device SUa according to the above and the operation of the second mode of the sensor device SUa by the final determination unit 26a-2 of the second mode will be described in order below.
  • FIG. 4 is a flowchart showing the operation of the first mode of the sensor device in the monitored person monitoring system of the first embodiment.
  • FIG. 5 is a flowchart showing the operation of the second mode of the sensor device in the monitored person monitoring system of the first embodiment.
  • FIG. 6 is a diagram for explaining a determination method for determining a fall and a fall considering the position of a part.
  • FIG. 7 is a diagram for explaining a determination method for determining a fall and a fall based on the shape of the main body part.
  • FIG. 7A shows a case where the monitored person Ob is located almost directly below the imaging unit 1 and changes from a standing posture to a lying posture, and FIG. The case where the standing posture is changed to the lying posture is shown.
  • the sensor device SUa sequentially acquires images by the imaging unit 1 at time intervals corresponding to a predetermined frame rate, and the following operations are performed for each image of each frame.
  • the control processing unit 2a acquires an image of the imaging target obtained by imaging the imaging target within a predetermined range by the imaging unit 1 (S11).
  • the imaging unit 1 takes the location space of the monitored person Ob as an imaging target, and looks down the location space vertically downward from the ceiling, according to the angle of view of the imaging optical system.
  • the generated image of the location space is output to the control processing unit 2a.
  • control processing unit 2a uses the first part extraction unit 22 to extract the first part, in this embodiment, the head (S12).
  • the first part extraction unit 22 determines the first part, in the present embodiment, the head (the image area of the head) from the image of the location space (image to be captured) acquired in step S11.
  • the shape of the head is assumed to be an elliptical shape, and the image of the location space is subjected to a so-called generalized Hough transform, thereby extracting the elliptical shape, ie, the head, in the image of the location space.
  • a known image processing technique is disclosed in, for example, the literature; “Makoto Murakami,“ Research on Feature Representation and Region Extraction in Human Head Recognition ”, March 2003, Waseda University.
  • a head shape such as an ellipse or circle of the shape of the part or a head shape such as an ellipse or circle, or by fitting a closed curve such as so-called Snake.
  • these methods are used in combination with color information such as skin color and black color, motion information for determining whether or not a person is based on the presence or absence of motion, and the like. For example, an area that is not skin-colored or black in the image, an area that does not move at all in the image, and an aspect ratio is Comparatively frequently changing region in a short time is determined not to be the head.
  • the candidate area having the highest so-called score obtained by pattern matching may be the head, but in order to extract the head more accurately, the sizes, positions, scores, etc. in the plurality of candidate areas
  • the head may be extracted based on. For example, an average value of sizes in a plurality of candidate regions is obtained, and a candidate region having a size closest to the average value is set as the head.
  • the average value may be obtained by a simple average, or may be obtained by a weighted average using the scores of the candidate regions as weights.
  • the multi-resolution strategy generates a plurality of low-resolution images having resolutions lower than the original image and different from each other from the original image, and selects an extraction target (head in this embodiment) from the lower-resolution image having a lower resolution.
  • the extracted area is extracted as a candidate area for extracting the extraction target with a low-resolution image having the next highest resolution, and the extraction is performed sequentially from the low-resolution image with the lowest resolution to the original image. This is a method of extracting objects.
  • control processing unit 2a uses the first behavior detection unit 23 to detect a predetermined behavior in the monitored person Ob by the first behavior determination unit 23, thereby causing the first part extraction unit 22 to perform processing S12.
  • the predetermined action is determined based on the extracted first part (S13).
  • the first part is the head
  • the predetermined action is a fall and a fall
  • the first action determination unit 23 uses the first action detection algorithm.
  • the presence or absence of a fall and the presence or absence of a fall are determined based on the size of the head extracted in step S12.
  • the size of the head changes depending on the posture of the monitored person Ob.
  • the presence / absence of a fall and the presence / absence of a fall can be determined based on the size of each.
  • the fall is a change of the monitored person Ob from a standing posture or a sitting posture to a lying posture on the floor or the like.
  • a predetermined threshold (falling determination threshold) Thr that can distinguish between the size of the head in the standing posture and the sitting posture and the size of the head in the lying posture on the floor surface is, for example, a plurality of
  • the first action determination unit 23 determines whether or not there is a fall by comparing the size of the head extracted in step S12 with the fall determination threshold Thr. Further, the fall is a fall of the monitored person Ob from a high position to a low position along the vertical direction, for example, a fall from the bedding BT to the floor surface or the like.
  • the size of the head at the high position is distinguished from the size of the head at the low position (for example lying on the floor).
  • a predetermined threshold (falling determination threshold) Thc that can be set is appropriately set in advance by using, for example, a plurality of samples. To determine whether or not there is a fall.
  • the first action determination unit 23 obtains, as a first determination result, a first evaluation value Va1 representing the probability of occurrence of a predetermined action in the monitored person Ob.
  • the first determination result is divided into four stages as the probability of the occurrence of the fall, the fall sure, the possibility of fall, the fall cannot be judged (fall is unknown), and the non-fall sure Accordingly, the fall determination threshold value Thr is set to three first to third fall determination threshold values Thr1 to Thr3 for separating them (Thr1 ⁇ Thr2 ⁇ Thr3). Then, the first action determination unit 23 compares the head size extracted in step S12 with the first to third fall determination threshold values Thr1 to Thr3, and the head size HS extracted in step S12 is the first size.
  • Thr1 When it is equal to or less than one fall determination threshold Thr1 (HS ⁇ Thr1), it is determined that the fall is certain, and a first evaluation value (first fall certain evaluation value) Var11 indicating the certain fall is obtained and extracted in process S12 If the size HS of the head is greater than the first fall determination threshold Thr1 and less than or equal to the second fall determination threshold Thr2 (Thr1 ⁇ HS ⁇ Thr2), it is determined that there is a possibility of the fall, and the possibility of the fall A first evaluation value (first fall possibility evaluation value) Var12 indicating presence is obtained, and the head size HS extracted in step S12 is greater than the second fall determination threshold Thr2 and equal to or less than the third fall determination threshold Thr3.
  • the first fall certain evaluation value Var11, the first fall possibility evaluation value Var12, the first fall unknown evaluation value Var13, and the first non-fall fall certain evaluation value Var14 are values set in advance as appropriate values, respectively.
  • the first fall certainty evaluation value Var11 is set to “2”
  • the first fall possibility evaluation value Var12 is set to “1”
  • the first fall unknown evaluation value Var13 is set to “0”.
  • the first non-falling reliable evaluation value Var14 is set to “ ⁇ 1”.
  • Each value in the first fall certain evaluation value Var11, the first fall possibility evaluation value Var12, the first fall unknown evaluation value Var13, and the first non-fall certain reliability evaluation value Var14 is not limited to this. If 1 fall certainty evaluation value Var11> 1st fall possibility evaluation value Var12> 1st fall unknown evaluation value Var13> 1st non-falling reliable evaluation value Var14, any value may be sufficient.
  • the first determination result is a four-stage of the certainty of the occurrence of the fall, the fall sure, the possibility of fall, the fall cannot be judged (fall unknown), and the non-fall sure
  • the fall determination threshold value Thc is set to three first to third fall determination threshold values Thc1 to Thc3 for dividing them (Thc1 ⁇ Thc2 ⁇ Thc3).
  • the first action determination unit 23 compares the head size extracted in step S12 with the first to third fall determination thresholds Thc1 to Thc3, and the head size HS extracted in step S12 is the first size.
  • step S12 When it is equal to or less than one fall determination threshold Thc1 (HS ⁇ Thc1), it is determined that the fall is certain, and a first evaluation value (first fall certain evaluation value) Vac11 indicating the fall certainty is obtained and extracted in step S12. If the head size HS is greater than the first fall determination threshold Thc1 and less than or equal to the second fall determination threshold Thc2 (Thc1 ⁇ HS ⁇ Thc2), it is determined that there is a possibility of the fall, and the possibility of the fall A first evaluation value (first fall possibility evaluation value) Vac12 indicating the presence is obtained, and the head size HS extracted in step S12 is greater than the second fall determination threshold Thc2 and equal to or less than the third fall determination threshold Thc3.
  • the first fall certain reliability evaluation value Vac11, the first fall possibility assessment value Vac12, the first fall unknown evaluation value Vac13, and the first non-fall fall certain evaluation value Vac14 are values set in advance as appropriate values, respectively.
  • the first fall certain evaluation value Vac11 is set to “2”
  • the first fall possibility evaluation value Vac12 is set to “1”
  • the first fall unknown evaluation value Vac13 is set to “0”.
  • the first non-falling reliability evaluation value Vac14 is set to “ ⁇ 1”.
  • Each value in the first fall certain evaluation value Vac11, the first fall possibility evaluation value Vac12, the first fall unknown evaluation value Vac13, and the first non-fall certain evaluation value Vac14 is not limited to this. If 1 fall certain reliability evaluation value Vac11> 1st fall possibility evaluation value Vac12> 1st fall unknown evaluation value Vac13> 1st non-fall fall certain evaluation value Vac14, arbitrary value may be sufficient.
  • the first action determination unit 23 can detect whether or not a fall has occurred and whether or not a fall has occurred based on the size of the head.
  • an algorithm for determining the presence or absence of a fall and the presence or absence of a fall based on the size of the head is used as the first action detection algorithm.
  • the first action determination unit 23 performs a predetermined action (in this embodiment) in the monitored person Ob based on the size of the head and the position of the head extracted in process S12. (Falling and falling) may be determined.
  • a predetermined action in this embodiment
  • the area AR1 of the bedding BT on the image is stored in the storage unit 4a in advance, and the first action determination unit 23 determines that the position of the head extracted in step S12 is the area of the bedding BT. If it is within AR1, it is determined that there is no fall over certain and no fall fall certain, and a first non fall over certain evaluation value Var14 and a first non fall over certain evaluation value Vac14 are obtained. Further, for example, as shown in FIG.
  • a peripheral area AR2 of the bedding BT with a predetermined width on the image (a peripheral area with a predetermined width from one bedside in the example shown in FIG. 6) is stored in the storage unit 4 a in advance.
  • the first action determination unit 23 is a case where the size HS of the head extracted in the process S12 is equal to or smaller than the first fall determination threshold Thc1 (HS ⁇ Thc1), and the position of the head is the peripheral area AR2. If it is within the range, it is determined that the fall is sure and the first fall certain evaluation value Vac11 is obtained.
  • the size HS of the head is equal to or less than the first fall determination threshold Thc1 (HS ⁇ Thc1)
  • the size HS of the head is equal to or less than the second fall determination threshold Thc2.
  • HS ⁇ Thc2 may be used.
  • the floor area AR3 excluding the peripheral area AR2 on the image is stored in the storage unit 4a in advance, and the first action determination unit 23 extracts the head portion extracted in step S12. If the magnitude HS is equal to or less than the first fall determination threshold Thr1 (HS ⁇ Thr1) and the position of the head is within the area AR3 of the floor, it is determined that the fall is sure and the first fall A certain evaluation value Var11 is obtained.
  • the head size HS is equal to or smaller than the first fall determination threshold value Thr1 (HS ⁇ Thr1)
  • the head size HS is equal to or smaller than the second fall determination threshold value Thr2 ( HS ⁇ Thr2) may be used. According to this, it is possible to detect whether or not a fall has occurred and whether or not a fall has occurred in consideration of the head position.
  • the final determination unit 26a-1 detects a predetermined action (falling and falling in the present embodiment) in the monitored person Ob based on the first determination result of the first action determination unit 23. It is determined whether it has been done (S14). As a result of this determination, when the predetermined action is detected (Yes), the control processing unit 2a next executes the process S18, while when the predetermined action is not detected (No). Next, the control processing unit 2a executes step S15.
  • the final determination unit 26a-1 compares the first determination result by the first action determination unit 23 with a predetermined first threshold value Th1, and as a result, the first determination by the first action determination unit 23 is performed.
  • the control processing unit 2a uses the first determination result as the final determination result that finally determines the predetermined action in the monitored person Ob.
  • processing S18 is performed, and on the other hand, when the first determination result by the first action determination unit 23 is less than the predetermined first threshold Th1 (No), based on the second determination result by the second action determination unit 25.
  • the control processing unit 2a next executes step S15.
  • the first action determination unit 23 obtains the first evaluation value Va1 as the first determination result, and the predetermined action in the monitored person Ob includes falling and First, in the case of a fall, the final determination unit 26a-1 first falls over the first evaluation values Var1 and 2 (an example of the first threshold Th1) obtained by the first action determination unit 23 in step S13.
  • the first evaluation value Var1 of the fall determined by the first action determination unit 23 is 2 or more (Yes)
  • it is finally determined that there is a fall and the control processing unit 2a
  • the second action determination unit 25 performs the second process S18.
  • the control processing unit 2a next executes a process S15.
  • the final determination unit 26a-1 compares the first evaluation value Vac1 of the fall obtained by the first action determination unit 23 in process S13 with 2 (an example of the first threshold Th1).
  • the control processing unit 2a next performs the process S18.
  • the control processing unit 2a next executes a process S15.
  • control processing unit 2a extracts the second part, that is, the main part in this embodiment, by the second part extraction unit 24.
  • the second part extraction unit 24 determines the second part, in this embodiment, the main part (image area of the main part) from the image of the location space (image to be imaged) acquired in step S11.
  • the second part extraction unit 24 extracts a moving body region as a main body part from the image of the location space (image to be captured) acquired in step S11.
  • the remaining moving body region excluding the head region from the extracted moving body region may be the main body part.
  • a background difference method or an inter-frame difference method is used for the extraction of the moving object region.
  • a background image is obtained in advance and stored in advance in the storage unit 4a as one of the various predetermined data
  • a moving object region is obtained from the difference image between the image generated by the imaging unit 1 and the background image. Is extracted.
  • a moving object region is extracted from a difference image between an image of a current frame and an image of a past frame (for example, the previous frame) generated by the imaging unit 1. From the viewpoint of improving the extraction accuracy, color information such as skin color and black may be used in combination with these methods.
  • control processing unit 2a uses the second behavior detection algorithm for detecting the predetermined behavior in the monitored person Ob by the second behavior determination unit 25, so that the second part extraction unit 24 in the process S15.
  • the predetermined action is determined based on the extracted second part (S16).
  • the second part is a main body part including at least the trunk of the trunk, arms, and legs, and the predetermined action is falling and falling.
  • the second action determination unit 25 uses the second action detection algorithm to determine the presence or absence of a fall and the presence or absence of a fall based on the shape and position of the main body part extracted in step S15.
  • the fall is a change of the monitored person Ob from a standing position or a sitting position to a lying position such as on the floor surface, and the fall is a high position where the monitored person Ob is along the vertical direction.
  • the image acquired by the imaging unit 1 is viewed from above the location space, in the present embodiment, looking down vertically from the ceiling in the present embodiment. It is the image which imaged space.
  • the area AR1 of the bedding BT on the image, the peripheral area of the bedding BT with a predetermined width on the image (the peripheral area of the predetermined width from one bedside in the example shown in FIG. 6) ) AR2 and the floor area AR3 excluding the peripheral area AR2 on the image are stored in the storage unit 4a in advance, and the second action determination unit 25 obtains the position and shape of the main body part extracted in step S15.
  • the position of the main body part extracted in the process S15 is in the floor area AR3 and the shape thereof is a substantially rectangular shape, it is determined that there is a fall, and the second action determination unit 25 performs the process S15.
  • the second behavior determination unit 25 may further be based on the orientation of the shape of the main body part. For example, in the area excluding the area AR1 of the bedding BT (that is, the peripheral area AR2 and the floor area AR3), as shown in FIG. 7A, when the monitored person Ob is located almost directly below the imaging unit 1, the monitored person When Ob is in a standing posture, the shape of the main body part is a substantially square shape.
  • the shape of the main body part is a substantially rectangular shape.
  • the vertically long direction in the shape is a direction along the radiation extending radially from the center position of the image.
  • the monitored person Ob is located at a position away from a position almost directly below the imaging unit 1.
  • the shape of the main body part When positioned, if the monitored subject Ob is in a standing posture, the shape of the main body part is a substantially rectangular shape, and the vertically long direction in the shape is a direction along radiation extending radially from the center position of the image
  • the shape of the main body part When the monitored person Ob falls and takes a lying posture on the floor or the like, the shape of the main body part is a substantially rectangular shape, and the vertically long direction in the shape extends radially from the center position of the image.
  • the direction of crossing radiation since the direction of the shape in the main body part changes relatively rapidly with time, the second behavior determination unit 25 may further be based on the time change of the direction of the shape.
  • the second behavior determination unit 25 may further be based on the change with time of the shape. Further, for example, in the case of a fall, the body part moves relatively rapidly from the area AR1 of the bedding BT to the area excluding the area AR1 of the bedding BT (that is, the peripheral area AR2 and the floor area AR3). The part 25 may be further based on the moving speed of the main body part.
  • the second action determination unit 25 obtains the second evaluation value Va2 representing the probability of occurrence of the predetermined action in the monitored person Ob as the second determination result.
  • the second determination result is the probability of the occurrence of a fall, the fall is surely possible, the fall is likely, the fall cannot be judged (fall is unknown), and the non-fall is certain
  • the second behavior determination unit 25 determines the presence or absence of a fall under each of a plurality of conditions, obtains a score corresponding to each determination result, and second evaluation of the fall corresponding to each stage based on the total score
  • the value Var2 is determined. More specifically, the second action determination unit 25 obtains the position and shape of the main body part extracted in step S15, and the position of the main body part is in the floor area AR3, and the shape is substantially rectangular.
  • Second evaluation value second fall certainty evaluation value
  • the second determination result is a four-stage of the certainty of the occurrence of the fall, the fall sure, the possibility of fall, the fall cannot be judged (fall unknown), and the non-fall sure It is divided into.
  • the second behavior determination unit 25 determines the presence or absence of a fall under each of a plurality of conditions, obtains a score according to each determination result, and second evaluation of the fall corresponding to each stage based on the total score The value Vac2 is obtained. More specifically, the second action determination unit 25 obtains the position and shape of the main body part extracted in step S15, the position of the main body part is in the peripheral area AR2, and the shape is substantially rectangular.
  • the second behavior determining unit 25 obtains the position, shape, and moving speed of the main body part extracted in the process S15, and as described above, the substantially rectangular main body part is obtained.
  • Whether or not a fall has occurred is determined based on whether or not the bedding BT has moved from the area AR1 to the surrounding area AR2 at a speed greater than a predetermined threshold. If it is determined that a fall has occurred, for example, “1” ”And“ 0 ”as the score for the determination of no fall. And the 2nd action determination part 25 totals the score obtained from each of these two conditions, and when this total score is "2", it determines with the said fall certainty, and falls at the total score.
  • the second evaluation value (second non-falling certainty evaluation value) Vac indicating the non-falling certainty at the total point 4 ( - 1) obtained.
  • the second action determination unit 23 can detect whether or not a fall has occurred and whether or not a fall has occurred based on the shape and position of the main body part, and the occurrence of a fall in consideration of the direction of the shape of the main body part. In addition, it is possible to detect whether or not a fall has occurred and whether or not a fall has occurred and whether or not a fall has occurred can be detected in consideration of the moving speed of the body part.
  • an algorithm for determining the presence or absence of a fall and the presence or absence of a fall based on the shape or the like of the main body part is used as the second behavior detection algorithm.
  • the final determination unit 26a-1 detects a predetermined action (falling and falling in the present embodiment) in the monitored person Ob based on the second determination result of the second action determination unit 25. It is determined whether it has been done (S17). As a result of this determination, when the predetermined action is detected (Yes), the control processing unit 2a next executes the process S18, while when the predetermined action is not detected (No). The control processing unit 2a ends the process.
  • the final determination unit 26a-1 compares the second determination result by the second action determination unit 25 with a predetermined second threshold Th2, and as a result, the second determination by the second action determination unit 25
  • the control processing unit 2a uses the second determination result as the final determination result that finally determines the predetermined action in the monitored person Ob.
  • the process S18 is executed.
  • the control processing unit 2a determines the predetermined value in the monitored person Ob. If no action is detected, the process is terminated.
  • the second action determination unit 25 obtains the second evaluation value Va2 as the second determination result, and the predetermined action in the monitored person Ob includes falls and First, in the case of a fall, the final determination unit 26a-1 causes the second evaluation values Var2 and 2 of the fall obtained by the second action determination unit 25 in step S16 (an example of a second threshold Th2).
  • the control processing unit 2a determines whether there is a fall. If the second evaluation value Var2 of the fall determined by the second action determination unit 25 is 2 or more (Yes), it is finally determined that there is a fall, and the control processing unit 2a On the other hand, if the second evaluation value Var2 of the fall determined by the second action determination unit 25 in step S16 is less than 2 (No), the control processing unit 2a Detects certain actions in Ob As there was no, the process is terminated. Similarly, in the case of a fall, the final determination unit 26a-1 compares the second evaluation value Vac2 of the fall obtained by the second action determination unit 25 in process S16 with 2 (an example of the second threshold Th2).
  • the control processing unit 2a When the second evaluation value Vac2 of the fall determined by the second action determination unit 25 is 2 or more (Yes), it is finally determined that there is a fall, and the control processing unit 2a next performs the process S18. On the other hand, when the second evaluation value Vac2 of the fall determined by the second action determination unit 25 in the process S16 is less than 2 (No), the control processing unit 2a performs the predetermined process in the monitored person Ob. If no action is detected, the process is terminated.
  • the final determination unit 26a-1 outputs a fall result to the notification processing unit 27 as a determination result when it is determined that there is a fall, and a fall as the determination result when it is determined that there is a fall. “Yes” is output to the notification processing unit 27.
  • the notification processing unit 27 transmits the monitoring information communication signal to the management server device SV via the network NW as described above.
  • the final determination unit 26a-1 weights the first determination result and the second determination result.
  • the predetermined behavior may be finally determined based on the added weighted addition result.
  • the first weight of the first determination result and the second weight of the second determination result are respectively set to appropriate values in advance by using a plurality of samples, for example, and stored in the storage unit 4a in advance.
  • the process S ⁇ is executed between the process S16 and the process S17 described above.
  • the first and second determination results when one of the first and second determination results indicates a result of determining the predetermined behavior in the monitored person Ob more appropriately than the other, the first and second determination results are given superiority or inferiority.
  • a weighted addition result for finally determining the predetermined action can be obtained, and the predetermined action can be detected with higher accuracy.
  • the sensor device SUa sequentially acquires images by the imaging unit 1 at time intervals corresponding to a predetermined frame rate, and the following operations are performed for each image of each frame.
  • control processing unit 2a acquires the image of the imaging target obtained by imaging the imaging target within a predetermined range by the imaging unit 1 in the same manner as the processing S11 (S21).
  • control processing unit 2a uses the second part extraction unit 24 to extract the second part, in this embodiment, the main body part, similarly to the process S15 (S22).
  • control processing unit 2a uses the second behavior detection algorithm for detecting the predetermined behavior in the monitored person Ob by the second behavior determination unit 25 in the same manner as the processing S16.
  • the predetermined action is determined based on the second part extracted by the two-part extraction unit 24 (S23).
  • the control processing unit 2a causes the final determination unit 26a-2 to perform a predetermined action (in this embodiment) on the monitored person Ob based on the second determination result of the second action determination unit 25. It is determined whether or not (falling and falling) has been detected (S24). As a result of this determination, when the predetermined action is detected (Yes), the control processing unit 2a next executes the process S28, while when the predetermined action is not detected (No). Next, the control processing unit 2a executes step S25.
  • the final determination unit 26a-2 compares the second determination result (second evaluation values Var2, Vac2) by the second action determination unit 25 with a predetermined second threshold value Th2, and as a result, 2
  • the second determination result by the action determination unit 25 is equal to or greater than the predetermined second threshold Th2 (Yes)
  • the second determination result is used as the final determination for finally determining the predetermined action in the monitored person Ob.
  • the control processing unit 2a next executes the process S28, and on the other hand, when the second determination result by the second action determining unit 25 is less than the predetermined second threshold Th2 (No), the first action determination In order to finally determine the predetermined action based on the first determination result by the unit 23, the control processing unit 2a next executes a process S25.
  • control processing unit 2a extracts the first part, that is, the head in the present embodiment, by the first part extracting unit 22, similarly to the process S12.
  • control processing unit 2a uses the first action detection algorithm for detecting the predetermined action in the monitored person Ob by the first action determining unit 23, and the first action determination unit 23 in the process S15.
  • the predetermined action is determined based on the first part extracted by the one part extracting unit 22 (S26).
  • the control processing unit 2a causes the final determination unit 26a-1 to perform a predetermined action (in this embodiment) on the monitored person Ob based on the first determination result of the first action determination unit 23. It is determined whether or not (falling and falling) has been detected (S27). As a result of this determination, when the predetermined action is detected (Yes), the control processing unit 2a next executes the process S28, while when the predetermined action is not detected (No). The control processing unit 2a ends the process.
  • the final determination unit 26a-2 compares the first determination result (first evaluation values Var1, Vac1) by the first action determination unit 23 with a predetermined first threshold value Th1, and as a result, When the first determination result by the one action determination unit 23 is equal to or greater than the predetermined first threshold value Th1 (Yes), the first determination result is used to finally determine the predetermined action in the monitored person Ob. As a result, the control processing unit 2a next executes step S28. On the other hand, when the first determination result by the first action determining unit 23 is less than the predetermined first threshold Th1 (No), the control processing unit 2a Terminates the processing, assuming that the predetermined behavior in the monitored person Ob has not been detected.
  • the final determination unit 26a-1 outputs the result of the fall to the notification processing unit 27 as a determination result when it is determined that there is a fall, and when the fall is determined. Outputs the presence of a fall to the notification processing unit 27 as a determination result. Receiving this, the notification processing unit 27 transmits the monitoring information communication signal to the management server device SV via the network NW as described above.
  • the final determination unit 26a-2 weights the first determination result and the second determination result.
  • the predetermined behavior may be finally determined based on the added weighted addition result.
  • the first weight of the first determination result and the second weight of the second determination result are respectively set to appropriate values in advance by using a plurality of samples, for example, and stored in the storage unit 4a in advance.
  • a process S ⁇ is executed between the above-described processes S26 and S27.
  • the final determination unit 26a-2 obtains a weighted addition result by weighted addition of the first determination result and the second determination result. Then, the final determination unit 26a-2 executes the above-described process S27 using the weighted addition result obtained in this process S ⁇ instead of the first determination result by the first action determination unit 23. According to this, when one of the first and second determination results indicates a result of determining the predetermined behavior in the monitored person Ob more appropriately than the other, the first and second determination results are given superiority or inferiority. Thus, a weighted addition result for finally determining the predetermined action can be obtained, and the predetermined action can be detected with higher accuracy.
  • the sensor device SUa as an example that implements the behavior detection device and the behavior detection method and the monitored person monitoring system MSa that is an example of the monitored person monitoring device are the imaging unit 1 that is an example of an image acquisition unit.
  • First and second parts that are different from each other are extracted from the acquired image, and the first and second behavior detection algorithms that are different from each other based on the first and second parts, respectively.
  • the first and second determination results are obtained, respectively, and predetermined actions (falling and falling in this embodiment) in the monitored person Ob are finally determined based on the first and second determination results.
  • the sensor device SUa and the monitored person monitoring system MSa finally determine a predetermined action in the monitored person Ob based on the two first and second determination results previously determined in this way. Based on the image obtained by the imaging device, it is possible to detect the predetermined action in the monitored person Ob with higher accuracy.
  • the sensor device SUa and the monitored person monitoring system MSa have the first determination result (the first evaluation value Va1) and the second determination result (the second evaluation value) as shown in each process after the process S14 and each process after the process S24.
  • the other determination result the other evaluation value Va
  • the sensor device SUa and the monitored person monitoring system MSa can determine the predetermined action in the monitored person Ob in a stepwise manner, and can detect the predetermined action with higher accuracy.
  • the sensor device SUa and the monitored person monitoring system MSa are one of the first determination result (first evaluation value Va1) and the second determination result (second evaluation value Va2) as shown in the processing S14 and the processing S24. Is greater than or equal to the predetermined thresholds Th1 and Th2, and the occurrence of the predetermined action is certain in the monitored person, the predetermined action is finalized based on the other determination result (the other evaluation value) The final determination result can be obtained without making an automatic determination. For this reason, the sensor device SUa and the monitored person monitoring system MSa can obtain the final determination result obtained by detecting the predetermined action in the monitored person more accurately.
  • the final determination unit 26a (26a-1, 26a-2) includes the first determination result (first evaluation value Va1) and the second determination result (second evaluation value Va2).
  • One of the first determination result and the second determination result is set as a final determination result that finally determines the predetermined action, and one of the first determination result and the second determination result is When one of the first determination result and the second determination result is less than a predetermined threshold Th1, Th2, the predetermined action is finalized based on the other of the first determination result and the second determination result.
  • the final determination unit 26b calculates the first determination result (first evaluation value Va1) and the second determination result (second evaluation value Va2). Based on both, the predetermined action is It is intended to determine manner.
  • FIG. 8 is a diagram illustrating a configuration of a sensor device in the monitored person monitoring system according to the second embodiment.
  • the monitored person monitoring system MSb in the second embodiment includes, for example, as shown in FIG. 1, one or a plurality of sensor devices SUb (SUb-1 to SUb-4), a management server device SV, and a fixed terminal device SP. And one or a plurality of portable terminal devices TA (TA-1, TA-2).
  • the management server device SV, fixed terminal device SP, and one or a plurality of portable terminal devices TA (TA-1, TA-2) in the monitored person monitoring system MSb of the second embodiment are the same as those of the first embodiment. Since it is the same as the management server device SV, the fixed terminal device SP, and one or a plurality of portable terminal devices TA (TA-1, TA-2) in the supervisor monitoring system MSa, description thereof is omitted.
  • the sensor device SUb in the second embodiment includes, for example, an imaging unit 1, a control processing unit 2b, a communication IF unit 3, and a storage unit 4b as shown in FIG.
  • the imaging unit 1 and the communication IF unit 3 in the sensor device SUb of the second embodiment are the same as the imaging unit 1 and the communication IF unit 3 in the sensor device SUa of the first embodiment, respectively, and thus description thereof is omitted. .
  • the storage unit 4b is the same as the storage unit 4a, and further stores weight information that is the first and second weights of the first and second determination results used in the weighted addition.
  • this weight information is not one (one set) but a plurality of sets of first and second weights associated with a plurality of positions on the image of the monitored person Ob.
  • first weight second weight
  • the second weight is A value larger than the first weight is set (first weight ⁇ second weight).
  • the storage unit 4b functionally includes a weight information storage unit 41.
  • the weight information storage unit 41 stores the weight information in a look-up table in which the position of the monitored person Ob on the image is associated with the first and second weights at the position.
  • control processing unit 2b controls each unit of the sensor device SUb according to the function of each unit, and acquires the image of the imaging target obtained by imaging the imaging target from above by the imaging unit 1. And a circuit for detecting and notifying a predetermined action in the monitored person Ob based on the acquired image.
  • part extraction part 24, the 2nd action determination part 25, the final determination part 26b, the notification process part 27, the streaming process part 28, and the position calculating part 29 are provided functionally.
  • the control unit 21 the first part extraction unit 22, the first behavior determination unit 23, the second part extraction unit 24, the second behavior determination unit 25, the notification processing unit 27, and the streaming process in the control processing unit 2b of the second embodiment.
  • the units 28 are the control unit 21, the first part extraction unit 22, the first action determination unit 23, the second part extraction unit 24, the second action determination unit 25, and the notification process, respectively, in the control processing unit 2b of the first embodiment. Since it is the same as the unit 27 and the streaming processing unit 28, the description thereof is omitted.
  • the position calculation unit 29 obtains a position of the monitored person Ob on the image based on at least one of the first part extracted by the first part extraction unit 22 and the second part extracted by the second part extraction unit 24. .
  • the position calculation unit 29 obtains the position of the monitored person Ob on the image based on the first part extracted by the first part extraction unit 22, here the head.
  • the position calculation unit 29 determines the position of the monitored person Ob on the image based on the first part extracted by the first part extraction unit 22 and the second part extracted by the second part extraction unit 24.
  • the position calculating unit 29 may determine the position of the monitored person Ob on the image based on the second part extracted by the second part extracting unit 24, here the main body part.
  • the final determination unit 26b Similar to the final determination unit 26a, the final determination unit 26b finally performs a predetermined action on the monitored person Ob based on the first determination result of the first action determination unit 23 and the second determination result of the second action determination unit 25.
  • the predetermined action is finally determined based on both the first determination result and the second determination result. More specifically, the final determination unit 26b weights and adds the first determination result (first evaluation value Va1) and the second determination result (second evaluation value Va2), and adds the weighted addition result to the weighted addition result. Based on this, a predetermined action in the monitored person Ob is finally determined.
  • the final determination unit 26b displays the image of the monitored person Ob obtained by the position calculation unit 29 from the plurality of first weights and second weights stored in the weight information storage unit 41 of the storage unit 4b.
  • the first weight and the second weight corresponding to the position at the position are selected, and the first determination result (first evaluation value Va1) and the second weight are selected using the selected first weight and second weight.
  • the weighted addition result is obtained by weighted addition of the determination result (second evaluation value Va2), and a predetermined action in the monitored person Ob is finally determined based on the obtained weighted addition result.
  • FIG. 9 is a flowchart showing the operation of the sensor device in the monitored person monitoring system of the second embodiment.
  • the sensor device SUb sequentially acquires images by the imaging unit 1 at time intervals according to a predetermined frame rate, and the following operations are performed for each image of each frame.
  • control processing unit 2b acquires the image of the imaging target obtained by imaging the imaging target within a predetermined range by the imaging unit 1 in the same manner as the processing S11 (S31).
  • control processing unit 2b uses the first part extraction unit 22 to extract the first part, in the present embodiment, the head, similarly to the process S12 (S32).
  • control processing unit 2b uses the first behavior detection algorithm for detecting the predetermined behavior in the monitored person Ob by the first behavior determination unit 23 in the same manner as the processing S13.
  • the predetermined action is determined based on the first part extracted by the one part extracting unit 22 (S33).
  • control processing unit 2b uses the second part extraction unit 24 to extract the second part, in this embodiment, the main body part, similarly to the process S15 (S34).
  • control processing unit 2b uses the second behavior detection algorithm for detecting the predetermined behavior in the monitored person Ob by the second behavior determination unit 25 in the same manner as the processing S16.
  • the predetermined action is determined based on the second part extracted by the two-part extraction unit 24 (S35).
  • control processing unit 2b obtains the position of the monitored person Ob on the image based on the first part extracted by the first part extracting unit 22 in step S32 by the position calculating unit 29, and the final determining unit 26b, the position corresponding to the position on the image of the monitored person Ob obtained by the position calculation unit 29 from the plurality of first weights and second weights stored in the weight information storage unit 41 of the storage unit 4b.
  • the first weight and the second weight are selected, and the first determination result (first evaluation value Va1) and the second determination result (second evaluation value) are selected using the selected first weight and second weight.
  • the weighted addition result is obtained by weighted addition of Va2) (S36).
  • the control processing unit 2b determines whether or not a predetermined action in the monitored person Ob is detected by the position calculation unit 29 based on the obtained weighted addition result (S37). If the predetermined action is detected as a result of this determination (Yes), the control processing unit 2b then executes the process S38 with the detected predetermined action as the final determination result, When the predetermined action is not detected (No), the control processing unit 2b ends the process, assuming that the predetermined action in the monitored person Ob is not detected. More specifically, the final determination unit 26b compares the weighted addition result with a predetermined third threshold Th3, and, as a result, the weighted addition result is equal to or greater than the predetermined third threshold Th3 (Yes).
  • the control processing unit 2b next executes the process S38, while the weighted addition result is less than the predetermined third threshold Th3 ( No), the predetermined process in the monitored person Ob is not detected, and the process is terminated.
  • the predetermined third threshold value is set to an appropriate value (for example, 2) by using, for example, a plurality of samples.
  • the final determination unit 26b outputs the presence of a fall as a determination result to the notification processing unit 27 when it is determined that there is a fall, and the process is determined as follows. As a result of the determination, the presence of falling is output to the notification processing unit 27. Receiving this, the notification processing unit 27 transmits the monitoring information communication signal to the management server device SV via the network NW as described above.
  • one example of the sensor device SUa that implements the behavior detection device and the behavior detection method and the monitored person monitoring system MSa that is an example of the monitored person monitoring device are the two previously determined in the processing S33 and the processing S35. Based on the first and second determination results (first and second evaluation values Va1, Va2), a predetermined action in the monitored person Ob is finally determined, so that an image obtained by one imaging device is obtained. Based on this, it is possible to detect the predetermined behavior in the monitored person Ob more accurately.
  • the sensor device SUa and the monitored person monitoring system MSa use the first determination result (first evaluation value Va1) and the second determination result (second evaluation value Va2) at the same time (at a time).
  • the predetermined action can be finally determined, and the predetermined action can be detected with higher accuracy.
  • the sensor device SUa and the monitored person monitoring system MSa are configured such that the first and second determination results are obtained when one of the first and second determination results indicates a result of determining a predetermined action in the monitored person more appropriately than the other. 2 It is possible to obtain a weighted addition result for finally determining the predetermined action by giving superiority or inferiority to the determination result, and it is possible to detect the predetermined action with higher accuracy.
  • the sensor device SUa and the monitored person monitoring system MSa when one of the first and second determination results indicates the result of determining the predetermined action more appropriately than the other according to the position of the monitored person, According to the position of the monitored person, the first and second determination results can be given superiority or inferiority to obtain a weighted addition result for finally determining the predetermined action in the monitored person. It can be detected accurately.
  • the image to be imaged is acquired by the image capturing unit 1, but is acquired from the communication IF unit 3 via another network NW from another external device that manages the image to be imaged.
  • the image may be acquired from the recording medium on which the image to be captured is recorded via the communication IF unit 3.
  • the communication IF unit 3 corresponds to another example of an image acquisition unit that acquires the image to be captured.
  • the behavior detection apparatus includes a predetermined first image of a human body based on an image acquisition unit that acquires an image of the imaging target obtained by capturing an imaging target within a predetermined range, and the image of the imaging target acquired by the image acquisition unit.
  • the predetermined part based on the first part extracted by the first part extracting part by using a first part extracting part for extracting a part and a first action detecting algorithm for detecting a predetermined action in the monitored person
  • a first action determination unit that determines the action of the first part, a second part extraction part that extracts a predetermined second part different from the first part in the human body from the image of the imaging target acquired by the image acquisition unit,
  • the second part extraction unit At least one of a second action determination unit that determines the predetermined action based on the second part that has been put out, a first determination result of the first action determination unit, and a second determination result of the second action determination unit And a final determination unit that finally determines the predetermined action based on the above.
  • Such an action detection device extracts first and second parts that are different from each other from the image acquired by the image acquisition unit, and different first and second action detections that are different from each other based on the first and second parts.
  • the first and second determination results are obtained, respectively, and the predetermined action is finally determined based on at least one of the first and second determination results.
  • the behavior detection device finally determines the predetermined behavior based on at least one of the two first and second determination results previously determined as described above, and thus can be obtained by one imaging device. Based on the obtained image, the predetermined action in the monitored person can be detected with higher accuracy.
  • the first behavior determination unit obtains a first evaluation value representing the likelihood of occurrence of the predetermined behavior as the first determination result
  • the second behavior determination The unit obtains, as the second determination result, a second evaluation value indicating the probability of occurrence of the predetermined action
  • the final determination unit determines that one of the first determination result and the second determination result is predetermined.
  • the predetermined action is finally determined based on the other of the first determination result and the second determination result.
  • one of the first determination result (first evaluation value) and the second determination result (second evaluation value) is less than a predetermined threshold value, and the occurrence of the predetermined behavior in the monitored person occurs.
  • the predetermined action is finally determined based on the other determination result (the other evaluation value). For this reason, the said action detection apparatus can determine the predetermined action in a to-be-monitored person in steps, and can detect the said predetermined action more accurately.
  • the final determination unit when one of the first determination result and the second determination result is less than a predetermined threshold, the final determination unit The second determination result is weighted and added, and the predetermined action is finally determined based on the weighted addition result.
  • Such a behavior detection device is superior or inferior to the first and second determination results when one of the first and second determination results indicates a result of determining the predetermined behavior of the monitored person more appropriately than the other.
  • a weighted addition result for finally determining the predetermined action can be obtained, and the predetermined action can be detected with higher accuracy.
  • the first behavior determination unit obtains a first evaluation value representing the likelihood of occurrence of the predetermined behavior as the first determination result
  • the second behavior determination The unit obtains, as the second determination result, a second evaluation value indicating the probability of occurrence of the predetermined action
  • the final determination unit determines that one of the first determination result and the second determination result is predetermined.
  • the one of the first determination result and the second determination result is set as a final determination result in which the predetermined action is finally determined.
  • one of the first determination result (first evaluation value) and the second determination result (second evaluation value) is equal to or greater than the predetermined threshold value, and occurrence of the predetermined behavior in the monitored person If it is certain, the final determination result can be obtained without finally determining the predetermined action based on the other determination result (the other evaluation value). For this reason, the said action detection apparatus can obtain
  • the final determination unit is configured to perform the predetermined determination based on both a first determination result of the first behavior determination unit and a second determination result of the second behavior determination unit. The action is finally determined.
  • Such an action detection device finally uses the first determination result (first evaluation value) and the second determination result (second evaluation value) at the same time (at the same time) to finally perform a predetermined action in the monitored person.
  • the predetermined behavior can be detected with higher accuracy.
  • the first behavior determination unit obtains a first evaluation value representing the likelihood of occurrence of the predetermined behavior as the first determination result
  • the second behavior determination The unit obtains a second evaluation value representing the probability of occurrence of the predetermined action as the second determination result
  • the final determination unit weights and adds the first determination result and the second determination result
  • the predetermined action is finally determined based on the weighted addition result obtained by weighted addition.
  • Such a behavior detection device is superior or inferior to the first and second determination results when one of the first and second determination results indicates a result of determining the predetermined behavior of the monitored person more appropriately than the other.
  • a weighted addition result for finally determining the predetermined action can be obtained, and the predetermined action can be detected with higher accuracy.
  • a plurality of first weights and first weights for the first determination result and the second determination result are associated with a plurality of positions on the image of the monitored person. 2 on the image of the monitored person based on at least one of a storage unit that stores weights, a first part extracted by the first part extraction unit, and a second part extracted by the second part extraction unit A position calculation unit for determining a position, wherein the final determination unit includes the first weight and the second weight stored in the storage unit, and the person in the monitored person determined by the position calculation unit.
  • the first weight and the second weight corresponding to the position on the image are selected, and the weighted addition result is obtained using the selected first weight and second weight.
  • Such a behavior detection apparatus is configured such that when one of the first and second determination results indicates the result of determining the predetermined behavior more appropriately than the other according to the position of the monitored person, the position of the monitored person is determined. Accordingly, the first and second determination results can be given superiority or inferiority to obtain a weighted addition result for finally determining the predetermined behavior of the monitored person, and the predetermined behavior can be detected with higher accuracy.
  • the first part is a head
  • the predetermined behavior is a fall and a fall
  • the first behavior determination unit is a size of the head. Based on this, the predetermined action is determined.
  • Such an action detection device can detect the occurrence of a fall or the occurrence of a fall based on the head.
  • the first behavior determination unit is further based on the position of the head when determining the predetermined behavior.
  • Such an action detection device can detect whether or not a fall has occurred and whether or not a fall has occurred in consideration of the position of the head.
  • the second part is a main body part including at least the trunk of the trunk, arms, and legs, and the predetermined action includes falling and falling
  • the second behavior determining unit determines the predetermined behavior based on the shape of the main body part and the position of the main body part.
  • Such an action detection device can detect whether or not a fall has occurred and whether or not a fall has occurred based on the shape of the body part and its position.
  • the second behavior determination unit is further based on the shape direction of the main body part when determining the predetermined behavior.
  • Such an action detection device can detect whether or not a fall has occurred and whether or not a fall has occurred in consideration of the shape of the body part.
  • the second behavior determination unit is further based on the moving speed of the main body part when determining the predetermined behavior.
  • Such an action detection device can detect whether or not a fall has occurred and whether or not a fall has occurred in consideration of the moving speed of the body part.
  • the behavior detection method includes an image acquisition step of acquiring an image of the imaging target obtained by imaging a predetermined range of the imaging target, and a predetermined target in the human body from the image of the imaging target acquired in the image acquisition step. Based on the first part extracted in the first part extraction step by using a first part extraction step for extracting the first part and a first action detection algorithm for detecting a predetermined action in the monitored person. A first action determining step for determining the predetermined action, and a second part extracting step for extracting a predetermined second part different from the first part in the human body from the image of the imaging target acquired in the image acquiring step.
  • first and second parts that are different from each other are extracted from the image acquired in the image acquisition step, and different first and second actions are detected based on the first and second parts.
  • the first and second determination results are obtained, respectively, and a predetermined action in the monitored person is finally determined based on at least one of the first and second determination results. Since the behavior detection method finally determines a predetermined behavior in the monitored person based on at least one of the two first and second determination results determined in advance as described above, one imaging device The predetermined behavior can be detected more accurately based on the image obtained by the above.
  • a monitored person monitoring apparatus includes a behavior detection unit that detects a predetermined behavior of a monitored person that is a monitoring target, and a notification unit that notifies the predetermined behavior detected by the behavior detection unit to the outside
  • the behavior detection unit includes any one of the above-described behavior detection devices.
  • Such a monitored person monitoring device includes any of the above-described behavior detecting devices, it is possible to detect a predetermined behavior of the monitored person with higher accuracy based on an image obtained by one imaging device.
  • a behavior detection device a behavior detection method, and a monitored person monitoring device can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

 本発明にかかる行動検知装置、行動検知方法および被監視者監視装置では、撮像対象の画像から、人体における所定の第1および第2部位が抽出され、被監視者における所定の行動を検知するための第1および第2行動検知アルゴリズムによって前記第1および第2部位に基づいて得られた第1および第2判定結果のうちの少なくとも一方に基づいて前記所定の行動が最終的に判定される。

Description

行動検知装置および行動検知方法ならびに被監視者監視装置
 本発明は、被監視者における所定の行動を検知する行動検知装置および行動検知方法に関する。そして、本発明は、この行動検知装置を用いた、前記被監視者を監視する被監視者監視装置に関する。
 我が国(日本)は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善および医療水準の向上等によって、高齢化社会、より詳しくは、総人口に対する65歳以上の人口の割合である高齢化率が21%を超える超高齢化社会になっている。また、2005年では、総人口約1億2765万人に対し65歳以上の高齢者人口は、約2556万人であったのに対し、2020年では、総人口約1億2411万人に対し高齢者人口は、約3456万人となる予測もある。このような高齢化社会では、病気や怪我や高齢等による看護や介護を必要とする要看護者や要介護者(要看護者等)は、高齢化社会ではない通常の社会で生じる要看護者等よりもその増加が見込まれる。そして、我が国は、例えば2013年の合計特殊出生率が1.43という少子化社会でもある。そのため、看護や介護の必要な高齢者を高齢の家族(配偶者、子、兄弟)が介護する老老介護も起きて来ている。
 要看護者や要介護者は、病院や、老人福祉施設(日本の法令では老人短期入所施設、養護老人ホームおよび特別養護老人ホーム等)等の施設に入所し、その看護や介護を受ける。このような施設では、要看護者等が、例えばベッドからの転落や歩行中の転倒等によって怪我を負ったり、ベッドから抜け出して徘徊したりするなどの事態が生じ得る。このような事態に対し、可及的速やかに対応する必要があり、また、このような事態を放置しておくとさらに重大な事態に発展してしまう可能性もあるため、前記施設では、看護師や介護士等は、定期的に巡視することによってその安否や様子を確認している。
 しかしながら、要看護者等の増加数に対し看護師等の増加数が追い付かずに、看護業界や介護業界では、慢性的に人手不足になっている。さらに、日勤の時間帯に較べ、準夜勤や夜勤の時間帯では、看護師や介護士等の人数が減るため、一人当たりの業務負荷が増大するので、前記業務負荷の軽減が要請される。また、前記老老介護の事態は、前記施設でも例外ではなく、高齢の要看護者等を高齢の看護師等がケアすることもしばしば見られる。一般に高齢になると体力が衰えるため、健康であっても若い看護師等に比し看護等の負担が重くなり、また、その動きや判断も遅くなる。
 このような人手不足や看護師等の負担を軽減するため、看護業務や介護業務を補完する技術が求められている。このため、近年では、要看護者等の、監視すべき監視対象である被監視者を監視(モニタ)する被監視者監視技術が研究、開発されている。
 このような技術の一つとして、例えば特許文献1に開示された転倒検出システムがある。この特許文献1に開示された転倒検出システムは、所定の検出エリアにおける各画素の距離値を検出する距離画像センサと、前記距離画像センサにより検出された各画素の距離値に基づいて人物の転倒を検出する転倒検出装置と、を備え、前記転倒検出装置は、前記距離画像センサにより検出された人物の外形に基づいた直方体を設定し、前記直方体のアスペクト比に基づいて人物の転倒を検出する。
 一方、安否確認の点では、一人暮らしの独居者も前記要看護者等と同様であり、被監視対象者となる。
 ところで、前記特許文献1に開示された転倒検出システムは、前記直方体のアスペクト比に基づいて人物の転倒を検出している。このために、前記特許文献1に開示された転倒検出システムでは、距離画像センサは、斜め上方から検知エリアを見込んでいる。このような配設位置では、例えば机や椅子等の家具によって例えば足等の身体の一部が距離画像センサから遮蔽されてしまい、前記直方体の設定が不正確となり、人物の転倒を誤検出してしまう。このため、前記遮蔽を解消するために、複数の距離画像センサを用いることによって複数の角度から検出エリアにおける各画素の距離値を検出する方法が考えられるが、この方法では、複数の距離画像センサを用いることにより、コストがアップしてしまう。また、前記遮蔽を解消するために、検知エリアの中央から検知エリアの真下を見込むように距離画像センサを配設する方法も考えられるが、この方法では、検知エリアにおける人物の位置や姿勢によって距離画像センサからの見え方が異なるため、アスペクト比が適切に求められず、人物の転倒を誤検出してしまう。例えば、人物が直立状態であっても、距離画像センサの直下の位置(直下位置)と、この直下位置から離れた位置とでは、距離画像センサからの見え方が異なり、アスペクト比が異なる。
特開2014-16742号公報
 本発明は、上述の事情に鑑みて為された発明であり、その目的は、1個の撮像装置によって得られた画像に基づいて被監視者における所定の行動をより精度良く検知できる行動検知装置および行動検知方法ならびにこの行動検知装置を用いた被監視者監視装置を提供することである。
 本発明にかかる行動検知装置、行動検知方法および被監視者監視装置では、撮像対象の画像から、人体における所定の第1および第2部位が抽出され、被監視者における所定の行動を検知するための第1および第2行動検知アルゴリズムによって前記第1および第2部位に基づいて得られた第1および第2判定結果のうちの少なくとも一方に基づいて前記所定の行動が最終的に判定される。したがって、本発明にかかる行動検知装置、行動検知方法および被監視者監視装置は、1個の撮像装置によって得られた画像に基づいて被監視者における所定の行動をより精度良く検知できる。
 上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
実施形態における被監視者監視システムの構成を示す図である。 第1実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。 実施形態の被監視者監視システムにおけるセンサ装置の配設態様を説明するための図である。 第1実施形態の被監視者監視システムにおけるセンサ装置の第1態様の動作を示すフローチャートである。 第1実施形態の被監視者監視システムにおけるセンサ装置の第2態様の動作を示すフローチャートである。 部位の位置を考慮した転倒および転落を判定する判定手法を説明するための図である。 本体部位の形状に基づいて転倒および転落を判定する判定手法を説明するための図である。 第2実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。 第2実施形態の被監視者監視システムにおけるセンサ装置の動作を示すフローチャートである。
 以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
 実施形態における被監視者監視装置は、監視対象である被監視者における、予め設定された所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備えるものである。そして、前記行動検知部は、所定範囲の撮像対象を撮像した前記撮像対象の画像に基づいて互いに異なる複数の行動検知アルゴリズムで前記被監視者における所定の行動それぞれ判定し、これら複数の判定結果のうちの少なくとも1つに基づいて前記被監視者における前記所定の行動を最終的に判定して検知する。このような被監視者監視装置は、1個の機器として、一体に構成されて実現されて良く、また、システムとして、複数の機器で実現されて良い。そして、被監視者監視装置が複数の機器で実現される場合に、前記行動検知部は、これら複数の機器のうちのいずれに実装されて良い。一例として、ここでは、前記被監視者監視装置がシステムとして複数の機器で実現されている場合について、前記被監視者監視装置の実施形態を説明する。なお、前記被監視者監視装置が1個の機器として一体に構成されて実現される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。また、一例として、ここでは、前記行動検知部が前記通知部と共に後述のセンサ装置SUに実装される場合について、説明するが、このシステムのうちの他の装置、例えば後述の管理サーバ装置SV、固定端末装置SPあるいは携帯端末装置TAに実装される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。
 以下、第1実施形態として、センサ装置SUaを備えた被監視者監視システムMSaおよび第2実施形態として、センサ装置SUbを備えた被監視者監視システムMSbについて、順に、説明する。
 (第1実施形態)
 まず、第1実施形態の構成について説明する。図1は、実施形態における被監視者監視システムの構成を示す図である。図2は、第1実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図3は、実施形態の被監視者監視システムにおけるセンサ装置の配設態様を説明するための図である。
 前記被監視者監視装置をシステムとして実現したその一例の第1実施形態における被監視者監視システムMSaは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Ob(Ob-1~Ob-4)における、予め設定された所定の行動を検知して前記被監視者Obを監視するものであり、例えば、図1に示すように、1または複数のセンサ装置SUa(SUa-1~SUa-4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)とを備え、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SUa-1~SUa-4、管理サーバ装置SV、固定端末装置SPおよび複数の携帯端末装置TA-1、TA-2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。
 被監視者監視システムMSaは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSaは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSaは、複数の被監視者Obが入居する複数の居室RMや、ナースステーションST等の複数の部屋を備える介護施設の建物に配設されている。
 センサ装置SUaは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obを検知してその検知結果を管理サーバ装置SVへ送信する装置である。このセンサ装置SUaは、後にさらに詳述する。
 管理サーバ装置SVは、ネットワークNWを介して他の装置SUa、SP、TAと通信する通信機能を備え、センサ装置SUaから被監視者Obに関する検知結果および前記被監視者Obの画像を受信して被監視者Obに対する監視に関する情報(監視情報)を管理する機器である。管理サーバ装置SVは、センサ装置SUaから被監視者Obに関する前記検知結果および前記被監視者Obの画像を受信すると、被監視者Obに対する監視に関する前記監視情報を記憶(記録)し、そして、被監視者Obに対する監視に関する前記監視情報を収容した通信信号(監視情報通信信号)を固定端末装置SPおよび携帯端末装置TAに送信する。また、管理サーバ装置SVは、クライアント(本実施形態では固定端末装置SPおよび携帯端末装置TA等)の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
 固定端末装置SPは、ネットワークNWを介して他の装置SUa、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUaで得られた検知結果や画像を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
 携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUaと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUaに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUaで得られた前記検知結果や画像を表示したり等することによって、被監視者Obに対する監視に関する前記監視情報を受け付けて表示する機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
 次に、上述のセンサ装置SUaについてさらに説明する。センサ装置SUaは、例えば、図2に示すように、撮像部1と、制御処理部2aと、通信インターフェース部(通信IF部)3と、記憶部4aとを備える。
 撮像部1は、制御処理部2aに接続され、制御処理部2aの制御に従って、画像(画像データ)を生成する装置である。撮像部1は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室RM)を監視可能に前記所在空間の上方(例えば天井面や上方壁面等)に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像を制御処理部2aへ出力する。撮像部1は、本実施形態では、静止画および動画を生成する。このような撮像部1は、隠れが生じないように前記所在空間(撮像対象)全体を撮像できる蓋然性が高いことから、図3に示すように、前記所在空間の一例である居室RMの中央上部の天井に、被監視者Obの身長より十分に高い位置に配設されることが好ましい。撮像部1は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部の一例である。
 このような撮像部1は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外光の画像を生成する装置である。このような撮像部1は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部1の結像光学系は、本実施形態では、その配設された前記所在空間全体(図1および図3に示す例では居室RM全体)を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。なお、センサ装置SUaは、前記所在空間を赤外線で照明するために、赤外線を放射する赤外照明装置をさらに備えても良い。
 通信IF部3は、制御処理部2aに接続され、制御処理部2aの制御に従って通信を行うための通信回路である。通信IF部3は、制御処理部2aから入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSaのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。通信IF部3は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部2aが処理可能な形式のデータに変換して制御処理部2aへ出力する。なお、通信IF部3は、さらに、例えば、Bluetooth(登録商標)規格、IrDA(Infrared Data Asscoiation)規格およびUSB(Universal Serial Bus)規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェース回路を備えても良い。
 記憶部4aは、制御処理部2aに接続され、制御処理部2aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。
 前記各種の所定のプログラムには、例えば、被監視者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、撮像部1で取得した撮像対象の画像から、人体における所定の第1部位を抽出する第1部位抽出プログラムや、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、前記第1部位抽出プログラムで抽出した第1部位に基づいて前記所定の行動を判定する第1行動判定プログラムや、撮像部1で取得した撮像対象の前記画像から、人体における前記第1部位と異なる所定の第2部位を抽出する第2部位抽出プログラムや、前記第1行動検知アルゴリズムと異なる、被監視者Obにおける前記所定の行動を検知するための所定の第2行動検知アルゴリズムを用いることによって、前記第2部位抽出プログラムで抽出した第2部位に基づいて前記所定の行動を判定する第2行動判定プログラムや、前記第1行動判定プログラムの第1判定結果および前記第2行動判定プログラムの第2判定結果に基づいて前記所定の行動を最終的に判定する最終判定プログラムや、前記最終判定プログラムで検知した前記所定の行動を外部に通知する通知処理プログラム、撮像部1で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム等が含まれる。前記各種の所定のデータには、例えば、後述する各閾値Th等のこれら上述の各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。
 このような記憶部4aは、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部4aは、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部2aのワーキングメモリとなるRAM(Random Access Memory)等を含む。
 制御処理部2aは、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部2aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部2aは、前記制御処理プログラムが実行されることによって、制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、最終判定部26a(26a-1、26a-2)、通知処理部27およびストリーミング処理部28を機能的に備える。
 制御部21は、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUaの全体制御を司るものである。
 第1部位抽出部22は、撮像部1で取得した前記撮像対象の画像から、人体における所定の第1部位を抽出するものである。
 第1行動判定部23は、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、第1部位抽出部22で抽出した第1部位に基づいて前記所定の行動を判定するものである。より具体的には、本実施形態では、例えば、第1行動判定部23は、前記第1行動検知アルゴリズムを用いることによって、第1部位抽出部22で抽出した第1部位に基づいて,前記所定の行動の発生の確からしさを表す第1評価値を第1判定結果として求める。
 第2部位抽出部24は、撮像部1で取得した前記撮像対象の前記画像から、人体における前記第1部位と異なる所定の第2部位を抽出するものである。前記第2部位は、前記第1部位と全く異なる部位であって良く、また、前記第1部位を含む前記第1部位よりもより範囲の広い部位であって良く、また、前記第1部位を含まれる前記第1部位よりもより範囲の狭い部位であって良い。
 第2行動判定部25は、前記第1行動検知アルゴリズムと異なる、被監視者Obにおける所定の行動を検知するための第2行動検知アルゴリズムを用いることによって、第2部位抽出部24で抽出した第2部位に基づいて前記所定の行動を判定するものである。より具体的には、本実施形態では、例えば、第2行動判定部25は、前記第2行動検知アルゴリズムを用いることによって、第2部位抽出部24で抽出した第2部位に基づいて、前記所定の行動の発生の確からしさを表す第2評価値を第2判定結果として求める。
 最終判定部26aは、第1行動判定部23の第1判定結果および第2行動判定部25の第2判定結果に基づいて被監視者Obにおける所定の行動を最終的に判定するものである。本実施形態では、例えば、最終判定部26aは、前記第1判定結果(本実施形態では第1評価値)および前記第2判定結果(本実施形態では第2評価値)のうちの一方が所定の閾値Th未満である場合に、前記第1判定結果および前記第2判定結果のうちの他方に基づいて前記所定の行動を最終的に判定するものである。最終判定部26は、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値Th以上である場合に、前記第1判定結果および前記第2判定結果のうちの前記一方を、前記所定の行動を最終的に判定した最終判定結果とする。
 より具体的には、最終判定部26aは、第1行動判定部23による第1判定結果(本実施形態では第1評価値Va1)が所定の第1閾値Th1未満である場合に、第2行動判定部25による第2判定結果(本実施形態では第2評価値Va2)に基づいて前記所定の行動を最終的に判定する第1態様の最終判定部26a-1、および、第2行動判定部25による第2判定結果(本実施形態では第2評価値Va2)が所定の第2閾値Th2未満である場合に、第1行動判定部23による第1判定結果(本実施形態では第1評価値Va1)に基づいて前記所定の行動を最終的に判定する第2態様の最終判定部26a-2のうちの少なくとも一方を含む。前記第1態様の最終判定部26a-1は、第1行動判定部23による前記第1判定結果(本実施形態では第1評価値Va1)が前記所定の第1閾値Th1以上である場合に、前記第1判定結果を、前記所定の行動を最終的に判定した最終判定結果とする。前記第2態様の最終判定部26a-2は、第2行動判定部25による第2判定結果(本実施形態では第2評価値Va2)が前記所定の第2閾値Th2以上である場合に、前記第2判定結果を、前記所定の行動を最終的に判定した最終判定結果とする。前記所定の閾値Th、上述の例では、前記所定の第1および第2閾値Th1、Th2は、それぞれ、例えば複数のサンプルに基づいて、予め適宜な値に設定される。
 一例では、好ましくは、前記第1部位は、頭部であり、前記所定の行動は、転倒および転落であり、第1行動判定部23は、前記頭部の大きさに基づいて前記所定の行動を判定する。また好ましくは、第1行動判定部23は、前記所定の行動を判定する際に、さらに前記頭部の位置に基づいても良い。
 一例では、好ましくは、前記第2部位は、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位であり、前記所定の行動は、転倒および転落であり、第2行動判定部25は、前記本体部位の形状および前記本体部位の位置に基づいて前記所定の行動を判定する。また好ましくは、第2行動判定部25は、前記所定の行動を判定する際に、さらに前記本体部位の形状の向きに基づいても良い。また好ましくは、第2行動判定部25は、前記所定の行動を判定する際に、さらに前記本体部位の移動速度に基づいても良い。
 通知処理部27は、最終判定部26aで検知した被監視者Obにおける所定の行動(本実施形態では、転倒および転落)を外部に通知するものである。より具体的には、通知処理部27は、前記検知した前記所定の行動(状態、状況)を表す情報(検知行動情報(本実施形態では転倒および転落のうちの1または複数を表す情報))、前記所定の行動が検知された被監視者Obを特定し識別するための識別子情報(前記被監視者Obを検知しているセンサ装置SUaを特定し識別するための識別子情報)、および、前記所定の行動の検知に用いられた画像等を収容した通信信号(監視情報通信信号)を生成し、通信IF部3で管理サーバ装置SVへ送信する。
 ストリーミング処理部28は、ネットワークNWおよび通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部1で生成した動画(例えばライブの動画)をストリーミング再生で通信IF部3およびネットワークNWを介して配信するものである。
 図1には、一例として、4個の第1ないし第4センサ装置SUa-1~SUa-4が示されており、第1センサ装置SUa-1は、被監視者Obの一人であるAさんOb-1の居室RM-1(不図示)に配設され、第2センサ装置SUa-2は、被監視者Obの一人であるBさんOb-2の居室RM-2(不図示)に配設され、第3センサ装置SUa-3は、被監視者Obの一人であるCさんOb-3の居室RM-3(不図示)に配設され、そして、第4センサ装置SUa-4は、被監視者Obの一人であるDさんOb-4の居室RM-4(不図示)に配設されている。
 次に、本実施形態の動作について説明する。まず、被監視者監視システムMSaの動作について説明する。このような構成の被監視者監視システムMSaでは、各装置SUa、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。センサ装置SUaでは、その制御処理プログラムの実行によって、制御処理部2aには、制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、最終判定部26a(26a-1、26a-2)、通知処理部27およびストリーミング処理部28が機能的に構成される。
 そして、上記構成の被監視者監視システムMSaは、大略、次の動作によって、各被監視者Obそれぞれを監視している。センサ装置SUaは、所定のフレームレートに応じた時間間隔で撮像部1によって画像を取得し、制御処理部2aによって、この撮像部1で取得した画像に基づいて被監視者Obにおける所定の行動(状態、状況)を判定し、この判定の結果、被監視者Obが予め設定された前記所定の行動(例えば、本実施形態では転倒および転落等)であると判定すると、通知処理部27によって、被監視者Obの状態として判定された判定結果を表す判定結果情報や被監視者Obの静止画の画像データ等の監視情報を収容した通信信号(監視情報通信信号)をネットワークNWを介して管理サーバ装置SVへ送信する。なお、転倒および転落を検知するための動作(行動検知動作)は、後に詳述する。
 管理サーバ装置SVは、前記監視情報通信信号をネットワークNWを介してセンサ装置SUaから受信すると、この監視情報通信信号に収容された判定結果情報や静止画の画像データ等の監視情報をその記憶部に記憶(記録)する。そして、管理サーバ装置SVは、これら判定結果情報や静止画の画像データ等の監視情報を収容した監視情報通信信号を端末装置(本実施形態では固定端末装置SPおよび携帯端末装置TA)へ送信する。これによって被監視者Obの状態(状況)が端末装置SP、TAを介して例えば看護師や介護士等の監視者に報知される。
 固定端末装置SPおよび携帯端末装置TAは、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この監視情報通信信号に収容された前記監視情報を表示する。このような動作によって、被監視者監視システムMSは、各センサ装置SUa、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obを検知して各被監視者Obを監視している。
 次に、被監視者監視システムMSaにおけるセンサ装置SUaの行動検知動作について、説明する。センサ装置SUaは、上述したように最終判定部26aが第1および第2態様の最終判定部26a-1、26a-2のうちの少なくとも一方を含むので、第1態様の最終判定部26a-1によるセンサ装置SUaの第1態様の動作、および、第2態様の最終判定部26a-2によるセンサ装置SUaの第2態様の動作について、以下、順に、説明する。
 図4は、第1実施形態の被監視者監視システムにおけるセンサ装置の第1態様の動作を示すフローチャートである。図5は、第1実施形態の被監視者監視システムにおけるセンサ装置の第2態様の動作を示すフローチャートである。図6は、部位の位置を考慮した転倒および転落を判定する判定手法を説明するための図である。図7は、本体部位の形状に基づいて転倒および転落を判定する判定手法を説明するための図である。図7Aは、被監視者Obが撮像部1の略直下に位置し、立位姿勢から横臥姿勢へ変わる場合を示し、図7Bは、被監視者Obが撮像部1より離れた位置に位置し、立位姿勢から横臥姿勢へ変わる場合を示す。
 まず、第1態様の最終判定部26a-1によるセンサ装置SUaの第1態様の動作について説明する。センサ装置SUaは、上述したように、所定のフレームレートに応じた時間間隔で撮像部1によって画像を順次に取得しており、以下の動作は、各フレームの各画像ごとに実施される。
 図4において、制御処理部2aは、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S11)。本実施形態では、撮像部1は、被監視者Obの所在空間を撮像対象とし、前記所在空間を天井から鉛直下方に見下ろして俯瞰した、前記結像光学系の画角に応じた前記所在空間の画像を生成し、この生成した前記所在空間の画像を制御処理部2aへ出力する。
 次に、制御処理部2aは、第1部位抽出部22によって、第1部位、本実施形態では頭部を抽出する(S12)。
 より具体的には、第1部位抽出部22は、処理S11で取得した前記所在空間の画像(撮像対象の画像)から、第1部位、本実施形態では、頭部(頭部の画像領域)を公知の画像処理技術を用いることによって抽出する。例えば、頭部の形状が楕円形状と仮定され、前記所在空間の画像がいわゆる一般化ハフ変換され、これによって前記所在空間の画像中における楕円形状、すなわち、頭部が抽出される。このような画像処理技術は、例えば、文献;“村上真、「人物頭部認識における特徴量表現および領域抽出に関する研究」、2003年3月、早稲田大学“に開示されている。また例えば、頭部の輪郭形状あるいはその概略形状の楕円や円形状等の頭部形状を予め用意されたテンプレートとしたテンプレートマッチングによって、あるいは、いわゆるSnake等の閉曲線をフィッティングする方法によって、前記所在空間の画像から頭部が抽出されても良い。抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報や、動きの有無によって人物か否かを判定する動き情報等が組み合わされて利用されても良い。例えば、画像中における肌色や黒色ではない領域、画像中における動きの全くない領域、および、アスペクト比が比較的短時間の間に頻繁に変化する領域は、頭部ではないと判定される。
 なお、頭部の抽出に多重解像度戦略(多重解像度解析、多解像走査)が用いられる場合には、頭部の候補領域は、複数求められる場合が多い。この場合では、パターンマッチングで得られるいわゆるスコアが最も高い候補領域が頭部とされても良いが、より正確に頭部を抽出するために、複数の候補領域における大きさ、その位置およびスコア等に基づいて頭部が抽出されても良い。例えば、複数の候補領域における大きさの平均値が求められ、この平均値に最も近い大きさの候補領域が頭部とされる。前記平均値は、単純平均によって求められても良いが、各候補領域のスコアを重みとした重み付け平均によって求められても良い。前記多重解像度戦略は、元画像から、前記元画像より解像度が低く互いに異なる解像度を持つ複数の低解像度画像を生成し、解像度がより低い低解像度画像から抽出対象(本実施形態では頭部)を抽出し、この抽出対象が抽出された領域を次に解像度が高い低解像度画像で前記抽出対象を抽出するための候補領域とし、最も解像度が低い低解像度画像から順次に元画像まで遡って前記抽出対象を抽出して行く手法である。
 次に、制御処理部2aは、第1行動判定部23によって、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、処理S12で第1部位抽出部22によって抽出した第1部位に基づいて前記所定の行動を判定する(S13)。
 より具体的には、本実施形態では、前記第1部位は、頭部であり、前記所定の行動は、転倒および転落であるので、第1行動判定部23は、前記第1行動検知アルゴリズムを用いることによって、処理S12で抽出した頭部の大きさに基づいて転倒の有無および転落の有無それぞれを判定する。前記所在空間の上方から、本実施形態では天井から鉛直下方に見下ろして前記所在空間を撮像した画像では、頭部の大きさは、被監視者Obの姿勢等に応じて変化するので、頭部の大きさに基づいて転倒の有無および転落の有無それぞれが判定できる。前記転倒は、被監視者Obが立位姿勢または座位姿勢から床面上等の横臥姿勢への変化である。このため、好ましくは、例えば、立位姿勢および座位姿勢における頭部の大きさと床面上等の横臥姿勢における頭部の大きさとを区別できる所定の閾値(転倒判定閾値)Thrが、例えば複数のサンプルを用いることで予め適宜に設定され、第1行動判定部23は、処理S12で抽出した頭部の大きさと前記転倒判定閾値Thrとを比較することで転倒の有無を判定する。また、前記転落は、被監視者Obが鉛直方向に沿った高い位置から低い位置への落下、例えば寝具BTから床面上等へ落下である。このため、好ましくは、例えば、前記高い位置(例えば寝具上における横臥姿勢や座位姿勢等)における頭部の大きさと前記低い位置(例えば床面上等の横臥姿勢)における頭部の大きさとを区別できる所定の閾値(転落判定閾値)Thcが、例えば複数のサンプルを用いることで予め適宜に設定され、第1行動判定部23は、処理S12で抽出した頭部の大きさと前記転落判定閾値Thcとを比較することで転落の有無を判定する。
 より詳しくは、本実施形態では、第1行動判定部23は、被監視者Obにおける所定の行動の発生の確からしさを表す第1評価値Va1を第1判定結果として求めている。
 前記転倒の有無を判定する場合、前記第1判定結果が転倒の発生の確からしさとして転倒確実、転倒の可能性有り、転倒の判定できず(転倒不明)および非転倒確実の4段階に分けられ、これに応じて前記転倒判定閾値Thrは、これらを切り分けるための3個の第1ないし第3転倒判定閾値Thr1~Thr3とされる(Thr1<Thr2<Thr3)。そして、第1行動判定部23は、処理S12で抽出した頭部の大きさとこれら第1ないし第3転倒判定閾値Thr1~Thr3とを比較し、処理S12で抽出した頭部の大きさHSが第1転倒判定閾値Thr1以下である場合(HS≦Thr1)には、前記転倒確実と判定し、前記転倒確実を示す第1評価値(第1転倒確実評価値)Var11を求め、処理S12で抽出した頭部の大きさHSが第1転倒判定閾値Thr1より大きく第2転倒判定閾値Thr2以下である場合(Thr1<HS≦Thr2)には、前記転倒の可能性有りと判定し、前記転倒の可能性有りを示す第1評価値(第1転倒可能性評価値)Var12を求め、処理S12で抽出した頭部の大きさHSが第2転倒判定閾値Thr2より大きく第3転倒判定閾値Thr3以下である場合(Thr2<HS≦Thr3)には、前記転倒不明と判定し、前記転倒不明を示す第1評価値(第1転倒不明評価値)Var13を求め、そして、処理S12で抽出した頭部の大きさHSが第3転倒判定閾値Thr3より大きい場合(Thr3<HS)には、前記非転倒確実と判定し、前記非転倒確実を示す第1評価値(第1非転倒確実評価値)Var14を求める。これら第1転倒確実評価値Var11、第1転倒可能性評価値Var12、第1転倒不明評価値Var13および第1非転倒確実評価値Var14は、それぞれ、予め適宜な値に設定された値であり、例えば、第1転倒確実評価値Var11は、「2」に設定され、第1転倒可能性評価値Var12は、「1」に設定され、第1転倒不明評価値Var13は、「0」に設定され、そして、第1非転倒確実評価値Var14は、「-1」に設定される。なお、第1転倒確実評価値Var11、第1転倒可能性評価値Var12、第1転倒不明評価値Var13および第1非転倒確実評価値Var14における各値は、これに限定されるものではなく、第1転倒確実評価値Var11>第1転倒可能性評価値Var12>第1転倒不明評価値Var13>第1非転倒確実評価値Var14であれば、任意の値でよい。
 同様に、前記転落の有無を判定する場合、前記第1判定結果が転落の発生の確からしさとして転落確実、転落の可能性有り、転落の判定できず(転落不明)および非転落確実の4段階に分けられ、これに応じて前記転落判定閾値Thcは、これらを切り分けるための3個の第1ないし第3転落判定閾値Thc1~Thc3とされる(Thc1<Thc2<Thc3)。そして、第1行動判定部23は、処理S12で抽出した頭部の大きさとこれら第1ないし第3転落判定閾値Thc1~Thc3とを比較し、処理S12で抽出した頭部の大きさHSが第1転落判定閾値Thc1以下である場合(HS≦Thc1)には、前記転落確実と判定し、前記転落確実を示す第1評価値(第1転落確実評価値)Vac11を求め、処理S12で抽出した頭部の大きさHSが第1転落判定閾値Thc1より大きく第2転落判定閾値Thc2以下である場合(Thc1<HS≦Thc2)には、前記転落の可能性有りと判定し、前記転落の可能性有りを示す第1評価値(第1転落可能性評価値)Vac12を求め、処理S12で抽出した頭部の大きさHSが第2転落判定閾値Thc2より大きく第3転落判定閾値Thc3以下である場合(Thc2<HS≦Thc3)には、前記転落不明と判定し、前記転落不明を示す第1評価値(第1転落不明評価値)Vac13を求め、そして、処理S12で抽出した頭部の大きさHSが第3転落判定閾値Thc3より大きい場合(Thc3<HS)には、前記非転落確実と判定し、前記非転落確実を示す第1評価値(第1非転落確実評価値)Vac14を求める。これら第1転落確実評価値Vac11、第1転落可能性評価値Vac12、第1転落不明評価値Vac13および第1非転落確実評価値Vac14は、それぞれ、予め適宜な値に設定された値であり、例えば、第1転落確実評価値Vac11は、「2」に設定され、第1転落可能性評価値Vac12は、「1」に設定され、第1転落不明評価値Vac13は、「0」に設定され、そして、第1非転落確実評価値Vac14は、「-1」に設定される。なお、第1転落確実評価値Vac11、第1転落可能性評価値Vac12、第1転落不明評価値Vac13および第1非転落確実評価値Vac14における各値は、これに限定されるものではなく、第1転落確実評価値Vac11>第1転落可能性評価値Vac12>第1転落不明評価値Vac13>第1非転落確実評価値Vac14であれば、任意の値でよい。
 このように第1行動判定部23は、頭部の大きさに基づいて転倒の発生の有無や転落の発生の有無を検知できる。本実施形態では、このような頭部の大きさに基づいて転倒の有無および転落の有無を判定するアルゴリズムが前記第1行動検知アルゴリズムとして用いられている。
 なお、上述の処理S13において、第1行動判定部23は、処理S12で抽出された前記頭部の大きさおよび前記頭部の位置に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)を判定しても良い。例えば、図6に示すように、画像上における寝具BTの領域AR1が予め記憶部4aに記憶され、第1行動判定部23は、処理S12で抽出された前記頭部の位置が寝具BTの領域AR1内である場合には、非転倒確実および非転落確実と判定し、第1非転倒確実評価値Var14および第1非転落確実評価値Vac14を求める。また例えば、図6に示すように、画像上における、所定幅で寝具BTの周辺領域(図6に示す例では1つのベッドサイドから所定幅の周辺領域)AR2が予め記憶部4aに記憶され、第1行動判定部23は、処理S12で抽出された前記頭部の大きさHSが第1転落判定閾値Thc1以下である場合(HS≦Thc1)であって、前記頭部の位置が周辺領域AR2内である場合には、転落確実と判定し、第1転落確実評価値Vac11を求める。なお、この場合、前記頭部の大きさHSが第1転落判定閾値Thc1以下である場合(HS≦Thc1)に代え、前記頭部の大きさHSが第2転落判定閾値Thc2以下である場合(HS≦Thc2)が用いられても良い。また例えば、図6に示すように、画像上における、前記周辺領域AR2を除く床の領域AR3が予め記憶部4aに記憶され、第1行動判定部23は、処理S12で抽出された前記頭部の大きさHSが第1転倒判定閾値Thr1以下である場合(HS≦Thr1)であって、前記頭部の位置が床の領域AR3内である場合には、転倒確実と判定し、第1転倒確実評価値Var11を求める。なお、この場合、前記頭部の大きさHSが第1転倒判定閾値Thr1以下である場合(HS≦Thr1)に代え、前記頭部の大きさHSが第2転倒判定閾値Thr2以下である場合(HS≦Thr2)が用いられても良い。これによれば、さらに頭部の位置を考慮して転倒の発生の有無や転落の発生の有無を検知できる。
 次に、制御処理部2aは、最終判定部26a-1によって、第1行動判定部23の第1判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)が検知されたか否かを判定する(S14)。この判定の結果、前記所定の行動が検知された場合(Yes)には、制御処理部2aは、次に処理S18を実行し、一方、前記所定の行動が検知されなかった場合(No)には、制御処理部2aは、次に処理S15を実行する。
 より具体的には、最終判定部26a-1は、第1行動判定部23による第1判定結果と所定の第1閾値Th1とを比較し、この結果、第1行動判定部23による第1判定結果が前記所定の第1閾値Th1以上である場合(Yes)に、前記第1判定結果を、被監視者Obにおける所定の行動を最終的に判定した最終判定結果として、制御処理部2aは、次に処理S18を実行し、一方、第1行動判定部23による第1判定結果が所定の第1閾値Th1未満である場合(No)に、第2行動判定部25による第2判定結果に基づいて前記所定の行動を最終的に判定するために、制御処理部2aは、次に処理S15を実行する。
 より詳しくは、本実施形態では、上述したように、第1行動判定部23は、前記第1判定結果として第1評価値Va1を求めており、被監視者Obにおける所定の行動は、転倒および転落であるので、まず、転倒の場合では、最終判定部26a-1は、処理S13で第1行動判定部23によって求められた転倒の第1評価値Var1と2(第1閾値Th1の一例)とを比較し、第1行動判定部23によって求められた転倒の第1評価値Var1が2以上である場合(Yes)には、転倒有りと最終的に判定し、制御処理部2aは、次に処理S18を実行し、一方、処理S13で第1行動判定部23によって求められた転倒の第1評価値Var1が2未満である場合(No)には、第2行動判定部25による第2判定結果に基づいて転倒を最終的に判定するために、制御処理部2aは、次に処理S15を実行する。同様に、転落の場合では、最終判定部26a-1は、処理S13で第1行動判定部23によって求められた転落の第1評価値Vac1と2(第1閾値Th1の一例)とを比較し、第1行動判定部23によって求められた転落の第1評価値Vac1が2以上である場合(Yes)には、転落有りと最終的に判定し、制御処理部2aは、次に処理S18を実行し、一方、処理S13で第1行動判定部23によって求められた転落の第1評価値Vac1が2未満である場合(No)には、第2行動判定部25による第2判定結果に基づいて転落を最終的に判定するために、制御処理部2aは、次に処理S15を実行する。
 処理S15において、制御処理部2aは、第2部位抽出部24によって、第2部位、本実施形態では本体部位を抽出する。
 より具体的には、第2部位抽出部24は、処理S11で取得した前記所在空間の画像(撮像対象の画像)から、第2部位、本実施形態では、本体部位(本体部位の画像領域)を公知の画像処理技術を用いることによって抽出する。例えば、第2部位抽出部24は、処理S11で取得した前記所在空間の画像(撮像対象の画像)から動体領域を本体部位として抽出する。なお、この抽出した動体領域から頭部の領域を除外した残部の動体領域が前記本体部位とされても良い。この動体領域の抽出には、例えば背景差分法やフレーム間差分法等の手法が用いられる。前記背景差分法では、予め背景画像が求められて前記各種の所定のデータの1つとして記憶部4aに予め記憶され、撮像部1によって生成された画像と前記背景画像との差分画像から動体領域が抽出される。前記フレーム差分法では、撮像部1によって生成された、現在のフレームの画像と過去のフレーム(例えば1つ前のフレーム)の画像との差分画像から動体領域が抽出される。抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報等が組み合わされて利用されても良い。
 次に、制御処理部2aは、第2行動判定部25によって、被監視者Obにおける所定の行動を検知するための第2行動検知アルゴリズムを用いることによって、処理S15で第2部位抽出部24によって抽出した第2部位に基づいて前記所定の行動を判定する(S16)。
 より具体的には、本実施形態では、前記第2部位は、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位であり、前記所定の行動は、転倒および転落であるので、第2行動判定部25は、前記第2行動検知アルゴリズムを用いることによって、処理S15で抽出した本体部位の形状およびその位置に基づいて転倒の有無および転落の有無それぞれを判定する。上述したように、前記転倒は、被監視者Obが立位姿勢または座位姿勢から床面上等の横臥姿勢への変化であり、前記転落は、被監視者Obが鉛直方向に沿った高い位置から低い位置への落下、例えば寝具BTから床面上等へ落下であり、撮像部1で取得される画像は、前記所在空間の上方から、本実施形態では天井から鉛直下方に見下ろして前記所在空間を撮像した画像である。このため、例えば、図6に示すように、画像上における寝具BTの領域AR1、画像上における、所定幅で寝具BTの周辺領域(図6に示す例では1つのベッドサイドから所定幅の周辺領域)AR2および画像上における、前記周辺領域AR2を除く床の領域AR3が予め記憶部4aに記憶され、第2行動判定部25は、処理S15で抽出された前記本体部位の位置およびその形状を求め、処理S15で抽出された前記本体部位の位置が床の領域AR3内であって、その形状が略矩形形状である場合には、転倒有りと判定し、第2行動判定部25は、処理S15で抽出された前記本体部位の位置が周辺領域AR2内であって、その形状が略矩形形状である場合には、転落有りと判定し、そして、処理S15で抽出された前記本体部位の位置が寝具BTの領域AR1内である場合には、転倒および転落無しと判定する。この判定の際に、第2行動判定部25は、さらに前記本体部位の形状の向きに基づいても良い。例えば、寝具BTの領域AR1を除く領域(すなわち、周辺領域AR2および床の領域AR3)において、図7Aに示すように、被監視者Obが撮像部1の略真下に位置する場合、被監視者Obが立位姿勢であると、本体部位の形状は、略正方形形状であり、被監視者Obが転倒して床面上等に横臥姿勢になると、本体部位の形状は、略矩形形状であって、その形状における縦長な向きは、画像の中心位置から放射状に延びる放射線に沿った向きとなる。また例えば、寝具BTの領域AR1を除く領域(すなわち、周辺領域AR2および床の領域AR3)において、図7Bに示すように、被監視者Obが撮像部1の略真下の位置から離れた位置に位置する場合、被監視者Obが立位姿勢であると、本体部位の形状は、略矩形形状であって、その形状における縦長な向きは、画像の中心位置から放射状に延びる放射線に沿った向きであり、被監視者Obが転倒して床面上等に横臥姿勢になると、本体部位の形状は、略矩形形状であって、その形状における縦長な向きは、画像の中心位置から放射状に延びる放射線に交差する向きとなる。なお、上述の場合、本体部位における形状の向きは、時間的に比較的急速に変化するので、第2行動判定部25は、さらに前記形状の向きの時間変化に基づいても良い。また、上述の場合、本体部位における形状も時間的に変化する場合があるので、第2行動判定部25は、さらに前記形状の時間変化に基づいても良い。また例えば、転落の場合、本体部位が寝具BTの領域AR1から、寝具BTの領域AR1を除く領域(すなわち、周辺領域AR2および床の領域AR3)へ比較的急速に移動するので、第2行動判定部25は、さらに前記本体部位の移動速度に基づいても良い。
 より詳しくは、本実施形態では、第2行動判定部25は、被監視者Obにおける所定の行動の発生の確からしさを表す第2評価値Va2を第2判定結果として求めている。
 前記転倒の有無を判定する場合、上述と同様に、前記第2判定結果が転倒の発生の確からしさとして転倒確実、転倒の可能性有り、転倒の判定できず(転倒不明)および非転倒確実の4段階に分けられている。例えば、第2行動判定部25は、複数の条件それぞれで転倒の有無を判定し、その各判定結果に応じた得点を求め、その合計点に基づいて前記各段階に対応する転倒の第2評価値Var2を求める。より詳しくは、第2行動判定部25は、処理S15で抽出された前記本体部位の位置およびその形状を求め、この本体部位の位置が床の領域AR3内であって、その形状が略矩形形状である場合には、転倒有りと判定し、転倒有りの判定の得点として例えば「1」を当て、前記本体部位の位置が寝具BTの領域AR1内である場合には、転倒無しと判定し、転倒無しの判定の得点として「-1」を当て、前記本体部位の位置またはその形状が上記を除く場合には、転倒不明と判定し、転倒不明の判定の得点として「0」を当てる。また、第2行動判定部25は、図7を用いて説明したように、前記本体部位の位置、その形状およびその形状の向きに基づいて、転倒の有無を判定し、転倒有りと判定した場合には、転倒有りの判定の得点として例えば「1」を当て、転倒なしと判定した場合には、転倒なしの判定の得点として例えば「0」を当てる。そして、第2行動判定部25は、これら2個の条件それぞれから得られた得点を合計し、この合計点が「2」である場合には、前記転倒確実と判定し、その合計点で転倒確実を示す第2評価値(第2転倒確実評価値)Var21(=2)を求め、前記合計点が「1」である場合には、前記転倒の可能性有りと判定し、その合計点で前記転倒の可能性有りを示す第2評価値(第2転倒可能性評価値)Var22(=1)を求め、前記合計点が「0」である場合には、前記転倒不明と判定し、その合計点で前記転倒不明を示す第2評価値(第2転倒不明評価値)Var23(=0)を求め、そして、前記合計点が「-1」である場合には、前記非転倒確実と判定し、その合計点で前記非転倒確実を示す第2評価値(第2非転倒確実評価値)Var24(=-1)を求める。
 同様に、前記転落の有無を判定する場合、前記第2判定結果が転落の発生の確からしさとして転落確実、転落の可能性有り、転落の判定できず(転落不明)および非転落確実の4段階に分けられている。例えば、第2行動判定部25は、複数の条件それぞれで転落の有無を判定し、その各判定結果に応じた得点を求め、その合計点に基づいて前記各段階に対応する転落の第2評価値Vac2を求める。より詳しくは、第2行動判定部25は、処理S15で抽出された前記本体部位の位置およびその形状を求め、この本体部位の位置が周辺領域AR2内であって、その形状が略矩形形状である場合には、転落有りと判定し、転落倒有りの判定の得点として例えば「1」を当て、前記本体部位の位置が寝具BTの領域AR1内である場合には、転倒無しと判定し、転倒無しの判定の得点として「-1」を当て、前記本体部位の位置またはその形状が上記を除く場合には、転倒不明と判定し、転倒不明の判定の得点として「0」を当てる。また、第2行動判定部25は、第2行動判定部25は、処理S15で抽出された前記本体部位の位置、その形状および移動速度を求め、上述したように、略矩形形状の本体部位が寝具BTの領域AR1から周辺領域AR2へ所定の閾値より大きな速度で移動したか否かで、転落の有無を判定し、転落有りと判定した場合には、転落有りの判定の得点として例えば「1」を当て、転落なしと判定した場合には、転落なしの判定の得点として例えば「0」を当てる。そして、第2行動判定部25は、これら2個の条件それぞれから得られた得点を合計し、この合計点が「2」である場合には、前記転落確実と判定し、その合計点で転落確実を示す第2評価値(第2転落確実評価値)Vac21(=2)を求め、前記合計点が「1」である場合には、前記転落の可能性有りと判定し、その合計点で前記転落の可能性有りを示す第2評価値(第2転落可能性評価値)Vac22(=1)を求め、前記合計点が「0」である場合には、前記転落不明と判定し、その合計点で前記転落不明を示す第2評価値(第2転落不明評価値)Vac23(=0)を求め、そして、前記合計点が「-1」である場合には、前記非転落確実と判定し、その合計点で前記非転落確実を示す第2評価値(第2非転落確実評価値)Vac24(=-1)を求める。
 このように第2行動判定部23は、本体部位の形状およびその位置に基づいて転倒の発生の有無や転落の発生の有無を検知でき、さらに本体部位の形状の向きを考慮して転倒の発生の有無や転落の発生の有無を検知でき、また、さらに本体部位の移動速度を考慮して転倒の発生の有無や転落の発生の有無を検知できる。本実施形態では、このような本体部位の形状等に基づいて転倒の有無および転落の有無を判定するアルゴリズムが前記第2行動検知アルゴリズムとして用いられている。
 次に、制御処理部2aは、最終判定部26a-1によって、第2行動判定部25の第2判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)が検知されたか否かを判定する(S17)。この判定の結果、前記所定の行動が検知された場合(Yes)には、制御処理部2aは、次に処理S18を実行し、一方、前記所定の行動が検知されなかった場合(No)には、制御処理部2aは、処理を終了する。
 より具体的には、最終判定部26a-1は、第2行動判定部25による第2判定結果と所定の第2閾値Th2とを比較し、この結果、第2行動判定部25による第2判定結果が前記所定の第2閾値Th2以上である場合(Yes)に、前記第2判定結果を、被監視者Obにおける所定の行動を最終的に判定した最終判定結果として、制御処理部2aは、次に処理S18を実行し、一方、第2行動判定部25による第2判定結果が所定の第2閾値Th2未満である場合(No)に、制御処理部2aは、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。
 より詳しくは、本実施形態では、上述したように、第2行動判定部25は、前記第2判定結果として第2評価値Va2を求めており、被監視者Obにおける所定の行動は、転倒および転落であるので、まず、転倒の場合では、最終判定部26a-1は、処理S16で第2行動判定部25によって求められた転倒の第2評価値Var2と2(第2閾値Th2の一例)とを比較し、第2行動判定部25によって求められた転倒の第2評価値Var2が2以上である場合(Yes)には、転倒有りと最終的に判定し、制御処理部2aは、次に処理S18を実行し、一方、処理S16で第2行動判定部25によって求められた転倒の第2評価値Var2が2未満である場合(No)には、制御処理部2aは、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。同様に、転落の場合では、最終判定部26a-1は、処理S16で第2行動判定部25によって求められた転落の第2評価値Vac2と2(第2閾値Th2の一例)とを比較し、第2行動判定部25によって求められた転落の第2評価値Vac2が2以上である場合(Yes)には、転落有りと最終的に判定し、制御処理部2aは、次に処理S18を実行し、一方、処理S16で第2行動判定部25によって求められた転落の第2評価値Vac2が2未満である場合(No)には、制御処理部2aは、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。
 処理S18では、最終判定部26a-1は、転倒有りを判定された場合には、判定結果として転倒有りを通知処理部27へ出力し、転落有りを判定された場合には、判定結果として転落有りを通知処理部27へ出力する。これを受けた通知処理部27は、上述したように、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVへ送信する。
 なお、上述の第1態様の最終判定部26a-1によるセンサ装置SUaの第1態様の動作における処理S17において、最終判定部26a-1は、前記第1判定結果および前記第2判定結果を重み付け加算した重み付け加算結果に基づいて前記所定の行動を最終的に判定しても良い。この場合において、第1判定結果の第1重みおよび第2判定結果の第2重みが、例えば複数のサンプルを用いることによって予め適宜な値にそれぞれ設定され、そして、予め記憶部4aに記憶され、図4に破線で示すように、上述の処理S16と処理S17との間に、処理Sαが実行される。この処理Sαでは、最終判定部26a-1は、前記第1判定結果および前記第2判定結果を重み付け加算して重み付け加算結果を求める(重み付け加算結果={(第1重み)×(第1判定結果(第1評価値Va1))+(第2重み)×(第2判定結果(第2評価値Va2))}/{(第1重み)+(第2重み)})。そして、最終判定部26a-1は、第2行動判定部25による第2判定結果に代え、この処理Sαで求めた重み付け加算結果を用いて、上述の処理S17を実行する。これによれば、第1および第2判定結果の一方が、他方より適切に被監視者Obにおける所定の行動を判定した結果を示している場合に、第1および第2判定結果に優劣を付けて前記所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
 次に、第2態様の最終判定部26a-2によるセンサ装置SUaの第2態様の動作について説明する。センサ装置SUaは、上述したように、所定のフレームレートに応じた時間間隔で撮像部1によって画像を順次に取得しており、以下の動作は、各フレームの各画像ごとに実施される。
 図5において、制御処理部2aは、処理S11と同様に、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S21)。
 次に、制御処理部2aは、処理S15と同様に、第2部位抽出部24によって、第2部位、本実施形態では本体部位を抽出する(S22)。
 次に、制御処理部2aは、処理S16と同様に、第2行動判定部25によって、被監視者Obにおける所定の行動を検知するための第2行動検知アルゴリズムを用いることによって、処理S22で第2部位抽出部24によって抽出した第2部位に基づいて前記所定の行動を判定する(S23)。
 次に、制御処理部2aは、処理S17と同様に、最終判定部26a-2によって、第2行動判定部25の第2判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)が検知されたか否かを判定する(S24)。この判定の結果、前記所定の行動が検知された場合(Yes)には、制御処理部2aは、次に処理S28を実行し、一方、前記所定の行動が検知されなかった場合(No)には、制御処理部2aは、次に処理S25を実行する。より具体的には、最終判定部26a-2は、第2行動判定部25による第2判定結果(第2評価値Var2、Vac2)と所定の第2閾値Th2とを比較し、この結果、第2行動判定部25による第2判定結果が前記所定の第2閾値Th2以上である場合(Yes)に、前記第2判定結果を、被監視者Obにおける所定の行動を最終的に判定した最終判定結果として、制御処理部2aは、次に処理S28を実行し、一方、第2行動判定部25による第2判定結果が所定の第2閾値Th2未満である場合(No)に、第1行動判定部23による第1判定結果に基づいて前記所定の行動を最終的に判定するために、制御処理部2aは、次に処理S25を実行する。
 処理S25において、制御処理部2aは、処理S12と同様に、第1部位抽出部22によって、第1部位、本実施形態では頭部を抽出する。
 次に、制御処理部2aは、処理S13と同様に、第1行動判定部23によって、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、処理S15で第1部位抽出部22によって抽出した第1部位に基づいて前記所定の行動を判定する(S26)。
 次に、制御処理部2aは、処理S14と同様に、最終判定部26a-1によって、第1行動判定部23の第1判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)が検知されたか否かを判定する(S27)。この判定の結果、前記所定の行動が検知された場合(Yes)には、制御処理部2aは、次に処理S28を実行し、一方、前記所定の行動が検知されなかった場合(No)には、制御処理部2aは、処理を終了する。
 より具体的には、最終判定部26a-2は、第1行動判定部23による第1判定結果(第1評価値Var1、Vac1)と所定の第1閾値Th1とを比較し、この結果、第1行動判定部23による第1判定結果が前記所定の第1閾値Th1以上である場合(Yes)に、前記第1判定結果を、被監視者Obにおける所定の行動を最終的に判定した最終判定結果として、制御処理部2aは、次に処理S28を実行し、一方、第1行動判定部23による第1判定結果が所定の第1閾値Th1未満である場合(No)に、制御処理部2aは、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。
 処理S28では、最終判定部26a-1は、処理S18と同様に、転倒有りを判定された場合には、判定結果として転倒有りを通知処理部27へ出力し、転落有りを判定された場合には、判定結果として転落有りを通知処理部27へ出力する。これを受けた通知処理部27は、上述したように、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVへ送信する。
 なお、上述の第2態様の最終判定部26a-2によるセンサ装置SUaの第2態様の動作における処理S27において、最終判定部26a-2は、前記第1判定結果および前記第2判定結果を重み付け加算した重み付け加算結果に基づいて前記所定の行動を最終的に判定しても良い。この場合において、第1判定結果の第1重みおよび第2判定結果の第2重みが、例えば複数のサンプルを用いることによって予め適宜な値にそれぞれ設定され、そして、予め記憶部4aに記憶され、図5に破線で示すように、上述の処理S26と処理S27との間に、処理Sβが実行される。この処理Sβでは、最終判定部26a-2は、前記第1判定結果および前記第2判定結果を重み付け加算して重み付け加算結果を求める。そして、最終判定部26a-2は、第1行動判定部23による第1判定結果に代え、この処理Sβで求めた重み付け加算結果を用いて、上述の処理S27を実行する。これによれば、第1および第2判定結果の一方が、他方より適切に被監視者Obにおける所定の行動を判定した結果を示している場合に、第1および第2判定結果に優劣を付けて前記所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
 以上説明したように、行動検知装置および行動検知方法を実装した一例のセンサ装置SUaならびに被監視者監視装置の一例である被監視者監視システムMSaは、画像取得部の一例である撮像部1で取得した画像から、互いに異なる第1および第2部位(本実施形態では頭部および本体部位)をそれぞれ抽出し、これら第1および第2部位それぞれに基づいて互いに異なる第1および第2行動検知アルゴリズムそれぞれを用いることによって、第1および第2判定結果をそれぞれ求め、これら第1および第2判定結果に基づいて被監視者Obにおける所定の行動(本実施形態では転倒および転落)を最終的に判定する。上記センサ装置SUaおよび被監視者監視システムMSaは、このように前判定した2個の第1および第2判定結果に基づいて被監視者Obにおける所定の行動を最終的に判定するので、1個の撮像装置によって得られた画像に基づいて被監視者Obにおける所定の行動をより精度良く検知できる。
 上記センサ装置SUaおよび被監視者監視システムMSaは、処理S14以下の各処理や処理S24以下の各処理で示すように、第1判定結果(第1評価値Va1)および第2判定結果(第2評価値Va2)のうちの一方が所定の閾値Th1、Th2未満で、被監視者Obにおける所定の行動の発生が不確かな場合に、これらのうちの他方の判定結果(他方の評価値Va)に基づいて前記所定の行動を最終的に判定する。このため、上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者Obにおける所定の行動を段階的に判定でき、前記所定の行動をより精度良く検知できる。
 上記センサ装置SUaおよび被監視者監視システムMSaは、処理S14や処理S24で示すように、第1判定結果(第1評価値Va1)および第2判定結果(第2評価値Va2)のうちの一方が前記所定の閾値Th1、Th2以上で、被監視者における所定の行動の発生が確かである場合に、これらのうちの他方の判定結果(他方の評価値)に基づいて前記所定の行動を最終的に判定することなく、最終判定結果を得ることができる。このため、上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者における所定の行動をより精度良く検知した最終判定結果をより早く求めることができる。
 次に、別の実施形態について説明する。
(第2実施形態)
 上述の第1実施形態では、最終判定部26a(26a-1、26a-2)は、前記第1判定結果(第1評価値Va1)および前記第2判定結果(第2評価値Va2)のうちの一方が所定の閾値Th1、Th2以上である場合に、前記第1判定結果および前記第2判定結果のうちの前記一方を、前記所定の行動を最終的に判定した最終判定結果とし、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値Th1、Th2未満である場合に、前記第1判定結果および前記第2判定結果のうちの他方に基づいて前記所定の行動を最終的に判定したが、第2実施形態では、後述するように、最終判定部26bは、前記第1判定結果(第1評価値Va1)と前記第2判定結果(第2評価値Va2)との両方に基づいて前記所定の行動を最終的に判定するものである。
 まず、第2実施形態の構成について説明する。図8は、第2実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。
 第2実施形態における被監視者監視システムMSbは、例えば、図1に示すように、1または複数のセンサ装置SUb(SUb-1~SUb-4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)とを備える。これら第2実施形態の被監視者監視システムMSbにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA-1、TA-2)は、それぞれ、第1実施形態の被監視者監視システムMSaにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA-1、TA-2)と同様であるので、その説明を省略する。
 第2実施形態におけるセンサ装置SUbは、例えば、図8に示すように、撮像部1と、制御処理部2bと、通信IF部3と、記憶部4bとを備える。これら第2実施形態のセンサ装置SUbにおける撮像部1および通信IF部3は、それぞれ、第1実施形態のセンサ装置SUaにおける撮像部1および通信IF部3と同様であるので、その説明を省略する。
 記憶部4bは、記憶部4aと同様であり、さらに、重み付け加算の際に用いられる第1および第2判定結果の第1および第2重みである重み情報を記憶している。この重み情報は、本実施形態では、1個(1組)ではなく、被監視者Obにおける画像上での複数の位置に対応付けられた複数組の第1および第2重みである。基本では、第1重みと第2重みとは、同値である(第1重み=第2重み)。そして、例えば、被監視者Obにおける画像上での位置が周辺領域AR2である場合には、本体部位の形状による転倒の有無および転落の有無が判定し易いため、この場合では、第2重みが第1重みより大きな値に設定される(第1重み<第2重み)。また例えば、被監視者Obにおける画像上での位置が画像の中央領域(画像の中央位置から予め設定された所定の範囲内の領域)である場合には、頭部の大きさによる転倒の有無および転落の有無が判定し易いため、この場合では、第1重みが第2重みより大きな値に設定され(第1重み>第2重み)、逆に、被監視者Obにおける画像上での位置が画像の周辺領域(画像の周辺から予め設定された所定の範囲内の領域)である場合には、第1重みが第2重みより小さな値に設定され(第1重み<第2重み)。このような重み情報を記憶するために、記憶部4bは、機能的に、重み情報記憶部41を備えている。この重み情報記憶部41は、例えば、被監視者Obにおける画像上での位置とその位置での第1および第2重みとを対応付けたルックアップテーブルで前記重み情報を記憶する。
 制御処理部2bは、制御処理部2aと同様に、センサ装置SUbの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の行動を検知して通知するための回路であり、本実施形態では、制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、最終判定部26b、通知処理部27、ストリーミング処理部28および位置演算部29を機能的に備える。これら第2実施形態の制御処理部2bにおける制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、通知処理部27およびストリーミング処理部28は、それぞれ、第1実施形態の制御処理部2bにおける制御部21、第1部位抽出部22、第1行動判定部23、第2部位抽出部24、第2行動判定部25、通知処理部27およびストリーミング処理部28と同様であるので、その説明を省略する。
 位置演算部29は、第1部位抽出部22で抽出した第1部位および第2部位抽出部24で抽出した第2部位の少なくとも一方に基づいて被監視者Obにおける前記画像上での位置を求める。例えば、本実施形態では、位置演算部29は、第1部位抽出部22で抽出した第1部位、ここでは、頭部に基づいて被監視者Obにおける前記画像上での位置を求める。なお、例えば、位置演算部29は、第1部位抽出部22で抽出した第1部位および第2部位抽出部24で抽出した第2部位に基づいて被監視者Obにおける前記画像上での位置を求めて良く、また例えば、位置演算部29は、第2部位抽出部24で抽出した第2部位、ここでは、本体部位に基づいて被監視者Obにおける前記画像上での位置を求めて良い。
 最終判定部26bは、最終判定部26aと同様に、第1行動判定部23の第1判定結果および第2行動判定部25の第2判定結果に基づいて被監視者Obにおける所定の行動を最終的に判定するものであり、本実施形態では、前記第1判定結果と前記第2判定結果との両方に基づいて前記所定の行動を最終的に判定するものである。より具体的には、最終判定部26bは、前記第1判定結果(第1評価値Va1)および前記第2判定結果(第2評価値Va2)を重み付け加算し、この重み付け加算した重み付け加算結果に基づいて被監視者Obにおける所定の行動を最終的に判定する。より詳しくは、最終判定部26bは、記憶部4bの重み情報記憶部41に記憶された複数の第1重みおよび第2重みの中から、位置演算部29で求めた被監視者Obにおける画像上での位置に対応した前記第1重みおよび前記第2重みを選択し、この選択した前記第1重みおよび前記第2重みを用いて前記第1判定結果(第1評価値Va1)および前記第2判定結果(第2評価値Va2)を重み付け加算することで、前記重み付け加算結果を求め、この求めた重み付け加算結果に基づいて被監視者Obにおける所定の行動を最終的に判定する。
 次に、本実施形態の動作について説明する。第2実施形態における被監視者監視システムMSbの動作は、第1実施形態における被監視者監視システムMSaの動作と同様であるので、その説明を省略し、そのセンサ装置SUbの行動検知動作について、説明する。図9は、第2実施形態の被監視者監視システムにおけるセンサ装置の動作を示すフローチャートである。センサ装置SUbは、上述したように、所定のフレームレートに応じた時間間隔で撮像部1によって画像を順次に取得しており、以下の動作は、各フレームの各画像ごとに実施される。
 図9において、制御処理部2bは、処理S11と同様に、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S31)。
 次に、制御処理部2bは、処理S12と同様に、第1部位抽出部22によって、第1部位、本実施形態では頭部を抽出する(S32)。
 次に、制御処理部2bは、処理S13と同様に、第1行動判定部23によって、被監視者Obにおける所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、処理S32で第1部位抽出部22によって抽出した第1部位に基づいて前記所定の行動を判定する(S33)。
 次に、制御処理部2bは、処理S15と同様に、第2部位抽出部24によって、第2部位、本実施形態では本体部位を抽出する(S34)。
 次に、制御処理部2bは、処理S16と同様に、第2行動判定部25によって、被監視者Obにおける所定の行動を検知するための第2行動検知アルゴリズムを用いることによって、処理S34で第2部位抽出部24によって抽出した第2部位に基づいて前記所定の行動を判定する(S35)。
 次に、制御処理部2bは、位置演算部29によって、処理S32で第1部位抽出部22によって抽出した第1部位に基づいて被監視者Obにおける前記画像上での位置を求め、最終判定部26bによって、記憶部4bの重み情報記憶部41に記憶された複数の第1重みおよび第2重みの中から、位置演算部29で求めた被監視者Obにおける画像上での位置に対応した前記第1重みおよび前記第2重みを選択し、この選択した前記第1重みおよび前記第2重みを用いて前記第1判定結果(第1評価値Va1)および前記第2判定結果(第2評価値Va2)を重み付け加算することで、前記重み付け加算結果を求める(S36)。
 次に、制御処理部2bは、位置演算部29によって、この求めた重み付け加算結果に基づいて被監視者Obにおける所定の行動が検知されたか否かを判定する(S37)。この判定の結果、前記所定の行動が検知された場合(Yes)には、この検知した前記所定の行動を最終的な判定結果として、制御処理部2bは、次に処理S38を実行し、一方、前記所定の行動が検知されなかった場合(No)には、被監視者Obにおける所定の行動を検知しなかったとして、制御処理部2bは、処理を終了する。より具体的には、最終判定部26bは、前記重み付け加算結果と所定の第3閾値Th3とを比較し、この結果、前記重み付け加算結果が前記所定の第3閾値Th3以上である場合(Yes)に、この検知した前記所定の行動を最終的な判定結果として、制御処理部2bは、次に処理S38を実行し、一方、前記重み付け加算結果が前記所定の第3閾値Th3未満である場合(No)に、被監視者Obにおける所定の行動を検知しなかったとして、処理を終了する。前記所定の第3閾値は、例えば複数のサンプルを用いることによって適宜な値(例えば2等)に設定される。
 処理S38では、最終判定部26bは、処理S18と同様に、転倒有りを判定された場合には、判定結果として転倒有りを通知処理部27へ出力し、転落有りを判定された場合には、判定結果として転落有りを通知処理部27へ出力する。これを受けた通知処理部27は、上述したように、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVへ送信する。
 以上説明したように、行動検知装置および行動検知方法を実装した一例のセンサ装置SUaならびに被監視者監視装置の一例である被監視者監視システムMSaは、処理S33および処理S35で前判定した2個の第1および第2判定結果(第1および第2評価値Va1、Va2)に基づいて被監視者Obにおける所定の行動を最終的に判定するので、1個の撮像装置によって得られた画像に基づいて被監視者Obにおける所定の行動をより精度良く検知できる。
 上記センサ装置SUaおよび被監視者監視システムMSaは、第1判定結果(第1評価値Va1)および第2判定結果(第2評価値Va2)の両方を同時に(一度に)用いて被監視者における所定の行動を最終的に判定でき、前記所定の行動をより精度良く検知できる。
 上記センサ装置SUaおよび被監視者監視システムMSaは、第1および第2判定結果の一方が、他方より適切に被監視者における所定の行動を判定した結果を示している場合に、第1および第2判定結果に優劣を付けて前記所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
 上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者の位置に応じて第1および第2判定結果の一方が他方より適切に前記所定の行動を判定した結果を示している場合に、被監視者の位置に応じて第1および第2判定結果に優劣を付けて被監視者における所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
 なお、上述の実施形態では、撮像対象の画像は、撮像部1で取得されたが、通信IF部3からネットワークNWを介して、前記撮像対象の画像を管理する他の外部機器から取得されて良く、また、前記撮像対象の画像を記録した記録媒体から通信IF部3を介して取得されても良い。このような場合、通信IF部3は、前記撮像対象の画像を取得する画像取得部の他の一例に相当する。
 本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
 一態様にかかる行動検知装置は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部と、前記画像取得部で取得した前記撮像対象の画像から、人体における所定の第1部位を抽出する第1部位抽出部と、被監視者における所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、前記第1部位抽出部で抽出した第1部位に基づいて前記所定の行動を判定する第1行動判定部と、前記画像取得部で取得した前記撮像対象の前記画像から、人体における前記第1部位と異なる所定の第2部位を抽出する第2部位抽出部と、前記第1行動検知アルゴリズムと異なる、前記被監視者における前記所定の行動を検知するための所定の第2行動検知アルゴリズムを用いることによって、前記第2部位抽出部で抽出した第2部位に基づいて前記所定の行動を判定する第2行動判定部と、前記第1行動判定部の第1判定結果および前記第2行動判定部の第2判定結果のうちの少なくとも一方に基づいて前記所定の行動を最終的に判定する最終判定部とを備えることを特徴とする。
 このような行動検知装置は、画像取得部で取得した画像から、互いに異なる第1および第2部位をそれぞれ抽出し、これら第1および第2部位それぞれに基づいて互いに異なる第1および第2行動検知アルゴリズムそれぞれを用いることによって、第1および第2判定結果をそれぞれ求め、これら第1および第2判定結果のうちの少なくとも一方に基づいて前記所定の行動を最終的に判定する。上記行動検知装置は、このように前判定した2個の第1および第2判定結果のうちの少なくとも一方に基づいて前記所定の行動を最終的に判定するので、1個の撮像装置によって得られた画像に基づいて被監視者における所定の行動をより精度良く検知できる。
 他の一態様では、上述の行動検知装置において、前記第1行動判定部は、前記所定の行動の発生の確からしさを表す第1評価値を前記第1判定結果として求め、前記第2行動判定部は、前記所定の行動の発生の確からしさを表す第2評価値を前記第2判定結果として求め、前記最終判定部は、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値未満である場合に、前記第1判定結果および前記第2判定結果のうちの他方に基づいて前記所定の行動を最終的に判定する。
 このような行動検知装置は、第1判定結果(第1評価値)および第2判定結果(第2評価値)のうちの一方が所定の閾値未満で、被監視者における所定の行動の発生が不確かな場合に、これらのうちの他方の判定結果(他方の評価値)に基づいて前記所定の行動を最終的に判定する。このため、上記行動検知装置は、被監視者における所定の行動を段階的に判定でき、前記所定の行動をより精度良く検知できる。
 他の一態様では、上述の行動検知装置において、前記最終判定部は、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値未満である場合に、前記第1判定結果および前記第2判定結果を重み付け加算し、前記重み付け加算した重み付け加算結果に基づいて前記所定の行動を最終的に判定する。
 このような行動検知装置は、第1および第2判定結果の一方が、他方より適切に被監視者における所定の行動を判定した結果を示している場合に、第1および第2判定結果に優劣を付けて前記所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
 他の一態様では、上述の行動検知装置において、前記第1行動判定部は、前記所定の行動の発生の確からしさを表す第1評価値を前記第1判定結果として求め、前記第2行動判定部は、前記所定の行動の発生の確からしさを表す第2評価値を前記第2判定結果として求め、前記最終判定部は、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値以上である場合に、前記第1判定結果および前記第2判定結果のうちの前記一方を、前記所定の行動を最終的に判定した最終判定結果とする。
 このような行動検知装置は、第1判定結果(第1評価値)および第2判定結果(第2評価値)のうちの一方が前記所定の閾値以上で、被監視者における所定の行動の発生が確かである場合に、これらのうちの他方の判定結果(他方の評価値)に基づいて前記所定の行動を最終的に判定することなく、最終判定結果を得ることができる。このため、上記行動検知装置は、被監視者における所定の行動をより精度良く検知した最終判定結果をより早く求めることができる。
 他の一態様では、上述の行動検知装置において、前記最終判定部は、前記第1行動判定部の第1判定結果と前記第2行動判定部の第2判定結果との両方に基づいて前記所定の行動を最終的に判定する。
 このような行動検知装置は、第1判定結果(第1評価値)および第2判定結果(第2評価値)の両方を同時に(一度に)用いて被監視者における所定の行動を最終的に判定でき、前記所定の行動をより精度良く検知できる。
 他の一態様では、上述の行動検知装置において、前記第1行動判定部は、前記所定の行動の発生の確からしさを表す第1評価値を前記第1判定結果として求め、前記第2行動判定部は、前記所定の行動の発生の確からしさを表す第2評価値を前記第2判定結果として求め、前記最終判定部は、前記第1判定結果および前記第2判定結果を重み付け加算し、前記重み付け加算した重み付け加算結果に基づいて前記所定の行動を最終的に判定する。
 このような行動検知装置は、第1および第2判定結果の一方が、他方より適切に被監視者における所定の行動を判定した結果を示している場合に、第1および第2判定結果に優劣を付けて前記所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
 他の一態様では、上述の行動検知装置において、前記被監視者における画像上での複数の位置に対応付けて、前記第1判定結果および前記第2判定結果それぞれに対する複数の第1重みおよび第2重みを記憶する記憶部と、前記第1部位抽出部で抽出した第1部位および前記第2部位抽出部で抽出した第2部位の少なくとも一方に基づいて前記被監視者における前記画像上での位置を求める位置演算部とをさらに備え、前記最終判定部は、前記記憶部に記憶された複数の第1重みおよび第2重みの中から、前記位置演算部で求めた前記被監視者における前記画像上での位置に対応した前記第1重みおよび前記第2重みを選択し、前記選択した前記第1重みおよび前記第2重みを用いて前記重み付け加算結果を求める。
 このような行動検知装置は、被監視者の位置に応じて第1および第2判定結果の一方が他方より適切に前記所定の行動を判定した結果を示している場合に、被監視者の位置に応じて第1および第2判定結果に優劣を付けて被監視者における所定の行動を最終的に判定するための重み付け加算結果を求めることができ、前記所定の行動をより精度良く検知できる。
 他の一態様では、これら上述の行動検知装置において、前記第1部位は、頭部であり、前記所定の行動は、転倒および転落であり、前記第1行動判定部は、前記頭部の大きさに基づいて前記所定の行動を判定する。
 このような行動検知装置は、頭部に基づいて転倒の発生の有無や転落の発生の有無を検知できる。
 他の一態様では、上述の行動検知装置において、前記第1行動判定部は、前記所定の行動を判定する際に、さらに前記頭部の位置に基づく。
 このような行動検知装置は、さらに頭部の位置を考慮して転倒の発生の有無や転落の発生の有無を検知できる。
 他の一態様では、これら上述の行動検知装置において、前記第2部位は、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位であり、前記所定の行動は、転倒および転落であり、前記第2行動判定部は、前記本体部位の形状および前記本体部位の位置に基づいて前記所定の行動を判定する。
 このような行動検知装置は、本体部位の形状およびその位置に基づいて転倒の発生の有無や転落の発生の有無を検知できる。
 他の一態様では、上述の行動検知装置において、前記第2行動判定部は、前記所定の行動を判定する際に、さらに前記本体部位の形状の向きに基づく。
 このような行動検知装置は、さらに本体部位の形状の向きを考慮して転倒の発生の有無や転落の発生の有無を検知できる。
 他の一態様では、これら上述の行動検知装置において、前記第2行動判定部は、前記所定の行動を判定する際に、さらに前記本体部位の移動速度に基づく。
 このような行動検知装置は、さらに本体部位の移動速度を考慮して転倒の発生の有無や転落の発生の有無を検知できる。
 他の一態様にかかる行動検知方法は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得工程と、前記画像取得工程で取得した前記撮像対象の画像から、人体における所定の第1部位を抽出する第1部位抽出工程と、被監視者における所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、前記第1部位抽出工程で抽出した第1部位に基づいて前記所定の行動を判定する第1行動判定工程と、前記画像取得工程で取得した前記撮像対象の前記画像から、人体における前記第1部位と異なる所定の第2部位を抽出する第2部位抽出工程と、前記第1行動検知アルゴリズムと異なる、前記被監視者における前記所定の行動を検知するための所定の第2行動検知アルゴリズムを用いることによって、前記第2部位抽出工程で抽出した第2部位に基づいて前記所定の行動を判定する第2行動判定工程と、前記第1行動判定工程の第1判定結果および前記第2行動判定工程の第2判定結果のうちの少なくとも一方に基づいて前記所定の行動を最終的に判定する最終判定工程とを備える。
 このような行動検知方法は、画像取得工程で取得した画像から、互いに異なる第1および第2部位をそれぞれ抽出し、これら第1および第2部位それぞれに基づいて互いに異なる第1および第2行動検知アルゴリズムそれぞれを用いることによって、第1および第2判定結果をそれぞれ求め、これら第1および第2判定結果のうちの少なくとも一方に基づいて被監視者における所定の行動を最終的に判定する。上記行動検知方法は、このように前判定した2個の第1および第2判定結果のうちの少なくとも一方に基づいて被監視者における所定の行動を最終的に判定するので、1個の撮像装置によって得られた画像に基づいて前記所定の行動をより精度良く検知できる。
 他の一態様にかかる被監視者監視装置は、監視対象である被監視者における所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、前記行動検知部は、これら上述のいずれかの行動検知装置を含む。
 このような被監視者監視装置は、これら上述のいずれかの行動検知装置を含むので、1個の撮像装置によって得られた画像に基づいて被監視者における所定の行動をより精度良く検知できる。
 この出願は、2015年6月9日に出願された日本国特許出願特願2015-116647を基礎とするものであり、その内容は、本願に含まれるものである。
 本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
 本発明によれば、行動検知装置および行動検知方法ならびに被監視者監視装置が提供できる。
 

Claims (14)

  1.  所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部と、
     前記画像取得部で取得した前記撮像対象の画像から、人体における所定の第1部位を抽出する第1部位抽出部と、
     被監視者における所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、前記第1部位抽出部で抽出した第1部位に基づいて前記所定の行動を判定する第1行動判定部と、
     前記画像取得部で取得した前記撮像対象の前記画像から、人体における前記第1部位と異なる所定の第2部位を抽出する第2部位抽出部と、
     前記第1行動検知アルゴリズムと異なる、前記被監視者における前記所定の行動を検知するための所定の第2行動検知アルゴリズムを用いることによって、前記第2部位抽出部で抽出した第2部位に基づいて前記所定の行動を判定する第2行動判定部と、
     前記第1行動判定部の第1判定結果および前記第2行動判定部の第2判定結果のうちの少なくとも一方に基づいて前記所定の行動を最終的に判定する最終判定部とを備える、
     行動検知装置。
  2.  前記第1行動判定部は、前記所定の行動の発生の確からしさを表す第1評価値を前記第1判定結果として求め、
     前記第2行動判定部は、前記所定の行動の発生の確からしさを表す第2評価値を前記第2判定結果として求め、
     前記最終判定部は、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値未満である場合に、前記第1判定結果および前記第2判定結果のうちの他方に基づいて前記所定の行動を最終的に判定する、
     請求項1に記載の行動検知装置。
  3.  前記最終判定部は、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値未満である場合に、前記第1判定結果および前記第2判定結果を重み付け加算し、前記重み付け加算した重み付け加算結果に基づいて前記所定の行動を最終的に判定する、
     請求項2に記載の行動検知装置。
  4.  前記第1行動判定部は、前記所定の行動の発生の確からしさを表す第1評価値を前記第1判定結果として求め、
     前記第2行動判定部は、前記所定の行動の発生の確からしさを表す第2評価値を前記第2判定結果として求め、
     前記最終判定部は、前記第1判定結果および前記第2判定結果のうちの一方が所定の閾値以上である場合に、前記第1判定結果および前記第2判定結果のうちの前記一方を、前記所定の行動を最終的に判定した最終判定結果とする、
     請求項1に記載の行動検知装置。
  5.  前記最終判定部は、前記第1行動判定部の第1判定結果と前記第2行動判定部の第2判定結果との両方に基づいて前記所定の行動を最終的に判定する、
     請求項1に記載の行動検知装置。
  6.  前記第1行動判定部は、前記所定の行動の発生の確からしさを表す第1評価値を前記第1判定結果として求め、
     前記第2行動判定部は、前記所定の行動の発生の確からしさを表す第2評価値を前記第2判定結果として求め、
     前記最終判定部は、前記第1判定結果および前記第2判定結果を重み付け加算し、前記重み付け加算した重み付け加算結果に基づいて前記所定の行動を最終的に判定する、
     請求項5に記載の行動検知装置。
  7.  前記被監視者における画像上での複数の位置に対応付けて、前記第1判定結果および前記第2判定結果それぞれに対する複数の第1重みおよび第2重みを記憶する記憶部と、
     前記第1部位抽出部で抽出した第1部位および前記第2部位抽出部で抽出した第2部位の少なくとも一方に基づいて前記被監視者における前記画像上での位置を求める位置演算部とをさらに備え、
     前記最終判定部は、前記記憶部に記憶された複数の第1重みおよび第2重みの中から、前記位置演算部で求めた前記被監視者における前記画像上での位置に対応した前記第1重みおよび前記第2重みを選択し、前記選択した前記第1重みおよび前記第2重みを用いて前記重み付け加算結果を求める、
     請求項6に記載の行動検知装置。
  8.  前記第1部位は、頭部であり、
     前記所定の行動は、転倒および転落であり、
     前記第1行動判定部は、前記頭部の大きさに基づいて前記所定の行動を判定する、
     請求項1ないし請求項7のいずれか1項に記載の行動検知装置。
  9.  前記第1行動判定部は、前記所定の行動を判定する際に、さらに前記頭部の位置に基づく、
     請求項8に記載の行動検知装置。
  10.  前記第2部位は、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位であり、
     前記所定の行動は、転倒および転落であり、
     前記第2行動判定部は、前記本体部位の形状および前記本体部位の位置に基づいて前記所定の行動を判定する、
     請求項1ないし請求項9のいずれか1項に記載の行動検知装置。
  11.  前記第2行動判定部は、前記所定の行動を判定する際に、さらに前記本体部位の形状の向きに基づく、
     請求項10に記載の行動検知装置。
  12.  前記第2行動判定部は、前記所定の行動を判定する際に、さらに前記本体部位の移動速度に基づく、
     請求項10または請求項11に記載の行動検知装置。
  13.  所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得工程と、
     前記画像取得工程で取得した前記撮像対象の画像から、人体における所定の第1部位を抽出する第1部位抽出工程と、
     被監視者における所定の行動を検知するための第1行動検知アルゴリズムを用いることによって、前記第1部位抽出工程で抽出した第1部位に基づいて前記所定の行動を判定する第1行動判定工程と、
     前記画像取得工程で取得した前記撮像対象の前記画像から、人体における前記第1部位と異なる所定の第2部位を抽出する第2部位抽出工程と、
     前記第1行動検知アルゴリズムと異なる、前記被監視者における前記所定の行動を検知するための所定の第2行動検知アルゴリズムを用いることによって、前記第2部位抽出工程で抽出した第2部位に基づいて前記所定の行動を判定する第2行動判定工程と、
     前記第1行動判定工程の第1判定結果および前記第2行動判定工程の第2判定結果に基づいて前記所定の行動を最終的に判定する最終判定工程とを備える、
     行動検知方法。
  14.  監視対象である被監視者における所定の行動を検知する行動検知部と、
     前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、
     前記行動検知部は、請求項1ないし請求項12のいずれか1項に記載の行動検知装置を含む、
     被監視者監視装置。
PCT/JP2016/062487 2015-06-09 2016-04-20 行動検知装置および行動検知方法ならびに被監視者監視装置 WO2016199504A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016555632A JP6048630B1 (ja) 2015-06-09 2016-04-20 行動検知装置および行動検知方法ならびに被監視者監視装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015116647 2015-06-09
JP2015-116647 2015-06-09

Publications (1)

Publication Number Publication Date
WO2016199504A1 true WO2016199504A1 (ja) 2016-12-15

Family

ID=57503483

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062487 WO2016199504A1 (ja) 2015-06-09 2016-04-20 行動検知装置および行動検知方法ならびに被監視者監視装置

Country Status (2)

Country Link
JP (2) JP6048630B1 (ja)
WO (1) WO2016199504A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019187492A1 (ja) * 2018-03-30 2019-10-03 コニカミノルタ株式会社 転倒検知装置および該方法ならびに被監視者監視支援システム
JP7214437B2 (ja) * 2018-10-31 2023-01-30 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP7278088B2 (ja) 2019-01-31 2023-05-19 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2021033597A1 (ja) * 2019-08-20 2021-02-25 コニカミノルタ株式会社 画像処理システム、画像処理プログラム、および画像処理方法
JP7475034B2 (ja) 2020-06-11 2024-04-26 株式会社パロマ リモコン

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258830A (ja) * 2004-03-11 2005-09-22 Yamaguchi Univ 人物行動理解システム
JP2009009413A (ja) * 2007-06-28 2009-01-15 Sanyo Electric Co Ltd 動作検知装置及び動作検知プログラム、並びに動作基本モデル生成装置及び動作基本モデル生成プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005258830A (ja) * 2004-03-11 2005-09-22 Yamaguchi Univ 人物行動理解システム
JP2009009413A (ja) * 2007-06-28 2009-01-15 Sanyo Electric Co Ltd 動作検知装置及び動作検知プログラム、並びに動作基本モデル生成装置及び動作基本モデル生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHUN KUROSAWA ET AL.: "The Development of System for Monitoring Elderly People's States by Using Depth Sensor", IEICE TECHNICAL REPORT, vol. 112, no. 475, 4 March 2013 (2013-03-04), pages 17 - 22 *

Also Published As

Publication number Publication date
JP6048630B1 (ja) 2016-12-21
JP6292283B2 (ja) 2018-03-14
JP2017091552A (ja) 2017-05-25
JPWO2016199504A1 (ja) 2017-06-22

Similar Documents

Publication Publication Date Title
JP6292283B2 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
JP6137425B2 (ja) 画像処理システム、画像処理装置、画像処理方法、および画像処理プログラム
WO2016143641A1 (ja) 姿勢検知装置および姿勢検知方法
JP6984712B2 (ja) 被監視者監視システムおよび被監視者監視システムのプログラム
JP6720909B2 (ja) 行動検知装置、該方法および該プログラム、ならびに、被監視者監視装置
JP6852733B2 (ja) 生体監視装置及び生体監視方法
JP7120238B2 (ja) 発報制御システム、検知ユニット、ケアサポートシステムおよび発報制御方法
JP6870465B2 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
JP6908028B2 (ja) 被監視者監視装置、該方法、該システムおよびプログラム
JP6115689B1 (ja) 転倒検知装置および転倒検知方法ならびに被監視者監視装置
JP6115693B1 (ja) 対象物検出装置および対象物検出方法ならびに被監視者監視装置
JP2020013185A (ja) 見守り装置および見守り装置の制御プログラム
WO2021033453A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
JP7137155B2 (ja) 被監視者監視支援システム、被監視者監視支援方法およびプログラム
JP6481537B2 (ja) 被監視者監視装置および被監視者監視方法
JP6737355B2 (ja) 頭部検出装置および頭部検出方法ならびに被監視者監視装置
JPWO2019216045A1 (ja) システム、およびシステムの制御方法
JP7327396B2 (ja) 制御プログラム、レポート出力方法、およびレポート出力装置
WO2021033597A1 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
WO2020008995A1 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP2021065617A (ja) 画像処理装置および画像処理プログラム
JP2022165483A (ja) 検出装置、検出システム、検出方法、および検出プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016555632

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807211

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807211

Country of ref document: EP

Kind code of ref document: A1