WO2016199506A1 - 対象物検出装置および対象物検出方法ならびに被監視者監視装置 - Google Patents

対象物検出装置および対象物検出方法ならびに被監視者監視装置 Download PDF

Info

Publication number
WO2016199506A1
WO2016199506A1 PCT/JP2016/062570 JP2016062570W WO2016199506A1 WO 2016199506 A1 WO2016199506 A1 WO 2016199506A1 JP 2016062570 W JP2016062570 W JP 2016062570W WO 2016199506 A1 WO2016199506 A1 WO 2016199506A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
unit
image
target
imaging
Prior art date
Application number
PCT/JP2016/062570
Other languages
English (en)
French (fr)
Inventor
林 修二
藤原 浩次
Original Assignee
コニカミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by コニカミノルタ株式会社 filed Critical コニカミノルタ株式会社
Priority to JP2016575259A priority Critical patent/JP6115693B1/ja
Publication of WO2016199506A1 publication Critical patent/WO2016199506A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/04Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using a single signalling line, e.g. in a closed loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an object detection apparatus and an object detection method for detecting a predetermined object from an image.
  • the present invention relates to a monitored person monitoring apparatus that monitors the monitored person using the object detection apparatus.
  • Japan is an aging society, more specifically the ratio of population over 65 years old to the total population due to the improvement of living standards accompanying the post-war high economic growth, improvement of sanitary environment and improvement of medical standards, etc. It is a super-aging society with an aging rate exceeding 21%.
  • the total population was about 126.5 million, while the elderly population over the age of 65 was about 25.56 million.
  • the total population was about 124.11 million.
  • the elderly population will be about 34.56 million.
  • nurses who need nursing or nursing care due to illness, injury, elderly age, etc., or those who need nursing care are those who need nursing in a normal society that is not an aging society.
  • monitored person monitoring techniques for monitoring a monitored person to be monitored, such as a care recipient, have been researched and developed.
  • the information processing apparatus disclosed in Patent Document 1 is an information processing apparatus that determines a head ellipse that approximates the outline of the head from an image including the head of a person, and Detection means for detecting a plurality of pixels in the contour as edge pixels, and for each of the plurality of edge pixels, a plurality of ellipses that pass through the edge pixel are extracted from a predetermined parameter section of a parameter that defines the ellipse. For each of the plurality of edge pixels, an evaluation value is calculated for each of the plurality of ellipse candidates determined for the edge pixel based on the position of the edge pixel in the ellipse candidate.
  • Calculating means accumulating means for accumulating the evaluation value for each ellipse candidate determined by the determining means, and an ellipse candidate having the largest accumulated value of the evaluation values And a selecting means for selecting as the head ellipse.
  • the information processing apparatus disclosed in Patent Document 1 first detects edge pixels from the entire image, determines an ellipse candidate for each of the detected edge pixels, and evaluates from the determined plurality of ellipse candidates.
  • the ellipse candidate having the largest cumulative value is selected as the head ellipse.
  • the information processing apparatus disclosed in Patent Document 1 has a relatively large amount of information processing and takes time for information processing.
  • the monitored person monitoring apparatus needs to respond to the above-described situation as quickly as possible, so the amount of information processing is reduced and the time of information processing is shortened. It is preferable.
  • the present invention has been made in view of the above-described circumstances, and an object thereof is to detect an object detection device and an object detection method capable of reducing the amount of information processing and to monitor a person using the object detection device. Is to provide a device.
  • the object detection device and the object detection method according to the present invention detect a predetermined object from an image of an imaging target within a predetermined range. At this time, at least one of the detection method and the detection condition is specified as a detection procedure among a plurality of different detection procedures, and the specified detection procedure is used.
  • the monitored person monitoring apparatus according to the present invention includes such an object detection apparatus. Therefore, the object detection apparatus and the object detection method according to the present invention can reduce the amount of information processing. According to the present invention, it is possible to provide a monitored person monitoring apparatus using this object detection apparatus.
  • the monitored person monitoring apparatus in the embodiment notifies the outside of the predetermined action detected by the action detecting unit and the action detecting unit that detects a predetermined action that is set in advance in the monitored person that is the monitoring target. And a notification unit.
  • the behavior detection unit includes a part detection unit that detects a predetermined part of the monitored person, and a determination part that determines a predetermined action of the monitored person based on the part detected by the part detection unit.
  • the part detection unit includes an object detection device that detects a predetermined object from the image.
  • Such a monitored person monitoring apparatus may be realized by being integrally configured as one device, and may be realized by a plurality of devices as a system.
  • the behavior detection unit may be mounted on any of the plurality of devices.
  • an embodiment of the monitored person monitoring apparatus will be described in the case where the monitored person monitoring apparatus is realized by a plurality of devices as a system. Note that, even when the monitored person monitoring apparatus is configured integrally as a single device, the monitored person monitoring apparatus can be configured similarly to the following description.
  • a case where the behavior detection unit is mounted on a sensor device SU described later together with the notification unit will be described here.
  • other devices in the system for example, a management server device SV described later, Even when mounted on the fixed terminal device SP or the portable terminal device TA, the monitored person monitoring device can be configured similarly to the following description.
  • a monitored person monitoring system MSa including a sensor device SUa including an imaging unit 1 and a site detection unit 21a
  • a sensor device SUb including an imaging unit 1 and a site detection unit 21b The monitored person monitoring system MSc including the imaging device 1 and the sensor device SUc including the part detecting unit 21c as the third embodiment will be described in order.
  • the imaging unit 1, the site detection units 21a to 21c, and the like correspond to an example of the object detection device.
  • FIG. 1 is a diagram showing a configuration of a monitored person monitoring system in the first to third embodiments.
  • the configuration related to the monitored person monitoring system MSa in the first embodiment is shown with a suffix a, and the configuration related to the monitored person monitoring system MSb in the second embodiment is attached.
  • the configuration related to the monitored person monitoring system MSc in the third embodiment is shown with the subscript c.
  • FIG. 2 is a diagram illustrating a configuration of the sensor device in the monitored person monitoring system according to the first to third embodiments.
  • FIG. 3 is a diagram for explaining an arrangement mode of the sensor device in the monitored person monitoring system according to the first to third embodiments.
  • FIG. 4 is a diagram for explaining an example of divided areas in the monitored person monitoring system according to the first embodiment.
  • FIG. 5 is a diagram illustrating a correspondence table indicating correspondence relationships between a plurality of divided regions and a plurality of detection points in the monitored person monitoring system according to the first embodiment.
  • the monitored person monitoring system MSa in the first embodiment of the example in which the monitored person monitoring apparatus is realized as a system is a monitored person (a watching target person) that is a monitoring target (a watching target) to be monitored (a watching target).
  • a predetermined action set in Ob (Ob-1 to Ob-4) is detected to monitor the monitored person Ob. For example, as shown in FIG.
  • a network such as a LAN (Local Area Network), a telephone network, and a data communication network.
  • NW network, communication line
  • the network NW may be provided with relays such as repeaters, bridges, routers, and cross-connects that relay communication signals.
  • the plurality of sensor devices SUa-1 to SUa-4, the management server device SV, the fixed terminal device SP, and the plurality of portable terminal devices TA-1 and TA-2 are wireless including an access point AP.
  • a LAN for example, a LAN according to the IEEE 802.11 standard
  • NW is connected to be communicable with each other.
  • the monitored person monitoring system MSa is arranged at an appropriate place according to the monitored person Ob.
  • the monitored person (person to be watched) Ob is, for example, a person who needs nursing due to illness or injury, a person who needs care due to a decrease in physical ability, a single person living alone, or the like.
  • the monitored person Ob may be a person who needs the detection when a predetermined inconvenient event such as an abnormal state occurs in the person. preferable.
  • the monitored person monitoring system MSa is suitably arranged in a building such as a hospital, an elderly welfare facility, or a dwelling unit according to the type of the monitored person Ob.
  • the monitored person monitoring system MSa is disposed in a building of a care facility that includes a plurality of rooms RM in which a plurality of monitored persons Ob and a plurality of rooms such as a nurse station ST are provided. .
  • the sensor device SUa is a device that has a communication function for communicating with other devices SV, SP, and TA via the network NW, detects the monitored person Ob, and transmits the detection result to the management server device SV. This sensor device SUa will be described in further detail later.
  • the management server device SV has a communication function for communicating with other devices SUa, SP, and TA via the network NW, and receives a detection result regarding the monitored person Ob and an image of the monitored person Ob from the sensor device SUa.
  • This is a device that manages information (monitoring information) related to monitoring of the monitored person Ob.
  • the management server apparatus SV stores (records) the monitoring information related to monitoring the monitored person Ob, and A communication signal (monitoring information communication signal) containing the monitoring information related to the monitoring of the observer Ob is transmitted to the fixed terminal device SP and the portable terminal device TA.
  • the management server device SV provides the client with data corresponding to the request of the client (in this embodiment, the fixed terminal device SP and the portable terminal device TA).
  • a management server device SV can be configured by, for example, a computer with a communication function.
  • the fixed terminal device SP includes a communication function for communicating with other devices SUa, SV, TA via the network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and the like.
  • a user interface of the monitored person monitoring system MS by inputting a predetermined instruction or data to be given to the management server SV or the portable terminal device TA, or displaying a detection result or an image obtained by the sensor device SUa. It is a device that functions as (UI).
  • Such a fixed terminal device SP can be configured by, for example, a computer with a communication function.
  • the mobile terminal device TA communicates with other devices SV, SP, SUa via the network NW, a display function for displaying predetermined information, an input function for inputting predetermined instructions and data, and a voice call. It has a calling function to perform, and inputs a predetermined instruction or data to be given to the management server device SV or the sensor device SUa, or displays the detection result or image obtained by the sensor device SUa by a notification from the management server device SV It is a device that receives and displays the monitoring information related to the monitoring of the monitored person Ob.
  • a portable terminal device TA can be configured by a portable communication terminal device such as a so-called tablet computer, a smartphone, or a mobile phone.
  • the sensor device SUa includes an imaging unit 1, a control processing unit 2a, a communication interface unit (communication IF unit) 3, and a storage unit 4a.
  • the imaging unit 1 is an apparatus that is connected to the control processing unit 2a and generates an image (image data) under the control of the control processing unit 2a.
  • the imaging unit 1 can monitor a space (location space, in the example shown in FIG. 1, where the monitored person Ob to be monitored) is to be monitored, above the location space. (For example, a ceiling surface, an upper wall surface, etc.), taking the location space as an imaging target from above, generating an image (image data) overlooking the imaging target, and controlling the imaging target image Output to 2a.
  • the imaging unit 1 generates a still image and a moving image.
  • Such an imaging unit 1 has a high probability of being able to image the entire location space (imaging target) so as not to be hidden. Therefore, as shown in FIG.
  • the imaging unit 1 is an example of an image acquisition unit that acquires an image of the imaging target obtained by capturing an imaging target within a predetermined range.
  • Such an imaging unit 1 may be a device that generates an image of visible light, but in the present embodiment, a device that generates an image of infrared light so that the monitored person Ob can be monitored even in a relatively dark place. It is.
  • the imaging unit 1 has an imaging optical system (imaging optical system) that forms an infrared optical image of an imaging target on a predetermined imaging surface, and receives light on the imaging surface.
  • An image sensor that is arranged in a plane and converts an infrared optical image in the imaging target into an electrical signal, and an infrared image in the imaging target is represented by performing image processing on the output of the image sensor It is a digital infrared camera provided with an image processing unit for generating image data that is data.
  • the imaging optical system of the imaging unit 1 is a wide-angle optical system (see FIG. 1 and FIG. 3 that has a field angle) that can image the entire location space (the entire room RM in the example shown in FIGS. 1 and 3).
  • a so-called wide-angle lens (including a fisheye lens) is preferable.
  • the sensor apparatus SUa may further include an infrared illumination device that emits infrared rays.
  • the communication IF unit 3 is a communication circuit that is connected to the control processing unit 2a and performs communication according to the control of the control processing unit 2a.
  • the communication IF unit 3 generates a communication signal containing the data to be transferred input from the control processing unit 2a according to the communication protocol used in the network NW of the monitored person monitoring system MSa, and generates the generated communication signal. It transmits to other devices SV, SP, TA via the network NW.
  • the communication IF unit 3 receives a communication signal from another device SV, SP, TA via the network NW, extracts data from the received communication signal, and a format in which the control processing unit 2a can process the extracted data And output to the control processing unit 2a.
  • the communication IF unit 3 further uses, for example, standards such as Bluetooth (registered trademark) standard, IrDA (Infrared Data Association) standard, and USB (Universal Serial Bus) standard to input / output data to / from external devices.
  • standards such as Bluetooth (registered trademark) standard, IrDA (Infrared Data Association) standard, and USB (Universal Serial Bus) standard to input / output data to / from external devices.
  • An interface circuit may be provided.
  • the storage unit 4a is a circuit that is connected to the control processing unit 2a and stores various predetermined programs and various predetermined data under the control of the control processing unit 2a.
  • the various predetermined programs include, for example, a control processing program such as a monitoring processing program for executing information processing related to monitoring of the monitored person Ob.
  • the monitoring processing program is used when a target detection program for detecting a predetermined target object set in advance from the image of the imaging target acquired by the imaging unit 1 or when detecting the target object from the image of the imaging target.
  • a specific program that specifies at least one of the detection method and detection condition as a detection procedure, or a monitored subject Ob that is a monitoring target based on a detection result detected by the target detection program
  • a behavior detection program for detecting a predetermined behavior in the computer, a notification processing program for notifying the predetermined behavior detected by the behavior detection program to the outside, and a fixed terminal device that requests the video captured by the imaging unit 1
  • a streaming processing program that is distributed to the SP and the mobile terminal device TA by streaming is included.
  • the said object detection program detects the said target object from the image of the said imaging target using the detection procedure specified by the said specific program.
  • the various kinds of predetermined data include, for example, data necessary for executing each of the above-mentioned programs such as detection procedures, data necessary for monitoring the monitored person Ob, and the like.
  • the storage unit 4a includes, for example, a ROM (Read Only Memory) that is a nonvolatile storage element, an EEPROM (Electrically Erasable Programmable Read Only Memory) that is a rewritable nonvolatile storage element, and the like.
  • the storage unit 4a includes a RAM (Random Access Memory) that serves as a working memory for the so-called control processing unit 2a that stores data generated during execution of the predetermined program.
  • the storage unit 4a functionally includes a correspondence information storage unit 40a.
  • the correspondence relationship information storage unit 40a stores in advance correspondence relationships between a plurality of divided regions obtained by dividing an image region in the image to be captured and a plurality of detection points.
  • the predetermined behavior in the monitored person Ob is, for example, falling and falling, as described later, and the posture of the monitored person Ob (standing position, sitting position, lying down, etc.) at the height of the head.
  • the presence or absence of a fall, the presence or absence of a fall, etc. are determined from the posture of the monitored person Ob.
  • the imaging unit 1 of the sensor device SUa is disposed at the center position of the ceiling CE, the angle of view of the imaging unit 1 is relatively narrow, and the imaging characteristics of the imaging unit 1 are high.
  • the height of the head is approximately proportional to the size of the head on the image over the entire image, and thus is taken on the image that is uniformly defined over the entire image.
  • the head is searched from the image within the range of the size of the obtained head.
  • the angle of view of the imaging unit 1 is relatively wide or when the imaging characteristics of the imaging unit 1 are not constant, the height of the head and the size of the head on the image are not necessarily proportional, The range of the size of the head on the image is not uniform over the entire image.
  • the head when detecting the head which is a part of the human body as an example of the object, if the size on the image is used as one of the determination conditions as to whether or not the head is a uniform, When the head is searched for from the image within the defined range, the head is searched from the image even in a range that cannot be obtained within the uniformly defined range. Will be. Furthermore, there is a possibility that a size corresponding to the head at a certain position on the image may be a size not corresponding to the head at another position on the image, so that an erroneous determination may occur.
  • the image area in the image of the imaging target is divided into a plurality of divided areas, and for each divided area, a detection procedure suitable for the divided area (in this example, the head as a detection condition)
  • a detection procedure suitable for the divided area in this example, the head as a detection condition
  • the detection procedure suitable for the divided area is used to reduce erroneous determination without performing meaningless information processing. is doing. Therefore, as described above, the correspondence relationship between the plurality of divided regions and the plurality of detection points is stored in advance in the correspondence relationship information storage unit 40a.
  • the imaging characteristic of the imaging unit 1 is the difference between the optical image of the subject and the image of the subject in the image generated by the imaging unit 1, and for example, the imaging of the imaging unit 1 such as distortion characteristics and blur characteristics. It is the optical characteristic etc. in an optical system (imaging optical system).
  • Such a correspondence relationship may be stored in advance in the correspondence relationship information storage unit 40a by using, for example, a function formula, but in the present embodiment, it is stored in advance in the correspondence relationship information storage unit 40a using the table shown in FIG. .
  • the image area in the image of the imaging target is an example of the plurality of divided areas, and includes four first to fourth determination areas. It is divided into AR10 to AR13. Then, for each of the first to fourth determination areas AR10 to AR13, each range having a different size is set as each different detection procedure, and the corresponding information storage unit is tabulated as shown in FIG. 40a is stored in advance.
  • these first to fourth determination areas AR10 to AR13 are in the image to be imaged. These are set concentrically on the basis of the intersection position (optical axis center) with the optical axis of the imaging unit 1 that generated the image to be imaged.
  • the first determination area AR10 is a region within a circle having a predetermined first radius centered on the center of the optical axis, and the first determination area AR10 includes the first determination area AR10 as shown in FIG.
  • the range of the size of the head on the image is set to 40 to 50 [pixel]. As shown in FIG.
  • the second determination area AR11 is concentric with the first determination area AR10, exceeds the first determination area AR10, and has a predetermined second radius (> first radius) centered on the optical axis center.
  • the second determination area AR11 has a head size range of 35 to 45 [pixel] as a detection procedure (detection condition). ] Is set.
  • the third determination area AR12 is an area that exceeds the second determination area AR11 and includes a floor FL and a wall surface up to a predetermined height.
  • the third determination area AR12 is shown in FIG.
  • the range of the size of the head on the image is set to 30 to 40 [pixel] as a detection procedure (detection condition).
  • the fourth determination area AR13 is an area that exceeds the third determination area AR12.
  • the fourth determination area AR13 is an area outside determination (an area that cannot be determined).
  • the range of the size of the head on the image is not set as a detection procedure (detection condition).
  • the boundary positions in the first to fourth determination areas AR10 to AR13 are captured by, for example, capturing an object having a reference size (reference object) and measuring the size of the object on the image. It is appropriately set in consideration of the characteristic deviation. That is, each boundary position is set in a range where the imaging characteristics can be regarded as the same within the allowable range.
  • control processing unit 2 a controls each part of the sensor device SUa according to the function of each part, and the image of the imaging target obtained by imaging the imaging target (location space) from above by the imaging unit 1. For detecting a predetermined part in the monitored person Ob based on the acquired image, and detecting and notifying a predetermined action in the monitored person Ob based on the detected predetermined part It is.
  • the control processing unit 2a includes, for example, a CPU (Central Processing Unit) and its peripheral circuits.
  • the control processing unit 2a functionally includes a control unit 11, a behavior detection unit 12a, a notification processing unit 13, and a streaming processing unit 14 by executing the control processing program.
  • the control unit 11 controls each part of the sensor device SUa according to the function of each part, and controls the entire sensor device SUa.
  • the behavior detection unit 12 a detects a predetermined behavior set in advance in the monitored person Ob from the image of the imaging target acquired by the imaging unit 1.
  • the predetermined action is a fall and a fall as an example, but instead of this or in addition to this, it may be a wake-up or a get-off.
  • the behavior detection unit 12a functionally includes a part detection unit 21a and a determination unit 22.
  • the part detection unit 21 a detects a predetermined part set in advance in the monitored person Ob from the image of the imaging target acquired by the imaging unit 1.
  • the predetermined part is, for example, a head that is a part of a human body.
  • the predetermined part may be an appropriate part of the human body that can detect the predetermined action.
  • the part detection unit 21a functionally includes a target detection unit 31a and a specification unit 32a.
  • the target detection unit 31 a detects a predetermined target set in advance from the image of the imaging target acquired by the imaging unit 1.
  • the predetermined object is the predetermined part.
  • the head is one example.
  • the specifying unit 32a includes a plurality of different detection procedures used when detecting the object (a head that is an example of the predetermined part in the present embodiment) from the image of the imaging target acquired by the imaging unit 1. At least one of the detection method and the detection condition is specified as a detection point. Then, the target detection unit 31a detects the target (in this example, the head) from the image of the imaging target using the detection procedure specified by the specification unit 32a.
  • the target detection unit 31a functionally includes an area setting unit 41 and a detection unit 42a.
  • the region setting unit 41 sets a detection target region for detecting the target object (the head in this example) among the image regions in the image of the imaging target acquired by the imaging unit 1.
  • the detection unit 42a detects the target (the head in this example) from the image of the detection target region set by the region setting unit 41 using the detection procedure specified by the specifying unit 32a.
  • the specifying unit 32a from the plurality of divided regions in the correspondence relationship stored in the correspondence information storage unit 40a (first to fourth determination areas AR10 to AR13 as an example in the present embodiment), A divided area (determination area AR) corresponding to the detection target area set by the area setting unit 41 is selected, and a detection procedure corresponding to the selected divided area (determination area AR) (an image as an example in the present embodiment).
  • the above-described detection procedure used in the detection unit 42a is specified by taking out the range of the size of the head above) from the correspondence relationship.
  • the determination part 22 Based on the predetermined part (head in this example) detected by the detection part 42a in the target detection part 31a of the part detection part 21a, the determination part 22 performs a predetermined action (falling in this embodiment) in the monitored person Ob. And fall).
  • the notification processing unit 13 notifies the outside of a predetermined behavior (falling and falling in the present embodiment) in the monitored person Ob detected by the behavior detection unit 12a. More specifically, the notification processing unit 13 indicates information indicating the detected predetermined action (state, situation) (detected action information (information indicating one or more of falls and falls in the present embodiment)). , Identifier information for identifying and identifying the monitored person Ob in which the predetermined action is detected (identifier information for identifying and identifying the sensor device SUa detecting the monitored person Ob), and A communication signal (monitoring information communication signal) containing an image or the like used for detection of a predetermined action is generated and transmitted to the management server device SV by the communication IF unit 3.
  • the streaming processing unit 14 When the streaming processing unit 14 receives a moving image distribution request from the fixed terminal device SP or the portable terminal device TA via the network NW and the communication IF unit 3, the streaming processing unit 14 requests the fixed terminal device SP or the portable terminal device.
  • the moving image (for example, live moving image) generated by the imaging unit 1 is distributed to the TA via the communication IF unit 3 and the network NW by streaming reproduction.
  • FIG. 1 shows four first to fourth sensor devices SUa-1 to SUa-4 as an example, and the first sensor device SUa-1 is one of the monitored persons Ob.
  • the second sensor device SUa-2 is disposed in the room RM-1 (not shown) of Ob-1, and the second sensor device SUa-2 is arranged in the room RM-2 (not shown) of Mr. B Ob-2 who is one of the monitored persons Ob.
  • the third sensor device SUa-3 is disposed in a room RM-3 (not shown) of Mr. C Ob-3 who is one of the monitored subjects Ob, and the fourth sensor device SUa-4 is It is arranged in the room RM-4 (not shown) of Mr. D Ob-4, one of the monitored persons Ob.
  • the control processing unit 2a is functionally configured with a control unit 11, a behavior detection unit 12a, a notification processing unit 13, and a streaming processing unit 14, and the behavior detection unit.
  • a part detection unit 21a and a determination unit 22 are functionally configured, in the part detection unit 21a, a target detection unit 31a and a specifying unit 32a are functionally configured, and in the target detection unit 31a, The region setting unit 41 and the detection unit 42a are functionally configured.
  • the monitored person monitoring system MSa having the above configuration generally monitors each monitored person Ob by the following operation.
  • the sensor device SUa acquires an image by the imaging unit 1 at a time interval corresponding to a predetermined frame rate by the control processing unit 2a, and converts the image acquired by the imaging unit 1 by the behavior detection unit 12a of the control processing unit 2a.
  • a predetermined action state, situation
  • the monitored person Ob is the predetermined action set in advance (in this embodiment, falls, falls, etc.).
  • the notification processing unit 13 of the control processing unit 2a accommodates monitoring information such as determination result information indicating the determination result determined as the state of the monitored person Ob and image data of a still image of the monitored person Ob.
  • a signal (monitoring information communication signal) is transmitted to the management server device SV via the network NW. Note that the operation (behavior detection operation) of the sensor SUa for detecting a fall and a fall will be described in detail later.
  • the management server device SV When the management server device SV receives the monitoring information communication signal from the sensor device SUa via the network NW, the management server device SV stores monitoring information such as determination result information and still image data stored in the monitoring information communication signal in its storage unit. (Record). Then, the management server device SV transmits a monitoring information communication signal containing monitoring information such as the determination result information and still image data to the terminal device (in this embodiment, the fixed terminal device SP and the portable terminal device TA). . As a result, the state (situation) of the monitored person Ob is notified to a monitor such as a nurse or a caregiver via the terminal devices SP and TA.
  • the fixed terminal device SP and the portable terminal device TA When receiving the monitoring information communication signal from the management server device SV via the network NW, the fixed terminal device SP and the portable terminal device TA display the monitoring information accommodated in the monitoring information communication signal.
  • the monitored person monitoring system MS detects each monitored person Ob by each sensor device SUa, the management server device SV, the fixed terminal device SP, and the portable terminal device TA, and each monitored person. Ob is being monitored.
  • FIG. 6 is a flowchart showing the operation of the sensor device in the monitored person monitoring system according to the first to third embodiments.
  • the sensor device SUa sequentially acquires images by the imaging unit 1 at time intervals corresponding to a predetermined frame rate. The operation described below with reference to FIG. every time.
  • the control processing unit 2 a performs a head detection process for detecting the head of the monitored person Ob from the image acquired by the imaging unit 1 by the part detection unit 21 a of the behavior detection unit 12 a. (S1a).
  • the head detection process S1a in the first embodiment will be described in detail later.
  • control processing unit 2a detects whether or not the monitored person Ob has fallen and falls by the determination unit 22 based on the head detected by the part detection unit 21a (S2).
  • the size of the head on the image changes according to the posture of the monitored subject Ob and the like. Therefore, the presence / absence of a fall and the presence / absence of a fall can be determined based on the size of the head on the image.
  • the fall is a change of the monitored person Ob from a standing posture or a sitting posture to a lying posture such as on the floor surface FL. For this reason, for example, the head size (head height) in the standing posture and the sitting posture can be distinguished from the head size (head height) in the lying posture on the floor surface FL or the like.
  • the threshold value (falling determination threshold value) Thr is appropriately set in advance by using, for example, a plurality of samples, and the determination unit 22 compares the size of the image in the head detected in step S1 with the falling determination threshold value Thr.
  • the size on the image of the head detected in the process S1 is equal to or less than the fall determination threshold Thr, the monitored person Ob is determined to be lying on the floor surface FL and the like, and there is a fall. As a result, the presence of a fall is output to the notification processing unit 13.
  • the size on the image of the head detected in process S1 exceeds the fall determination threshold Thr, the monitored person Ob is in a standing posture or sitting position. Posture, Determines that the debt without.
  • the fall is a fall of the monitored person Ob from a high position to a low position along the vertical direction, for example, a fall from the bedding BT onto the floor surface FL.
  • the predetermined threshold value (falling determination threshold value) Thc is appropriately set in advance by using a plurality of samples, for example, and the determination unit 22 determines the size on the image in the head detected in process S1 and the falling determination threshold value Thc.
  • the monitored person Ob is at the low position such as on the floor surface FL (for example, on the floor surface FL).
  • the determination result is output to the notification processing unit 13.
  • the size on the image of the head detected in the process S1 is the fall determination threshold T.
  • the area of the bedding BT on the image is stored in the storage unit 4a in advance, and the determination unit 22 determines whether the head moves from the bedding BT to the peripheral area of the bedding BT during the process of detecting the presence or absence of the fall.
  • the presence or absence may be considered.
  • the fall determination threshold Thr and the fall determination position Thc may be set to values suitable for the determination area AR for each of the first to fourth determination areas AR10 to AR14, as in the detection procedure.
  • control processing unit 2a determines whether the determination unit 22 has detected a predetermined action, in this example, a fall and a fall, in the process S2 (S3). As a result of this determination, when at least one of falling and falling is detected (Yes), the control processing unit 2a executes the process S4. On the other hand, when no falling and no falling are detected (No) ) Ends the action detection operation for this frame.
  • a predetermined action in this example, a fall and a fall
  • control processing unit 2a transmits the monitoring information communication signal to the management server device SV via the network NW, as described above, by the notification processing unit 13.
  • FIG. 7 is a flowchart illustrating head detection processing in the monitored person monitoring system according to the first embodiment.
  • the control processing unit 2a acquires the image of the imaging target obtained by imaging the imaging target within a predetermined range by the imaging unit 1 (S11).
  • the imaging unit 1 takes the location space of the monitored person Ob as an imaging target, and looks down the location space vertically downward from the ceiling, according to the angle of view of the imaging optical system.
  • the generated image of the location space is output to the control processing unit 2a.
  • control processing unit 2a uses the target detection unit 31a of the part detection unit 21a to obtain a predetermined target object and book that are set in advance from the image of the imaging target acquired by the imaging unit 1 in step S11.
  • a predetermined part (head in this example) is detected.
  • the control processing unit 2a uses the region setting unit 41 to select the object among the image regions in the image of the imaging target acquired by the imaging unit 1 in step S11.
  • a detection target region for detecting (head in this example) is set (S12).
  • the control processing unit 2a uses the area setting unit 41 to sequentially set the first to fourth determination areas AR10 to AR13 described above as detection target areas, and sequentially sets each detection target area.
  • the control processing unit 2a detects the human body region by the region setting unit 41, and the determination area including the detected human body region An AR is selected from the first to fourth determination areas AR10 to AR13, and the selected determination area AR is set as a detection target area.
  • the detected human body region covers a plurality of determination areas AR
  • each of the plurality of determination areas AR is set as a detection target region, and the following processes are sequentially performed on each detection target region.
  • the head is detected.
  • a background difference method or an inter-frame difference method is used for the extraction of the moving object region.
  • a background image is obtained in advance and stored in advance in the storage unit 4a as one of the various predetermined data
  • a moving object region is obtained from the difference image between the image generated by the imaging unit 1 and the background image.
  • a moving object region is extracted from a difference image between an image of a current frame and an image of a past frame (for example, the previous frame) generated by the imaging unit 1.
  • color information such as skin color and black may be used in combination with these methods.
  • the control processing unit 2a uses the specifying unit 32a to detect and detect the target (in this example, the head) from the image of the imaging target acquired by the imaging unit in step S11. At least one of the conditions is specified as a detection point (S13). More specifically, the specifying unit 32a is set by the region setting unit 41 from the first to fourth determination areas AR10 to AR13 in the correspondence relationship stored in the correspondence relationship information storage unit 40a of the storage unit 4a. By selecting the determination area AR corresponding to the detection target area and taking out the range of the size of the head on the image corresponding to the selected determination area AR from the corresponding relationship, the detection procedure used by the detection unit 42a is obtained. Identify.
  • the specifying unit 32a determines the size of the head on the image corresponding to the first determination area AR10 in the process S13.
  • Range: 40-50 [pixel] is specified as a detection point (detection condition).
  • the specifying unit 32a determines the size of the head on the image corresponding to the second determination area AR11 in the process S13.
  • a range of 35 to 45 [pixel] is specified as a detection point (detection condition).
  • the control processing unit 2a uses the detection procedure specified by the specifying unit 32a from the image of the detection target region set by the region setting unit 41 by the detection unit 42a to detect the target (in this example, the head ) Is detected (S14). More specifically, the detection unit 42a extracts the head (the head image region) from the detection target region image set by the region setting unit 41 by using a known image processing technique. At this time, for example, before the head detection process, the detection unit 42a includes an image region (within the above range) included in the range of the size of the head on the image specified by the specifying unit 32a in step S13. The image area to which the image belongs) is set as a detection target.
  • the detection unit 42a includes an image area (an image area belonging to the range) included in the size range of the head on the image specified by the specifying unit 32a in step S13. Is detected as the image area of the head. As a result, the erroneous determination can be reduced without performing the meaningless information processing as described above.
  • the shape of the head is assumed to be an elliptical shape, and the image of the location space is subjected to a so-called generalized Hough transform, whereby the elliptical shape in the image of the location space, that is, the head is Extracted (first head detection method).
  • a so-called generalized Hough transform whereby the elliptical shape in the image of the location space, that is, the head is Extracted (first head detection method).
  • a template matching method using a head shape such as an elliptical shape or a circular shape of the outline shape or a rough shape thereof as a template prepared in advance (second head detection method) or so-called Snake or the like
  • the head may be extracted from the image of the location space by a method of fitting a closed curve (third head detection method) From the viewpoint of improving the extraction accuracy, these methods include color information such as skin color and black.
  • it may be used in combination with motion information for determining whether or not a person is based on the presence or absence of motion, such as skin color or black in an image. There region, without any regions of motion in the image, and an area which changes frequently during the aspect ratio is relatively short period of time, is determined not to be the head.
  • the candidate area having the highest so-called score obtained by template matching may be the head, but in order to extract the head more accurately, the sizes, positions, scores, etc. in the plurality of candidate areas
  • the head may be extracted based on. For example, an average value of sizes in a plurality of candidate regions is obtained, and a candidate region having a size closest to the average value is set as the head.
  • the average value may be obtained by a simple average, or may be obtained by a weighted average using the scores of the candidate regions as weights.
  • the multi-resolution strategy generates a plurality of low-resolution images having resolutions lower than the original image and different from each other from the original image, and selects an extraction target (head in this embodiment) from the lower-resolution image having a lower resolution.
  • the extracted area is extracted as a candidate area for extracting the extraction target with a low-resolution image having the next highest resolution, and the extraction is performed sequentially from the low-resolution image with the lowest resolution to the original image. This is a method of extracting objects.
  • the sensor device SUa according to the first embodiment and the monitored person monitoring system MSa according to the first embodiment, which is an example of the monitored person monitoring device, in which the object detection device and the object detection method are implemented are as follows. Since the specification procedure is specified by the specifying unit 32a, and the target detection unit 31a detects a predetermined object (predetermined part (head in this embodiment)) from the image to be imaged under the specified detection procedure. The amount of information processing can be reduced, and erroneous determination can be reduced. Therefore, the sensor device SUa and the monitored person monitoring system MSa can be notified more promptly when a predetermined action is detected in the monitored person Ob, and the monitoring person who has received this notification can respond as quickly as possible. It becomes possible.
  • the sensor device SUa and the monitored person monitoring system MSa have a detection procedure for each divided area (determination area AR in the present embodiment), and the target object is detected from the detection target area by the detection procedure of the divided area corresponding to the detection target area. Therefore, the optimal detection procedure can be used for the detection target region, and the target (head in this example) can be detected with higher accuracy while reducing the amount of information processing.
  • the imaging characteristics of the imaging optical system (imaging optical system) of a camera shift as it deviates from the optical axis.
  • the plurality of divided regions intersect with each other, that is, the optical axis of the camera on the image to be imaged. Therefore, the detection procedure can also be set based on the intersection position.
  • the sensor device SUa and the monitored person monitoring system MSa can detect the predetermined action even from one image obtained by looking at the location space from the direction with one imaging unit 1, so that the cost can be reduced. Therefore, it is difficult to hide the monitored person Ob, and the hardware can be configured with relatively low processing capability.
  • the first to fourth determination areas AR10 to AR13 are based on the imaging characteristics of the camera that generated the imaging target image (the imaging unit 1 in the above example). In addition to this, it may be based on the size of the object, and in addition to this, may be based on the positional relationship between the camera and the imaging object, and in addition to this, It may be based on the size of the object and the positional relationship between the camera and the imaging target. In addition, since the deviation of the imaging characteristics often occurs due to optical characteristics such as distortion characteristics and blur characteristics in the imaging optical system (imaging optical system) of the camera, the imaging characteristics are preferably optical characteristics, The distortion characteristic is preferable, and the blur characteristic is preferable.
  • any one of the plurality of divided areas includes at least the imaging characteristics of the camera among the imaging characteristics of the camera that generated the image to be captured, the size of the object, and the positional relationship between the camera and the imaging target. Therefore, the detection procedure also includes at least the imaging characteristics of the camera among the imaging characteristics of the camera that generated the image to be imaged, the size of the object, and the positional relationship between the camera and the imaging object. Can be set based on any including.
  • FIG. 8 is a diagram for explaining another example of the divided areas in the monitored person monitoring system according to the first embodiment.
  • the first to fourth determination areas AR10 to AR13 are based on the imaging characteristics of the imaging unit 1 and the positional relationship between the object and the imaging unit 1 in the center position and shape.
  • the imaging unit 1 is installed in the upper corner of the room RM with the shooting direction obliquely downward, and the first determination area AR10 is on the floor FL corresponding directly below the optical axis center.
  • the first determination area AR11 is concentric with the first determination area AR10, exceeds the first determination area AR10, and corresponds to directly below the center of the optical axis.
  • the region includes the positions of the ceiling surface CE, the right wall surface, and the left wall surface connected to the back wall surface, and the fourth determination area AR13 is a region that exceeds the third determination area AR12 in the image.
  • each range of the size of the head on the image is appropriately set considering shooting as a shooting condition, and the fourth determination area AR13 is not determined.
  • the area of the head size on the image with respect to the fourth determination area AR13 is not set.
  • each range of the size of the head on the image is first a model of a head having a standard size (head model). ) are prepared in advance, and for each of the determination areas AR10 to AR12, a head model with a known size is photographed by the imaging unit 1 at various heights, and each size of the head model on the image ( The number of pixels) is obtained and set accordingly.
  • the detection procedure is the detection condition (in this example, the range of the size of the head on the image), but instead of or in addition to this, a detection method is provided. Also good.
  • a detection method is provided.
  • at least one of the first to third head detection methods described above is assigned in advance to each of the first to fourth determination areas AR10 to AR13, and the first to fourth determination areas AR10 to AR13 and
  • the correspondence relationship with the first to third head detection methods is stored in advance in the correspondence information storage unit 40a, and the head detection method is specified by the specifying unit 32a based on the detection target region by the same operation as described above.
  • the head is detected by the detection unit 42a by the specified head detection method.
  • a plurality of head detection methods are assigned to one determination area AR, for example, any one of them is used.
  • the head is detected by each head detection method, and the matching result is the head.
  • the size range on the image of the object to be detected (the head in the above example) is specified as the detection point, but in the second embodiment, it is used in the template matching method.
  • Pattern model to be detected is specified as a detection point.
  • FIG. 9 is a diagram for explaining a correspondence relationship between a plurality of divided areas and a plurality of detection points in the monitored person monitoring system according to the second embodiment.
  • the monitored person monitoring system MSb in the second embodiment includes, for example, as shown in FIG. 1, one or a plurality of sensor devices SUb (SUb-1 to SUb-4), a management server device SV, and a fixed terminal device SP. And one or a plurality of portable terminal devices TA (TA-1, TA-2).
  • the management server device SV, fixed terminal device SP, and one or a plurality of portable terminal devices TA (TA-1, TA-2) in the monitored person monitoring system MSb of the second embodiment are the same as those of the first embodiment. Since it is the same as the management server device SV, the fixed terminal device SP, and one or a plurality of portable terminal devices TA (TA-1, TA-2) in the supervisor monitoring system MSa, description thereof is omitted.
  • the sensor device SUb in the second embodiment includes, for example, an imaging unit 1, a control processing unit 2b, a communication IF unit 3, and a storage unit 4b as shown in FIG.
  • the imaging unit 1 and the communication IF unit 3 in the sensor device SUb of the second embodiment are the same as the imaging unit 1 and the communication IF unit 3 in the sensor device SUa of the first embodiment, respectively, and thus description thereof is omitted. .
  • the storage unit 4b is the same as the storage unit 4a except that the correspondence relationship information storage unit 40b is functionally provided instead of the correspondence relationship information storage unit 40a. Except for the following points, the correspondence information storage unit 40b preliminarily indicates correspondences between a plurality of divided regions obtained by dividing an image region in an image to be imaged and a plurality of detection points in the same manner as the correspondence information storage unit 40a. It is something to remember.
  • the detection procedure is a size range on the head image to be detected as a detection condition.
  • the detection procedure is template matching as a detection condition. It is a pattern model used in the law. In this respect, the second embodiment is different from the first embodiment.
  • the imaging unit 1 of the sensor device SUb when the imaging unit 1 of the sensor device SUb is arranged at the center position of the ceiling CE, the shape of the head viewed from the imaging unit 1 (head contour shape) is , Depending on the position of the monitored person Ob in the location space.
  • the head viewed from the imaging unit 1 is substantially elliptical with a major axis along the Y direction, as shown in FIG. 9. Shape.
  • a substantially elliptical shape (second head pattern model) having a long axis along the Y direction is associated with the second determination area AR21 as the pattern model.
  • the head viewed from the imaging unit 1 is substantially oval with a long axis along the X direction, as shown in FIG. 9. Shape.
  • a substantially elliptical shape (fourth head pattern model) having a long axis along the X direction is associated with the fourth determination area AR23 as the pattern model.
  • the head viewed from the imaging unit 1 is in the X direction (X axis). Is a substantially elliptical shape having a major axis along a direction of 45 degrees counterclockwise.
  • the first determination area AR20 of the sector shape having a predetermined second angle centered on the optical axis center and sandwiched between the second determination area AR21 in the + Y direction and the fourth determination area AR23 in the + X direction.
  • the head viewed from the imaging unit 1 is a long axis along a direction of 45 degrees counterclockwise from the X axis.
  • a substantially elliptical shape (third head pattern model) is associated.
  • the first determination area AR20 of the sector shape having a predetermined fourth angle centered on the optical axis center and sandwiched between the second determination area AR21 in the ⁇ Y direction and the fourth determination area AR23 in the + X direction.
  • the head viewed from the imaging unit 1 is opposite from the X direction (X axis). It has a substantially elliptical shape having a major axis along a direction of ⁇ 45 degrees clockwise (a direction of 45 degrees clockwise).
  • the first determination area AR20 of the sector shape having a predetermined fourth angle centered on the optical axis center and sandwiched between the second determination area AR21 in the + Y direction and the fourth determination area AR23 in the -X direction.
  • the area outside the region is also the fifth determination area AR24, and when the monitored subject Ob is located here, the head viewed from the imaging unit 1 is ⁇ 45 degrees counterclockwise from the X direction (X axis). It is a substantially elliptical shape having a long axis along the direction of.
  • a substantially elliptical shape having a major axis along the direction of ⁇ 45 degrees counterclockwise from the X direction (X axis) (fifth head pattern model) are associated.
  • the pattern model used in the template matching method is changed to the position of the monitored person Ob in the location space. Accordingly, by changing to a model suitable for the head, the head can be detected more accurately with a smaller amount of information processing. For this reason, the correspondence relationship between the first to fifth determination areas AR20 to AR24 and the first to fifth head pattern models associated as described above is tabulated in the correspondence relationship information storage unit 40b. Stored in advance.
  • the boundary positions in the first to fifth determination areas AR20 to AR24 are obtained by, for example, imaging an object having a reference size (reference object) and measuring the size of the object on the image.
  • each boundary position is set in a range in which the shape of the head on the image can be regarded as the same within an allowable range.
  • the second to fifth determination areas AR21 to AR24 located around the first determination area AR20 are associated with the substantially elliptical head pattern model.
  • a circular head pattern model may be associated with the substantially elliptical head pattern model.
  • a template matching method to be described later is executed using each of the substantially elliptical head pattern model and the circular head pattern model.
  • the control processing unit 2b controls each unit of the sensor device SUb according to the function of each unit, acquires the image of the imaging target obtained by imaging the imaging target (location space) from above by the imaging unit 1, and acquires this This is a circuit for detecting a predetermined part in the monitored person Ob based on the detected image and detecting and notifying a predetermined action in the monitored person Ob based on the detected predetermined part.
  • the control processing unit 2b functionally includes a control unit 11, a behavior detection unit 12b, a notification processing unit 13, and a streaming processing unit 14 by executing the control processing program. Since the control unit 11, the notification processing unit 13, and the streaming processing unit 14 in the second embodiment are the same as the control unit 11, the notification processing unit 13 and the streaming processing unit 14 in the first embodiment, respectively, description thereof will be given. Omitted.
  • the behavior detection unit 12b detects a predetermined behavior set in advance in the monitored person Ob from the image to be captured acquired by the imaging unit 1.
  • the predetermined action is a fall and a fall as an example, but instead of or in addition to this, the predetermined action may be a wake-up or a get-off.
  • the behavior detection unit 12b functionally includes a part detection unit 21b and a determination unit 22. Since the determination part 22 in the action detection part 12b of 2nd Embodiment is the same as the determination part 22 in the action detection part 12a of 1st Embodiment, the description is abbreviate
  • the part detection unit 21b detects a predetermined part set in advance in the monitored person Ob from the image of the imaging target acquired by the imaging unit 1.
  • the predetermined portion is, for example, a head that is a part of a human body.
  • the part detection unit 21b functionally includes a target detection unit 31b and a specification unit 32b.
  • the target detection unit 31b uses the specifying unit 32b to specify a predetermined target that is set in advance from the image of the imaging target acquired by the imaging unit 1, that is, the predetermined part (the head as an example in the present embodiment).
  • the detection is performed using the specified detection procedure (in this example, the head pattern model), and functionally includes a region setting unit 41 and a detection unit 42b. Since the region setting unit 41 in the target detection unit 31b of the second embodiment is the same as the region setting unit 41 in the target detection unit 31a of the first embodiment, description thereof is omitted.
  • the detection unit 42b uses the first to fifth determination areas AR20 to AR24 shown in FIG. 9 instead of the first to fourth determination areas AR10 to AR13 shown in FIG. 4, and the target detection unit 31a of the first embodiment. Detecting the object (in this example, the head) using the detection procedure specified by the specifying unit 32b from the image of the detection target region set by the region setting unit 41. It is.
  • the specifying unit 32b includes a plurality of different detection procedures used when detecting the object (a head that is an example of the predetermined part in the present embodiment) from the image of the imaging target acquired by the imaging unit 1. At least one of the detection method and the detection condition is specified as a detection point.
  • the specifying unit 32b includes the plurality of divided regions in the correspondence relationship stored in the correspondence relationship information storage unit 40b (first to fifth determination areas AR20 to AR24 as an example in the present embodiment). Then, a divided area (determination area AR) corresponding to the detection target area set by the area setting unit 41 is selected, and a detection procedure corresponding to the selected divided area (determination area AR) (as an example in the present embodiment). ) Is extracted from the correspondence relationship, and the detection procedure used in the detection unit 42b is specified.
  • the behavior detection operation of the sensor device SUb in the second embodiment uses FIG. 6 except that the head detection process S1b in the second embodiment is executed instead of the head detection process S1a in the first embodiment. Since this is the same as the behavior detection operation of the sensor device SUa in the first embodiment described above, the description thereof is omitted.
  • FIG. 10 is a flowchart illustrating head detection processing in the monitored person monitoring system according to the second embodiment.
  • control processing unit 2b first acquires an image of the imaging target obtained by imaging the imaging target within a predetermined range by the imaging unit 1 as in the process S11 (S21).
  • control processing unit 2b uses the target detection unit 31b of the part detection unit 21b to obtain a predetermined target object and book that are set in advance from the image of the imaging target acquired by the imaging unit 1 in step S21.
  • a predetermined part (head in this example) is detected.
  • the control processing unit 2b like the processing S12, the image region in the image of the imaging target acquired by the imaging unit 1 in the processing S21 by the region setting unit 41.
  • a detection target region for detecting the target object is set (S22).
  • control processing unit 2b uses the specifying unit 32b to detect the target (the head in this example) from the image of the imaging target acquired by the imaging unit 1 in step S21. At least one of the detection conditions is specified as a detection point (S23).
  • the specifying unit 32b determines the region setting unit from the first to fifth determination areas AR20 to AR24 in the correspondence relationship stored in the correspondence relationship information storage unit 40b of the storage unit 4b.
  • a determination area AR corresponding to the detection target area set in 41 is selected, and a head pattern model corresponding to the selected determination area AR is extracted from the corresponding relationship, thereby specifying a detection procedure used in the detection unit 42b.
  • the specifying unit 32b selects the first head pattern model corresponding to the first determination area AR20;
  • the pattern model is specified as a detection point (detection condition).
  • the specifying unit 32b selects the second head pattern model corresponding to the second determination area AR21; Y direction A substantially elliptic pattern model having a long axis along the line is specified as a detection point (detection condition).
  • control processing unit 2b uses the detection procedure specified by the specifying unit 32b from the image of the detection target region set by the region setting unit 41 by the detection unit 42b to detect the target (in this example, the head ) Is detected (S24). More specifically, the detection unit 42b uses the template matching method using the head pattern model identified by the identification unit 32b in step S23 as a template from the image of the detection target region set by the region setting unit 41. To extract. Since the templates used in the template matching method are specified and limited, erroneous determination can be reduced without performing the meaningless information processing as described above.
  • these methods are used in combination with color information such as skin color and black, motion information for determining whether or not a person is based on the presence or absence of motion, and the like. May be.
  • color information such as skin color and black
  • motion information for determining whether or not a person is based on the presence or absence of motion, and the like. May be.
  • an image having a clear edge may be excluded when detecting the head from the image of the peripheral area.
  • the monitoring device MSb in the second embodiment which is an example of the sensor device SUb and the monitored person monitoring device in the second embodiment as an example in which the target object detection device and the target object detection method are implemented.
  • the same operational effects as the sensor device SUa and the monitored person monitoring system MSa in the first embodiment are obtained.
  • the pattern model used in the template matching method is specified as the detection procedure according to the determination area where the human body region is detected.
  • the direction of the head pattern model is specified according to the direction.
  • FIG. 11 is a diagram for explaining a detection procedure in the monitored person monitoring system according to the third embodiment.
  • FIG. 11A shows a more preferable direction of the head pattern model with respect to the direction of the main body part
  • FIG. 11B shows a direction of an unfavorable head pattern model with respect to the direction of the main body part.
  • the monitored person monitoring system MSc in the third embodiment includes, for example, as shown in FIG. 1, one or a plurality of sensor devices SUc (SUc-1 to SUc-4), a management server device SV, and a fixed terminal device SP. And one or a plurality of portable terminal devices TA (TA-1, TA-2).
  • the management server device SV, fixed terminal device SP, and one or a plurality of portable terminal devices TA (TA-1, TA-2) in the monitored person monitoring system MSc of the third embodiment are the same as those of the first embodiment. Since it is the same as the management server device SV, the fixed terminal device SP, and one or a plurality of portable terminal devices TA (TA-1, TA-2) in the supervisor monitoring system MSa, description thereof is omitted.
  • the sensor device SUc in the third embodiment includes, for example, an imaging unit 1, a control processing unit 2c, a communication IF unit 3, and a storage unit 4c as shown in FIG.
  • the imaging unit 1 and the communication IF unit 3 in the sensor device SUc of the third embodiment are the same as the imaging unit 1 and the communication IF unit 3 in the sensor device SUa of the first embodiment, respectively, and thus description thereof is omitted. .
  • the storage unit 4c is the same as the storage unit 4a except that it stores the head pattern model and the body part pattern model.
  • the head pattern model is one of the various types of predetermined data, and is a template used in the template matching method for detecting the head.
  • the head pattern model has an elliptical shape imitating the contour shape of the head.
  • the body part is a part of the human body including at least the trunk of the trunk, arms, and legs.
  • the main body part pattern model is one of the various predetermined data, and is a template used in the template matching method for detecting the main body part.
  • the main body part pattern model has a rectangular shape imitating the contour shape of the main body part.
  • the control processing unit 2c controls each unit of the sensor device SUc according to the function of each unit, acquires the image of the imaging target obtained by imaging the imaging target (location space) from above by the imaging unit 1, and acquires this This is a circuit for detecting a predetermined part in the monitored person Ob based on the detected image and detecting and notifying a predetermined action in the monitored person Ob based on the detected predetermined part.
  • the control processing unit 2c functionally includes a control unit 11, a behavior detection unit 12c, a notification processing unit 13, and a streaming processing unit 14 by executing the control processing program.
  • the control unit 11, the notification processing unit 13, and the streaming processing unit 14 in the third embodiment are the same as the control unit 11, the notification processing unit 13 and the streaming processing unit 14 in the first embodiment, respectively. Omitted.
  • the behavior detection unit 12 c detects a predetermined behavior set in advance in the monitored person Ob from the image of the imaging target acquired by the imaging unit 1.
  • the predetermined action is a fall and a fall as an example, but instead of or in addition to this, the predetermined action may be a wake-up or a get-off.
  • the behavior detection unit 12c functionally includes a part detection unit 21c and a determination unit 22. Since the determination part 22 in the action detection part 12c of 3rd Embodiment is the same as the determination part 22 in the action detection part 12a of 1st Embodiment, the description is abbreviate
  • the part detection unit 21 c detects a predetermined part set in advance in the monitored person Ob from the image of the imaging target acquired by the imaging unit 1.
  • the predetermined portion is, for example, a head that is a part of a human body.
  • the part detection unit 21c functionally includes a target detection unit 31c and a specification unit 32c.
  • the target detection unit 31c detects a predetermined target object set in advance from the image of the imaging target acquired by the imaging unit 1, that is, a detection procedure in which the head as an example of the predetermined part is specified by the specifying unit 32c ( In this example, detection is performed using a head pattern model whose direction is specified, and the area setting unit 41 and the detection unit 42c are functionally provided. Since the region setting unit 41 in the target detection unit 31c of the third embodiment is the same as the region setting unit 41 in the target detection unit 31a of the first embodiment, the description thereof is omitted.
  • the specifying unit 32c includes a plurality of different detection procedures used when detecting the object (a head that is an example of the predetermined part in the present embodiment) from the image of the imaging target acquired by the imaging unit 1. At least one of the detection method and the detection condition is specified as a detection point.
  • the longitudinal direction of the head portion Ob1 ′ is not the direction orthogonal to the longitudinal direction of the main body portion Ob2 ′, but as shown in FIG. 11A, the longitudinal direction of the head portion Ob1.
  • the direction substantially coincides with the longitudinal direction of the main body part Ob2.
  • the elliptical head pattern model has its long axis direction (long direction).
  • the longitudinal direction of the body part Ob2 that is, the longitudinal direction of the body part pattern model, is more suitable as a template used in the template matching method when detecting the head Ob1.
  • the long axis direction of the head pattern model is coincident with the long direction of the main body part.
  • the head pattern model depends on the physical characteristics of the monitored person Ob, for example, when the waist is bent.
  • the shift amount is stored in the storage unit 4c in advance, and the long axis direction of the head pattern model is stored in the storage unit 4c. You may shift from the elongate direction of a main-body site
  • the specifying unit 32c detects the longitudinal direction of the main body part from the detection target region set by the region setting unit 41, and based on the detected long direction, the head pattern model By specifying the direction, the detection procedure is specified. Then, the detection unit 42c performs the detection procedure specified by the specifying unit 32c from the image of the detection target region set by the region setting unit 41, that is, the template matching method using the head pattern model whose direction is specified. A head as the object is detected.
  • the operation of the monitored person monitoring system MSc in the third embodiment is the same as the operation of the monitored person monitoring system MSa in the first embodiment, the description thereof will be omitted, and the behavior detection operation of the sensor device SUc will be described. explain.
  • the behavior detection operation of the sensor device SUc in the third embodiment is shown in FIG. 6 except that the head detection process S1c in the third embodiment is executed instead of the head detection process S1a in the first embodiment. Since this is the same as the behavior detection operation of the sensor device SUa in the first embodiment described above, the description thereof is omitted.
  • FIG. 12 is a flowchart illustrating head detection processing in the monitored person monitoring system according to the third embodiment.
  • control processing unit 2c first acquires the image of the imaging target obtained by imaging the imaging target within a predetermined range by the imaging unit 1 in the same manner as in the process S11 (S31).
  • control processing unit 2c uses the target detection unit 31c of the part detection unit 21c to obtain a predetermined target object, book, and the like that are set in advance from the image of the imaging target acquired by the imaging unit 1 in step S31.
  • a predetermined part (head in this example) is detected.
  • the control processing unit 2c uses the region setting unit 41 to select the object from among the image regions in the image to be captured acquired by the imaging unit 1 in step S31.
  • a detection target region for detecting (head in this example) is set (S32).
  • control processing unit 2c uses the specifying unit 32c to detect the target (the head in this example) from the image of the imaging target acquired by the imaging unit 1 in step S31. At least one of the detection conditions is specified as a detection point (S33).
  • the specifying unit 32c extracts the body part from the detection target region by the template matching method using the rectangular body part pattern model stored in the storage unit 4c as a template, The long direction in the extracted main body part is detected, and the long axis direction in the elliptical head pattern model stored in the storage unit 4c is made to coincide with the detected long direction, and the direction of the head pattern model Is identified. Thereby, the specifying unit 32c specifies the detection point.
  • the control processing unit 2c uses the detection procedure specified by the specifying unit 32c from the image of the detection target region set by the region setting unit 41 by the detection unit 42c, and uses the detection target (the head in this example). ) Is detected (S34). More specifically, the detection unit 42c uses the head pattern model whose direction is specified by the specifying unit 32c in step S33 as a template from the image of the detection target region set by the region setting unit 41. To extract the head. Since the direction of the head pattern model used in the template matching method is specified and limited, the erroneous determination can be reduced without performing the meaningless information processing as described above. Similar to the first embodiment, from the viewpoint of improving the extraction accuracy, these methods are used in combination with color information such as skin color and black, motion information for determining whether or not a person is based on the presence or absence of motion, and the like. May be.
  • the sensor device SUc according to the third embodiment and the monitored person monitoring system MSc according to the third embodiment, which is an example of the monitored person monitoring device, in which the object detection device and the object detection method are implemented are as follows. Since the specification procedure is specified by the specifying unit 32c, and the target detection unit 31c detects a predetermined object (predetermined part (head in this embodiment)) from the image to be imaged under the specified detection procedure. The amount of information processing can be reduced, and erroneous determination can be reduced.
  • the sensor device SUc and the monitored person monitoring system MSc can use the head pattern model in the optimum direction for detecting the head, and can detect the head with higher accuracy while reducing the amount of information processing.
  • the sensor device SUa and the monitored person monitoring system MSa can be notified more promptly when a predetermined action is detected in the monitored person Ob, and the monitoring person who has received this notification can respond as quickly as possible. It becomes possible.
  • the site detection units 21a to 21c in the sensor devices SUa to SUc correct the detection procedure specified by the specification units 32a to 32c as indicated by broken lines in FIG.
  • a correction unit 33 may be further provided.
  • the site detection units 21a to 21c in the sensor devices SUa to SUc can detect the object in a more suitable detection manner, and can detect the object with higher accuracy.
  • the correcting unit 33 corrects the detection procedure specified by the specifying units 32a to 32c based on the imaging characteristics of the imaging unit 1, for example, the optical characteristics of the imaging optical system of the imaging unit 1.
  • the head pattern model is deformed in the peripheral region according to the amount of distortion.
  • the correction unit 33 corrects the detection procedure specified by the specifying units 32a to 32c based on the physical characteristics of the monitored person Ob.
  • the head of the monitored person Ob is measured, and in the case of the first embodiment, the range of the size of the head on the image is shifted according to the measurement result (for example, 40 to 50 is 41 to 41). 51) is corrected by performing at least one of shift, enlargement (for example, 40 to 50 is 38 to 52) and reduction (for example, 40 to 50 is 41 to 49).
  • the head pattern model performs at least one of deformation, enlargement, and reduction according to the measurement result.
  • the size of the head may be actually measured by a measure or the like, or may be estimated from a plurality of images acquired by the imaging unit 1.
  • the correction unit 33 corrects the detection procedure specified by the specifying units 32a to 32c based on the behavior pattern of the monitored person Ob detected from the plurality of images acquired by the imaging unit 1. For example, when it is determined (detected) that the monitored person Ob does not move (still), the detection procedure detected immediately before is used. Further, when it is determined (detected) that the movement of the monitored person Ob is large, detection is performed by expanding the correction range of the detection procedure.
  • the image to be imaged is acquired by the image capturing unit 1, but is acquired from the communication IF unit 3 via another network NW from another external device that manages the image to be imaged.
  • the image may be acquired from the recording medium on which the image to be captured is recorded via the communication IF unit 3.
  • the communication IF unit 3 corresponds to another example of an image acquisition unit that acquires the image to be captured.
  • An object detection device includes a predetermined object from an image acquisition unit that acquires an image of the imaging target obtained by capturing an imaging target in a predetermined range, and the image of the imaging target acquired by the image acquisition unit.
  • the object detection unit detects the object from the image of the imaging target using the detection procedure specified by the specifying unit.
  • the specifying unit specifies a size range of the detected object on the image as the detection condition.
  • the object detection unit uses a template matching method when detecting the object from the image to be imaged, and the specifying unit uses a pattern used in the template matching method.
  • a model is specified as the detection condition.
  • the object is a part of a human body.
  • a part of the human body is a head.
  • a part of the human body is a main body part including at least the trunk of the trunk, arms, and legs.
  • the specifying unit specifies the detection procedure, and the target detection unit detects the object from the image to be imaged under the specified detection procedure, so that the amount of information processing can be reduced. Become.
  • the above-described object detection device further includes a storage unit that stores a correspondence relationship between a plurality of divided regions obtained by dividing an image region in the image to be captured and a plurality of detection points, and the target detection
  • a region setting unit that sets a detection target region for detecting the target object among image regions in the image to be captured, and an image of the detection target region set by the region setting unit
  • a detection unit that detects the object using the detection procedure specified by the unit, wherein the specifying unit is a divided region corresponding to the detection target region set by the region setting unit from the plurality of divided regions And the detection procedure corresponding to the selected divided region is extracted from the correspondence relationship, thereby specifying the detection procedure.
  • the plurality of divided regions capture an image of an object having a reference size (reference object), and measure the size of the object on the image, thereby obtaining imaging characteristics. It is set in consideration of the deviation.
  • Such an object detection apparatus includes a detection procedure for each divided region, and detects an object from the detection target region in the detection procedure of the divided region corresponding to the detection target region. Therefore, the target detection device is optimal for the detection target region.
  • the detection procedure can be used, and the object can be detected with higher accuracy while reducing the amount of information processing.
  • the plurality of divided regions are set based on an intersection position of the image to be imaged with an optical axis of a camera that has generated the image to be imaged. Yes.
  • the imaging characteristics of the imaging optical system (imaging optical system) of a camera shift as it deviates from the optical axis.
  • the detection procedure can also be set based on the intersection position. .
  • the plurality of divided regions include an imaging characteristic of a camera that generates an image of the imaging object, a size of the object, and a position between the camera and the imaging object.
  • the relationship is set based on at least one including the imaging characteristics of the camera.
  • the imaging characteristic is an optical characteristic in an imaging optical system (imaging optical system) of the camera.
  • the optical characteristic is a distortion characteristic.
  • the optical characteristic is a blur characteristic.
  • Such an object detection device includes at least the imaging characteristics of the camera among the imaging characteristics of the camera in which a plurality of divided regions generate an image to be imaged, the size of the object, and the positional relationship between the camera and the imaging object. Therefore, the detection procedure also includes at least the camera among the imaging characteristics of the camera that generated the image to be imaged, the size of the object, and the positional relationship between the camera and the imaging object. Can be set on the basis of any of the following imaging characteristics.
  • the above-described object detection device further includes a storage unit that stores a head pattern model used in a template matching method for detecting the head, and the object detection unit includes the imaging target.
  • the object detection unit includes the imaging target.
  • an area setting unit for setting a detection target area for detecting the target object, and a detection specified by the specifying unit from the image of the detection target area set by the area setting unit A detecting unit that detects the head as the object by the template matching method using a procedure, and the specifying unit is configured to detect a trunk, an arm, and a leg from a detection target region set by the region setting unit. Detecting the longitudinal direction of the main body part including at least the trunk of the body, and specifying the direction of the head pattern model based on the detected longitudinal direction. To identify the procedure.
  • the longitudinal direction of the head substantially coincides with the longitudinal direction of the body part.
  • the object detection device detects a longitudinal direction of a main body part, specifies a direction of a head pattern model based on the detected long direction, and a template using the head pattern model whose direction is specified A head as an object is detected by a matching method. For this reason, the target object detection apparatus can use a head pattern model in a direction optimal for head detection, and can detect the head with higher accuracy while reducing the amount of information processing.
  • the above-described object detection device further includes a correction unit that corrects the detection procedure specified by the specifying unit.
  • Such an object detection device further includes a correction unit, the object can be detected with a more suitable detection procedure, and the object can be detected with higher accuracy.
  • An object detection method includes an image acquisition step of acquiring an image of the imaging target obtained by imaging a predetermined range of the imaging target, and a predetermined target from the image of the imaging target acquired in the image acquisition step.
  • a target detection step for detecting an object, and a specification for specifying at least one of a detection method and a detection condition as a detection procedure among a plurality of different detection procedures used when detecting the object from the image of the imaging target The object detection step detects the object from the image of the imaging target using the detection procedure specified in the specifying step.
  • the detection procedure is specified by the specific process, and the target object is detected from the image to be imaged by the target detection process using the specified detection process, so that the amount of information processing can be reduced.
  • the monitored person monitoring apparatus includes a behavior detection unit that detects a predetermined behavior of a monitored person that is a monitoring target, and a notification that notifies the predetermined behavior detected by the behavior detection unit to the outside.
  • the behavior detection unit determines a predetermined behavior of the monitored person based on the part detected by the part detection unit and a part detection unit that detects the predetermined part of the monitored person.
  • a determination unit, and the part detection unit includes any of the above-described target object detection devices that use the part as the target object.
  • such a monitored person monitoring apparatus includes any one of the above-described target object detecting apparatuses, the information processing amount relating to the detection of the predetermined part when the action detecting unit detects the predetermined action of the monitored person Can be reduced. For this reason, the monitored person monitoring device can promptly notify when the above-described situation occurs, and the supervisor who has received this notification can respond as quickly as possible.
  • an object detection device an object detection method, and a monitored person monitoring device can be provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本発明の対象物検出装置および該方法は、所定範囲の撮像対象の画像から、所定の対象物を検出する。この際に、異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方が検出要領として特定され、この特定された検出要領が用いられる。本発明の被監視者監視装置は、このような対象物検出装置を備える。したがって、本発明にかかる対象物検出装置および該方法は、情報処理量の低減が可能となる。本発明によれば、この対象物検出装置を用いた被監視者監視装置を提供できる。

Description

対象物検出装置および対象物検出方法ならびに被監視者監視装置
 本発明は、画像から所定の対象物を検出する対象物検出装置および対象物検出方法に関する。そして、本発明は、この対象物検出装置を用いた、前記被監視者を監視する被監視者監視装置に関する。
 我が国(日本)は、戦後の高度経済成長に伴う生活水準の向上、衛生環境の改善および医療水準の向上等によって、高齢化社会、より詳しくは、総人口に対する65歳以上の人口の割合である高齢化率が21%を超える超高齢化社会になっている。また、2005年では、総人口約1億2765万人に対し65歳以上の高齢者人口は、約2556万人であったのに対し、2020年では、総人口約1億2411万人に対し高齢者人口は、約3456万人となる予測もある。このような高齢化社会では、病気や怪我や高齢等による看護や介護を必要とする要看護者や要介護者(要看護者等)は、高齢化社会ではない通常の社会で生じる要看護者等よりもその増加が見込まれる。そして、我が国は、例えば2013年の合計特殊出生率が1.43という少子化社会でもある。そのため、看護や介護の必要な高齢者を高齢の家族(配偶者、子、兄弟)が介護する老老介護も起きて来ている。
 要看護者や要介護者は、病院や、老人福祉施設(日本の法令では老人短期入所施設、養護老人ホームおよび特別養護老人ホーム等)等の施設に入所し、その看護や介護を受ける。このような施設では、要看護者等が、例えばベッドからの転落や歩行中の転倒等によって怪我を負ったり、ベッドから抜け出して徘徊したりするなどの事態が生じ得る。このような事態に対し、可及的速やかに対応する必要があり、また、このような事態を放置しておくとさらに重大な事態に発展してしまう可能性もあるため、前記施設では、看護師や介護士等は、定期的に巡視することによってその安否や様子を確認している。
 しかしながら、要看護者等の増加数に対し看護師等の増加数が追い付かずに、看護業界や介護業界では、慢性的に人手不足になっている。さらに、日勤の時間帯に較べ、準夜勤や夜勤の時間帯では、看護師や介護士等の人数が減るため、一人当たりの業務負荷が増大するので、前記業務負荷の軽減が要請される。また、前記老老介護の事態は、前記施設でも例外ではなく、高齢の要看護者等を高齢の看護師等がケアすることもしばしば見られる。一般に高齢になると体力が衰えるため、健康であっても若い看護師等に比し看護等の負担が重くなり、また、その動きや判断も遅くなる。
 このような人手不足や看護師等の負担を軽減するため、看護業務や介護業務を補完する技術が求められている。このため、近年では、要看護者等の、監視すべき監視対象である被監視者を監視(モニタ)する被監視者監視技術が研究、開発されている。
 このような技術の一つとして、例えば特許文献1に開示された情報処理装置がある。この特許文献1に開示された情報処理装置は、人物の頭部を含む画像から、当該頭部の輪郭を近似する頭部楕円を決定する情報処理装置であって、前記画像から前記頭部の輪郭における複数の画素をエッジ画素として検出する検出手段と、前記複数のエッジ画素の各々について、当該エッジ画素を通過する複数の楕円を、楕円を規定するパラメータの予め定められたパラメータ区間から、楕円候補として決定する決定手段と、前記複数のエッジ画素ごとに、当該エッジ画素について決定された前記複数の楕円候補の各々に対して、該エッジ画素の当該楕円候補における位置に基づいて評価値を計算する計算手段と、前記決定手段で決定された前記楕円候補ごとに、前記評価値を累積する累積手段と、前記評価値の累積値が最も大きな楕円候補を前記頭部楕円として選出する選出手段とを備える。
 ところで、前記特許文献1に開示された情報処理装置は、まず、画像の全体からエッジ画素を検出し、この検出したエッジ画素それぞれについて楕円候補を決定し、この決定した複数の楕円候補から、評価値の累積値が最も大きな楕円候補を頭部楕円として選出している。このため、前記特許文献1に開示された情報処理装置は、情報処理量が比較的多くなってしまい、情報処理に時間が掛かってしまう。特に、被監視者監視装置に用いる場合、被監視者監視装置では、上述の事態に対し、可及的速やかに対応する必要があるため、情報処理量を低減して情報処理の時間を短縮することが好ましい。
特許第5371685号公報
 本発明は、上述の事情に鑑みて為された発明であり、その目的は、情報処理量を低減可能な対象物検出装置および対象物検出方法ならびにこの対象物検出装置を用いた被監視者監視装置を提供することである。
 本発明にかかる対象物検出装置および対象物検出方法は、所定範囲の撮像対象の画像から、所定の対象物を検出する。この際に、異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方が検出要領として特定され、この特定された検出要領が用いられる。本発明にかかる被監視者監視装置は、このような対象物検出装置を備える。したがって、本発明にかかる対象物検出装置および対象物検出方法は、情報処理量の低減が可能となる。本発明によれば、この対象物検出装置を用いた被監視者監視装置を提供できる。
 上記並びにその他の本発明の目的、特徴及び利点は、以下の詳細な記載と添付図面から明らかになるであろう。
第1ないし第3実施形態における被監視者監視システムの構成を示す図である。 第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。 第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の配設態様を説明するための図である。 第1実施形態の被監視者監視システムにおける、分割領域の一例を説明するための図である。 第1実施形態の被監視者監視システムにおける、複数の分割領域と複数の検出要領との対応関係を示す対応関係テーブルを示す図である。 第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の動作を示すフローチャートである。 第1実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。 第1実施形態の被監視者監視システムにおける、分割領域の他の一例を説明するための図である。 第2実施形態の被監視者監視システムにおける、複数の分割領域と複数の検出要領との対応関係を説明するための図である。 第2実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。 第3実施形態の被監視者監視システムにおける、検出要領を説明するための図である。 第3実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。
 以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
 実施形態における被監視者監視装置は、監視対象である被監視者における、予め設定された所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備えるものである。前記行動検知部は、前記被監視者における所定の部位を検出する部位検出部と、前記部位検出部で検出した前記部位に基づいて前記被監視者における所定の行動を判定する判定部とを備え、前記部位検出部は、画像から所定の対象物を検出する対象物検出装置を含む。このような被監視者監視装置は、1個の機器として、一体に構成されて実現されて良く、また、システムとして、複数の機器で実現されて良い。そして、被監視者監視装置が複数の機器で実現される場合に、前記行動検知部は、これら複数の機器のうちのいずれに実装されて良い。一例として、ここでは、前記被監視者監視装置がシステムとして複数の機器で実現されている場合について、前記被監視者監視装置の実施形態を説明する。なお、前記被監視者監視装置が1個の機器として一体に構成されて実現される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。また、一例として、ここでは、前記行動検知部が前記通知部と共に後述のセンサ装置SUに実装される場合について、説明するが、このシステムのうちの他の装置、例えば後述の管理サーバ装置SV、固定端末装置SPあるいは携帯端末装置TAに実装される場合についても、以下の説明と同様に、前記被監視者監視装置を構成できる。
 以下、第1実施形態として、撮像部1および部位検出部21aを含むセンサ装置SUaを備えた被監視者監視システムMSa、第2実施形態として、撮像部1および部位検出部21bを含むセンサ装置SUbを備えた被監視者監視システムMSb、および、第3実施形態として、撮像部1および部位検出部21cを含むセンサ装置SUcを備えた被監視者監視システムMScについて、順に、説明する。なお、以下の説明から分かるように、これら撮像部1および部位検出部21a~21c等が前記対象物検出装置の一例に相当する。
 (第1実施形態)
 まず、第1実施形態の構成について説明する。図1は、第1ないし第3実施形態における被監視者監視システムの構成を示す図である。図1において、説明の便宜上、第1実施形態における被監視者監視システムMSaにかかる構成は、添え字aを付して示し、第2実施形態における被監視者監視システムMSbにかかる構成は、添え字bを付して示し、そして、第3実施形態における被監視者監視システムMScにかかる構成は、添え字cを付して示している。図2以下の各図においても同様である。図2は、第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の構成を示す図である。図3は、第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の配設態様を説明するための図である。図4は、第1実施形態の被監視者監視システムにおける、分割領域の一例を説明するための図である。図5は、第1実施形態の被監視者監視システムにおける、複数の分割領域と複数の検出要領との対応関係を示す対応関係テーブルを示す図である。
 前記被監視者監視装置をシステムとして実現したその一例の第1実施形態における被監視者監視システムMSaは、監視すべき(見守るべき)監視対象(見守り対象)である被監視者(見守り対象者)Ob(Ob-1~Ob-4)における、予め設定された所定の行動を検知して前記被監視者Obを監視するものであり、例えば、図1に示すように、1または複数のセンサ装置SUa(SUa-1~SUa-4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)とを備え、これらは、有線や無線で、LAN(Local Area Network)、電話網およびデータ通信網等の網(ネットワーク、通信回線)NWを介して通信可能に接続される。ネットワークNWには、通信信号を中継する例えばリピーター、ブリッジ、ルーターおよびクロスコネクト等の中継機が備えられても良い。図1に示す例では、これら複数のセンサ装置SUa-1~SUa-4、管理サーバ装置SV、固定端末装置SPおよび複数の携帯端末装置TA-1、TA-2は、アクセスポイントAPを含む無線LAN(例えばIEEE802.11規格に従ったLAN等)NWによって互いに通信可能に接続されている。
 被監視者監視システムMSaは、被監視者Obに応じて適宜な場所に配設される。被監視者(見守り対象者)Obは、例えば、病気や怪我等によって看護を必要とする者や、身体能力の低下等によって介護を必要とする者や、一人暮らしの独居者等である。特に、早期発見と早期対処とを可能にする観点から、被監視者Obは、例えば異常状態等の所定の不都合な事象がその者に生じた場合にその発見を必要としている者であることが好ましい。このため、被監視者監視システムMSaは、被監視者Obの種類に応じて、病院、老人福祉施設および住戸等の建物に好適に配設される。図1に示す例では、被監視者監視システムMSaは、複数の被監視者Obが入居する複数の居室RMや、ナースステーションST等の複数の部屋を備える介護施設の建物に配設されている。
 センサ装置SUaは、ネットワークNWを介して他の装置SV、SP、TAと通信する通信機能を備え、被監視者Obを検知してその検知結果を管理サーバ装置SVへ送信する装置である。このセンサ装置SUaは、後にさらに詳述する。
 管理サーバ装置SVは、ネットワークNWを介して他の装置SUa、SP、TAと通信する通信機能を備え、センサ装置SUaから被監視者Obに関する検知結果および前記被監視者Obの画像を受信して被監視者Obに対する監視に関する情報(監視情報)を管理する機器である。管理サーバ装置SVは、センサ装置SUaから被監視者Obに関する前記検知結果および前記被監視者Obの画像を受信すると、被監視者Obに対する監視に関する前記監視情報を記憶(記録)し、そして、被監視者Obに対する監視に関する前記監視情報を収容した通信信号(監視情報通信信号)を固定端末装置SPおよび携帯端末装置TAに送信する。また、管理サーバ装置SVは、クライアント(本実施形態では固定端末装置SPおよび携帯端末装置TA等)の要求に応じたデータを前記クライアントに提供する。このような管理サーバ装置SVは、例えば、通信機能付きのコンピュータによって構成可能である。
 固定端末装置SPは、ネットワークNWを介して他の装置SUa、SV、TAと通信する通信機能、所定の情報を表示する表示機能、および、所定の指示やデータを入力する入力機能等を備え、管理サーバ装置SVや携帯端末装置TAに与える所定の指示やデータを入力したり、センサ装置SUaで得られた検知結果や画像を表示したり等することによって、被監視者監視システムMSのユーザインターフェース(UI)として機能する機器である。このような固定端末装置SPは、例えば、通信機能付きのコンピュータによって構成可能である。
 携帯端末装置TAは、ネットワークNWを介して他の装置SV、SP、SUaと通信する通信機能、所定の情報を表示する表示機能、所定の指示やデータを入力する入力機能、および、音声通話を行う通話機能等を備え、管理サーバ装置SVやセンサ装置SUaに与える所定の指示やデータを入力したり、管理サーバ装置SVからの通知によってセンサ装置SUaで得られた前記検知結果や画像を表示したり等することによって、被監視者Obに対する監視に関する前記監視情報を受け付けて表示する機器である。このような携帯端末装置TAは、例えば、いわゆるタブレット型コンピュータやスマートフォンや携帯電話機等の、持ち運び可能な通信端末装置によって構成可能である。
 次に、上述のセンサ装置SUaについてさらに説明する。センサ装置SUaは、例えば、図2に示すように、撮像部1と、制御処理部2aと、通信インターフェース部(通信IF部)3と、記憶部4aとを備える。
 撮像部1は、制御処理部2aに接続され、制御処理部2aの制御に従って、画像(画像データ)を生成する装置である。撮像部1は、監視すべき監視対象である被監視者Obが所在を予定している空間(所在空間、図1に示す例では配設場所の居室RM)を監視可能に前記所在空間の上方(例えば天井面や上方壁面等)に配置され、前記所在空間を撮像対象としてその上方から撮像し、前記撮像対象を俯瞰した画像(画像データ)を生成し、前記撮像対象の画像を制御処理部2aへ出力する。撮像部1は、本実施形態では、静止画および動画を生成する。このような撮像部1は、隠れが生じないように前記所在空間(撮像対象)全体を撮像できる蓋然性が高いことから、図3に示すように、前記所在空間の一例である居室RMの中央上部の天井に、被監視者Obの身長より十分に高い位置に配設されることが好ましい。撮像部1は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部の一例である。
 このような撮像部1は、可視光の画像を生成する装置であって良いが、比較的暗がりでも被監視者Obを監視できるように、本実施形態では、赤外光の画像を生成する装置である。このような撮像部1は、例えば、本実施形態では、撮像対象における赤外の光学像を所定の結像面上に結像する結像光学系(撮像光学系)、前記結像面に受光面を一致させて配置され、前記撮像対象における赤外の光学像を電気的な信号に変換するイメージセンサ、および、イメージセンサの出力を画像処理することで前記撮像対象における赤外の画像を表すデータである画像データを生成する画像処理部等を備えるデジタル赤外線カメラである。撮像部1の結像光学系は、本実施形態では、その配設された前記所在空間全体(図1および図3に示す例では居室RM全体)を撮像できる画角を持つ広角な光学系(いわゆる広角レンズ(魚眼レンズを含む))であることが好ましい。なお、センサ装置SUaは、前記所在空間を赤外線で照明するために、赤外線を放射する赤外照明装置をさらに備えても良い。
 通信IF部3は、制御処理部2aに接続され、制御処理部2aの制御に従って通信を行うための通信回路である。通信IF部3は、制御処理部2aから入力された転送すべきデータを収容した通信信号を、この被監視者監視システムMSaのネットワークNWで用いられる通信プロトコルに従って生成し、この生成した通信信号をネットワークNWを介して他の装置SV、SP、TAへ送信する。通信IF部3は、ネットワークNWを介して他の装置SV、SP、TAから通信信号を受信し、この受信した通信信号からデータを取り出し、この取り出したデータを制御処理部2aが処理可能な形式のデータに変換して制御処理部2aへ出力する。なお、通信IF部3は、さらに、例えば、Bluetooth(登録商標)規格、IrDA(Infrared Data Asscoiation)規格およびUSB(Universal Serial Bus)規格等の規格を用い、外部機器との間でデータの入出力を行うインターフェース回路を備えても良い。
 記憶部4aは、制御処理部2aに接続され、制御処理部2aの制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。
 前記各種の所定のプログラムには、例えば、被監視者Obに対する監視に関する情報処理を実行する監視処理プログラム等の制御処理プログラムが含まれる。前記監視処理プログラムには、撮像部1で取得した撮像対象の画像から、予め設定された所定の対象物を検出する対象検出プログラムや、前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定プログラムや、前記対象検出プログラムで検出した検出結果に基づいて、監視対象である被監視者Obにおける所定の行動を検知する行動検知プログラムや、前記行動検知プログラムで検知した前記所定の行動を外部に通知する通知処理プログラムや、撮像部1で撮像した動画を、その動画を要求した固定端末装置SPや携帯端末装置TAへストリーミングで配信するストリーミング処理プログラム等が含まれる。そして、前記対象検出プログラムは、前記特定プログラムで特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出する。前記各種の所定のデータには、例えば、検出要領等のこれら上述の各プログラムを実行する上で必要なデータや、被監視者Obを監視する上で必要なデータ等が含まれる。このような記憶部4aは、例えば不揮発性の記憶素子であるROM(Read Only Memory)や書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)等を備える。そして、記憶部4aは、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部2aのワーキングメモリとなるRAM(Random Access Memory)等を含む。
 そして、記憶部4aは、対応関係情報記憶部40aを機能的に備える。この対応関係情報記憶部40aは、前記撮像対象の画像における画像領域を分割した複数の分割領域と複数の検出要領との対応関係を予め記憶するものである。
 本実施形態では、被監視者Obにおける所定の行動は、後述するように、例えば転倒および転落等であり、頭部の高さで被監視者Obの姿勢(立位、座位および横臥等)が判定され、被監視者Obの姿勢から転倒の有無および転落の有無等が判定されている。ここで、図3を用いて上述したように、センサ装置SUaの撮像部1を天井CEの中央位置に配設した場合、撮像部1の画角が比較的狭く、撮像部1の撮像特性が略一定である場合では、頭部の高さは、画像全体に亘って、画像上での頭部の大きさに略比例するので、画像全体に亘って一律に定義された、画像上で取り得る頭部の大きさの範囲で、画像から頭部を探すことになる。しかしながら、前記撮像部1の画角が比較的広い場合や、撮像部1の撮像特性が一定ではない場合では、頭部の高さと画像上での頭部の大きさとは、必ずしも比例しなくなり、画像上での頭部の大きさの範囲は、画像全体に亘って一律ではない。このため、対象物の一例として人体の一部である頭部を検出する際に、頭部であるか否かの判定条件の1つに、画像上での大きさが用いられる場合、一律に定義された前記範囲で画像から頭部を探すと、一律に定義された前記範囲の中で、取り得ない範囲でも画像から頭部を探すことになり、その取り得ない範囲では無意味に情報処理していることになる。さらに、画像上での或る位置では、頭部に相当する大きさでも、画像上の他の位置では、頭部に相当しない大きさとなる場合が有り得るため、誤判定が生じる虞もある。そこで、本実施形態では、撮像対象(所在領域)の画像における画像領域が複数の分割領域に分割され、各分割領域ごとに、当該分割領域に適した検出要領(この例では検出条件として頭部の大きさの範囲)が割り当てられ、分割領域の画像から頭部を探す場合に、当該分割領域に適した検出要領を用いることで、無意味な情報処理を実施することなく、誤判定を軽減している。このため、対応関係情報記憶部40aには、上述のように、これら複数の分割領域と複数の検出要領との対応関係が予め記憶されている。なお、撮像部1の撮像特性は、被写体の光学像と、撮像部1で生成された画像における被写体の像との差であり、例えば、歪み特性やボケ特性等の、撮像部1の結像光学系(撮像光学系)における光学特性等である。
 このような対応関係は、例えば関数式等によって対応関係情報記憶部40aに予め記憶されても良いが、本実施形態では、図5に示すテーブルで対応関係情報記憶部40aに予め記憶されている。より具体的には、本実施形態では、図4に示すように、撮像対象(所在領域)の画像における画像領域は、前記複数の分割領域の一例として、4個の第1ないし第4判定エリアAR10~AR13に区分けされている。そして、これら第1ないし第4判定エリアAR10~AR13ごとに、異なる各検出要領として、異なる大きさの各範囲が、それぞれ設定され、図5に示すように、テーブル化されて対応関係情報記憶部40aに予め記憶されている。撮像部1の結像光学系(撮像光学系)における撮像特性は、光軸からずれるに従ってずれて行くことが多いため、これら第1ないし第4判定エリアAR10~AR13は、前記撮像対象の画像における、前記撮像対象の画像を生成した撮像部1の光軸との交差位置(光軸中心)を基準に同心円状に設定されている。第1判定エリアAR10は、図4に示すように、光軸中心を中心とする所定の第1半径を持つ円形以内の領域であり、この第1判定エリアAR10には、図5に示すように、検出要領(検出条件)として、画像上での頭部の大きさの範囲が、40~50[pixel]に設定されている。第2判定エリアAR11は、図4に示すように、第1判定エリアAR10と同心で、第1判定エリアAR10を超え、光軸中心を中心とする所定の第2半径(>第1半径)を持つ円形以内の領域であり、この第2判定エリアAR11には、図5に示すように、検出要領(検出条件)として、画像上での頭部の大きさの範囲が、35~45[pixel]に設定されている。第3判定エリアAR12は、図4に示すように、第2判定エリアAR11を超え、床FLおよび所定の高さまでの壁面を含む領域であり、この第3判定エリアAR12には、図5に示すように、検出要領(検出条件)として、画像上での頭部の大きさの範囲が、30~40[pixel]に設定されている。そして、第4判定エリアAR13は、図4に示すように、第3判定エリアAR12を超える領域であり、この第4判定エリアAR13は、判定外のエリア(判定不能のエリア)とされ、図5に示すように、検出要領(検出条件)として、画像上での頭部の大きさの範囲は、設定されていない。これら第1ないし第4判定エリアAR10~AR13における各境界位置は、例えば、基準の大きさを持つ物体(基準物体)を撮像し、画像上での前記物体の大きさを実測することによって、撮像特性のずれを考慮して適宜に設定される。すなわち、撮像特性が許容範囲内で同一とみなせる範囲で、各境界位置が設定される。
 図2に戻って、制御処理部2aは、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象(所在空間)をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の部位を検出し、この検出した前記所定の部位に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部2aは、例えば、CPU(Central Processing Unit)およびその周辺回路を備えて構成される。制御処理部2aは、前記制御処理プログラムが実行されることによって、制御部11、行動検知部12a、通知処理部13およびストリーミング処理部14を機能的に備える。
 制御部11は、センサ装置SUaの各部を当該各部の機能に応じてそれぞれ制御し、センサ装置SUaの全体制御を司るものである。
 行動検知部12aは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の行動を検知するものである。前記所定の行動は、本実施形態では、その一例として、転倒および転落であるが、これに代えあるいはこれに加えて起床や離床等であって良い。より具体的には、行動検知部12aは、部位検出部21aおよび判定部22を機能的に備える。
 部位検出部21aは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の部位を検出するものである。前記所定の部位は、本実施形態では、その一例として、人体の一部である頭部であるが、前記所定の行動を検知することができる適宜な、人体における全部または一部の部位であって良い。部位検出部21aは、対象検出部31aおよび特定部32aを機能的に備える。
 対象検出部31aは、撮像部1で取得した撮像対象の画像から、予め設定された所定の対象物を検出するものである。前記所定の対象物は、対象検出部31aが被監視者監視システムMSaのセンサ装置SUaに用いられる場合(すなわち、前記対象物検出装置が被監視者監視装置に用いられる場合)、前記所定の部位であり、本実施形態では、その一例として頭部である。特定部32aは、撮像部1で取得した前記撮像対象の画像から前記対象物(本実施形態では前記所定の部位の一例である頭部)を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定するものである。そして、対象検出部31aは、特定部32aで特定された検出要領を用いて前記撮像対象の画像から前記対象物(この例では頭部)を検出する。
 より具体的には、本実施形態では、対象検出部31aは、領域設定部41および検出部42aを機能的に備える。領域設定部41は、撮像部1で取得した前記撮像対象の画像における画像領域のうち、前記対象物(この例では頭部)を検出するための検出対象領域を設定するものである。検出部42aは、領域設定部41で設定された検出対象領域の画像から、特定部32aで特定された検出要領を用いて前記対象物(この例では頭部)を検出するものである。そして、前記特定部32aは、対応関係情報記憶部40aに記憶されている前記対応関係における前記複数の分割領域(本実施形態ではその一例としての第1ないし第4判定エリアAR10~AR13)から、領域設定部41で設定された検出対象領域に対応する分割領域(判定エリアAR)を選定し、この選定した分割領域(判定エリアAR)に対応する検出要領(本実施形態ではその一例としての画像上での頭部の大きさの範囲)を前記対応関係から取り出すことで、前記検出部42aで用いる前記検出要領を特定する。
 判定部22は、部位検出部21aの対象検出部31aにおける検出部42aで検出した前記所定の部位(この例では頭部)に基づいて、被監視者Obにおける所定の行動(本実施形態では転倒および転落)を判定するものである。
 通知処理部13は、行動検知部12aで検知した被監視者Obにおける所定の行動(本実施形態では、転倒および転落)を外部に通知するものである。より具体的には、通知処理部13は、前記検知した前記所定の行動(状態、状況)を表す情報(検知行動情報(本実施形態では転倒および転落のうちの1または複数を表す情報))、前記所定の行動が検知された被監視者Obを特定し識別するための識別子情報(前記被監視者Obを検知しているセンサ装置SUaを特定し識別するための識別子情報)、および、前記所定の行動の検知に用いられた画像等を収容した通信信号(監視情報通信信号)を生成し、通信IF部3で管理サーバ装置SVへ送信する。
 ストリーミング処理部14は、ネットワークNWおよび通信IF部3を介して固定端末装置SPまたは携帯端末装置TAから動画の配信の要求があった場合に、この要求のあった固定端末装置SPまたは携帯端末装置TAへ、撮像部1で生成した動画(例えばライブの動画)をストリーミング再生で通信IF部3およびネットワークNWを介して配信するものである。
 図1には、一例として、4個の第1ないし第4センサ装置SUa-1~SUa-4が示されており、第1センサ装置SUa-1は、被監視者Obの一人であるAさんOb-1の居室RM-1(不図示)に配設され、第2センサ装置SUa-2は、被監視者Obの一人であるBさんOb-2の居室RM-2(不図示)に配設され、第3センサ装置SUa-3は、被監視者Obの一人であるCさんOb-3の居室RM-3(不図示)に配設され、そして、第4センサ装置SUa-4は、被監視者Obの一人であるDさんOb-4の居室RM-4(不図示)に配設されている。
 次に、本実施形態の動作について説明する。まず、被監視者監視システムMSaの動作について説明する。このような構成の被監視者監視システムMSaでは、各装置SUa、SV、SP、TAは、電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。また、センサ装置SUaでは、その制御処理プログラムの実行によって、制御処理部2aには、制御部11、行動検知部12a、通知処理部13およびストリーミング処理部14が機能的に構成され、行動検知部12aには、部位検出部21aおよび判定部22が機能的に構成され、部位検出部21aには、対象検出部31aおよび特定部32aが機能的に構成され、そして、対象検出部31aには、領域設定部41および検出部42aが機能的に構成される。
 そして、上記構成の被監視者監視システムMSaは、大略、次の動作によって、各被監視者Obそれぞれを監視している。センサ装置SUaは、制御処理部2aによって、所定のフレームレートに応じた時間間隔で撮像部1によって画像を取得し、制御処理部2aの行動検知部12aによって、この撮像部1で取得した画像に基づいて被監視者Obにおける所定の行動(状態、状況)を判定し、この判定の結果、被監視者Obが予め設定された前記所定の行動(本実施形態では転倒および転落等)であると判定すると、制御処理部2aの通知処理部13によって、被監視者Obの状態として判定された判定結果を表す判定結果情報や被監視者Obの静止画の画像データ等の監視情報を収容した通信信号(監視情報通信信号)をネットワークNWを介して管理サーバ装置SVへ送信する。なお、転倒および転落を検知するためのセンサSUaの動作(行動検知動作)は、後に詳述する。
 管理サーバ装置SVは、前記監視情報通信信号をネットワークNWを介してセンサ装置SUaから受信すると、この監視情報通信信号に収容された判定結果情報や静止画の画像データ等の監視情報をその記憶部に記憶(記録)する。そして、管理サーバ装置SVは、これら判定結果情報や静止画の画像データ等の監視情報を収容した監視情報通信信号を端末装置(本実施形態では固定端末装置SPおよび携帯端末装置TA)へ送信する。これによって被監視者Obの状態(状況)が端末装置SP、TAを介して例えば看護師や介護士等の監視者に報知される。
 固定端末装置SPおよび携帯端末装置TAは、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVから受信すると、この監視情報通信信号に収容された前記監視情報を表示する。このような動作によって、被監視者監視システムMSは、各センサ装置SUa、管理サーバ装置SV、固定端末装置SPおよび携帯端末装置TAによって、大略、各被監視者Obを検知して各被監視者Obを監視している。
 次に、被監視者監視システムMSaにおけるセンサ装置SUaの動作(行動検知動作)について、説明する。図6は、第1ないし第3実施形態の被監視者監視システムにおけるセンサ装置の動作を示すフローチャートである。
 センサ装置SUaは、上述したように、所定のフレームレートに応じた時間間隔で撮像部1によって画像を順次に取得しており、図6を用いて以下に説明する動作は、各フレームの各画像ごとに実施される。
 図6において、まず、制御処理部2aは、行動検知部12aの部位検出部21aによって、撮像部1で取得した画像から、被監視者Obの頭部を検出する頭部の検出処理を実行する(S1a)。この第1実施形態における頭部の検出処理S1aは、後に詳述する。
 次に、制御処理部2aは、判定部22によって、部位検出部21aで検出した頭部に基づいて、被監視者Obにおける転倒の有無および転落の有無を検知する(S2)。
 前記所在空間の上方から、本実施形態では天井CEから鉛直下方に見下ろして前記所在空間を撮像した画像では、画像上での頭部の大きさは、被監視者Obの姿勢等に応じて変化するので、画像上での頭部の大きさに基づいて転倒の有無および転落の有無それぞれが判定できる。前記転倒は、被監視者Obが立位姿勢または座位姿勢から床面FL上等の横臥姿勢への変化である。このため、例えば、立位姿勢および座位姿勢における頭部の大きさ(頭部の高さ)と床面FL上等の横臥姿勢における頭の大きさ(頭部の高さ)とを区別できる所定の閾値(転倒判定閾値)Thrが例えば複数のサンプルを用いることによって予め適宜に設定され、判定部22は、処理S1で検出した頭部における画像上の大きさと前記転倒判定閾値Thrとを比較し、処理S1で検出した頭部における画像上の大きさが前記転倒判定閾値Thr以下である場合には、被監視者Obが床面FL上等の横臥姿勢であり、転倒有りと判定し、判定結果として転倒有りを通知処理部13へ出力し、一方、処理S1で検出した頭部における画像上の大きさが前記転倒判定閾値Thrを越える場合には、被監視者Obが立位姿勢または座位姿勢であり、転倒無しと判定する。また、前記転落は、被監視者Obが鉛直方向に沿った高い位置から低い位置への落下、例えば寝具BTから床面FL上等へ落下である。このため、例えば、前記高い位置(例えば寝具BT上における横臥姿勢や座位姿勢等)における頭部の大きさと前記低い位置(例えば床面FL上等の横臥姿勢)における頭部の大きさとを区別できる所定の閾値(転落判定閾値)Thcが、例えば複数のサンプルを用いることで予め適宜に設定され、判定部22は、処理S1で検出した頭部における画像上の大きさと前記転落判定閾値Thcとを比較し、処理S1で検出した頭部における画像上の大きさが前記転落判定閾値Thc以下である場合には、被監視者Obが床面FL上等の前記低い位置(例えば床面FL上等の横臥姿勢)であり、転落有りと判定し、判定結果として転落有りを通知処理部13へ出力し、一方、処理S1で検出した頭部における画像上の大きさが前記転落判定閾値Thcを越える場合には、被監視者Obが前記高い位置(例えば寝具上における横臥姿勢や座位姿勢等)であり、転落無しと判定する。なお、画像上での寝具BTの領域が予め記憶部4aに記憶され、判定部22は、この転落の有無の検知処理の際に、寝具BTから寝具BTの周辺領域への頭部の移動の有無を考慮しても良い。
 なお、これら転倒判定閾値Thrおよび転落判定位置Thcは、検出要領と同様に、第1ないし第4判定エリアAR10~AR14ごとに、当該判定エリアARに適した値に設定されてもよい。
 次に、制御処理部2aは、判定部22によって、前記処理S2において、所定の行動、この例では転倒および転落を検知したか否かを判定する(S3)。この判定の結果、転倒有りおよび転落有りの少なくとも一方が検知された場合(Yes)には、制御処理部2aは、処理S4を実行し、一方、転倒無しおよび転落無しが検知された場合(No)には、制御処理部2aは、このフレームに対する行動検知動作を終了する。
 処理S4では、制御処理部2aは、通知処理部13によって、上述したように、前記監視情報通信信号をネットワークNWを介して管理サーバ装置SVへ送信する。
 次に、第1実施形態の被監視者監視システムMSaのセンサ装置SUaにおける頭部の検出処理S1aについて説明する。図7は、第1実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。
 図7において、まず、制御処理部2aは、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S11)。本実施形態では、撮像部1は、被監視者Obの所在空間を撮像対象とし、前記所在空間を天井から鉛直下方に見下ろして俯瞰した、前記結像光学系の画角に応じた前記所在空間の画像を生成し、この生成した前記所在空間の画像を制御処理部2aへ出力する。
 次に、制御処理部2aは、部位検出部21aの対象検出部31aによって、処理S11で撮像部1によって取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の対象物、本実施形態では所定の部位(この例では頭部)を検出する。
 より具体的には、この頭部の検出に当たって、まず、制御処理部2aは、領域設定部41によって、処理S11で撮像部1によって取得した前記撮像対象の画像における画像領域のうち、前記対象物(この例では頭部)を検出するための検出対象領域を設定する(S12)。この検出対象領域の設定では、制御処理部2aは、領域設定部41によって、上述した第1ないし第4判定エリアAR10~AR13を順次に検出対象領域に設定し、各検出対象領域に対し順次に以下の各処理を実施することで頭部を検出して良いが、本実施形態では、制御処理部2aは、領域設定部41によって、人体領域を検出し、この検出した人体領域を含む判定エリアARを第1ないし第4判定エリアAR10~AR13から選定し、この選定した判定エリアARを検出対象領域とする。なお、前記検出した人体領域が複数の判定エリアARに亘る場合には、これら複数の判定エリアARそれぞれが検出対象領域とされ、各検出対象領域に対し順次に以下の各処理を実施することで頭部が検出される。この人体領域は、例えば、動体領域を前記人体領域として検出することで検出される(動体領域=人体領域)。この動体領域の抽出には、例えば背景差分法やフレーム間差分法等の手法が用いられる。前記背景差分法では、予め背景画像が求められて前記各種の所定のデータの1つとして記憶部4aに予め記憶され、撮像部1によって生成された画像と前記背景画像との差分画像から動体領域が抽出される。前記フレーム差分法では、撮像部1によって生成された、現在のフレームの画像と過去のフレーム(例えば1つ前のフレーム)の画像との差分画像から動体領域が抽出される。抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報等が組み合わされて利用されても良い。
 次に、制御処理部2aは、特定部32aによって、処理S11で撮像部によって取得した前記撮像対象の画像から、前記対象物(この例では頭部)を検出する際に用いられる検出方法および検出条件のうちの少なくとも一方を検出要領として特定する(S13)。より具体的には、特定部32aは、記憶部4aの対応関係情報記憶部40aに記憶されている前記対応関係における第1ないし第4判定エリアAR10~AR13から、領域設定部41で設定された検出対象領域に対応する判定エリアARを選定し、この選定した判定エリアARに対応する画像上での頭部の大きさの範囲を前記対応関係から取り出すことで、検出部42aで用いる検出要領を特定する。例えば、処理S12において、人体領域が第1判定エリアAR10で検出された場合には、この処理S13において、特定部32aは、第1判定エリアAR10に対応する画像上での頭部の大きさの範囲;40~50[pixel]を検出要領(検出条件)として特定する。また例えば、処理S12において、人体領域が第2判定エリアAR11で検出された場合には、この処理S13において、特定部32aは、第2判定エリアAR11に対応する画像上での頭部の大きさの範囲;35~45[pixel]を検出要領(検出条件)として特定する。
 次に、制御処理部2aは、検出部42aによって、領域設定部41で設定された検出対象領域の画像から、特定部32aで特定された検出要領を用いて前記対象物(この例では頭部)を検出する(S14)。より具体的には、検出部42aは、領域設定部41で設定された検出対象領域の画像から、頭部(頭部の画像領域)を公知の画像処理技術を用いることによって抽出する。この際において、検出部42aは、例えば、頭部の検出処理前に、処理S13で特定部32aによって特定された画像上での頭部の大きさの範囲内に含まれる画像領域(前記範囲に属する画像領域)を検出対象とする。また例えば、検出部42aは、頭部の検出処理後に、処理S13で特定部32aによって特定された画像上での頭部の大きさの範囲内に含まれる画像領域(前記範囲に属する画像領域)を頭部の画像領域として検出する。これによって、上述のような無意味な情報処理が実施されることなく、誤判定が軽減できる。
 この頭部の検出では、例えば、頭部の形状が楕円形状と仮定され、前記所在空間の画像がいわゆる一般化ハフ変換され、これによって前記所在空間の画像中における楕円形状、すなわち、頭部が抽出される(第1頭部検出方法)。このような画像処理技術は、例えば、文献;“村上真、「人物頭部認識における特徴量表現および領域抽出に関する研究」、2003年3月、早稲田大学“に開示されている。また例えば、頭部の輪郭形状あるいはその概略形状の楕円や円形状等の頭部形状を予め用意されたテンプレートとしたテンプレートマッチング法(パターンマッチング法)によって(第2頭部検出方法)、あるいは、いわゆるSnake等の閉曲線をフィッティングする方法によって(第3頭部検出方法)、前記所在空間の画像から頭部が抽出されても良い。抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報や、動きの有無によって人物か否かを判定する動き情報等が組み合わされて利用されても良い。例えば、画像中における肌色や黒色ではない領域、画像中における動きの全くない領域、および、アスペクト比が比較的短時間の間に頻繁に変化する領域は、頭部ではないと判定される。
 なお、頭部の抽出に多重解像度戦略(多重解像度解析、多解像走査)が用いられる場合には、頭部の候補領域は、複数求められる場合が多い。この場合では、テンプレートマッチングで得られるいわゆるスコアが最も高い候補領域が頭部とされても良いが、より正確に頭部を抽出するために、複数の候補領域における大きさ、その位置およびスコア等に基づいて頭部が抽出されても良い。例えば、複数の候補領域における大きさの平均値が求められ、この平均値に最も近い大きさの候補領域が頭部とされる。前記平均値は、単純平均によって求められても良いが、各候補領域のスコアを重みとした重み付け平均によって求められても良い。前記多重解像度戦略は、元画像から、前記元画像より解像度が低く互いに異なる解像度を持つ複数の低解像度画像を生成し、解像度がより低い低解像度画像から抽出対象(本実施形態では頭部)を抽出し、この抽出対象が抽出された領域を次に解像度が高い低解像度画像で前記抽出対象を抽出するための候補領域とし、最も解像度が低い低解像度画像から順次に元画像まで遡って前記抽出対象を抽出して行く手法である。
 以上説明したように、対象物検出装置および対象物検出方法を実装した一例の第1実施形態におけるセンサ装置SUaならびに被監視者監視装置の一例である第1実施形態における被監視者監視システムMSaは、特定部32aによって検出要領を特定し、この特定した検出要領の下で対象検出部31aによって撮像対象の画像から所定の対象物(所定の部位(本実施形態では頭部))を検出するので、情報処理量の低減が可能となり、誤判定を低減できる。このため、上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者Obにおける所定の行動を検知した場合により速やかに通知でき、この通知を受けた監視者は、可及的速やかな対応が可能となる。
 上記センサ装置SUaおよび被監視者監視システムMSaは、分割領域(本実施形態では判定エリアAR)ごとに検出要領を備え、検出対象領域に対応する分割領域の検出要領で前記検出対象領域から対象物を検出するので、前記検出対象領域に最適な検出要領を用いることができ、情報処理量を低減しつつ、より高精度に対象物(この例では頭部)を検出できる。
 カメラの結像光学系(撮像光学系)における撮像特性は、光軸からずれるに従ってずれて行くことが多い。上記センサ装置SUaおよび被監視者監視システムMSaは、複数の分割領域(本実施形態では第1ないし第4判定エリアAR10~AR13)が交差位置、すなわち、撮像対象の画像上でのカメラの光軸の位置を基準に設定されているので、検出要領も前記交差位置を基準に設定できる。
 上記センサ装置SUaおよび被監視者監視システムMSaは、1個の撮像部1で所在空間を方向から見込んで得られた1枚の画像からでも前記所定の行動を検知できるので、低コスト化が可能であり、被監視者Obの隠れが生じ難く、処理能力の比較的低いハードウェアでも構成可能である。
 なお、上述の実施形態では、複数の分割領域の一例である第1ないし第4判定エリアAR10~AR13は、撮像対象の画像を生成したカメラ(上述の例では撮像部1)の撮像特性に基づいて設定されたが、これに加えて、対象物の大きさにも基づいて良く、またこれに加えて、前記カメラと前記撮像対象との位置関係にも基づいて良く、またこれに加えて、対象物の大きさおよび前記カメラと前記撮像対象との位置関係にも基づいて良い。また、撮像特性のずれは、カメラの結像光学系(撮像光学系)における例えば歪み特性やボケ特性等の光学特性によって発生することが多いため、撮像特性は、好ましくは、光学特性であり、好ましくは、歪み特性であり、好ましくは、ボケ特性である。これによれば、複数の分割領域が撮像対象の画像を生成したカメラの撮像特性、対象物の大きさおよびカメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定されているので、検出要領も、撮像対象の画像を生成したカメラの撮像特性、対象物の大きさおよびカメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定できる。
 図8は、第1実施形態の被監視者監視システムにおける、分割領域の他の一例を説明するための図である。一例では、撮像部1にあおりがある場合では、第1ないし第4判定エリアAR10~AR13は、その中心位置や形状が撮像部1の撮像特性、対象物と撮像部1の位置関係に基づいて、図8に示すように、設定される。この図8に示す例では、撮像部1が部屋RMの上方一方隅に斜め下に撮影方向を向けて設置されており、第1判定エリアAR10は、光軸中心真下に対応する床FL上の点を中心とした所定の第3半径を持つ半円形以内の領域とされ、第1判定エリアAR11は、第1判定エリアAR10と同心で、第1判定エリアAR10を超え、光軸中心真下に対応する床FL上の前記点を中心とした所定の第4半径(>第3半径)を持つ半円形以内の領域とされ、第3判定エリアAR12は、第2判定エリアAR11を超え、奥壁面ならびに前記奥壁面に連結する天井面CE、右壁面および左壁面の各位置を含む領域とされ、第4判定エリアAR13は、画像における第3判定エリアAR12を超える領域とされている。これら第1ないし第3判定エリアAR10~AR12には、撮影条件としてあおり撮影を考慮した、画像上での頭部の大きさの各範囲が適宜に設定され、第4判定エリアAR13は、判定外のエリア(判定不能のエリア)とされ、この第4判定エリアAR13に対する画像上での頭部の大きさの範囲は、設定されていない。
 ここで、これら第1ないし第3判定エリアAR10~AR12における、画像上での頭部の大きさの各範囲は、まず、統計的に標準的な大きさを持つ頭部の模型(頭部模型)が予め用意され、各判定エリアAR10~AR12それぞれについて、この大きさの既知な頭部模型が、様々な高さで撮像部1によって撮影され、画像上での頭部模型の各大きさ(ピクセル数)が求められ、そして、これらから適宜に設定される。
 後述の第2実施形態における第1ないし第5判定エリアAR20~AR24も同様である。
 また、上述の実施形態では、検出要領は、検出条件(この例では画像上での頭部の大きさの範囲)であったが、これに代え、あるいは、これに加えて検出方法であっても良い。例えば、第1ないし第4判定エリアAR10~AR13それぞれに、上述の第1ないし第3頭部検出方法のうちの少なくともいずれかが予め割り当てられ、これら第1ないし第4判定エリアAR10~AR13と第1ないし第3頭部検出方法との対応関係が対応関係情報記憶部40aに予め記憶され、上述と同様の動作によって、検出対象領域に基づいて頭部検出方法が特定部32aによって特定され、この特定された頭部検出方法で検出部42aによって頭部が検出される。なお、1つの判定エリアARに複数の頭部検出方法が割り当てられている場合には、例えば、これらのうちのいずれかが用いられる。また例えば、各頭部検出方法で頭部がそれぞれ検出され、一致した結果が頭部とされる。
 次に、別の実施形態について説明する。
(第2実施形態)
 上述の第1実施形態では、検出すべき対象物(上述の例では頭部)の画像上での大きさの範囲が検出要領として特定されたが、第2実施形態では、テンプレートマッチング法で用いられるパターンモデルが検出要領として特定される。
 まず、第2実施形態の構成について説明する。図9は、第2実施形態の被監視者監視システムにおける、複数の分割領域と複数の検出要領との対応関係を説明するための図である。
 第2実施形態における被監視者監視システムMSbは、例えば、図1に示すように、1または複数のセンサ装置SUb(SUb-1~SUb-4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)とを備える。これら第2実施形態の被監視者監視システムMSbにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA-1、TA-2)は、それぞれ、第1実施形態の被監視者監視システムMSaにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA-1、TA-2)と同様であるので、その説明を省略する。
 第2実施形態におけるセンサ装置SUbは、例えば、図2に示すように、撮像部1と、制御処理部2bと、通信IF部3と、記憶部4bとを備える。これら第2実施形態のセンサ装置SUbにおける撮像部1および通信IF部3は、それぞれ、第1実施形態のセンサ装置SUaにおける撮像部1および通信IF部3と同様であるので、その説明を省略する。
 記憶部4bは、対応関係情報記憶部40aに代えて対応関係情報記憶部40bを機能的に備える点を除き、記憶部4aと同様である。この対応関係情報記憶部40bは、下記の点を除き、対応関係情報記憶部40aと同様に、撮像対象の画像における画像領域を分割した複数の分割領域と複数の検出要領との対応関係を予め記憶するものである。第1実施形態では、前記検出要領は、検出条件として、検出すべき頭部の画像上での大きさの範囲であったが、第2実施形態では、前記検出要領は、検出条件としてテンプレートマッチング法で用いられるパターンモデルである。この点で、第2実施形態は、第1実施形態と異なる。
 ここで、図3を用いて上述したように、センサ装置SUbの撮像部1を天井CEの中央位置に配設した場合、撮像部1から見た頭部の形状(頭部の輪郭形状)は、所在空間における被監視者Obの位置に応じて異なる。画像を平面視した場合、左右方向に沿って左から右へ向かう方向をX方向(X軸)とし、上下方向に沿って下から上へ向かう方向をY方向(Y軸)とするXY直交座標系を設定した場合、例えば、光軸中心を中心とする所定の第5半径を持つ円形以内の領域(第1判定エリアAR20)内に、被監視者Obが所在している場合、撮像部1における略真下であるので、図9に示すように、撮像部1から見た頭部は、略円形状である。このため、第1判定エリアAR20には、前記パターンモデルとして円形状(第1頭部パターンモデル)が対応付けられる。
 また例えば、±Y方向それぞれにおいて、光軸中心を中心とする所定の第1角度を持つ扇形のうちの第1判定エリアAR20の外側の領域(第2判定エリアAR21)内に、被監視者Obが所在している場合、撮像部1の位置から±Y方向にずれているので、図9に示すように、撮像部1から見た頭部は、Y方向に沿って長軸を持つ略楕円形状である。このため、第2判定エリアAR21には、前記パターンモデルとして、Y方向に沿って長軸を持つ略楕円形状(第2頭部パターンモデル)が対応付けられる。
 また例えば、±X方向それぞれにおいて、光軸中心を中心とする所定の第3角度を持つ扇形のうちの第1判定エリアAR20の外側の領域(第4判定エリアAR23)内に、被監視者Obが所在している場合、撮像部1の位置から±X方向にずれているので、図9に示すように、撮像部1から見た頭部は、X方向に沿って長軸を持つ略楕円形状である。このため、第4判定エリアAR23には、前記パターンモデルとして、X方向に沿って長軸を持つ略楕円形状(第4頭部パターンモデル)が対応付けられる。
 また例えば、-Y方向の第2判定エリアAR21と-X方向の第4判定エリアAR23とに挟まれた、光軸中心を中心とする所定の第2角度を持つ扇形のうちの第1判定エリアAR20の外側の領域も第3判定エリアAR22であり、被監視者Obがここに所在している場合、図9に示すように、撮像部1から見た頭部は、X方向(X軸)から反時計回りに45度の方向に沿って長軸を持つ略楕円形状である。同様に、+Y方向の第2判定エリアAR21と+X方向の第4判定エリアAR23とに挟まれた、光軸中心を中心とする所定の第2角度を持つ扇形のうちの第1判定エリアAR20の外側の領域(第3判定エリアAR22)内に、被監視者Obが所在している場合、撮像部1から見た頭部は、X軸から反時計回りに45度の方向に沿って長軸を持つ略楕円形状(第3頭部パターンモデル)である。このため、第3判定エリアAR22には、前記パターンモデルとして、X方向(X軸)から反時計回りに45度の方向に沿って長軸を持つ略楕円形状X方向に沿って長軸を持つ略楕円形状(第3頭部パターンモデル)が対応付けられる。
 また例えば、-Y方向の第2判定エリアAR21と+X方向の第4判定エリアAR23とに挟まれた、光軸中心を中心とする所定の第4角度を持つ扇形のうちの第1判定エリアAR20の外側の領域(第5判定エリアAR24)内に、被監視者Obが所在している場合、図9に示すように、撮像部1から見た頭部は、X方向(X軸)から反時計回りに-45度の方向(時計回りに45度の方向)に沿って長軸を持つ略楕円形状である。同様に、+Y方向の第2判定エリアAR21と-X方向の第4判定エリアAR23とに挟まれた、光軸中心を中心とする所定の第4角度を持つ扇形のうちの第1判定エリアAR20の外側の領域も第5判定エリアAR24であり、被監視者Obがここに所在している場合、撮像部1から見た頭部は、X方向(X軸)から反時計回りに-45度の方向に沿って長軸を持つ略楕円形状である。このため、第5判定エリアAR24には、前記パターンモデルとして、X方向(X軸)から反時計回りに-45度の方向に沿って長軸を持つ略楕円形状(第5頭部パターンモデル)が対応付けられる。
 このように撮像部1から見た頭部の形状は、所在空間における被監視者Obの位置に応じて異なるので、テンプレートマッチング法で用いられるパターンモデルを、所在空間における被監視者Obの位置に応じて、それに適したモデルに変えることで、より少ない情報処理量でより精度良く頭部を検出できる。このため、対応関係情報記憶部40bには、上述のように対応付けられた、第1ないし第5判定エリアAR20~AR24と第1ないし第5頭部パターンモデルとの対応関係がテーブル化されて予め記憶される。なお、これら第1ないし第5判定エリアAR20~AR24における各境界位置は、例えば、基準の大きさを持つ物体(基準物体)を撮像し、画像上での前記物体の大きさを実測することによって、撮像特性のずれを考慮して適宜に設定される。すなわち、画像上での頭部の形状が許容範囲内で同一とみなせる範囲で、各境界位置が設定される。また、上述では、第1判定エリアAR20の周辺に位置する第2ないし第5判定エリアAR21~AR24には、略楕円形状の頭部パターンモデルが対応付けられたが、頭部を傾けた場合に撮像部1からその頭部が円形状に見える場合もあるので、略楕円形状の頭部パターンモデルに加えて円形状の頭部パターンモデルも対応付けられても良い。この場合、略楕円形状の頭部パターンモデルおよび円形状の頭部パターンモデルそれぞれを用いて後述のテンプレートマッチング法が実行される。
 制御処理部2bは、センサ装置SUbの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象(所在空間)をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の部位を検出し、この検出した所定の部位に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部2bは、前記制御処理プログラムが実行されることによって、制御部11、行動検知部12b、通知処理部13およびストリーミング処理部14を機能的に備える。これら第2実施形態における制御部11、通知処理部13およびストリーミング処理部14は、それぞれ、第1実施形態における制御部11、通知処理部13およびストリーミング処理部14と同様であるので、その説明を省略する。
 行動検知部12bは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の行動を検知するものである。前記所定の行動は、本実施形態でも、その一例として、転倒および転落であるが、これに代えあるいはこれに加えて起床や離床等であって良い。より具体的には、行動検知部12bは、部位検出部21bおよび判定部22を機能的に備える。第2実施形態の行動検知部12bにおける判定部22は、第1実施形態の行動検知部12aにおける判定部22と同様であるので、その説明を省略する。
 部位検出部21bは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の部位を検出するものである。前記所定の部位は、本実施形態でも、その一例として、人体の一部である頭部である。部位検出部21bは、対象検出部31bおよび特定部32bを機能的に備える。
 対象検出部31bは、撮像部1で取得した撮像対象の画像から、予め設定された所定の対象物、すなわち、前記所定の部位(本実施形態ではその一例としての頭部)を特定部32bで特定された検出要領(この例では頭部パターンモデル)を用いて検出するものであり、領域設定部41および検出部42bを機能的に備える。第2実施形態の対象検出部31bにおける領域設定部41は、第1実施形態の対象検出部31aにおける領域設定部41と同様であるので、その説明を省略する。検出部42bは、図4に示す第1ないし第4判定エリアAR10~AR13に代え図9に示す第1ないし第5判定エリアAR20~AR24を用いる点を除き、第1実施形態の対象検出部31aにおける検出部42aと同様であり、領域設定部41で設定された検出対象領域の画像から、特定部32bで特定された検出要領を用いて前記対象物(この例では頭部)を検出するものである。
 特定部32bは、撮像部1で取得した前記撮像対象の画像から前記対象物(本実施形態では前記所定の部位の一例である頭部)を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定するものである。本実施形態では、特定部32bは、対応関係情報記憶部40bに記憶されている前記対応関係における前記複数の分割領域(本実施形態ではその一例としての第1ないし第5判定エリアAR20~AR24)から、領域設定部41で設定された検出対象領域に対応する分割領域(判定エリアAR)を選定し、この選定した分割領域(判定エリアAR)に対応する検出要領(本実施形態ではその一例としての頭部パターンモデル)を前記対応関係から取り出すことで、前記検出部42bで用いる前記検出要領を特定する。
 次に、本実施形態の動作について説明する。第2実施形態における被監視者監視システムMSbの動作は、第1実施形態における被監視者監視システムMSaの動作と同様であるので、その説明を省略し、そのセンサ装置SUbの行動検知動作について、説明する。この第2実施形態におけるセンサ装置SUbの行動検知動作は、第1実施形態における頭部の検出処理S1aに代え第2実施形態における頭部の検出処理S1bを実行する点を除き、図6を用いて上述した第1実施形態におけるセンサ装置SUaの行動検知動作と同様であるので、その説明を省略する。
 次に、この第2実施形態における頭部の検出処理S1bについて説明する。図10は、第2実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。
 図10において、まず、制御処理部2bは、処理S11と同様に、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S21)。
 次に、制御処理部2bは、部位検出部21bの対象検出部31bによって、処理S21で撮像部1によって取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の対象物、本実施形態では所定の部位(この例では頭部)を検出する。
 より具体的には、この頭部の検出に当たって、まず、制御処理部2bは、処理S12と同様に、領域設定部41によって、処理S21で撮像部1によって取得した前記撮像対象の画像における画像領域のうち、前記対象物(この例では頭部)を検出するための検出対象領域を設定する(S22)。
 次に、制御処理部2bは、特定部32bによって、処理S21で撮像部1によって取得した前記撮像対象の画像から、前記対象物(この例では頭部)を検出する際に用いられる検出方法および検出条件のうちの少なくとも一方を検出要領として特定する(S23)。
 より具体的には、本実施形態では、特定部32bは、記憶部4bの対応関係情報記憶部40bに記憶されている前記対応関係における第1ないし第5判定エリアAR20~AR24から、領域設定部41で設定された検出対象領域に対応する判定エリアARを選定し、この選定した判定エリアARに対応する頭部パターンモデルを前記対応関係から取り出すことで、検出部42bで用いる検出要領を特定する。例えば、処理S22において、人体領域が第1判定エリアAR20で検出された場合には、この処理S23において、特定部32bは、第1判定エリアAR20に対応する第1頭部パターンモデル;円形状のパターンモデルを検出要領(検出条件)として特定する。また例えば、処理S22において、人体領域が第2判定エリアAR21で検出された場合には、この処理S23において、特定部32bは、第2判定エリアAR21に対応する第2頭部パターンモデル;Y方向に沿って長軸を持つ略楕円形状のパターンモデルを検出要領(検出条件)として特定する。
 次に、制御処理部2bは、検出部42bによって、領域設定部41で設定された検出対象領域の画像から、特定部32bで特定された検出要領を用いて前記対象物(この例では頭部)を検出する(S24)。より具体的には、検出部42bは、領域設定部41で設定された検出対象領域の画像から、処理S23で特定部32bによって特定された頭部パターンモデルをテンプレートとしたテンプレートマッチング法で頭部を抽出する。テンプレートマッチング法で用いられるテンプレートが特定されて限定されるので、上述のような無意味な情報処理が実施されることなく、誤判定が軽減できる。第1実施形態と同様に、抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報や、動きの有無によって人物か否かを判定する動き情報等が組み合わされて利用されても良い。なお、前記結像光学系の光学特性により周辺領域がボケた画像になる場合、周辺領域の画像から頭部を検出する場合に、明瞭なエッジを持つ画像が除外されても良い。
 以上説明したように、対象物検出装置および対象物検出方法を実装した一例の第2実施形態におけるセンサ装置SUbならびに被監視者監視装置の一例である第2実施形態における被監視者監視システムMSbは、第1実施形態におけるセンサ装置SUaおよび被監視者監視システムMSaと同様な作用効果を奏する。
 次に、別の実施形態について説明する。
(第3実施形態)
 上述の第2実施形態では、検出要領として、テンプレートマッチング法で用いられるパターンモデルが、人体領域を検出した判定エリアに応じて特定されたが、第3実施形態では、検出要領として、本体部位の方向に応じて頭部パターンモデルの方向が特定される。
 まず、第3実施形態の構成について説明する。図11は、第3実施形態の被監視者監視システムにおける、検出要領を説明するための図である。図11Aは、本体部位の方向に対し、より好ましい頭部パターンモデルの方向を示し、図11Bは、本体部位の方向に対し、好ましくない頭部パターンモデルの方向を示す。
 第3実施形態における被監視者監視システムMScは、例えば、図1に示すように、1または複数のセンサ装置SUc(SUc-1~SUc-4)と、管理サーバ装置SVと、固定端末装置SPと、1または複数の携帯端末装置TA(TA-1、TA-2)とを備える。これら第3実施形態の被監視者監視システムMScにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA-1、TA-2)は、それぞれ、第1実施形態の被監視者監視システムMSaにおける管理サーバ装置SV、固定端末装置SPおよび1または複数の携帯端末装置TA(TA-1、TA-2)と同様であるので、その説明を省略する。
 第3実施形態におけるセンサ装置SUcは、例えば、図2に示すように、撮像部1と、制御処理部2cと、通信IF部3と、記憶部4cとを備える。これら第3実施形態のセンサ装置SUcにおける撮像部1および通信IF部3は、それぞれ、第1実施形態のセンサ装置SUaにおける撮像部1および通信IF部3と同様であるので、その説明を省略する。
 記憶部4cは、頭部パターンモデルおよび本体部位パターンモデルを記憶する点を除き、記憶部4aと同様である。頭部パターンモデルは、前記各種の所定のデータの1つであり、頭部を検出するためにテンプレートマッチング法で用いられるテンプレートであり、例えば頭部の輪郭形状を模した楕円形状である。本体部位は、体幹、腕部および脚部のうちの少なくとも体幹を含む人体の一部の部位である。本体部位パターンモデルは、前記各種の所定のデータの1つであり、本体部位を検出するためにテンプレートマッチング法で用いられるテンプレートであり、例えば本体部位の輪郭形状を模した長方形形状である。
 制御処理部2cは、センサ装置SUcの各部を当該各部の機能に応じてそれぞれ制御し、撮像部1によって撮像対象(所在空間)をその上方から撮像した前記撮像対象の画像を取得し、この取得した画像に基づいて被監視者Obにおける所定の部位を検出し、この検出した所定の部位に基づいて被監視者Obにおける所定の行動を検知して通知するための回路である。制御処理部2cは、前記制御処理プログラムが実行されることによって、制御部11、行動検知部12c、通知処理部13およびストリーミング処理部14を機能的に備える。これら第3実施形態における制御部11、通知処理部13およびストリーミング処理部14は、それぞれ、第1実施形態における制御部11、通知処理部13およびストリーミング処理部14と同様であるので、その説明を省略する。
 行動検知部12cは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の行動を検知するものである。前記所定の行動は、本実施形態でも、その一例として、転倒および転落であるが、これに代えあるいはこれに加えて起床や離床等であって良い。より具体的には、行動検知部12cは、部位検出部21cおよび判定部22を機能的に備える。第3実施形態の行動検知部12cにおける判定部22は、第1実施形態の行動検知部12aにおける判定部22と同様であるので、その説明を省略する。
 部位検出部21cは、撮像部1で取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の部位を検出するものである。前記所定の部位は、本実施形態でも、その一例として、人体の一部である頭部である。部位検出部21cは、対象検出部31cおよび特定部32cを機能的に備える。
 対象検出部31cは、撮像部1で取得した撮像対象の画像から、予め設定された所定の対象物、すなわち、前記所定の部位の一例としての頭部を特定部32cで特定された検出要領(この例では方向の特定された頭部パターンモデル)を用いて検出するものであり、領域設定部41および検出部42cを機能的に備える。第3実施形態の対象検出部31cにおける領域設定部41は、第1実施形態の対象検出部31aにおける領域設定部41と同様であるので、その説明を省略する。
 特定部32cは、撮像部1で取得した前記撮像対象の画像から前記対象物(本実施形態では前記所定の部位の一例である頭部)を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定するものである。
 ここで、通常、図11Bに示すように、頭部Ob1’の長尺方向は、本体部位Ob2’の長尺方向に直交する方向ではなく、図11Aに示すように、頭部Ob1の長尺方向は、本体部位Ob2の長尺方向に略一致する。この考えから、本体部位Ob2を長方形形状の本体部位パターンモデルを用いたテンプレートマッチング法によって抽出する場合、図11に示すように、楕円形状の頭部パターンモデルは、その長軸方向(長尺方向)を本体部位Ob2の長尺方向、すなわち本体部位パターンモデルの長手方向に合わせると、頭部Ob1を検出する際のテンプレートマッチング法に用いるテンプレートとして、より好適となる。なお、上述では、頭部パターンモデルは、その長軸方向が本体部位の長尺方向に一致されたが、例えば腰が曲がっている場合等のように、被監視者Obの身体的な特徴によって頭部の長尺方向が本体部位の長尺方向からずれてシフトしている場合には、そのシフト量が予め記憶部4cに記憶され、頭部パターンモデルの長軸方向は、記憶部4cに記憶された前記シフト量で本体部位の長尺方向からシフトされても良い。
 上記によって、本実施形態では、特定部32cは、領域設定部41で設定された検出対象領域から、前記本体部位の長尺方向を検出し、この検出した長尺方向に基づいて頭部パターンモデルの方向を特定することで、前記検出要領を特定する。そして、検出部42cは、領域設定部41で設定された検出対象領域の画像から、特定部32cで特定された検出要領、すなわち、方向の特定された頭部パターンモデルを用いたテンプレートマッチング法によって前記対象物としての頭部を検出する。
 次に、本実施形態の動作について説明する。第3実施形態における被監視者監視システムMScの動作は、第1実施形態における被監視者監視システムMSaの動作と同様であるので、その説明を省略し、そのセンサ装置SUcの行動検知動作について、説明する。この第3実施形態におけるセンサ装置SUcの行動検知動作は、第1実施形態における頭部の検出処理S1aに代え第3実施形態における頭部の検出処理S1cを実行する点を除き、図6を用いて上述した第1実施形態におけるセンサ装置SUaの行動検知動作と同様であるので、その説明を省略する。
 次に、この第3実施形態における頭部の検出処理S1cについて説明する。図12は、第3実施形態の被監視者監視システムにおける、頭部の検出処理を示すフローチャートである。
 図12において、まず、制御処理部2cは、処理S11と同様に、撮像部1によって、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する(S31)。
 次に、制御処理部2cは、部位検出部21cの対象検出部31cによって、処理S31で撮像部1によって取得した撮像対象の画像から、被監視者Obにおける予め設定された所定の対象物、本実施形態では所定の部位(この例では頭部)を検出する。
 より具体的には、この頭部の検出に当たって、まず、制御処理部2cは、領域設定部41によって、処理S31で撮像部1によって取得した前記撮像対象の画像における画像領域のうち、前記対象物(この例では頭部)を検出するための検出対象領域を設定する(S32)。より詳しくは、領域設定部41は、例えば背景差分法やフレーム間差分法等の手法を用いることによって人体領域(=動体領域)を検出し、この検出した人体領域を検出対象領域とする。
 次に、制御処理部2cは、特定部32cによって、処理S31で撮像部1によって取得した前記撮像対象の画像から、前記対象物(この例では頭部)を検出する際に用いられる検出方法および検出条件のうちの少なくとも一方を検出要領として特定する(S33)。
 より具体的には、本実施形態では、特定部32cは、記憶部4cに記憶されている長方形形状の本体部位パターンモデルをテンプレートとして用いたテンプレートマッチング法によって検出対象領域から本体部位を抽出し、この抽出した本体部位における長尺方向を検出し、この検出した長尺方向に、記憶部4cに記憶されている楕円形状の頭部パターンモデルにおける長軸方向を一致させ、頭部パターンモデルの方向を特定する。これによって特定部32cは、前記検出要領を特定する。
 次に、制御処理部2cは、検出部42cによって、領域設定部41で設定された検出対象領域の画像から、特定部32cで特定された検出要領を用いて前記対象物(この例では頭部)を検出する(S34)。より具体的には、検出部42cは、領域設定部41で設定された検出対象領域の画像から、処理S33で特定部32cによって方向の特定された頭部パターンモデルをテンプレートとして用いたテンプレートマッチング法で頭部を抽出する。テンプレートマッチング法で用いられる頭部パターンモデルの方向が特定されて限定されるので、上述のような無意味な情報処理が実施されることなく、誤判定が軽減できる。第1実施形態と同様に、抽出精度を向上する観点から、これらの手法に、肌色や黒色等の色情報や、動きの有無によって人物か否かを判定する動き情報等が組み合わされて利用されても良い。
 以上説明したように、対象物検出装置および対象物検出方法を実装した一例の第3実施形態におけるセンサ装置SUcならびに被監視者監視装置の一例である第3実施形態における被監視者監視システムMScは、特定部32cによって検出要領を特定し、この特定した検出要領の下で対象検出部31cによって撮像対象の画像から所定の対象物(所定の部位(本実施形態では頭部))を検出するので、情報処理量の低減が可能となり、誤判定を低減できる。
 上記センサ装置SUcおよび被監視者監視システムMScは、頭部の検出に最適な方向の頭部パターンモデルを用いることができ、情報処理量を低減しつつ、より高精度に頭部を検出できる。
 このため、上記センサ装置SUaおよび被監視者監視システムMSaは、被監視者Obにおける所定の行動を検知した場合により速やかに通知でき、この通知を受けた監視者は、可及的速やかな対応が可能となる。
 なお、上述の第1ないし第3実施形態において、センサ装置SUa~SUcにおける部位検出部21a~21cは、図2に破線で示すように、特定部32a~32cで特定した前記検出要領を補正する補正部33をさらに備えても良い。このような補正部33をさらに備えることによって、センサ装置SUa~SUcにおける部位検出部21a~21cは、より適した検出要領で対象物を検出でき、より高精度に対象物を検出できる。
 例えば、補正部33は、撮像部1の撮像特性、例えば撮像部1の結像光学系における光学特性に基づいて、特定部32a~32cで特定した前記検出要領を補正する。一例では、前記結像光学系の歪み特性により、周辺領域で画像が歪む場合、この周辺領域では、歪み量に応じて頭部パターンモデルが変形される。
 また例えば、補正部33は、被監視者Obにおける身体的な特徴に基づいて、特定部32a~32cで特定した前記検出要領を補正する。一例では、被監視者Obにおける頭部が測定され、第1実施形態の場合には、画像上での頭部の大きさの範囲がその測定結果に応じてシフト(例えば40~50が41~51)へシフト、拡大(例えば40~50が38~52)および縮小(例えば40~50が41~49)のうちの少なくともいずれかを実施することで補正され、第2および第3実施形態では、頭部パターンモデルがその測定結果に応じて変形、拡大および縮小のうちの少なくともいずれかを実施することでされる。頭部の大きさは、メジャー等によって実測されて良く、また、撮像部1で取得した複数の画像から推定されても良い。
 また例えば、補正部33は、撮像部1で取得した複数の画像から検出した被監視者Obの行動パターン等に基づいて、特定部32a~32cで特定した前記検出要領を補正する。例えば、被監視者Obの動きがない(静止)と判断(検出)された場合は、直前に検出された検出要領が用いられる。また、被監視者Obの動きが大きいと判断(検出)された場合は、検出要領の補正範囲を拡大して、検出が行われる。
 なお、上述の実施形態では、撮像対象の画像は、撮像部1で取得されたが、通信IF部3からネットワークNWを介して、前記撮像対象の画像を管理する他の外部機器から取得されて良く、また、前記撮像対象の画像を記録した記録媒体から通信IF部3を介して取得されても良い。このような場合、通信IF部3は、前記撮像対象の画像を取得する画像取得部の他の一例に相当する。
 本明細書は、上記のように様々な態様の技術を開示しているが、そのうち主な技術を以下に纏める。
 一態様にかかる対象物検出装置は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部と、前記画像取得部で取得した前記撮像対象の画像から、所定の対象物を検出する対象検出部と、前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定部とを備え、前記対象検出部は、前記特定部で特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出する。好ましくは、上述の対象物検出装置において、前記特定部は、この検出される前記対象物の画像上での大きさの範囲を前記検出条件として特定する。好ましくは、上述の対象物検出装置において、前記対象検出部は、前記撮像対象の画像から前記対象物を検出する際にテンプレートマッチング法を用い、前記特定部は、前記テンプレートマッチング法で用いられるパターンモデルを前記検出条件として特定する。好ましくは、上述の対象物検出装置において、前記対象物は、人体の一部である。好ましくは、上述の対象物検出装置において、前記人体の一部は、頭部である。好ましくは、上述の対象物検出装置において、前記人体の一部は、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位である。
 このような対象物検出装置は、特定部によって検出要領を特定し、この特定した検出要領の下で対象検出部によって撮像対象の画像から対象物を検出するので、情報処理量の低減が可能となる。
 他の一態様では、上述の対象物検出装置において、前記撮像対象の画像における画像領域を分割した複数の分割領域と複数の検出要領との対応関係を記憶した記憶部をさらに備え、前記対象検出部は、前記撮像対象の画像における画像領域のうち、前記対象物を検出するための検出対象領域を設定する領域設定部と、前記領域設定部で設定された検出対象領域の画像から、前記特定部で特定された検出要領を用いて前記対象物を検出する検出部とを備え、前記特定部は、前記複数の分割領域から、前記領域設定部で設定された検出対象領域に対応する分割領域を選定し、前記選定した分割領域に対応する検出要領を前記対応関係から取り出すことで、前記検出要領を特定する。好ましくは、上述の対象物検出装置において、前記複数の分割領域は、基準の大きさを持つ物体(基準物体)を撮像し、画像上での前記物体の大きさを実測することによって、撮像特性のずれを考慮して設定される。
 このような対象物検出装置は、各分割領域ごとに検出要領を備え、検出対象領域に対応する分割領域の検出要領で前記検出対象領域から対象物を検出するので、前記検出対象領域に最適な検出要領を用いることができ、情報処理量を低減しつつ、より高精度に対象物を検出できる。
 他の一態様では、上述の対象物検出装置において、前記複数の分割領域は、前記撮像対象の画像における、前記撮像対象の画像を生成したカメラの光軸との交差位置を基準に設定されている。
 カメラの結像光学系(撮像光学系)における撮像特性は、光軸からずれるに従ってずれて行くことが多い。上記対象物検出装置は、複数の分割領域が交差位置、すなわち、撮像対象の画像上でのカメラの光軸の位置を基準に設定されているので、検出要領も前記交差位置を基準に設定できる。
 他の一態様では、上述の対象物検出装置において、前記複数の分割領域は、前記撮像対象の画像を生成したカメラの撮像特性、前記対象物の大きさおよび前記カメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定されている。好ましくは、上述の対象物検出装置において、前記撮像特性は、前記カメラの結像光学系(撮像光学系)における光学特性である。好ましくは、上述の対象物検出装置において、前記光学特性は、歪み特性である。好ましくは、上述の対象物検出装置において、前記光学特性は、ボケ特性である。
 このような対象物検出装置は、複数の分割領域が撮像対象の画像を生成したカメラの撮像特性、対象物の大きさおよびカメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定されているので、検出要領も、撮像対象の画像を生成したカメラの撮像特性、対象物の大きさおよびカメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定できる。
 他の一態様では、上述の対象物検出装置において、頭部を検出するためにテンプレートマッチング法で用いられる頭部パターンモデルを記憶する記憶部をさらに備え、前記対象物検出部は、前記撮像対象の画像における画像領域のうち、前記対象物を検出するための検出対象領域を設定する領域設定部と、前記領域設定部で設定された検出対象領域の画像から、前記特定部で特定された検出要領を用いた前記テンプレートマッチング法によって前記対象物として前記頭部を検出する検出部とを備え、前記特定部は、前記領域設定部で設定された検出対象領域から、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位の長尺方向を検出し、前記検出した長尺方向に基づいて前記頭部パターンモデルの方向を特定することで、前記検出要領を特定する。
 通常、頭部の長尺方向は、本体部位の長尺方向に略一致する。上記対象物検出装置は、本体部位の長尺方向を検出し、この検出した長尺方向に基づいて頭部パターンモデルの方向を特定し、この方向の特定された頭部パターンモデルを用いたテンプレートマッチング法によって対象物としての頭部を検出する。このため、上記対象物検出装置は、頭部の検出に最適な方向の頭部パターンモデルを用いることができ、情報処理量を低減しつつ、より高精度に頭部を検出できる。
 他の一態様では、上述の対象物検出装置において、前記特定部で特定した検出要領を補正する補正部をさらに備える。
 このような対象物検出装置は、補正部をさらに備えるので、より適した検出要領で対象物を検出でき、より高精度に対象物を検出できる。
 他の一態様にかかる対象物検出方法は、所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得工程と、前記画像取得工程で取得した前記撮像対象の画像から、所定の対象物を検出する対象検出工程と、前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定工程とを備え、前記対象検出工程は、前記特定工程で特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出する。
 このような対象物検出方法は、特定工程によって検出要領を特定し、この特定した検出要領で対象検出工程によって撮像対象の画像から対象物を検出するので、情報処理量の低減が可能となる。
 他の一態様にかかる対被監視者監視装置は、監視対象である被監視者における所定の行動を検知する行動検知部と、前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、前記行動検知部は、前記被監視者における所定の部位を検出する部位検出部と、前記部位検出部で検出した前記部位に基づいて前記被監視者における所定の行動を判定する判定部とを備え、前記部位検出部は、前記部位を前記対象物とする、これら上述のいずれかの対象物検出装置を含む。
 このような被監視者監視装置は、これら上述のいずれかの対象物検出装置を含むので、行動検知部によって被監視者における所定の行動を検知する際における前記所定の部位の検出に関する情報処理量の低減が可能となる。このため、上記被監視者監視装置は、上述の事態が生じた場合により速やかに通知でき、この通知を受けた監視者は、可及的速やかな対応が可能となる。
 この出願は、2015年6月9日に出願された日本国特許出願特願2015-116637を基礎とするものであり、その内容は、本願に含まれるものである。
 本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。
 本発明によれば、対象物検出装置および対象物検出方法ならびに被監視者監視装置が提供できる。
 
 

Claims (8)

  1.  所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得部と、
     前記画像取得部で取得した前記撮像対象の画像から、所定の対象物を検出する対象検出部と、
     前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定部とを備え、
     前記対象検出部は、前記特定部で特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出する、
     対象物検出装置。
  2.  前記撮像対象の画像における画像領域を分割した複数の分割領域と複数の検出要領との対応関係を記憶した記憶部をさらに備え、
     前記対象検出部は、前記撮像対象の画像における画像領域のうち、前記対象物を検出するための検出対象領域を設定する領域設定部と、前記領域設定部で設定された検出対象領域の画像から、前記特定部で特定された検出要領を用いて前記対象物を検出する検出部とを備え、
     前記特定部は、前記複数の分割領域から、前記領域設定部で設定された検出対象領域に対応する分割領域を選定し、前記選定した分割領域に対応する検出要領を前記対応関係から取り出すことで、前記検出要領を特定する、
     請求項1に記載の対象物検出装置。
  3.  前記複数の分割領域は、前記撮像対象の画像における、前記撮像対象の画像を生成したカメラの光軸との交差位置を基準に設定されている、
     請求項2に記載の対象物検出装置。
  4.  前記複数の分割領域は、前記撮像対象の画像を生成したカメラの撮像特性、前記対象物の大きさおよび前記カメラと前記撮像対象との位置関係のうち、少なくとも前記カメラの撮像特性を含むいずれかに基づいて設定されている、
     請求項1ないし請求項3のいずれか1項に記載の対象物検出装置。
  5.  頭部を検出するためにテンプレートマッチング法で用いられる頭部パターンモデルを記憶する記憶部をさらに備え、
     前記対象物検出部は、前記撮像対象の画像における画像領域のうち、前記対象物を検出するための検出対象領域を設定する領域設定部と、前記領域設定部で設定された検出対象領域の画像から、前記特定部で特定された検出要領を用いた前記テンプレートマッチング法によって前記対象物として前記頭部を検出する検出部とを備え、
     前記特定部は、前記領域設定部で設定された検出対象領域から、体幹、腕部および脚部のうちの少なくとも体幹を含む本体部位の長尺方向を検出し、前記検出した長尺方向に基づいて前記頭部パターンモデルの方向を特定することで、前記検出要領を特定する、
     請求項1に記載の対象物検出装置。
  6.  前記特定部で特定した検出要領を補正する補正部をさらに備える、
     請求項1ないし請求項5のいずれか1項に記載の対象物検出装置。
  7.  所定範囲の撮像対象を撮像した前記撮像対象の画像を取得する画像取得工程と、
     前記画像取得工程で取得した前記撮像対象の画像から、所定の対象物を検出する対象検出工程と、
     前記撮像対象の画像から前記対象物を検出する際に用いられる異なる複数の検出要領のうち、検出方法および検出条件のうちの少なくとも一方を検出要領として特定する特定工程とを備え、
     前記対象検出工程は、前記特定工程で特定された検出要領を用いて前記撮像対象の画像から前記対象物を検出する、
     対象物検出方法。
  8.  監視対象である被監視者における所定の行動を検知する行動検知部と、
     前記行動検知部で検知した前記所定の行動を外部に通知する通知部とを備え、
     前記行動検知部は、前記被監視者における所定の部位を検出する部位検出部と、前記部位検出部で検出した前記部位に基づいて前記被監視者における所定の行動を判定する判定部とを備え、
     前記部位検出部は、前記部位を前記対象物とする請求項1ないし請求項6のいずれか1項に記載の対象物検出装置を含む、
     被監視者監視装置。
     
PCT/JP2016/062570 2015-06-09 2016-04-20 対象物検出装置および対象物検出方法ならびに被監視者監視装置 WO2016199506A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016575259A JP6115693B1 (ja) 2015-06-09 2016-04-20 対象物検出装置および対象物検出方法ならびに被監視者監視装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015116637 2015-06-09
JP2015-116637 2015-06-09

Publications (1)

Publication Number Publication Date
WO2016199506A1 true WO2016199506A1 (ja) 2016-12-15

Family

ID=57503782

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/062570 WO2016199506A1 (ja) 2015-06-09 2016-04-20 対象物検出装置および対象物検出方法ならびに被監視者監視装置

Country Status (2)

Country Link
JP (1) JP6115693B1 (ja)
WO (1) WO2016199506A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220253629A1 (en) * 2021-02-09 2022-08-11 National Tsing Hua University Health caring system and health caring method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099863A (ja) * 1998-09-18 2000-04-07 Mitsubishi Electric Corp 異常検出装置
JP2002135760A (ja) * 2000-10-20 2002-05-10 Victor Co Of Japan Ltd 監視用信号の通信方法、及び監視用信号通信装置
JP2008052626A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 浴室異常検知システム
WO2011083733A1 (ja) * 2010-01-07 2011-07-14 株式会社ニコン 画像判定装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099863A (ja) * 1998-09-18 2000-04-07 Mitsubishi Electric Corp 異常検出装置
JP2002135760A (ja) * 2000-10-20 2002-05-10 Victor Co Of Japan Ltd 監視用信号の通信方法、及び監視用信号通信装置
JP2008052626A (ja) * 2006-08-28 2008-03-06 Matsushita Electric Works Ltd 浴室異常検知システム
WO2011083733A1 (ja) * 2010-01-07 2011-07-14 株式会社ニコン 画像判定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220253629A1 (en) * 2021-02-09 2022-08-11 National Tsing Hua University Health caring system and health caring method

Also Published As

Publication number Publication date
JPWO2016199506A1 (ja) 2017-06-22
JP6115693B1 (ja) 2017-04-19

Similar Documents

Publication Publication Date Title
WO2016143641A1 (ja) 姿勢検知装置および姿勢検知方法
KR101999934B1 (ko) 표시 제어 장치, 표시 제어 시스템, 표시 제어 방법, 표시 제어 프로그램, 기록 매체
JP6292283B2 (ja) 行動検知装置および行動検知方法ならびに被監視者監視装置
US20160371950A1 (en) Information processing apparatus, information processing method, and program
CN111507176B (zh) 姿势估计装置、行动估计装置、记录介质、姿势估计方法
JP6115693B1 (ja) 対象物検出装置および対象物検出方法ならびに被監視者監視装置
JP6870465B2 (ja) 被監視者監視装置および該方法ならびに被監視者監視システム
JP7347577B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
US20230412919A1 (en) Device and method for controlling a camera
JP7351339B2 (ja) 画像処理システム、画像処理プログラム、および画像処理方法
US10842414B2 (en) Information processing device, information processing method, program, and watching system
WO2019216045A1 (ja) システム、およびシステムの制御方法
WO2019073735A1 (ja) 被監視者監視支援システムおよび被監視者監視支援方法
JP6737355B2 (ja) 頭部検出装置および頭部検出方法ならびに被監視者監視装置
JP2022072765A (ja) ベッド領域抽出装置、ベッド領域抽出方法、ベッド領域抽出プログラムおよび見守り支援システム
WO2020008995A1 (ja) 画像認識プログラム、画像認識装置、学習プログラム、および学習装置
JP2022126070A (ja) 画像処理方法
JP2022165483A (ja) 検出装置、検出システム、検出方法、および検出プログラム
KR20240045919A (ko) 환자 안전 자동 경고 장치 및 방법
JP2023075559A (ja) 画像処理装置、画像処理システム、画像処理方法、および画像処理プログラム
JP2022126069A (ja) 画像処理方法
JP2022126071A (ja) 画像処理方法
JP2018169261A (ja) 位置検知センサー、位置検知方法及び位置検知システム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016575259

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16807213

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16807213

Country of ref document: EP

Kind code of ref document: A1