WO2015136828A1 - 人物検出装置および人物検出方法 - Google Patents

人物検出装置および人物検出方法 Download PDF

Info

Publication number
WO2015136828A1
WO2015136828A1 PCT/JP2015/000356 JP2015000356W WO2015136828A1 WO 2015136828 A1 WO2015136828 A1 WO 2015136828A1 JP 2015000356 W JP2015000356 W JP 2015000356W WO 2015136828 A1 WO2015136828 A1 WO 2015136828A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving object
image
person
still
area
Prior art date
Application number
PCT/JP2015/000356
Other languages
English (en)
French (fr)
Inventor
奥村　誠司
晋一郎 大谷
史生 五十嵐
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2016507283A priority Critical patent/JP6266088B2/ja
Priority to CN201580012286.8A priority patent/CN106104631B/zh
Priority to US15/118,420 priority patent/US10026019B2/en
Priority to GB1613448.8A priority patent/GB2537780B/en
Publication of WO2015136828A1 publication Critical patent/WO2015136828A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00—Systems controlled by a computer
    • G05B15/02—Systems controlled by a computer electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects

Definitions

  • the present invention relates to an apparatus for detecting a person using an image.
  • Typical methods for detecting specific objects include the AdaBoost algorithm based on Haar-Like features and HOG (Histograms of Oriented Gradients) features, which are mainly used to detect faces and people.
  • AdaBoost AdaBoost algorithm based on Haar-Like features and HOG (Histograms of Oriented Gradients) features, which are mainly used to detect faces and people.
  • HOG Histograms of Oriented Gradients
  • the background subtraction method of (2) if an image in which no person is shown is used as a background image, the position of the person can be accurately extracted by taking the difference from the image in which the person is shown.
  • this method is known to be vulnerable to changes in ambient illuminance.
  • a method of appropriately updating the background image according to the external environment is also considered, but it is optimal in an environment where people frequently enter and exit such as offices and factories, or in an environment where lighting is turned on or off. It is difficult to select a background image.
  • the inter-frame difference method (3) since the difference between the previous image and the current image is taken in time series, it is possible to detect a moving object and is relatively resistant to changes in ambient illuminance. . However, since a non-moving object cannot be detected, a stationary person cannot be detected. As a conventional method for detecting a stationary object by the inter-frame difference method, there is a tracking method for tracking a moving object in an image and recognizing that the object is stationary at a position where the movement stops.
  • the human detection device includes an image acquisition unit that acquires a captured image, a position of the first moving object region extracted from the image acquired by the image acquisition unit, and an image of the first moving object region. Based on the distance from the position of the second moving body region extracted from the previous image, a stationary region determination unit that determines that the moving body of the second moving body region is in a stationary state; A stationary person determination unit that determines the presence / absence of a person using a change amount of the feature amount.
  • the present invention determines a still region based on the distance between the position of the first moving object region extracted from the image and the position of the second moving object region extracted from an image before the image of the first moving object region. Since the presence / absence of a person is determined using the amount of change in the feature amount of the image in the still region, the device is controlled with the person information including the still person without collecting and registering a huge amount of image feature amount in advance. can do.
  • FIG. 13 is a diagram showing a feature change amount by which the still person determination unit 10 determines a still person in the embodiment of the present invention.
  • FIG. 1 is a configuration diagram of a person detection apparatus 1 according to an embodiment of the present invention.
  • a person detection device 1 acquires image data from a camera 2 that captures a specific area, detects the number and positions of people in the specific area, and outputs it as person information.
  • the camera 2 is described as being installed on the ceiling, but the camera may be installed anywhere.
  • the person detection device 1 and the camera 2 may be configured separately or integrated.
  • the camera 2 is installed on the ceiling, the person detection device 1 is installed on a floor or a control room of a building, and the camera 2 and the person detection device 1 are connected by a LAN (Local Area Network) cable or a coaxial cable.
  • the person detection device 1 may acquire image data from a plurality of cameras 2 and perform person detection.
  • the person detection apparatus 1 includes an image acquisition unit 3, a moving object extraction unit 4, a moving object tracking unit 5, a moving object history storage unit 6, a still region image storage unit 7, a still region image storage unit 8, a feature change amount extraction unit 9, a still person It comprises a determination unit 10 and a person information output unit 11.
  • the moving object extraction unit 4 includes a moving object region extraction unit 12, and the moving object tracking unit 5 includes a stationary region determination unit 13.
  • the human detection device 1 is equipped with a calculation device such as a CPU (Central Processing Unit), and each processing unit (3 to 13) is started as a program on the calculation device. Further, the person detection device 1 is equipped with a recording device such as a ROM ((Read Only Memory), a RAM (Random Access Memory), a flash memory, or a hard disk, and each storage unit (6 and 8) stores these recording devices. May be used.
  • a calculation device such as a CPU (Central Processing Unit)
  • each processing unit (3 to 13) is started as a program on the calculation device.
  • a recording device such as a ROM (Read Only Memory), a RAM (Random Access Memory), a flash memory, or a hard disk, and each storage unit (6 and 8) stores these recording devices. May be used.
  • the image acquisition unit 3 acquires image data captured by the camera 2 from the camera 2. Then, the latest one-frame image is extracted from the acquired image data. Then, the latest extracted one-frame image data is stored in a primary storage device (not shown).
  • the moving object region extraction unit 13 of the moving object extraction unit 4 receives the latest image data input to the primary storage device and the previous frame stored in the primary storage device. The difference from the image data is calculated. Then, image blocks whose differences are equal to or greater than the set threshold are grouped and extracted as moving object regions. Then, the extracted moving object data (for example, the position of the moving object region and the coordinates of the region) is output to the moving object tracking unit 5.
  • the moving object tracking unit 5 refers to the history of moving object data recorded in the moving object history recording unit 6, and all the previous frames are recorded.
  • the position of the moving object area is acquired as the previous position.
  • the stationary region determination unit 13 of the moving body tracking unit 5 is based on the distance between the positions of all the moving body regions one frame before and the position of the moving body region input from the moving body region extraction unit 12 of the moving body extraction unit 4.
  • the moving body area is determined to be a stationary area. Then, the position of the moving object region (for example, the center position of the moving object region), the coordinates of the moving object region, the state of the moving object region (moving state or stationary state), and the moving object ID (indentification) that identifies the moving object. Is output to the moving body history storage unit 6 and stored as the latest moving body data.
  • moving body data of the moving body region is input from the moving body tracking unit 5 and stored.
  • the moving body history information of the moving body data stored in the moving body history storage unit 6 is referred to by the moving body tracking unit 5, the still region image storage unit 7, the feature change amount 8, and the person information output unit 11. If the stationary person determination unit 10 determines that there is no person in the stationary region, the data of the stationary region in the moving object history storage unit 6 is deleted.
  • the still area image storage unit 7 acquires information on all the still areas stored in the moving object history storage unit 6. Then, the latest image data stored in the primary storage device is acquired, a still area is cut out from the acquired image data, and is output to and stored in the still area image storage unit 8.
  • the image data of the still area of the latest image data is input from the still area image storage unit 7 and stored. Then, the information on the still area stored in the still area image storage unit 8 is referred to from the feature change amount extraction unit 9. If the still person determination unit 10 determines that there is no person in the still area, the data of the still area in the still area image storage unit 8 is deleted.
  • the amount of change (feature change amount) with the feature amount of the image of the still area one frame before stored in (2) is extracted. Then, the feature change amount of the extracted image is output to the still person determination unit 10.
  • the still person determination unit 10 stops when the feature change amount of the input image is within the set range after the set time. It is determined that there are people in the area. If it is outside the set range, it is determined that there is no person in the still area. Then, still person data indicating that there is a person who is stationary with respect to the determined still area is output to and stored in the moving body history storage unit 6. In addition, the still area determined to have no person is deleted from the moving body history storage unit 6.
  • the still person determination unit 10 may include the processing of the still area image storage unit 7 or the feature change amount extraction unit 9.
  • the person information output unit 11 is a communication unit that outputs information including the number and position detected as a person to an external device.
  • the person information output unit 11 refers to the data of the moving object history recording unit 6 at predetermined time intervals or according to an instruction from an external device, for example, and determines the number and positions of persons from the moving object area and the still area detected as a person.
  • the included person information is calculated, and the person information is output to the external device.
  • the external device is a device or system that controls energy or raises an alarm according to the number and position of people, such as a lighting control device, an air conditioning control device, and an on-site alarm device. The above is the description of each configuration of the person detection device 1.
  • 2 to 6 are flowcharts showing processing of the person detecting apparatus 1 in the embodiment of the present invention.
  • processing of the image acquisition unit 3 and the moving object extraction unit 4 will be described with reference to FIG.
  • the image acquisition unit 3 acquires the image data captured by the camera 2 from the camera 2, and acquires the latest one frame image from the acquired image data (S1).
  • the acquired image data is an analog signal, it is converted from a digital signal into a one-frame digital image. If the acquired image data is compression-encoded image data such as Motion JPEG (Joint Photographic Experts Group) or MPEG (Moving Picture Experts Group), it is combined and converted into a digital image of one frame.
  • the digital image may be a color image in RGB format or YUV format, or may be a luminance image (grayscale image).
  • FIG. 7 is an image diagram illustrating the processing of the moving object extraction unit 4 in the embodiment of the present invention.
  • the image 701 and the image 702 in FIG. 7 are images stored in the primary storage device, and the image 701 is an image one frame before the latest image 702 acquired by the image acquisition unit 3.
  • An image 701 shows an object 703 and an image 702 shows an object 704 being captured.
  • the moving body extraction unit 4 performs a frame interval between the latest image 702 and the previous frame 701 stored in the primary storage device.
  • the difference is calculated (S3).
  • an image block 705 having a difference between frames equal to or greater than a preset threshold is extracted as a motion block 706 (S4).
  • the image block 705 is an area where the image is divided equally, and the number of divisions is a number determined in advance according to the image size.
  • the threshold value may be a predetermined value determined in advance or may be changed dynamically.
  • the motion blocks 706 are grouped by labeling the extracted motion blocks 706 (S5).
  • a rectangle including the grouped motion blocks is defined as a moving object region 707.
  • the position of the moving object region 707 for example, the center position or the center of gravity position of the moving object region is calculated (S6), and the information on the calculated position and area coordinates is output to the moving object tracking unit 5 as moving object data of the moving object region 707 and stored. To do.
  • the moving object tracking unit 5 tracks the latest moving object region input from the moving object extracting unit 4 using the moving object data of the past moving object region stored in the moving object history storage unit 6.
  • the moving object tracking unit 5 has a threshold M as the shortest distance Dmin between the position of the moving object area one frame before and the position of the latest moving object area, and ⁇ 1 as the identification number Min of the past moving object area as the shortest distance Dmin.
  • the identification number i of the latest moving body region input from the extraction unit 4 is set to 1 and the identification number j of the past moving body region stored in the moving body history storage unit 6 is set to 1 and initialized (S7).
  • the moving object tracking unit 5 acquires the history data of the moving object data from the moving object history storage unit 6 and performs the following processing.
  • the position PB (j) of the moving body region B (j) one frame before acquired from the moving body history storage unit 6 is acquired as the previous position (S8).
  • the distance D (j) between the position PA and PB (j) of the moving object in the moving object region A, which is the latest moving object data input from the moving object extracting unit 4, is calculated (S9).
  • the calculated distance D (j) is smaller than a preset Dmin (S10). If the calculated distance D (j) is smaller than the preset Dmin, the calculated distance D (j) is set to Dmin, and the moving object region identification number j for which the distance is calculated is set to Min (S11). If the calculated distance D (j) is greater than or equal to the preset Dmin, the process of S12 is performed. It is determined whether j + 1 is larger than the number of all past moving object regions acquired from the moving object history storage unit 6 (S12). If j + 1 is larger than the number of all moving object regions in the past, the process of S13 is performed.
  • j + 1 is less than or equal to the number of all past moving object areas, j is set to j + 1 and the process returns to S8 to calculate the distance from the latest moving object area to the latest moving object area. To do. If j + 1 is larger than the number of all moving object regions in the past, it is determined whether Dmin is smaller than the threshold value M (S13).
  • the moving object tracking unit 5 acquires information on all moving object regions one frame before the moving object region extracted by the moving object extracting unit 4 from the moving object history storage unit, and the moving object extracting unit 4 extracts the information.
  • the distance between the position of the moving object area and the position of the moving object area one frame before is calculated, and the moving object of the moving object area one frame before that distance is smaller than the threshold and the shortest distance is extracted by the moving object extraction unit 4 Tracking is performed assuming that the moving objects in the selected moving object region are the same moving object.
  • the stationary region determination unit 13 of the moving body tracking unit 5 is a stationary region if the position of the moving body region one frame before is not updated to the position of the moving body region extracted by the moving body region extraction unit 12 of the moving body extraction unit 4. Is determined.
  • the threshold value M has been described as being set in advance, it may be a specified value or may be changed dynamically.
  • the distance from the position of the moving object region one frame before is determined for each moving object region, and whether or not they are the same moving object. Determine.
  • the stationary region determination unit 13 has been described as a process after determining whether or not the moving object in the moving object region extracted by the moving object extraction unit 4 is the same as the moving object in the moving object region one frame before.
  • Process 5 (a process for determining whether or not the moving object is the same as the moving object in the previous frame) may be performed.
  • FIG. 8 is an image diagram for explaining the operation of the moving object tracking unit 5 in the embodiment of the present invention.
  • An image 801 in FIG. 8 shows moving body data one frame before acquired by the moving body tracking unit 5 from the moving body history storage unit 6 in the image one frame before the latest image stored in the primary storage device.
  • An image 802 shows moving body data input from the moving body extraction unit 4 in the latest image stored in the primary storage device.
  • the image 801 a moving body 803 and a moving body 804 are photographed. Further, the moving body 803 and the moving body 804 are captured in the image 802, and the moving body area 805 of the moving body 803 and the moving body area 806 of the moving body 804 extracted by the moving body extraction unit 4 are illustrated. Further, the image 801 shows the history 807, 808, 809, and 810 of the position of the moving object 804 and the position 811 of the moving object 803 from the moving object data stored in the moving object history storage unit 6.
  • the image 802 includes a position 812 of the moving object 803 input from the moving object extraction unit 4, a position 813 of the moving object 804, and moving object position histories 807, 808, 809 of the moving object data acquired from the moving object history storage unit 6.
  • the positions 810 and 811 of the moving body one frame before are shown.
  • the moving object tracking unit 5 moves the moving object data 804 of the moving object 804 and the position 811 of the moving object 803, which are moving object data one frame before, from the moving object history storage unit 6. Get as position. Then, the distance between the position 813 of the moving object 804 in the moving object region 806 and the position 810 of the moving object region acquired from the moving object history storage unit 6, which is the latest moving object data input from the moving object extraction unit 4, and the input from the moving object extraction unit 4. The distance between the position 813 of the moving body 804 in the moving body area 806 and the position 811 of the moving body area acquired from the moving body history storage unit 6 is calculated as the latest moving body data.
  • the distance between the position 813 of the moving object region 806 input from the moving object extraction unit 4 and the position 811 of the moving object region acquired from the moving object history storage unit 6 is smaller than the threshold. Further, it is assumed that the distance between the position 813 of the moving object region 806 input from the moving object extraction unit 4 and the position 810 of the moving object region acquired from the moving object history storage unit 6 is smaller than the threshold. At this time, the position of the moving object region 806 input from the moving object extraction unit 4 is greater than the distance between the position 813 of the moving object region 806 input from the moving object extraction unit 4 and the position 811 of the moving object region acquired from the moving object history storage unit 6.
  • the moving object data of the moving object region position 810 and the moving object of the moving object region 806 input from the moving object extraction unit 4 are shorter, so the moving object data of the moving object region position 810 and the moving object of the moving object region 806 input from the moving object extraction unit 4 are the same moving object. It is determined that Then, the position of the moving object region 806 input from the moving object extraction unit 4 is stored as the position of the same moving object stored in the moving object history storage unit 6.
  • FIG. 9 is a diagram of an image for explaining the operation of the still region determination unit 13 of the moving object tracking unit 5 in the embodiment of the present invention.
  • An image 901 in FIG. 9 shows the tracking position of the moving object data acquired by the moving object tracking unit 5 from the moving object history storage unit 6 in the image one frame before the latest image stored in the primary storage device.
  • An image 902 shows a moving object region input from the moving object extracting unit 4 in the latest image stored in the primary storage device.
  • An image 901 shows the moving object 903a captured in the image one frame before the latest image
  • an image 902 shows the moving object 903b and moving object 904 captured in the latest image
  • An image 901 shows a position (905, 906, 907, 908a) where the moving object 903a acquired from the moving object history storage unit 6 is tracked and a moving object region 909 of the moving object 903a.
  • An image 902 shows a position (905, 906, 907, 908b) where the moving object 903b is tracked, and a position 911 of the moving object region 910 input from the moving object extraction unit 4.
  • the moving object tracking unit 5 receives the position of the moving object region extracted by the moving object extraction unit 4 and the position of the moving object region one frame before acquired from the moving object history storage unit 6. The moving object is determined from the distance. If it is determined that the moving body is the same as the moving body one frame before, the position of the moving body is updated to the position of the moving body area extracted by the moving body extraction unit 4.
  • the stationary area determination unit 13 of the moving object tracking unit 5 Is determined to be stationary.
  • the moving object 903b of the moving object history storage unit 6 is set as the moving object region 909 of the moving object 903a extracted by the moving object region extracting unit 12 of the moving object extracting unit 4 in the image one frame before. Set the status information of the to static state.
  • FIG. 10 is an example of moving object data stored in the moving object history storage unit 6 in the embodiment of the present invention.
  • the moving object history storage unit 6 includes, for example, a moving object ID for identifying a moving object, a position of the moving object region (center position or center of gravity position), coordinates of the moving object region, and state information (moving state or (Still state) is stored.
  • the moving object data is input from the moving object tracking unit 5 and stored in the moving object history storage unit 6.
  • the moving object tracking unit 5 receives the distance between the extracted position of the moving object region and the position of the moving object region stored in the moving object history storage unit 6. Based on the above, it is determined whether the moving body in the extracted moving body area is in a moving state, a stationary state, or a new moving body. Then, the determined result is output to the moving object history storage unit 6 and stored.
  • the still area image storage unit 7 uses the latest image stored in the primary storage device.
  • the image of the still region B (k) is cut out and output to the still region image storage unit 8 to store the latest image of the still region B (k) (S20).
  • FIG. 11 is an example of still area image data stored in the still area image storage unit 8 according to the embodiment of the present invention.
  • the still area image storage unit 8 stores, for example, a moving object ID 1101, an image 1102, and an update count 1103.
  • the moving object ID 1101 stores the same ID as the moving object ID stored in the moving object history storage unit 6.
  • the image 1102 is the latest image obtained by cutting out only a still area. Since the images for the same moving object ID may be updated any number of times in the still region image storage unit 8, the update count 1103 indicates the number of times the image for the same moving object ID has been updated.
  • the feature change amount extraction unit 9 performs the following processing.
  • the feature change amount extraction unit 9 stores the still region information in the moving body history storage unit 6 (when the stationary state information is stored in the moving body data), the feature change amount extraction unit 9 stores the information in the still region image storage unit 8.
  • a difference FD (k) between the image feature amounts of the still region B (k) image and the still image of the latest image stored in the primary storage device is calculated (S24), and the image feature change amount is calculated.
  • the still region identification number k + 1 is larger than the number of still regions (S26), and feature amount change amounts are extracted until feature change amounts are extracted for all still regions. If it is less than or equal to the number of still areas, the identifier of the next still area is set and the process returns to S24. If the number is larger than the number of still areas, the calculated feature change amount is output to the still person determination unit 10 and the process of the still person determination unit 10 after S27 is performed.
  • FIG. 12 is an image diagram for explaining the operation of the feature change amount extraction unit 9 in the embodiment of the present invention.
  • FIG. 12 shows still area image data 1201 stored in the still area image storage unit 8 and the latest image 1202 acquired by the image acquisition unit 3 and stored in the primary storage device.
  • the still area image data 1201 indicates that a still area image 1203 corresponding to the moving object ID3 and a still area image 1204 corresponding to the moving object ID4 are stored.
  • the feature change amount extraction unit 9 acquires information (position and region coordinates) of the still area corresponding to the moving object ID 3 from the moving object history storage unit 6.
  • a latest area 1205 of the latest image 1202 corresponding to the acquired still area is shown in the latest image 1202.
  • information on the still area corresponding to the moving object ID 4 is acquired from the moving object history storage unit 6.
  • the latest image 1204 shows the still region 1207 of the latest image 1202 corresponding to the acquired still region.
  • An image of the moving object 1208 is present in the static area 1207.
  • the feature change amount extraction unit 9 then stores the image feature amount of the still region 1203 stored in the still region image storage unit 8 and the image feature amount of the still region 1205 cut out from the latest image acquired from the primary storage device.
  • the difference is calculated.
  • the calculation of the difference between the feature amounts uses a difference between templates based on template matching, a difference between HOG feature amounts, or a difference between luminance histograms. This difference may be used as a change amount of the image feature amount, or the above process may be repeated for a specified time or a specified number of times, and the sum of the feature amount differences may be used as the change amount of the image feature amount.
  • the timing of updating the still region image of the still region image recording unit 8 to the still region of the latest image may be performed every time or when a certain condition is satisfied. May be. For example, when the feature amount difference is equal to or greater than a specified value, the latest image is updated.
  • the still person determination unit 10 determines the presence or absence of a person in the still region and reflects the result in the moving object history storage unit 6.
  • the stationary person determination unit 10 determines whether or not a specified time has elapsed (S27). If the specified time has not elapsed, the process of S30 is performed. If the specified time has elapsed, it is determined whether or not the feature change amount FV (k) extracted by the feature change amount extraction unit 9 is within a specified range (S28).
  • the moving body data of the still region B (k) is deleted from the moving body history storage unit 6, and the image of the still region B (k) is deleted from the still region image storage unit 8 (S29).
  • the process proceeds to the process of the person information output unit 11 in S30. If it is within the prescribed range, it is determined that there is a person in the still area B (k), and the process of S30 is performed. As described above, when the still person determination unit 10 determines that there is no person in the still region input from the feature change amount extraction unit 9, the determination is performed by deleting the data of the still region from the moving body history storage unit 6. The data of the still person is reflected in the moving object history storage unit 6.
  • FIG. 13 is a diagram showing a feature change amount by which the still person determination unit 10 determines a still person in the embodiment of the present invention.
  • FIG. 13 shows feature change amounts 1301, 1302, and 1303.
  • the feature change amount 1302 is within a specified range after a specified time.
  • the still person determination unit 10 determines that there is a person in the still area of the feature change amount 1302.
  • the feature change amount 1301 falls outside the specified range before the specified time. In this case, the still person determination unit 10 determines that there is no person in the still area of the feature change amount 1301.
  • the feature change amount 1303 is outside the specified range when the specified time comes. Also in this case, the still person determination unit 10 determines that there is no person in the still area of the feature change amount 1303.
  • the timing of updating the image of the same still region in the still region image storage unit 8 to the same still region of the latest image may be performed every time or when a certain condition is satisfied. You may implement.
  • the latest image may be updated when the feature amount difference is equal to or greater than a specified value.
  • the specified range is shown as a range in which the characteristic change amount is greater than or equal to a certain value, but the specified range may be a range from zero change amount including a state where there is no change amount. .
  • the person determination based on the feature change amount will be described.
  • a non-human object such as a chair or a desk with a caster also moves.
  • the moving object extraction unit 4 and the moving object tracking unit 5 recognize a moving object other than a person as a moving object.
  • the moving body tracking unit 5 even if the movement is not recognizable as a moving state, the person moves finely in a stationary state in daily life, and there are rarely people who do not move at all for a long time. .
  • An object such as a chair or a desk has a very small change amount (for example, a feature change amount 1303 in FIG. 13). Therefore, when the amount of change is smaller than the specified value, the still region is determined to be an object other than a person.
  • the TV or personal computer monitor when a person moves or stops near the TV or personal computer monitor, the TV or personal computer monitor, not the person, may be generated as a still area. In such a still region, the feature change amount of the image is increased by the screen display of the TV or personal computer monitor (for example, the feature change amount 1301 in FIG. 13). Therefore, when the amount of change is larger than the specified range, it can be determined that the object is an object such as a TV or a personal computer monitor, thereby preventing erroneous determination as a person.
  • the still person determination unit 10 determines that there is no person, the still region is deleted from the moving object history storage unit 6 and the still region image storage unit 8, the feature change amount extraction unit 9
  • the still person determination unit 10 repeats the determination of the presence / absence of a person by repeating the specific time, the specific number of times, and the presence / absence of a person, the determined still area is stored in the moving body history storage unit 6 and the still area image storage. You may delete from the part 8.
  • the still region image stored in the still region image storage unit 8 is updated to a still region image cut out from the latest image again. May be. By doing so, other people pass near the person determined by the still image, the image of the moving body area of the other person overlaps the still image, and there are still people in the still area, Even if the image feature amount falls outside the threshold range, it is possible to detect a stationary person from a still area image cut out from the latest image.
  • a plurality of still area images cut out from the latest image may be stored in the still area image storage unit 8.
  • the still area determined to have no person is deleted from the moving object history storage unit 6.
  • the position determined as the still area and the next extracted by the moving object extraction unit 4 When the distance from the position of the moving object region of the image is smaller than the set threshold value, it is determined that the moving object in the stationary region has transitioned to the moving object region, and the still region in the moving object history storage unit 6 is changed to the moving object region. Good.
  • the person information output unit 11 acquires the moving body data of the moving body region and the stationary region stored in the moving body history storage unit 6 at predetermined time intervals or according to an instruction from an external device. For example, the number and position of the moving body data are obtained.
  • the personal information is output to the external device (S30). Then, it is determined whether or not the detection of the person has been completed (S31). If the detection of the person is finished, the person detection process is finished. If the detection of the person has not been completed, the process returns to S1.
  • the destination output by the person information output unit 11 may be a control device of an external device or an external system. Since the stationary person determination unit 10 deletes the stationary region determined to have no person from the moving body history storage unit 6, the moving body region and the stationary region stored in the moving body history storage unit 6 are regions where a person is present.
  • the position of the person as the person information is, for example, the center position of the moving object area or the stationary area, or the center of gravity position of the moving object area or the stationary area.
  • optimal energy saving control can be performed according to the presence / absence, position, and number of people.
  • the lighting device since the human sensor using infrared rays does not react to a stationary person, the lighting device may be turned off even if there is a person.
  • even a moving person does not know where the person is in the sensor range, so when many lighting devices such as offices and factories are installed, which lighting device should be dimmed to obtain the optimal brightness I do n’t know if it ’s going to happen.
  • a still region is determined based on the distance between the moving object region extracted using the image and the moving object region of the previous frame, and the person is stopped using the amount of change in the image feature amount for this still region. Therefore, it is possible to detect the presence / absence, position, and number of persons including a stationary person. Therefore, it is possible to turn on or turn off the lighting device including a stationary person. Even when many lighting devices such as offices or factories are installed, dimming control of appropriate lighting devices can be performed according to the presence / absence, position, and number of people.
  • a human sensor using infrared rays needs to narrow the sensor range and install many sensors, which increases the cost.
  • the cost is reduced. Can be suppressed.
  • it can be applied to various control systems such as optimal operation of an elevator that shortens waiting time, or crime prevention / safety management based on detection of congestion and entry prohibition.
  • the person detection device and the person detection method according to the present invention include the position of the first moving object region extracted from the image and the second moving object region extracted from the image before the image of the first moving object region.
  • the still region is determined based on the distance from the position.
  • the person information including the stationary person for example,
  • the lighting or air conditioning control device can be controlled. Or it can apply to the management system of various apparatuses, such as the operation
  • 1 person detection device 2 camera, 3 image acquisition unit, 4 moving object extraction unit, 5 moving object tracking unit, 6 moving object history storage unit, 7 still region storage unit, 8 still region image storage unit, 9 feature change amount extraction unit, 10 Still person determination unit, 11 person information output unit, 12 moving object region extraction unit, 13 still region determination unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Automation & Control Theory (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)

Abstract

　画像を用いたトラッキング法により静止している人を検出する方法では、人以外の物体の画像特徴量を事前に登録しておき、静止した画像領域の画像特徴量が類似していない場合に人と認識する。そのため、事前に膨大な画像特徴量の収集及び登録が必要であるという問題があった。本発明にかかる人物検出装置および人物検出方法は、画像から抽出した第１の動体領域の位置と、第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、静止領域を判定する。そして、この静止領域の画像の特徴量の変化量を用いて人物の有無を判定するので、膨大な画像特徴量を事前に収集及び登録することなく、静止した人を含めた人物情報で機器を制御することができる。

Description

人物検出装置および人物検出方法
　本発明は、画像を用いて人物を検出する装置に関するものである。
　従来から、省エネを目的に人の有無によって機器を制御したいという要求がある。人の有無の判定には、例えば赤外線を利用した人感センサを利用することが多い。しかし、赤外線を利用した人感センサでは、静止した人には反応しない。また、動いている人でも、センサ範囲のどの位置に人が居るのかはわからない。そこで、カメラで撮影した画像を用いて人を検出し、人の位置も検出することが行われている。例えば、（１）画像の特徴量（画像特徴量）の統計的学習による特定オブジェクト検出法、（２）背景画像との差分を利用する背景差分法、（３）前の画像との差分を利用するフレーム間差分法がある。
　（１）の特定オブジェクト検出法の代表的な方式には、Haar-Like特徴やHOG（Histograms of Oriented Gradients）特徴によるAdaBoostアルゴリズムがあり、主に顔や人の検出に利用されている。しかし、本方式では、画像特徴量の多いオブジェクトには有効であるが、特徴量が少ないオブジェクトの場合は検出が困難である。例えば、天井のカメラで真上から撮影した頭と肩しか映らない画像の場合、顔や人の形状のようなユニークな特徴量を持つ画像とならないため、人を検出できなかったり誤検出が多くなったりする。
　また、（２）の背景差分法では、人が映っていない画像を背景画像にすれば、人が映っている画像との差分をとることで、人の位置を的確に抽出することができる。しかし、本方式は周辺の照度変化に弱いことが知られている。そのため、背景画像を外部環境に合わせて適度に更新する方法も考えられているが、オフィスや工場など頻繁に人が出入りするような環境、または照明が点灯または消灯するような環境では、最適な背景画像を選択することが困難である。
　また、（３）のフレーム間差分法では、時系列で前の画像と現画像との差分をとるため、動いている物体を検出することができ、また比較的に周辺の照度変化にも強い。しかし、動かない物体は検出することができないため、静止している人も検出できない。
　フレーム間差分法で静止物体を検出する従来手法としては、画像中の動いている物体を追尾して、動きがなくなった位置で物体が静止したと認識するトラッキング法などがある。
　しかし、このトラッキング法にも課題があり、複数の動く物体（動体）が存在する場合、画像中で動体を追尾できなくなり、静止した位置にまだ物体が存在しているのか分からなくなる。また、動体は人だけではない場合もあり（例えば、キャスター付きの椅子が動いたなど）、静止している人だけを検出することが困難である。
　そこで、画像を用いたトラッキング法により静止している人を検出する方法として、予め記憶した静止している物体の画像領域の画像特徴量と、特定の物体の画像特徴量とを比較することで、静止した物体を特定する方法がある。（例えば、特許文献１。）
　特開２０１２－２１２２３８号公報
　しかし、従来のような画像を用いたトラッキング法により静止している人を検出する方法では、人以外の物体の画像特徴量を事前に登録しておき、静止した画像領域の画像特徴量が類似していない場合に人と認識するため、事前に膨大な画像特徴量の収集及び登録が必要であるという問題がある。
　また、事前に人の画像特徴量を登録しておき、登録した画像特徴量と類似したときに人と認識する方法も考えられるが、服装や髪形によって特徴量は異なるため、結局は事前に膨大な画像特徴量の収集及び登録が必要となる。
　この発明に係る人物検出装置は、撮影された画像を取得する画像取得部と、該画像取得部で取得した画像から抽出した第１の動体領域の位置と、該第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、前記第２の動体領域の動体が静止状態である静止領域と判定する静止領域判定部と、前記静止領域の画像の特徴量の変化量を用いて人物の有無を判定する静止人物判定部とを備えたことを特徴とする。
　この発明は、画像から抽出した第１の動体領域の位置と、第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、静止領域を判定し、この静止領域の画像の特徴量の変化量を用いて人物の有無を判定するので、膨大な画像特徴量を事前に収集及び登録することなく、静止した人を含めた人物情報で機器を制御することができる。
この発明の実施の形態における、人物検出装置１の構成図である。 この発明の実施の形態における、人物検出装置１の画像取得部３と動体抽出部４の処理を示すフローチャートである。 この発明の実施の形態における、人物検出装置１の動体追跡部５の処理を示すフローチャートである。 この発明の実施の形態における、人物検出装置１の静止領域画像保存部７の処理を示すフローチャートである。 この発明の実施の形態における、人物検出装置１の特徴変化量抽出部９の処理を示すフローチャートである。 この発明の実施の形態における、人物検出装置１の特徴変化量抽出部１０の処理を示すフローチャートである。 この発明の実施の形態における、動体抽出部４の処理を説明する画面の図である。 この発明の実施の形態における、動体追跡部５の処理を説明する画面の図である。 この発明の実施の形態における、動体追跡部５の静止領域判定部１３の処理を説明する画面の図である。 この発明の実施の形態における、動体履歴記憶部６に記憶されている動体データの例である。この発明の実施の形態における、 この発明の実施の形態における、静止領域画像記憶部８に記憶されている静止領域の画像データの例である。 この発明の実施の形態における、特徴変化量抽出部９の動作を説明する画像の図である。 図１３は、この発明の実施の形態における、静止人物判定部１０が静止人物を判定する特徴変化量を示す図である。
　以下に、本発明にかかる人物検出装置および人物検出方法の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
実施の形態．
　図１は、この発明の実施の形態における、人物検出装置１の構成図である。
　図１において、人物検出装置１は、特定のエリアを撮影するカメラ２から画像データを取得して、特定エリアの人の数や位置を検出し、人物情報として出力する。
　本実施の形態では、カメラ２は、天井に設置されているとして説明するが、カメラはどこに設置されていてもよい。また、人物検出装置１とカメラ２は、別構成でも一体化した構成でもよい。例えば、カメラ２を天井に設置して、人物検出装置１をフロア、またはビルの制御室に設置し、カメラ２と人物検出装置１をLAN(Local Area Network)ケーブル、または同軸ケーブルで接続する。そして、人物検出装置１が、複数のカメラ２から画像データを取得して、人物検出を行ってもよい。
　人物検出装置１は、画像取得部３、動体抽出部４、動体追跡部５、動体履歴記憶部６、静止領域画像保存部７、静止領域画像記憶部８、特徴変化量抽出部９、静止人物判定部１０、人物情報出力部１１から構成される。また、動体抽出部４は動体領域抽出部１２を含み、動体追跡部５は静止領域判定部１３を含む。
　人物検出装置１には、CPU（Central Processing Unit）等の演算装置を搭載し、各処理部（３～１３）は演算装置上のプログラムとして起動する。また、人物検出装置１にはROM(（Read Only Memory）、RAM（Random Access Memory）、フラッシュメモリ、またはハードディスクなどの記録装置を搭載し、各記憶部（６と８）は、これら記録装置を利用してもよい。
　以下、人物検出装置１の各構成について説明する。
　画像取得部３は、カメラ２からカメラ２で撮影された画像データを取得する。そして、取得した画像データから最新の１フレームの画像を抽出する。そして、抽出した最新の１フレームの画像データを一次記憶装置（図示せず）に記憶する。
　動体抽出部４の動体領域抽出部１３は、一次記憶装置に最新の画像データが入力されると、一次記憶装置に入力された最新の画像データと、一次記憶装置に記憶されている１フレーム前の画像データとの差分を算出する。そして、その差分が、設定された閾値以上の画像ブロックをグループ化して動体領域として抽出する。そして、抽出した動体領域の動体データ（例えば、動体領域の位置と領域の座標）を動体追跡部５に出力する。
　動体追跡部５は、動体抽出部４の動体領域抽出部１２から動体データが入力されると、動体履歴記録部６に記録されている動体データの履歴を参照して、１フレーム前のすべての動体領域の位置を前位置として取得する。そして、１フレーム前のすべての動体領域の位置と、動体抽出部４の動体領域抽出部１２から入力された動体領域の位置との距離に基づいて、動体領域の動体を追跡する。そして、動体追跡部５の静止領域判定部１３は、１フレーム前のすべての動体領域の位置と、動体抽出部４の動体領域抽出部１２から入力された動体領域の位置との距離に基づいて、動体領域の動体が静止している静止状態であるとして、この動体領域を静止領域と判定する。そして、動体抽出部４から入力された動体領域の位置（例えば動体領域の中心位置）、動体領域の座標、動体領域の状態（移動状態または静止状態）、および動体を識別する動体ＩＤ（indentification）の情報を最新の動体データとして動体履歴記憶部６に出力して記憶させる。
　動体履歴記憶部６には、動体領域の動体データが動体追跡部５から入力され記憶されている。そして、動体履歴記憶部６に記憶された動体データの動体履歴の情報は、動体追跡部５と静止領域画像保存部７と特徴変化量８、および人物情報出力部１１から参照される。また、静止人物判定部１０により、静止領域に人は居ないと判定されると、動体履歴記憶部６の静止領域のデータが削除される。
　静止領域画像保存部７は、動体履歴記憶部６に静止領域の情報が入力されると、動体履歴記憶部６に記憶されているすべての静止領域の情報を取得する。そして、一次記憶装置に記憶された最新の画像データを取得し、取得した画像データから静止領域を切り出して、静止領域画像記憶部８に出力して記憶する。
　静止領域画像記憶部８には、最新の画像データの静止領域の画像データが静止領域画像保存部７から入力され記憶されている。そして、静止領域画像記憶部８に記憶された静止領域の情報は、特徴変化量抽出部９から参照される。また、静止人物判定部１０により、静止領域に人が居ないと判定されると、静止領域画像記憶部８の静止領域のデータが削除される。
　特徴変化量抽出部９は、静止領域画像記憶部８に静止領域の画像データが入力されると、一次記憶装置に記憶された最新の静止領域の画像の特徴量と、静止領域画像記憶部８に記憶された１フレーム前の静止領域の画像の特徴量との変化量（特徴変化量）を抽出する。そして、抽出した画像の特徴変化量を静止人物判定部１０に出力する。
　静止人物判定部１０は、特徴変化量抽出部９から画像の特徴変換量が入力されると、入力された画像の特徴変化量が設定された時間後に、設定された範囲内にある場合、静止領域中に人が居ると判定する。また、設定された範囲外である場合、静止領域中に人は居ないと判定する。そして、判定した静止領域に対して静止した人が居るという静止人物データを動体履歴記憶部６に出力して記憶する。また、人が居ないと判定した静止領域については、動体履歴記憶部６から削除する。
　尚、静止人物判定部１０に、静止領域画像保存部７または特徴変化量抽出部９の処理を含めてもよい。
　人物情報出力部１１は、人として検出した数、位置を含む情報を外部装置に出力する通信部である。人物情報出力部１１は、例えば、所定の時間毎または外部装置からの指示により、動体履歴記録部６のデータを参照して、人として検出した動体領域と静止領域から、人の数と位置を含む人物情報を算出し、人物情報を外部装置に出力する。外部装置は、例えば照明制御装置、空調制御装置、立ち入り警報装置といった人の数や位置に応じてエネルギーを制御する、または警報を上げる装置、またはシステムである。
　以上が人物検出装置１の各構成の説明である。
　次に、人物検出装置１の動作について説明する。
　図２～６は、この発明の実施の形態における、人物検出装置１の処理を示すフローチャートである。
　まず、図２を用いて、画像取得部３と動体抽出部４の処理について説明する。
　画像取得部３は、カメラ２で撮影された画像データをカメラ２から取得し、取得した画像データから最新の１フレームの画像を取得する（Ｓ１）。
　取得した画像データがアナログ信号であった場合は、アナログ信号から１フレームのデジタル画像に変換する。また、取得した画像データがMotion  JPEG(Joint Photographic Experts Group)またはMPEG(Moving Picture Experts Group)といった圧縮符号化された画像データの場合は、複合化して１フレームのデジタル画像に変換する。また、デジタル画像は、RGB形式またはYUV形式のカラー画像でもよいし、輝度画像（グレースケール画像）でもよい。
　そして、取得した最新の１フレームの画像を動体抽出部４に出力する。また、取得した最新の１フレームの画像を一次記憶装置に記憶する（Ｓ２）。
　次に、動体抽出部４は、一次記憶装置に記憶されている最新の１フレームの画像から動体領域を抽出する。
　図７は、この発明の実施の形態における、動体抽出部４の処理を説明する画像の図である。
　図７の画像７０１と画像７０２は、一次記憶装置に記憶されている画像であり、画像７０１は、画像取得部３で取得された最新の画像７０２の１フレーム前の画像である。そして、画像７０１には物体７０３、画像７０２には物体７０４が撮影されている様子を示している。
　図２のフローチャートに戻り、動体抽出部４は、最新の画像７０２が一次記憶装置に入力されると、最新の画像７０２と一次記憶装置に記憶された１フレーム前の画像７０１とのフレーム間の差分を算出する（Ｓ３）。
　そして、フレーム間の差分が、予め設定された閾値以上の画像ブロック７０５を動きブロック７０６として抽出する（Ｓ４）。
　画像ブロック７０５は、画像を均等に分割した領域であり、分割数は画像サイズに応じて予め決めた数である。また、前記閾値は、事前に決めた規定値でもよいし、動的に変更してもよい。
　そして、抽出した動きブロック７０６のラベリングにより動きブロック７０６をグループ化する（Ｓ５）。
　そして、グループ化した動きブロックを包含する矩形を動体領域７０７とする。このとき、グループ化した動きブロックの数が、予め決められた規定範囲内の場合のみ動体領域としてもよい。そして、動体領域７０７の位置、例えば動体領域の中心位置または重心位置を算出し（Ｓ６）、算出した位置と領域の座標の情報を、動体領域７０７の動体データとして動体追跡部５に出力し記憶する。
　次に、図３を用いて、動体追跡部５の処理について説明する。
　動体追跡部５は、動体履歴記憶部６に記憶されている過去の動体領域の動体データを用いて、動体抽出部４から入力された最新の動体領域の追跡を行う。
　まず、動体追跡部５は、１フレーム前の動体領域の位置と最新の動体領域の位置との最短距離Ｄminに閾値Ｍ、最短距離Ｄminである過去の動体領域の識別番号Minに－１、動体抽出部４から入力される最新の動体領域の識別番号ｉに１、および動体履歴記憶部６に記憶されている過去の動体領域の識別番号ｊに１を設定し初期化する（Ｓ７）。
　そして、動体追跡部５は、動体抽出部４から動体データが入力されると、動体履歴記憶部６から動体データの履歴データを取得して以下の処理を行う。
　動体履歴記憶部６から取得した１フレーム前の動体領域Ｂ（ｊ）の位置ＰＢ（ｊ）を前位置として取得する（Ｓ８）。
　次に、動体抽出部４から入力された最新の動体データである動体領域Ａの動体の位置ＰＡとＰＢ（ｊ）の距離Ｄ（ｊ）を算出する（Ｓ９）。
　そして、算出した距離Ｄ（ｊ）が予め設定したＤminよりも小さいか否かを判定する（Ｓ１０）。
　算出した距離Ｄ（ｊ）が予め設定したＤminよりも小さければ、算出した距離Ｄ（ｊ）をＤminに設定し、Ｍinに距離を算出した動体領域の識別番号ｊを設定する（Ｓ１１）。
　算出した距離Ｄ（ｊ）が予め設定したＤmin以上であれば、Ｓ１２の処理を行う。
　ｊ＋１が、動体履歴記憶部６から取得した過去のすべての動体領域の数よりも大きいか否かを判定する（Ｓ１２）。
　ｊ＋１が、過去のすべての動体領域の数よりも大きければＳ１３の処理を行う。
　ｊ＋１が、過去のすべての動体領域の数以下であれば、ｊにｊ＋１を設定してＳ８の処理に戻り、次の過去の動体の動体領域に対して、最新の動体領域との距離を算出する。
　ｊ＋１が、過去のすべての動体領域の数よりも大きければ、Ｄminが閾値Ｍよりも小さいか否かを判定する（Ｓ１３）。
　Ｄminが閾値Ｍ以上であれば、動体領域Ａ（ｉ）の位置ＰＡ（ｉ）を新規の動体として、動体履歴記憶部６に出力して記憶させる（Ｓ１４）。
　Ｄminが閾値Ａよりも小さければ、ＰＢ（Ｍin）をＰＡ（ｉ）とし動体履歴記憶部６の動体データの位置を更新する（Ｓ１５）。
　そして、ｉ＋１が動体抽出部４から入力された最新の動体領域の数よりも大きいか否かを判定し（Ｓ１６）、ｉ＝ｉ＋１としてＳ８の処理に戻る。
　次に、ｊ＝１、ｋ＝１（ｋは静止領域の識別番号）として初期化する（Ｓ１７）。
　そして、１フレーム前の動体領域の位置ＰＢ（ｊ）が更新されていないかを判定する（Ｓ１８）。
　１フレーム前の動体領域の位置ＰＢ（ｊ）が、動体抽出部４から入力された動体領域ＰＡ（ｉ）の位置に更新されていなければ、動体領域Ｂ（ｊ）の動体が静止している状態である静止領域Ｂ（ｋ）として動体履歴記憶部６に記憶する（Ｓ１９）。
　１フレーム前の動体領域の位置ＰＢ（ｊ）が、動体抽出部４から入力された動体領域ＰＡ（ｉ）の位置に更新されていれば、Ｓ２１の処理を行う。
　このように、動体追跡部５は、動体抽出部４で抽出された動体領域に対して、１フレーム前のすべての動体領域の情報を動体履歴記憶部から取得し、動体抽出部４で抽出された動体領域の位置と１フレーム前の動体領域の位置との距離を算出し、その距離が閾値より小さく、その距離が一番短い１フレーム前の動体領域の動体と、動体抽出部４で抽出された動体領域の動体が同じ動体であるとして追跡する。
　更に、動体追跡部５の静止領域判定部１３は、１フレーム前の動体領域の位置が、動体抽出部４の動体領域抽出部１２で抽出された動体領域の位置に更新されていなければ静止領域と判定する。
　尚、閾値Ｍは、予め設定されるとして説明したが、規定値でもよく、動的に変更してもよい。また、動体抽出部４で抽出した最新の動体領域が複数存在する場合は、各動体領域に対して、１フレーム前の動体領域の位置との距離を判定して同一の動体であるか否かを判定する。
　また、静止領域判定部１３は、動体抽出部４で抽出された動体領域の動体と、１フレーム前の動体領域の動体が同じかどうかを判定した後の処理として説明したが、この動体追跡部５の処理（１フレーム前の動体領域の動体と同じか否かを判定する処理）を行ってもよい。
　図８は、この発明の実施の形態における、動体追跡部５の動作を説明する画像の図である。
　図８の画像８０１は、一次記憶装置に記憶されている最新の画像の１フレーム前の画像に、動体追跡部５が動体履歴記憶部６から取得した１フレーム前の動体データを示している。また、画像８０２は、一次記憶装置に記憶されている最新の画像に、動体抽出部４から入力された動体データを示している。
　また、画像８０１には、動体８０３と動体８０４が撮影されている。また、画像８０２には、動体８０３と動体８０４が撮影されていて、動体抽出部４によって抽出された動体８０３の動体領域８０５と、動体８０４の動体領域８０６を示している。
　また、画像８０１には、動体履歴記憶部６に記憶されている動体データから、動体８０４の位置の履歴８０７、８０８、８０９、８１０と、動体８０３の位置８１１を示している。
　また、画像８０２には、動体抽出部４から入力された動体８０３の位置８１２と、動体８０４の位置８１３、および動体履歴記憶部６から取得した動体データの動体の位置の履歴８０７、８０８、８０９と１フレーム前の動体の位置８１０、８１１を示している。
　そして、動体追跡部５は、動体抽出部４から動体データが入力されると、動体履歴記憶部６から１フレーム前の動体データである、動体８０４の位置８１０と、動体８０３の位置８１１を前位置として取得する。
　そして、動体抽出部４から入力された最新の動体データである動体領域８０６の動体８０４の位置８１３と動体履歴記憶部６から取得した動体領域の位置８１０との距離、および動体抽出部４から入力された最新の動体データである動体領域８０６の動体８０４の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１１との距離を算出する。
　ここでは、動体抽出部４から入力された動体領域８０６の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１１との距離が閾値より小さかったとする。また、動体抽出部４から入力された動体領域８０６の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１０との距離が閾値よりも小さかったとする。その時、動体抽出部４から入力された動体領域８０６の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１１との距離よりも、動体抽出部４から入力された動体領域８０６の位置８１３と、動体履歴記憶部６から取得した動体領域の位置８１０との距離のほうが短いため、動体領域の位置８１０の動体データと、動体抽出部４から入力された動体領域８０６の動体が同じ動体であると判定する。そして、動体抽出部４から入力された動体領域８０６の位置を動体履歴記憶部６に記憶されている同じ動体の位置として記憶する。
　次に、動体追跡部５の静止領域判定部１３が、追跡した動体領域の動体が静止した状態であり、静止領域であると判定する処理について説明する。
　図９は、この発明の実施の形態における、動体追跡部５の静止領域判定部１３の動作を説明する画像の図である。
　図９の画像９０１は、一次記憶装置に記憶された最新の画像の１フレーム前の画像に、動体追跡部５が動体履歴記憶部６から取得した動体データの追跡位置を示している。また、画像９０２は、一次記憶装置に記憶された最新の画像に、動体抽出部４から入力された動体領域を示している。
　また、画像９０１は、最新の画像の１フレーム前の画像に撮影された動体９０３ａを示し、画像９０２は、最新の画像に撮影された動体９０３ｂと動体９０４を示している。
　また、画像９０１は、動体履歴記憶部６から取得した動体９０３ａを追跡した位置（９０５、９０６、９０７、９０８ａ）と動体９０３ａの動体領域９０９を示している。画像９０２は、動体９０３ｂを追跡した位置（９０５、９０６、９０７、９０８ｂ）と、動体抽出部４から入力された動体領域９１０の位置９１１を示している。
　そして、動体追跡部５は、動体抽出部４から動体データが入力されると、動体抽出部４によって抽出された動体領域の位置と動体履歴記憶部６から取得した１フレーム前の動体領域の位置との距離から動体を判定する。そして、１フレーム前の動体と同じ動体と判定すれば、その動体の位置を動体抽出部４によって抽出された動体領域の位置に更新する。
　そして、動体追跡部５の静止領域判定部１３は、動体履歴記憶部６から取得した動体９０３ｂの位置９０８ｂが、動体抽出部４で抽出された動体領域の位置に更新されていなければ、動体９０３ｂが静止状態であると判定する。静止状態と判定すると、その動体９０３ｂについて、１フレーム前の画像で動体抽出部４の動体領域抽出部１２によって抽出された動体９０３ａの動体領域９０９を静止領域として、動体履歴記憶部６の動体９０３ｂの状態情報を静止状態にする。
　また、動体追跡部５が、動体抽出部４から動体領域９１０の位置９１１を取得すると、位置９１１と１フレーム前の画像９０１の動体領域の位置との距離を算出する。図９では、位置９１１と位置９０８ａ（＝位置９０８ｂ）との距離を算出する。この距離が閾値Ｍ以上であったとすると、動体追跡部５は、動体領域９１０の位置９１１を、新規の動体９０４の動体データの位置として動体履歴記憶部６に出力して記憶する。
　図１０は、この発明の実施の形態における、動体履歴記憶部６に記憶されている動体データの例である。
　図１０に示すように、動体履歴記憶部６には、例えば、動体を識別する動体ＩＤ、動体領域の位置（中心位置または重心位置）、動体領域の座標、および動体の状態情報（移動状態または静止状態）が記憶されている。
　この動体履歴記憶部６には動体追跡部５から動体データが入力されて、入力された動体データを記憶している。そして、動体追跡部５は、動体抽出部４から抽出された動体領域が入力されると、抽出された動体領域の位置と、動体履歴記憶部６に記憶されている動体領域の位置との距離に基づいて、抽出された動体領域の動体が移動状態か静止状態か、または新規の動体であるかを判定する。そして、判定した結果を動体履歴記憶部６に出力して記憶させる。
　次に、図４を用いて、静止領域画像保存部７の処理について説明する。
　静止領域画像保存手段７は、動体履歴記憶部６に静止領域のデータが入力されると（動体データに静止状態のデータが入力されると）、一次記憶装置に記憶された最新の画像から、静止領域Ｂ（ｋ）の画像を切り出し、静止領域画像記憶部８に出力して、静止領域Ｂ（ｋ）の最新の画像を記憶する（Ｓ２０）。
　図１１は、この発明の実施の形態における、静止領域画像記憶部８に記憶されている静止領域の画像データの例である。
　静止領域画像記憶部８には、例えば、動体ＩＤ１１０１、画像１１０２、更新回数１１０３が記憶されている。
　動体ＩＤ１１０１は、動体履歴記憶部６に記憶された動体ＩＤと同じＩＤが記憶されている。また、画像１１０２は、静止領域だけを切り出した最新の画像である。静止領域画像記憶部８には、同じ動体ＩＤに対する画像は何度更新してもよいため、更新回数１１０３は、同じ動体ＩＤに対する画像を更新した回数を示している。
　次に、図５を用いて、特徴変化量抽出部９の処理について説明する。
　特徴変化量抽出部９は、静止領域画像記憶部８に静止画像の最新の画像が記憶されると、以下の処理を行う。まず、画像の特徴変化量の初期化（ＦＶ（ｋ）＝０）を行い、静止領域の識別番号を次の識別番号にする（ｋ＝ｋ＋１）（Ｓ２１）。
　そして、動体履歴記憶部６に記憶された過去の動体領域の数まで静止領域の画像を取得したか否かを判定する（Ｓ２２）。
　過去の動体領域の数まで取得していなければ、Ｓ１８の処理に戻る。
　過去の動体領域の数まで取得していれば、以下の処理を行う。
　まず、静止領域の識別番号を初期化（ｋ＝１）する（Ｓ２３）。
　そして、特徴変化量抽出部９は、動体履歴記憶部６に静止領域の情報が記憶されると（動体データに静止状態の情報が記憶されると）、静止領域画像記憶部８に記憶された静止領域Ｂ（ｋ）の画像と、一次記憶装置に記憶された最新の画像の静止領域の画像との画像の特徴量の差分ＦＤ（ｋ）を算出して（Ｓ２４）、画像の特徴変化量を抽出する。
　そして、特徴変化量ＦＶ（ｋ）＝ＦＶ（ｋ）＋ＦＤ（ｋ）として、ＦＶ（ｋ）に特徴変化量を加算して特徴変化量の総和を算出する（Ｓ２５）。
　そして、静止領域の識別番号ｋ＋１が、静止領域の数よりも大きいか否かを判定し（Ｓ２６）、すべての静止領域について特徴変化量を抽出するまで特徴量変化量の抽出を行う。
　静止領域の数以下であれば、次の静止領域の識別子を設定してＳ２４に戻る。
　静止領域の数より大きければ、算出した特徴変化量を静止人物判定部１０に出力し、Ｓ２７以降の静止人物判定手段１０の処理を行う。
　ここで、特徴変化量抽出部９の動作を画像例で説明する。
　図１２は、この発明の実施の形態における、特徴変化量抽出部９の動作を説明する画像の図である。
　図１２では、静止領域画像記憶部８に記憶されている静止領域画像データ１２０１と、画像取得部３が取得して一次記憶装置に記憶されている最新の画像１２０２を示している。そして、静止領域画像データ１２０１には、動体ＩＤ３に対応した静止領域の画像１２０３と、動体ＩＤ４に対応した静止領域の画像１２０４が記憶されていることを示している。
　また、特徴変化量抽出部９は、動体ＩＤ３に対応した静止領域の情報（位置と領域座標）を動体履歴記憶部６から取得する。この取得した静止領域に対応した最新の画像１２０２の静止領域１２０５を、最新の画像１２０２に示している。そして、この静止領域１２０５に動体１２０６の画像がある。また、動体ＩＤ４に対応した静止領域の情報を動体履歴記憶部６から取得する。この取得した静止領域に対応した最新の画像１２０２の静止領域１２０７を、最新の画像１２０４に示している。そして、この静止領域１２０７に動体１２０８の画像がある。
　そして、特徴変化量抽出部９は、静止領域画像記憶部８に記憶されている静止領域１２０３の画像特徴量と、一次記憶装置から取得した最新の画像から切り出した静止領域１２０５の画像特徴量との差分を算出する。
　特徴量の差分の算出は、画像間のテンプレートマッチングによる差分、またはHOG特徴量の差分、または輝度ヒストグラムの差分などを利用する。この差分を画像特徴量の変化量としてもよいし、上記の処理を規定の時間あるいは規定の回数だけ繰り返し特徴量差分の総和を画像特徴量の変化量としてもよい。また、このような処理を繰り返すとき、静止領域画像記録部８の静止領域の画像を最新の画像の静止領域に更新するタイミングは、毎回実施してもよいし、ある条件が成立したときに実施してもよい。例えば、特徴量差分が規定値以上になった場合に最新の画像に更新する。
　以上が、特徴変化量抽出部９の動作についての画像例での説明である。
　次に、図６を用いて、静止人物判定部１０と人物情報出力部１１の処理について説明する。
　静止人物判定部１０は、特徴変化量抽出部９から画像の特徴変化量が入力されると、静止領域中の人の有無を判定し、その結果を動体履歴記憶部６に反映する。
　まず、静止人物判定部１０は、規定時間経過したか否かを判定する（Ｓ２７）。
　規定時間経過していなければ、Ｓ３０の処理を行う。
　規定時間経過していれば、特徴変化量抽出部９で抽出した特徴変化量ＦＶ（ｋ）が、規定の範囲内か否かを判定する（Ｓ２８）。
　規定の範囲内でなければ、静止領域Ｂ（ｋ）の動体データを動体履歴記憶部６から削除し、また、静止領域Ｂ（ｋ）の画像を静止領域画像記憶部８から削除し（Ｓ２９）、Ｓ３０の人物情報出力部１１の処理に移行する。
　規定の範囲内であれば、静止領域Ｂ（ｋ）に人が居ると判定し、Ｓ３０の処理を行う。
　このように、静止人物判定部１０は、特徴変化量抽出部９から入力された静止領域に人が居ないと判定すると、動体履歴記憶部６から静止領域のデータを削除することで、判定した静止している人物のデータを動体履歴記憶部６に反映する。
　ここで、静止人物判定部１０によって、特徴変化量によって静止人物を判定する処理について図を用いて説明する。
　図１３は、この発明の実施の形態における、静止人物判定部１０が静止人物を判定する特徴変化量を示す図である。
　図１３には、特徴変化量１３０１、１３０２、１３０３が示されている。
　例えば、特徴変化量１３０２は、規定の時間後に、規定の範囲内にある。この場合、静止人物判定部１０は、特徴変化量１３０２の静止領域に人が居ると判定する。
　また、特徴変化量１３０１は、規定の時間前に規定の範囲外になる。この場合、静止人物判定部１０は、特徴変化量１３０１の静止領域に人は居ないと判定する。
　また、特徴変化量１３０３は、規定の時間となった時に規定の範囲外である。この場合も、静止人物判定部１０は、特徴変化量１３０３の静止領域に人は居ないと判定する。
　以上で説明した処理を繰り返すとき、静止領域画像記憶部８の同じ静止領域の画像を最新の画像の同じ静止領域に更新するタイミングは、毎回実施してもよいし、ある条件が成立したときに実施してもよい。例えば、特徴量差分が規定値以上になった場合に最新の画像に更新してもよい。
　尚、図１３では、規定範囲は、特徴変化量がある値以上の範囲であるとして示しているが、規定範囲は、変化量なしの状態を含む変化量ゼロからの範囲を規定範囲としてもよい。
　ここで、特徴変化量による人物の判定について説明する。
　人が移動する際に、キャスター付きの椅子または机など人以外の物体も移動するケースが多い。このとき、動体抽出部４と動体追跡部５では、人以外の移動した物体も動体として認識してしまう。しかし、動体追跡部５では、移動状態として認識できる程の動きではなくても、人は日常生活の中では静止状態で微細な動きをするものであり、長時間全く動かない人は滅多にいない。
　一方、椅子または机などの物体は移動した後は長時間動かない。その差が特徴変化量抽出部９で抽出した画像の特徴変化量に反映される。椅子または机などの物体は、変化量が非常に小さい値になる（例えば、図１３の特徴変化量１３０３）。したがって、変化量が規定値より小さい場合、その静止領域は、人以外の物体であると判定する。
　また、人がＴＶまたはパソコンモニタ付近を移動あるいは停止すると、人ではなく、ＴＶやパソコンモニタが静止領域として生成されることがある。このような静止領域では、ＴＶまたはパソコンモニタの画面表示によって、画像の特徴変化量が大きくなる（例えば、図１３の特徴変化量１３０１）。したがって、変化量が規定範囲より大きい場合に、ＴＶまたはパソコンモニタなどの物体であると判定することで、人と誤判定することを防ぐことができる。
　尚、ここでは、静止人物判定部１０で人が居ないと判定すると、動体履歴記憶部６と静止領域画像記憶部８から静止領域を削除するとして説明しているが、特徴変化量抽出部９と静止人物判定部１０で特定時間および特定回数、人の有無の判定を繰り返して、人が居ないと判定し続けた場合に、その判定した静止領域を動体履歴記憶部６と静止領域画像記憶部８から削除してもよい。
　また、静止人物判定部１０で人が居ないと判定し続けたときに、静止領域画像記憶部８に記憶された静止領域の画像を、改めて最新の画像から切り出した静止領域の画像に更新してもよい。そうすることによって、静止画像で判定された人の近くに、他の人が通りかかり、静止画像に他の人の動体領域の画像が重なって、静止領域に静止した人が居るにもかかわらず、画像特徴量が閾値の範囲外になってしまっても、最新の画像から切り出した静止領域の画像から静止した人を検出することができる。
　また、静止人物判定部１０で人が居ないと判定し続けたときに、改めて最新の画像から切り出した複数の静止領域の画像を静止領域画像記憶部８に記憶しておいてもよい。
　また、本実施の形態では、人が居ないと判定した静止領域を動体履歴記憶部６から削除するとして説明したが、例えば、静止領域と判定した位置と、動体抽出部４で抽出された次の画像の動体領域の位置との距離が設定された閾値よりも小さい場合、静止領域の動体が動体領域に遷移したと判定し、動体履歴記憶部６の静止領域を動体領域に変更してもよい。
　次に、人物情報出力部１１の動作を説明する。
　人物情報出力部１１は、所定の時間毎または外部装置からの指示により、動体履歴記憶部６に記憶されている動体領域と静止領域の動体データを取得し、例えばこの動体データの数と位置を人物情報として外部装置に出力する（Ｓ３０）。
　そして、人物の検出が終了しているか否かを判定する（Ｓ３１）。
　人物の検出が終了していれば、人物の検出処理を終了する。
　人物の検出が終了していなければ、Ｓ１の処理に戻る。
　人物情報出力部１１が出力する先は、外部装置の制御装置、または外部システムであってもよい。
　静止人物判定部１０は、人が居ないと判定した静止領域を動体履歴記憶部６から削除するため、動体履歴記憶部６に記憶されている動体領域と静止領域が人の居る領域となる。人物情報とする人の位置は、例えば動体領域または静止領域の中心位置、あるいは動体領域または静止領域の重心位置とする。
　このように生成した人物情報を、例えば照明または空調の制御装置、あるいは機器の管理システムに提供することにより、人の有無、位置、人数に応じて最適な省エネ制御が可能になる。
　照明機器の制御では、赤外線を利用した人感センサでは、静止した人には反応しないため、人がいるのに照明機器が消灯してしまうことがある。また、動いている人でも、センサ範囲のどの位置に人が居るのか分からないため、オフィスや工場など多くの照明機器が設置されている場合には、どの照明機器を調光すれば最適な明るさになるのかが分からない。
　しかし、画像を用いて抽出した動体領域と１つ前のフレームの動体領域との距離に基づいて静止領域を判定し、この静止領域について画像の特徴量の変化量を用いて、人が静止しているか否かを判定するため、静止している人を含めた人の有無、位置、人数を検出することができる。そのため、静止した人を含めて、照明機器を点灯または消灯することができる。また、オフィス、または工場のような多くの照明機器が設置されている場合でも、人の有無、位置、人数に応じて、適切な照明機器の調光の制御を行うことができる。
　また、赤外線を利用した人感センサでは、センサ範囲を絞り、多くのセンサを設置する必要がありコストが高くなってしまうが、画像であれば広範囲の人を検出することができるため、コストを抑えることができる。
　また、省エネ以外では、待ち時間を短縮するエレベータを最適に運行、または混雑度や立ち入り禁止検知による防犯・安全管理など、様々な制御システムに適用することができる。
　以上のように、本発明にかかる人物検出装置および人物検出方法は、画像から抽出した第１の動体領域の位置と、第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、静止領域を判定する。そして、この静止領域の画像の特徴量の変化量を用いて人物の有無を判定するので、膨大な画像特徴量を事前に収集及び登録することなく、静止した人を含めた人物情報で、例えば照明または空調の制御装置を制御することができる。あるいは、エレベータの待ち時間を短縮する運行、または混雑度や立ち入り禁止検知による防犯・安全管理などの様々な機器の管理システムに適用することができる。
１　人物検出装置、２　カメラ、３　画像取得部、４　動体抽出部、５　動体追跡部、６　動体履歴記憶部、７　静止領域保存部、８　静止領域画像記憶部、９　特徴変化量抽出部、１０　静止人物判定部、１１　人物情報出力部、１２　動体領域抽出部、１３　静止領域判定部。

Claims (6)

  1. 　 撮影された画像を取得する画像取得部と、
    　該画像取得部で取得した画像から抽出した第１の動体領域の位置と、該第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、前記第２の動体領域の動体が静止状態である静止領域と判定する静止領域判定部と、
    　前記静止領域の画像の特徴量の変化量を用いて人物の有無を判定する静止人物判定部とを備えたことを特徴とする人物検出装置。
  2. 　前記静止領域判定部は、前記第１の動体領域の位置と、前記第２の動体領域の位置との距離が予め設定された閾値よりも大きく、且つ前記第１の動体領域の画像から抽出された他のすべての動体領域の位置と、前記第２の動体領域の位置との距離が予め設定された閾値よりも大きい場合、前記第２の動体領域を静止領域と判定することを特徴とする請求項１記載の人物検出装置。
  3. 　前記静止人物判定部は、前記静止領域の特徴量の変化量が設定した範囲の場合、静止領域に人が居ると判定することを特徴とする請求項１または請求項２の何れか１項に記載の人物検出装置。
  4. 　前記動体領域の情報を動体の情報として記憶する動体履歴記憶部と、
    　前記動体履歴記憶に記憶された動体の情報から人物の情報を外部に出力する人物情報出力手段を更に備え、
    　前記静止人物判定手段は、人物有りと判定した静止領域の情報を動体の情報として前記動体履歴記憶部に記憶し、
    　前記人物情報出力手段は、前記動体履歴記憶部に記憶された動体の情報から、人の位置と人の数を人物の情報として出力することを特徴とする請求項１～３の何れか１項に記載の人物検出装置。
  5. 　前記静止人物判定は、人物無しと判定した前記静止領域に対して、前記第１の動体領域を抽出した画像より後の画像から新たに抽出した当該静止領域の情報を用いて人物有りと判定すると、当該静止領域の情報を動体の情報として前記動体履歴記憶部に記憶することを特徴とする請求項４に記載の人物検出装置。
  6. 　撮影された画像を用いて人物を検出する人物検出装置の人物検出方法において、
    　撮影された画像を取得する画像取得ステップと、
    　該画像取得ステップで取得した画像から抽出した第１の動体領域の位置と、該第１の動体領域の画像より前の画像から抽出した第２の動体領域の位置との距離に基づいて、前記第２の動体領域の動体が静止状態である静止領域と判定する静止領域判定ステップと、
    　前記静止領域の画像の特徴量の変化量を用いて人物の有無を判定する静止人物判定ステップとを備えたことを特徴とする人物検出方法。
PCT/JP2015/000356 2014-03-11 2015-01-28 人物検出装置および人物検出方法 WO2015136828A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016507283A JP6266088B2 (ja) 2014-03-11 2015-01-28 人物検出装置および人物検出方法
CN201580012286.8A CN106104631B (zh) 2014-03-11 2015-01-28 人物检测装置及人物检测方法
US15/118,420 US10026019B2 (en) 2014-03-11 2015-01-28 Person detecting device and person detecting method
GB1613448.8A GB2537780B (en) 2014-03-11 2015-01-28 Person detecting device and person detecting method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014047281 2014-03-11
JP2014-047281 2014-03-11

Publications (1)

Publication Number Publication Date
WO2015136828A1 true WO2015136828A1 (ja) 2015-09-17

Family

ID=54071291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/000356 WO2015136828A1 (ja) 2014-03-11 2015-01-28 人物検出装置および人物検出方法

Country Status (5)

Country Link
US (1) US10026019B2 (ja)
JP (1) JP6266088B2 (ja)
CN (1) CN106104631B (ja)
GB (1) GB2537780B (ja)
WO (1) WO2015136828A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6573744B2 (ja) * 2017-03-06 2019-09-11 三菱電機株式会社 物体追跡装置及び物体追跡方法
CN109812934B (zh) * 2019-01-29 2021-05-25 广东美的制冷设备有限公司 送风系统、送风方法及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199701A (ja) * 2009-02-23 2010-09-09 Fujitsu Ltd 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2011198244A (ja) * 2010-03-23 2011-10-06 Hiromitsu Hama 対象物認識システム及び該システムを利用する監視システム、見守りシステム
WO2013187047A1 (ja) * 2012-06-13 2013-12-19 パナソニック株式会社 物体検出装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05205175A (ja) 1992-01-24 1993-08-13 Hitachi Ltd 物体検出装置
JP3230509B2 (ja) 1998-06-26 2001-11-19 日本電気株式会社 動画像処理装置
US7133537B1 (en) * 1999-05-28 2006-11-07 It Brokerage Services Pty Limited Method and apparatus for tracking a moving object
JP2002197463A (ja) 2000-12-26 2002-07-12 Matsushita Electric Ind Co Ltd 挙動検出装置および挙動検出システム
US7167576B2 (en) * 2001-07-02 2007-01-23 Point Grey Research Method and apparatus for measuring dwell time of objects in an environment
JP2004094518A (ja) 2002-08-30 2004-03-25 Oki Electric Ind Co Ltd 人物追跡装置、人物追跡方法及びプログラム
CN100474339C (zh) * 2004-08-03 2009-04-01 松下电器产业株式会社 人物判定装置
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
FR2916562B1 (fr) * 2007-05-22 2010-10-08 Commissariat Energie Atomique Procede de detection d'un objet en mouvement dans un flux d'images
JP5154461B2 (ja) 2009-01-27 2013-02-27 セコム株式会社 移動物体追跡装置
JP5214533B2 (ja) 2009-05-21 2013-06-19 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
JP5570176B2 (ja) * 2009-10-19 2014-08-13 キヤノン株式会社 画像処理システム及び情報処理方法
WO2012014430A1 (ja) * 2010-07-27 2012-02-02 パナソニック株式会社 移動体検出装置および移動体検出方法
JP2012054810A (ja) * 2010-09-02 2012-03-15 Olympus Corp 画像処理装置、画像処理方法、撮像装置、および画像処理プログラム
JP5758165B2 (ja) 2011-03-30 2015-08-05 セコム株式会社 物品検出装置および静止人物検出装置
JP5669648B2 (ja) 2011-03-30 2015-02-12 セコム株式会社 異常検知装置
CN102496024B (zh) * 2011-11-25 2014-03-12 山东大学 智能监控中以特征帧触发的事件检测方法
US9247211B2 (en) * 2012-01-17 2016-01-26 Avigilon Fortress Corporation System and method for video content analysis using depth sensing
US9330468B2 (en) * 2012-02-29 2016-05-03 RetailNext, Inc. Method and system for analyzing interactions
JPWO2013187037A1 (ja) * 2012-06-14 2016-02-04 パナソニックＩｐマネジメント株式会社 ミキサ、ミキサ装置、およびこれらを備えた無線受信機
JP6276519B2 (ja) * 2013-05-22 2018-02-07 株式会社 日立産業制御ソリューションズ 人数計測装置および人物動線解析装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010199701A (ja) * 2009-02-23 2010-09-09 Fujitsu Ltd 画像処理装置、画像処理方法、及び、画像処理プログラム
JP2011198244A (ja) * 2010-03-23 2011-10-06 Hiromitsu Hama 対象物認識システム及び該システムを利用する監視システム、見守りシステム
WO2013187047A1 (ja) * 2012-06-13 2013-12-19 パナソニック株式会社 物体検出装置

Also Published As

Publication number Publication date
JP6266088B2 (ja) 2018-01-24
GB2537780A (en) 2016-10-26
US10026019B2 (en) 2018-07-17
JPWO2015136828A1 (ja) 2017-04-06
CN106104631A (zh) 2016-11-09
CN106104631B (zh) 2019-03-01
US20170169312A1 (en) 2017-06-15
GB2537780B (en) 2019-04-17

Similar Documents

Publication Publication Date Title
KR101337060B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN107958258B (zh) 用于追踪限定区域中的对象的方法和系统
JP5369175B2 (ja) 映像によるエレベータドアの検出装置および検出方法
US20160142680A1 (en) Image processing apparatus, image processing method, and storage medium
KR102376479B1 (ko) 인공지능 기반 객체 자동 인식을 위한 cctv 제어 방법, 장치 및 시스템
WO2018096787A1 (ja) 人物行動監視装置および人物行動監視システム
US8165348B2 (en) Detecting objects crossing a virtual boundary line
JPWO2017122258A1 (ja) 混雑状況監視システム及び混雑状況監視方法
US20070229663A1 (en) Image processing apparatus, monitoring camera, and image monitoring system
US9336444B2 (en) System and method for occupancy detection using differential image sensing and optical markers
JP2006221355A (ja) 監視装置及び監視システム
US10373015B2 (en) System and method of detecting moving objects
TWI438702B (zh) 影像環境邊界之動態設定方法及人員活動內容之即時判定方法
US20130293721A1 (en) Imaging apparatus, imaging method, and program
KR20150051630A (ko) 사람들의 움직임 불규칙성을 이용한 폭력 행위 검출 장치 및 방법
WO2019220589A1 (ja) 映像解析装置、映像解析方法、及びプログラム
JP6266088B2 (ja) 人物検出装置および人物検出方法
KR101826669B1 (ko) 동영상 검색 시스템 및 그 방법
JP5758165B2 (ja) 物品検出装置および静止人物検出装置
KR20200056498A (ko) 무인 매장 내 안전사고 예방을 위한 딥러닝 기반 실시간 잔류자 감지 방법 및 이를 이용한 잔류자 감지 시스템
JP6253950B2 (ja) 画像監視システム
KR102464196B1 (ko) 빅데이터 기반 영상 감시시스템
JP2009044526A (ja) 撮影装置、撮影方法、人物認識装置および人物認識方法
KR102270858B1 (ko) 객체 추적을 위한 cctv 카메라 시스템
KH et al. Smart CCTV surveillance system for intrusion detection with live streaming

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15762442

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016507283

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 201613448

Country of ref document: GB

Kind code of ref document: A

Free format text: PCT FILING DATE = 20150128

WWE Wipo information: entry into national phase

Ref document number: 1613448.8

Country of ref document: GB

WWE Wipo information: entry into national phase

Ref document number: 15118420

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15762442

Country of ref document: EP

Kind code of ref document: A1