WO2020202865A1 - 人検出装置および人検出方法 - Google Patents

人検出装置および人検出方法 Download PDF

Info

Publication number
WO2020202865A1
WO2020202865A1 PCT/JP2020/006537 JP2020006537W WO2020202865A1 WO 2020202865 A1 WO2020202865 A1 WO 2020202865A1 JP 2020006537 W JP2020006537 W JP 2020006537W WO 2020202865 A1 WO2020202865 A1 WO 2020202865A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
human body
person
body candidate
candidate
Prior art date
Application number
PCT/JP2020/006537
Other languages
English (en)
French (fr)
Inventor
田中　清明
郁奈 辻
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to US17/599,679 priority Critical patent/US11948363B2/en
Priority to DE112020001706.0T priority patent/DE112020001706T5/de
Priority to CN202080025635.0A priority patent/CN113646803B/zh
Publication of WO2020202865A1 publication Critical patent/WO2020202865A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Definitions

  • the present invention relates to a technique for detecting a person using an image of a fisheye camera.
  • the image taken with the fisheye camera is greatly distorted. Therefore, when detecting a human body, face, etc. from an image of a fisheye camera (hereinafter referred to as a "fisheye image”), the fisheye image is expanded in a plane in advance to correct it to an image with less distortion, and then the detection is performed.
  • a method of subjecting to processing is common (see Patent Document 1).
  • the conventional technology has the following problems.
  • One is the problem that the overall processing cost increases due to the preprocessing of developing the fisheye image in a plane. This is not preferable because it makes real-time detection processing difficult and may cause delay in device control.
  • the second problem is that the image of a person or an object that exists at the boundary (image break) at the time of plane expansion, such as directly under the fisheye camera, is greatly deformed by the plane expansion process. There is a risk that it will not be detected correctly because it is divided.
  • the present inventors are studying an approach in which a fisheye image is directly subjected to detection processing (meaning "without plane expansion").
  • detection processing meaning "without plane expansion”
  • the variation in the appearance (tilt, distortion, size of the human body) of the person to be detected increases, which makes detection difficult.
  • objects such as chairs, personal computers, trash cans, electric fans, and circulators that are easily mistaken for the human body or head in the image. For this reason, erroneous detection in which an object is recognized as a human body increases, which tends to cause a decrease in detection accuracy.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a technique for detecting a person from a fisheye image at high speed and with high accuracy.
  • the present invention adopts the following configuration.
  • the first aspect of the present invention is a human detection device that detects a person existing in the detection target area by analyzing a fisheye image obtained by a fisheye camera installed above the detection target area.
  • the human body candidate is erroneously detected based on the positional relationship between the detection unit that detects the human body candidate and the object from the fisheye image, the detection position of the human body candidate, and the detection position of the object existing in the vicinity of the human body candidate.
  • a person detection device characterized by having a false detection determination unit for determining whether or not the image is.
  • a “fisheye camera” is a camera equipped with a fisheye lens, which is capable of shooting at an ultra-wide angle compared to a normal camera.
  • Omnidirectional cameras and spherical cameras are also types of fisheye cameras.
  • the fisheye camera may be installed so as to look down on the detection target area from above the detection target area.
  • the optical axis of the fisheye camera is installed so as to face vertically downward, but the optical axis of the fisheye camera may be tilted with respect to the vertical direction.
  • the "human body” may be the whole body of a person or the half body (for example, the upper body, the head and the torso, etc.). Since the detection result detected as a human body may include an object that is not a human body, it is also called a "human body candidate" at the stage of detection. Examples of “objects” include chairs, desks, shelves, etc. in offices, workbenches in factories, various devices, and the like.
  • the "detection position of the human body candidate” may specify the positional relationship with the detection position of the object as the entire area surrounding the human body candidate, and the positional relationship with the detection position of the object as the central coordinates of the area surrounding the human body candidate. May be specified.
  • the "detection position of the object” may be the entire area surrounding the object, or may be the center coordinates of the area surrounding the object.
  • the "positional relationship” includes a positional relationship in which a human body candidate and an object overlap, a positional relationship in which a human body candidate exists adjacent to an object, and the like.
  • the present invention simplifies highly accurate human detection by verifying the validity of the positional relationship between the detected position of the detected human body candidate and the detection position of an object existing around the human body candidate and performing an erroneous detection determination. It can be realized by various processing. Moreover, since preprocessing such as plane expansion of the fisheye image is not required, high-speed processing can be realized. Further, from the viewpoint of device management, it is possible to suitably control lighting or air conditioning by improving the accuracy of person detection.
  • the detection unit may specify the type of the object, and the false detection determination unit may determine whether or not the human body candidate is false detection based on the type of the object.
  • the assumed positional relationship with the human body differs depending on the type of object. For example, the human body sits on a chair but does not sit on a desk.
  • the present invention considers the type of the object, verifies the validity of the positional relationship between the detection position of the human body candidate and the detection position of the object, and makes an erroneous detection determination, thereby making the human body more accurate. Can be detected.
  • the detection unit sets an exclusion region for the object, and the false detection determination unit determines whether the human body candidate is erroneous detection based on the positional relationship between the detection position of the human body candidate and the exclusion region of the object. It may be used to determine whether or not.
  • the "exclusion area" is an area surrounding an object that is not supposed to overlap with the human body.
  • the detection unit can determine that the detection of the human body candidate is an erroneous detection, for example, when the detection position of the human body candidate overlaps with the exclusion region or when the center of the human body candidate is included in the exclusion region.
  • the exclusion area may be preset for known objects. Further, the exclusion area may be an area surrounding the object, excluding the area having a predetermined width from the surrounding area. According to the present invention, the human body can be detected more accurately by verifying the validity of the positional relationship between the detection position of the human body candidate and the exclusion region of the object and making a false detection determination.
  • the false detection determination unit determines whether or not the human body candidate is falsely detected based on the ratio of the region surrounding the human body candidate to the region surrounding the object or the region overlapping the exclusion region of the object. It may be.
  • the ratio of the overlapping regions can be calculated by dividing the area of the overlapping regions by the area of the region surrounding the human body candidate.
  • the erroneous detection determination unit can determine that the detection of the human body candidate is erroneous detection when the calculated ratio is larger than a predetermined threshold value.
  • the human body can be detected more accurately by verifying the validity of the positional relationship according to the degree of overlap between the human body candidate and the object and performing a false detection determination.
  • Another embodiment of the present invention is a human detection device that detects a person existing in the detection target area by analyzing a fisheye image obtained by a fisheye camera installed above the detection target area.
  • the posture of the human body candidate is estimated based on the positional relationship between the detection unit that detects the human body candidate and the object from the fisheye image, the detection position of the human body candidate, and the detection position of the object existing around the human body candidate.
  • a person detecting device characterized by having a posture estimating unit and a posture estimating unit.
  • the posture estimation unit can estimate the posture such as whether the human body is standing or sitting based on the positional relationship with the object.
  • the human detection device can detect the human body with higher accuracy including the posture of the human. By estimating the posture of a person, equipment management such as lighting or air conditioning can be appropriately controlled.
  • the posture estimation unit performs the operation of the human body candidate based on the change in the positional relationship between the detection position of the human body candidate and the detection position of the object from the frame before the fisheye image. It may be an estimate.
  • the movement of the human body can be estimated from the change in the positional relationship between the detection position of the human body candidate and the detection position of the object.
  • the posture estimation unit can estimate movements such as standing up and sitting on the human body based on the change in the positional relationship with the object.
  • the human detection device can detect the human body more accurately, including human movements. By estimating the movement of a person, equipment management such as lighting or air conditioning can be appropriately controlled.
  • a second aspect of the present invention is a human detection method for detecting a person existing in the detection target area by analyzing a fisheye image obtained by a fisheye camera installed above the detection target area.
  • the human body candidate is erroneously detected based on the positional relationship between the detection step of detecting the human body candidate and the object from the fisheye image and the detection position of the human body candidate and the detection position of the object existing in the vicinity of the human body candidate.
  • a person detection method characterized by having a false detection determination step for determining whether or not the above.
  • the present invention may be regarded as a person detection device having at least a part of the above means, a person recognition device that recognizes (identifies) the detected person, a person tracking device that tracks the detected person, or an image processing device. You may think of it as a monitoring system. Further, the present invention may be regarded as a person detection method, a person recognition method, a person tracking method, an image processing method, and a monitoring method including at least a part of the above processing. Further, the present invention can also be regarded as a program for realizing such a method and a recording medium in which the program is recorded non-temporarily. The present invention can be constructed by combining each of the above means and treatments with each other as much as possible.
  • FIG. 1 is a diagram showing an application example of the person detection device according to the present invention.
  • FIG. 2 is a diagram showing an example of a fisheye image and a bounding box.
  • FIG. 3 is a diagram showing a configuration example of a monitoring system including a human detection device.
  • FIG. 4 is a flowchart of the person detection process.
  • FIG. 5 is a diagram showing an example of the detection result of the human body candidate by the detection unit.
  • FIG. 6 is a diagram showing an example of the detection result of the object by the detection unit.
  • FIG. 7 is a diagram illustrating a false positive elimination list.
  • FIG. 8 is a diagram illustrating determination of erroneous detection based on the positional relationship with the object.
  • FIG. 9 is a diagram for explaining the determination of erroneous detection based on the ratio of the region overlapping the object.
  • FIG. 10 is a diagram showing a configuration example of a monitoring system including a person detection device according to a modified example.
  • FIG. 11 is a flowchart of the human posture estimation process.
  • the person detection device 1 analyzes the fisheye image obtained by the fisheye camera 10 installed above the detection target area 11 (for example, the ceiling 12), and detects the person 13 existing in the detection target area 11. It is a device to do.
  • the person detection device 1 detects, recognizes, and tracks a person 13 who works in the detection target area 11 in, for example, an office or a factory.
  • the human detection device 1 detects a human body candidate from a fisheye image.
  • the regions of each of the three human bodies detected from the fisheye image are indicated by the rectangular bounding box 14.
  • a laptop computer placed on a desk is erroneously detected as a human body and is shown in the bounding box 14.
  • the bounding box 14 is a closed figure or a border representing an area surrounding a human body candidate.
  • the detection result of the human body candidate includes the detection position of the human body candidate.
  • the human detection device 1 also detects an object from a fisheye image.
  • the detected object may be indicated by the bounding box so as to be distinguishable from the bounding box 14 of the human body candidate.
  • the person detection device 1 can also specify the type of an object such as a desk, a chair, a workbench, or a stepping stone by using a dictionary prepared in advance for detecting the object.
  • the object detection result includes the object detection position and the object type.
  • the human detection device 1 identifies an object existing in the vicinity of the human body candidate, and the human body candidate is erroneously detected based on the positional relationship between the detection position of the human body candidate and the detection position of the object existing in the vicinity of the human body candidate. Determine if it exists. Human body candidates determined to be erroneously detected are excluded from the human body detection results.
  • the detection result of the human body by the human detection device 1 is output to an external device, and is used for, for example, counting the number of people, controlling various devices such as lighting and air conditioning, and monitoring suspicious persons.
  • the fisheye image has a characteristic that the shape and size of the bounding box 14 change according to the detection position on the image.
  • the human detection device 1 considers such characteristics of the fisheye image and makes a false detection determination by a simple method of verifying the validity of the shape and size of the detected bounding box 14 of the human body candidate. It has one of the features in that it determines whether or not it is a false detection. Further, the human detection device 1 is also characterized in that the fisheye image is used as it is (that is, without preprocessing such as plane expansion and distortion correction) for human detection processing.
  • FIG. 2 shows an example of a fisheye image captured from the fisheye camera 10.
  • the image coordinate system has the origin (0,0) at the lower left corner of the fisheye image, the x-axis on the right side in the horizontal direction, and the y-axis on the upper side in the vertical direction.
  • Reference numerals 14a to 14f indicate bounding boxes arranged so as to surround a region of the human body in the fisheye image.
  • a rectangular bounding box composed of four sides parallel to the x-axis or the y-axis is used.
  • the bounding box (for example, 14a) existing in the central area of the fisheye image is substantially square.
  • the bounding boxes (for example, 14b and 14c) existing in the area at an angle of 45 degrees with respect to the central area are also substantially square.
  • the bounding boxes (for example, 14d) existing in the upper and lower areas of the central area become vertically long rectangles (rectangles having long sides parallel to the y-axis), and the closer to the center of the image, the closer to the square, and the center of the image. The farther away it is, the longer it becomes.
  • the bounding boxes (eg, 14e, 14f) existing in the areas on the left and right sides of the central area become horizontally long rectangles (rectangles with long sides parallel to the x-axis), and the closer to the center of the image, the closer to the square, and the closer to the center of the image, the closer to the square. The farther away from the center, the longer it becomes.
  • the fisheye image has a characteristic that the shape of the bounding box (for example, the aspect ratio) changes depending on the azimuth and distance with respect to the image center.
  • the aspect ratio of the bounding box for each position or area on the fisheye image is based on the optical characteristics of the fisheye camera 10, the positional relationship between the fisheye camera 10 and the detection target area 11, and the average human body size. It is possible to calculate (predict) geometrically.
  • the size of the human body is the largest at the center of the fisheye image and becomes smaller toward the edges. That is, the fisheye image has a characteristic that the size (for example, area) of the bounding box changes depending on the distance with respect to the center of the image (the size decreases as the distance increases).
  • the area of the bounding box for each position or area on the fisheye image is also based on the optical characteristics of the fisheye camera 10, the positional relationship between the fisheye camera 10 and the detection target area 11, and the average size of the human body. It is possible to calculate (predict) geometrically.
  • FIG. 3 is a block diagram illustrating the configuration of the monitoring system 2 to which the person detection device 1 according to the embodiment of the present invention is applied.
  • the monitoring system 2 includes a fisheye camera 10 and a person detection device 1.
  • the fisheye camera 10 is an image pickup device having an optical system including a fisheye lens and an image sensor (image sensor such as CCD or CMOS). As shown in FIG. 1, the fisheye camera 10 is installed on the ceiling 12 of the detection target area 11 with the optical axis facing vertically downward, and images of the detection target area 11 in all directions (360 degrees) are captured. You should take a picture.
  • the fisheye camera 10 is connected to the human detection device 1 by wire (USB cable, LAN cable, etc.) or wirelessly (WiFi, etc.), and the image data captured by the fisheye camera 10 is taken into the human detection device 1.
  • the image data may be either a monochrome image or a color image, and the resolution, frame rate, and format of the image data are arbitrary. In this embodiment, it is assumed that a monochrome image captured at 10 fps (10 images per second) is used.
  • the person detection device 1 of the present embodiment has an image input unit 20, a detection unit 21, a storage unit 23, a determination standard list 24, a false detection determination unit 25, and an output unit 26.
  • the image input unit 20 has a function of capturing image data from the fisheye camera 10. The captured image data is delivered to the detection unit 21. This image data may be stored in the storage unit 23.
  • the detection unit 21 has a function of detecting a human body candidate from a fisheye image by using an algorithm for detecting a human body.
  • the human body detection dictionary 22A is a dictionary in which image features of the human body appearing in the fisheye image are registered in advance. Further, the detection unit 21 has a function of detecting an object existing around the human body from the fisheye image by using an algorithm for detecting an object other than the human body.
  • the object detection dictionary 22B is a dictionary in which image features of an object appearing in a fisheye image are registered in advance. In the object detection dictionary 22B, image features are registered for each type of object such as a desk, chair, shelf, and stepladder. The detection unit 21 can specify the type of the detected object by referring to the object detection dictionary 22B.
  • the storage unit 23 has a function of storing fisheye images, detection results, and the like.
  • the storage unit 23 distinguishes between the human body and the object detected by the detection unit 21 and stores them.
  • the determination standard list 24 has a function of storing information used for determining whether or not it is an erroneous detection or recognizing the posture of the human body based on the positional relationship between the human body and the object. This information is set in advance prior to the operation of the monitoring system 2 (for example, at the time of factory shipment, installation, maintenance, etc. of the monitoring system 2). Further, it may be updated after the monitoring system 2 is operated.
  • the false detection determination unit 25 has a function of verifying the detection result of the detection unit 21 and determining the presence or absence of false detection.
  • the output unit 26 has a function of outputting information such as a fisheye image and a detection result to an external device.
  • the output unit 26 may display information on a display as an external device, transfer information to a computer as an external device, or for a lighting device, an air conditioner, or an FA device as an external device. Information and control signals may be transmitted.
  • the person detection device 1 can be configured by, for example, a computer equipped with a CPU (processor), memory, storage, and the like.
  • a computer equipped with a CPU (processor), memory, storage, and the like.
  • the configuration shown in FIG. 3 is realized by loading the program stored in the storage into the memory and executing the program by the CPU.
  • a computer may be a general-purpose computer such as a personal computer, a server computer, a tablet terminal, or a smartphone, or an embedded computer such as an onboard computer.
  • all or part of the configuration shown in FIG. 3 may be configured by ASIC, FPGA, or the like.
  • all or part of the configuration shown in FIG. 3 may be realized by cloud computing or distributed computing.
  • FIG. 4 is a flowchart of the person detection process by the person detection device 1. The overall flow of the person detection process will be described with reference to FIG. The flowchart of FIG. 4 shows processing for a one-frame fisheye image. When the fisheye image is input at 10 fps, the process of FIG. 4 is executed 10 times per second.
  • the image input unit 20 inputs one frame of fisheye image from the fisheye camera 10 (step S40).
  • image processing such as detection and recognition is performed, but in the monitoring system 2 of the present embodiment, , The fisheye image is used as it is (distorted) for detection and recognition processing.
  • the detection unit 21 detects the human body and objects existing around the human body from the fisheye image (step S41).
  • the detection unit 21 may execute a process of detecting a human body and detecting an object existing around the human body for each human body. Further, the detection unit 21 may detect an object and a human body included in the fisheye image, and then specify an object existing in the vicinity of each detected human body.
  • the detection unit 21 can store the detected human body and an object existing around the human body in the storage unit 23 in association with each other.
  • the detection unit 21 identifies the type of detected object (desk, chair, shelf, stepladder, etc.). Identification of the type of object is also referred to as object recognition. The detection result of the object detected by the detection unit 21 is used for determining the false detection of the human body.
  • the detection unit 21 may erroneously detect an object that is not a human body (for example, an object whose shape or color is confusing with the human body, such as a fan, a desk chair, or a coat rack). Since the detection result detected by the detection unit 21 as a human body may include an object that is not a human body, it is called a "human body candidate" at this stage.
  • FIG. 5 is an example of the detection result of the human body candidate by the detection unit 21.
  • a non-human body 53 is also detected as a human body candidate.
  • Reference numerals 50a to 53a indicate bounding boxes for each human body candidate.
  • the detection result of the human body candidate may include, for example, information on a bounding box indicating the area of the detected human body candidate and information on the reliability of detection (probability of being a human body).
  • the information of the bounding box may include, for example, the center coordinates (x, y) of the bounding box, the height h, and the width w (corresponding to the detection position of the human body candidate).
  • the detection result of the human body candidate is stored in the storage unit 23.
  • Any algorithm may be used for human body detection.
  • a classifier that combines image features such as HoG and Har-like with boosting may be used, or human body recognition by deep learning (for example, R-CNN, Fast R-CNN, YOLO, SSD, etc.) may be used. You may.
  • the whole body of a person is detected as a human body, but the present invention is not limited to this, and a part of the body such as the upper body may be detected.
  • FIG. 6 is an example of the detection result of the object by the detection unit 21.
  • objects 60 to 66 are detected.
  • the object detection result includes, for example, bounding box information indicating the area of the detected object and the type of the object.
  • the information of the bounding box may include, for example, the center coordinates (x, y) of the bounding box, the height h, and the width w (corresponding to the detection position of the object).
  • the bounding box information is stored in the storage unit 23.
  • the object 60 is recognized as a desk, and a "desk” is stored in the storage unit 23 as the type of the object. Further, the objects 61 to 66 are recognized as chairs, and the “chair” is stored in the storage unit 23 as the type of the object. Reference numerals 60a indicate a bounding box for the object 60 (desk), and reference numerals 61a to 66a indicate a bounding box for the objects 61 to 66 (chairs).
  • the detection result of the object shown in FIG. 6 may be superimposed on the detection result of the human body candidate shown in FIG. 5 and displayed on the display as an external device via the output unit 26.
  • Any algorithm may be used for object detection and object recognition, and detection and recognition by boosting (machine learning) or deep learning is possible in the same way as human body detection.
  • detection and recognition by boosting machine learning
  • deep learning deep learning
  • object recognition by machine learning it is also possible to train an object existing in the detection target area 11 as teacher data in advance.
  • the false detection determination unit 25 determines false detection for each of the bounding boxes 50a to 53a included in the detection result of the human body candidate by the detection unit 21 (step S42). Whether or not it is a false detection is determined based on the positional relationship between each human body candidate and the object detected in step S41. For example, when the ratio of the region overlapping with another object is larger than a predetermined threshold value, that is, when it exists on another object, it is assumed that the human body candidate is not a human body. In the example of FIG. 5, it is determined that the human body candidate 53 is not a human body but is erroneously detected because the whole body overlaps with the desk. Details of the false positive determination will be described later.
  • the erroneous detection determination unit 25 corrects the detection result stored in the storage unit 23 (step). S44). Specifically, the false detection determination unit 25 may exclude the information of the human body candidate determined to be false detection from the detection result, or may lower the reliability of the human body candidate determined to be false detection. Good. Finally, the output unit 26 outputs the detection result to the external device (step S45). This completes the processing for the fisheye image of one frame.
  • the fisheye image is analyzed as it is, and the person is detected directly from the fisheye image. Therefore, preprocessing such as plane expansion and distortion correction of the fisheye image can be omitted, and high-speed human detection processing is possible.
  • the method of using the fisheye image as it is for the detection process has a problem that the detection accuracy is lowered as compared with the method of performing the detection process after plane development (distortion correction). In the present embodiment, since false detection is eliminated by verifying the positional relationship with an object existing around the human body, highly accurate detection can be realized.
  • the erroneous detection determination unit 25 determines whether or not the human body candidate is erroneous detection based on the positional relationship between the detection position of the human body candidate and the detection position of the object existing around the human body candidate.
  • the positional relationship includes, for example, a positional relationship in which the human body candidate and the object overlap, and a positional relationship in which the human body candidate exists adjacent to the object.
  • the false positive determination unit 25 may further determine false positives according to the types of overlapping objects or the types of adjacent objects. Further, the erroneous detection determination unit 25 may determine erroneous detection according to the degree of overlap between the human body candidate and the object or the distance between the adjacent objects.
  • Judgment based on positional relationship and type of object A person may exist at a position adjacent to a desk in a conference room or a workbench in a factory, or may exist so that hands overlap, but the desk or workbench It is not expected to get on top. On the other hand, a person may sit or climb on a chair or stepladder. In this way, when the human body candidate to be determined is in a positional relationship such that it overlaps with the object or is adjacent to the object, it is possible to determine whether or not the human body candidate is a human body based on the type of the object.
  • the determination of erroneous detection when the human body candidate overlaps with the object will be described.
  • the object detected in step S41 is stored in the storage unit 23 together with the type of the object.
  • the criterion list 24 includes a false positive elimination list that defines the types of objects that are not expected to overlap.
  • FIG. 7 is a diagram illustrating a false positive elimination list. As illustrated in FIG. 7, it is assumed that people do not overlap on desks, shelves, line workbenches (workbenches for performing a series of processes such as production and assembly by assembly line), workbenches, etc. It is an object.
  • the erroneous detection determination unit 25 identifies an object that overlaps with the human body candidate to be determined from the objects detected in step S41.
  • the center coordinates (x, y), height h, and width w of the bounding box of the object detected in step S41 are stored in the storage unit 23. Therefore, the erroneous detection determination unit 25 identifies an object in which the bounding box of the human body candidate and the bounding box of the object overlap as an object that overlaps with the human body candidate. Whether or not the bounding box of the human body candidate and the bounding box of the object overlap can be determined by using the distance between the center coordinates of each bounding box and the height h and width w of each bounding box.
  • each human body candidate is stored in the storage unit 23 in association with the object that overlaps with each human body candidate. ..
  • the erroneous detection determination unit 25 can acquire (identify) an object that overlaps with the human body candidate by referring to the storage unit 23.
  • the false detection determination unit 25 acquires the type of the object from the detection result of the object that overlaps with the human body candidate.
  • the false positive determination unit 25 determines whether or not the acquired object type is included in the false positive removal list shown in FIG. 7. When the type of the object is included in the false detection / removal list, the false detection determination unit 25 determines that the detection of the human body candidate in step S41 was false detection.
  • the bounding box 53a of the human body candidate 53 in FIG. 5 overlaps with the bounding box 60a of the object 60 in FIG.
  • the type of object 60 is a "desk”. Since the false detection removal list includes a "desk”, the false positive determination unit 25 can determine that the detection of the human body candidate 53 was a false detection.
  • the false detection determination unit 25 determines that the detection of the human body candidate in step S41 was false detection, for example, when the center coordinates of the human body candidate are included in the exclusion region set for the object overlapping the human body candidate. can do. Further, the erroneous detection determination unit 25 may determine that the detection of the human body candidate in step S41 was erroneous detection when the bounding box of the human body candidate overlaps with the exclusion region.
  • the exclusion area is set for each object detected in step S41.
  • the detection unit 21 can set a region excluding a region having a predetermined width from the periphery of the bounding box as an exclusion region.
  • the back side may be set as an exclusion area. In this way, the detection unit 21 can also set the exclusion region based on the type of the detected object.
  • the detection unit 21 calculates the center coordinates (x, y), height h, and width w of the set exclusion area for each detected object, and stores them in the storage unit 23.
  • the erroneous detection determination unit 25 can determine whether or not the center coordinates of the human body candidate are included in the exclusion area of the overlapping objects by referring to the information of the exclusion area stored in the storage unit 23.
  • the exclusion area 60b indicated by the alternate long and short dash line is set in the object 60 (desk) detected as an object.
  • the bounding box 50a of the human body candidate 50 overlaps the bounding box 60a of the desk 60, but does not overlap the exclusion area 60b.
  • the false detection determination unit 25 can determine that the detection of the human body candidate 50 is not false detection.
  • the bounding box 53a of the human body candidate 53 overlaps with the exclusion area 60b. Since the center coordinates of the bounding box 53a are included in the exclusion region 60b, the erroneous detection determination unit 25 can determine that the detection of the human body candidate 53 is erroneous detection.
  • the false detection determination unit 25 uses the ratio of the region where the human body candidate overlaps with the object to determine whether or not the human body candidate is a human body. Can be determined. That is, the false detection determination unit 25 can determine whether or not the human body candidate is a human body, based on the positional relationship between the human body candidate and the object, which is determined by how much the human body candidate overlaps with the object.
  • the ratio of the area where the human body candidate overlaps the object can be calculated as, for example, the ratio of the area occupied by the bounding box of the overlapping object to the bounding box of the human body candidate.
  • the erroneous detection determination unit 25 determines that the detection of the human body candidate in step S41 was erroneous detection when the calculated ratio is larger than the predetermined threshold value.
  • the predetermined threshold value may be set according to the type of the object. For example, a predetermined threshold value can be set to 30% when the object type is a desk and 80% when the object type is a chair.
  • a predetermined threshold value for the chair can be set to a value larger than that of the desk.
  • the predetermined threshold value is stored in the determination standard list 24 in advance.
  • the human body candidate 50 overlaps the desk 60 and the chair 62.
  • the area where the bounding box 50a of the human body candidate 50 and the bounding box 60a of the desk 60 overlap is defined as the area A1.
  • the area where the bounding box 50a of the human body candidate 50 and the bounding box 62a of the chair 62 overlap is defined as the area A2. If the ratio of the region A1 to the bounding box 50a is equal to or less than the threshold value, the false detection determination unit 25 can determine that the detection is not false detection. Further, if the ratio of the region A2 to the bounding box 50a is equal to or less than the threshold value, the false detection determination unit 25 can determine that the detection is not false detection.
  • the human body candidate 53 overlaps with the desk 60.
  • the bounding box 53a of the human body candidate 53 is included in the area of the bounding box 60a of the desk 60. Therefore, the ratio of the region where the bounding box 60a of the desk 60 overlaps with the bounding box 53a of the human body candidate 53 is 100%. Assuming that the predetermined threshold value for the desk is 30%, the ratio of the region where the bounding box 60a overlaps the bounding box 53a exceeds the threshold value. Therefore, the erroneous detection determination unit 25 can determine that the detection of the human body candidate in step S41 was erroneous detection.
  • the erroneous detection determination unit 25 may determine whether or not the detection of the human body candidate is erroneous detection based on the ratio of the region where the bounding box of the human body candidate and the exclusion region of the object overlap.
  • the human detection device 1 detects an object existing around the human body and the human body candidate from the fisheye image.
  • the human detection device 1 determines whether or not the detection of the human body candidate is erroneous detection based on the positional relationship between the detection position of the human body candidate and the detection position of the object. As a result, the human detection device 1 can detect a person from the fisheye image at high speed and with high accuracy.
  • the human detection device 1 may determine whether or not the detection of the human body candidate is an erroneous detection based on the positional relationship between the detection position of the human body candidate and the detection position of the object and the type of the object. Since the validity of the positional relationship between the human body candidate and the object is verified according to the type of the object, the human body can be detected more accurately.
  • the human body detection device 1 may determine whether or not the human body candidate is erroneously detected based on the positional relationship between the detection position of the human body candidate and the exclusion area of the object.
  • the exclusion area is set as an area that does not overlap with the human body. Since the human body candidate overlapping the exclusion region can be determined to have been erroneously detected, the human body detection device 1 can detect the human body more accurately.
  • the human body detection device 1 may determine whether or not the human body candidate is erroneously detected based on the ratio of the region where the human body candidate overlaps the object. Since the human detection device 1 verifies the validity of the positional relationship according to how much the human body candidate overlaps with the object and makes an erroneous detection determination, the human body can be detected more accurately.
  • ⁇ Modification example> it is determined whether or not the detection of the human body candidate is erroneous detection based on the positional relationship between the human body and surrounding objects.
  • the posture of the human body is estimated from the positional relationship between the human body and surrounding objects.
  • FIG. 10 is a diagram showing a configuration example of a monitoring system including a person detection device according to a modified example.
  • the person detection device 1 according to the modified example includes a posture estimation unit 27 in addition to the configuration of the embodiment shown in FIG.
  • the posture estimation unit 27 estimates the posture and motion of the detected human body (human body candidate) based on the detection result of the human body or the object detected from the fisheye image.
  • the posture estimation unit 27 can estimate the posture of the human body based on the positional relationship between the human body and surrounding objects.
  • the posture estimation unit 27 can estimate the movement of the human body such as standing or sitting by changing the positional relationship between the human body and the object from the frame before the current frame.
  • the posture estimation unit 27 can also estimate the movement of the human body by changing the shape of the human body from the previous frame.
  • FIG. 11 is a flowchart of the human posture estimation process.
  • the overall flow of human posture estimation will be described with reference to FIG.
  • the flowchart of FIG. 11 shows processing for a one-frame fisheye image.
  • the process of FIG. 11 is executed 10 times per second. Since the processing of step S100 and step S101 is the same as that of step S40 and step S41 of FIG. 4, the description thereof will be omitted.
  • the posture estimation unit 27 estimates the posture and movement of a person based on the detection results of the human body and the object detected in S101 (step S102).
  • the posture estimation unit 27 acquires the type of the detected object around the human body. If the object is a chair and the human body overlaps the chair, the person who detects it is presumed to be sitting. Even if the object is a desk and the human body is in front of the desk, it is presumed that the person is sitting.
  • the posture estimation unit 27 can also estimate the movement of a person by referring to the detection result in the previous frame stored in the storage unit 23. For example, if the chair detected in the previous frame is not detected in the current frame and the human body is detected in the vicinity of the chair, the posture estimation unit 27 can presume that the standing person sat down. In addition, the posture estimation unit 27 can estimate that when the shape of the human body detected in the previous frame becomes long, the posture estimation unit 27 stands up from the sitting state. On the contrary, when the shape of the human body detected in the previous frame is shortened, the posture estimation unit 27 can presume that the person has sat down from the standing state.
  • the output unit 26 outputs the estimated result to the external device (step S103). This completes the processing for the fisheye image of one frame.
  • the human detection device 1 can detect an object around the human body and estimate the posture and movement of the human body based on the positional relationship between the human body and the object. In this way, the human detection device 1 can accurately detect the human body including the posture and movement of the human.
  • a person detection that detects a person (13) existing in the detection target area by analyzing a fisheye image obtained by a fisheye camera (10) installed above the detection target area (11).
  • Device (1) A detection unit (21) that detects a human body candidate and an object existing around the human body candidate from a fisheye image, and An erroneous detection determination unit (25) that determines whether or not the human body candidate is erroneous detection based on the positional relationship between the detection position of the human body candidate and the detection position of the object.
  • a person detection device characterized by having.
  • a person detection that detects a person (13) existing in the detection target area by analyzing a fisheye image obtained by a fisheye camera (10) installed above the detection target area (11).
  • Device (1) A detection unit (21) that detects a human body candidate and an object existing around the human body candidate from a fisheye image, and
  • a posture estimation unit (27) that estimates the posture of the human body candidate based on the positional relationship between the detection position of the human body candidate and the detection position of the object.
  • a person detection device characterized by having.
  • a person detection that detects a person (13) existing in the detection target area by analyzing a fisheye image obtained by a fisheye camera (10) installed above the detection target area (11). It's a method A detection step (S41) for detecting a human body candidate and an object existing around the human body candidate from a fisheye image, and A false detection determination step (S42) for determining whether or not the human body candidate is erroneous detection based on the positional relationship between the detection position of the human body candidate and the detection position of the object.
  • a person detection method characterized by having.
  • Person detection device 2 Surveillance system 10: Fisheye camera 11: Detection target area 12: Ceiling 13: Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置は、魚眼画像から人体候補および物体を検出する検出部と、前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定部と、を有することを特徴とする。

Description

人検出装置および人検出方法
　本発明は、魚眼カメラの画像を用いて人を検出する技術に関する。
　ビルディングオートメーション（ＢＡ）やファクトリーオートメーション（ＦＡ）の分野において、画像センサにより人の「数」・「位置」・「動線」などを自動で計測し、照明や空調などの機器を最適制御するアプリケーションが必要とされている。このような用途では、できるだけ広い範囲の画像情報を取得するために、魚眼レンズ（フィッシュアイレンズ）を搭載した超広角のカメラ（魚眼カメラ、全方位カメラ、全天球カメラなどと呼ばれるが、いずれも意味は同じである。本明細書では「魚眼カメラ」の語を用いる。）を利用することが多い。
　魚眼カメラで撮影された画像は大きく歪んでいる。それゆえ、魚眼カメラの画像（以後「魚眼画像」と呼ぶ。）から人体や顔などを検出する場合には、あらかじめ魚眼画像を平面展開することで歪みの少ない画像に補正した後に検出処理にかけるという方法が一般的である（特許文献１参照）。
特開２０１６－３９５３９号公報
　しかしながら、従来技術では次のような問題がある。一つは、魚眼画像を平面展開するという前処理が発生することで、全体の処理コストが大きくなるという問題である。これは、リアルタイムの検出処理を困難にし、機器制御の遅延を招く可能性があり、好ましくない。二つ目の問題は、魚眼カメラの真下など、ちょうど平面展開時の境界（画像の切れ目）の位置に存在する人や物体の像が、平面展開の処理によって大きく変形してしまったり、像が分断されてしまったりして、正しく検出できない恐れがあることである。
　これらの問題を回避するため、本発明者らは、魚眼画像をそのまま（「平面展開せずに」という意味である。）検出処理にかけるというアプローチを研究している。しかし、通常のカメラ画像に比べ、魚眼画像の場合は、検出対象となる人の見え方（人体の傾き、歪み、大きさ）のバリエーションが増加するため、検出が困難となる。特に、ＢＡやＦＡなどのアプリケーションを想定した場合、画像中に、椅子、パーソナルコンピュータ、ごみ箱、扇風機、サーキュレーターなど、人体や頭部と誤り易い物体が多く存在する。このため、物体を人体として認識してしまう誤検出が増加し、検出精度の低下を招きやすい。
　本発明は上記実情に鑑みなされたものであって、魚眼画像から高速に且つ高精度に人を検出する技術を提供することを目的とする。
　上記目的を達成するために本発明は、以下の構成を採用する。
　本発明の第一側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、魚眼画像から人体候補および物体を検出する検出部と、前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定部と、を有することを特徴とする人検出装置を提供する。
　「魚眼カメラ」は、魚眼レンズを搭載したカメラであり、通常のカメラに比べて超広角での撮影が可能なカメラである。全方位カメラや全天球カメラも魚眼カメラの一種である。魚眼カメラは、検出対象エリアの上方から検出対象エリアを見下ろすように設置されていればよい。典型的には魚眼カメラの光軸が鉛直下向きとなるように設置されるが、魚眼カメラの光軸が鉛直方向に対して傾いていても構わない。
　「人体」は、人の全身でもよいし、半身（例えば、上半身、頭部と胴体など）でもよい。人体として検出した検出結果には人体ではない物体も含まれ得るため、検出した段階では「人体候補」とも呼ぶ。「物体」は、オフィスでの椅子、机、棚など、工場での作業台、各種装置などが挙げられる。「人体候補の検出位置」は、人体候補を囲む領域全体として、物体の検出位置との位置関係を特定してもよく、人体候補を囲む領域の中心座標として、物体の検出位置との位置関係を特定してもよい。同様に、「物体の検出位置」は、物体を囲む領域全体としてもよく、物体を囲む領域の中心座標としてもよい。「位置関係」は、人体候補と物体とが重なり合う位置関係、人体候補が物体に隣接して存在する位置関係などを含む。
　本発明は、検出された人体候補の検出位置と人体候補の周辺に存在する物体の検出位置との位置関係の妥当性を検証して誤検出判定を行うことにより、高精度な人検出を簡易な処理で実現することができる。しかも、魚眼画像を平面展開するなどの前処理が不要なため、高速な処理が実現できる。また、機器管理の観点からは、人検出の精度が向上することで、照明または空調を好適に制御することが可能となる。
　前記検出部は、前記物体の種類を特定し、前記誤検出判定部は、前記物体の種類に基づいて、前記人体候補が誤検出であるか否かを判定するものであってもよい。物体の種類によって、想定される人体との位置関係は異なる。例えば、人体は、椅子の上には座るが机の上に乗ることはない。このように、本発明は、物体の種類を考慮して、人体候補の検出位置と物体の検出位置との位置関係の妥当性を検証して誤検出判定を行うことで、より精度よく人体を検出することができる。
　前記検出部は、前記物体の除外領域を設定し、前記誤検出判定部は、前記人体候補の検出位置と前記物体の除外領域との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定するものであってもよい。「除外領域」は、物体を囲む領域のうち、人体とは重なり合うことがないと想定される領域である。検出部は、例えば、人体候補の検出位置が除外領域と重なり合う場合、または人体候補の中心が除外領域に含まれる場合に、当該人体候補の検出が誤検出であったと判定することができる。除外領域は、既知の物体に対しては予め設定されてもよい。また、除外領域は、物体を囲む領域のうち、周囲から所定の幅の領域を除いた領域としてもよい。本発明は、人体候補の検出位置と物体の除外領域との位置関係の妥当性を検証して誤検出判定を行うことで、より精度よく人体を検出することができる。
　前記誤検出判定部は、前記人体候補を囲む領域が、前記物体を囲む領域または前記物体の除外領域と重なり合う領域の割合に基づいて、前記人体候補が誤検出であるか否かを判定するものであってもよい。重なり合う領域の割合は、重なり合う領域の面積を、人体候補を囲む領域面積で除算することによって算出することができる。誤検出判定部は、算出した割合が所定の閾値より大きい場合に、人体候補の検出が誤検出であったと判定することができる。本発明は、人体候補と物体とがどの程度重なり合うかによって位置関係の妥当性を検証して誤検出判定を行うことで、より精度よく人体を検出することができる。
　本発明の別形態は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、魚眼画像から人体候補および物体を検出する検出部と、前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補の姿勢を推定する姿勢推定部と、を有することを特徴とする人検出装置を提供する。姿勢推定部は、物体との位置関係に基づいて、人体が立っているか座っているかといった姿勢を推定することができる。人検出装置は、人の姿勢を含め、より精度良く人体の検出をすることができる。人の姿勢を推定することで、照明または空調などの機器管理は、好適な制御が可能となる。
　前記姿勢推定部は、前記人体候補の検出位置と前記物体の検出位置との位置関係について、前記魚眼画像よりも前のフレームからの該位置関係の変化に基づいて、前記人体候補の動作を推定するものであってもよい。人体候補の検出位置と物体の検出位置との位置関係の変化から、人体の動作は推定することが可能である。姿勢推定部は、物体との位置関係の変化に基づいて、人体が立ちあがったり座ったりといった動作を推定することができる。人検出装置は、人の動作を含め、より精度良く人体の検出をすることができる。人の動作を推定することで、照明または空調などの機器管理は、好適な制御が可能となる。
　本発明の第二側面は、検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出方法であって、魚眼画像から人体候補および物体を検出する検出ステップと、前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定ステップと、を有することを特徴とする人検出方法を提供する。
　本発明は、上記手段の少なくとも一部を有する人検出装置として捉えてもよいし、検出した人を認識（識別）する人認識装置、検出した人をトラッキングする人追跡装置、あるいは画像処理装置や監視システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む人検出方法、人認識方法、人追跡方法、画像処理方法、監視方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
　本発明によれば、魚眼画像から高速に且つ高精度に人を検出する技術を提供することができる。
図１は、本発明に係る人検出装置の適用例を示す図である。 図２は、魚眼画像とバウンディングボックスの例を示す図である。 図３は、人検出装置を備える監視システムの構成例を示す図である。 図４は、人検出処理のフローチャートである。 図５は、検出部による人体候補の検出結果の例を示す図である。 図６は、検出部による物体の検出結果の例を示す図である。 図７は、誤検出除去リストを例示する図である。 図８は、物体との位置関係による誤検出の判定を説明する図である。 図９は、物体と重なる領域の割合による誤検出の判定を説明する図である。 図１０は、変形例に係る人検出装置を備える監視システムの構成例を示す図である。 図１１は、人の姿勢推定処理のフローチャートである。
　＜適用例＞
　図１を参照して、本発明に係る人検出装置の適用例を説明する。人検出装置１は、検出対象エリア１１の上方（例えば天井１２など）に設置された魚眼カメラ１０により得られた魚眼画像を解析して、検出対象エリア１１内に存在する人１３を検出する装置である。この人検出装置１は、例えば、オフィスや工場などにおいて、検出対象エリア１１で作業をする人１３の検出、認識、追跡などを行う。
　人検出装置１は、魚眼画像から人体候補を検出する。図１の例では、魚眼画像から検出された３つの人体それぞれの領域が矩形のバウンディングボックス１４で示されている。また、机の上に置かれたノートパソコンが人体として誤検出され、バウンディングボックス１４で示されている。バウンディングボックス１４は、人体候補を囲む領域を表す閉図形あるいは枠線である。人体候補の検出結果は、人体候補の検出位置を含む。
　人検出装置１は、また、魚眼画像から物体を検出する。検出された物体は、人体候補のバウンディングボックス１４とは区別可能にバウンディングボックスによって示されてもよい。人検出装置１は、物体を検出するために予め用意された辞書を使用して、机、椅子、作業台、踏台といった物体の種類を特定することも可能である。物体の検出結果は、物体の検出位置および物体の種類を含む。
　人検出装置１は、人体候補の周辺に存在する物体を特定し、人体候補の検出位置と人体候補の周辺に存在する物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する。誤検出と判定された人体候補は、人体の検出結果から除かれる。人検出装置１による人体の検出結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御、不審者の監視などに利用される。
　魚眼カメラ１０で検出対象エリア１１を見下ろすように撮影した場合、魚眼カメラ１０との位置関係に依存して人体の見え方（写り方）が大きく変わる。それゆえ、魚眼画像は、バウンディングボックス１４の形状やサイズが画像上の検出位置に応じて変化するという特性をもつ。人検出装置１は、このような魚眼画像の特性を考慮し、検出された人体候補のバウンディングボックス１４の形状やサイズの妥当性を検証するというシンプルな方法で誤検出判定を行うことによって、誤検出でないかどうかの判定を行う点に特徴の一つを有する。また、人検出装置１は、魚眼画像をそのまま（つまり、平面展開や歪み補正などの前処理を行わずに）人検出処理に用いる点にも特徴の一つを有する。
　＜実施形態＞
　（魚眼画像の特性）
　図２は、魚眼カメラ１０から取り込まれた魚眼画像の例を示す。画像座標系は、魚眼画像の左下のコーナーを原点（０，０）とし、横方向右側にｘ軸、縦方向上側にｙ軸をとる。
　光軸が鉛直下向きになるように魚眼カメラ１０を設置した場合、魚眼画像の中心には、魚眼カメラ１０の真下に存在する人を頭頂部から観察した像が表れる。そして、魚眼画像の端にいくにしたがって俯角が小さくなり、人を斜め上方から観察した像が表れることとなる。また、魚眼画像中の人体は、直立している場合には足元が画像の中心側、頭部が画像の端側に位置し、かつ、画像の中心を通る放射状の線（図２の破線）に略平行となるような角度で写る。また、魚眼画像の中心は比較的歪みが小さいが、魚眼画像の端にいくにしたがって画像の歪みが大きくなる。
　符号１４ａ～１４ｆは、魚眼画像中の人体の領域を囲むように配置されたバウンディングボックスを示す。本実施形態では、画像処理の便宜から、ｘ軸またはｙ軸と平行な四辺から構成される矩形のバウンディングボックスが用いられる。
　図２に示すように、魚眼画像の中央エリアに存在するバウンディングボックス（例えば、１４ａ）は略正方形となる。また、中央エリアに対し斜め４５度にあるエリアに存在するバウンディングボックス（例えば、１４ｂ、１４ｃ）も略正方形となる。中央エリアの上側および下側のエリアに存在するバウンディングボックス（例えば、１４ｄ）は縦長の長方形（ｙ軸に平行な長辺をもつ長方形）となり、画像の中心に近いほど正方形に近づき、画像の中心から離れるほど縦長になる。中央エリアの左側および右側のエリアに存在するバウンディングボックス（例えば、１４ｅ、１４ｆ）は横長の長方形（ｘ軸に平行な長辺をもつ長方形）となり、画像の中心に近いほど正方形に近づき、画像の中心から離れるほど横長になる。
　このように、魚眼画像は、画像中心を基準とした方位と距離に依存してバウンディングボックスの形状（例えば、アスペクト比）が変化する、という特性を有する。魚眼画像上の位置またはエリアごとのバウンディングボックスのアスペクト比は、魚眼カメラ１０の光学特性、魚眼カメラ１０と検出対象エリア１１の位置関係、および、平均的な人体のサイズを基に、幾何学的に計算（予測）することが可能である。
　また、図２に示すように、人体の写る大きさは、魚眼画像の中心が最も大きく、端にいくほど小さくなる。すなわち、魚眼画像は、画像中心を基準とした距離に依存してバウンディングボックスのサイズ（例えば、面積）が変化する（距離が遠くなるほどサイズが小さくなる）、という特性を有する。魚眼画像上の位置またはエリアごとのバウンディングボックスの面積についても、魚眼カメラ１０の光学特性、魚眼カメラ１０と検出対象エリア１１の位置関係、および、平均的な人体のサイズを基に、幾何学的に計算（予測）することが可能である。
　（監視システム）
　図３を参照して、本発明の実施形態を説明する。図３は、本発明の実施形態に係る人検出装置１を適用した監視システム２の構成を例示するブロック図である。監視システム２は、魚眼カメラ１０と人検出装置１とを備えている。
　魚眼カメラ１０は、魚眼レンズを含む光学系と撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。魚眼カメラ１０は、例えば図１に示すように、検出対象エリア１１の天井１２などに、光軸を鉛直下向きにした状態で設置され、検出対象エリア１１の全方位（３６０度）の画像を撮影するとよい。魚眼カメラ１０は人検出装置１に対し有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）で接続され、魚眼カメラ１０で撮影された画像データは人検出装置１に取り込まれる。画像データはモノクロ画像、カラー画像のいずれでもよく、また画像データの解像度やフレームレートやフォーマットは任意である。本実施形態では、１０ｆｐｓ（１秒あたり１０枚）で取り込まれるモノクロ画像を用いることを想定している。
　本実施形態の人検出装置１は、画像入力部２０、検出部２１、記憶部２３、判定基準リスト２４、誤検出判定部２５、出力部２６を有している。画像入力部２０は、魚眼カメラ１０から画像データを取り込む機能を有する。取り込まれた画像データは検出部２１に引き渡される。この画像データは記憶部２３に格納されてもよい。
　検出部２１は、人体を検出するアルゴリズムを用いて、魚眼画像から人体候補を検出する機能を有する。人体検出辞書２２Ａは、魚眼画像に表れる人体の画像特徴があらかじめ登録されている辞書である。また、検出部２１は、人体ではない物体を検出するアルゴリズムを用いて、魚眼画像から人体の周辺に存在する物体を検出する機能を有する。物体検出辞書２２Ｂは、魚眼画像に表れる物体の画像特徴があらかじめ登録されている辞書である。物体検出辞書２２Ｂは、机、いす、棚、脚立など物体の種類ごとに画像特徴が登録されている。検出部２１は、物体検出辞書２２Ｂを参照して、検出した物体の種類を特定することができる。
　記憶部２３は、魚眼画像、検出結果などを記憶する機能を有する。記憶部２３は、検出部２１によって検出された人体と物体とを区別して記憶する。判定基準リスト２４は、人体と物体との位置関係に基づいて、誤検出か否かを判定したり、人体の姿勢を認識したりするために用いられる情報を記憶する機能を有する。この情報は、監視システム２の稼働に先立ち（例えば、監視システム２の工場出荷時、設置時、メンテナンス時などに）、あらかじめ設定される。また、監視システム２の稼働後に更新されてもよい。
　誤検出判定部２５は、検出部２１の検出結果を検証し、誤検出の有無を判定する機能を有する。出力部２６は、魚眼画像や検出結果などの情報を外部装置に出力する機能を有する。例えば、出力部２６は、外部装置としてのディスプレイに情報を表示してもよいし、外部装置としてのコンピュータに情報を転送してもよいし、外部装置としての照明装置や空調やＦＡ装置に対し情報や制御信号を送信してもよい。
　人検出装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図３に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図３に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図３に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。
　（人検出処理）
　図４は、人検出装置１による人検出処理のフローチャートである。図４に沿って人検出処理の全体的な流れを説明する。なお、図４のフローチャートは、１フレームの魚眼画像に対する処理を示している。図４の処理は、１０ｆｐｓで魚眼画像が入力される場合には、１秒間に１０回実行されることとなる。
　まず、画像入力部２０が魚眼カメラ１０から１フレームの魚眼画像を入力する（ステップＳ４０）。背景技術の欄で述べたように、従来は、魚眼画像の歪みを補正した平面展開画像を作成した後、検出や認識などの画像処理を行っていたが、本実施形態の監視システム２では、魚眼画像をそのまま（歪んだまま）検出や認識の処理に用いる。
　次に、検出部２１が魚眼画像から人体および人体の周辺に存在する物体を検出する（ステップＳ４１）。魚眼画像内に複数の人が存在する場合には、複数の人体および各人体の周辺に存在する物体が検出される。検出部２１は、人体を検出して当該人体の周辺に存在する物体を検出する処理を、それぞれの人体について実行してもよい。また、検出部２１は、魚眼画像に含まれる人体と物体とを検出した後、検出したそれぞれの人体に対して、周辺に存在する物体を特定するようにしてもよい。検出部２１は、検出した人体と当該人体の周辺に存在する物体とを対応付けて記憶部２３に格納することができる。
　検出部２１は、検出した物体の種類（机、いす、棚、脚立など）を識別する。物体の種類の識別は、物体認識とも称する。検出部２１により検出された物体の検出結果は、人体の誤検出の判定に用いられる。
　ここで、ステップＳ４１における人体の検出について説明する。検出部２１は、人体ではない物体（例えば、扇風機、デスクチェア、コート掛けなど、形状や色が人体と紛らわしい物）を、誤って人体として検出する場合がある。このように検出部２１が人体として検出した検出結果には人体ではない物体も含まれ得るため、この段階では「人体候補」と呼ぶ。
　図５は、検出部２１による人体候補の検出結果の例である。この例では、人体５０、５１、５２の他、人体ではない物体５３も人体候補として検出されてしまっている。符号５０ａ～５３ａは、各人体候補のバウンディングボックスを示している。
　人体候補の検出結果には、例えば、検出された人体候補の領域を示すバウンディングボックスの情報と、検出の信頼度（人体であることの確からしさ）の情報とが含まれるとよい。バウンディングボックスの情報は、例えば、バウンディングボックスの中心座標（ｘ，ｙ）、高さｈ、幅ｗ（人体候補の検出位置に相当）を含むとよい。人体候補の検出結果は、記憶部２３に格納される。
　なお、人体検出にはどのようなアルゴリズムを用いてもよい。例えば、ＨｏＧやＨａａｒ－ｌｉｋｅなどの画像特徴とブースティングを組み合わせた識別器を用いてもよいし、ディープラーニング（例えば、Ｒ－ＣＮＮ、Ｆａｓｔ　Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）による人体認識を用いてもよい。本実施形態では、人体として人の全身を検出しているが、これに限らず、上半身など体の一部を検出対象としてもよい。
　次に、ステップＳ４１における物体の検出について説明する。図６は、検出部２１による物体の検出結果の例である。この例では、物体６０～物体６６が検出されている。物体の検出結果には、例えば、検出された物体の領域を示すバウンディングボックスの情報と、物体の種類とが含まれる。バウンディングボックスの情報は、例えば、バウンディングボックスの中心座標（ｘ，ｙ）、高さｈ、幅ｗ（物体の検出位置に相当）を含むとよい。バウンディングボックスの情報は、記憶部２３に格納される。
　物体６０は、机であると認識され、物体の種類として「机」が記憶部２３に格納される。また、物体６１～物体６６は、椅子であると認識され、物体の種類として「椅子」が記憶部２３に格納される。符号６０ａは物体６０（机）のバウンディングボックスを示し、符号６１ａ～６６ａは、物体６１～物体６６（椅子）のバウンディングボックスを示している。なお、図６に示す物体の検出結果は、出力部２６を介して、図５に示す人体候補の検出結果に重畳して、外部装置としてのディスプレイに表示されてもよい。
　なお、物体の検出および物体認識にはどのようなアルゴリズムを用いてもよく、人体検出と同様にブースティング（機械学習）やディープラーニングによる検出および認識が可能である。機械学習による物体認識では、検出対象エリア１１に存在する物体を教師データとして予め学習させておくことも可能である。
　次に、誤検出判定部２５は、検出部２１による人体候補の検出結果に含まれるバウンディングボックス５０ａ～５３ａのそれぞれについて、誤検出の判定を行う（ステップＳ４２）。誤検出か否かは、各人体候補とステップＳ４１で検出した物体との位置関係に基づいて判定される。例えば、他の物体と重なる領域の割合が所定の閾値より大きい場合、すなわち、他の物体の上に存在するような場合、人体候補は人体ではないことが想定される。図５の例では、人体候補５３は、全体が机と重なっていることから人体ではなく、誤検出されたと判定される。誤検出判定の詳細は後述する。
　誤検出（つまり、人体でない）と判定された人体候補が発見された場合には（ステップＳ４３のＹＥＳ）、誤検出判定部２５は、記憶部２３に記憶されている検出結果を修正する（ステップＳ４４）。具体的には、誤検出判定部２５は、誤検出と判定された人体候補の情報を検出結果から除外してもよいし、あるいは、誤検出と判定された人体候補の信頼度を下げてもよい。最後に、出力部２６が、検出結果を外部装置に出力する（ステップＳ４５）。以上で１フレームの魚眼画像に対する処理が終了する。
　本実施形態の人検出処理によれば、魚眼画像をそのまま解析し、魚眼画像からダイレクトに人検出を行う。したがって、魚眼画像の平面展開や歪み補正といった前処理を省略でき、高速な人検出処理が可能である。魚眼画像をそのまま検出処理に用いる方法は、平面展開（歪み補正）した後に検出処理を行う方法に比べ、検出精度が低下するという課題がある。本実施形態では、人体の周辺に存在する物体との位置関係を検証することによって誤検出を排除するため、高精度な検出が実現できる。
　（誤検出判定）
　誤検出判定部２５による誤検出判定の具体例を説明する。誤検出判定部２５は、人体候補の検出位置と人体候補の周辺に存在する物体の検出位置との位置関係に基づいて、人体候補が誤検出であるか否かを判定する。位置関係は、例えば、人体候補と物体とが重なり合う位置関係、人体候補が物体に隣接して存在する位置関係を含む。誤検出判定部２５は、さらに、重なり合う物体の種類、または隣接する物体の種類に応じて誤検出を判定してもよい。また、誤検出判定部２５は、人体候補と物体とが重なり合う程度、または隣接する物体との距離に応じて誤検出を判定してもよい。
　（１）位置関係および物体の種類による判定
　人は会議室の机または工場内の作業台に対し、隣接する位置に存在したり、手が重なり合うように存在したりするが、机や作業台の上に乗ることはないと想定される。一方で、椅子または脚立などには、人が座ったり上ったりすることがある。このように、判定対象の人体候補が物体と重なり合ったり、物体に隣接したりする位置関係にある場合、物体の種類に基づいて、人体候補が人体であるか否かを判定することができる。ここでは、人体候補が物体と重なり合う場合における誤検出の判定について説明する。
　ステップＳ４１で検出した物体は、物体の種類とともに記憶部２３に格納される。また、判定基準リスト２４は、人が重なり合うことがないと想定される物体の種類を定義する誤検出除去リストを含む。図７は、誤検出除去リストを例示する図である。図７に例示されるように、机、棚、ライン作業台（流れ作業による生産、組立てなど一連の工程を行うための作業台）、作業台などは、人が重なり合うことがないと想定される物体である。
　誤検出判定部２５は、ステップＳ４１で検出した物体のうち、判定対象の人体候補と重なり合う物体を特定する。ステップＳ４１で検出した物体のバウンディングボックスの中心座標（ｘ，ｙ）、高さｈ、幅ｗは記憶部２３に格納されている。したがって、誤検出判定部２５は、人体候補のバウンディングボックスと物体のバウンディングボックスとが重なり合う物体を、人体候補と重なり合う物体として特定する。人体候補のバウンディングボックスと物体のバウンディングボックスとが重なるか否かは、各バウンディングボックスの中心座標間の距離、および各バウンディングボックスの高さｈ、幅ｗを用いて判定可能である。
　なお、ステップＳ４１において、各人体候補に対し、それぞれの人体候補と重なり合う物体を特定して検出した場合、各人体候補は、それぞれの人体候補と重なり合う物体と対応づけて記憶部２３に格納される。この場合、誤検出判定部２５は、記憶部２３を参照して、人体候補と重なり合う物体を取得（特定）することができる。
　誤検出判定部２５は、人体候補と重なり合う物体の検出結果から物体の種類を取得する。誤検出判定部２５は、取得した物体の種類が、図７に示す誤検出除去リストに含まれるか否かを判定する。物体の種類が誤検出除去リストに含まれていた場合、誤検出判定部２５は、ステップＳ４１における人体候補の検出が誤検出であったと判定する。
　例えば、図５の人体候補５３のバウンディングボックス５３ａは、図６の物体６０のバウンディングボックス６０ａと重なり合う。物体６０の種類は「机」である。誤検出除去リストには、「机」が含まれているため、誤検出判定部２５は、人体候補５３の検出が誤検出であったと判定することができる。
　（２）物体の除外領域との位置関係による判定
　人体候補として検出された人は、机の端に手を置いたり、作業台の上で作業をしたりすることで、物体の周辺部分と重なり合う場合がある。一方、複数人で使用するような大型の机では、周囲から所定の幅を隔てた中央部分に人が重なることはないと考えられる。このように、人体候補と物体との位置関係、すなわち、人体候補が物体のどの部分と重なり合うかに基づいて、誤検出判定部２５は、人体候補が人体であるか否かを判定することができる。
　誤検出判定部２５は、例えば、人体候補の中心座標が、人体候補と重なり合う物体に対して設定された除外領域内に含まれる場合に、ステップＳ４１における人体候補の検出が誤検出であったと判定することができる。また、誤検出判定部２５は、人体候補のバウンディングボックスが除外領域と重なり合う場合に、ステップＳ４１における人体候補の検出が誤検出であったと判定してもよい。
　除外領域は、ステップＳ４１で検出された物体ごとに設定される。検出部２１は、例えば、バウンディングボックスの周囲から所定の幅の領域を除いた領域を、除外領域として設定することができる。また、棚のように、前面側で人体と重なり合うと想定される物体では、背面側（人体と重ならないない側）が除外領域として設定されてもよい。このように、検出部２１は、検出された物体の種類に基づいて除外領域を設定することも可能である。
　検出部２１は、検出した物体ごとに、設定した除外領域の中心座標（ｘ，ｙ）、高さｈ、幅ｗを算出し、記憶部２３に格納する。誤検出判定部２５は、記憶部２３に格納された除外領域の情報を参照して、人体候補の中心座標が、重なり合う物体の除外領域内に含まれるか否かを判定することができる。
　ここで、図８を用いて、物体との位置関係による誤検出の判定について説明する。物体として検出された物体６０（机）には、一点鎖線で示される除外領域６０ｂが設定されている。人体候補５０のバウンディングボックス５０ａは、机６０のバウンディングボックス６０ａと重なり合うが、除外領域６０ｂとは重ならない。この場合、誤検出判定部２５は、人体候補５０の検出は誤検出ではないと判定することができる。
　また、人体候補５３のバウンディングボックス５３ａは、除外領域６０ｂと重なっている。バウンディングボックス５３ａの中心座標は、除外領域６０ｂに含まれるため、誤検出判定部２５は、人体候補５３の検出は誤検出であると判定することができる。
　（３）物体と重なる割合で定まる位置関係による判定
　人体候補が物体と重なる場合、誤検出判定部２５は、人体候補が物体と重なる領域の割合を用いて、人体候補が人体であるか否かを判定することができる。すなわち、人体候補が物体とどの程度重なり合うかによって定まる、人体候補と物体との位置関係に基づいて、誤検出判定部２５は、人体候補が人体であるか否かを判定することができる。
　人体候補が物体と重なる領域の割合は、例えば、人体候補のバウンディングボックスに対して、重なり合う物体のバウンディングボックスが占める領域の割合として算出することができる。誤検出判定部２５は、算出した割合が所定の閾値よりも大きい場合に、ステップＳ４１における人体候補の検出が誤検出であったと判定する。なお、所定の閾値は、物体の種類に応じて定められても良い。例えば、所定の閾値は、物体の種類が机の場合は３０％、物体の種類が椅子の場合は８０％と設定することができる。このように、椅子は人体と重なる領域が机よりも広いことが想定されるため、椅子に対する所定の閾値は、机よりも大きい値に設定することができる。所定の閾値は、予め判定基準リスト２４に格納される。
　ここで、図９を用いて、物体と重なる領域の割合による誤検出の判定について説明する。図９（Ａ）において、人体候補５０は、机６０および椅子６２と重なり合う。人体候補５０のバウンディングボックス５０ａと机６０のバウンディングボックス６０ａとが重なり合う領域を領域Ａ１とする。また、人体候補５０のバウンディングボックス５０ａと椅子６２のバウンディングボックス６２ａとが重なり合う領域を領域Ａ２とする。バウンディングボックス５０ａに対する領域Ａ１の割合が閾値以下であれば、誤検出判定部２５は、検出が誤検出でないと判定することができる。また、バウンディングボックス５０ａに対する領域Ａ２の割合が閾値以下であれば、誤検出判定部２５は、検出が誤検出でないと判定することができる。
　一方、図９（Ｂ）において、人体候補５３は、机６０と重なり合う。人体候補５３のバウンディングボックス５３ａは、机６０のバウンディングボックス６０ａの領域内に含まれる。このため、人体候補５３のバウンディングボックス５３ａに対して、机６０のバウンディングボックス６０ａが重なる領域の割合は１００％である。机に対する所定の閾値を３０％とした場合、バウンディングボックス５３ａにバウンディングボックス６０ａが重なる領域の割合は閾値を超える。したがって、誤検出判定部２５は、ステップＳ４１における人体候補の検出が誤検出であったと判定することができる。
　なお、上記の（１）から（３）の誤検出判定の方法は、適宜組み合わせることが可能である。例えば、誤検出判定部２５は、人体候補のバウンディングボックスと物体の除外領域とが重なる領域の割合に基づいて、人体候補の検出が誤検出であったか否かを判定してもよい。
　＜実施形態の作用効果＞
　上記実施形態では、人検出装置１は、魚眼画像から人体および人体候補の周辺に存在する物体を検出する。人検出装置１は、人体候補の検出位置と物体の検出位置との位置関係に基づいて、人体候補の検出が誤検出であったか否かを判定する。これにより、人検出装置１は、魚眼画像から高速に且つ高精度に人を検出することができる。
　また、人検出装置１は、人体候補の検出位置と物体の検出位置との位置関係および物体の種類に基づいて、人体候補の検出が誤検出であったか否かを判定してもよい。物体の種類により人体候補と物体との位置関係の妥当性を検証するため、より精度よく人体を検出することができる。
　また、人検出装置１は、人体候補の検出位置と物体の除外領域との位置関係に基づいて、人体候補が誤検出であるか否かを判定してもよい。除外領域は、人体と重なり合わない領域として設定される。除外領域と重なり合う人体候補は、誤検出であったと判定することができるため、人検出装置１は、より精度よく人体を検出することができる。
　さらに、人検出装置１は、人体候補が物体と重なり合う領域の割合に基づいて、人体候補が誤検出であるか否かを判定してもよい。人検出装置１は、人体候補が物体とどの程度重なり合うかによって位置関係の妥当性を検証して誤検出判定を行うため、より精度よく人体を検出することができる。
　＜変形例＞
　実施形態では、人体と周辺の物体との位置関係により、人体候補の検出が誤検出か否かを判定した。これに対し、変形例では、人体と周辺の物体との位置関係により、人体の姿勢を推定する。
　図１０は、変形例に係る人検出装置を備える監視システムの構成例を示す図である。変形例に係る人検出装置１は、図３に示す実施形態の構成に加え、姿勢推定部２７を備える。姿勢推定部２７は、魚眼画像から検出した人体または物体の検出結果に基づいて、検出した人体（人体候補）の姿勢および動作を推定する。姿勢推定部２７は、人体と周囲の物体との位置関係により人体の姿勢を推定することができる。また、姿勢推定部２７は、現フレームよりも前のフレームからの人体と物体との位置関係の変化によって、立ったり座ったりといった人体の動作を推定することができる。姿勢推定部２７は、前のフレームからの人体の形状の変化によっても、人体の動作の推定をすることができる。
　図１１は、人の姿勢推定処理のフローチャートである。図１１に沿って人の姿勢推定の全体的な流れを説明する。なお、図１１のフローチャートは、１フレームの魚眼画像に対する処理を示している。図１１の処理は、１０ｆｐｓで魚眼画像が入力される場合には、１秒間に１０回実行されることとなる。ステップＳ１００およびステップＳ１０１の処理は、図４のステップＳ４０およびステップＳ４１と同様であるため説明は省略する。
　姿勢推定部２７は、Ｓ１０１で検出した人体および物体の検出結果に基づいて、人の姿勢および動作を推定する（ステップＳ１０２）。姿勢推定部２７は、検出した人体の周辺にある物体の種類を取得する。物体が椅子であって、人体が椅子と重なり合う場合、検出した人は、座っていると推定される。物体が机であって、人体が机の前にいる場合も、人は座っていると推定される。
　姿勢推定部２７は、記憶部２３に格納された前のフレームにおける検出結果を参照して、人の動作を推定することも可能である。例えば、前のフレームで検出された椅子が現フレームで検出されず、椅子の周辺で人体が検出された場合、姿勢推定部２７は、立っていた人が座ったと推定することができる。また、姿勢推定部２７は、前のフレームで検出された人の体の形状が長くなった場合、座っている状態から立ち上がったと推定することができる。反対に、前のフレームで検出された人の体の形状が短くなった場合、姿勢推定部２７は、立っている状態から座ったと推定することができる。
　最後に、出力部２６は、推定した結果を外部装置に出力する（ステップＳ１０３）。以上で１フレームの魚眼画像に対する処理が終了する。
　＜変形例の作用効果＞
　魚眼画像から検出した人体の画像を解析するだけでは、人の姿勢または動作まで推定することは困難である。本変形例では、人検出装置１は、人体の周辺にある物体を検出し、人体と物体との位置関係に基づいて人体の姿勢および動作を推定することができる。このように、人検出装置１は、人の姿勢および動作を含め、精度良く人体の検出をすることができる。
　＜その他＞
　上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。例えば、図７に示したテーブルの値、上記実施形態で示した閾値などはいずれも説明のための例示にすぎない。また、上記実施形態では、矩形のバウンディングボックスを例示したが、矩形以外の形態（多角形、楕円、自由図形など）のバウンディングボックスを用いてもよい。
　＜付記１＞
　（１）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア内に存在する人（１３）を検出する人検出装置（１）であって、
　魚眼画像から人体候補および前記人体候補の周辺に存在する物体を検出する検出部（２１）と、
　前記人体候補の検出位置と前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定部（２５）と、
を有することを特徴とする人検出装置。
　（２）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア内に存在する人（１３）を検出する人検出装置（１）であって、
　魚眼画像から人体候補および前記人体候補の周辺に存在する物体を検出する検出部（２１）と、
　前記人体候補の検出位置と前記物体の検出位置との位置関係に基づいて、前記人体候補の姿勢を推定する姿勢推定部（２７）と、
を有することを特徴とする人検出装置。
　（３）検出対象エリア（１１）の上方に設置された魚眼カメラ（１０）により得られた魚眼画像を解析して、前記検出対象エリア内に存在する人（１３）を検出する人検出方法であって、
　魚眼画像から人体候補および前記人体候補の周辺に存在する物体を検出する検出ステップ（Ｓ４１）と、
　前記人体候補の検出位置と前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定ステップ（Ｓ４２）と、
を有することを特徴とする人検出方法。
１：人検出装置
２：監視システム
１０：魚眼カメラ
１１：検出対象エリア
１２：天井
１３：人

Claims (8)

  1. 　検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、
    　魚眼画像から人体候補および物体を検出する検出部と、
    　前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定部と、
    を有することを特徴とする人検出装置。
  2. 　前記検出部は、前記物体の種類を特定し、
    　前記誤検出判定部は、前記物体の種類に基づいて、前記人体候補が誤検出であるか否かを判定する
    ことを特徴とする請求項１に記載の人検出装置。
  3. 　前記検出部は、前記物体の除外領域を設定し、
    　前記誤検出判定部は、前記人体候補の検出位置と前記物体の除外領域との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する
    ことを特徴とする請求項１または２に記載の人検出装置。
  4. 　前記誤検出判定部は、前記人体候補を囲む領域が、前記物体を囲む領域または前記物体の除外領域と重なり合う領域の割合に基づいて、前記人体候補が誤検出であるか否かを判定する
    ことを特徴とする請求項１～３のいずれか１項に記載の人検出装置。
  5. 　検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出装置であって、
    　魚眼画像から人体候補および物体を検出する検出部と、
    　前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補の姿勢を推定する姿勢推定部と、
    を有することを特徴とする人検出装置。
  6. 　前記姿勢推定部は、前記人体候補の検出位置と前記物体の検出位置との位置関係について、前記魚眼画像よりも前のフレームからの変化に基づいて、前記人体候補の動作を推定する姿勢推定部と、
    を有することを特徴とする請求項５に記載の人検出装置。
  7. 　検出対象エリアの上方に設置された魚眼カメラにより得られた魚眼画像を解析して、前記検出対象エリア内に存在する人を検出する人検出方法であって、
    　魚眼画像から人体候補および物体を検出する検出ステップと、
    　前記人体候補の検出位置と前記人体候補の周辺に存在する前記物体の検出位置との位置関係に基づいて、前記人体候補が誤検出であるか否かを判定する誤検出判定ステップと、を有することを特徴とする人検出方法。
  8. 　請求項７に記載の人検出方法の各ステップをコンピュータに実行させるためのプログラム。
PCT/JP2020/006537 2019-04-01 2020-02-19 人検出装置および人検出方法 WO2020202865A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/599,679 US11948363B2 (en) 2019-04-01 2020-02-19 Person detection device and person detection method
DE112020001706.0T DE112020001706T5 (de) 2019-04-01 2020-02-19 Personenerkennungsvorrichtung und personenerkennungsverfahren
CN202080025635.0A CN113646803B (zh) 2019-04-01 2020-02-19 人检测装置以及人检测方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019069969A JP7188240B2 (ja) 2019-04-01 2019-04-01 人検出装置および人検出方法
JP2019-069969 2019-04-01

Publications (1)

Publication Number Publication Date
WO2020202865A1 true WO2020202865A1 (ja) 2020-10-08

Family

ID=72667760

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/006537 WO2020202865A1 (ja) 2019-04-01 2020-02-19 人検出装置および人検出方法

Country Status (5)

Country Link
US (1) US11948363B2 (ja)
JP (1) JP7188240B2 (ja)
CN (1) CN113646803B (ja)
DE (1) DE112020001706T5 (ja)
WO (1) WO2020202865A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022195375A1 (en) * 2021-03-17 2022-09-22 Ricoh Company, Ltd. Image processing method, recording medium, image processing apparatus, and image-capturing apparatus

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112565730B (zh) * 2020-12-03 2023-07-25 阿波罗智联(北京)科技有限公司 路侧感知方法、装置、电子设备、存储介质及路侧设备
JP7468871B2 (ja) * 2021-03-08 2024-04-16 国立大学法人 東京大学 ３ｄ位置取得方法及び装置
WO2023276605A1 (ja) * 2021-06-29 2023-01-05 パナソニックＩｐマネジメント株式会社 照明制御システム、照明制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2016157170A (ja) * 2015-02-23 2016-09-01 株式会社国際電気通信基礎技術研究所 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置
JP2017227957A (ja) * 2016-06-20 2017-12-28 株式会社リコー 情報処理装置、および、情報処理システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4744823B2 (ja) * 2004-08-05 2011-08-10 株式会社東芝 周辺監視装置および俯瞰画像表示方法
JP5233926B2 (ja) * 2009-09-10 2013-07-10 大日本印刷株式会社 魚眼監視システム
EP2602761A4 (en) 2010-08-03 2017-11-01 Panasonic Intellectual Property Management Co., Ltd. Object detection device, object detection method, and program
JP2012100082A (ja) 2010-11-02 2012-05-24 Canon Inc 画像処理装置、画像処理方法及びプログラム
US20130321625A1 (en) * 2011-03-28 2013-12-05 Nikon Corporation Electronic device and information transmission system
JPWO2013001941A1 (ja) * 2011-06-27 2015-02-23 日本電気株式会社 物体検知装置、物体検知方法および物体検知プログラム
JP2013109696A (ja) 2011-11-24 2013-06-06 Toyota Motor Corp 姿勢推定装置、姿勢推定方法及びプログラム
JP6381353B2 (ja) 2014-08-08 2018-08-29 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP6335701B2 (ja) 2014-07-22 2018-05-30 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
EP2988248B1 (en) 2014-07-22 2019-09-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, information processing apparatus, information processing method, and program
JP6495691B2 (ja) 2015-03-11 2019-04-03 株式会社東芝 動体検出装置、動体検出方法及びコンピュータプログラム
KR101738514B1 (ko) 2015-12-14 2017-06-08 (주) 씨엠디코리아 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
JP2018057596A (ja) * 2016-10-05 2018-04-12 コニカミノルタ株式会社 関節位置推定装置および関節位置推定プログラム
JP7162412B2 (ja) * 2016-11-29 2022-10-28 マクセル株式会社 検知認識システム
JP7059054B2 (ja) * 2018-03-13 2022-04-25 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11261868A (ja) * 1998-03-13 1999-09-24 Fujitsu Ltd 魚眼レンズカメラ装置及びその画像歪み補正方法及び画像抽出方法
JP2016157170A (ja) * 2015-02-23 2016-09-01 株式会社国際電気通信基礎技術研究所 異常状態通知システム、異常状態通知プログラム、異常状態通知方法および異常状態通知装置
JP2017227957A (ja) * 2016-06-20 2017-12-28 株式会社リコー 情報処理装置、および、情報処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022195375A1 (en) * 2021-03-17 2022-09-22 Ricoh Company, Ltd. Image processing method, recording medium, image processing apparatus, and image-capturing apparatus

Also Published As

Publication number Publication date
US11948363B2 (en) 2024-04-02
JP2020170247A (ja) 2020-10-15
DE112020001706T5 (de) 2022-01-05
CN113646803A (zh) 2021-11-12
JP7188240B2 (ja) 2022-12-13
US20220198803A1 (en) 2022-06-23
CN113646803B (zh) 2024-06-25

Similar Documents

Publication Publication Date Title
WO2020202865A1 (ja) 人検出装置および人検出方法
WO2020184207A1 (ja) 物体追跡装置および物体追跡方法
WO2020137193A1 (ja) 人検出装置および人検出方法
US10083513B2 (en) Information presentation device, stereo camera system, and information presentation method
US20170104915A1 (en) Display control apparatus, display control method, and storage medium
TWI438702B (zh) 影像環境邊界之動態設定方法及人員活動內容之即時判定方法
WO2020137160A1 (ja) 人検出装置および人検出方法
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
JP2020149642A (ja) 物体追跡装置および物体追跡方法
WO2022014252A1 (ja) 情報処理装置および情報処理方法
CN112037279A (zh) 物品位置识别方法和装置、存储介质、电子设备
US20160156839A1 (en) Position detection device
WO2022091577A1 (ja) 情報処理装置および情報処理方法
WO2020179638A1 (ja) 人検出装置および人検出方法
JP7214437B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10489921B2 (en) Behavior analysis apparatus and behavior analysis method
WO2020175085A1 (ja) 画像処理装置、及び画像処理方法
JP2021110973A (ja) 人体検出装置および人体検出方法
US20240202971A1 (en) Image recognition device, method for image recognition device, and recording medium
KR20230135962A (ko) 영상의 사람 계수장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20784729

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20784729

Country of ref document: EP

Kind code of ref document: A1