WO2018020715A1 - 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム - Google Patents

人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム Download PDF

Info

Publication number
WO2018020715A1
WO2018020715A1 PCT/JP2017/006539 JP2017006539W WO2018020715A1 WO 2018020715 A1 WO2018020715 A1 WO 2018020715A1 JP 2017006539 W JP2017006539 W JP 2017006539W WO 2018020715 A1 WO2018020715 A1 WO 2018020715A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
contact position
unit
head
image
Prior art date
Application number
PCT/JP2017/006539
Other languages
English (en)
French (fr)
Inventor
成俊 鴇田
Original Assignee
株式会社Ｊｖｃケンウッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｊｖｃケンウッド filed Critical 株式会社Ｊｖｃケンウッド
Priority to EP17833726.7A priority Critical patent/EP3410420B1/en
Publication of WO2018020715A1 publication Critical patent/WO2018020715A1/ja
Priority to US15/968,572 priority patent/US10521679B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to a person detection device, a person detection system, a person detection method, and a person detection program.
  • Patent Document 1 discloses a pedestrian detected when a road area and a pedestrian candidate are detected from an image obtained by imaging the surroundings of a vehicle and a lower part of the pedestrian candidate is in contact with the road area. It is described that a candidate is determined to be a pedestrian.
  • the pedestrian including the shield is included. May be determined. In that case, the ground contact position of the pedestrian cannot be correctly specified, and the distance from the vehicle to the pedestrian is erroneously calculated.
  • the present invention was made to solve such a problem, there is a shield in front of a detection target such as a pedestrian, even if the grounding position of a pedestrian or the like cannot be specified correctly, It is an object of the present invention to provide a person detection device, a person detection system, a person detection method, and a person detection program that can correct a grounding position that is specified in error.
  • an image acquisition unit that acquires an image captured by the imaging device, a person detection unit that detects a person from the acquired image, and a person's ground contact position based on the lower end of the detected person are specified.
  • a contact position specifying unit that extracts a feature portion of the detected person, and a ratio of the feature portion based on the vertical size of the detected person and the vertical size of the extracted feature portion.
  • a ratio calculation unit to calculate, and a correction determination unit to determine whether or not the specified ground contact position is to be corrected based on the specified ground contact position or the calculated ratio.
  • a person detection device that corrects a specified ground contact position based on height and ratio.
  • a step of acquiring an image captured by the imaging device a step of detecting a person from the acquired image, a step of specifying a contact position of the person based on the lower end portion of the detected person, Extracting a feature portion of the detected person, calculating a ratio of the feature portion based on the vertical size of the detected person and the vertical size of the extracted feature portion, and the identified grounding position or
  • a person detection method comprising: determining whether or not the specified grounding position is corrected based on the calculated ratio; and correcting the specified grounding position based on the vertical size and ratio of the characteristic portion.
  • a person detection device a person detection system, a person detection method, and a person detection program that can correct a ground contact position of a pedestrian or the like that is specified by mistake.
  • FIG. 1 is a block diagram showing a schematic configuration of a person detection system 1 according to the present embodiment.
  • the person detection system 1 is a system that is mainly mounted on a vehicle, and includes a front camera 10, a person detection device 20, a storage device 30, a display device 40, and the like.
  • the front camera 10 is a monocular camera installed in the vehicle so that the front of the vehicle can be imaged, continuously captures a visible image in front of the vehicle, and outputs the image to the person detection device 20.
  • the person detection device 20 detects a person such as a pedestrian or a cyclist using the image captured by the front camera 10 and various person detection dictionaries stored in the storage device 30, and outputs a warning signal as necessary. Is output to the display device 40.
  • the person detection device 20 includes an image acquisition unit 21, a person detection unit 22, a ground contact position specification unit 23, a head extraction unit 24, a head / body calculation unit 25, a correction determination unit 26, a distance calculation unit 27, and a person tracking. Unit 28, display warning unit 29, and the like.
  • the image acquisition unit 21 receives an image captured by the front camera 10, performs various image processing, and outputs the image to the person detection unit 22.
  • the person detection unit 22 uses a person detection dictionary such as a pedestrian dictionary or a cyclist dictionary stored in the storage device 30 to detect a person from the image, and sends the detection result to the ground position specifying unit 23 and the head extraction unit 24. Output.
  • the person detection unit 22 detects a person for each frame or every several frames of an image captured by the front camera 10, for example.
  • the contact position specifying unit 23 specifies the lower end portion of the person detected by the person detection unit 22 as the contact position of the person, and outputs the specified result to the correction determination unit 26. Further, when the correction determination unit 26 determines to correct the determination result of the contact position, the contact position specifying unit 23 determines the position of the person's head extracted by the head extraction unit 24, the size in the vertical direction, the head Based on the value of the head and body calculated by the body calculation unit 25, the lower end of the person detected by the person detection unit 22 is changed to correct the ground contact position.
  • the head extraction unit (feature portion extraction unit) 24 uses the head dictionary stored in the storage device 30 to extract the head of the person from the image area of the person detected by the person detection unit 22, and obtains the extraction result.
  • the data is output to the head / body calculating unit 25.
  • the head-body calculating unit (ratio calculating unit) 25 is based on the size of the person detected by the person detecting unit 22 and the size of the person's head extracted by the head extracting unit 24.
  • the head and body are calculated, and the calculation result is output to the correction determination unit 26.
  • the correction determining unit 26 corrects the grounding position specified by the grounding position specifying unit 23 based on the grounding position specified by the grounding position specifying unit 23 or the head and body calculated by the head-and-body calculating unit 25. And the determination result is output to the ground contact position specifying unit 23 or the distance calculating unit 27.
  • the distance calculation unit 27 calculates the distance between the contact position specified or corrected by the contact position specifying unit 23 and the host vehicle (or the front camera 10), and outputs the calculation result to the person tracking unit 28 and the display warning unit 29. To do.
  • the person tracking unit 28 gives an individual ID to each person detected by the person detecting unit 22 for tracking, and the position information such as the ground contact position and the head position of each person, the head / body information, and the like are sent to the correction determining unit 26. Output.
  • the display warning unit 29 outputs various information such as the image acquired by the image acquisition unit 21 and the detection rectangle of the person detected by the person detection unit 22 to the display device 40.
  • the display warning unit 29 outputs a warning signal to the display device 40 when the distance between the host vehicle and the detected person becomes smaller than a predetermined value.
  • the storage device 30 stores person detection dictionaries such as a pedestrian dictionary, a cyclist dictionary, and a head dictionary used by the person detection unit 22 to detect pedestrians, cyclists, and heads of these people.
  • These dictionaries for human detection include images obtained by capturing images of pedestrians, cyclists, human heads, and the like from various angles, or correct images that are clipped images thereof, and incorrect images in which pedestrians are not captured.
  • These feature quantities are generated by machine learning. For example, when generating a pedestrian dictionary, an image from the top of the pedestrian to the toes (or toes) is used as a correct image, and when generating a cyclist dictionary, a bicycle including the ground contact portion of the wheel from the top of the cyclist. An image in which the whole (or a part) of the image is shown as a correct image. Further, when generating a head dictionary, an image in which a person's head is shown is taken as a correct image.
  • the display device 40 outputs images, sounds, and the like according to various signals output by the display warning unit 29.
  • a car navigation monitor, a HUD (head-up display), or the like can be used as the display device 40.
  • achieves can be implement
  • the person detection device 20 is realized by loading a program stored in a storage unit (not shown) into a main storage device (not shown) and executing the program under the control of the arithmetic unit.
  • each component is not limited to being realized by software by a program, but may be realized by any combination of hardware, firmware, and software.
  • Non-transitory computer readable media include various types of tangible storage media (tangible storage medium).
  • non-transitory computer-readable media examples include magnetic recording media (for example, flexible disks, magnetic tapes, hard disk drives), magneto-optical recording media (for example, magneto-optical disks), CD-ROMs (Read Only Memory), CD- R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)).
  • magnetic recording media for example, flexible disks, magnetic tapes, hard disk drives
  • magneto-optical recording media for example, magneto-optical disks
  • CD-ROMs Read Only Memory
  • CD- R CD-R / W
  • semiconductor memory for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable ROM), flash ROM, RAM (random access memory)
  • the program may be supplied to the person detection device 20 by various types of temporary computer readable media.
  • Examples of transitory computer readable media include electrical signals, optical signals and electromagnetic waves.
  • the temporary computer-readable medium can supply the program to the person detection device 20 via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.
  • FIG. 2 is a flowchart showing a processing procedure of the person detection method according to the present embodiment.
  • the front camera 10 captures an image in the traveling direction of the vehicle, and the image acquisition unit 21 acquires the image as a detection target image (step S10).
  • FIG. 3 is a diagram illustrating a detection target image and a person detection result according to the present embodiment.
  • the pedestrian 101 is shown in the center of the detection target image, the car stop pole 102 is shown in the lower left of the image, and the low fence 103 is shown behind the pedestrian in the lower half of the image.
  • the detection rectangle 111 indicating the result of the person detecting unit 22 detecting the pedestrian 101 surrounds the pedestrian 101 so as to include from the top of the pedestrian 101 to the lower end of the leg. It can be seen that it has been detected.
  • the detection of a person uses the Haar-like feature value, the HOG (Histogram of Gradients) feature value, the LBP (Local Binary Patterns) feature value, and the like to determine the similarity between the person detection dictionary and the detection target image. This is done by calculating.
  • the contact position specifying unit 23 specifies the detected contact position of the person (step S30). For example, the contact position specifying unit 23 specifies the lower end (lower side) of the detection rectangle 111 illustrated in FIG. 3 as the contact position. Further, the head extraction unit 24 extracts the detected human head from the detection target image (step S40). For example, the head extraction unit 24 extracts the head of a person using a head dictionary on the upper side in the region of the detection rectangle 111 illustrated in FIG. 3. Then, the head / body calculating unit 25 calculates the head / body of the detected person (step S50).
  • FIG. 4 is a diagram for explaining the head-and-body calculation process according to the present embodiment.
  • the detection rectangle 111 of the pedestrian 101 and the detection rectangle 112 of the head are shown with respect to the detection target image shown in FIG.
  • the head-body calculating unit 25 has a vertical size (for example, a vertical length of the detection rectangle 111) H on the pedestrian 101 image and a vertical size on the pedestrian 101 head image. From the height (for example, the vertical length of the detection rectangle 112) A, the head and body (H / A) is calculated.
  • step S30 and steps S40 to S50 may be processed in parallel, or one of step S30 or step S40 to step S50 may be processed first.
  • the correction determination unit 26 determines whether or not to correct the ground contact position specified in step S30, that is, whether or not there is correction (step S60). For example, when the head and body calculated in step S50 is an abnormal value (for example, 3 heads or less, or 10 heads or more), the correction determination unit 26 determines to correct the grounding position of the image ( Yes in step S60).
  • an abnormal value for example, 3 heads or less, or 10 heads or more
  • the person detected by the ground contact position specifying unit 23 in step S20 using the position and size of the head extracted in step S40 and the average head and body values (7 to 8 head and body).
  • the detection rectangle set in step S20 is changed so that the head-and-body value becomes the average head-and-body value, and the contact position specified in step S30 is corrected (step S70).
  • the contact position specifying unit 23 may correct only the contact position (or information related to the contact position) without changing the detection rectangle.
  • the correction determination unit 26 determines whether or not the contact position of the person tracked by the person tracking unit 28 with the ID greatly deviates from the position estimated based on the contact position of the previous frame.
  • the specified ground contact position or the calculated head and body is irregular in a certain image in a plurality of images. Even if there is a significant change (change), it is determined that the contact position of the image having the irregular change is corrected. For example, when the value of the head and body of the person tracked by the person tracking unit 28 has changed from about 7 in the previous frame to 10 in the given frame, the correction determination unit 26, it is determined that the ground contact position specified in the frame is to be corrected.
  • the detected position of the person's head and body is determined based on the position and size of the head extracted in step S40 and the value of the head and body calculated in the previous frame.
  • the detection rectangle is changed and the contact position is corrected so as to be equal to the value calculated in the frame.
  • the contact position specifying unit 23 may correct the specified contact position to a position estimated from the contact position of the previous frame.
  • FIG. 5 is a diagram for explaining erroneous specification of the grounding position according to the present embodiment.
  • a pedestrian 201 is shown in the center of the detection target image, and a car stop pole (shield) 202 is shown in the center of the lower half of the image so as to shield the legs of the pedestrian 201.
  • the detection rectangle 211 which shows the result that the person detection part 22 detected the pedestrian 201 is the position of the car stop pole 202 from the top of the pedestrian 201.
  • the pedestrian 201 and the car stop pole 202 are enlarged so as to include the lower end part, and the pedestrian 201 is not correctly detected, and the lower end part of the car stop pole 202 is erroneously specified as the ground contact position of the pedestrian 201. ing.
  • the head-and-body value calculated by the head-and-body calculating unit 25 also varies greatly from the value calculated in the previous frame.
  • the grounding position specifying unit 23 modifies the grounding position by changing the detection rectangle from the extracted vertical size of the head and the value of the head and body calculated in the previous frame.
  • the above-described contact position correction process (steps S40 to S70) functions effectively.
  • the correction determination unit 26 detects the person again using the upper body dictionary of the person stored in the storage device 30 and determines whether the grounding position or the head and body is not correct. It may be determined whether the regular fluctuation is due to hiding the lower body of the person.
  • the correction determination unit 26 may determine to correct the contact position of the frame when the person can be detected in step S20 but the head of the person cannot be extracted in step S40.
  • the grounding position specifying unit 23 estimates the size and position of the head in the current frame from the size and position of the head in the previous frame, and uses the information on the head and body to estimate the current Change the detection rectangle of the person in the frame and correct the specified ground contact position.
  • the correction determination unit 26 greatly deviates from the position estimated based on the position of the head of the previous frame, such as the position of the head of the person tracked by the person tracking unit 28 (for example, the center of the head). In other words, it may be determined that the specified ground contact position is not corrected when there is an irregular variation in the position of the extracted head in a plurality of images. Alternatively, the correction determination unit 26 may determine that the specified ground contact position is to be corrected when there is no irregular fluctuation in the extracted head position.
  • the person when there is a significant change in the position of the head of the person being tracked, the person may be crouching or squatting. Even if the value of the head and body calculated in such a case is different from the normal value, there is no error in the value itself, and there is no error in the specified ground contact position. For this reason, it is not necessary to correct the specified grounding position.
  • FIG. 6 and FIG. 7 are diagrams for explaining the correction determination of the ground contact position according to the present embodiment. 6 and 7 both show the detection results (extraction results) of the person and head at each time t in a scene in which the pedestrian 301 or pedestrian 401 is moving from the right back position to the left front position. ing.
  • the correction determination unit 26 determines that the person and the head are correctly detected or extracted at times t1 and t2 and the grounding position is not corrected.
  • the guardrail 302 is in front of the pedestrian 301, and the person detection unit 22 erroneously detects the pedestrian 301 including the guard rail 302 column. For this reason, compared to the times t1 and t2, the detection rectangle 331 is longer and the calculated head and body are larger. In such a case, the correction determination unit 26 has irregular fluctuations in the value of the head and body, and the position of the head at time t3 is in a position estimated from the position of the head at times t1 and t2. Therefore, it is determined that the ground contact position is to be corrected, and the detection rectangle 331 at time t3 is changed.
  • the pedestrian 401 and its head can be correctly detected or extracted, and the correction determination unit 26 determines not to correct the ground contact position.
  • the pedestrian 401 is crouching, and the detection rectangle 431 is shortened vertically and the calculated head and body are smaller than at times t11 and t12.
  • the correction determination unit 26 has irregular fluctuations in the value of the head and body, but the position of the head at time t13 is not in a position estimated from the position of the head at times t11 and t12. Therefore, at time t13, it is determined that the detection rectangle 431 is not changed and the ground contact position is not corrected.
  • the correction determination unit 26 determines that the person is not a pedestrian when the ground contact position of the pedestrian repeatedly moves up and down in a short time, or when the pedestrian's head and body repeatedly fluctuates in a short time.
  • the person may be determined to be a cyclist, and the person detection unit 22 may be made to detect a person again using a cyclist dictionary.
  • a bicycle when a cyclist is imaged from behind, a bicycle may not be detected and may be erroneously detected as a pedestrian. Even in such a case, when a short-term repeated change in the grounding position or the head and body is confirmed, the person is detected again as a cyclist, and the grounding part of the bicycle tire is specified as the correct grounding position. Can do.
  • FIG. 8 is another diagram for explaining the correction determination of the ground contact position according to the present embodiment. The result of detection (extraction) of a person and a head when a person (cyclist) 501 riding a bicycle is imaged later is shown.
  • the right foot that pedals the pedal of the cyclist 501 extends, and the detection rectangle 511 is elongated vertically.
  • the left and right legs of the cyclist 501 are at the same height, and the detection rectangle 521 is shortened vertically.
  • the detection rectangle repeatedly expands and contracts in a short time, and the contact position that is the lower end of the detection rectangle also repeats up and down in a short time.
  • the correction determination unit 26 determines that the detected person 501 is not a pedestrian but a cyclist, and causes the person detection unit 22 to detect the person again using the cyclist dictionary, so that the ground contact position is determined based on the tire ground contact. Modify the part.
  • the distance calculation unit 27 calculates the distance between the detected person and the host vehicle based on the specified or corrected contact position (step S80).
  • the distance calculation unit 27 is a table showing the correspondence between the position (y coordinate) in the captured image and the distance from the host vehicle, which is created based on the height, angle, and the like when the front camera 10 is installed in the vehicle. It is possible to calculate the distance between the detected person and the own vehicle.
  • the display warning unit 29 detects the detection target image acquired in step S10, the detection rectangle of the person detected in step S20, the detection rectangle of the head extracted in step S40, from the own vehicle calculated in step S80 to the person And the like are displayed on the display device 40.
  • the ground position may be displayed on the display device 40.
  • the display warning unit 29 displays an image and a sound for warning the driver that the person has approached when the distance to the person is smaller than a predetermined value and there is a possibility of collision with the person. 40 (step S90).
  • the person tracking unit 28 uses the position of the person detected in each frame, the feature amount, and the like to add an ID to each detected person and track (step S100). For tracking, a particle filter method, a MeanShift method, or the like is used. In addition, the person tracking unit 28 outputs tracking information including history information such as the specified contact position (coordinates) and the calculated head and body value to the correction determination unit 26, the contact position specifying unit 23, and the like. These pieces of information are used when the correction determining unit 26 determines the correction of the grounding position, or when the grounding position specifying unit 23 corrects the grounding position.
  • step S90 and step S100 may be processed in parallel, or one of step S90 or step S100 may be processed first.
  • the head when correcting the ground contact position, the head is extracted from the detected person and the head and body are calculated and used.
  • a characteristic area (characteristic part) having a certain shape, clear coloration, etc., that can be stably extracted from an image of the image is extracted, and the ratio between the detected vertical size of the person and the vertical size of the characteristic part May be corrected by correcting the contact position. What is necessary is just to extract an arm, a leg, a jacket, an umbrella, a bag etc. as a characteristic part, for example.
  • a feature amount indicating a characteristic size may be directly calculated from the image so that a ratio can be calculated between the detected vertical size of the person.
  • the feature amount in this case, the width or shoulder width of the detected person can be used.
  • a far infrared camera can be used as the front camera 10.
  • a far-infrared camera detects heat generated by a subject and converts the temperature difference into a luminance difference to visualize it.
  • a far-infrared image is used as a detection target image, it is used that the luminance value of a person's region having a high temperature is increased and the luminance of a peripheral region having a lower temperature than that of a person is decreased.
  • the grounding position correction processing can be corrected by changing the detection rectangle based on the extracted position and size of the head. it can.
  • the visible image and the far-infrared image may be switched according to the shooting situation or the person detection situation.
  • a person when detecting a person, a pedestrian dictionary, a cyclist dictionary, or the like created by machine learning of an image showing a pedestrian or a cyclist is used.
  • a person may be detected by performing pattern matching using a template image such as a pedestrian or a cyclist.
  • the person detection system 1 may be fixed to the vehicle or may be installed on the vehicle so as to be portable. Moreover, you may comprise so that a person may wear
  • HMD Head Mounted Display
  • a plurality of devices for example, the person detection device 20 and the storage device 30 may be integrated to form a person detection device including a storage unit.
  • all the configurations of the person detection system 1 may be integrated to form a person detection apparatus including a front imaging unit, a storage unit, and a display unit.
  • the person detection system 1 may be configured as a distance calculation system, a person tracking system, a collision prevention system, a distance calculation method, a distance calculation program, and the like.
  • the person detection device 20 includes the image acquisition unit 21 that acquires an image captured by the imaging device 10, the person detection unit 22 that detects a person from the acquired image, and the detection.
  • a contact position specifying unit 23 for specifying the contact position of the person based on the lower end of the person, a feature part extracting unit 24 for extracting the detected feature part of the person, and the size and size of the detected person in the vertical direction
  • a ratio calculation unit 25 that calculates the ratio of the feature portion based on the vertical size of the feature portion, and a correction determination unit that determines whether the specified contact position is corrected or not based on the specified contact position or the calculated ratio 26, and the grounding position specifying unit 23 corrects the specified grounding position based on the vertical size and ratio of the characteristic portion.
  • the person detection device 20 can also determine that the correction determination unit 26 corrects the specified ground contact position when the ratio of the characteristic portions is an abnormal value. With such a configuration, it is possible to determine the presence or absence of correction based on the detected characteristics of the person. Further, in the human detection device 20 according to the present embodiment, the correction determination unit 26, when there are irregular fluctuations in the specified contact position or the calculated ratio in the plurality of images acquired by the image acquisition unit 21, It is also possible to determine that the specified ground contact position is to be corrected. With such a configuration, it is possible to determine the presence or absence of correction based on the history information.
  • the person detection device 20 determines that the correction determination unit 26 corrects the specified ground contact position when there is no irregular variation in the position of the extracted feature portion in the plurality of images. It is also possible. With such a configuration, the presence or absence of correction can be determined more correctly.
  • the human detection device 20 when the specified grounding position repeatedly fluctuates up and down in the plurality of images acquired by the image acquisition unit 21, or the calculated ratio repeatedly fluctuates in size. It is also possible to determine that a person is detected again. With such a configuration, a pedestrian and a cyclist can be distinguished.
  • the feature portion extraction unit 24 can also extract the head of the person detected as the feature portion. With such a configuration, a head that is easy to extract and has a small movement during walking can be used as a characteristic part.
  • the person detection system 1 according to the present embodiment can also include the person detection device 20 and at least one of the imaging device 10 or the display device 40 that displays an image.
  • the person detection method includes a step S10 for acquiring an image taken by the imaging device, a step S20 for detecting a person from the acquired image, and a grounding of the person based on the lower end portion of the detected person.
  • a step S30 for specifying the position a step S40 for extracting the feature portion of the detected person, and a ratio of the feature portion based on the vertical size of the detected person and the vertical size of the extracted feature portion.
  • step S70 for correcting.
  • the person detection program is based on the procedure S10 for acquiring an image captured by the imaging apparatus, the procedure S20 for detecting a person from the acquired image, and the lower end of the detected person.
  • Step S30 for identifying the contact position of the person
  • Step S40 for extracting the feature portion of the detected person, and the feature size based on the size of the detected person in the vertical direction and the size of the extracted feature portion in the vertical direction.
  • Step S50 for calculating the ratio
  • Step S60 for determining whether or not the specified contact position is corrected based on the specified contact position or the calculated ratio, and the specification based on the vertical size and ratio of the feature portion This is for executing the procedure S70 for correcting the contact position.
  • the person detection system corrects the specified ground contact position based on the vertical size and ratio of the detected characteristic portion of the person, and has industrial applicability.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)

Abstract

人物検出装置（２０）は、撮像装置（１０）が撮影した画像を取得する画像取得部（２１）と、画像から人物を検出する人物検出部（２２）と、人物の下端部に基づいて人物の接地位置を特定する接地位置特定部（２３）と、人物の頭部を抽出する頭部抽出部（２４）と、人物の縦方向の大きさ及び抽出した頭部の縦方向の大きさに基づいて頭身を算出する頭身算出部（２５）と、接地位置又は頭身に基づいて、接地位置の修正の有無を判断する修正判断部（２６）とを備え、接地位置特定部（２３）は、頭部の縦方向の大きさ及び頭身に基づいて、特定した接地位置を修正する。

Description

人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
　本発明は人物検出装置、人物検出システム、人物検出方法及び人物検出プログラムに関する。
　車載カメラで撮像した画像を認識して、車両の周囲の人物（歩行者、サイクリストなど）を検出する技術が開発されている。例えば、特許文献１には、運転支援装置において、車両の周囲を撮像した画像から道路領域及び歩行者候補を検出し、歩行者候補の下部が道路領域に接しているときに、検出した歩行者候補を歩行者であると判定することが記載されている。
特開２００８－０６５７５６号公報
　特許文献１記載の運転支援装置では、歩行者候補の手前に歩行者候補の一部分を遮蔽する遮蔽物があって、当該遮蔽物が道路領域に接していると、当該遮蔽物を含めて歩行者と判定してしまうことがある。その場合に、歩行者の接地位置を正しく特定することができず、車両から当該歩行者までの距離を誤って算出してしまう。
　本発明は、このような問題を解決するためになされたものであり、検出対象である歩行者などの手前に遮蔽物があり、歩行者などの接地位置を正しく特定できない場合であっても、誤って特定した接地位置を修正することができる人物検出装置、人物検出システム、人物検出方法及び人物検出プログラムを提供することを目的とする。
　そこで、本実施の形態は、撮像装置が撮影した画像を取得する画像取得部と、取得した画像から人物を検出する人物検出部と、検出した人物の下端部に基づいて人物の接地位置を特定する接地位置特定部と、検出した人物の特徴部分を抽出する特徴部分抽出部と、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出する比率算出部と、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断する修正判断部とを備え、接地位置特定部は、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正する人物検出装置を提供する。
　また、本実施の形態は、撮像装置が撮影した画像を取得するステップと、取得した画像から人物を検出するステップと、検出した人物の下端部に基づいて人物の接地位置を特定するステップと、検出した人物の特徴部分を抽出するステップと、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出するステップと、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断するステップと、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正するステップとを有する人物検出方法を提供する。
　本実施の形態により、誤って特定した歩行者などの接地位置を修正することができる人物検出装置、人物検出システム、人物検出方法及び人物検出プログラムを提供することを提供することができる。
実施の形態に係る人物検出システム１の概略構成を示すブロック図である。 実施の形態に係る人物検出方法の処理手順を示すフローチャートである。 実施の形態に係る検出対象画像及び人物検出結果を示す図である。 実施の形態に係る頭身算出処理を説明するための図である。 実施の形態に係る接地位置の誤特定を説明するための図である。 実施の形態に係る接地位置の修正判断を説明するための図である。 実施の形態に係る接地位置の修正判断を説明するための図である。 実施の形態に係る接地位置の修正判断を説明するため別の図である。
　以下、図面を参照して、本実施の形態に係る人物検出システム及び人物検出方法について説明する。
　まず、本実施の形態に係る人物検出システムの構成について説明する。
　図１は、本実施の形態に係る人物検出システム１の概略構成を示すブロック図である。
　人物検出システム１は、主に車両に搭載されるシステムであり、前方カメラ１０、人物検出装置２０、記憶装置３０、表示装置４０などを備える。
　前方カメラ１０は、車両前方を撮像できるように車両に設置した単眼カメラであり、車両前方の可視画像を連続して撮像し、当該画像を人物検出装置２０に出力する。
　人物検出装置２０は、前方カメラ１０が撮像した画像と、記憶装置３０に記憶した各種の人物検出用辞書とを用いて、歩行者、サイクリストなどの人物を検出し、必要に応じて、警告信号を表示装置４０に出力する。このために、人物検出装置２０は、画像取得部２１、人物検出部２２、接地位置特定部２３、頭部抽出部２４、頭身算出部２５、修正判断部２６、距離算出部２７、人物追跡部２８、表示警告部２９などを有する。
　画像取得部２１は、前方カメラ１０が撮像した画像を入力し、各種の画像処理を行い、人物検出部２２に出力する。
　人物検出部２２は、記憶装置３０に記憶した歩行者辞書、サイクリスト辞書などの人物検出用辞書を用いて、画像から人物を検出し、検出結果を接地位置特定部２３及び頭部抽出部２４に出力する。人物検出部２２は、例えば、前方カメラ１０が撮像した画像のフレーム毎又は数フレーム毎に人物を検出する。
　接地位置特定部２３は、人物検出部２２が検出した人物の下端部を当該人物の接地位置として特定し、特定結果を修正判断部２６に出力する。
　また、接地位置特定部２３は、修正判断部２６が接地位置の特定結果を修正すると判断したときに、頭部抽出部２４が抽出した当該人物の頭部の位置及び縦方向の大きさ、頭身算出部２５が算出した頭身の値などに基づいて、人物検出部２２が検出した当該人物の下端部を変更し、接地位置を修正する。
　頭部抽出部（特徴部分抽出部）２４は、記憶装置３０に記憶した頭部辞書を用いて、人物検出部２２が検出した人物の画像領域から当該人物の頭部を抽出し、抽出結果を頭身算出部２５に出力する。
　頭身算出部（比率算出部）２５は、人物検出部２２が検出した人物の縦方向の大きさ、及び、頭部抽出部２４が抽出した当該人物の頭部の縦方向の大きさから、頭身を算出し、算出結果を修正判断部２６に出力する。
　修正判断部２６は、接地位置特定部２３が特定した接地位置、又は、頭身算出部２５が算出した頭身に基づいて、接地位置特定部２３が特定した接地位置を修正するか、しないかを判断し、判断結果を接地位置特定部２３又は距離算出部２７に出力する。
　距離算出部２７は、接地位置特定部２３が特定又は修正した接地位置と、自車両（又は、前方カメラ１０）との距離を算出し、算出結果を人物追跡部２８及び表示警告部２９に出力する。
　人物追跡部２８は、人物検出部２２が検出した各人物に個別のＩＤを付与してトラッキングし、各人物の接地位置や頭部位置などの位置情報、頭身情報などを修正判断部２６に出力する。
　表示警告部２９は、画像取得部２１が取得した画像、人物検出部２２が検出した人物の検出矩形などの各種情報を表示装置４０に出力する。また、表示警告部２９は、自車両と検出した人物との距離が所定値よりも小さくなったときに、警告信号を表示装置４０に出力する。
　記憶装置３０は、人物検出部２２が歩行者、サイクリスト、これらの人達の頭部などを検出するために用いる歩行者辞書、サイクリスト辞書、頭部辞書などの人物検出用辞書を記憶する。これらの人物検出用辞書は、歩行者、サイクリスト、人物の頭部などをいろいろな角度から撮像した画像又はそれらの切り抜き画像である正解画像と、歩行者などが撮像されていない不正解画像とを、それらの特徴量を機械学習させて生成する。例えば、歩行者辞書を生成するときには、歩行者の頭頂からつま先（又は、踵）までが写った画像を正解画像とし、サイクリスト辞書を生成するときは、サイクリストの頭頂から車輪の接地部分を含む自転車の全体（又は、一部分）が写った画像を正解画像とする。また、頭部辞書を生成するときは、人の頭部が写った画像を正解画像とする。
　表示装置４０は、表示警告部２９が出力する各種の信号に従って画像、音声などを出力する。表示装置４０には、カーナビゲーションのモニタ、ＨＵＤ（ヘッドアップディスプレイ）などを用いることができる。
　なお、人物検出装置２０が実現する各構成要素は、例えば、コンピュータである人物検出装置２０が備える演算装置（図示せず）の制御によって、プログラムを実行させることによって実現することができる。より具体的には、人物検出装置２０は、記憶部（図示せず）に格納されたプログラムを主記憶装置（図示せず）にロードし、演算装置の制御によってプログラムを実行して実現する。
　また、各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア及びソフトウェアのうちのいずれかの組み合わせ等により実現しても良い。
　上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、人物検出装置２０に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。
　非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。
　また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって人物検出装置２０に供給されても良い。一時的なコンピュータ可読媒体の例は、電気信号、光信号及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は、無線通信路を介して、プログラムを人物検出装置２０に供給できる。
　次に、本実施の形態に係る人物検出システム１の動作、すなわち、人物検出方法について具体的に説明する。
　図２は、本実施の形態に係る人物検出方法の処理手順を示すフローチャートである。
　人物検出システム１が動作を開始すると、前方カメラ１０が車両の進行方向の画像を撮像し、画像取得部２１が当該画像を検出対象画像として取得する（ステップＳ１０）。
　次に、人物検出部２２が、記憶装置３０に記憶した歩行者辞書、サイクリスト辞書などを用いて、検出対象画像から人物の検出を行う（ステップＳ２０）。
　図３は、本実施の形態に係る検出対象画像及び人物検出結果を示す図である。
　検出対象画像の画像中央には歩行者１０１が写り、画像左下には車止めポール１０２が写り、画像下半分の歩行者の背後には低い柵１０３が写っている。歩行者１０１を前方カメラ１０から遮蔽するもの（遮蔽物）はない。このため、人物検出部２２が歩行者１０１を検出した結果を示す検出矩形１１１は、歩行者１０１の頭頂から脚の下端部までを含むように歩行者１０１を囲んでおり、歩行者１０１を正しく検出できていることがわかる。
　人物の検出は、例えば、Ｈａａｒ‐ｌｉｋｅ特徴量、ＨＯＧ(Histogram of Gradients)特徴量、ＬＢＰ(Local Binary Patterns)特徴量などを用いて、人物検出用辞書と検出対象画像との間の類似度を算出することにより行う。
　次に、接地位置特定部２３が、検出した人物の接地位置を特定する（ステップＳ３０）。接地位置特定部２３は、例えば、図３に示した検出矩形１１１の下端部（下辺）を接地位置として特定する。
　また、頭部抽出部２４が、検出対象画像から、検出した人物の頭部を抽出する（ステップＳ４０）。頭部抽出部２４は、例えば、図３に示した検出矩形１１１の領域内の上側において、頭部辞書を用いて、人物の頭部を抽出する。
　そして、頭身算出部２５が、検出した人物の頭身を算出する（ステップＳ５０）。
　図４は、本実施の形態に係る頭身算出処理を説明するための図である。図３に示す検出対象画像に対して、歩行者１０１の検出矩形１１１及び頭部の検出矩形１１２をそれぞれ示している。
　頭身算出部２５は、歩行者１０１の画像上の縦方向の大きさ（例えば、検出矩形１１１の縦方向の長さ）Ｈ、及び、歩行者１０１の頭部の画像上の縦方向の大きさ（例えば、検出矩形１１２の縦方向の長さ）Ａから、頭身（Ｈ／Ａ）を算出する。
　なお、ステップＳ３０と、ステップＳ４０～ステップＳ５０とは並行して処理して良いし、ステップＳ３０又はステップＳ４０～ステップＳ５０の一方を先に処理しても良い。
　次に、修正判断部２６が、ステップＳ３０で特定した接地位置を修正するか、しないか、すなわち、修正の有無を判断する（ステップＳ６０）。
　修正判断部２６は、例えば、ステップＳ５０で算出した頭身が異常値（例えば、３頭身以下、又は、１０頭身以上）であった場合に、当該画像の接地位置を修正すると判断する（ステップＳ６０のＹｅｓ）。
　この場合には、接地位置特定部２３が、ステップＳ４０で抽出した頭部の位置、大きさと、平均的な頭身の値（７～８頭身）とを用いて、ステップＳ２０で検出した人物の頭身の値が平均的な頭身の値となるように、ステップＳ２０で設定した検出矩形を変更し、ステップＳ３０で特定した接地位置を修正する（ステップＳ７０）。接地位置特定部２３は検出矩形を変更しないで、接地位置（又は、接地位置に係る情報）だけを修正しても良い。
　また、修正判断部２６は、人物追跡部２８がＩＤを付与して追跡していた人物の接地位置が、以前のフレームの接地位置に基づいて推測した位置から大きく外れた場合や、人物追跡部２８が追跡していた人物の頭身が、以前のフレームで算出した値とは大きく異なった場合のように、複数の画像中のある画像において、特定した接地位置又は算出した頭身に不規則な変動（変化）があった場合にも、不規則な変動があった画像について、その接地位置を修正すると判断する。例えば、人物追跡部２８が追跡していた人物の頭身の値が以前のフレームでは７頭身程度で推移していたのが、あるフレームで１０頭身と算出されたときに、修正判断部２６は、当該フレームで特定した接地位置を修正すると判断する。
　この場合にも、接地位置特定部２３が、ステップＳ４０で抽出した頭部の位置、大きさと、以前のフレームで算出した頭身の値に基づいて、検出した人物の頭身の値が以前のフレームで算出した値と同等となるように、検出矩形を変更し、接地位置を修正する。また、接地位置特定部２３は、特定した接地位置を以前のフレームの接地位置から推測した位置に修正しても良い。
　図５は、本実施の形態に係る接地位置の誤特定を説明するための図である。
　検出対象画像の画像中央には歩行者２０１が写り、画像下半分の中央には歩行者２０１の脚部を遮蔽するように車止めポール（遮蔽物）２０２が写っている。そして、歩行者の脚の特徴と車止めポール２０２の特徴とが似ているため、人物検出部２２が歩行者２０１を検出した結果を示す検出矩形２１１は、歩行者２０１の頭頂から車止めポール２０２の下端部までを含むように歩行者２０１及び車止めポール２０２を囲んで大きくなっており、歩行者２０１を正しく検出できておらず、車止めポール２０２の下端部を歩行者２０１の接地位置として誤特定している。頭身算出部２５が算出した頭身の値も以前のフレームで算出した値から大きく変動している。
　この場合には、上記したように、接地位置特定部２３が、抽出した頭部の縦方向の大きさと、以前のフレームで算出した頭身の値とから検出矩形を変更し、接地位置を修正すれば良く、上記した接地位置修正処理（ステップＳ４０～ステップＳ７０）が有効に機能する。
　なお、修正判断部２６は、接地位置を修正するか、しないかを判断するときに、記憶装置３０に記憶する人物の上半身辞書などを用いて人物を改めて検出し、接地位置又は頭身の不規則な変動が人物の下半身の隠れによるものかどうかを判断しても良い。
　また、修正判断部２６は、ステップＳ２０で人物は検出できたけれども、ステップＳ４０で人物の頭部を抽出できなかったときに、当該フレームの接地位置を修正すると判断しても良い。
　この場合には、接地位置特定部２３が、以前のフレームでの頭部の大きさ、位置から現在のフレームでの頭部の大きさ、位置を推測し、頭身の情報を用いて現在のフレームの人物の検出矩形を変更し、特定した接地位置を修正する。
　また、修正判断部２６は、人物追跡部２８が追跡していた人物の頭部の位置（例えば、頭部の中心）が、以前のフレームの頭部の位置に基づいて推測した位置から大きく外れた場合、すなわち、複数の画像において、抽出した頭部の位置に不規則な変動がある場合に、特定した接地位置を修正しないと判断しても良い。または、修正判断部２６は、抽出した頭部の位置に不規則な変動がない場合に、特定した接地位置を修正すると判断しても良い。
　例えば、追跡していた人物の頭部の位置に大きな変化があったときは、当該人物がかがんだり、しゃがんだりしている可能性がある。このような場合に算出した頭身の値は、通常とは異なる値となっていても、その値自体に誤りはなく、また、特定した接地位置にも誤りはない。このため、特定した接地位置を修正する必要はない。
　図６、図７は、本実施の形態に係る接地位置の修正判断を説明するための図である。図６、図７はともに歩行者３０１又は歩行者４０１が右奥の位置から左手前の位置へ移動しているシーンの、各時刻ｔでの人物及び頭部の検出結果（抽出結果）を示している。
　図６に示すシーンでは、歩行者３０１について、時刻ｔ１では人物及び頭部の検出矩形３１１、３１２が示され、時刻ｔ２でも同じく検出矩形３２１、３２２が示されて、それらの検出矩形の位置、大きさ及び算出した頭身に問題がないことから、修正判断部２６は、時刻ｔ１、ｔ２では人物及び頭部を正しく検出又は抽出しており、接地位置を修正しないと判断する。
　しかしながら、時刻ｔ３では、歩行者３０１の手前にガードレール３０２があって、人物検出部２２はガードレール３０２の支柱を含めて歩行者３０１であると誤検出している。このために、時刻ｔ１、ｔ２のときと比べて、検出矩形３３１は縦に長くなり、算出した頭身も大きくなっている。このような場合に、修正判断部２６は、頭身の値に不規則な変動があり、かつ、時刻ｔ３での頭部の位置が時刻ｔ１、ｔ２の頭部の位置から推測した位置にあるので、接地位置を修正すると判断して、時刻ｔ３における検出矩形３３１を変更する。
　また、図７に示すシーンでも、時刻ｔ１１、ｔ１２では、歩行者４０１及びその頭部を正しく検出又は抽出できており、修正判断部２６は接地位置を修正しないと判断する。
　しかしながら、時刻ｔ１３では、歩行者４０１がしゃがんでおり、時刻ｔ１１、ｔ１２のときと比べて、検出矩形４３１が縦に短くなり、算出した頭身も小さくなっている。このような場合に、修正判断部２６は、頭身の値に不規則な変動があるが、時刻ｔ１３での頭部の位置が時刻ｔ１１、ｔ１２の頭部の位置から推測される位置にないので、時刻ｔ１３では検出矩形４３１を変更しない、接地位置も修正しないと判断する。
　また、修正判断部２６は、歩行者の接地位置が短時間に上下の移動を繰り返したり、歩行者の頭身が短時間に大小の変動を繰り返したりしたときに、当該人物は歩行者ではなく、サイクリストであると判断して、人物検出部２２にサイクリスト辞書を用いて人物の検出をやり直させても良い。
　例えば、サイクリストをその後方から撮像したときに、自転車を検出できずに誤って歩行者として検出してしまうことがある。このような場合であっても、接地位置や頭身の短時間の繰り返し変化を確認したときに、当該人物をサイクリストとして改めて検出して、自転車のタイヤの接地部分を正しい接地位置として特定することができる。
　図８は、本実施の形態に係る接地位置の修正判断を説明するため別の図である。自転車に乗っている人（サイクリスト）５０１を後から撮像したときの人物及び頭部の検出（抽出）結果を示している。
　時刻ｔ２１ではサイクリスト５０１のペダルをこぐ右足が伸びて、検出矩形５１１は縦に長くなっている。また、時刻ｔ２２ではサイクリスト５０１の左右の足が同じ高さになって、検出矩形５２１は縦に短くなっている。そして、検出矩形は短時間に伸び縮みを繰り返し、検出矩形の下端である接地位置も短時間に上下を繰り返している。このような場合に、修正判断部２６は、検出した人物５０１は歩行者ではなく、サイクリストであるとして、人物検出部２２にサイクリスト辞書を用いて人物を改めて検出させて、接地位置をタイヤの接地部分に修正する。
　なお、修正判断部２６は、特定した接地位置を修正しないと判断したとき（ステップＳ６０のＮｏ）は、ステップＳ８０に進む。
　次に、距離算出部２７が、特定又は修正した接地位置に基づいて、検出した人物と自車両との距離を算出する（ステップＳ８０）。距離算出部２７は、前方カメラ１０を車両に設置したときの高さ、角度などに基づいて作成した、撮像画像中の位置（ｙ座標）と自車両からの距離との対応関係を示すテーブルを用いて、検出した人物と自車両との距離を算出することができる。
　次に、表示警告部２９が、ステップＳ１０で取得した検出対象画像、ステップＳ２０で検出した人物の検出矩形、ステップＳ４０で抽出した頭部の検出矩形、ステップＳ８０で算出した自車両から当該人物までの距離などを表示装置４０に表示させる。検出矩形に代えて、又は、検出矩形に加えて接地位置を表示装置４０に表示させても良い。
　また、表示警告部２９は、当該人物までの距離が所定値よりも小さく、当該人物と衝突する可能性があるときに、当該人物が接近したことを運転者に警告する画像及び音声を表示装置４０に出力させる（ステップＳ９０）。
　次に、人物追跡部２８が、各フレームで検出した人物の位置、特徴量などを用いて、検出した人物毎にＩＤを付してトラッキングする（ステップＳ１００）。トラッキングには、パーティクルフィルタ法、ＭｅａｎＳｈｉｆｔ法などを用いる。
　また、人物追跡部２８は、特定した接地位置（座標）や算出した頭身の値などの履歴情報を含むトラッキングの情報を修正判断部２６、接地位置特定部２３などに出力する。これらの情報は、修正判断部２６が接地位置の修正を判断するときや、接地位置特定部２３が接地位置を修正するときに用いる。
　また、ステップＳ９０と、ステップＳ１００とは並行して処理しても良いし、ステップＳ９０又はステップＳ１００の一方を先に処理しても良い。
　なお、本実施の形態に係る人物検出システム１又は人物検出方法では、接地位置を修正するときに、検出した人物からその頭部を抽出し、頭身を算出して用いたが、検出した人物の画像から安定して抽出できる、一定の形状、鮮明な彩色などを有する特徴的な領域（特徴部分）を抽出し、検出した人物の縦方向の大きさと特徴部分の縦方向の大きさとの比率を算出して接地位置を修正しても良い。特徴部分として、例えば、腕、脚、上着、傘、カバンなどを抽出すれば良い。
　また、接地位置を修正するときに、検出した人物の縦方向の大きさとの間で比率を算出できるような、特徴的な大きさを示す特徴量を画像から直接算出して用いても良い。この場合の特徴量としては、検出した人物の横幅又は肩幅などを用いることができる。
　また、本実施の形態に係る人物検出システム１又は人物検出方法では、前方カメラ１０として遠赤外線カメラを用いることもできる。遠赤外線カメラは被写体が発する熱を検知し、それらの温度差を輝度差に変換することで、映像化している。遠赤外線画像を検出対象画像として用いるときは、温度が高い人の領域の輝度値が大きくなり、人と比べて温度が低い周辺領域の輝度が小さくなることを利用する。
　例えば、図５に示すシーンを撮像した遠赤外線画像では、車止めポールを含む周辺慮域の輝度が小さくなり、人物の検出矩形の下端は車止めポールに隠されていないところまでで縦に短くなり、頭身を算出すると３～４頭身となる。このような場合であっても、本実施の形態に係る接地位置修正処理であれば、抽出した頭部の位置と大きさとに基づいて、検出矩形を変更して、接地位置を修正することができる。可視画像と遠赤外線画像とを撮影状況や人物の検出状況に応じて切り換えても良い。
　また、本実施の形態に係る人物検出システム１又は人物検出方法では、人物を検出するときに、歩行者、サイクリストなどが写った画像を機械学習して作成した歩行者辞書、サイクリスト辞書などを用いたが、歩行者、サイクリストなどのテンプレート画像を用いたパターンマッチングなどを行って人物を検出しても良い。
　また、本実施の形態に係る人物検出システム１は車両に搭載するものとして説明してきたが、人物検出システム１は車両に固定しても良いし、可搬可能に車両に設置しても良い。また、ヘッドマウントディスプレイ（ＨＭＤ、Head Mounted Display）などのように、人物が装着するように構成しても良い。
　また、本実施の形態に係る人物検出システム１の各構成について、複数の装置、例えば、人物検出装置２０及び記憶装置３０を一体化して、記憶部を備えた人物検出装置としても良い。また、人物検出システム１の全ての構成を一体化して、前方撮像部、記憶部、表示部を備えた人物検出装置としても良い。もちろん、人物検出システム１を、距離算出システム、人物追跡システム、衝突防止システム、更に、距離算出方法、距離算出プログラムなどとして構成しても良い。
　以上、説明したように、本実施の形態に係る人物検出装置２０は、撮像装置１０が撮影した画像を取得する画像取得部２１と、取得した画像から人物を検出する人物検出部２２と、検出した人物の下端部に基づいて人物の接地位置を特定する接地位置特定部２３と、検出した人物の特徴部分を抽出する特徴部分抽出部２４と、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出する比率算出部２５と、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断する修正判断部２６とを備え、接地位置特定部２３は、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正するものである。
　このような構成により、誤って特定した歩行者などの接地位置を修正することができる。
　また、本実施の形態に係る人物検出装置２０は、修正判断部２６は、特徴部分の比率が異常値であるときに、特定した接地位置を修正すると判断することも可能である。
　このような構成により、検出した人物の特徴に基づいて、修正の有無を判断することができる。

　また、本実施の形態に係る人物検出装置２０は、修正判断部２６は、画像取得部２１が取得した複数の画像において、特定した接地位置又は算出した比率に不規則な変動があるときに、特定した接地位置を修正すると判断することも可能である。
　このような構成により、履歴情報に基づいて、修正の有無を判断することができる。
　また、本実施の形態に係る人物検出装置２０は、修正判断部２６は、複数の画像において、抽出した特徴部分の位置に不規則な変動がないときに、特定した接地位置を修正すると判断することも可能である。
　このような構成により、修正の有無をより正しく判断することができる。
　また、本実施の形態に係る人物検出装置２０は、画像取得部２１が取得した複数の画像において、特定した接地位置が繰り返し上下に変動し、又は、算出した比率が繰り返し大小に変動したときに、人物を改めて検出すると判断することも可能である。
　このような構成により、歩行者とサイクリストなどとを判別することができる。
　また、本実施の形態に係る人物検出装置２０は、特徴部分抽出部２４は、特徴部分として検出した人物の頭部を抽出することも可能である。
　このような構成により、抽出しやすく、歩行中に動きの小さい頭部を特徴部分とすることができる。
　また、本実施の形態に係る人物検出システム１は、人物検出装置２０と、撮像装置１０、又は、画像を表示する表示装置４０の少なくとも一方とを備えることも可能である。
　また、本実施の形態に係る人物検出方法は、撮像装置が撮影した画像を取得するステップＳ１０と、取得した画像から人物を検出するステップＳ２０と、検出した人物の下端部に基づいて人物の接地位置を特定するステップＳ３０と、検出した人物の特徴部分を抽出するステップＳ４０と、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出するステップＳ５０と、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断するステップＳ６０と、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正するステップＳ７０とを有するものである。
　また、本実施の形態に係る人物検出プログラムは、コンピュータに、撮像装置が撮影した画像を取得する手順Ｓ１０と、取得した画像から人物を検出する手順Ｓ２０と、検出した人物の下端部に基づいて人物の接地位置を特定する手順Ｓ３０と、検出した人物の特徴部分を抽出する手順Ｓ４０と、検出した人物の縦方向の大きさ及び抽出した特徴部分の縦方向の大きさに基づいて特徴部分の比率を算出する手順Ｓ５０と、特定した接地位置又は算出した比率に基づいて、特定した接地位置の修正の有無を判断する手順Ｓ６０と、特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正する手順Ｓ７０とを実行させるためのものである。
　この出願は、２０１６年７月２７日に出願された日本出願特願２０１６－１４６９４０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　実施の形態に係る人物検出システムは、検出した人物の特徴部分の縦方向の大きさ及び比率に基づいて、特定した接地位置を修正するもので、産業上の利用可能性を有する。
１　　人物検出システム
１０　　前方カメラ
２０　　人物検出装置
２１　　画像取得部
２２　　人物検出部
２３　　接地位置特定部
２４　　頭部抽出部（特徴部分抽出部）
２５　　頭身算出部（比率算出部）
２６　　修正判断部
２７　　距離算出部
２８　　人物追跡部
２９　　表示警告部
３０　　記憶装置
４０　　表示装置

Claims (9)

  1. 　撮像装置が撮影した画像を取得する画像取得部と、
    　前記取得した画像から人物を検出する人物検出部と、
    　前記検出した人物の下端部に基づいて前記人物の接地位置を特定する接地位置特定部と、
    　前記検出した人物の特徴部分を抽出する特徴部分抽出部と、
    　前記検出した人物の縦方向の大きさ及び前記抽出した特徴部分の縦方向の大きさに基づいて前記特徴部分の比率を算出する比率算出部と、
    　前記特定した接地位置又は前記算出した比率に基づいて、前記特定した接地位置の修正の有無を判断する修正判断部と
    　を備え、
    　前記接地位置特定部は、前記特徴部分の縦方向の大きさ及び前記比率に基づいて、前記特定した接地位置を修正する
    　人物検出装置。
  2. 　前記修正判断部は、前記特徴部分の比率が異常値であるときに、前記特定した接地位置を修正すると判断する
    　請求項１記載の人物検出装置。
  3. 　前記修正判断部は、前記画像取得部が取得した複数の画像において、前記特定した接地位置又は前記算出した比率に不規則な変動があるときに、前記特定した接地位置を修正すると判断する
    　請求項１又は請求項２記載の人物検出装置。
  4. 　前記修正判断部は、前記画像取得部が取得した複数の画像において、前記抽出した特徴部分の位置に不規則な変動がないときに、前記特定した接地位置を修正すると判断する
    　請求項１乃至請求項３のいずれか１項記載の人物検出装置。
  5. 　前記修正判断部は、前記画像取得部が取得した複数の画像において、前記特定した接地位置が繰り返し上下変動し、又は、前記算出した比率が繰り返し大小変動したときに、人物を改めて検出すると判断する
    　請求項１乃至請求項４のいずれか１項記載の人物検出装置。
  6. 　前記特徴部分抽出部は、前記特徴部分として前記検出した人物の頭部を抽出する
    　請求項１乃至請求項５のいずれか１項記載の人物検出装置。
  7. 　請求項１乃至請求項６のいずれか１項記載の人物検出装置と、
    　前記撮像装置、又は、前記画像を表示する表示装置の少なくとも一方と
    　を備える人物検出システム。
  8. 　撮像装置が撮影した画像を取得するステップと、
    　前記取得した画像から人物を検出するステップと、
    　前記検出した人物の下端部に基づいて前記人物の接地位置を特定するステップと、
    　前記検出した人物の特徴部分を抽出するステップと、
    　前記検出した人物の縦方向の大きさ及び前記抽出した特徴部分の縦方向の大きさに基づいて前記特徴部分の比率を算出するステップと、
    　前記特定した接地位置又は前記算出した比率に基づいて、前記特定した接地位置の修正の有無を判断するステップと、
    　前記特徴部分の縦方向の大きさ及び前記比率に基づいて、前記特定した接地位置を修正するステップと
    　を有する人物検出方法。
  9. 　コンピュータに、
    　撮像装置が撮影した画像を取得する手順と、
    　前記取得した画像から人物を検出する手順と、
    　前記検出した人物の下端部に基づいて前記人物の接地位置を特定する手順と、
    　前記検出した人物の特徴部分を抽出する手順と、
    　前記検出した人物の縦方向の大きさ及び前記抽出した特徴部分の縦方向の大きさに基づいて前記特徴部分の比率を算出する手順と、
    　前記特定した接地位置又は前記算出した比率に基づいて、前記特定した接地位置の修正の有無を判断する手順と、
    　前記特徴部分の縦方向の大きさ及び前記比率に基づいて、前記特定した接地位置を修正する手順と
    　を実行させるための人物検出プログラム。
PCT/JP2017/006539 2016-07-27 2017-02-22 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム WO2018020715A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP17833726.7A EP3410420B1 (en) 2016-07-27 2017-02-22 Person detection device, person detection method, and person detection program
US15/968,572 US10521679B2 (en) 2016-07-27 2018-05-01 Human detection device, human detection system, human detection method, and human detection program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016146940A JP6627680B2 (ja) 2016-07-27 2016-07-27 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
JP2016-146940 2016-07-27

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/968,572 Continuation US10521679B2 (en) 2016-07-27 2018-05-01 Human detection device, human detection system, human detection method, and human detection program

Publications (1)

Publication Number Publication Date
WO2018020715A1 true WO2018020715A1 (ja) 2018-02-01

Family

ID=61017026

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/006539 WO2018020715A1 (ja) 2016-07-27 2017-02-22 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム

Country Status (4)

Country Link
US (1) US10521679B2 (ja)
EP (1) EP3410420B1 (ja)
JP (1) JP6627680B2 (ja)
WO (1) WO2018020715A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017119394A1 (de) * 2017-08-28 2019-02-28 HELLA GmbH & Co. KGaA Verfahren zur Ansteuerung mindestens eines Lichtmoduls einer Leuchteinheit eines Fahrzeugs, Leuchteinheit, Computerprogrammprodukt und computerlesbares Medium
JP7067354B2 (ja) * 2018-08-09 2022-05-16 株式会社Ihi 物体検出装置及び物体検出方法
US20220227367A1 (en) * 2019-06-06 2022-07-21 Mobileye Vision Technologies Ltd. Systems and methods for vehicle navigation
WO2021132566A1 (ja) * 2019-12-26 2021-07-01 パナソニックＩｐマネジメント株式会社 表示制御装置、表示システム、表示制御方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010073929A1 (ja) * 2008-12-22 2010-07-01 日本電気株式会社 人判定装置、方法およびプログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
DE102005056647B4 (de) * 2004-11-30 2011-02-03 Honda Motor Co., Ltd. Fahrzeugumgebungsüberwachungsvorrichtung
EP1897751B1 (en) 2006-09-11 2012-08-15 Kawasaki Jukogyo Kabushiki Kaisha Driving assist system for a vehicle
JP4777195B2 (ja) 2006-09-11 2011-09-21 川崎重工業株式会社 運転支援装置、車両及び運転支援方法
US8050459B2 (en) * 2008-07-25 2011-11-01 GM Global Technology Operations LLC System and method for detecting pedestrians
JP5258977B2 (ja) * 2009-11-25 2013-08-07 本田技研工業株式会社 対象物距離測定装置及び当該装置が搭載された車両
US9373042B2 (en) * 2011-09-20 2016-06-21 Toyota Jidosha Kabushiki Kaisha Subject change detection system and subject change detection method
CN103858156B (zh) * 2011-10-18 2015-04-15 本田技研工业株式会社 车辆周围监测装置
JP6032921B2 (ja) * 2012-03-30 2016-11-30 キヤノン株式会社 物体検出装置及びその方法、プログラム
US20140205139A1 (en) * 2013-01-18 2014-07-24 Caterpillar Inc. Object recognition system implementing image data transformation
JP5961123B2 (ja) * 2013-01-30 2016-08-02 パナソニック株式会社 人物検出追跡装置、人物検出追跡方法、および人物検出追跡プログラム
JP6184877B2 (ja) * 2014-01-09 2017-08-23 クラリオン株式会社 車両用外界認識装置
WO2015133159A1 (ja) * 2014-03-05 2015-09-11 コニカミノルタ株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
CN106295460B (zh) * 2015-05-12 2019-05-03 株式会社理光 人的检测方法及设备
DE112017002805T5 (de) * 2016-06-03 2019-02-28 Mitsubishi Electric Corporation Ausrüstungssteuerungseinrichtung und Ausrüstungssteuerungsverfahren

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010073929A1 (ja) * 2008-12-22 2010-07-01 日本電気株式会社 人判定装置、方法およびプログラム

Also Published As

Publication number Publication date
JP6627680B2 (ja) 2020-01-08
EP3410420B1 (en) 2024-03-06
JP2018018234A (ja) 2018-02-01
US10521679B2 (en) 2019-12-31
EP3410420A1 (en) 2018-12-05
US20180247140A1 (en) 2018-08-30
EP3410420A4 (en) 2019-01-23

Similar Documents

Publication Publication Date Title
CN107924465B (zh) 物体识别装置、物体识别方法以及存储介质
JP4410292B1 (ja) 車両の周辺監視装置
US10169667B2 (en) External environment recognizing device for vehicle and vehicle behavior control device
WO2018020715A1 (ja) 人物検出装置、人物検出システム、人物検出方法及び人物検出プログラム
JP5639282B2 (ja) 車両周辺監視装置
US9852334B2 (en) Method and apparatus for detecting moving objects
US20070291987A1 (en) Vehicle surroundings monitoring apparatus
US9165197B2 (en) Vehicle surroundings monitoring apparatus
KR20150002038A (ko) 하라이크 특징과 아다브스트에 기반한 칼만 필터와 클러스터링 알고리즘을 이용하여 실시간으로 차량을 인식 및 추적하는 방법
JP2007323578A (ja) 車両周辺監視装置
JP6333975B2 (ja) 車両周辺監視装置
JP2010191793A (ja) 警告表示装置及び警告表示方法
KR20160054925A (ko) 특정물체 감지 장치 및 특정물체 감지 방법
JP2007334511A (ja) 対象物検出装置、車両、対象物検出方法、並びに対象物検出用プログラム
JP2010079716A (ja) 車両の歩行者検出装置
JP2017167608A (ja) 物体認識装置、物体認識方法及び物体認識プログラム
KR20180047149A (ko) 충돌 위험 경고 장치 및 방법
JP2015185135A (ja) 停車認識装置、停車認識方法及びプログラム
KR20160126254A (ko) 도로 영역 검출 시스템
US9030560B2 (en) Apparatus for monitoring surroundings of a vehicle
JP5004882B2 (ja) 車両周辺監視装置
JP5559121B2 (ja) 対象物種別判定装置
KR20200119421A (ko) 어라운드 뷰 모니터링 시스템을 이용한 자율 주행 차량을 위한 이동 경로 생성 장치 및 방법
JP6495742B2 (ja) 対象物検出装置、対象物検出方法、及び、対象物検出プログラム
KR20140091113A (ko) 차량과 객체의 충돌을 방지하기 위한 헤드라이트 빔 패턴을 이용한 이동객체 검출 장치 및 이를 이용한 이동객체 검출 방법

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2017833726

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2017833726

Country of ref document: EP

Effective date: 20180829

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17833726

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE