WO2015107877A1 - 移動体検出装置および移動体検出方法 - Google Patents
移動体検出装置および移動体検出方法 Download PDFInfo
- Publication number
- WO2015107877A1 WO2015107877A1 PCT/JP2015/000070 JP2015000070W WO2015107877A1 WO 2015107877 A1 WO2015107877 A1 WO 2015107877A1 JP 2015000070 W JP2015000070 W JP 2015000070W WO 2015107877 A1 WO2015107877 A1 WO 2015107877A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- moving body
- captured image
- detecting
- template
- detected
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 237
- 230000002093 peripheral effect Effects 0.000 claims abstract description 127
- 238000003384 imaging method Methods 0.000 claims abstract description 11
- 238000000034 method Methods 0.000 description 83
- 238000010586 diagram Methods 0.000 description 21
- 238000012986 modification Methods 0.000 description 13
- 230000004048 modification Effects 0.000 description 13
- 230000012447 hatching Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
Definitions
- This disclosure relates to a technique for detecting a moving object from an image taken by an in-vehicle camera.
- a technique for detecting a moving object such as a pedestrian or a vehicle by capturing an image of the front or surrounding of the vehicle using an in-vehicle camera and applying pattern matching to the obtained captured image is known.
- a template indicating a characteristic shape of a pedestrian (a template for a pedestrian) and a template indicating a characteristic shape of a vehicle (a template for a vehicle) are stored, and from a captured image, these are stored.
- a moving object shown in the photographed image is detected.
- moving objects such as pedestrians and vehicles can appear in various places in the captured image. Therefore, in order to avoid omission of detection of the moving object, it is necessary to search all the locations in the captured image and extract a portion that matches the template while moving the position of the template in the captured image little by little. .
- the moving object can be captured in various sizes. Therefore, it is necessary to prepare templates of various sizes, and to detect the moving object shown in the photographed image by moving the positions in the photographed image little by little with respect to the templates of various sizes. .
- the inventors of the present application found the following. If all the areas of the photographed image are searched using templates of various sizes, the time required for the search becomes long, and it may be difficult to quickly detect the moving object.
- the present disclosure has been made in view of the above-described problems of the related art, and provides a technique capable of quickly detecting a moving object shown in a captured image without causing a risk of detection omission. With the goal.
- a moving body detection apparatus and a moving body detection method for detecting a moving body captured in a captured image by analyzing a captured image obtained by an in-vehicle camera are provided.
- the moving body detection device includes a shooting unit that takes a shot image at a predetermined time interval, a first moving body that appears smaller than a predetermined size from the peripheral areas provided on the left and right sides of the shot image, A peripheral area detection unit that detects a second moving body that is larger than the predetermined size as a moving body, and a first moving body as a moving body from a central area that is provided in the center of the captured image.
- the center area detection unit detects the first moving body and the second moving body as moving bodies when the second moving body is detected in the peripheral area in the previously captured image.
- a moving body detection apparatus for detecting the above.
- the moving body detection device includes a peripheral region detection unit and a central region detection unit.
- the moving body detection device and the moving body detection method of the present disclosure it is possible to quickly detect a moving body shown in a captured image without causing a risk of detection omission.
- FIG. 1 is an explanatory view showing a vehicle equipped with the moving body detection device of this embodiment.
- FIG. 2 is an explanatory diagram showing a rough internal configuration of the moving object detection device
- FIG. 3 is an explanatory diagram illustrating a captured image obtained by the in-vehicle camera.
- FIG. 4 is an explanatory diagram showing how a pedestrian is detected in a captured image using a template.
- FIG. 5 is an explanatory diagram illustrating a plurality of templates for detecting pedestrians.
- FIG. 6 is a flowchart of the moving object detection process of the first embodiment.
- FIG. 7A is an explanatory diagram of a basic concept when setting a template for detecting a central region based on the detection result of a previous captured image
- FIG. 7B is an explanatory diagram of a basic concept when setting a template for detecting a central region based on the detection result of a previous captured image
- FIG. 7C is an explanatory diagram of a basic concept when setting a template for detecting a central region based on the detection result of a previous captured image
- FIG. 8 is an explanatory diagram illustrating a table that is referred to when setting a template for detecting a central region
- FIG. 9 is an explanatory diagram illustrating a table that is referred to when setting a template for detecting a peripheral region.
- FIG. 10 is a flowchart of the center area detection process.
- FIG. 11A is an explanatory view exemplifying a state in which the center area of the captured image is expanded;
- FIG. 11B is an explanatory diagram illustrating the expansion of the central area of the captured image.
- FIG. 12 is a flowchart of the peripheral area detection process.
- FIG. 13A is an explanatory diagram illustrating a state in which the peripheral area of the captured image is expanded
- FIG. 13B is an explanatory diagram illustrating a state in which the peripheral area of the captured image is expanded
- FIG. 14 is a flowchart of the first half of the moving object detection process of the second embodiment.
- FIG. 15 is a flowchart of the latter half of the moving object detection process of the second embodiment.
- FIG. 16A is an explanatory diagram of a method for predicting whether or not a moving body is detected in the central region during the moving body detection process of the second embodiment
- FIG. 16B is an explanatory diagram of a method for predicting whether or not a moving body is detected in the central region during the moving body detection process of the second embodiment
- FIG. 16C is an explanatory diagram of a method for predicting whether or not a moving body is detected in the central region during the moving body detection process of the second embodiment.
- FIG. 17A is an explanatory diagram of a first modification
- FIG. 17B is an explanatory diagram of the first modification example.
- FIG. 18A is an explanatory diagram of a second modification
- FIG. 18B is an explanatory diagram of the second modification
- FIG. 19 is an explanatory diagram of the third modification example.
- FIG. 20 is an explanatory diagram showing a rough internal configuration of the moving object detection device.
- FIG. 1 shows a vehicle 1 on which a moving body detection device 100 of the present embodiment is mounted.
- a moving body detection apparatus 100 according to the present embodiment is mounted on the vehicle 1 together with the in-vehicle camera 10 that captures an image in front of the vehicle 1.
- the in-vehicle camera 10 is equipped with an image sensor such as a CMOS or a CCD, and outputs image data of a front image at a constant cycle of 30 Hz under the control of the moving object detection apparatus 100.
- the moving body detection apparatus 100 is mainly configured by a microcomputer in which a CPU, a ROM, a RAM, and the like are connected by a bus, and successively reads captured images taken by the in-vehicle camera 10 and moves in the captured image. Detect the body (pedestrians, vehicles, bicycles, etc.).
- the in-vehicle camera 10 is described as continuously capturing images at a constant period.
- a plurality of images may be captured at a predetermined time interval, and the images are not necessarily continuously captured. There is no need. For example, even when two or three images are taken at a predetermined time interval, the following description applies in exactly the same manner.
- FIG. 2 shows a rough internal configuration of the moving object detection apparatus 100.
- the moving body detection apparatus 100 of the present embodiment includes an imaging unit 101, a peripheral region detection unit 102, a central region detection unit 103, a prediction unit 105, and a storage unit 104.
- These five “parts” are abstract concepts in which the interior of the mobile object detection device 100 is classified for convenience, focusing on the function of the mobile object detection device 100 detecting a mobile object in a captured image. This does not represent that the moving body detection device 100 is physically divided into five parts. Therefore, these “units” can be realized as a computer program executed by the CPU, can be realized as an electronic circuit including an LSI, and can also be realized as a combination thereof.
- moving body detection apparatus 100 and the imaging unit 101 may be separate bodies (see FIG. 20).
- the imaging unit 101 is connected to the above-described in-vehicle camera 10 and controls the operation of the in-vehicle camera 10 and acquires a captured image generated by the in-vehicle camera 10.
- the image capturing unit 101 temporarily stores the captured image in an internal buffer, and then outputs the captured image to the peripheral region detection unit 102 and the central region detection unit 103.
- the peripheral area detection unit 102 detects a moving body that appears in the peripheral area of the captured image. As will be described in detail later, a certain range of areas provided on both the left and right sides of the captured image is defined as the peripheral area.
- the peripheral area detecting unit 102 reads the template stored in advance in the storage unit 104 and detects the moving object by searching the peripheral area of the captured image. The obtained detection result is stored in the storage unit 104.
- the templates stored in the storage unit 104 will be described later.
- the central area detection unit 103 When the central area detection unit 103 receives a captured image from the imaging unit 101, the central area detection unit 103 detects a moving body that is reflected in the central area of the captured image. As will be described in detail later, an area within a certain range provided in the center of the captured image is defined as the central area. Similarly to the peripheral region detection unit 102 described above, the central region detection unit 103 reads a template from the storage unit 104 to detect the mobile unit when detecting the mobile unit, and then stores the detection result in the storage unit 104.
- the storage unit 104 stores a template used for detecting a moving object in advance. In addition, the result of detecting the moving body by the peripheral area detection unit 102 and the central area detection unit 103 is also stored in the storage unit 104. The storage unit 104 does not need to store all detection results obtained by the peripheral region detection unit 102 and the central region detection unit 103, and stores detection results for the most recent predetermined number of times (for example, five times). If you do.
- the prediction unit 105 reads out the detection result of the moving object by the peripheral region detection unit 102 and the central region detection unit 103 from the storage unit 104, predicts the detection result of the moving object in the next captured image, and calculates the prediction result.
- the data is output to the central area detection unit 103. A method by which the prediction unit 105 predicts the detection result of the moving object will be described later.
- the photographing unit 101 corresponds to the “photographing unit” in the present disclosure
- the peripheral region detection unit 102 corresponds to the “peripheral region detection unit” in the present disclosure
- the central region detection unit 103 corresponds to “ This corresponds to the “central area detection unit”.
- the storage unit 104 of this embodiment corresponds to a “storage unit” in the present disclosure
- the prediction unit 105 corresponds to a “prediction unit” in the present disclosure.
- FIG. 3 illustrates a captured image obtained by the in-vehicle camera 10.
- pedestrians H1 to H9 of various sizes are shown in various positions in the photographed image.
- a pedestrian is shown exclusively as a moving body, but the moving body is not limited to a pedestrian, and may be an automobile or a two-wheeled vehicle.
- a template showing a characteristic shape of the moving object is stored in advance, and a location matching the template is detected using pattern matching in the photographed image.
- the method of extracting from has been widely used. For example, if the template TP for pedestrians indicated by a broken-line rectangle in FIG. 4 is moved little by little in a position where the template TP is applied to the captured image, the pedestrian TP is searched. H4 can be detected. Of course, pedestrians H1 to H3 that are larger than the template TP cannot be detected by the template TP. Also, pedestrians H5 to H9 that are too small compared to the template TP cannot be detected by the template TP. Therefore, it is necessary to search for these pedestrians in the same way using a template TP of another size.
- FIG. 5 illustrates a plurality of templates TP used for detecting a pedestrian.
- nine types of templates TP from a small template TP to a large template TP are stored in advance.
- the five small templates TP are referred to as “first templates TP1” and the four large templates TP are referred to as “second templates TP2”.
- the five templates TP included in the first template TP1 are referred to as TP1a, TP1b, TP1c, TP1d, and TP1e in order from the smallest.
- the second template TP2 is distinguished from the smallest template in the order of TP2a, TP2b, TP2c, and TP2d.
- the small pedestrian detected by the first template TP1 corresponds to the “first moving body” in the present disclosure
- the large pedestrian detected by the second template TP2 is the “first moving body” in the present disclosure.
- the first template TP1 and the second template TP2 are configured by a plurality of templates TP, but are not necessarily configured by a plurality of templates TP. Any of the second templates TP2 may be configured by one template TP.
- the nine templates TP are classified into two types of templates, the first template TP1 and the second template TP2, for convenience, but may be classified into three or more types of templates.
- FIG. 6 shows a flowchart of a moving object detection process executed when the moving object detection device 100 of the first embodiment detects a moving object in a captured image.
- a captured image is acquired from the in-vehicle camera 10 (S100). Then, it is determined whether or not the previously acquired photographed image exists (S101). As described above, since the imaging unit 101 acquires captured images from the in-vehicle camera 10 at a fixed period, it is determined that the previously acquired captured image exists in a normal case (S101: yes). On the other hand, immediately after the vehicle-mounted camera 10 and the moving body detection apparatus 100 are turned on, it is determined that the previously acquired photographed image does not exist (S101: no).
- the in-vehicle camera 10 does not necessarily need to continuously acquire captured images, and may capture a plurality of captured images at predetermined time intervals. In this case, if a time longer than a predetermined time interval (or longer than a predetermined reference time longer than the predetermined time) has elapsed since the last time the image was captured, the previously acquired captured image does not exist. (S101: no) may be determined.
- the detection result of the moving body for the previous captured image is read from the storage unit 104 (S102). Then, based on the detection result for the previous captured image, a central area detection template for the current captured image is set (S103).
- the moving body detection apparatus 100 divides the captured image into a “peripheral area” and a “center area” and detects a moving body for each area.
- the template for detecting the central area is a template used for detecting a moving body that appears in the central area of the photographed image.
- the central region detection template for the current captured image is set without reading the detection result for the previous captured image. (S103).
- 7A to 7C show a basic concept of setting a template for detecting a central region based on the previous detection result of a captured image.
- a captured image is considered by dividing it into a peripheral region RP provided on both sides in the left-right direction and a central region RC provided in the central portion. Then, it is conceivable that a large pedestrian reflected in the peripheral area RP moves to the central area RC as indicated by a broken line arrow as shown by hatching in FIG. 7A. On the other hand, it is unlikely that a large pedestrian appears in the central region RC without appearing in the peripheral region RP. Therefore, it is considered that the template for detecting a large pedestrian (second template TP2) may be set as the template for detecting the central region after the large pedestrian is detected in the peripheral region RP.
- second template TP2 may be set as the template for detecting the central region after the large pedestrian is detected in the peripheral region RP.
- the first template TP1 for detecting a small pedestrian needs to be set as a template for detecting the central region. .
- a template for central area detection is set by referring to the table (template for central area detection) shown in FIG. Note that the table of FIG. 8 is stored in the storage unit 104 in advance.
- the first template TP1 and the second template TP2 are set as templates for detecting the central region.
- a template for central area detection is set as follows.
- the first template TP1 is used as a template for detecting the central region. Just set it up.
- the first template TP1 may be set as a template for detecting the central area.
- the second moving body in this case, a large pedestrian
- a pedestrian approaching from a distance from the central region RC and a large pedestrian moving from the peripheral region RP can be detected.
- the first template TP1 for detecting a small pedestrian and the second template TP2 for detecting a large pedestrian may be set.
- the first moving body in this case, a small pedestrian
- the central region RC it is only necessary to detect a small pedestrian reflected in the central region RC, a small pedestrian approaching from a distance and appearing in the central region RC, and a pedestrian moving from the peripheral region RP. If no moving object is detected in the peripheral region RP, it may be considered that the pedestrian does not move from the peripheral region RP. Therefore, the first template TP1 is used as a template for detecting the central region. Just set it up.
- the first template TP1 is used as a template for detecting the central region. Should be set.
- the template TP2a in the second template TP2 is also set as a template for detecting the central region.
- the first template TP1 for detecting a small pedestrian and the second template TP2 for detecting a large pedestrian may be set.
- the second moving body large pedestrian
- the first template TP1 for detecting a small pedestrian and the second template TP2 for detecting a large pedestrian are used for detecting the central region regardless of the detection result of the moving object in the peripheral region RP. Set it as a template.
- the template for detecting the central area is set as described above. After the central region detection template is set in this way, the peripheral region detection template is set (S104).
- peripheral region RP Since the peripheral region RP is in contact with the blind spot of the in-vehicle camera 10, a large pedestrian or a small pedestrian may suddenly appear from the blind spot. Of course, it is conceivable that a pedestrian approaching from a distance appears small in the peripheral area RP.
- the peripheral region detection template is always the first template TP1 and the first template regardless of the detection result of the previous captured image. 2 templates TP2 are set. Note that the table of FIG. 9 is also stored in advance in the storage unit 104 in the same manner as the table of FIG. 8 described above.
- FIG. 10 shows a flowchart of the central area detection process.
- the central area detection process (S200) is started, first, one template is selected from the templates set for the central area detection (S201).
- the center area RC of the photographed image is expanded by the width of the selected template (S202). This is the following process.
- FIG. 11A and FIG. 11B illustrate how the central region RC of the captured image is expanded.
- FIG. 11A shows a state before expanding the central region RC
- FIG. 11B shows a state after expanding the central region RC.
- the white arrows in FIGS. 11A and 11B represent the expansion of the central region RC.
- the boundary of the central region RC may overlap with the moving body to be detected.
- the pedestrian H4 overlaps the boundary of the central region RC, but this can occur for pedestrians of all sizes to be detected. And about the pedestrian who overlapped the boundary, even if it searches the center area
- the central region RC is expanded by moving the boundary so that pedestrians that overlap the boundary are included in the central region RC. Further, the amount of movement of the boundary at this time may be shifted to the outside by the amount corresponding to half the width of the template used for the search. This means that even if pedestrians of various sizes exist on the boundary, only the pedestrians of a size corresponding to the template can be detected, so the boundary can be moved outward by about half the width of the template. This is enough.
- the left and right boundaries are moved outward by an amount corresponding to half the width of the template.
- the central region RC is expanded by an amount corresponding to the width of the template TP1d.
- the position of the template is moved little by little within the expanded central region RC to detect a moving object in the expanded central region RC (FIG. 10 S203).
- the detection result is stored in the storage unit 104 (S204).
- the position where the moving body is detected and the template (template TP1d in the example shown in FIG. 11B) where the moving body is detected are stored. If you know the template that detected the moving object, you can know the approximate size of the moving object.
- FIG. 12 shows a flowchart of the peripheral area detection process. Also in the peripheral area detection process (S300), when the process is started, first, one template is selected from the templates set for the peripheral area detection (S301).
- the peripheral area RP of the photographed image is expanded by the width of the selected template (S302).
- FIG. 13A and FIG. 13B illustrate how the peripheral region RP of the captured image is expanded.
- FIG. 13A shows a state before the peripheral region RP is expanded
- FIG. 13B shows a state after the peripheral region RP is expanded.
- the white arrows in FIGS. 13A and 13B represent the expansion of the peripheral region RP.
- the boundary of the peripheral region RP may overlap the moving body in the captured image, as in the case where the central region RC is set (see FIG. 13A). . And about the pedestrian with which the boundary overlapped, even if it searches the peripheral region RP using a template, it may not be detected.
- the boundary is moved so that a pedestrian with overlapping boundaries is included in the peripheral region RP. That is, the boundary between the peripheral region RP and the central region RC provided on the left side of the captured image is moved in the right direction, and the boundary between the peripheral region RP and the central region RC provided on the right side of the captured image is in the left direction. Move to. Further, the amount of movement of the boundary may be moved by an amount corresponding to half the width of the template used for the search, as in the case of moving the boundary of the central region RC described above.
- the template TP1d is selected. Therefore, for the left peripheral region RP in the captured image, the boundary is moved to the right by an amount corresponding to half of the width of the template, and for the right peripheral region RP in the captured image, half of the width of the template. The boundary is moved to the left by an amount equivalent to. As a result, the peripheral region RP is also expanded by an amount corresponding to the width of the template TP1d.
- the detection result is stored in the storage unit 104 (S304). Also in the peripheral area detection process (S300), as in the above-described central area detection process (S200), the detection result includes the position where the moving object is detected and the template (that is, the moving object). Size).
- the moving body detection apparatus 100 detects the moving body by dividing the captured image into the central region RC and the peripheral region RP.
- the moving object is detected using all the templates TP, but for the central region RC, the moving object is detected using a part of the templates TP set according to the detection result for the previous captured image. Detect the body. For this reason, it is possible to reduce the time required for detecting the moving body as compared to the case where the moving body is detected using all the templates TP in the entire region of the captured image as in the prior art.
- the template TP for detecting the central region the template TP that is considered not to detect a moving body in the central region RC of the current captured image is excluded from the detection result of the previous captured image. All the remaining templates TP are set as the central region detection template TP. For this reason, there is no possibility that a detection failure of the moving object shown in the photographed image occurs.
- the central region detection template TP is set based on the detection result of the previous captured image.
- the center region detection template TP may be set in consideration of not only the previous captured image but also the detection result of the previous captured image. In the following, the moving body detection process of the second embodiment will be described with a focus on differences from the first embodiment.
- FIG. 14 shows a flowchart of the moving object detection process of the second embodiment. Also in the moving body detection process of the second embodiment, as in the first embodiment described above, first, a captured image is acquired from the in-vehicle camera 10 (S150), and then whether the previously acquired captured image exists. It is determined whether or not (S151).
- the mobile object detection result for the previous captured image is read from the storage unit 104 (S152), and then the mobile object is detected in the previous captured image. It is determined whether it has been performed (S153).
- the detection result for the previous captured image is also read from the storage unit 104 (S154), and the mobile body is also detected in the previous captured image. It is determined whether it has been performed (S155). As a result, if it was detected even in the previous captured image (S155: yes), based on the position detected in the previous captured image and the position detected in the previous captured image, In the area detection process (S200), it is predicted whether or not the moving body is detected in the central area RC (S156).
- pedestrians detected in the previous captured image are displayed with fine diagonal lines, and pedestrians detected in the previous captured image are displayed with coarse diagonal lines.
- the in-vehicle camera 10 captures images at predetermined time intervals, the position of the pedestrian detected in the previous captured image and the position of the pedestrian detected in the previous captured image If it understands, the rough range in which a pedestrian is detected in this picked-up image can be estimated.
- the range surrounded by the thick broken line in FIG. 16A represents the prediction range obtained in this way. Note that, from the viewpoint of preventing the detection of the mobile object from being detected, it is desirable to predict the prediction range in which the mobile object is detected to be wide with a margin. In the example shown in FIG. 16A, since the prediction range exists in the central region RC, in this case, it can be predicted that the moving body is detected in the central region RC.
- the position is not so far away. Therefore, a rough prediction range in which the pedestrian is detected in the current captured image is a range indicated by a thick broken line in FIG. 16B.
- the prediction range does not exist in the central region RC, it can be predicted that the moving body is not detected in the central region RC.
- the two examples described above are both cases where a pedestrian is detected in the peripheral region RP, but when a pedestrian is detected in the central region RC, the pedestrian is detected in the central region RC. It can be predicted in the same manner.
- a position where a pedestrian (displayed with a rough diagonal line) is detected in the previous captured image and a pedestrian (displayed with a fine diagonal line) in the previous captured image are displayed. Based on the detected position, a prediction range surrounded by a thick broken line can be predicted. Also in this case, since a part of the prediction range exists in the central region RC, the moving body can be predicted to be detected in the central region RC in the current captured image.
- a template TP for central area detection is set based on the prediction result thus obtained (S157). That is, when a moving object has been detected in the previous and previous captured images, it is predicted whether or not the moving object is detected in the central region RC, and is predicted to be detected in the central region RC The template TP for the moving body is set as the template TP for detecting the central area. Further, when it is predicted that the moving body is not detected in the central region RC, the template TP for the moving body is not set as the template TP for detecting the central region.
- the template TP1a and the template TP1b are set as the template TP for detecting the central region.
- a template TP for a moving object it is desirable to set not only the template TP that detected the moving object but also a template TP having a size adjacent to the template TP.
- a template TP having a size adjacent to the template TP.
- the first template TP1 is detected if the moving body is detected by the first template TP1
- the second template TP2 is detected if it is detected by the second template TP2. May be set in the template TP for detecting the central region.
- the central region detection template TP is set by referring to the table illustrated in FIG. 8 as in the case of the moving object detection process of the first embodiment described above (S158).
- the template TP for detecting the central area is set as described above, the template TP for detecting the peripheral area is set (S159 in FIG. 15).
- the peripheral region detection template TP is set with reference to the table shown in FIG. 9 as in the first embodiment.
- the first template TP1 and the second template TP2 are always set as the peripheral region detection template TP.
- the above-described central region detection process (S200) is started to detect the moving body in the central region RC, and then Then, the peripheral area detection process (S300) is started to detect a moving body in the peripheral area RP. Since the central area detection process (S200) and the peripheral area detection process (S300) are the same as the processes performed in the first embodiment described above, the description thereof is omitted.
- a template TP for detecting the central region is set as a template TP considered to be necessary based on the prediction result. For this reason, compared with the case where a moving body is detected using all the templates TP in the entire region of the photographed image, the time required for detecting the moving body can be greatly shortened.
- the captured image is described as being captured by one in-vehicle camera 10. However, the captured image does not need to be captured by a single in-vehicle camera 10, and images captured by a plurality of in-vehicle cameras 10 may be combined.
- FIG. 18A and FIG. 18B illustrate such a second modification.
- the vehicle 1 illustrated in FIG. 18A includes two in-vehicle cameras 10 that are a left in-vehicle camera 10L that mainly images the left front and a right in-vehicle camera 10R that mainly images the right front.
- the captured images obtained by the left in-vehicle camera 10L and the right in-vehicle camera 10R partially overlap.
- the photographing unit 101 (see FIG. 2) of the second modification combines the photographed image obtained by the left in-vehicle camera 10L and the photographed image obtained by the right in-vehicle camera 10R, as shown in FIG. 18B.
- One photographed image is synthesized.
- a central area RC and a peripheral area RP are set as shown in the figure for the synthesized photographed image, and the first embodiment or the second embodiment described above is applied to the central area RC and the peripheral area RP.
- the example moving object detection process may be executed.
- the captured image obtained by one or a plurality of in-vehicle cameras 10 has been described as being divided into a central region RC and a peripheral region RP.
- an image captured by the in-vehicle camera 10 can be used as the central region RC or the peripheral region RP.
- the vehicle 1 shown in FIG. 19 includes a front in-vehicle camera 10F that images the front, a left in-vehicle camera 10L that images the left direction of the vehicle 1, and a right in-vehicle camera 10R that images the right direction of the vehicle 1. ing.
- the image obtained by the front in-vehicle camera 10F is used as the center region RC of the photographed image
- the images obtained by the left in-vehicle camera 10L and the right in-vehicle camera 10R are used as the peripheral region RP of the photographed image. May be. In this way, it is not necessary to divide the captured image to generate the central region RC and the peripheral region RP.
- FIG. 10F that images the front
- a left in-vehicle camera 10L that images the left direction of the vehicle 1
- a right in-vehicle camera 10R that images the right direction of the vehicle 1.
- the image obtained by the front in-vehicle camera 10F is used as the center region RC
- the moving body detection device and the moving body detection method of the present disclosure detect a moving body from each of a peripheral area and a central area of a captured image when captured images are obtained at predetermined time intervals.
- a first moving body that appears smaller than a predetermined size and a second moving body that appears larger than a predetermined size are detected.
- the first moving body is detected for the central area, but the second moving body is detected when the second moving body is detected in the peripheral area of the previous captured image.
- the second moving body larger than the predetermined size it is not normally possible for the second moving body larger than the predetermined size to appear suddenly in the central area of the photographed image. In most cases, the second moving object appears in the central area when the moving object previously reflected in the peripheral area has moved. Therefore, when the second moving body is detected in the peripheral area, if the second moving body is detected in the central area in the next photographed image, the trouble of detecting the second moving body in the central area is eliminated. Since it can be omitted, the moving object can be detected quickly.
- the next shooting is performed even when at least one of the first moving body and the second moving body is detected in the central region in the previously captured image.
- the first moving body and the second moving body may be detected in the center area in the captured image.
- the first moving body When the first moving body is shown in the central area in the photographed image taken last time, it is conceivable that the first moving body approaches and appears large.
- the second moving body when the second moving body appears in the central region in the captured image, it is highly likely that the second moving body appears in the central region in the next captured image as well. Therefore, when at least one of the first moving body and the second moving body is detected in the central area of the previous captured image, the first moving body and the second moving body are moved in the central area in the next captured image. If it is made to detect, it will become possible to detect a mobile body without leaking.
- the moving object detection device of the present disclosure described above, based on the detection result of the moving object in the previously captured image and the detection result of the moving object in the previously captured image, this time You may predict the detection result of the moving body in the picked-up image.
- the first moving body and the second moving body may be detected also in the central area.
- the detection result of the moving object in the current captured image can be predicted. Therefore, if it is predicted that the second moving body is detected in the central area of the current captured image, the first moving body and the second moving body are detected in the central area as well. Since 2 moving bodies are not detected, it becomes possible to detect a moving body rapidly.
- the prediction may be performed as follows. That is, when the second moving body is detected in the peripheral region of the previous captured image, this time based on the position where the moving body was detected and the position detected in the previous captured image. It may be predicted whether or not the second moving body is detected in the central region of the captured image.
- the second moving body is shown in the central area in most cases when the moving body shown in the surrounding area has moved. Therefore, if the prediction is performed as described above, it is possible to efficiently predict whether or not the second moving body is detected in the central region of the current captured image.
- the prediction may be performed as follows. That is, when detecting the 1st mobile body in a center area, it detects in the state which identified the difference in size. When a first moving body larger than a predetermined size is detected in the central area of the previous captured image, it is predicted that the second moving body is detected in the central area of the current captured image. You may do it.
- the first moving body and the second moving body may be detected even in the central area when there is no photographed image captured last time.
- the “photographed image taken last time” is a photographed image taken at a predetermined time interval.
- the captured image is generated by combining the images obtained by the plurality of on-vehicle cameras, and the above-described method is applied to the obtained captured image to move the moving body. May be detected.
- the first moving body in the captured image when detecting the first moving body in the captured image, it may be detected by removing the lower region provided in the lower portion in the captured image.
- the detection when detecting the second moving body in the captured image, the detection may be performed by removing the upper region provided in the upper portion in the captured image.
- the moving object may be detected as follows. First, a first template that represents the shape feature of the first moving body and a second template that represents the shape feature of the second moving body are stored in advance. And when detecting a 1st moving body, a 1st moving body is detected by detecting the location which corresponds to a 1st template in a picked-up image. Moreover, when detecting a 2nd mobile body, it is good also as detecting a 2nd mobile body by detecting the location which corresponds to a 2nd template in a picked-up image.
- each step is expressed as S100, for example. Further, each step can be divided into a plurality of sub-steps, while a plurality of steps can be combined into one step. Further, each step configured in this way can be referred to as a device, module, or means.
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Closed-Circuit Television Systems (AREA)
- Mechanical Engineering (AREA)
Abstract
車載カメラ(10,10R,10L)によって得られた撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出装置および移動体検出方法が提供される。移動体検出装置は、撮影画像を所定の時間間隔で撮影する撮影部(101)と、周辺領域(RP)の中から第1移動体と第2移動体とを移動体として検出する周辺領域検出部(102)と、中央領域(RC)の中から第1移動体を移動体として検出する中央領域検出部(103)とを備える。移動体検出装置は、周辺領域検出部(102)と中央領域検出部(103)とを備える。
Description
本出願は、2014年1月14日に出願された日本国特許出願2014-3894号に基づくものであり、ここにその記載内容を参照により援用する。
本開示は、車載カメラで撮影した画像の中から移動体を検出する技術に関する。
車載カメラを用いて、車両の前方あるいは周囲の画像を撮影し、得られた撮影画像に対してパターンマッチングを適用することによって、歩行者や車両などの移動体を検出する技術が知られている(例えば、特許文献1)。この技術では、歩行者の特徴的な形状を示すテンプレート(歩行者用テンプレート)や、車両の特徴的な形状を示すテンプレート(車両用テンプレート)を記憶しておき、撮影画像の中から、これらのテンプレートと一致する部分を抽出することによって、撮影画像に写った移動体を検出する。
当然ながら、歩行者や車両などの移動体は、撮影画像中の様々な箇所に写り得る。従って、移動体の検出漏れを回避しようとすると、撮影画像中でのテンプレートの位置を少しずつ移動させながら、撮影画像中の全ての箇所を探索してテンプレートと一致する部分を抽出する必要が生じる。また、移動体は様々な大きさで写り得る。従って、様々な大きさのテンプレートを用意しておき、それら様々な大きさのテンプレートについて、撮影画像中での位置を少しずつ移動させることによって、撮影画像に写った移動体を検出する必要がある。
本願発明者は以下を見出した。様々な大きさのテンプレートを用いて、撮影画像の全ての領域を隈無く探索したのでは、探索に要する時間が長くなってしまい、移動体を迅速に検出することが困難になる虞がある。
本開示は、従来技術が有する上述した課題に鑑みてなされたものであり、撮影画像に写った移動体を、検出漏れの虞を生じさせることなく、迅速に検出することが可能な技術の提供を目的とする。
本開示の一態様によれば、車載カメラによって得られた撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出装置と移動体検出方法が提供される。移動体検出装置は、撮影画像を所定の時間間隔で撮影する撮影部と、撮影画像中の左右両側に設けられた周辺領域の中から、所定の大きさよりも小さく写った第1移動体と、該所定の大きさよりも大きく写った第2移動体とを、移動体として検出する周辺領域検出部と、撮影画像中の中央に設けられた中央領域の中から、第1移動体を移動体として検出する中央領域検出部とを備える。中央領域検出部は、前回に撮影された撮影画像中の周辺領域で第2移動体が検出されていた場合には、第1移動体および第2移動体を移動体として検出する。
本開示の別の一態様によれば、撮影画像を所定の時間間隔で撮影する撮影部に接続された車載カメラによって得られた撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出装置が提供される。移動体検出装置は、周辺領域検出部と、中央領域検出部とを備える。
本開示の移動体検出装置および移動体検出方法によれば、撮影画像に写った移動体を、検出漏れの虞を生じさせることなく、迅速に検出することが可能となる。
本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において
図1は、本実施例の移動体検出装置を搭載した車両を示す説明図であり、
図2は、移動体検出装置の大まかな内部構成を示す説明図であり、
図3は、車載カメラで得られた撮影画像を例示した説明図であり、
図4は、テンプレートを用いて撮影画像中の歩行者を検出する様子を示した説明図であり、
図5は、歩行者を検出するための複数のテンプレートを例示した説明図であり、
図6は、第1実施例の移動体検出処理のフローチャートであり、
図7Aは、前回の撮影画像の検出結果に基づいて中央領域検出用のテンプレートを設定する際の基本的な考え方についての説明図であり、
図7Bは、前回の撮影画像の検出結果に基づいて中央領域検出用のテンプレートを設定する際の基本的な考え方についての説明図であり、
図7Cは、前回の撮影画像の検出結果に基づいて中央領域検出用のテンプレートを設定する際の基本的な考え方についての説明図であり、
図8は、中央領域検出用のテンプレートを設定する際に参照するテーブルを例示した説明図であり、
図9は、周辺領域検出用のテンプレートを設定する際に参照するテーブルを例示した説明図であり、
図10は、中央領域検出処理のフローチャートであり、
図11Aは、撮影画像の中央領域を拡張する様子を例示した説明図であり、
図11Bは、撮影画像の中央領域を拡張する様子を例示した説明図であり、
図12は、周辺領域検出処理のフローチャートであり、
図13Aは、撮影画像の周辺領域を拡張する様子を例示した説明図であり、
図13Bは、撮影画像の周辺領域を拡張する様子を例示した説明図であり、
図14は、第2実施例の移動体検出処理の前半部分のフローチャートであり、
図15は、第2実施例の移動体検出処理の後半部分のフローチャートであり、
図16Aは、第2実施例の移動体検出処理中で中央領域に移動体が検出されるか否かを予測する方法についての説明図であり、
図16Bは、第2実施例の移動体検出処理中で中央領域に移動体が検出されるか否かを予測する方法についての説明図であり、
図16Cは、第2実施例の移動体検出処理中で中央領域に移動体が検出されるか否かを予測する方法についての説明図であり、
図17Aは、第1変形例についての説明図であり、
図17Bは、第1変形例についての説明図であり、
図18Aは、第2変形例についての説明図であり、
図18Bは、第2変形例についての説明図であり、
図19は、第3変形例についての説明図であり、
図20は、移動体検出装置の大まかな内部構成を示す説明図である。
以下では、上述した本願開示の内容を明確にするために実施例について説明する。
(装置構成)
図1には、本実施例の移動体検出装置100を搭載した車両1が示されている。本実施例の移動体検出装置100は、車両1の前方の画像を撮影する車載カメラ10と共に、車両1に搭載されている。車載カメラ10は、CMOSやCCDなどの画像センサーを搭載しており、移動体検出装置100の制御の元で、30Hzの一定周期で前方の画像の画像データを出力する。移動体検出装置100は、CPUやROM、RAMなどがバスで接続されたマイクロコンピュータによって主に構成されており、車載カメラ10が撮影した撮影画像を次々と読み込んで、撮影画像中に写った移動体(歩行者や、車両、自転車など)を検出する。
(装置構成)
図1には、本実施例の移動体検出装置100を搭載した車両1が示されている。本実施例の移動体検出装置100は、車両1の前方の画像を撮影する車載カメラ10と共に、車両1に搭載されている。車載カメラ10は、CMOSやCCDなどの画像センサーを搭載しており、移動体検出装置100の制御の元で、30Hzの一定周期で前方の画像の画像データを出力する。移動体検出装置100は、CPUやROM、RAMなどがバスで接続されたマイクロコンピュータによって主に構成されており、車載カメラ10が撮影した撮影画像を次々と読み込んで、撮影画像中に写った移動体(歩行者や、車両、自転車など)を検出する。
尚、本実施例では、車載カメラ10が一定周期で連続的に画像を撮影するものとして説明するが、所定の時間間隔で複数枚の画像を撮影すればよく、必ずしも連続的に画像を撮影する必要はない。例えば、所定の時間間隔で2枚、あるいは3枚の画像を撮影する場合でも、以下の説明は全く同様に当て嵌まる。
図2には、移動体検出装置100の大まかな内部構成が示されている。図示されるように、本実施例の移動体検出装置100は、撮影部101と、周辺領域検出部102と、中央領域検出部103と、予測部105と、記憶部104とを備えている。尚、これら5つの「部」は、移動体検出装置100が撮影画像中の移動体を検出する機能に着目して、移動体検出装置100の内部を便宜的に分類した抽象的な概念であり、移動体検出装置100が物理的に5つの部分に区分されていることを表すものではない。従って、これらの「部」は、CPUで実行されるコンピュータープログラムとして実現することもできるし、LSIを含む電子回路として実現することもできし、更にはこれらの組合せとして実現することもできる。
なお、移動体検出装置100と撮影部101とは別体であってもよい(図20参照)。
撮影部101は、前述した車載カメラ10に接続されており、車載カメラ10の動作を制御すると共に、車載カメラ10が生成した撮影画像を取得する。撮影部101は、車載カメラ10から撮影画像を受け取ると内部のバッファーに一旦蓄えた後、その撮影画像を周辺領域検出部102および中央領域検出部103にそれぞれ出力する。
周辺領域検出部102は、撮影画像を受け取ると、その撮影画像中の周辺領域に写った移動体を検出する。詳細には後述するが、撮影画像の左右両側に設けられた一定範囲の領域が周辺領域として定められている。周辺領域に写った移動体を検出するに際しては、周辺領域検出部102は、記憶部104に予め記憶されているテンプレートを読み出して、撮影画像の周辺領域を探索することによって移動体を検出する。そして、得られた検出結果は記憶部104に記憶する。記憶部104に記憶されているテンプレートについては後述する。
中央領域検出部103は、撮影部101から撮影画像を受け取ると、その撮影画像中の中央領域に写った移動体を検出する。詳細には後述するが、撮影画像の中央に設けられた一定範囲の領域が中央領域として定められている。中央領域検出部103も、上述した周辺領域検出部102と同様に、移動体を検出するに際しては記憶部104からテンプレートを読み出して移動体を検出した後、検出結果を記憶部104に記憶する。
記憶部104は、移動体を検出するために用いるテンプレートが予め記憶されている。また、周辺領域検出部102や中央領域検出部103で移動体を検出した結果も、記憶部104に記憶される。尚、記憶部104は、周辺領域検出部102や中央領域検出部103によって得られた全ての検出結果を記憶しておく必要はなく、直近の所定回数分(例えば5回分)の検出結果を記憶していればよい。
予測部105は、周辺領域検出部102および中央領域検出部103による移動体の検出結果を記憶部104から読み出して、次に得られる撮影画像での移動体の検出結果を予測し、予測結果を中央領域検出部103に出力する。予測部105が移動体の検出結果を予測する方法については後述する。
尚、本実施例では撮影部101が本開示における「撮影部」に対応し、周辺領域検出部102が本開示における「周辺領域検出部」に対応し、中央領域検出部103が本開示における「中央領域検出部」に対応する。更に、本実施例の記憶部104が本開示における「記憶部」に対応し、予測部105が本開示における「予測部」に対応する。
図3には、車載カメラ10で得られた撮影画像が例示されている。図示するように撮影画像には、様々な大きさの歩行者H1~H9が、様々な位置に写っている。尚、図3に示した例では、移動体として専ら歩行者が写っているものとしているが、移動体は歩行者に限られるわけではなく自動車や二輪車などであってもよい。
このような撮影画像中に写った移動体を検出する手法としては、移動体の特徴的な形状を示すテンプレートを予め記憶しておき、パターンマッチングを用いてテンプレートと一致する箇所を撮影画像の中から抽出する手法が広く用いられてきた。例えば、図4に破線の矩形で示した歩行者用のテンプレートTPを、撮影画像中に適用する位置を少しずつ移動させて、テンプレートTPと特徴が一致する箇所を探索していけば、歩行者H4を検出することができる。もちろん、テンプレートTPよりも大きく写った歩行者H1~H3は、テンプレートTPでは検出することができない。また、テンプレートTPに比べて小さすぎる歩行者H5~H9もテンプレートTPでは検出することができない。従って、これらの歩行者については、別の大きさのテンプレートTPを用いて、同じようにして探索する必要がある。
図5には、歩行者を検出するために用いられる複数のテンプレートTPが例示されている。本実施例では、小さなテンプレートTPから大きなテンプレートTPまで、9種類のテンプレートTPが予め記憶されている。尚、以下では、便宜上、小さな5つのテンプレートTPを「第1テンプレートTP1」と称し、大きな4つのテンプレートTPを「第2テンプレートTP2」と称するものとする。また、第1テンプレートTP1に含まれる5つのテンプレートTPを、小さいものから順番に、TP1a,TP1b,TP1c,TP1d,TP1eと称して区別するものとする。第2テンプレートTP2についても同様に、小さいものから順番にTP2a,TP2b,TP2c,TP2dと称して区別するものとする。
尚、本実施例では第1テンプレートTP1で検出される小さな歩行者が、本開示における「第1移動体」に対応し、第2テンプレートTP2で検出される大きな歩行者が、本開示における「第2移動体」に対応する。
また、本実施例では、第1テンプレートTP1,第2テンプレートTP2は複数のテンプレートTPで構成されるものとしているが、必ずしも複数のテンプレートTPから構成されている必要はなく、例えば第1テンプレートTP1,第2テンプレートTP2の何れかは、1つのテンプレートTPで構成されていても良い。
更に、本実施例では、9つのテンプレートTPを、便宜的に、大きく第1テンプレートTP1および第2テンプレートTP2の2種類のテンプレートに分類したが、3種類以上のテンプレートに分類しても構わない。
図5に示した全てのテンプレートTPを用いて撮影画像を探索すれば、図3中の全ての歩行者H1~H9を洩れなく検出することができる。しかし、全てのテンプレートTPについて、図4に示したようにして撮影画像を隈無く探索したのでは、時間が掛かりすぎて迅速に移動体を検出することが難しい。そこで、本実施例の移動体検出装置100では、次のような方法を用いて移動体を検出する。
(第1実施例の移動体検出処理)
図6には、第1実施例の移動体検出装置100が撮影画像中の移動体を検出する際に実行する移動体検出処理のフローチャートが示されている。
(第1実施例の移動体検出処理)
図6には、第1実施例の移動体検出装置100が撮影画像中の移動体を検出する際に実行する移動体検出処理のフローチャートが示されている。
移動体検出処理では、先ず始めに車載カメラ10から撮影画像を取得する(S100)。そして、前回に取得した撮影画像が存在するか否かを判断する(S101)。前述したように撮影部101は、一定周期で車載カメラ10から撮影画像を取得しているから、通常の場合は、前回に取得した撮影画像が存在する(S101:yes)と判断される。一方、車載カメラ10や移動体検出装置100の電源投入直後は、前回に取得した撮影画像は存在しない(S101:no)と判断される。
また、車載カメラ10は必ずしも連続的に撮影画像を取得する必要はなく、所定の時間間隔で複数枚の撮影画像を単発的に撮影しても良い。この場合は、前回に画像を撮影してから、所定の時間間隔以上(あるいは所定時間より長い所定の基準時間以上)の時間が経過していた場合には、前回に取得した撮影画像は存在しない(S101:no)と判断してもよい。
前回の撮影画像が存在すると判断した場合は(S101:yes)、前回の撮影画像についての移動体の検出結果を記憶部104から読み出す(S102)。そして、前回の撮影画像についての検出結果に基づいて、今回の撮影画像についての中央領域検出用のテンプレートを設定する(S103)。詳細には後述するが、移動体検出装置100は、撮影画像を「周辺領域」と「中央領域」とに分けて、領域毎に移動体を検出している。中央領域検出用のテンプレートとは、撮影画像の中央領域に写った移動体を検出するために用いるテンプレートである。
これに対して、前回の撮影画像が存在しないと判断した場合は(S101:no)、前回の撮影画像についての検出結果を読み出すことなく、今回の撮影画像についての中央領域検出用のテンプレートを設定する(S103)。
図7Aから図7Cには、前回の撮影画像の検出結果に基づいて、中央領域検出用のテンプレートを設定する基本的な考え方が示されている。
先ず、図7Aから図7Cに示すように撮影画像を、左右方向両側に設けた周辺領域RPと、中央部分に設けた中央領域RCとに分けて考える。すると、図7A中で斜線を付して示したように周辺領域RPに写った大きな歩行者は、破線の矢印で示すように中央領域RCに移動することが考えられる。その一方で、周辺領域RPに写ることなく、中央領域RCにいきなり大きな歩行者が写ることは考えにくい。従って、中央領域検出用のテンプレートとして、大きな歩行者を検出するためのテンプレート(第2テンプレートTP2)を設定するのは、周辺領域RPで大きな歩行者が検出された後でよいと考えられる。
また、図7Bに例示したように、小さな歩行者が周辺領域RPに写っていた場合にも、その歩行者がやがて中央領域RCに移動することが考えられる。従って、周辺領域RPで小さな歩行者が検出された場合には、中央領域検出用のテンプレートとして、小さな歩行者を検出するためのテンプレート(第1テンプレートTP1)を設定しておく必要があると考えられる。
更に、中央領域RCに写った歩行者は、次の撮影画像では近付いて来たために大きく写ることが考えられる。従って、図7Cに斜線を付して示したように、中央領域RCで小さな歩行者が検出された場合には、中央領域検出用のテンプレートとして、小さな歩行者を検出する第1テンプレートTP1だけでなく、大きな歩行者を検出する第2テンプレートTP2を設定しておく必要があると考えられる。
また、中央領域RCに写ってはいるが、遠くに居るため小さすぎて検出できなかった歩行者が、次の撮影画像では検出可能な大きさになるまで近付いてくることも考えられる。従って、中央領域RCおよび周辺領域RPで小さな歩行者が検出されていない場合でも、小さな歩行者を検出する第1テンプレートTP1は、中央領域検出用のテンプレートとして設定しておく必要があると考えられる。
以上、前回の撮影画像についての検出結果から、中央領域検出用のテンプレートを設定する基本的な考え方について説明した。図6の移動体検出処理のS103では、実際には、図8に示すテーブル(中央領域検出用のテンプレート)を参照することによって、中央領域検出用のテンプレートを設定する。尚、図8のテーブルは、記憶部104に予め記憶されている。
先ず、前回に取得した撮影画像が存在しなかった場合(図6のS101で「no」と判断した場合)は、第1テンプレートTP1および第2テンプレートTP2を中央領域検出用のテンプレートに設定する。
一方、前回に取得した撮影画像が存在していた場合(図6のS101で「yes」と判断した場合)は、移動体の検出結果が読み出されるので(S102参照)、その結果に基づいて、以下のようにして中央領域検出用のテンプレートを設定する。
先ず始めに、中央領域RCで移動体が検出されていなかった場合について説明する。この場合は、中央領域RCの遠方から近付いてくる歩行者と、周辺領域RPから移動してくる歩行者とが検出できればよい。そして、周辺領域RPで移動体が検出されていない場合は、周辺領域RPから歩行者が移動してくることはないと考えて良いので、中央領域検出用のテンプレートとしては、第1テンプレートTP1を設定しておけばよい。
また、周辺領域RPで第1移動体(この場合は小さな歩行者)が検出されていた場合は、中央領域RCの遠方から近付いてくる歩行者と、周辺領域RPから移動してくる小さな歩行者とが検出できればよい。従って、中央領域検出用のテンプレートとしては、第1テンプレートTP1を設定しておけばよい。
更に、周辺領域RPで第2移動体(この場合は大きな歩行者)が検出されていた場合は、中央領域RCの遠方から近付いてくる歩行者と、周辺領域RPから移動してくる大きな歩行者とが検出できればよい。従って、中央領域検出用のテンプレートとしては、小さな歩行者を検出する第1テンプレートTP1と、大きな歩行者を検出する第2テンプレートTP2とを設定しておけばよい。
次に、中央領域RCで第1移動体(この場合は小さな歩行者)が検出されていた場合について説明する。この場合は、中央領域RCに写った小さな歩行者と、遠方から近付いてきて中央領域RCに現れる小さな歩行者と、周辺領域RPから移動してくる歩行者とが検出できればよい。そして、周辺領域RPで移動体が検出されていない場合は、周辺領域RPから歩行者が移動してくることはないと考えて良いので、中央領域検出用のテンプレートとしては、第1テンプレートTP1を設定しておけばよい。
但し、中央領域RCの小さな歩行者が、テンプレートTP1dやテンプレートTP1eで検出されるような比較的大きな歩行者であった場合には、その歩行者が近付いてきた結果、テンプレートTP2aで検出されるような大きな歩行者として写ることも考えられる。そこで、中央領域RCで検出された小さな歩行者が、テンプレートTP1dやテンプレートTP1eで検出されていた場合には、第2テンプレートTP2の中の小さなテンプレートTP2aも、念のために中央領域検出用のテンプレートとして設定しておく。図8中に(TP2a)と表示されているのは、このことを表している。
中央領域RCで小さな歩行者が検出されており、且つ、周辺領域RPでも第1移動体(小さな歩行者)が検出されていた場合には、中央領域検出用のテンプレートとしては、第1テンプレートTP1を設定しておけばよい。
但し、中央領域RCの小さな歩行者が、テンプレートTP1dやテンプレートTP1eで検出されていた場合には、第2テンプレートTP2中のテンプレートTP2aも中央領域検出用のテンプレートとして設定しておく。
更に、中央領域RCで小さな歩行者が検出されており、且つ、周辺領域RPで第2移動体(大きな歩行者)が検出されていた場合は、中央領域RCの小さな歩行者と、周辺領域RPから移動してくる大きな歩行者とが検出できればよい。従って、中央領域検出用のテンプレートとしては、小さな歩行者を検出する第1テンプレートTP1と、大きな歩行者を検出する第2テンプレートTP2とを設定しておけばよい。
最後に、中央領域RCで第2移動体(大きな歩行者)が検出されていた場合について説明する。この場合は、中央領域RCに写った大きな歩行者と、遠方から近付いてきて中央領域RCに現れる小さな歩行者と、周辺領域RPから移動してくる歩行者とが検出できればよい。従って、この場合は、周辺領域RPでの移動体の検出結果に拘わらず、小さな歩行者を検出する第1テンプレートTP1と、大きな歩行者を検出する第2テンプレートTP2とを、中央領域検出用のテンプレートとして設定しておけばよい。
図6に示した移動体検出処理のS103では、以上のようにして、中央領域検出用のテンプレートを設定する。こうして、中央領域検出用のテンプレートを設定したら、今度は周辺領域検出用のテンプレートを設定する(S104)。
周辺領域RPについては、車載カメラ10の死角に接しているので、死角から突然に大きな歩行者が現れたり、小さな歩行者が現れたりすることが起こり得る。もちろん、遠方から近付いてきた歩行者が周辺領域RPに小さく写ることも考えられる。
従って、図9に例示したテーブル(周辺領域検出用のテンプレート)に示されるように、周辺領域検出用のテンプレートについては、前回の撮影画像についての検出結果に拘わらず、常に第1テンプレートTP1と第2テンプレートTP2とを設定しておく。尚、図9のテーブルも、前述した図8のテーブルと同様に、記憶部104に予め記憶されている。
以上のようにして、中央領域検出用のテンプレートと、周辺領域検出用のテンプレートとを設定したら(図6のS103、S104)、設定したテンプレートを用いて、中央領域RCに写った移動体を検出する処理(中央領域検出処理S200)を開始し、続いて周辺領域RPに写った移動体を検出する処理(周辺領域検出処理S300)を開始する。
(中央領域検出処理)
図10には、中央領域検出処理のフローチャートが示されている。中央領域検出処理(S200)を開始すると、先ず始めに、中央領域検出用に設定されたテンプレートの中から、1つのテンプレートを選択する(S201)。
(中央領域検出処理)
図10には、中央領域検出処理のフローチャートが示されている。中央領域検出処理(S200)を開始すると、先ず始めに、中央領域検出用に設定されたテンプレートの中から、1つのテンプレートを選択する(S201)。
続いて、選択したテンプレートの幅だけ、撮影画像の中央領域RCを拡張する(S202)。これは、次のような処理である。
図11Aと図11Bには、撮影画像の中央領域RCを拡張する様子が例示されている。図11Aが中央領域RCを拡張する前の状態を表しており、図11Bが中央領域RCを拡張した後の状態を表している。図11Aと図11Bの白抜き矢印は、中央領域RCの拡張を表している。
図11Aに示されるように、撮影画像中に中央領域RCを設定すると、中央領域RCの境界と、検出すべき移動体とが重なってしまうことがある。図11Aに示した例では、中央領域RCの境界が重なるのは歩行者H4だけであるが、このようなことは検出しようとする全ての大きさの歩行者について起こり得る。そして、境界に重なった歩行者については、テンプレートを用いて中央領域RCを探索しても検出できない可能性がある。
そこで、中央領域RCに写った移動体を探索するに先立って、境界に重なった歩行者が中央領域RCに含まれるように境界を移動させて、中央領域RCを拡張しておく。また、この時の境界の移動量は、探索に用いるテンプレートの幅の半分に相当する分だけ、左右の境界を外側に移動させればよい。これは、たとえ様々な大きさの歩行者が境界上に存在したとしても、検出できるのはテンプレートに対応する大きさの歩行者だけなので、テンプレートの幅の半分程度、境界を外側に移動させれば十分なためである。
図11Bに示した例では、テンプレートTP1dが選択されているため、そのテンプレートの幅の半分に相当する分だけ左右の境界を外側に移動させている。その結果、中央領域RCは、テンプレートTP1dの幅に相当する分だけ拡張されたことになる。
こうして、選択したテンプレートの幅に相当するだけ中央領域RCを拡張したら、拡張した中央領域RC内でテンプレートの位置を少しずつ移動させることによって、拡張した中央領域RC内の移動体を検出する(図10のS203)。そして、拡張した中央領域RC内を全て探索したら、検出結果を記憶部104に記憶する(S204)。検出結果としては、移動体が検出された位置と、その移動体を検出したテンプレート(図11Bに示した例ではテンプレートTP1d)とを記憶する。移動体を検出したテンプレートが分かれば、移動体の大まかな大きさを知ることができる。
続いて、中央領域検出用のテンプレートの中で未選択のテンプレートが存在するか否かを判断する(S205)。その結果、未選択のテンプレートが存在する場合(S205:yes)は、処理の先頭に戻って、新たなテンプレートを1つ選択した後(S201)、前述した続く一連の処理(S202~S205)を開始する。
このような処理を繰り返して、未選択のテンプレートが存在しないと判断したら(S205:no)、図10の中央領域検出処理(S200)を終了して、図6の移動体検出処理に復帰する。そして、移動体検出処理では、中央領域検出処理(S200)から復帰すると続いて、周辺領域検出処理(S300)を開始する。
(周辺領域検出処理)
図12には、周辺領域検出処理のフローチャートが示されている。周辺領域検出処理(S300)の場合も、処理を開始すると先ず始めに、周辺領域検出用に設定されたテンプレートの中から、1つのテンプレートを選択する(S301)。
(周辺領域検出処理)
図12には、周辺領域検出処理のフローチャートが示されている。周辺領域検出処理(S300)の場合も、処理を開始すると先ず始めに、周辺領域検出用に設定されたテンプレートの中から、1つのテンプレートを選択する(S301)。
続いて、選択したテンプレートの幅だけ、撮影画像の周辺領域RPを拡張する(S302)。
図13Aと図13Bには、撮影画像の周辺領域RPを拡張する様子が例示されている。図13Aは周辺領域RPを拡張する前の状態を表しており、図13Bは周辺領域RPを拡張した後の状態を表している。図13Aと図13Bの白抜き矢印は、周辺領域RPの拡張を表している。
撮影画像中に周辺領域RPを設定した場合も、前述した中央領域RCを設定した場合と同様に、周辺領域RPの境界が撮影画像中の移動体に重なってしまうことがある(図13A参照)。そして、境界が重なった歩行者については、テンプレートを用いて周辺領域RPを探索しても検出できない可能性がある。
そこで、周辺領域RPに写った移動体を探索するに先立って、境界が重なった歩行者が周辺領域RPに含まれるように境界を移動させておく。すなわち、撮影画像の左側に設けられた周辺領域RPと中央領域RCとの境界については右方向に移動させ、撮影画像の右側に設けられた周辺領域RPと中央領域RCとの境界については左方向に移動させる。また、境界の移動量については、前述した中央領域RCの境界を移動させる場合と同様に、探索に用いるテンプレートの幅の半分に相当する分だけ移動させればよい。
図13Bに示した例では、テンプレートTP1dが選択されている。このため、撮影画像中の左側の周辺領域RPについては、テンプレートの幅の半分に相当する分だけ境界が右方向に移動され、撮影画像中の右側の周辺領域RPについては、テンプレートの幅の半分に相当する分だけ境界が左方向に移動されている。その結果、周辺領域RPの場合も、テンプレートTP1dの幅に相当する分だけ拡張されたことになる。
こうして、選択したテンプレートの幅に相当するだけ周辺領域RPを拡張したら、拡張した周辺領域RP内でテンプレートの位置を少しずつ移動させることによって、拡張した周辺領域RP内の移動体を検出する(図12のS303)。この時、左右の周辺領域RPの間には中央領域RCが存在するが、この中央領域RCの移動体は中央領域検出処理(S200)で既に検出済みなので、中央領域RCの部分は飛ばして検出すればよい(図13B参照)。
そして、拡張した周辺領域RP内を全て探索したら、検出結果を記憶部104に記憶する(S304)。周辺領域検出処理(S300)においても、前述した中央領域検出処理(S200)と同様に、検出結果としては、移動体が検出された位置と、その移動体を検出したテンプレート(従って、移動体の大きさ)とを記憶する。
続いて、周辺領域検出用のテンプレートの中で未選択のテンプレートが存在するか否かを判断する(S305)。その結果、未選択のテンプレートが存在する場合(S305:yes)は、処理の先頭に戻って新たなテンプレートを1つ選択した後(S301)、前述した続く一連の処理(S302~S305)を開始する。
このような処理を繰り返して、未選択のテンプレートが存在しないと判断したら(S305:no)、図12の周辺領域検出処理(S300)を終了して、図6の移動体検出処理に復帰する。
そして、移動体検出処理では、周辺領域検出処理(S300)から復帰すると、移動体検出処理を終了するか否かを判断する(図6のS105)。その結果、処理を終了しないと判断した場合は(S105:no)、移動体検出処理の先頭に戻って、新たな撮影画像を車載カメラ10から取得した後(S101)、上述した続く一連の処理を繰り返す。
これに対して、処理を終了すると判断した場合は(S105:yes)、図6に示した第1実施例の移動体検出処理を終了する。
以上に説明したように、第1実施例の移動体検出装置100は、撮影画像を中央領域RCと周辺領域RPとに分けて移動体を検出する。そして、周辺領域RPについては、全てのテンプレートTPを用いて移動体を検出するが、中央領域RCについては、前回の撮影画像についての検出結果に応じて設定した一部のテンプレートTPを用いて移動体を検出する。このため、従来のように、撮影画像の全領域を全てのテンプレートTPを用いて移動体を検出する場合に比べて、移動体の検出に要する時間を短縮することができる。
また、中央領域検出用のテンプレートTPとしては、前回の撮影画像についての検出結果から、今回の撮影画像の中央領域RCでは移動体が検出される可能性はないと考えられるテンプレートTPが除かれるものの、残りの全てのテンプレートTPは中央領域検出用のテンプレートTPに設定される。このため、撮影画像に写った移動体の検出漏れが生じる虞も生じない。
(第2実施例の移動体検出処理)
上述した第1実施例では、前回の撮影画像についての検出結果に基づいて、中央領域検出用のテンプレートTPを設定した。しかし、前回の撮影画像だけでなく、前々回の撮影画像についての検出結果も考慮して、中央領域検出用のテンプレートTPを設定しても良い。以下では、このような第2実施例の移動体検出処理について、第1実施例との相違点を中心として説明する。
(第2実施例の移動体検出処理)
上述した第1実施例では、前回の撮影画像についての検出結果に基づいて、中央領域検出用のテンプレートTPを設定した。しかし、前回の撮影画像だけでなく、前々回の撮影画像についての検出結果も考慮して、中央領域検出用のテンプレートTPを設定しても良い。以下では、このような第2実施例の移動体検出処理について、第1実施例との相違点を中心として説明する。
図14には、第2実施例の移動体検出処理のフローチャートが示されている。第2実施例の移動体検出処理でも、前述した第1実施例と同様に、先ず始めに車載カメラ10から撮影画像を取得し(S150)、続いて、前回に取得した撮影画像が存在するか否かを判断する(S151)。
前回の撮影画像が存在すると判断した場合は(S151:yes)、前回の撮影画像についての移動体の検出結果を記憶部104から読み出した後(S152)、前回の撮影画像中で移動体が検出されていたか否かを判断する(S153)。
前回の撮影画像中で移動体が検出されていた場合は(S153:yes)、前々回の撮影画像についての検出結果も記憶部104から読み出して(S154)、その移動体が前々回の撮影画像でも検出されているか否かを判断する(S155)。その結果、前々回の撮影画像でも検出されていた場合は(S155:yes)、前回の撮影画像中で検出された位置と、前々回の撮影画像中で検出された位置とに基づいて、今回の中央領域検出処理(S200)で、その移動体が中央領域RC中に検出されるか否かを予測する(S156)。
図16Aから図16Cには、前回の撮影画像および前々回の撮影画像での移動体の検出結果に基づいて、今回の撮影画像に対する中央領域検出処理(S200)で中央領域RC中に検出されるか否かを予測する様子が例示されている。
図16Aに示した例では、前回の撮影画像中で検出された歩行者は細かい斜線を付して表示されており、前々回の撮影画像中で検出された歩行者は粗い斜線を付して表示されている。前述したように車載カメラ10は所定の時間間隔で画像を撮影しているから、前々回の撮影画像中で検出された歩行者の位置と、前回の撮影画像中で検出された歩行者の位置とが分かれば、今回の撮影画像中で歩行者が検出される大まかな範囲を予測することができる。
図16A中で太い破線で囲って示した範囲は、このようにして得られた予測範囲を表している。尚、移動体の検出漏れを防ぐ観点からは、移動体が検出される予測範囲を、余裕を持って広めに予測しておくことが望ましい。図16Aに示した例では、予測範囲は中央領域RCに存在するから、この場合は、その移動体が中央領域RCで検出されると予測することができる。
図16Bに示した例では、前々回の撮影画像で歩行者(粗い斜線を付して表示)が検出された位置と、前回の撮影画像で歩行者(細かい斜線を付して表示)が検出された位置とがあまり離れていない。従って、その歩行者が今回の撮影画像中で検出される大まかな予測範囲は、図16B中に太い破線で示した範囲となる。この場合は、予測範囲は中央領域RC内には存在しないから、その移動体は中央領域RCでは検出されないと予測することができる。
上述した2つの例は、何れも周辺領域RPで歩行者が検出された場合であったが、中央領域RCで歩行者が検出された場合にも、その歩行者が中央領域RCで検出されるか否かを、同様にして予測することができる。
すなわち、図16Cに例示するように、前々回の撮影画像で歩行者(粗い斜線を付して表示)が検出された位置と、前回の撮影画像で歩行者(細かい斜線を付して表示)が検出された位置とに基づいて、太い破線で囲った予測範囲を予測することができる。そして、この場合も、予測範囲の一部が中央領域RC内に存在するから、その移動体は、今回の撮影画像中では中央領域RCで検出されるものと予測することができる。
図14のS156では、移動体が中央領域RCで検出されるか否かを、以上のようにして予測する。
続いて、こうして得られた予測結果に基づいて、中央領域検出用のテンプレートTPを設定する(S157)。すなわち、前回および前々回の撮影画像で移動体が検出されていた場合には、その移動体が中央領域RCで検出されるか否かを予測し、中央領域RCで検出されると予測された場合には、その移動体用のテンプレートTPを中央領域検出用のテンプレートTPに設定する。また、その移動体が中央領域RCで検出されないと予測された場合には、その移動体用のテンプレートTPは中央領域検出用のテンプレートTPに設定しない。
尚、S156で移動体の検出が予測されていない場合でも、検出できないほど小さく写った移動体が近付いてきて、いきなり中央領域RC内に写る場合も起こり得る。そこで、S157では、S156での予測結果に拘わらず、テンプレートTP1aおよびテンプレートTP1b(あるいは第1テンプレートTP1)については中央領域検出用のテンプレートTPに設定しておく。
また、移動体用のテンプレートTPを設定するに際しては、その移動体を検出したテンプレートTPだけでなく、そのテンプレートTPに隣接する大きさのテンプレートTPも設定しておくことが望ましい。例えば、その移動体がテンプレートTP1c(図5参照)で検出されていた場合は、テンプレートTP1bおよびテンプレートTP1dを中央領域検出用のテンプレートTPに設定しておくことが望ましい。
あるいは、前述した第1実施例と同様に、その移動体が第1テンプレートTP1で検出されていたのであれば第1テンプレートTP1を、第2テンプレートTP2で検出されていたのであれば第2テンプレートTP2を、中央領域検出用のテンプレートTPに設定するようにしても良い。
以上では、前回の撮影画像で検出された移動体が、前々回の撮影画像でも検出されている場合(S155で「yes」と判断された場合)に、中央領域検出用のテンプレートTPを設定する処理について説明した。
これに対して、前回の撮影画像が存在しない場合(S151:no)や、前回の撮影画像では移動体が検出されていない場合(S153:no)、あるいは、前回の撮影画像で検出された移動体が前々回の撮影画像では検出されていなかった場合(S155:no)は、上述した予測はできない。そこで、これらの場合は、前述した第1実施例の移動体検出処理と同様に、図8に例示したテーブルを参照することによって、中央領域検出用のテンプレートTPを設定する(S158)。
以上のようにして中央領域検出用のテンプレートTPを設定したら、続いて周辺領域検出用のテンプレートTPを設定する(図15のS159)。周辺領域検出用のテンプレートTPについては、前述した第1実施例と同様に、図9に示したテーブルを参照して設定する。この結果、第2実施例においても、周辺領域検出用のテンプレートTPには、常に第1テンプレートTP1と第2テンプレートTP2とが設定される。
以上のようにして、中央領域検出用のテンプレートと、周辺領域検出用のテンプレートとを設定したら、前述した中央領域検出処理(S200)を開始して中央領域RCの移動体を検出し、続いて、周辺領域検出処理(S300)を開始して周辺領域RPの移動体を検出する。中央領域検出処理(S200)および周辺領域検出処理(S300)については、前述した第1実施例中で行われる処理と同様であるため、説明は省略する。
周辺領域検出処理(S300)を終了すると、第2実施例の移動体検出処理を終了するか否かを判断する(S160)。その結果、処理を終了しないと判断した場合は(S160:no)、移動体検出処理の先頭に戻って、新たな撮影画像を車載カメラ10から取得した後(図14のS151)、上述した続く一連の処理を繰り返す。
これに対して、処理を終了すると判断した場合は(S160:yes)、図14および図15に示した第2実施例の移動体検出処理を終了する。
以上に説明した第2実施例では、前回の撮影画像および前々回の撮影画像での移動体の検出結果に基づいて、今回に撮影された撮影画像中の中央領域RCで移動体が検出されるか否かを予測する。そして、予測結果に基づいて必要と考えられるテンプレートTPを、中央領域検出用のテンプレートTPを設定する。このため、撮影画像の全領域を全てのテンプレートTPを用いて移動体を検出する場合に比べて、移動体の検出に要する時間を大幅に短縮することができる。
また、移動体が検出される可能性のあるテンプレートTPは中央領域検出用のテンプレートTPとして設定されるので、撮影画像に写った移動体の検出漏れが生じる虞も生じない。
(変形例)
上述した第1実施例および第2実施例には、幾つかの変形例が存在する。以下では、これら変形例について簡単に説明する。
(第1変形例)
上述した第1実施例および第2実施例では、中央領域RCは中央領域検出用のテンプレートTPを用いて隈無く探索し、周辺領域RPは周辺領域検出用のテンプレートTPを用いて隈無く探索するものとして説明した。しかし、必ずしも中央領域RCあるいは周辺領域RPを隈無く探索する必要があるとは限らない。
(変形例)
上述した第1実施例および第2実施例には、幾つかの変形例が存在する。以下では、これら変形例について簡単に説明する。
(第1変形例)
上述した第1実施例および第2実施例では、中央領域RCは中央領域検出用のテンプレートTPを用いて隈無く探索し、周辺領域RPは周辺領域検出用のテンプレートTPを用いて隈無く探索するものとして説明した。しかし、必ずしも中央領域RCあるいは周辺領域RPを隈無く探索する必要があるとは限らない。
例えば、図17A中に斜線を付して示したように、撮影画像中の上部に設けられた上部領域RHでは、大きな移動体が写っていることは考えにくい。そこで、中央領域検出用のテンプレートTPあるいは周辺領域検出用のテンプレートTPの中に、大きな移動体を検出するためのテンプレートTP(第2テンプレートTP2)が設定されていた場合には、第2テンプレートTP2については上部領域RHの探索を省略してもよい。
また、図17B中に斜線を付して示したように、撮影画像中の下部に設けられた下部領域RLでは、小さな移動体が写っていることは考えにくい。そこで、中央領域検出用のテンプレートTPあるいは周辺領域検出用のテンプレートTPの中に、小さな移動体を検出するためのテンプレートTP(第1テンプレートTP1)が設定されていた場合には、第1テンプレートTP1については下部領域RLの探索を省略してもよい。
こうすれば、撮影画像中の移動体をより一層迅速に検出することが可能となる。
(第2変形例)
また、上述した第1実施例および第2実施例では、撮影画像は1つの車載カメラ10で撮影されているものとして説明した。しかし、撮影画像は1つの車載カメラ10で撮影されている必要はなく、複数の車載カメラ10で撮影した画像を合成してもよい。
(第2変形例)
また、上述した第1実施例および第2実施例では、撮影画像は1つの車載カメラ10で撮影されているものとして説明した。しかし、撮影画像は1つの車載カメラ10で撮影されている必要はなく、複数の車載カメラ10で撮影した画像を合成してもよい。
図18Aと図18Bには、このような第2変形例が例示されている。図18Aに例示した車両1には、主に左側の前方を撮影する左車載カメラ10Lと、主に右側の前方を撮影する右車載カメラ10Rの2つの車載カメラ10が搭載されている。そして、これら左車載カメラ10Lおよび右車載カメラ10Rで得られる撮影画像は、一部が重複している。
そこで、第2変形例の撮影部101(図2参照)は、左車載カメラ10Lで得られた撮影画像と、右車載カメラ10Rで得られた撮影画像とを合成して、図18Bに示すような1つの撮影画像を合成する。そして、合成した撮影画像に対して、図示されるように中央領域RCと周辺領域RPとを設定して、これら中央領域RCおよび周辺領域RPに対して、上述した第1実施例あるいは第2実施例の移動体検出処理を実行しても良い。
(第3変形例)
また、上述した第1実施例あるいは第2実施例では、1つあるいは複数の車載カメラ10で得られた撮影画像を、中央領域RCと周辺領域RPとに分割するものとして説明した。しかし、3つ以上の車載カメラ10を用いて車両1の周辺を撮影している場合には、車載カメラ10で撮影した画像を、中央領域RCあるいは周辺領域RPとして用いることもできる。
(第3変形例)
また、上述した第1実施例あるいは第2実施例では、1つあるいは複数の車載カメラ10で得られた撮影画像を、中央領域RCと周辺領域RPとに分割するものとして説明した。しかし、3つ以上の車載カメラ10を用いて車両1の周辺を撮影している場合には、車載カメラ10で撮影した画像を、中央領域RCあるいは周辺領域RPとして用いることもできる。
例えば、図19に示した車両1は、前方を撮影する前方車載カメラ10Fと、車両1の左方向を撮影する左車載カメラ10Lと、車両1の右方向を撮影する右車載カメラ10Rとを備えている。このような場合は、前方車載カメラ10Fで得られた画像を、撮影画像の中央領域RCとして用い、左車載カメラ10Lおよび右車載カメラ10Rで得られた画像を、撮影画像の周辺領域RPとして用いてもよい。 こうすれば、撮影画像を分割して中央領域RCと周辺領域RPとを生成する必要がない。また、図19に示したように、左車載カメラ10Lと前方車載カメラ10Fとの撮影範囲の一部を重複させ、前方車載カメラ10Fと右車載カメラ10Rとの撮影範囲の一部を重複させておけば、移動体の検出時に中央領域RCや周辺領域RPを拡張する処理(図10のS202、図12のS302)が不要となる。このため、撮影画像中の移動体を迅速に検出することが可能となる。
以上、各種の実施例および変形例について説明したが、本開示は上記の実施例および変形例に限られるものではなく、その要旨を逸脱しない範囲において種々の態様で実施することができる。
上述した課題を解決するために本開示の移動体検出装置および移動体検出方法は、所定の時間間隔で撮影画像が得られると、撮影画像の周辺領域および中央領域のそれぞれから移動体を検出する。ここで、周辺領域については、所定の大きさよりも小さく写った第1移動体と、所定の大きさよりも大きく写った第2移動体とを検出する。また、中央領域については第1移動体を検出するが、第2移動体は、前回の撮影画像の周辺領域で第2移動体が検出されていた場合に検出することとしている。
詳細な理由については後述するが、撮影画像の中央領域に、所定の大きさよりも大きな第2移動体がいきなり写ることは、通常は起こり得ない。そして、中央領域に第2移動体が写るのは、それ以前に周辺領域に写っていた移動体が移動して来た場合がほとんどである。従って、周辺領域で第2移動体が検出された場合には、次の撮影画像中の中央領域でも第2移動体を検出するようにすれば、中央領域で第2移動体を検出する手間を省くことができるので、迅速に移動体を検出することができる。
また、上述した本開示の移動体検出装置においては、前回に撮影された撮影画像中の中央領域で第1移動体または第2移動体の少なくとも一方が検出されていた場合にも、次に撮影される撮影画像中の中央領域で、第1移動体および第2移動体を検出するようにしてもよい。
前回に撮影された撮影画像中の中央領域に第1移動体が写っていた場合には、その第1移動体が近付いてきて大きく写ることが考えられる。また、撮影画像中の中央領域に第2移動体が写っていた場合には、次の撮影画像中の中央領域にも同じように第2移動体が写っている可能性が高い。従って、前回の撮影画像の中央領域で第1移動体または第2移動体の少なくとも一方が検出されていた場合には、次の撮影画像中の中央領域で第1移動体および第2移動体を検出するようにしてやれば、洩れなく移動体を検出することが可能となる。
また、上述した本開示の移動体検出装置においては、前回に撮影された撮影画像での移動体の検出結果と、前々回に撮影された撮影画像での移動体の検出結果とに基づいて、今回に撮影された撮影画像での移動体の検出結果を予測してもよい。そして、今回の撮影画像の中央領域で第2移動体が検出される旨が予測された場合には、中央領域でも第1移動体および第2移動体を検出するようにしてもよい。
前回の撮影画像および前々回の撮影画像での移動体の検出結果があれば、今回の撮影画像での移動体の検出結果を予測することができる。従って、今回の撮影画像の中央領域で第2移動体が検出される旨が予測された場合には、中央領域でも第1移動体および第2移動体を検出するようにしてやれば、無駄に第2移動体を検出することがないので、迅速に移動体を検出することが可能となる。
また、今回の撮影画像の中央領域で第2移動体が検出されるか否かを予測する上述した本開示の移動体検出装置においては、次のようにして予測しても良い。すなわち、前回の撮影画像の周辺領域で第2移動体が検出されていた場合には、その移動体が検出された位置と、前々回の撮影画像中で検出されていた位置とに基づいて、今回の撮影画像の中央領域で、その第2移動体が検出されるか否かを予測するようにしてもよい。
中央領域に第2移動体が写るのは、周辺領域に写っていた移動体が移動してきた場合がほとんどである。従って、上述したようにして予測してやれば、今回の撮影画像の中央領域で第2移動体が検出されるか否かを、効率よく予測することが可能となる。
また、今回の撮影画像の中央領域で第2移動体が検出されるか否かを予測する上述した本開示の移動体検出装置においては、次のようにして予測しても良い。すなわち、中央領域内の第1移動体を検出する際には、大きさの違いを識別した状態で検出しておく。そして、前回の撮影画像の中央領域で、所定の大きさよりも大きな第1移動体が検出されていた場合には、今回の撮影画像の中央領域で第2移動体が検出される旨を予測するようにしてもよい。
こうすれば、前回の撮影画像の中央領域に小さく写っていた第1移動体が近付いてきたために、今回の撮影画像では大きく写った場合でも、その移動体を洩れなく検出することが可能となる。
また、上述した本開示の移動体検出装置においては、前回に撮影された撮影画像が存在しない場合には、中央領域においても、第1移動体および第2移動体を検出することとしてもよい。ここで「前回に撮影された撮影画像」とは、所定の時間間隔で撮影された撮影画像である。
前回に撮影された撮影画像が存在しない場合には、どのような大きさの移動体が、撮影画像中の何処に写っているかは分からない。従って、こうすることで、撮影画像中の移動体を洩れなく検出することが可能となる。
また、上述した本開示の移動体検出装置においては、複数の車載カメラによって得られた画像を合成して撮影画像を生成し、得られた撮影画像に対して上述した方法を適用して移動体を検出することとしてもよい。
複数の車載カメラの画像を合成すれば、撮影範囲の広い撮影画像が得られるが、撮影範囲が広い分だけ、移動体の検出に要する時間が長くなる。従って、このような撮影画像に対して上述した方法を適用して移動体を検出してやれば、迅速に移動体を検出することが可能となる。
また、上述した本開示の移動体検出装置においては、撮影画像中の第1移動体を検出するに際しては、撮影画像中の下部に設けられた下部領域を除いて検出することとしても良い。
撮影画像中の下部領域には移動体が大きく写ることが通常であり、下部領域に第1移動体が写ることは考えにくい。従って、撮影画像中の第1移動体を検出する際には、下部領域を除いて検出することとすれば、無駄な検出を省くことができるので、迅速に移動体を検出することが可能となる。
また、上述した本開示の移動体検出装置においては、撮影画像中の第2移動体を検出するに際しては、撮影画像中の上部に設けられた上部領域を除いて検出することとしても良い。
撮影画像中の上部領域には移動体が小さく写ることが通常であり、上部領域に第2移動体が写ることは考えにくい。従って、撮影画像中の第2移動体を検出する際には、上部領域を除いて検出することとすれば、無駄な検出を省くことができるので、迅速に移動体を検出することが可能となる。
また、上述した本開示の移動体検出装置においては、次のようにして移動体を検出することとしてもよい。先ず、第1移動体の形状的な特徴を表す第1テンプレートと、第2移動体の形状的な特徴を表す第2テンプレートとを予め記憶しておく。そして、第1移動体を検出する場合には、撮影画像の中で第1テンプレートに合致する箇所を検出することによって第1移動体を検出する。また、第2移動体を検出する場合には、撮影画像の中で第2テンプレートに合致する箇所を検出することによって第2移動体を検出することとしてもよい。
こうすれば、撮影画像中の移動体を確実に検出することが可能となる。
この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のステップ(あるいはセクションと言及される)から構成され、各ステップは、たとえば、S100と表現される。さらに、各ステップは、複数のサブステップに分割されることができる、一方、複数のステップが合わさって一つのステップにすることも可能である。さらに、このように構成される各ステップは、デバイス、モジュール、ミーンズとして言及されることができる。
以上、本開示の実施形態、構成、態様を例示したが、本開示に係わる実施形態、構成、態様は、上述した各実施形態、各構成、各態様に限定されるものではない。例えば、異なる実施形態、構成、態様にそれぞれ開示された技術的部を適宜組み合わせて得られる実施形態、構成、態様についても本開示に係わる実施形態、構成、態様の範囲に含まれる。
Claims (12)
- 車載カメラ(10,10R,10L)によって得られた撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出装置であって、
前記撮影画像を所定の時間間隔で撮影する撮影部(101)と、
前記撮影画像中の左右両側に設けられた周辺領域(RP)の中から、所定の大きさよりも小さく写った第1移動体と、該所定の大きさよりも大きく写った第2移動体とを、前記移動体として検出する周辺領域検出部(102)と、
前記撮影画像中の中央に設けられた中央領域(RC)の中から、前記第1移動体を前記移動体として検出する中央領域検出部(103)と
を備え、
前記中央領域検出部(103)は、前回に撮影された前記撮影画像中の前記周辺領域(RP)で前記第2移動体が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する移動体検出装置。 - 請求項1に記載の移動体検出装置であって、
前記中央領域検出部(103)は、前回に撮影された前記撮影画像中の前記中央領域(RC)で前記第1移動体または前記第2移動体の少なくとも一方が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する移動体検出装置。 - 請求項1または請求項2に記載の移動体検出装置であって、
前回に撮影された前記撮影画像での前記移動体の検出結果と、前々回に撮影された前記撮影画像での前記移動体の検出結果とに基づいて、今回に撮影された前記撮影画像での前記移動体の検出結果を予測する予測部(105)を備え、
前記中央領域検出部(103)は、前記中央領域(RC)で前記第2移動体が検出される旨が前記予測部(105)によって予測された場合には、前記第1移動体および前記第2移動体を前記移動体として検出する移動体検出装置。 - 請求項3に記載の移動体検出装置であって、
前記予測部(105)は、前回の前記撮影画像の前記周辺領域(RP)で前記第2移動体が検出された場合に、前回の前記撮影画像の前記周辺領域(RP)において該第2移動体が検出された位置と、前々回の前記撮影画像中で該第2移動体が検出された位置とに基づいて、今回の前記撮影画像の前記中央領域(RC)で前記第2移動体が検出されるか否かを予測する移動体検出装置。 - 請求項3または請求項4に記載の移動体検出装置であって、
前記中央領域検出部(103)は、大きさの違いを識別した状態で前記第1移動体を検出し、
前記予測部(105)は、前回の前記撮影画像の前記中央領域(RC)で、所定の大きさよりも大きな前記第1移動体が検出されていた場合には、今回の前記撮影画像の前記中央領域(RC)で前記第2移動体が検出されると予測する移動体検出装置。 - 請求項1ないし請求項5の何れか一項に記載の移動体検出装置であって、
前記中央領域検出部(103)は、前回に撮影された前記撮影画像が存在しない場合には、前記前記第1移動体および前記第2移動体を前記移動体として検出する移動体検出装置。 - 請求項1ないし請求項6の何れか一項に記載の移動体検出装置であって、
隣接する領域を撮影する複数の前記車載カメラ(10L,10R)を備え、
前記撮影部(101)は、前記複数の車載カメラ(10L,10R)の画像を合成して前記撮影画像を生成する移動体検出装置。 - 請求項1ないし請求項7の何れか一項に記載の移動体検出装置であって、
前記周辺領域検出部(102)および前記中央領域検出部(103)は、前記撮影画像中の下部に設けられた下部領域(RL)については、前記第1移動体を除いて前記移動体を検出する移動体検出装置。 - 請求項1ないし請求項8の何れか一項に記載の移動体検出装置であって、
前記周辺領域検出部(102)および前記中央領域検出部(103)は、前記撮影画像中の上部に設けられた上部領域(RH)の該撮影画像については、前記第2移動体を除いて前記移動体を検出する移動体検出装置。 - 請求項1ないし請求項9の何れか一項に記載の移動体検出装置であって、
前記第1移動体の形状的な特徴を表す第1テンプレート(TP1)と、前記第2移動体の形状的な特徴を表す第2テンプレート(TP2)とが記憶された記憶部(104)を備え、
前記周辺領域検出部(102)および前記中央領域検出部(103)は、
前記第1移動体を検出する場合には、前記撮影画像の中から前記第1テンプレート(TP1)に合致する箇所を検出することによって該第1移動体を検出し、
前記第2移動体を検出する場合には、前記撮影画像の中から前記第2テンプレート(TP2)に合致する箇所を検出することによって該第2移動体を検出する移動体検出装置。 - 車載カメラ(10,10L,10R)によって得られた撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出方法であって、
前記撮影画像を所定の時間間隔で撮影する撮影工程(S100,S150)と、
前記撮影画像中の左右両側に設けられた周辺領域(RP)の中から、所定の大きさよりも小さく写った第1移動体と、該所定の大きさよりも大きく写った第2移動体とを、前記移動体として検出する周辺領域検出工程(S300)と、
前記撮影画像中の中央に設けられた中央領域(RC)の中から、前記第1移動体を前記移動体として検出する中央領域検出工程(S200)と、
前記周辺領域検出工程(S300)および前記中央領域検出工程(S200)での検出結果を記憶する記憶工程(S204,S304)と
を備え、
前記中央領域検出工程(S200)は、前回に撮影された前記撮影画像中の前記周辺領域(RP)で前記第2移動体が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する
移動体検出方法。 - 撮影画像を所定の時間間隔で撮影する撮影部(101)に接続された車載カメラ(10,10R,10L)によって得られた前記撮影画像を解析することにより、該撮影画像中に写った移動体を検出する移動体検出装置であって、
前記撮影画像中の左右両側に設けられた周辺領域(RP)の中から、所定の大きさよりも小さく写った第1移動体と、該所定の大きさよりも大きく写った第2移動体とを、前記移動体として検出する周辺領域検出部(102)と、
前記撮影画像中の中央に設けられた中央領域(RC)の中から、前記第1移動体を前記移動体として検出する中央領域検出部(103)と
を備え、
前記中央領域検出部(103)は、前回に撮影された前記撮影画像中の前記周辺領域(RP)で前記第2移動体が検出されていた場合には、前記第1移動体および前記第2移動体を前記移動体として検出する移動体検出装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/111,141 US10192106B2 (en) | 2014-01-14 | 2015-01-09 | Moving object detection apparatus and moving object detection method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014-003894 | 2014-01-14 | ||
JP2014003894A JP6331402B2 (ja) | 2014-01-14 | 2014-01-14 | 移動体検出装置および移動体検出方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2015107877A1 true WO2015107877A1 (ja) | 2015-07-23 |
Family
ID=53542774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2015/000070 WO2015107877A1 (ja) | 2014-01-14 | 2015-01-09 | 移動体検出装置および移動体検出方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10192106B2 (ja) |
JP (1) | JP6331402B2 (ja) |
WO (1) | WO2015107877A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE112015006347T5 (de) | 2015-09-30 | 2017-12-07 | Komatsu Ltd. | Bildaufnahmevorrichtung |
DE102016114168A1 (de) * | 2016-08-01 | 2018-02-01 | Connaught Electronics Ltd. | Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Vorhersage der Bewegung des Objekts, Kamerasystem sowie Kraftfahrzeug |
KR102551130B1 (ko) * | 2017-01-12 | 2023-07-05 | 모빌아이 비젼 테크놀로지스 엘티디. | 차량 움직임에 기반한 항법 |
CN109163707B (zh) * | 2018-09-06 | 2019-11-26 | 百度在线网络技术(北京)有限公司 | 障碍物感知方法、系统、计算机设备、计算机存储介质 |
JP7297463B2 (ja) * | 2019-02-22 | 2023-06-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318546A (ja) * | 2004-03-29 | 2005-11-10 | Fuji Photo Film Co Ltd | 画像認識システム、画像認識方法、及び画像認識プログラム |
JP2006202047A (ja) * | 2005-01-20 | 2006-08-03 | Toyota Motor Corp | 移動物体検出装置及び移動物体検出方法 |
JP2007072665A (ja) * | 2005-09-06 | 2007-03-22 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
JP2013008070A (ja) * | 2009-10-20 | 2013-01-10 | Panasonic Corp | 標識認識装置及び標識認識方法 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5777690A (en) * | 1995-01-20 | 1998-07-07 | Kabushiki Kaisha Toshiba | Device and method for detection of moving obstacles |
JP4064044B2 (ja) * | 2000-08-29 | 2008-03-19 | 三菱電機株式会社 | 交通情報送信システム及び交通情報収集配信システム並びに交通情報収集配信方法 |
CN101231755B (zh) * | 2007-01-25 | 2013-03-06 | 上海遥薇(集团)有限公司 | 运动目标跟踪及数量统计方法 |
EP3480057B1 (en) * | 2007-04-30 | 2022-07-06 | Mobileye Vision Technologies Ltd. | Rear obstruction detection |
JP5178276B2 (ja) | 2008-03-27 | 2013-04-10 | ダイハツ工業株式会社 | 画像認識装置 |
KR101183781B1 (ko) * | 2009-12-22 | 2012-09-17 | 삼성전자주식회사 | 실시간 카메라 모션 추정을 이용한 물체 검출/추적 방법 및 단말 |
US8406472B2 (en) * | 2010-03-16 | 2013-03-26 | Sony Corporation | Method and system for processing image data |
CN103155015B (zh) * | 2010-09-08 | 2014-12-31 | 丰田自动车株式会社 | 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法 |
JP5267596B2 (ja) * | 2011-02-23 | 2013-08-21 | 株式会社デンソー | 移動体検出装置 |
JP2012220377A (ja) | 2011-04-11 | 2012-11-12 | Denso Corp | 物体識別装置、および物体識別プログラム |
JP5477394B2 (ja) * | 2012-01-10 | 2014-04-23 | 株式会社デンソー | 車両周辺監視装置 |
US20130245881A1 (en) * | 2012-03-14 | 2013-09-19 | Christopher G. Scarbrough | System and Method for Monitoring the Environment In and Around an Automobile |
DE102012210608A1 (de) * | 2012-06-22 | 2013-12-24 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erzeugen eines Steuerparameters für ein Abstandsassistenzsystem eines Fahrzeugs |
US9224062B2 (en) * | 2013-08-09 | 2015-12-29 | Xerox Corporation | Hybrid method and system of video and vision based access control for parking stall occupancy determination |
JP6316559B2 (ja) * | 2013-09-11 | 2018-04-25 | クラリオン株式会社 | 情報処理装置、ジェスチャー検出方法、およびジェスチャー検出プログラム |
-
2014
- 2014-01-14 JP JP2014003894A patent/JP6331402B2/ja active Active
-
2015
- 2015-01-09 WO PCT/JP2015/000070 patent/WO2015107877A1/ja active Application Filing
- 2015-01-09 US US15/111,141 patent/US10192106B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005318546A (ja) * | 2004-03-29 | 2005-11-10 | Fuji Photo Film Co Ltd | 画像認識システム、画像認識方法、及び画像認識プログラム |
JP2006202047A (ja) * | 2005-01-20 | 2006-08-03 | Toyota Motor Corp | 移動物体検出装置及び移動物体検出方法 |
JP2007072665A (ja) * | 2005-09-06 | 2007-03-22 | Fujitsu Ten Ltd | 物体判別装置、物体判別方法および物体判別プログラム |
JP2013008070A (ja) * | 2009-10-20 | 2013-01-10 | Panasonic Corp | 標識認識装置及び標識認識方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2015132969A (ja) | 2015-07-23 |
JP6331402B2 (ja) | 2018-05-30 |
US10192106B2 (en) | 2019-01-29 |
US20160335489A1 (en) | 2016-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2015107877A1 (ja) | 移動体検出装置および移動体検出方法 | |
JP4622001B2 (ja) | 道路区画線検出装置および道路区画線検出方法 | |
JP6660751B2 (ja) | 撮像装置 | |
CN111183430B (zh) | 识别处理装置、识别处理方法以及记录介质 | |
JP5915923B2 (ja) | 画像処理装置及び運転支援システム | |
WO2018159016A1 (ja) | 俯瞰映像生成装置、俯瞰映像生成システム、俯瞰映像生成方法およびプログラム | |
JP6795379B2 (ja) | 運転制御装置、運転制御方法及び運転制御プログラム | |
JP6065629B2 (ja) | 物体検知装置 | |
JP6617150B2 (ja) | 物体検出方法及び物体検出装置 | |
JP2019003428A5 (ja) | ||
JP2009083632A (ja) | 移動物体検出装置 | |
JP2007096684A (ja) | 車外環境認識装置 | |
WO2016151976A1 (ja) | 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路 | |
JP2016173795A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5849942B2 (ja) | 車載画像処理装置 | |
JP2018074411A (ja) | 物体検出装置及び物体検出方法 | |
WO2016151977A1 (ja) | 移動体検出装置、画像処理装置、移動体検出方法、及び、集積回路 | |
JP2015171106A (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2016091250A (ja) | 車両周辺画像表示装置、車両周辺画像表示方法 | |
JP2018010466A (ja) | 物体検知装置 | |
JP6313999B2 (ja) | 物体検出装置、及び、物体検出システム | |
JP7115420B2 (ja) | 画像処理装置 | |
EP3985554B1 (en) | Traffic light recognition method and apparatus | |
JP5286811B2 (ja) | 駐車支援装置 | |
JP6464952B2 (ja) | 表示制御装置、表示制御プログラム及び表示制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 15737386 Country of ref document: EP Kind code of ref document: A1 |
|
WWE | Wipo information: entry into national phase |
Ref document number: 15111141 Country of ref document: US |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 15737386 Country of ref document: EP Kind code of ref document: A1 |