WO2018020722A1 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2018020722A1
WO2018020722A1 PCT/JP2017/007731 JP2017007731W WO2018020722A1 WO 2018020722 A1 WO2018020722 A1 WO 2018020722A1 JP 2017007731 W JP2017007731 W JP 2017007731W WO 2018020722 A1 WO2018020722 A1 WO 2018020722A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
matching
image processing
template
vehicle
Prior art date
Application number
PCT/JP2017/007731
Other languages
English (en)
French (fr)
Inventor
相澤　知禎
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to KR1020187005257A priority Critical patent/KR102011230B1/ko
Priority to CN201780002922.8A priority patent/CN107924569B/zh
Priority to EP17833733.3A priority patent/EP3493156B1/en
Priority to US15/756,106 priority patent/US10521917B2/en
Publication of WO2018020722A1 publication Critical patent/WO2018020722A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior

Definitions

  • the present invention relates to a technique for tracking an object included in a continuous frame.
  • Object tracking is realized by, for example, acquiring a difference between an image that does not show the object to be tracked and an image that is shown, generating a template, and searching the image frame by frame using the template. (Patent Document 1).
  • a traffic flow measurement system as a system that applies object tracking. For example, it is possible to count the number of vehicles that have passed through the target point by photographing the road using a camera installed on the roadside and tracking the passing vehicle (Patent Document 2).
  • the subject tracking device described in Patent Document 3 has a feature of following the change in the appearance of the subject by determining the movement of the subject based on the degree of blur of the subject.
  • the present invention has been made in consideration of the above-described problems, and an object of the present invention is to improve tracking accuracy when an appearance of a tracking target changes in an image processing apparatus that tracks an object.
  • an image processing apparatus for tracking a tracking object included in a plurality of images photographed in succession, an image acquisition means for acquiring an image, and a tracking object included in the image is detected by matching.
  • Tracking means for acquiring a movement amount and a movement direction of the tracking object between images, and the tracking means performs first matching using a first template corresponding to the tracking object, And when the score of the result of performing the first matching is lower than the first threshold, the second matching is performed using a second template having a size or shape different from that of the first template.
  • the image processing apparatus is an apparatus that tracks the movement of a tracking object between a plurality of frames.
  • the movement is movement on the image, and can occur due to both movement of the tracking target itself and changes in shooting conditions (camera pan, tilt, zoom, etc.).
  • the tracking unit is a unit that detects a tracking target object from an image by matching and acquires a movement of the tracking target object (a moving direction or a moving amount between frames) based on the detection result.
  • the tracking object is detected by a template.
  • a feature amount may be used for the template, or an image or the like may be used.
  • feature values for each vehicle type for example, passenger cars, freight cars, buses, motorcycles, etc.
  • An image may be used.
  • the tracking unit tracks the tracking target included in the acquired image between a plurality of frames acquired continuously. For example, a change in the position of the detected tracking object is acquired, and each movement is acquired in units of the tracking object.
  • the tracking means first performs the first matching using the first template.
  • the first template may be stored in advance, and if there is a result of tracking the tracking target in the image before the previous frame, the tracking target is cut out from the image. Also good.
  • the template may be a feature amount as described above, or may be an image or the like.
  • a score probability of matching obtained as a result of the first matching is acquired, and when the score is lower than the first threshold, a second template having a size or shape different from that of the first template is obtained.
  • the second template may be an enlarged or reduced version of the first template, or may be modified after changing the aspect ratio.
  • the second template does not necessarily have to be a modified version of the first template, and may be a newly acquired one. For example, when there is a result of detecting the tracking target in a frame before the image to be processed, it may be newly acquired based on the result. According to such a configuration, even when the appearance of the tracking target object changes on the image, it is possible to follow this.
  • the tracking means estimates a change in the traveling direction of the tracking object based on a result of detecting the tracking object, and uses the second template corresponding to the traveling direction after the change.
  • the second matching may be performed.
  • the appearance itself on the image may change greatly, for example, the front of the vehicle changes to the side.
  • the direction of the vehicle has changed (for example, it has turned right or left) when the moving direction of the tracking target (vehicle) has changed.
  • the second matching may be performed using a template (for example, a feature amount or a template image) corresponding to the changed direction.
  • the tracking unit determines whether to end the tracking of the tracking object based on both the score of the result of the second matching and the strength of the edge in the region specified as a result of the matching. May be determined.
  • the tracking means when the score of the result of the second matching is lower than the second threshold, and the edge strength in the region specified as a result of the matching is lower than the third threshold The tracking of the tracking object may be terminated.
  • the determination may be made based on the edge strength in the region specified by matching (that is, the region in which the presence of the tracking target is estimated).
  • the edge strength in a region is the sum of the edge strengths of pixels included in the region. For example, when the edge strength in the region specified by the matching is equal to or less than a predetermined threshold value, there is a high possibility that a background is present in the region instead of the object being tracked, and the tracking is terminated. Thus, by using the edge strength together, it is possible to appropriately determine whether or not to end the tracking.
  • the tracking unit obtains a score obtained as a result of performing the first matching or a score obtained as a result of performing the second matching for a predetermined number of consecutive images, and sets the sum as the sum. On the basis of this, it may be determined whether or not to end the tracking of the tracking object.
  • the tracking unit may acquire the first template based on the result.
  • the first template may be acquired using the information. According to such a configuration, the tracking target can be tracked while updating the template, which is effective when the appearance of the tracking target is gradually changed.
  • the tracking unit may divide an area corresponding to the tracking target object into a plurality of blocks, and set an area excluding blocks whose edge strength is lower than a fourth threshold as the first template. It may be a feature.
  • the orientation of the tracking object changes on the image and the appearance becomes gradually smaller.
  • the processing is advanced while updating the template for each frame, it is necessary to gradually reduce the area serving as the template. Therefore, from the region where the presence of the tracking target is estimated, a partial region where the tracking target does not exist is detected based on the strength of the edge, and the region after deleting the partial region is used as a template to be used in the next frame. Also good.
  • the size of the template can be appropriately followed in accordance with the size of the tracking target on the image.
  • the tracked object may be a vehicle, and the plurality of blocks may be arranged in a horizontal direction. This is because when the vehicle is tracked, the size in the horizontal direction on the screen changes mainly due to the vehicle turning left or right.
  • the present invention can be specified as an image processing apparatus including at least a part of the above means.
  • the present invention can also be specified as an image processing method executed by the image processing apparatus.
  • the present invention can also be specified as a program that causes a computer to execute the image processing method.
  • 1 is a layout diagram of an image processing system according to an embodiment.
  • 1 is a configuration diagram of an image processing system according to an embodiment. It is a figure explaining the influence when a camera zooms. It is a figure explaining the influence when a vehicle turns right.
  • It is a flowchart figure of the process which the image processing apparatus which concerns on embodiment performs. It is a flowchart figure of the process which the image processing apparatus which concerns on embodiment performs. It is a flowchart figure of the process which the image processing apparatus which concerns on embodiment performs. It is a figure explaining the process performed by step S34. It is a figure explaining the process performed by step S34.
  • the image processing system is a system that continuously acquires images obtained by photographing a vehicle traveling on a road and tracks the movement of the vehicle based on the plurality of acquired images.
  • FIG. 1 is a layout diagram of an image processing system according to the present embodiment.
  • the image processing system according to the present embodiment includes an image processing apparatus 100 and a camera 200, and the image processing apparatus 100 processes a plurality of images continuously captured by the camera 200 arranged on the road. Track vehicle movement.
  • FIG. 2 is a system configuration diagram of the image processing system according to the present embodiment.
  • the image processing apparatus 100 includes an image acquisition unit 101, a vehicle detection unit 102, a vehicle tracking unit 103, and a storage unit 104.
  • the image acquisition unit 101 is a means for acquiring an image including a vehicle traveling on the road (hereinafter referred to as a road image) using the camera 200 mounted on the road.
  • the image acquisition unit 101 can continuously acquire road images at a predetermined frame rate.
  • the road images acquired by the image acquisition unit 101 are stored in the storage unit 104 in chronological order, and are subjected to processing performed by each unit described below.
  • the term “frame” is used to mean one of road images acquired continuously, but the frame and the road image are equivalent.
  • inflow the appearance of a new vehicle (a vehicle that has not been tracked yet) from outside the shooting range
  • outflow the movement of the vehicle being tracked out of the shooting range
  • the vehicle detection unit 102 is a unit that detects that a new vehicle that is not currently being tracked flows into the imaging range of the camera 200.
  • a new vehicle can be detected using a plurality of templates stored in advance in the storage unit 104.
  • the template may be anything as long as it can detect the vehicle. For example, it may be different for each vehicle type or body shape (passenger car, freight car, bus, motorcycle, etc.).
  • the vehicle detection unit 102 is means for detecting the appearance of a new vehicle that has not been tracked, and the vehicle tracking unit 103 tracks the vehicle in subsequent frames.
  • the vehicle is tracked in the entire shooting range of the camera 200, but the range of tracking the vehicle may be determined separately.
  • the vehicle tracking unit 103 is a means for tracking the movement of the vehicle detected by the vehicle detection unit 102 between a plurality of frames. The tracking is continued until the vehicle flows out of the shooting range. Vehicle tracking is performed using a template corresponding to a vehicle to be tracked (hereinafter, tracked vehicle). Specifically, a target region (hereinafter referred to as a search region) to be searched by matching is set for each frame, and matching using a template is performed on the region.
  • the template may be a feature amount, but is a template image in the present embodiment.
  • the search target area is an area where a vehicle is searched, and is set to a place where the presence of the tracking target vehicle is estimated. For example, when there is a result of detecting a vehicle in a past frame, the vehicle tracking unit 103 sets a search area based on the result. Specific contents of the matching process using the template will be described later.
  • the storage unit 104 is a means for temporarily or permanently storing data used by the apparatus.
  • the storage unit 104 is preferably a storage medium that can read and write at high speed and has a large capacity.
  • a flash memory can be suitably used.
  • the storage unit 104 temporarily or permanently stores a template used by the vehicle detection unit 102 and the vehicle tracking unit 103, a plurality of images acquired by the image acquisition unit 101, and the like.
  • the image acquisition unit 101, the vehicle detection unit 102, and the vehicle tracking unit 103 may be realized by hardware designed exclusively, or may be realized by a software module.
  • programs stored in the auxiliary storage device are loaded into the main storage device and executed by the CPU, whereby each unit functions. (The CPU, auxiliary storage device, and main storage device are not shown)
  • the camera 200 is a surveillance camera arranged on the road.
  • the camera 200 is not a camera that is used only for tracking a vehicle, but a shared camera that is also used for other purposes such as monitoring purposes. Therefore, panning, tilting, zooming, etc. may occur regardless of vehicle tracking.
  • FIG. 3 is a diagram illustrating an image captured by the camera 200.
  • the image processing apparatus acquires a template corresponding to the tracking target vehicle, performs pattern matching on the image acquired by the camera 200, and detects the position of the tracking target vehicle.
  • FIG. 3B is a diagram illustrating a state in which the camera 200 has zoomed and the angle of view has decreased.
  • the template used in FIG. 3A is continuously used, there arises a problem that matching fails or the matching score is significantly lowered.
  • it is necessary to change the size of the template following the change in the appearance of the vehicle in this example, the size is increased to the size indicated by reference numeral 10B).
  • FIGS. 4A to 4C are diagrams showing an example in which the vehicle turns right.
  • the template is also deformed by following this (in this example, it is enlarged sequentially such as reference numerals 20A, 20B, and 20C).
  • reference numerals 20A, 20B, and 20C there is a need.
  • FIG. 4 since the appearance of the vehicle itself changes, it is necessary to update not only the size of the template but also the content of the template itself according to the traveling direction of the vehicle.
  • the image processing apparatus detects that the size or direction of the vehicle on the image has changed, and updates the template in the next frame with an appropriate size. By doing in this way, even if the appearance of the vehicle on the image changes, it is possible to perform appropriate pattern matching on the vehicle, and to accurately perform tracking. A specific method for updating the template will be described later.
  • FIG. 5 is a processing flowchart.
  • the process shown in FIG. 5 is executed each time the image acquisition unit 101 acquires a new frame. For example, when the frame rate is 10 fps, it is executed 10 times per second.
  • the image acquisition unit 101 acquires a road image via the camera 200 and temporarily stores it in the storage unit 104.
  • the acquired road images are stored in chronological order and are deleted when the processing is completed.
  • step S12 the vehicle tracking unit 13 determines whether there is a vehicle currently being tracked, and if there is, executes processing for tracking the tracked vehicle. Whether there is a vehicle currently being tracked is determined using a counter described later. Here, description will be made assuming that there is no vehicle being tracked, and details of step S12 will be described later with reference to FIG.
  • step S13 the vehicle detection unit 102 determines whether there is a vehicle that is not currently being tracked on the image acquired in step S11. Specifically, detection of a vehicle is attempted based on a template stored in advance in storage unit 104. For detection of the vehicle in this step, a known object detection method based on a template can be used. For example, matching is attempted using a plurality of stored templates, and the initial position and range are specified. If the detected vehicle is already being tracked, the vehicle is skipped. Information about the vehicle being tracked is shared between the vehicle detection unit 102 and the vehicle tracking unit 103 via the storage unit 104. When a new vehicle is detected, the process proceeds to step S14. If no new vehicle is detected, the process for the frame ends.
  • the vehicle detection unit 102 stores the detected range in the storage unit 104 in step S14. As a result, the detected vehicle is in a tracking state.
  • step S15 the vehicle detection unit 102 adds the number of detected vehicles to the number of vehicles currently being tracked (hereinafter, the number of vehicles being tracked).
  • the number set here is used in the vehicle tracking process executed in step S12.
  • step S12 is executed by the vehicle tracking unit 103.
  • the process of step S12 is executed when the set “number of vehicles being tracked” is one or more. That is, at the timing when step S12 is executed, two or more frames are stored in the storage unit 105 in chronological order.
  • step S21 1 is set to the counter n.
  • n is a counter for sequentially processing the tracking target vehicles included in the image.
  • step S22 pattern matching is performed on the road image using a template corresponding to the nth vehicle.
  • the template used here may be, for example, the template used for vehicle detection in step S13.
  • an approximate position in the current frame is estimated for the nth vehicle included in the image, and a search area is set. For example, when a change in the position of the nth vehicle is obtained in two or more past frames, the position in the current frame may be estimated based on the change in the position. For example, a change in position between the target vehicle two frames before and the target vehicle one frame before may be acquired, and the position of the target vehicle in the current frame may be estimated using the change. Further, the position of the vehicle may be estimated using a Kalman filter or the like. If there is not enough information for estimation, it may be estimated that the target vehicle is in the vicinity of the position detected in step S13, or narrowing down may be omitted. Then, the first matching is performed using the corresponding template.
  • step S23 a matching score in the first matching is acquired, and it is determined whether or not the matching score is a predetermined value (first threshold) or more. As a result, if the matching score is less than the predetermined value, it means that the tracked vehicle cannot be tracked correctly in the currently used template. Therefore, in the subsequent steps, the template is modified and matching is performed again. Try.
  • first threshold a predetermined value
  • step S24 it is estimated that the traveling direction of the tracked vehicle has changed.
  • the change in the traveling direction may be estimated based on the past tracking result. For example, if there is a history that the position of the vehicle has changed significantly in the vicinity of the currently set search area, it can be estimated that the vehicle has changed continuously.
  • the traveling direction may be estimated based on the shape of the road photographed by the camera 200. For example, when the object to be photographed is a crossroad or a clove-like road, it may be estimated that the image is traveling in either direction. In this case, there may be a plurality of estimation results. Note that the process of step S24 may be omitted.
  • step S25 the template used in step S22 is updated and another pattern matching (second matching) is attempted.
  • second matching Another pattern matching
  • (1) Simple enlargement / reduction of the used template This is an effective method when the camera zooms in (or zooms out) or the vehicle to be tracked is traveling toward the front of the screen (or toward the back of the screen). Yes (see FIG. 3).
  • the template to be used is updated based on the change in the traveling direction estimated in step S24. For example, when it is determined in step S24 that the vehicle facing the front faces the left diagonal direction, matching is performed using a template corresponding to the left front. Note that the replaced template may be resized to an appropriate size (for example, a size based on the template used immediately before).
  • step S26 a matching score in the second matching is acquired, and it is determined whether or not the matching score is a predetermined value (second threshold) or more. As a result, if the matching score is equal to or greater than the predetermined value (step S26-Yes), it means that the tracking target vehicle has been detected correctly, and the second matching result is adopted as the tracking result (step S27).
  • a predetermined value second threshold
  • step S26-No if the matching score does not reach the predetermined value in step S26 (step S26-No), there is a possibility that the vehicle to be tracked may have been lost, so whether to continue further tracking or end tracking in subsequent steps. Determine.
  • step S31 the region specified by matching (that is, the region where the presence of the tracking target vehicle is estimated) is divided into 1 ⁇ N blocks.
  • FIG. 8 is a diagram showing an example of division. In this example, as shown in FIG. 8, the area specified by the matching is divided into 1 vertical block ⁇ 5 horizontal block.
  • step S32 it is determined whether or not the edge strength of all the blocks is equal to or less than a predetermined value.
  • the edge strength of a block is the sum of the edge strengths of the pixels included in the block. For example, a Sobel filter that extracts edges existing in a specific direction is applied to the acquired image, and the sum of absolute values of all the obtained values is acquired.
  • the edge strength to be acquired may be in the vertical direction or in the horizontal direction. Moreover, the combination of both may be sufficient. Thereby, the edge intensity
  • the tracking end flag of the nth vehicle is made true (step S38). This is because a strong edge appears in a block in which a vehicle exists compared to a block in which no vehicle exists (for example, a block in which only a road exists). If there is even one block whose edge strength is greater than or equal to the predetermined value, the process proceeds to step S33.
  • step S33 the total value of the past k frames (k is an arbitrary integer) of the matching score for the nth vehicle is calculated, and it is determined whether or not the total value is equal to or less than a predetermined value.
  • the matching score calculated here may be a score corresponding to the first matching or a score corresponding to the second matching.
  • the total value is less than or equal to the predetermined value, it is estimated that the matching score is permanently lowered, so the tracking end flag of the nth vehicle is set to true (step S38). If the total value exceeds the predetermined value, the process proceeds to step S34.
  • step S34 among the blocks divided in step S32, blocks whose edge strength is equal to or less than a predetermined value are deleted.
  • This step is a step for estimating a change in the traveling direction of the vehicle based on the strength of the edge and specifying a region where the vehicle exists. For example, in the case of the example in FIG. 8, since the edge strength of the region 805 is equal to or less than a predetermined value, it is determined that there is no vehicle in the region 805. Then, an image corresponding to the areas 801 to 804 is cut out to be a new template. The template acquired here is used for matching in the subsequent frames.
  • FIG. 9 is an example of a case where a vehicle that has come out from a side road turns right and runs toward the front of the image.
  • the areas indicated by reference numerals 901 and 902 are deleted, and an image corresponding to the remaining area becomes a new template. This completes the tracking process for the nth vehicle.
  • step S35 the counter n is incremented, and in step S36, it is determined whether or not the counter n has exceeded the number of vehicles being tracked. As a result, if not exceeded, the process returns to step S22 to start tracking the next vehicle. If it has exceeded, the number of vehicles that have finished tracking (the number of vehicles for which the tracking end flag is true) is subtracted from the number of vehicles that are being tracked. The updated template is used for processing in the next frame. In this example, the process returns to step S22. However, the process may return to step S24 or step S25 to perform processing from the second matching.
  • a template is predicted by predicting a change in the appearance of the vehicle. Update and retry pattern matching. Thereby, even if it is a case where the appearance of the vehicle on an image changes suddenly, it can be made to follow. Further, by analyzing the region where the presence of the tracking target vehicle is estimated, it is determined whether the tracking is to be terminated or continued. As a result, it is possible to prevent an object other than the vehicle from being erroneously recognized as a vehicle and continuing to be tracked. That is, the tracking accuracy of the vehicle can be improved.
  • step S23 when a predetermined score is not obtained in step S23 (or when matching fails), the template is updated after estimating the change in the traveling direction of the tracking target vehicle, and matching is performed again. Although it performed, you may perform processes other than this. For example, if the score is not high but it can be said that the matching has succeeded, it is determined that the appearance of the tracking target vehicle is gradually changing, the first matching result is adopted, and the template to be used in the subsequent frames is selected.
  • the template may be updated according to the appearance after the change.
  • a plurality of threshold values may be set in step S23, and it may be determined which process is executed according to the obtained score. For example, in step S23, the score is divided into three stages according to threshold A and threshold B (A> B), and if the score is less than threshold A and greater than or equal to threshold B, the processing described in this modification is performed. When the score is less than the threshold value B, the processes in steps S24 to S27 may be performed.
  • matching is performed using a template image.
  • matching may be performed using a feature amount.
  • matching may be performed using a single template image, or the template image may be divided into a plurality of blocks and matching may be performed for each block. For example, an average value in a plurality of blocks may be obtained, or an average value may be obtained after removing outliers.
  • the updated template is acquired in step S25.
  • the vehicle can travel in three directions, straight, left, and right.
  • a plurality of templates may be acquired and matching may be performed for each. In this case, if a predetermined score is not obtained in any result, step S26 may be determined as negative.
  • the object tracked by the image processing apparatus according to the present invention is not limited to a vehicle.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、画像を取得する画像取得手段と、前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、を有し、前記追跡手段は、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行う。

Description

画像処理装置および画像処理方法
　本発明は、連続したフレームに含まれる物体を追跡する技術に関する。
　監視システムなどにおいて、画像に含まれる物体を検知し、その動きを自動的に追跡する技術が知られている。物体の追跡は、例えば、追跡対象の物体が映っていない画像と映っている画像との差分を取得してテンプレートを生成し、当該テンプレートを用いて１フレームずつ画像内を探索することで実現することができる（特許文献１）。
　物体の追跡を応用したシステムに、交通流計測システムがある。例えば路側に設置されたカメラを用いて道路上を撮影し、通過する車両を追跡することで、対象の地点を通過した車両の台数をカウントすることができる（特許文献２）。
特開２００１－０６０２６９号公報 特開２００９－０８７３１６号公報 特開２０１３－２５５０６２号公報
　道路を撮影した画像（動画）に基づいて、当該道路上を通過する車両を追跡しようとした場合、画像上における車両の見え方が大きく変化すると、車両を追跡しきれなくなるという問題がある。例えば、車両が道路上で右左折した場合やＵターンした場合、車両の向きが変わってしまうため、パターンマッチングが失敗してしまう場合がある。また、監視カメラなど、姿勢の制御が可能なカメラによって撮影した画像を流用して車両を追跡しようとした場合、カメラの姿勢（パン、チルト、ズーム等）の変化に伴って車両の見え方（大きさなど）が変化するため、同様にパターンマッチングが失敗してしまう場合がある。
　このように、画像上において追跡対象の車両の大きさや見え方が変化すると、パターンマッチングの精度が低下するという問題がある。
　一方、特許文献３に記載の被写体追跡装置は、被写体のボケ度合いに基づいて当該被写体の動きを判定することで、被写体の見え方の変化に追従させるという特徴を有している。
　しかし、道路上の車両を追跡する場合、カメラと車両との距離が離れているため、ボケの変化が把握しづらい。すなわち、当該技術を車両の追跡に応用することは困難である。
　本発明は上記の課題を考慮してなされたものであり、物体を追跡する画像処理装置において、追跡対象物の見え方が変化した場合における追跡精度を向上させることを目的とする。
　上記課題を解決するための、本発明に係る画像処理装置は、
　連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、画像を取得する画像取得手段と、前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、を有し、前記追跡手段は、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行うことを特徴とする。
　本発明に係る画像処理装置は、複数のフレーム間における追跡対象物の移動を追跡する装置である。なお、移動とは、画像上における移動であり、追跡対象物そのものの移動と、撮影条件（カメラのパン、チルト、ズーム等）の変化の双方に起因して発生しうる。
　追跡手段は、画像から追跡対象物をマッチングによって検出し、当該検出結果に基づいて追跡対象物の動き（フレーム間における移動方向や移動量）を取得する手段である。
　追跡対象物の検出は、テンプレートによって行う。テンプレートには、特徴量を利用してもよいし、画像などを利用してもよい。例えば、車両を追跡する場合、車種（例えば、乗用車、貨物車、バス、オートバイ等）ごとの特徴量を用いてもよいし、既に追跡を行った結果がある場合、追跡結果に基づいて切り出した画像を用いてもよい。この結果、追跡対象物に対応する座標や領域を得ることができる。
　また、追跡手段は、取得した画像に含まれる追跡対象物を、連続して取得した複数のフレーム間で追跡する。例えば、検出した追跡対象物の位置の変化を取得し、それぞれの動きを追跡対象物単位で取得する。
　本発明では、追跡手段が、まず、第一のテンプレートを用いて第一のマッチングを行う。第一のテンプレートは、予め記憶されているものであってもよいし、前フレーム以前の画像において追跡対象物を追跡した結果がある場合は、当該画像から追跡対象物を切り出したものであってもよい。なお、テンプレートとは、前述したように特徴量であってもよいし、画像などであってもよい。
　テンプレートを用いてマッチングを行う場合、フレーム間で追跡対象物の見え方が大きく変わった場合にヒットしにくくなってしまうという問題がある。例えば、カメラがズームした場合や、追跡対象物の進行方向が変わった場合、テンプレートに対応する領域と、実際に追跡対象物が存在する領域とが一致しなくなり、これに起因して、マッチングが失敗したり、マッチングスコアが低下してしまうおそれがある。
　そこで、本発明では、第一のマッチングを行った結果のスコア（マッチングの確からしさ）を取得し、第一の閾値より低い場合に、第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて再マッチングを行う。
　第二のテンプレートは、第一のテンプレートを拡大または縮小したものであってもよいし、アスペクト比を変更したうえで変形したものであってもよい。また、第二のテンプレートは、必ずしも第一のテンプレートを変形したものである必要はなく、新たに取得されたものであってもよい。例えば、処理対象の画像よりも前のフレームにおいて前記追跡対象物を検出した結果がある場合、当該結果に基づいて新たに取得されたものであってもよい。
　かかる構成によると、画像上において追跡対象物の見え方が変わった場合であっても、これに追従させることができるようになる。
　また、前記追跡手段は、前記追跡対象物を検出した結果に基づいて、前記追跡対象物の進行方向の変化を推定し、変化後の進行方向に対応する前記第二のテンプレートを用いて前記第二のマッチングを行うことを特徴としてもよい。
　追跡対象物の進行方向が変化すると、例えば、車両の前面が側面に変わるなど、画像上における見え方自体が大きく変化する場合がある。また、画像内に交差点が存在するような場合、追跡対象物（車両）の移動方向が変わった場合、車両の向きが変わった（例えば右左折した）ことが推定できる。このような場合、変化後の向きに対応するテンプレート（例えば特徴量やテンプレート画像）を用いて第二のマッチングを行うようにしてもよい。かかる構成によると、追跡の精度をより向上させることができる。
　また、前記追跡手段は、前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定することを特徴としてもよい。
　また、前記追跡手段は、前記第二のマッチングを行った結果のスコアが第二の閾値よりも低く、かつ、マッチングの結果特定された領域におけるエッジの強度が第三の閾値よりも低い場合に、前記追跡対象物の追跡を終了することを特徴としてもよい。
　第二のマッチングを行っても期待するスコアが得られなかった場合、追跡を続行するか終了するかを判断する。このとき、マッチングによって特定された領域（すなわち、追跡対象物の存在が推定される領域）におけるエッジの強度に基づいて判断を行うとよい。領域におけるエッジの強度とは、当該領域に含まれる画素が有するエッジ強度の和である。
　例えば、マッチングによって特定された領域におけるエッジの強度が所定の閾値以下である場合、当該領域には、追跡中の物体ではなく背景が存在する可能性が高いため、追跡を終了する。このように、エッジの強度を併用することで、追跡を終了するか否かの判断を適切に行うことができるようになる。
　また、前記追跡手段は、連続した所定枚数分の画像について、第一のマッチングを行った結果のスコア、または、第二のマッチングを行った結果のスコアの合計値を取得し、前記合計値に基づいて、前記追跡対象物の追跡を終了するか否かを決定することを特徴としてもよい。
　複数の連続する画像に対してマッチングを行い、追跡対象物を追跡する場合、マッチングによって得られたスコアに基づいて、追跡を続行するか終了するか決定することができる。しかし、単一の画像に対するマッチング結果のみで判断を行った場合、スコアが一時的に低下し、その後回復したような場合であっても追跡が打ち切られてしまう。そこで、連続した複数の画像について、マッチングによって得られたスコアを合計し、合計値に基づいて判断を行うようにする。かかる構成によると、スコアの回復が見込めない場合にのみ追跡を終了させることができる。
　また、前記追跡手段は、処理対象の画像よりも前の画像において前記追跡対象物を検出した結果がある場合に、当該結果に基づいて前記第一のテンプレートを取得することを特徴としてもよい。
　追跡対象物の位置を特定できている場合、当該情報を用いて第一のテンプレートを取得してもよい。かかる構成によると、テンプレートを更新しながら追跡対象物の追跡が行えるようになるため、追跡対象物の見え方が徐々に変化していくような場合に有効である。
　また、前記追跡手段は、前記追跡対象物に対応する領域を複数のブロックに分割し、エッジの強度が第四の閾値よりも低いブロックを除外した領域を、前記第一のテンプレートとすることを特徴としてもよい。
　画像上において追跡対象物の向きが変わり、見え方が徐々に小さくなるケースがある。　
　このようなケースにおいて、フレームごとにテンプレートを更新しながら処理を進める場合、テンプレートとなる領域を徐々に縮小する必要がある。そこで、追跡対象物の存在が推定される領域から、追跡対象物が存在しない部分領域をエッジの強度に基づいて検出し、当該部分領域を削除した後の領域を、次フレームにおいて利用するテンプレートとしてもよい。
　かかる構成によると、画像上における追跡対象物のサイズに合わせて、テンプレートの大きさを適切に追従させることができる。
　また、前記追跡対象物は車両であり、前記複数のブロックは水平方向に配列されることを特徴としてもよい。車両を追跡する場合、主に車両の右左折に起因して、画面上における水平方向のサイズが変化するためである。
　なお、本発明は、上記手段の少なくとも一部を含む画像処理装置として特定することができる。また、本発明は、上記画像処理装置が実行する画像処理方法として特定することもできる。また、本発明は、コンピュータに上記画像処理方法を実行させるプログラムとして特定することもできる。上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
　本発明によれば、物体を追跡する画像処理装置において、追跡対象物の見え方が変化した場合における追跡精度を向上させることができる。
実施形態に係る画像処理システムの配置図である。 実施形態に係る画像処理システムの構成図である。 カメラがズームした場合における影響を説明する図である。 車両が右折した場合における影響を説明する図である。 実施形態に係る画像処理装置が行う処理のフローチャート図である。 実施形態に係る画像処理装置が行う処理のフローチャート図である。 実施形態に係る画像処理装置が行う処理のフローチャート図である。 ステップＳ３４で行う処理を説明する図である。 ステップＳ３４で行う処理を説明する図である。
（システム構成）
　以下、本発明の好ましい実施形態について図面を参照しながら説明する。
　本実施形態に係る画像処理システムは、道路上を走行する車両を撮影した画像を連続して取得し、取得した複数の画像に基づいて車両の動きを追跡するシステムである。
　図１は、本実施形態に係る画像処理システムの配置図である。本実施形態に係る画像処理システムは、画像処理装置１００と、カメラ２００からなり、画像処理装置１００が、道路上に配置されたカメラ２００によって連続して撮影された複数の画像を処理することで、車両の動きを追跡する。
　図２は、本実施形態に係る画像処理システムのシステム構成図である。
　画像処理装置１００は、画像取得部１０１、車両検出部１０２、車両追跡部１０３、記憶部１０４から構成される。
　画像取得部１０１は、道路上にマウントされたカメラ２００を用いて、道路を走行する車両が含まれた画像（以下、道路画像）を取得する手段である。画像取得部１０１は、所定のフレームレートで、連続して道路画像を取得することができる。画像取得部１０１が取得した道路画像は、時系列順に記憶部１０４に記憶され、以降で説明する各手段が行う処理に供される。
　なお、実施形態の説明では、連続して取得される道路画像のうちの一枚という意味で、フレームという語を用いるが、フレームと道路画像は等価である。また、連続したフレームにおいて、撮影範囲外から新規の車両（まだ追跡を行っていない車両）が現れることを流入、追跡中の車両が撮影範囲外に出て行くことを流出と称する。
　車両検出部１０２は、現在追跡を行っていない新しい車両がカメラ２００の撮影範囲内に流入したことを検出する手段である。新しい車両の検出は、記憶部１０４に予め記憶された複数のテンプレートを用いて行うことができる。テンプレートは、車両を検出することができれば、どのようなものであってもよい。例えば、車種や車体の形状（乗用車、貨物車、バス、二輪車等）ごとに異なるものであってもよい。また、複数のテンプレートを用いる場合、どのように分類されていてもよい。また、車両を異なる方向（前後左右など）から見た場合のテンプレートをそれぞれ保持していてもよい。
　車両検出部１０２は、追跡を行っていない新しい車両が現れたことを検出する手段であり、それ以降のフレームにおける車両の追跡は、車両追跡部１０３が行う。
　なお、本実施形態では、カメラ２００の撮影範囲の全域において車両を追跡するものとするが、車両を追跡する範囲は別途定められていてもよい。
　車両追跡部１０３は、車両検出部１０２が検出した車両の動きを複数のフレーム間で追跡する手段である。追跡は、車両が撮影範囲外へ流出するまで続けられる。車両の追跡は、追跡対象の車両（以下、追跡対象車両）に対応するテンプレートを用いて行われる。具体的には、マッチングによる探索を行う対象領域（以下、探索領域）をフレームごとに設定し、当該領域に対してテンプレートを用いたマッチングを行う。なお、テンプレートは特徴量であってもよいが、本実施形態ではテンプレート画像であるものとする。
　探索対象領域は、車両を探索する領域であって、追跡対象車両の存在が推定される場所に設定される。例えば、過去のフレームにおいて車両を検出した結果がある場合、車両追跡部１０３は当該結果に基づいて探索領域を設定する。
　テンプレートを用いたマッチング処理の具体的な内容については後述する。
　記憶部１０４は、装置が用いるデータを一時的または恒久的に記憶する手段である。記憶部１０４には、高速に読み書きでき、かつ、大容量な記憶媒体を用いることが好ましい。例えば、フラッシュメモリなどを好適に用いることができる。記憶部１０４には、車両検出部１０２および車両追跡部１０３が利用するテンプレート、画像取得部１０１が取得した複数の画像などが一時的または恒久的に記憶される。
　なお、画像取得部１０１、車両検出部１０２、車両追跡部１０３は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよい。ソフトウェアとして実行される場合、補助記憶装置に記憶されたプログラムが主記憶装置にロードされ、ＣＰＵによって実行されることによって各手段が機能する。（ＣＰＵ、補助記憶装置、主記憶装置はいずれも不図示）
　カメラ２００は、道路上に配置された監視カメラである。本実施形態では、カメラ２００は、車両の追跡だけに利用されるカメラではなく、監視目的など他の目的にも利用される共用のカメラである。従って、車両の追跡とは無関係に、パン、チルト、ズームなどが発生する場合がある。
（従来技術における課題）
　次に、マッチング対象領域と、従来技術において発生する問題について説明する。図３は、カメラ２００が撮影した画像を示した図である。
　本実施形態に係る画像処理装置は、追跡対象車両に対応するテンプレートを取得したうえで、カメラ２００によって取得した画像に対してパターンマッチングを行い、追跡対象車両の位置を検出する。
　例えば、異なる車種に対応する複数のテンプレートを用いて、カメラ２００が撮影した画像に対してパターンマッチングを行った結果、図３（Ａ）の符号１０Ａで示した領域に車両を検出した場合を考える。
　このような手法を用いた場合、画像上における車両の大きさや向きが変化した場合に、追跡が失敗することがある。図３（Ｂ）は、カメラ２００がズームし、画角が小さくなった状態を示した図である。このような場合、図３（Ａ）で使用したテンプレートを引き続き使用すると、マッチングが失敗したり、マッチングスコアが著しく低下するといった問題が発生する。この問題を解決するためには、車両の見え方の変化に追従してテンプレートのサイズを変更する（本例では、符号１０Ｂで示したサイズに拡大する）必要がある。
　別の例を示す。図４（Ａ）～（Ｃ）は、車両が右折する場合の例を示した図である。例示したように、車両の進行方向が変化する場合、画像上における大きさが変化するため、テンプレートもこれに追従させて変形させる（本例では、符号２０Ａ，２０Ｂ，２０Ｃといったように順次拡大する）必要がある。また、図４の例では、車両の見え方自体が変化していくため、車両の進行方向に応じて、テンプレートのサイズだけでなく、テンプレートの内容自体を更新していく必要がある。
　本実施形態に係る画像処理装置は、車両の追跡において、画像上における車両の大きさや向きが変化したことを検出し、次フレームにおけるテンプレートを適切なサイズで更新する。このようにすることで、画像上における車両の見え方が変化するような場合であっても、車両に対して適切なパターンマッチングを行うことができ、正確に追跡を行うことができる。テンプレートを更新する具体的な方法については後述する。
（処理フローチャート）
　次に、画像処理装置１００が行う画像処理の詳細について、処理フローチャートである図５を参照しながら説明する。図５に示した処理は、画像取得部１０１が新規のフレームを取得するごとに実行される。例えば、フレームレートが１０ｆｐｓである場合、秒間１０回実行される。
　まず、ステップＳ１１で、画像取得部１０１が、カメラ２００を介して道路画像を取得し、記憶部１０４に一時的に記憶させる。なお、取得された道路画像は、時系列順に記憶され、処理が完了すると削除される。
　次に、ステップＳ１２で、車両追跡部１３が、現在追跡している車両が存在するか否かを判定し、ある場合に、追跡対象車両を追跡する処理を実行する。現在追跡している車両が存在するか否かは、後述するカウンタを用いて判断する。なお、ここでは、追跡中の車両が無いものとして説明を行い、ステップＳ１２の詳細については、図６を参照しながら後ほど説明する。
　ステップＳ１３では、車両検出部１０２が、ステップＳ１１で取得した画像上に、現在追跡していない車両が存在するか否かを判定する。具体的には、記憶部１０４に予め記憶されているテンプレートに基づいて、車両の検出を試みる。本ステップにおける車両の検出には、テンプレートに基づく既知の物体検出手法を用いることができる。例えば、記憶された複数のテンプレートを用いてマッチングを試み、初期位置と範囲を特定する。なお、検出した車両が既に追跡中の車両であった場合、当該車両はスキップする。追跡中の車両についての情報は、記憶部１０４を介して、車両検出部１０２および車両追跡部１０３の間で共有される。
　新しい車両が検出されると、処理はステップＳ１４へ遷移する。また、新しい車両が検出されなかった場合、当該フレームに対する処理は終了する。
　車両を検出すると、ステップＳ１４で、車両検出部１０２が、検出した範囲を記憶部１０４に記憶させる。これにより、検出された車両が追跡中の状態となる。
　次に、ステップＳ１５で、車両検出部１０２が、現在追跡中である車両の数（以下、追跡中車両数）に、検出した車両の台数を追加する。ここで設定された台数は、ステップＳ１２で実行される車両追跡処理において利用される。
　次に、ステップＳ１２で行われる処理について、図６に示したフローチャートを参照しながら説明する。なお、特に記載がない場合、各ステップは車両追跡部１０３が実行するものとする。
　ステップＳ１２の処理は、設定されている「追跡中車両数」が１台以上である場合に実行される。すなわち、ステップＳ１２が実行されるタイミングでは、時系列順に二つ以上のフレームが記憶部１０５に記憶されている。
　まず、ステップＳ２１で、カウンタｎに１を設定する。ｎは、画像に含まれる追跡対象車両に対して順次処理を行うためのカウンタである。
　次に、ステップＳ２２で、ｎ番目の車両に対応するテンプレートを用いて、道路画像に対するパターンマッチングを行う。ここで用いるテンプレートは、例えば、ステップＳ１３で車両の検出に用いたテンプレートであってもよい。
　本ステップでは、まず、画像に含まれるｎ番目の車両について、現在のフレームにおける大まかな位置を推定し、探索領域を設定する。例えば、過去の二つ以上のフレームにおいて、ｎ番目の車両の位置の変化が求まっている場合、当該位置の変化に基づいて、現在のフレームにおける位置を推定してもよい。例えば、２フレーム前における対象車両と、１フレーム前における対象車両との位置の変化を取得し、当該変化を用いて現在のフレームにおける当該対象車両の位置を推定してもよい。また、カルマンフィルタなどを用いて車両の位置を推定してもよい。
　なお、推定を行うための十分な情報が無い場合、ステップＳ１３で検出した位置の近傍に当該対象車両がいるものと推定してもよいし、絞り込み自体を省略してもよい。
　そして、対応するテンプレートを用いて第一のマッチングを行う。
　ステップＳ２３では、第一のマッチングにおけるマッチングスコアを取得し、当該マッチングスコアが所定値（第一の閾値）以上であるか否かを判定する。この結果、マッチングスコアが所定値に満たなかった場合、現在使用されているテンプレートでは追跡対象車両が正しく追跡できていないことを意味するため、以降のステップにおいて、テンプレートを変形して再度のマッチングを試みる。
　ステップＳ２４では、追跡対象車両の進行方向が変化したことを推定する。進行方向の変化は、過去の追跡結果に基づいて推定してもよい。例えば、現在設定されている探索領域の付近において、車両の位置が大きく変化したという履歴がある場合、続けて変化したと推定することができる。また、カメラ２００が撮影する道路の形状に基づいて進行方向を推定してもよい。例えば、撮影対象が十字路や丁字路である場合、どちらかの方向に進行すると推定してもよい。この場合、推定結果は複数あってもよい。
　なお、ステップＳ２４の処理は省略してもよい。
　ステップＳ２５では、ステップＳ２２で使用したテンプレートを更新し、再度のパターンマッチング（第二のマッチング）を試みる。
　テンプレートの更新方法として、次のような方法がある。
（１）使用したテンプレートを単純に拡大／縮小させる
　カメラがズームイン（またはズームアウト）したり、追跡対象車両が画面手前方向（または画面奥方向）に向かって走行している場合に有効な方法である（図３参照）。
（２）車両の進行方向に応じたテンプレートに差し替える
　画面手前方向（または画面奥方向）に向かって走行している車両が右左折した場合、または、脇道から出た車両が右左折し、画面手前方向（または画面奥方向）に向かって走行する場合に有効な方法である（図４参照）。この場合、ステップＳ２４で推定した進行方向の変化に基づいて、使用するテンプレートを更新する。例えば、ステップＳ２４にて、正面を向いていた車両が左斜め方向を向いた判定した場合、左斜め前に対応するテンプレートを用いてマッチングを行うようにする。なお、差し替えたテンプレートを適切な大きさ（例えば、直前に使用したテンプレートに基づいた大きさ）にリサイズしてもよい。
　ステップＳ２６では、第二のマッチングにおけるマッチングスコアを取得し、当該マッチングスコアが所定値（第二の閾値）以上であるか否かを判定する。この結果、マッチングスコアが所定値以上であった場合（ステップＳ２６－Ｙｅｓ）、追跡対象車両が正しく検出できたことを意味するため、第二のマッチング結果を追跡結果として採用する（ステップＳ２７）。
　一方、ステップＳ２６でマッチングスコアが所定値に満たなかった場合（ステップＳ２６－Ｎｏ）、追跡対象車両を見失った可能性があるため、以降のステップで、さらなる追跡を続けるか、追跡を終了するかを判定する。
　図７を参照し、説明を続ける。
　ステップＳ３１では、マッチングによって特定された領域（すなわち、追跡対象車両の存在が推定される領域）を、縦１×横Ｎ個のブロックに分割する。図８は、分割の例を示した図である。本例では、図８に示したように、マッチングによって特定された領域を縦１個×横５個のブロックに分割している。
　次に、ステップＳ３２で、全てのブロックのエッジ強度が所定値以下であるか否かを判定する。ブロックのエッジ強度とは、当該ブロックに含まれる画素が有するエッジ強度の和である。例えば、取得した画像に、特定の方向に存在するエッジを抽出するＳｏｂｅｌフィルタを適用し、得られた全ての値の絶対値の和を取得する。取得するエッジの強度は、縦方向であっても横方向であってもよい。また、両方の組み合わせであってもよい。これにより、ブロックごとのエッジ強度が得られる。
　この結果、全てのブロックのエッジ強度が所定値以下であった場合、全てのブロックのいずれにも車両が存在しないことが推定されるため、ｎ番目の車両の追跡終了フラグを真にする（ステップＳ３８）。これは、車両が存在しないブロック（例えば道路のみが存在するブロック）に比べて、車両が存在するブロックには強いエッジが現れるためである。
　エッジ強度が所定値以上であるブロックが一つでもある場合、処理はステップＳ３３に遷移する。
　ステップＳ３３では、ｎ番目の車両に対するマッチングスコアの、過去ｋフレーム（ｋは任意の整数）ぶんの合計値を演算し、合計値が所定値以下であるか否かを判定する。ここで演算するマッチングスコアは、第一のマッチングに対応するスコアであってもよいし、第二のマッチングに対応するスコアであってもよい。ここで、合計値が所定値以下であった場合、マッチングスコアが恒久的に低下していることが推定されるため、ｎ番目の車両の追跡終了フラグを真にする（ステップＳ３８）。
　合計値が所定値を上回っていた場合、処理はステップＳ３４に遷移する。
　ステップＳ３４では、ステップＳ３２で分割したブロックのうち、エッジの強度が所定値以下であるブロックを削除する。本ステップは、車両の進行方向が変化したことをエッジの強度に基づいて推定し、車両が存在する領域を特定するステップである。例えば、図８の例の場合、領域８０５のエッジの強度が所定値以下となるため、領域８０５に車両は存在しないと判定する。そして、領域８０１～８０４に対応する画像を切り出して新たなテンプレートとする。ここで取得されたテンプレートは、次フレーム以降におけるマッチングで利用される。
　図９を参照して、具体的な例を説明する。図９は、脇道から出てきた車両が右折し、画像手前方向に走ってくる場合の例である。
　前述した方法によって処理を行うと、符号９０１および９０２で示した領域が削除され、残った領域に対応する画像が新たなテンプレートとなる。
　以上で、ｎ番目の車両に対する追跡処理が終了する。
　ステップＳ３４の処理終了後、または、ステップＳ２３で肯定判定だった場合や、ステップＳ２７の処理終了後、ステップＳ３８の処理終了後は、処理はステップＳ３５へ遷移する。
　ステップＳ３５では、カウンタｎをインクリメントし、ステップＳ３６で、カウンタｎが、追跡中の車両数を超えたか否かを判定する。この結果、超えていない場合、処理はステップＳ２２に戻り、次の車両に対する追跡を開始する。超えていた場合、追跡中の車両数から追跡を終了した車両の数（追跡終了フラグが真である車両の数）を減算する。
　なお、更新されたテンプレートは、次のフレームにおける処理で利用される。
　また、本例ではステップＳ２２へ戻ったが、ステップＳ２４またはステップＳ２５へ戻り、第二のマッチングから処理を行うようにしてもよい。
　以上説明したように、本実施形態に係る画像処理装置では、第一のテンプレートを用いたパターンマッチング結果で十分なスコアが得られなかった場合に、車両の見え方の変化を予測してテンプレートを更新し、パターンマッチングを再試行する。これにより、画像上における車両の見え方が急激に変化した場合であっても、これに追従させることができる。
　また、追跡対象車両の存在が推定される領域を解析することで、追跡を終了するか続行するかを判断する。これにより、車両以外の物体を車両と誤認識し、追跡を続けてしまうことを防ぐことができる。
　すなわち、車両の追跡精度を向上させることができる。
（変形例）
　前述した実施形態では、ステップＳ２３で所定のスコアが得られなかった場合（またはマッチングが失敗した場合）に、追跡対象車両の進行方向の変化を推定したうえでテンプレートを更新し、再度のマッチングを行ったが、これ以外の処理を行ってもよい。
　例えば、スコアは高くないがマッチングが成功したと言える場合に、追跡対象車両の見た目が徐々に変化している判断し、第一のマッチング結果を採用したうえで、次フレーム以降で使用するテンプレートを、変化後の見た目に応じたテンプレートに更新してもよい。
　なお、変化後の見た目に応じたテンプレートを取得するために、ステップＳ２４で説明したような、進行方向の変化を推定する処理を併用してもよい。
　なお、前述した実施形態と、本変形例を併用してもよい。例えば、ステップＳ２３で複数の閾値を設定し、得られたスコアに応じて、いずれの処理を実行するかを決定してもよい。例えば、ステップＳ２３で、閾値Ａおよび閾値Ｂ（Ａ＞Ｂとする）によってスコアを三段階に分け、スコアが閾値Ａ未満、閾値Ｂ以上であった場合に、本変形例で述べた処理を行い、スコアが閾値Ｂ未満であった場合に、ステップＳ２４～Ｓ２７の処理を行うようにしてもよい。
（その他の変形例）
　上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。
　例えば、ステップＳ３１～Ｓ３４のうちのいずれか一部を省略しても、本発明の効果は得ることができる。
　また、実施形態の説明では、テンプレート画像を用いてマッチングを行ったが、マッチングは特徴量を用いて行ってもよい。また、テンプレート画像を用いる場合、一枚のテンプレート画像を用いてマッチングを行ってもよいし、テンプレート画像を複数のブロックに分割し、ブロックごとにマッチングを行ってもよい。例えば、複数のブロックにおける平均値を求めてもよいし、外れ値を削除したうえで平均値を求めてもよい。
　また、実施形態の説明では、ステップＳ２５で更新後のテンプレートを取得したが、画像上における見え方の変化が複数パターン考えられる場合（例えば、車両が直進、左折、右折の三方向に進行可能であるような場合）、テンプレートを複数個取得し、それぞれについてマッチングを行うようにしてもよい。この場合、いずれの結果でも所定のスコアが得られなかった場合に、ステップＳ２６を否定判定とすればよい。
　また、本発明に係る画像処理装置が追跡する対象物は、車両に限られない。
　１００　画像処理装置
　１０１　画像取得部
　１０２　車両検出部
　１０３　車両追跡部
　１０４　記憶部
　２００　カメラ

Claims (10)

  1. 　連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置であって、
    　画像を取得する画像取得手段と、
    　前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡手段と、
    　を有し、
    　前記追跡手段は、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、
    　前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行う
    　ことを特徴とする、画像処理装置。
  2. 　前記追跡手段は、前記追跡対象物を検出した結果に基づいて、前記追跡対象物の進行方向の変化を推定し、変化後の進行方向に対応する前記第二のテンプレートを用いて前記第二のマッチングを行う
    　ことを特徴とする、請求項１に記載の画像処理装置。
  3. 　前記追跡手段は、前記第二のマッチングを行った結果のスコア、および、マッチングの結果特定された領域におけるエッジの強度の双方に基づいて、前記追跡対象物の追跡を終了するか否かを決定する
    　ことを特徴とする、請求項１または２に記載の画像処理装置。
  4. 　前記追跡手段は、前記第二のマッチングを行った結果のスコアが第二の閾値よりも低く、かつ、マッチングの結果特定された領域におけるエッジの強度が第三の閾値よりも低い場合に、前記追跡対象物の追跡を終了する
    　ことを特徴とする、請求項３に記載の画像処理装置。
  5. 　前記追跡手段は、連続した所定枚数分の画像について、第一のマッチングを行った結果のスコア、または、第二のマッチングを行った結果のスコアの合計値を取得し、前記合計値に基づいて、前記追跡対象物の追跡を終了するか否かを決定する
    　ことを特徴とする、請求項１から４のいずれかに記載の画像処理装置。
  6. 　前記追跡手段は、処理対象の画像よりも前の画像において前記追跡対象物を検出した結果がある場合に、当該結果に基づいて前記第一のテンプレートを取得する
    　ことを特徴とする、請求項１から５のいずれかに記載の画像処理装置。
  7. 　前記追跡手段は、前記追跡対象物に対応する領域を複数のブロックに分割し、エッジの強度が第四の閾値よりも低いブロックを除外した領域を、前記第一のテンプレートとする
    　ことを特徴とする、請求項６に記載の画像処理装置。
  8. 　前記追跡対象物は車両であり、前記複数のブロックは水平方向に配列される
    　ことを特徴とする、請求項７に記載の画像処理装置。
  9. 　連続して撮影された複数の画像に含まれる追跡対象物を追跡する画像処理装置が行う画像処理方法であって、
    　画像を取得する画像取得ステップと、
    　前記画像に含まれる追跡対象物をマッチングによって検出し、複数の画像間における前記追跡対象物の移動量および移動方向を取得する追跡ステップと、
    　を含み、
    　前記追跡ステップでは、前記追跡対象物に対応する第一のテンプレートを用いて第一のマッチングを行い、かつ、
    　前記第一のマッチングを行った結果のスコアが第一の閾値よりも低い場合に、前記第一のテンプレートとサイズまたは形状が異なる第二のテンプレートを用いて第二のマッチングを行う
    　ことを特徴とする、画像処理方法。
  10. 　請求項９に記載の画像処理方法をコンピュータに実行させるプログラム。
PCT/JP2017/007731 2016-07-29 2017-02-28 画像処理装置および画像処理方法 WO2018020722A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020187005257A KR102011230B1 (ko) 2016-07-29 2017-02-28 화상 처리 장치 및 화상 처리 방법
CN201780002922.8A CN107924569B (zh) 2016-07-29 2017-02-28 图像处理装置、图像处理方法和存储介质
EP17833733.3A EP3493156B1 (en) 2016-07-29 2017-02-28 Image processing apparatus and image processing method
US15/756,106 US10521917B2 (en) 2016-07-29 2017-02-28 Image processing apparatus and image processing method for object tracking

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-149732 2016-07-29
JP2016149732A JP6390671B2 (ja) 2016-07-29 2016-07-29 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2018020722A1 true WO2018020722A1 (ja) 2018-02-01

Family

ID=61016571

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007731 WO2018020722A1 (ja) 2016-07-29 2017-02-28 画像処理装置および画像処理方法

Country Status (6)

Country Link
US (1) US10521917B2 (ja)
EP (1) EP3493156B1 (ja)
JP (1) JP6390671B2 (ja)
KR (1) KR102011230B1 (ja)
CN (1) CN107924569B (ja)
WO (1) WO2018020722A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6294924B2 (ja) * 2016-09-05 2018-03-14 株式会社Ｓｕｂａｒｕ 車両の走行制御装置
EP3832261A1 (en) 2018-04-03 2021-06-09 Mobileye Vision Technologies Ltd. Systems and methods for determining navigational parameters
CN108960046A (zh) * 2018-05-23 2018-12-07 北京图森未来科技有限公司 一种训练数据采样方法及其装置、计算机服务器
JP6694472B2 (ja) * 2018-06-07 2020-05-13 本田技研工業株式会社 車両の追従制御装置
WO2020050328A1 (ja) * 2018-09-05 2020-03-12 日本電気株式会社 移動体追跡システム、移動体追跡方法及びプログラム
JP7115180B2 (ja) * 2018-09-21 2022-08-09 トヨタ自動車株式会社 画像処理システムおよび画像処理方法
JP7278737B2 (ja) * 2018-10-04 2023-05-22 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
CN109120904B (zh) * 2018-10-19 2022-04-01 宁波星巡智能科技有限公司 双目摄像头监控方法、装置及计算机可读存储介质
CN113269007A (zh) 2020-02-14 2021-08-17 富士通株式会社 道路监控视频的目标跟踪装置以及方法
JP2022067928A (ja) * 2020-10-21 2022-05-09 株式会社Subaru 対象物推定装置、その対象物推定方法、および、車両

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11266450A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 物体領域追跡装置および物体領域追跡方法
JP2001060263A (ja) * 1999-06-15 2001-03-06 Hitachi Denshi Ltd 物体追跡方法及び物体追跡装置
JP2006276948A (ja) * 2005-03-28 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
WO2010098024A1 (ja) * 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
JP2014092935A (ja) * 2012-11-02 2014-05-19 Aisin Aw Co Ltd 先行車認識システム、先行車認識方法、及び先行車認識プログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2324428A (en) * 1997-04-17 1998-10-21 Sharp Kk Image tracking; observer tracking stereoscopic display
US6687386B1 (en) 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
JP3768073B2 (ja) 1999-06-15 2006-04-19 株式会社日立国際電気 物体追跡方法及び物体追跡装置
AU2003235679A1 (en) * 2002-01-14 2003-07-30 Carnegie Mellon University Conveyor belt inspection system and method
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
WO2008114683A1 (ja) * 2007-03-16 2008-09-25 Nikon Corporation 被写体追跡用コンピュータプログラム製品、被写体追跡装置、およびカメラ
US8457392B2 (en) * 2007-07-27 2013-06-04 Sportvision, Inc. Identifying an object in an image using color profiles
JP5128339B2 (ja) 2007-09-11 2013-01-23 株式会社日立製作所 交通流計測システム
CN102004898A (zh) * 2010-11-03 2011-04-06 天津工业大学 一种基于模板匹配的目标跟踪方法
JP4784709B1 (ja) * 2011-03-10 2011-10-05 オムロン株式会社 対象物追跡装置、対象物追跡方法、および制御プログラム
JP5895720B2 (ja) 2012-06-06 2016-03-30 富士通株式会社 被写体追跡装置、被写体追跡方法及び被写体追跡用コンピュータプログラム
JP6422198B2 (ja) * 2012-11-29 2018-11-14 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
CN104794502A (zh) * 2015-05-15 2015-07-22 哈尔滨工业大学 一种基于图像处理和模式识别技术的稻瘟病孢子显微图像识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11266450A (ja) * 1998-03-17 1999-09-28 Toshiba Corp 物体領域追跡装置および物体領域追跡方法
JP2001060263A (ja) * 1999-06-15 2001-03-06 Hitachi Denshi Ltd 物体追跡方法及び物体追跡装置
JP2006276948A (ja) * 2005-03-28 2006-10-12 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記憶した記録媒体
WO2010098024A1 (ja) * 2009-02-24 2010-09-02 三菱電機株式会社 人物追跡装置及び人物追跡プログラム
JP2014092935A (ja) * 2012-11-02 2014-05-19 Aisin Aw Co Ltd 先行車認識システム、先行車認識方法、及び先行車認識プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3493156A4 *

Also Published As

Publication number Publication date
JP2018018393A (ja) 2018-02-01
KR102011230B1 (ko) 2019-08-14
KR20180034534A (ko) 2018-04-04
US10521917B2 (en) 2019-12-31
EP3493156A1 (en) 2019-06-05
US20190139231A1 (en) 2019-05-09
CN107924569B (zh) 2021-06-25
EP3493156B1 (en) 2021-11-24
EP3493156A4 (en) 2020-05-13
JP6390671B2 (ja) 2018-09-19
CN107924569A (zh) 2018-04-17

Similar Documents

Publication Publication Date Title
JP6390671B2 (ja) 画像処理装置および画像処理方法
JP4957807B2 (ja) 移動物検知装置及び移動物検知プログラム
US8050459B2 (en) System and method for detecting pedestrians
JP6569385B2 (ja) 車両検出装置、車両検出システム、車両検出方法、及び車両検出プログラム
CN107924568B (zh) 图像处理装置、图像处理方法和存储介质
JP2018081545A (ja) 画像データ抽出装置及び画像データ抽出方法
CN105405319A (zh) 车辆的接近物体检测装置以及车辆的接近物体检测方法
JP6081247B2 (ja) 車両後方画像の表示切替装置および表示切替方法
EP3591613A1 (en) Mobile entity detector, mobile entity detection method, and computer-readable recording medium
JP4575315B2 (ja) 物体検出装置及びその方法
JP3729005B2 (ja) 車両の後方監視装置
JP7354773B2 (ja) 物体検出装置、物体検出方法、及び物体検出プログラム
CN112513573B (zh) 立体摄像机装置
JP2018073049A (ja) 画像認識装置、画像認識システム、及び画像認識方法
JP6935690B2 (ja) 検出プログラム、方法、及び装置
KR102543836B1 (ko) 객체를 추적하기 위한 방법 및 이를 이용한 장치
JP2006317328A (ja) 車載物体検出装置、および物体検出方法
JP2004247921A (ja) 車両周辺監視装置
JP2004251886A (ja) 周囲物体検出装置
JP2006088940A (ja) 車両用衝突警報装置及び車両用衝突警報方法
JP2006107314A (ja) 画像処理装置、および画像処理方法
JP2007026327A (ja) 物体検出装置、物体検出方法および物体検出プログラム
JP3678273B2 (ja) 画像認識による移動体数量測定システム及び移動体数量測定方法
JPH1120546A (ja) 車両用後側方監視方法及び車両用後側方監視装置
JP2009122990A (ja) 画像処理装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 20187005257

Country of ref document: KR

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17833733

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE