JP5344618B2 - MOBILE BODY TRACKING DEVICE, TRACKING METHOD, AND COMPUTER PROGRAM - Google Patents
MOBILE BODY TRACKING DEVICE, TRACKING METHOD, AND COMPUTER PROGRAM Download PDFInfo
- Publication number
- JP5344618B2 JP5344618B2 JP2009272578A JP2009272578A JP5344618B2 JP 5344618 B2 JP5344618 B2 JP 5344618B2 JP 2009272578 A JP2009272578 A JP 2009272578A JP 2009272578 A JP2009272578 A JP 2009272578A JP 5344618 B2 JP5344618 B2 JP 5344618B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- image
- tracking
- extracted
- tracking target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、時系列的に撮像された複数の画像中における移動体の移動先を追跡する移動体追跡装置、追跡方法及びコンピュータプログラムに関する。 The present invention relates to a moving body tracking device, a tracking method, and a computer program for tracking a moving destination of a moving body in a plurality of images taken in time series.
円滑な交通及び事故抑止等のために、道路側に設置したインフラ装置と車輌(車載装置)とが路車間通信にて情報を交換する通信システム、特に車輌の運転者からは死角となる場所に存在する他車輌又は歩行者等の情報をインフラ装置から車輌へ提供することができるシステムの検討が進められている。このシステムにおいては、道路上の車輌の通過台数及び平均速度等の情報のみでなく、個々の車輌の位置及び動き等を精度よく検出してインフラ装置から車輌へ提供することが望まれる。このため、インフラ装置には道路上の車輌又は歩行者等を検出するセンサなどの搭載が必要であり、検出範囲、製品寿命及びコスト等の性能を考慮するとカメラが撮像した撮像画像を利用して車輌又は歩行者等の検出を行う方式が有力である。 For smooth traffic and accident prevention, etc., a communication system in which infrastructure devices installed on the road side and vehicles (on-vehicle devices) exchange information by road-to-vehicle communication, especially in places that are blind spots from vehicle drivers. Studies are underway on a system that can provide information on existing vehicles or pedestrians from the infrastructure device to the vehicle. In this system, it is desired that not only information such as the number of vehicles passing on the road and the average speed but also the position and movement of each vehicle are accurately detected and provided from the infrastructure device to the vehicle. For this reason, the infrastructure device needs to be equipped with sensors for detecting vehicles or pedestrians on the road, and taking into consideration the performance such as the detection range, product life, and cost, the captured image captured by the camera is used. A method of detecting a vehicle or a pedestrian is a promising method.
カメラを用いる方式においては、車輌又は歩行者等の移動速度及び移動方向を精度よく計測するために、カメラが撮像した画像中における車輌又は歩行者等の移動先を正確に追跡する技術が必要である。この追跡技術には、天候などの変化による日照変化、撮像画像中における日向及び日陰の領域の混在、撮像画像の低コントラスト、及び、車輌又は歩行者等の重なりによる車輌又は歩行者等の部分的な隠れ等の影響により追跡精度が低下するという課題があり、この課題を解決し得る追跡方式が求められている。また、上記のシステムの実用化及び普及へ向けては、画像処理などに要する計算量を低減し、装置の低価格化などを実現することも重要である。 In the method using a camera, in order to accurately measure the moving speed and moving direction of a vehicle or a pedestrian, a technique for accurately tracking the destination of the vehicle or the pedestrian in the image captured by the camera is required. is there. This tracking technology includes sunshine changes due to changes in weather, mixed sun and shade areas in captured images, low contrast in captured images, and partial vehicle or pedestrians due to overlapping of vehicles or pedestrians, etc. There is a problem that the tracking accuracy is lowered due to the influence of hidden hiding, and a tracking method that can solve this problem is demanded. In addition, for practical application and spread of the above system, it is also important to reduce the amount of calculation required for image processing and to reduce the price of the apparatus.
撮像画像に基づいて車輌又は歩行者等(以下、移動体という)の追跡を行う技術として、ブロックマッチング法が広く知られている。ブロックマッチング法は、ある時刻における追跡対象の移動体を含む画像領域をテンプレートとして撮像画像から抽出し、その後の時刻での撮像画像においてテンプレートに最も類似する画像領域を探し出すことによって、この画像領域を移動体の移動先とする方法である。なお画像領域が類似するか否かの判定には、テンプレートに含まれる各画素の輝度値と、判定対象の画像領域に含まれる各画素の輝度値との差の絶対値の総和、所謂SAD(Sum of Absolute Difference)が一般的に用いられる場合が多く、SADの値が小さいほどテンプレートと画像領域とが類似していると判定することができる。 A block matching method is widely known as a technique for tracking a vehicle, a pedestrian, or the like (hereinafter referred to as a moving body) based on a captured image. In the block matching method, an image region including a moving object to be tracked at a certain time is extracted from a captured image as a template, and the image region most similar to the template is searched for in the captured image at the subsequent time. This is a method of using a moving object as a moving destination. Note that whether or not the image areas are similar is determined by summing up the absolute values of the differences between the luminance values of the pixels included in the template and the luminance values of the pixels included in the image area to be determined, so-called SAD ( Sum of Absolute Difference) is generally used, and it can be determined that the template and the image region are more similar as the SAD value is smaller.
また、撮像画像に基づいて移動体の追跡を行う他の技術として、勾配法が広く知られている。勾配法は、追跡対象の移動体の特徴点を決定し、時系列的に撮像された複数の画像で特徴点を追跡する方法である。特徴点の位置におけるx方向、y方向及び時間方向での画素の輝度値の変化に基づいて、画像中における移動体の移動方向及び移動量等を算出することができる。 In addition, a gradient method is widely known as another technique for tracking a moving object based on a captured image. The gradient method is a method of determining feature points of a moving object to be tracked and tracking the feature points with a plurality of images taken in time series. Based on the change in the luminance value of the pixel in the x direction, y direction, and time direction at the position of the feature point, the moving direction and moving amount of the moving body in the image can be calculated.
非特許文献1においては、Mean−Shift追跡法が提案されている。Mean−Shift追跡法では、初期画像に写された移動体を含む画像領域からカラーヒストグラムを特徴として取得し、後の画像からカラーヒストグラム特徴が最も一致する画像領域を、その重心位置が一致する位置として検出することで、この画像領域を移動体の移動先とする。Mean−Shift追跡法では、輝度の分布の特徴を基に移動体の追跡を行うため、様々な形状の移動体を追跡することができ、移動体の部分的な重なりにも頑健であるという利点がある。
In
また、非特許文献2においては、移動体の追跡を移動体と背景との識別問題として捉え、移動体及び背景から特徴を抽出して識別器を生成することにより、識別器を用いて移動体の移動先を検出する方法が提案されている。この追跡方法では、移動体の色及び形状等の様々な特徴を手掛かりとして追跡を行うことができるため、識別器の学習によって高精度な移動体の追跡を行うことができる。
In Non-Patent
しかしながら、上述のブロックマッチング法では、追跡対象の移動体が日陰から日向へ移動した場合に、SADの値が非常に大きくなり、日陰内の路面などを誤追跡しやすいという問題がある。また追跡対象の移動体の一部分が他の移動体に隠れた場合などに、同様にSADの値が非常に大きくなり、誤追跡を起こしやすいという問題がある。また、勾配法においても、ブロックマッチング法と同様に、移動体の一部分が隠れた場合などに誤追跡を起こしやすいという問題があり、また移動体の大きな動きは検出が難しいという問題がある。 However, the above-described block matching method has a problem that when the tracking target moving body moves from the shade to the sun, the SAD value becomes very large, and it is easy to mistrack the road surface in the shade. In addition, when a part of the tracking target moving body is hidden behind another moving body, there is a problem that the value of SAD becomes very large and mistracking is likely to occur. The gradient method also has a problem that mistracking is likely to occur when a part of the moving object is hidden, as in the block matching method, and that a large movement of the moving object is difficult to detect.
また、非特許文献1に記載のMean−Shift追跡法は、追跡対象の移動体とその周辺とのコントラストが低い場合に、正確な移動先の特定が難しいという問題がある。またMean−Shift追跡法は、白黒画像(モノクローム画像)に対しては、ヒストグラムによる判別性が低く、誤追跡が発生しやすいという問題がある。また、非特許文献2に記載の識別器を用いた追跡方法は、識別器の学習に要するサンプル量及び計算量等が膨大であり、識別器を用いた識別処理の計算量も大きいという問題がある。
Further, the Mean-Shift tracking method described in
本発明は、斯かる事情に鑑みてなされたものであって、その目的とするところは、天候などの変化による日照変化、日向及び日陰の領域の混在、撮像画像の低コントラスト、並びに移動体の部分的な重なり等が生じた場合であっても、移動体の移動先を精度よく追跡することができ、且つ、多大な計算を必要とせずに移動体の追跡を行うことができる移動体追跡装置、追跡方法及びコンピュータプログラムを提供することにある。 The present invention has been made in view of such circumstances, and the object of the present invention is to change the sunlight due to changes in the weather, etc., the mixture of the sun and shade areas, the low contrast of the captured image, and the moving object. Even when partial overlap occurs, the moving object tracking can accurately track the moving destination of the moving object and can track the moving object without requiring a large amount of calculation. To provide an apparatus, a tracking method, and a computer program.
本発明に係る移動体追跡装置は、時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡装置において、前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を、追跡対象サンプルとして抽出する追跡対象サンプル抽出手段と、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を、周囲サンプルとして複数抽出する周囲サンプル抽出手段と、前記追跡対象サンプル抽出手段が抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出する追跡対象画素組み合わせ抽出手段と、該追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプル抽出手段が抽出した周囲サンプルから、複数組の画素組み合わせを抽出する周囲画素組み合わせ抽出手段と、前記追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係を判定する判定手段と、該判定手段の判定結果に応じて、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別する選別手段と、前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出する画像領域抽出手段と、前記選別手段が選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記画像領域抽出手段が抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出する画素組み合わせ抽出手段と、該画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定する判定手段と、前記選別手段が選別した画素組み合わせに係る大小関係、及び前記画像領域抽出手段が抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定する移動先決定手段とを備えることを特徴とする。 The mobile tracking device according to the present invention is a mobile tracking device that tracks a destination of a mobile in the image based on a plurality of images captured in time series. A tracking target sample extracting means for extracting, as a tracking target sample, an image area of a predetermined size including a moving object from the original image, and an image area of a predetermined size around the tracking target sample from the tracking source image. A plurality of surrounding sample extracting means, a tracking target pixel combination extracting means for extracting a plurality of pixel combinations of a plurality of pixels from the tracking target sample extracted by the tracking target sample extracting means, and the tracking target pixel combination extracting means In accordance with the extraction position of the pixel combination extracted from the surrounding sample, a plurality of sets of images are extracted from the surrounding sample extracted by the surrounding sample extracting means. A surrounding pixel combination extracting unit that extracts a combination, a magnitude relationship between pixel values included in the pixel combination extracted by the tracking target pixel combination extracting unit, and a pixel combination included in the pixel combination extracted by the surrounding pixel combination extracting unit The tracking target sample and the surrounding sample can be determined from a determination unit that determines the magnitude relationship of the pixel values and a plurality of pixel combinations extracted by the tracking target pixel combination extraction unit according to a determination result of the determination unit. From the selection means for selecting a plurality of pixel combinations, the image area extraction means for extracting a plurality of image areas from the tracking destination image of the plurality of images, and the tracking target sample of the pixel combination selected by the selection means From the image areas extracted by the image area extraction means, a plurality of sets of A pixel combination extraction unit that extracts each elementary combination; a determination unit that determines a magnitude relationship of pixel values of each pixel included in the pixel combination extracted by the pixel combination extraction unit; and a pixel combination selected by the selection unit And a destination determination unit that determines a destination image area of the moving body based on a magnitude relationship and a magnitude relationship relating to a pixel combination of each image area extracted by the image area extraction unit. .
また、本発明に係る移動体追跡装置は、前記追跡対象画素組み合わせ抽出手段が、画素値の差が閾値以上の複数の画素による画素組み合わせを抽出するようにしてあることを特徴とする。 The mobile tracking device according to the present invention is characterized in that the tracking target pixel combination extraction unit extracts a pixel combination of a plurality of pixels having a pixel value difference equal to or larger than a threshold value.
また、本発明に係る移動体追跡装置は、前記追跡対象画素組み合わせ抽出手段が、所定数の画素組み合わせが含まれる画素組み合わせ群を複数抽出するようにしてあり、前記選別手段は、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせ群から、前記追跡対象サンプル及び前記周囲サンプルの判別精度が最も高い画素組み合わせ群を選別するようにしてあることを特徴とする。 In the mobile tracking device according to the present invention, the tracking target pixel combination extracting unit extracts a plurality of pixel combination groups including a predetermined number of pixel combinations, and the selecting unit includes the tracking target pixel. The pixel combination group having the highest discrimination accuracy of the tracking target sample and the surrounding sample is selected from a plurality of pixel combination groups extracted by the combination extraction unit.
また、本発明に係る移動体追跡装置は、前記選別手段が、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルの判別精度が高い画素組み合わせを、上位から所定数まで選別するようにしてあることを特徴とする。 Further, in the mobile tracking device according to the present invention, the selection unit selects a pixel combination having high discrimination accuracy of the tracking target sample and the surrounding sample from a plurality of pixel combinations extracted by the tracking target pixel combination extraction unit. It is characterized in that a predetermined number is selected from the top.
また、本発明に係る移動体追跡装置は、前記画像領域抽出手段が、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、前記画像領域抽出手段が抽出した画像領域のサイズを、前記追跡対象サンプルのサイズへ調整する調整手段を更に備え、前記画素組み合わせ抽出手段は、前記調整手段が調整した画像領域から画素組み合わせの抽出を行うようにしてあることを特徴とする。 Further, in the mobile tracking device according to the present invention, the image area extraction unit extracts image areas of different sizes according to the extraction positions in the tracking destination image, and the image area extraction unit The image processing apparatus further includes an adjusting unit that adjusts the size of the extracted image area to the size of the sample to be tracked, and the pixel combination extracting unit extracts a pixel combination from the image area adjusted by the adjusting unit. It is characterized by.
また、本発明に係る移動体追跡装置は、前記画像領域抽出手段が、前記追跡先画像中の抽出位置に応じて、異なるサイズの画像領域を抽出するようにしてあり、前記画素組み合わせ抽出手段は、前記画像領域抽出手段が抽出した画像領域のサイズ及び前記追跡対象サンプルのサイズの比率に応じて、画素組み合わせに係る画素の抽出位置を調整するようにしてあることを特徴とする。 In the mobile tracking device according to the present invention, the image area extraction unit extracts image areas of different sizes according to the extraction positions in the tracking destination image, and the pixel combination extraction unit includes: The pixel extraction position relating to the pixel combination is adjusted according to the ratio of the size of the image region extracted by the image region extraction means and the size of the tracking target sample.
また、本発明に係る移動体追跡装置は、画像のエッジ強度を算出する算出手段を更に備え、前記追跡元画像及び前記追跡先画像は、前記算出手段により画素値がエッジ強度に変換された画像であることを特徴とする。 The mobile tracking device according to the present invention further includes calculation means for calculating edge strength of an image, and the tracking source image and the tracking destination image are images in which pixel values are converted into edge strength by the calculation means. It is characterized by being.
また、本発明に係る追跡方法は、時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する追跡方法において、前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出し、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出し、選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定することを特徴とする。 Further, the tracking method according to the present invention is a tracking method for tracking a moving destination of a moving object in the image based on a plurality of images taken in time series. From the tracking source image, a plurality of image regions of a predetermined size around the tracking target sample are extracted as surrounding samples, and a plurality of extracted tracking target samples are extracted from the tracking source image. A plurality of pixel combinations of a plurality of pixels are extracted, and according to the extraction position of the pixel combination extracted from the tracking target sample, a plurality of pixel combinations are extracted from the surrounding samples and extracted from the tracking target sample. Magnitude relationship of pixel values of pixels included in the pixel combination and pixel values of pixels included in the pixel combination extracted from the surrounding samples Each of the magnitude relations is determined, and a plurality of pixel combinations that can distinguish the tracking target sample and the surrounding sample are selected from a plurality of pixel combinations extracted from the tracking target sample according to a determination result of the magnitude relation, A plurality of image regions are extracted from the tracking destination image of the plurality of images, and a plurality of sets are obtained from each image region extracted from the tracking destination image according to the extraction position of the selected pixel combination from the tracking target sample. Each pixel combination is extracted, the magnitude relationship between the pixel values of each pixel included in the extracted pixel combination is determined, and the magnitude relationship relating to the selected pixel combination and the magnitude relationship relating to the pixel combination of each extracted image region are determined. Based on this, an image area to which the moving body is moved is determined.
また、本発明に係る追跡方法は、追跡元画像から、所定サイズの画像領域を追跡対象サンプルとして抽出し、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、追跡先画像から、複数の画像領域を抽出し、選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記追跡対象サンプルの移動先の画像領域を決定することを特徴とする。 The tracking method according to the present invention extracts an image area of a predetermined size as a tracking target sample from the tracking source image, and uses an image area of a predetermined size around the tracking target sample as the surrounding sample from the tracking source image. Extract a plurality of pixel combinations based on a plurality of pixels from the extracted tracking target sample, and extract a plurality of pixel combinations from the surrounding samples according to the extraction position of the pixel combination extracted from the tracking target sample Determining the magnitude relationship between the pixel values of the pixels included in the pixel combination extracted from the sample to be tracked and the magnitude relationship between the pixel values of the pixels included in the pixel combination extracted from the surrounding samples. In response to the tracking target sample, a plurality of pixel combinations extracted from the tracking target sample are used. A plurality of pixel combinations capable of discriminating the pull and the surrounding sample are selected, a plurality of image regions are extracted from the tracking destination image, and the tracking destination is selected according to the extraction position of the selected pixel combination from the tracking target sample. A plurality of pixel combinations are extracted from each image region extracted from the image, the magnitude relationship between the pixel values of each pixel included in the extracted pixel combination is determined, and the magnitude relationship and the extracted pixel combination are extracted. The image area of the movement destination of the sample to be tracked is determined based on the magnitude relationship relating to the pixel combination of each image area.
また、本発明に係るコンピュータプログラムは、時系列的に撮像された複数の画像に基づいて、該画像中の移動体の移動先を追跡する移動体追跡ステップをコンピュータに実行させるコンピュータプログラムにおいて、前記移動体追跡ステップが、前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出させるステップと、前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出させるステップと、抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出させるステップと、前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出させるステップと、前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定させるステップと、大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別させるステップと、前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出させるステップと、選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出させるステップと、抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定させるステップと、選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定させるステップとを含むことを特徴とする。 The computer program according to the present invention is a computer program for causing a computer to execute a moving body tracking step for tracking a moving destination of a moving body in the image based on a plurality of images taken in time series. A moving body tracking step of extracting, from the tracking source image of the plurality of images, an image area of a predetermined size including the moving body as a tracking target sample; from the tracking source image, surrounding the tracking target sample; A step of extracting a plurality of image areas of a predetermined size as surrounding samples, a step of extracting a plurality of pixel combinations of a plurality of pixels from the extracted tracking target sample, and an extraction position of the pixel combination extracted from the tracking target sample To extract a plurality of pixel combinations from the surrounding samples. And a magnitude relationship between the pixel values of the pixels included in the pixel combination extracted from the tracking target sample and a magnitude relationship between the pixel values of the pixels included in the pixel combination extracted from the surrounding samples, Selecting a plurality of pixel combinations capable of discriminating the tracking target sample and the surrounding sample from a plurality of pixel combinations extracted from the tracking target sample according to the determination result, and tracking of the plurality of images A step of extracting a plurality of image regions from the previous image, and a plurality of sets of pixel combinations from each image region extracted from the tracking destination image according to the extraction position of the selected pixel combination from the tracking target sample, respectively. Extracting the pixel value of each pixel included in the extracted pixel combination A step of determining a small relationship, and a step of determining an image region to which the moving object is moved based on the size relationship related to the selected pixel combination and the size relationship related to the pixel combination of each extracted image region. It is characterized by that.
本発明においては、時系列的に移動体が撮像された複数の画像のうちの追跡元画像から、この移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出する。また、追跡元画像における追跡対象サンプルの周囲、例えば追跡対象サンプルの上下左右に数画素ずらした画像領域を周囲サンプルとして複数抽出する。各周囲サンプルには、移動体の一部が含まれていてもよい。
次いで、抽出した追跡対象サンプルから、複数の画素による画素組み合わせ(例えば、2つ画素による画素ペア)を複数組抽出し、各画素組み合わせに含まれる画素の画素値(輝度値など)の大小関係を判定する。画素組み合わせの抽出は、例えば追跡対象サンプルの画像領域からランダムに複数の画素を選択することで行うことができるが、その他の方法で行ってもよい。同様に、抽出した複数の周囲サンプルにて、追跡対象サンプルにて抽出した画素組み合わせの抽出位置に応じて、画素組み合わせを複数組抽出し、各画素組み合わせに含まれる画素の画素値の大小関係を取得する。周囲サンプルからの画素組み合わせの抽出は、例えば追跡対象サンプルにて抽出した画素組み合わせの抽出位置と相対的に同じ位置から行うことができる。
次いで、追跡対象サンプルから抽出された複数の画素組み合わせの大小関係と、複数の周囲サンプルからそれぞれ抽出された複数の画素組み合わせの大小関係とを比較して、追跡対象サンプルと周囲サンプルとを判別し得る複数の画素組み合わせを選別する。選別された複数の画素組み合わせは、移動体の特徴を表す情報(特徴量)として用いることができる。画素値そのものでなく、画素組み合わせの画素値の大小関係を移動体の特徴量とすることによって、日照変化、日向及び日陰の混在、低コントラスト並びに移動体の部分的な重なり等に対して頑強である。また画素値の大小関係のみを判定すればよいため、識別器を学習する方法などと比較して計算量が少ない。
In the present invention, an image region of a predetermined size including the moving body is extracted as a tracking target sample from a tracking source image among a plurality of images obtained by capturing the moving body in time series. In addition, a plurality of image regions that are shifted by several pixels around the tracking target sample in the tracking source image, for example, up, down, left, and right of the tracking target sample are extracted as surrounding samples. Each surrounding sample may include a part of the moving body.
Next, a plurality of sets of pixel combinations (for example, pixel pairs of two pixels) are extracted from the extracted tracking target sample, and the magnitude relationship between the pixel values (luminance values, etc.) of the pixels included in each pixel combination is extracted. judge. Extraction of the pixel combination can be performed by, for example, selecting a plurality of pixels randomly from the image region of the tracking target sample, but may be performed by other methods. Similarly, in a plurality of extracted surrounding samples, a plurality of pixel combinations are extracted according to the extraction position of the pixel combination extracted in the tracking target sample, and the magnitude relationship between the pixel values of the pixels included in each pixel combination is extracted. get. Extraction of the pixel combination from the surrounding sample can be performed from the same position as the extraction position of the pixel combination extracted from the tracking target sample, for example.
Next, the size relationship between the plurality of pixel combinations extracted from the tracking target sample and the size relationship between the plurality of pixel combinations extracted from the plurality of surrounding samples are compared to determine the tracking target sample and the surrounding sample. A plurality of pixel combinations to be obtained are selected. The selected plurality of pixel combinations can be used as information (feature amount) representing the characteristics of the moving object. By using not only the pixel value itself but also the magnitude relationship between the pixel values of the pixel combination as the feature quantity of the moving object, it is robust against changes in sunlight, mixing of sun and shade, low contrast, and partial overlapping of moving objects. is there. Further, since only the magnitude relationship between pixel values needs to be determined, the amount of calculation is small compared to a method for learning a discriminator.
追跡元画像から選別された複数の画素組み合わせを追跡対象の移動体の特徴量とし、時系列的に撮像された複数の画像のうちの追跡先画像から、この特徴量に最も近似した特徴量を有する画像領域を探索することによって、探索の結果得られた画像領域を移動体の移動先とすることができる。詳しくは、追跡先画像から複数の画像領域を抽出し、同様にして、抽出した複数の画像領域から複数の画素組み合わせの抽出とこれらの画素組み合わせに含まれる画素の画素値の大小関係の判定とをそれぞれ行う。移動体の特徴量として選別された複数の画素組み合わせの画素値の大小関係と、追跡先画像における複数の画像領域からそれぞれ抽出された複数の画素組み合わせの画素値の大小関係とを比較し、大小関係が一致する画素組み合わせを最も多く含む画像領域を移動体の移動先とすることができる。 A combination of a plurality of pixels selected from the tracking source image is used as a feature amount of the moving object to be tracked. By searching for an image area, the image area obtained as a result of the search can be set as a moving destination of the moving object. Specifically, a plurality of image areas are extracted from the tracking destination image, and similarly, extraction of a plurality of pixel combinations from the extracted plurality of image areas and determination of the magnitude relation of pixel values of pixels included in these pixel combinations are performed. Do each. Compares the magnitude relationship between the pixel values of a plurality of pixel combinations selected as feature quantities of the moving object and the magnitude relationship between the pixel values of a plurality of pixel combinations extracted from a plurality of image areas in the tracking destination image. An image area including the largest number of pixel combinations having the same relationship can be set as a moving destination of the moving object.
また、本発明においては、追跡対象サンプルから画素組み合わせを抽出する際に、予め定められた閾値以上の差を有する複数の画素を画素組み合わせとして抽出する。これにより、追跡対象サンプルと周囲サンプルとを判別できる可能性の高い画素組み合わせを抽出することができ、移動体の追跡精度を高めることができる。 In the present invention, when a pixel combination is extracted from the tracking target sample, a plurality of pixels having a difference equal to or greater than a predetermined threshold are extracted as the pixel combination. Thereby, it is possible to extract a pixel combination having a high possibility of discriminating between the tracking target sample and the surrounding sample, and to improve tracking accuracy of the moving object.
また、本発明においては、移動体の特徴量として複数の画素組み合わせを選別する際に、追跡対象サンプルから所定数の画素組み合わせを含む画素組み合わせ群を複数抽出する。各画素組み合わせ群を用いて追跡対象サンプルと複数の周囲サンプルとの判別を行い、最も判別精度の高い画素組み合わせ群を選別することによって、この画素組み合わせ群に含まれる複数の画素組み合わせを移動体の特徴量とすることができる。
このように、画素組み合わせ群を複数抽出して、これらの中から最も判別精度の高い画素組み合わせ群を選別することによって、選別された画素組み合わせにより移動体と背景などとの判別を精度よく行うことができ、追跡先画像から移動体の移動先となる画像領域の判別をより精度よく行うことができる。
In the present invention, when selecting a plurality of pixel combinations as the feature amount of the moving object, a plurality of pixel combination groups including a predetermined number of pixel combinations are extracted from the tracking target sample. Each pixel combination group is used to discriminate between the tracking target sample and a plurality of surrounding samples, and by selecting the pixel combination group having the highest discrimination accuracy, a plurality of pixel combinations included in this pixel combination group are selected. It can be a feature amount.
In this way, by extracting a plurality of pixel combination groups and selecting the pixel combination group having the highest discrimination accuracy from these, it is possible to accurately discriminate the moving object from the background by the selected pixel combination. Thus, it is possible to more accurately determine the image area that is the moving destination of the moving object from the tracking destination image.
また、本発明においては、移動体の特徴量として複数の画素組み合わせを選別する際に、後段の処理に必要な数(所定数)よりも多く(所定数の数倍〜数十倍程度)の画素組み合わせを追跡対象サンプルから抽出する。これらの多くの画素組み合わせから、追跡対象サンプルと複数の周囲サンプルとの判別精度が高い画素組み合わせを上位から所定数選別する。
このように、多数の画素組み合わせから判別精度が高い所定数の画素組み合わせを選別することによって、選別された画素組み合わせにより移動体と背景などとの判別を精度よく行うことができ、追跡先画像から移動体の移動先となる画像領域の判別をより精度よく行うことができる。
In the present invention, when selecting a plurality of pixel combinations as the feature amount of the moving object, the number is larger than the number (predetermined number) necessary for the subsequent processing (several times to several tens of times the predetermined number). Pixel combinations are extracted from the sample to be tracked. From these many pixel combinations, a predetermined number of pixel combinations having high discrimination accuracy between the tracking target sample and the plurality of surrounding samples are selected from the top.
In this way, by selecting a predetermined number of pixel combinations with high discrimination accuracy from a large number of pixel combinations, it is possible to accurately discriminate between a moving object and a background by the selected pixel combinations, and from the tracking destination image It is possible to more accurately determine the image area that is the destination of the moving object.
また、例えば路上に設置したカメラにて車輌又は歩行者等の移動体を撮像する場合、カメラから移動体までの距離に応じて撮像された画像における移動体の大きさが変化する。そこで、本発明においては、追跡先画像から複数の画像領域を抽出する際に、抽出位置に応じて異なるサイズの画像領域を抽出する。これにより、移動体がカメラへ接近する方向へ移動する場合、及び、移動体がカメラから離隔する方向へ移動する場合等についても、移動体の追跡を精度よく行うことができる。
ただし、抽出する画像領域のサイズが異なると、追跡対象サンプルの特徴量(画素組み合わせの画素値の大小関係)との比較等が行いにくいため、抽出した異なるサイズの画像領域を追跡対象サンプルのサイズに調整する。
For example, when a moving object such as a vehicle or a pedestrian is imaged with a camera installed on the road, the size of the moving object in the captured image changes according to the distance from the camera to the moving object. Therefore, in the present invention, when a plurality of image areas are extracted from the tracking destination image, image areas having different sizes are extracted according to the extraction positions. Thereby, even when the moving body moves in a direction approaching the camera and when the moving body moves in a direction away from the camera, the moving body can be accurately tracked.
However, if the size of the image area to be extracted is different, it is difficult to compare with the feature amount of the tracking target sample (the relationship between the pixel values of the pixel combinations). Adjust to.
同様に、本発明においては、追跡先画像から複数の画像領域を抽出する際に、抽出位置に応じて異なるサイズの画像領域を抽出する。また、サイズの異なる画像領域から画素組み合わせを抽出する際には、この画像領域のサイズと追跡対象サンプルのサイズとの比率に応じて、画素組み合わせとして抽出する画素の位置を調整する。これにより、サイズの異なる画像領域から、追跡対象サンプルと相対的に同じ位置の画素を抽出することができ、各画像領域の画素組み合わせにおける画素値の大小関係と追跡対象サンプルの画素組み合わせにおける画素値の大小関係とを比較して移動体の追跡を精度よく行うことができる。 Similarly, in the present invention, when a plurality of image areas are extracted from the tracking destination image, image areas having different sizes are extracted according to the extraction positions. Further, when extracting a pixel combination from image areas having different sizes, the position of the pixel to be extracted as the pixel combination is adjusted according to the ratio between the size of the image area and the size of the tracking target sample. As a result, pixels at the same position as the tracking target sample can be extracted from image regions of different sizes. The pixel value relationship in the pixel combination of each image region and the pixel value in the pixel combination of the tracking target sample The moving object can be tracked with high accuracy by comparing the magnitude relation of the two.
また、本発明においては、画像のエッジ強度を算出する画像フィルタなどを用いて、画素値がエッジ強度に変換された画像(以下、エッジ画像という)を生成する。上述のように画素組み合わせに基づいて移動体の追跡を行う際には、追跡元画像及び追跡先画像等の画像としてエッジ画像を用いる。カメラの設置環境、即ち移動体の周囲の環境などによっては、エッジ画像の方が移動体の特徴を捉えることができる可能性がある。このような場合にはエッジ画像に基づいて移動体の追跡を行うことによって、追跡精度を向上することができる。 In the present invention, an image in which pixel values are converted into edge strength (hereinafter referred to as an edge image) is generated using an image filter that calculates the edge strength of the image. As described above, when tracking a moving object based on a pixel combination, an edge image is used as an image such as a tracking source image and a tracking destination image. Depending on the installation environment of the camera, that is, the environment around the moving body, the edge image may be able to capture the characteristics of the moving body. In such a case, tracking accuracy can be improved by tracking the moving object based on the edge image.
また、上述の特徴量に基づく追跡処理は、カメラなどが撮像した画像から移動体の移動先を追跡する場合に行うのみでなく、例えば動画像の圧縮処理などの画像処理において、画像中の特定の画像領域の移動先を探索する処理を行う場合にも適用可能であり、このような画像処理を高精度化及び高速化することができる。 In addition, the tracking process based on the feature amount described above is not only performed when the moving destination of a moving object is tracked from an image captured by a camera or the like, but also in image processing such as a moving image compression process, for example, The present invention can also be applied to the process of searching for the movement destination of the image area, and can increase the accuracy and speed of such image processing.
本発明による場合は、追跡元画像から抽出した画素組み合わせの画素値の大小関係を移動体の特徴量として、追跡先画像から抽出した複数の画像領域から最も近い特徴量を有する画像領域を探索し、この画像領域を移動体の移動先とすることにより、画素値の大小関係にて移動体が特徴づけられるため、日照変化、日向及び日陰の混在、低コントラスト並びに移動体の部分的な重なり等が生じた場合であっても、時系列的に撮像された画像から移動体の移動先を精度よく追跡することができる。また画素値の大小関係のみを比較すればよいため、移動体の追跡に要する計算量を低減することができる。よって、精度よく移動体を追跡でき、且つ、低コストの装置を提供することができる。 In the case of the present invention, the image region having the closest feature amount from the plurality of image regions extracted from the tracking destination image is searched by using the magnitude relationship between the pixel values of the pixel combination extracted from the tracking source image as the feature amount of the moving object. By using this image area as the destination of the moving object, the moving object is characterized by the magnitude relationship of the pixel values, so that the change in sunlight, the mixture of the sun and the shade, the low contrast, the partial overlap of the moving object, etc. Even when this occurs, the moving destination of the moving object can be accurately tracked from the images captured in time series. In addition, since only the magnitude relationship between pixel values needs to be compared, the amount of calculation required for tracking a moving object can be reduced. Therefore, it is possible to provide a low-cost apparatus that can accurately track the moving body.
以下、本発明をその実施の形態を示す図面に基づき具体的に説明する。なお、本実施の形態においては、移動体として道路上の車輌を追跡する車輌追跡装置の構成を説明するが、追跡対象の移動体は車輌に限るものではなく、例えば歩行者、二輪車、船、飛行機又は動物等のようなその他の種々の物体であってよく、少なくともカメラで撮像された画像中においてその位置が時間と共に変化するものであればよい。 Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof. In the present embodiment, the configuration of a vehicle tracking device that tracks a vehicle on a road as a moving body will be described. However, the tracking target moving body is not limited to a vehicle. For example, a pedestrian, a two-wheeled vehicle, a ship, It may be other various objects such as an airplane or an animal, as long as its position changes with time in at least an image captured by a camera.
<車輌追跡装置>
図1は、車輌追跡装置が行う処理を説明するための模式図である。また、図2は、車輌追跡装置の構成を示すブロック図である。図において車輌追跡装置1は、道路上を走行する車輌を追跡する装置であり、カメラ3が時系列的に撮像した画像(即ち、動画像)に基づいて車輌の移動先を追跡する処理を行う。
<Vehicle tracking device>
FIG. 1 is a schematic diagram for explaining processing performed by the vehicle tracking device. FIG. 2 is a block diagram showing the configuration of the vehicle tracking device. In the figure, a
カメラ3は、道路を含む所定の領域(図1において一点鎖線で示す撮像領域)を撮像すべく、所定の高さ、俯角及び回転角等の撮像条件が設定された状態で道路付近の所要の地点に設置される。カメラ3は、連続的(時系列的)に道路上の撮像を行い、撮像した画像を車輌追跡装置1へ与える。車輌追跡装置1は、カメラ3が撮像した一の画像から車輌を検出し、後の画像(追跡先画像)における車輌の移動先を探索することによって車輌の追跡を行い、他の車輌へ無線通信により追跡車輌に係る情報提供を行う。
The
例えば図1においては、2つの道路の交差点にて、一方の道路を撮像すべくカメラ3が設置されており、車輌追跡装置1は、カメラ3の撮像領域内に存在する車輌C1を追跡する。車輌追跡装置1は、車輌C1の追跡結果から、車輌C1の走行方向及び走行速度等を判断し、これらの情報を無線通信により他方の道路に存在する車輌C2、C3へ通知する。これにより、見通しの悪い交差点などにおいて、車輌C2、C3の運転者は、交差する道路に他の車輌C1が走行していることを認識でき、徐行又は一時停止等の安全運転を行うことができる。
For example, in FIG. 1, a
車輌追跡装置1は、制御部11、画像入力部12、A/D変換部13、画像メモリ14、通信部15、記憶部16及びROM(Read Only Memory)17等を備えて構成されている。車輌追跡装置1は、カメラ3と共に道路付近に設置され、映像信号の入出力を行うためのケーブルを介してカメラ3に接続されている。なお図2においては、車輌追跡装置1とカメラ3とを別個の装置としてあるが、これに限るものではなく、両者が一体をなす構成であってもよい。
The
制御部11は、具体的にはCPU(Central Processing Unit)又はMPU(Micro Processing Unit)等の演算処理装置と、ROM(Read Only Memory)などの記憶素子とを備えて構成されるものであり、予め記憶されたコンピュータプログラムを実行することによって、車輌追跡装置1の各部の動作を制御し、種々の処理を行うことができる。特に本実施の形態においては、制御部11は、ROM17に予め記憶された車輌追跡プログラム40を実行することにより、カメラ3が時系列的に撮像した画像に基づいて車輌の移動先を追跡する処理を行う。
Specifically, the
カメラ3は、動画像の撮像を行う所謂ビデオカメラであり、例えば1フレームあたり240×320画素の画像を1秒間に30フレーム撮像することによって動画像の撮像を行い、撮像画像を1フレーム毎に車輌追跡装置1へ出力する。なおカメラ3は、撮像して得られた画像をアナログの画像信号として車輌追跡装置1へ出力し(ただし、カメラ3がデジタルの画像信号を出力する構成であってもよい)、この画像信号は車輌追跡装置の画像入力部12へ入力される。
The
図3は、カメラ3が時系列的に撮像した画像の一例を示す模式図であり、(a)に先の時刻にて撮像された画像を示し、(b)に後の時刻にて撮像された画像を示してある。カメラ3を所定条件(設置位置及び設置方向等の条件)で道路付近に設置することによって、図3に示すようにカメラ3は道路及びその周辺の撮像を行うことができる。またカメラ3が1秒間に30フレームの撮像を行うことによって、道路を走行する車輌を複数画像に亘って撮像することができ、図3に示す例ではカメラ3へ近づく方向へ走行する1台の車輌が2つの画像に亘って撮像されている。なお本実施の形態においては、撮像画像のサイズを240×320画素とするが、これに限定されるものではない。
FIG. 3 is a schematic diagram illustrating an example of an image captured by the
車輌追跡装置1の画像入力部12は、画像信号入出力用のケーブルを接続する接続端子などを有しており、カメラ3から入力される画像信号を取得してA/D変換部13へ出力する。A/D変換部13は、画像入力部12から入力されたアナログの画像信号をデジタル信号に変換し、変換したデジタル信号を画像データとして画像メモリ14へ記憶する。画像入力部12を介してカメラ3から入力された撮像画像は、カメラ3のフレームレート(撮像を行う間隔)に同期して1フレーム単位の画像データとして画像メモリ14に記憶される。画像メモリ14は、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)等のメモリ素子により構成され、多数の画像データを記憶可能な記憶容量を有している。
The
通信部15は、狭域通信機能、UHF(Ultra High Frequency)帯又はVHF(Very High Frequency)帯等の無線LAN(Local Area Network)などの中域通信機能、及び携帯電話、PHS(Personal Handyphone System)、多重FM(Frequency Modulation)放送又はインターネット通信等の広域通信機能を備える。通信部15は、カメラ3の撮像領域内及びその付近に存在する車輌から所定の車輌情報(例えば、車輌の位置情報、車速情報、車種情報、ワイパーの動作状況及びヘッドライトなどの車灯の動作状況を示す情報等)を受信する。また通信部15は、カメラ3の撮像画像から検出された車輌に係る情報を提供すべく、付近に存在する車輌へ情報送信を行う。更に通信部15は、交通管制センターなどに設置されたサーバ装置、及び他の車輌追跡装置との間で所定の情報の送受信を行うことができる。
The
記憶部16は、SRAM(Static Random Access Memory)若しくはDRAM(Dynamic Random Access Memory)等のメモリ素子、又はハードディスクなどの磁気記憶装置にて構成され、通信部15にて受信されたデータ及び後述の車輌追跡処理を制御部11が行う演算過程で発生した種々のデータ等を記憶する。
The
ROM17は、EEPROM(Electrically Erasable Programmable ROM)又はフラッシュメモリ等の不揮発性のメモリ素子で構成され、車輌追跡プログラム40を含む車輌追跡装置1の動作に必要な種々のコンピュータプログラムが予め記憶されている。車輌追跡プログラム40には、車輌検出手段41、正サンプル抽出手段42、負サンプル抽出手段43、ペア特徴取得手段44、移動先候補抽出手段45及び移動先決定手段46等として制御部11を機能させるコードが含まれている。これらの各手段のコードは、車輌追跡プログラム40のサブルーチン、関数又はサブプログラム等として実現することができる。
The
車輌追跡プログラム40による車輌検出手段41は、カメラ3が撮像した1つの画像から、この画像中に存在する車輌を検出する処理を行うものである。車輌検出手段41による車輌検出の方法は、例えば予め多数の車輌サンプルから取得した特徴量を基にSVM(Support Vector Machine)の手法による車輌の識別器を生成しておき、この識別器を用いて車輌を検出することができる。ただし車輌検出の方法はこれに限るものではなく、既存の種々の技術を利用することができる。
The vehicle detection means 41 by the
また、車輌追跡装置1及び車輌追跡プログラム40は、カメラ3の撮像画像から検出された車輌を追跡する処理を行うものであるが、車輌検出の処理は必ずしも自らが行う必要はなく、他の装置又は他のプログラムが行った車輌検出の処理結果を取得して車輌の追跡処理を行う構成であってもよい(即ち、車輌追跡装置1が車輌検出手段41を備えない構成であってもよい)。このため、本実施の形態においては、車輌検出の処理の詳細についての説明を省略する。
In addition, the
本実施の形態に係る車輌追跡装置1及び車輌追跡プログラム40は、カメラ3の撮像画像から検出された車輌について、本願発明者が新たに見出した”ペア特徴”という特徴量を取得し、このペア特徴に基づいて時系列的に後の画像(追跡先画像)から車輌の撮像位置を特定することによって、車輌の移動先を追跡する処理を行うものである。以下に、ペア特徴に基づく車輌追跡方法の詳細を説明する。
The
<ペア特徴に基づく車輌追跡方法>
本実施の形態の車輌追跡方法では、カメラ3が時系列的に撮像したt番目の画像Vt (追跡元画像)から追跡対象の車輌を含む画像領域を抽出し、この画像領域に最も類似する画像領域をt+1番目の画像Vt+1 (追跡先画像)から探索することによって、車輌の追跡を行う。なお、t番目の画像Vt における追跡対象の車輌の位置及び大きさ等の情報は、上述のように車輌検出手段41による車輌検出結果を用いてもよく、又は、t−1番目の画像Vt-1 に基づいて車輌追跡を行った結果を用いてもよい。
<Vehicle tracking method based on pair characteristics>
In the vehicle tracking method of the present embodiment, an image region including a vehicle to be tracked is extracted from the t-th image V t (tracking source image) captured by the
車輌追跡処理においては、まず、t番目の画像Vt から車輌を含む追跡対象の画像領域を正サンプル(追跡対象サンプル)It として1つ抽出すると共に、正サンプルIt の周囲から複数(F個とする)の負サンプル(周囲サンプル)Jt 1、…、Jt Fを抽出する処理を行う。なお、正サンプルIt 及び負サンプルJt 1、…、Jt Fの抽出処理は、車輌追跡プログラム40の正サンプル抽出手段42及び負サンプル抽出手段43によりそれぞれ行われる処理である。
In the vehicle tracking process, first, the extracts one image region to be tracked including vehicle from t th image V t as a positive sample (tracked sample) I t, a plurality of surrounding positive sample I t (F negative samples (ambient samples) J t 1 of the individual), ..., processing to extract J t F. Incidentally, the positive sample I t and negative samples J t 1, ..., extraction of J t F is the processing performed respectively by the positive
図4は、正サンプルIt 及び負サンプルJt 1、…、Jt Fの抽出処理を説明するための模式図である。図4(a)には、上述の図3(a)に一例として示した画像に対して、正サンプルIt として抽出する画像領域を矩形枠で示してある。正サンプル抽出手段42は、t−1番目の画像Vt-1 に基づく追跡処理の処理結果又は車輌検出手段41による車輌検出処理の処理結果を取得し、これらの処理結果に応じて正サンプルIt の抽出位置及び抽出サイズを決定する。なお、カメラ3の撮像画像中における車輌のサイズは、車輌の位置に応じて変化するため、正サンプルIt のサイズも抽出位置に応じて変化してよい。
Figure 4 is a positive sample I t and negative samples J t 1, ..., it is a schematic diagram for explaining the process of extracting J t F. In 4 (a) shows, the image shown as an example in Figure 3 of the above (a), Aru the image area to be extracted as a positive sample I t indicated by a rectangular frame. The positive sample extraction means 42 acquires the processing result of the tracking process based on the (t−1) -th image V t-1 or the processing result of the vehicle detection process by the vehicle detection means 41, and according to these processing results, the positive sample I The extraction position and extraction size of t are determined. The size of the vehicle in the image captured by the
次いで、正サンプルIt の周囲からF個の負サンプルJt 1、…、Jt Fを負サンプル抽出手段43が抽出する。負サンプル抽出手段43が抽出する各負サンプルJt 1、…、Jt Fは、正サンプルIt と同じサイズの画像領域であり、撮像画像中において正サンプルIt から上下左右に所定画素の範囲から、複数の負サンプルJt 1、…、Jt Fを抽出することができる。例えば、正サンプルIt から上下左右に5画素の範囲(11画素×11画素の範囲)から、1画素ずつずらして負サンプルJt 1、…、Jt Fを抽出する場合、F=11×11−1=120個の負サンプルJt 1、…、Jt Fを正サンプルIt の周囲から抽出することができる。
Then, F-number of negative samples J t 1 from the surrounding positive sample I t, ..., J t F negative sample extraction means 43 extracts. Each negative sample J t 1 negative
正サンプルIt 及び負サンプルJt 1、…、Jt Fを抽出した後、これらの正サンプルIt と負サンプルJt 1、…、Jt Fとを区別し得る特徴量として、正サンプルIt からペア特徴取得手段44がペア特徴の取得を行う。図5は、ペア特徴の取得方法を説明するための模式図である。
Positive samples I t and negative samples J t 1, ..., after extracting J t F, these positive samples I t and negative samples J t 1, ..., as a feature quantity that can distinguish between J t F, positive samples pair
ペア特徴を取得するために、まず、正サンプルIt から所定数の画素ペア(画素組み合わせ)を抽出する。画素ペアは、正サンプルIt からランダムに抽出した2つの画素のうち、その輝度値(画素値)の差が閾値Tp 以上のものである。一例として、図5(a)には、8画素×8画素の正サンプルIt から抽出した5つの画素ペアを示しており、実線の矢印で結ばれた2つの画素が画素ペアである。また図5(a)では、画素ペアのうち輝度値が大きい画素を白抜きの四角形で示し、輝度値が小さい画素をハッチング付きの四角形で示してある。各画素ペアには、第1の画素p(図中の矢印の始点側の画素)の輝度値が第2の画素q(図中の矢印の終点側の画素)の輝度値より大きいものにラベル”1”を付し、第1の画素pの輝度値が第2の画素qの輝度値より小さいものにラベル”−1”を付す。 To obtain the pair feature, first extracts a predetermined number of pixel pair from the positive sample I t (pixel combinations). Pixel pair, among the positive samples I t of two pixels extracted at random, the difference between the luminance value (pixel value) is more than the threshold value T p. As an example, in FIG. 5 (a) shows the five pixel pair extracted from the positive sample I t of 8 pixels × 8 pixels, two pixels connected by solid line arrows is a pixel pair. In FIG. 5A, pixels having a large luminance value in the pixel pair are indicated by white squares, and pixels having a low luminance value are indicated by hatched squares. Each pixel pair has a label indicating that the luminance value of the first pixel p (the pixel on the start point side of the arrow in the drawing) is larger than the luminance value of the second pixel q (the pixel on the end point side of the arrow in the drawing). “1” is attached, and a label “−1” is attached to a pixel whose luminance value is smaller than that of the second pixel q.
詳しくは、以下の通りである。正サンプルIt 及び負サンプルJt 1、…、Jt FのサイズをW画素×H画素とした場合、正サンプルIt 及び負サンプルJt 1、…、Jt Fに含まれる各画素の座標は、下記の(1−1)式に示すグリッドΓの格子点として表される。これにより、W画素×H画素の画像領域は、グリッドΓ上の輝度関数とみなすことができる。 Details are as follows. Positive samples I t and negative samples J t 1, ..., if the size of the J t F is W pixels × H pixels, positive samples I t and negative samples J t 1, ..., of each pixel included in J t F The coordinates are expressed as grid points of the grid Γ shown in the following equation (1-1). Thereby, an image area of W pixels × H pixels can be regarded as a luminance function on the grid Γ.
ここで、正サンプルIt をグリッドΓとみなし、グリッドΓ上の格子点から抽出した任意のペア(p、q)に対して、ppf(p→q;Tp )という値を下記の(1−2)式で定義する。なお(1−2)式において、I(p)及びI(q)は正サンプルIt における画素p及び画素qの輝度値であり、Tp (>0)は輝度差の閾値である。(1−2)式のppf(p→q;Tp )は、正サンプルIt の画素ペア(p、q)の大小関係を表している。 Here, a positive sample I t regarded as grid gamma, any pair extracted from the lattice point on the grid gamma (p, q) with respect to, ppf (p → q; T p) of the following values (1 -2) It defines with a formula. In yet (1-2) equation, I (p) and I (q) is the luminance value of the pixel p and the pixel q in the positive sample I t, T p (> 0 ) is a threshold of the luminance difference. (1-2) equation ppf (p → q; T p ) represents the difference between the pixel pair of the positive sample I t (p, q).
正サンプルIt からの画素ペアの抽出は、(1−2)式においてppf(p→q;Tp )≠Φとなるようにペア(p、q)を抽出すればよい。1つの正サンプルIt から抽出できる画素ペアは無数に存在するため、抽出する画素ペアの数をN個(N組)に制限する。ここで、ポリシーsに従ってランダムに抽出された画素ペア(p、q)のセットRPs を、下記の(1−3)式で定義する。 Extraction of a pixel pair in a positive sample I t is, ppf in (1-2) below; may be extracted pair (p, q) so that (p → q T p) ≠ Φ. Since the pixel pairs that can be extracted from one positive sample I t exist an infinite number limits the number of pixel pair to be extracted into N (N sets). Here, a set RP s of pixel pairs (p, q) randomly extracted according to the policy s is defined by the following equation (1-3).
以上のようにして正サンプルIt からN個の画素ペアを抽出した後、同様にして、負サンプルJt 1、…、Jt FからそれぞれN個の画素ペアを抽出する。正サンプルIt 及び負サンプルJt 1、…、Jt Fは同じサイズであり、負サンプルJt 1、…、Jt Fからの画素ペアの抽出は、正サンプルIt から抽出した画素ペアと相対的に同じ位置の画素ペアを抽出することで行う(図5(b)参照)。ここで、負サンプルJt 1、…、Jt Fから抽出した画素ペアに対して、ラベルb(p→q)を下記の(1−4)式で定義する。なお(1−4)式において、J(p)及びJ(q)は一の負サンプルJt 1、…、Jt Fにおける画素p及び画素qの輝度値である。ラベルb(p→q)は、負サンプルJt 1、…、Jt Fの画素ペア(p、q)の大小関係を表している。 After extracting the N pixel pairs from positive samples I t as described above, in the same manner, the negative sample J t 1, ..., respectively, from J t F is extracted N pixels pairs. Positive samples I t and negative samples J t 1, ..., J t F is the same size, negative samples J t 1, ..., extracted pixel pair from J t F, the pixel pair extracted from the positive sample I t This is done by extracting a pixel pair at the same position relative to (see FIG. 5B). Here, for the pixel pair extracted from the negative samples J t 1 ,..., J t F , a label b (p → q) is defined by the following equation (1-4). In yet (1-4) equation, J (p) and J (q) is negative samples J t 1 one, ..., a luminance value of the pixel p and the pixel q in J t F. The label b (p → q) represents the magnitude relationship of the pixel pair (p, q) of the negative samples J t 1 ,..., J t F.
上述の(1−2)式では、正サンプルIt から抽出した画素ペア(p、q)について、画素pの輝度値が画素qの輝度値より閾値Tp 以上に大きい場合にppf(p→q;Tp )=1とし、画素pの輝度値が画素qの輝度値より閾値Tp 以上に小さい場合にppf(p→q;Tp )=−1とした。同様に上述の(1−4)式では、負サンプルJt 1、…、Jt Fから抽出した画素ペア(p、q)について、画素pの輝度値が画素qの輝度値より大きい場合にb(p→q)=1とし、画素pの輝度値が画素qの輝度値より小さい場合にb(p→q)=−1とした。ppf(p→q;Tp )及びb(p→q)は、画素p及び画素qの輝度値の大小関係を表す値であり、正サンプルIt 及び負サンプルJt 1、…、Jt Fの対応する画素ペア(p、q)についてppf(p→q;Tp )及びb(p→q)の値を比較することによって、正サンプルIt 及び負サンプルJt 1、…、Jt Fが類似するか否かを判断する指標とすることができる。そこで、RPs に含まれる各画素ペア(p、q)について、個別の類似度r(p、q、J)を下記の(1−5)式で定義する。 In the above (1-2) equation, the pixel pair extracted from the positive sample I t (p, q), ppf when the luminance value of the pixel p is greater than the threshold value T p than the luminance value of the pixel q (p → q; T p ) = 1, and ppf (p → q; T p ) = − 1 when the luminance value of the pixel p is smaller than the luminance value of the pixel q by a threshold value T p or more. Similarly, in the above formula (1-4), the negative sample J t 1, ..., J t F extracted pixel pair from (p, q) for, when the luminance value of the pixel p is greater than the luminance value of the pixel q b (p → q) = 1, and b (p → q) = − 1 when the luminance value of the pixel p is smaller than the luminance value of the pixel q. ppf (p → q; T p ) and b (p → q) are values representing the magnitude relationship between the luminance values of the pixel p and the pixel q, and are a positive sample I t and a negative sample J t 1 ,. ppf for F in the corresponding pixel pair (p, q); by comparing the value of (p → q T p) and b (p → q), positive sample I t and negative samples J t 1, ..., J t It can be used as an index for judging whether or not F is similar. Therefore, for each pixel pair (p, q) included in RP s , an individual similarity r (p, q, J) is defined by the following equation (1-5).
この(1−5)式によれば、ppf(p→q;Tp )=b(p→q)が成立する場合、即ち正サンプルIt から抽出した画素ペア(p、q)の輝度値の大小関係と、対応する負サンプルJt 1、…、Jt Fの画素ペア(p、q)の輝度値の大小関係とが一致する場合、画素ペア(p、q)の個別の類似度r(p、q、J)の値を”1”とすることができる。またppf(p→q;Tp )≠b(p→q)の場合、即ち正サンプルIt から抽出した画素ペア(p、q)の輝度値の大小関係と、対応する負サンプルJt 1、…、Jt Fの画素ペア(p、q)の輝度値の大小関係とが一致しない場合、画素ペア(p、q)の個別の類似度r(p、q、J)の値を”0”とすることができる。 According to the (1-5) equation, ppf (p → q; T p) = b If (p → q) is satisfied, i.e., the luminance value of a pixel pair extracted from the positive sample I t (p, q) , And the magnitude relationship of the luminance values of the pixel pairs (p, q) of the corresponding negative samples J t 1 ,..., J t F match, the individual similarity of the pixel pair (p, q) The value of r (p, q, J) can be “1”. The ppf (p → q; T p ) ≠ b For (p → q), i.e. the magnitude relationship between the luminance values of the positive sample pixel pair extracted from I t (p, q), the corresponding negative samples J t 1 ,..., If the magnitude relationship of the luminance values of the pixel pair (p, q) of J t F does not match, the value of the individual similarity r (p, q, J) of the pixel pair (p, q) is set to “ 0 ".
そこで、抽出した画素ペア(p、q)のセットRPs を用いて正サンプルIt 及び一の負サンプルJt 1、…、Jt Fを判別した場合に、正サンプルIt 及び一の負サンプルJt 1、…、Jt Fの類似度cs (I、J、RPs )を下記の(1−6)式で定義する。 Therefore, negative samples J t 1 with a set RP s positive sample I t and one of the extracted pixel pair (p, q), ..., when determining the J t F, the positive sample I t and one negative The similarity c s (I, J, RP s ) of the samples J t 1 ,..., J t F is defined by the following equation (1-6).
よって、(1−6)式の類似度cs (I、J、RPs )の値が小さくなるように、画素ペア(p、q)を選別することによって、正サンプルIt 及び負サンプルJt 1、…、Jt Fをより精度よく判別することができる画素ペア(p、q)を取得することができる。このようにして取得された複数の画素ペア(p、q)及びその大小関係(ppf(p→q;Tp )の値)を”ペア特徴”として用いることができる。 Therefore, (1-6) equation similarity c s (I, J, RP s) so that the value of is smaller, by selecting the pixel pair (p, q), positive sample I t and negative samples J A pixel pair (p, q) that can discriminate t 1 ,..., J t F with higher accuracy can be acquired. A plurality of pixel pairs (p, q) and their magnitude relationships (values of ppf (p → q; T p )) thus obtained can be used as “pair features”.
次に、正サンプルIt 及び負サンプルJt 1、…、Jt Fを判別し得る特徴的な画素ペア(ペア特徴)を選別する方法を説明する。ペア特徴は、正サンプルIt 及び負サンプルJt 1、…、Jt Fの間の判別基準を最大化するように選択される。この判別基準は、下記の3つの条件から定められる。
・ペア特徴の値は2値(+v又は−v)であること
・正サンプルは1つであること
・負サンプルの数(F)が大きいこと
これらの条件から、正サンプルp及び負サンプルni を下記の(2−1)式で定義する。
Next, a positive sample I t and negative samples J t 1, ..., illustrating a method of selecting a characteristic pixel pair that can determine J t F (pair feature). Pair feature positive sample I t and negative samples J t 1, ..., is selected to maximize the discrimination criterion between J t F. This discrimination criterion is determined from the following three conditions.
The value of the pair feature is binary (+ v or −v). The number of positive samples is one. The number of negative samples (F) is large. From these conditions, positive samples p and negative samples n i. Is defined by the following equation (2-1).
負サンプルの数が十分に大きく、F>>1が成立すると仮定すれば、全体の平均値μT は、負サンプルの平均値μn にほぼ等しい。そこで、ni =−vの負サンプルの数をm個とすれば、下記の(2−2)式が成立する。 The number of negative samples is sufficiently large, assuming F >> 1 is satisfied, the average value mu T of the whole, substantially equal to the average value mu n of the negative samples. Therefore, if the number of negative samples with n i = −v is m, the following equation (2-2) is established.
また、全体の分散σT 2と、正サンプル及び負サンプルのクラス間分散σB 2とは、下記の(2−3)式及び(2−4)式でそれぞれ表される。 Further, the overall variance σ T 2 and the interclass variance σ B 2 of the positive sample and the negative sample are expressed by the following equations (2-3) and (2-4), respectively.
よって、上述の判別基準は、正サンプル及び負サンプルのクラス間分散σB 2と全体の分散σT 2との比で表され、下記の(2−5)式で定義される。 Therefore, the above discrimination criterion is represented by the ratio between the inter-class variance σ B 2 of the positive sample and the negative sample and the overall variance σ T 2 and is defined by the following equation (2-5).
この(2−5)式は、負サンプルの分散の最小化が判別基準の最大化に相当することを示している。そこで、上記の(2−2)式を用いて、負サンプルの分散を置き換えると、下記の(2−6)式となる。 This expression (2-5) indicates that minimization of negative sample variance corresponds to maximization of the discrimination criterion. Therefore, when the variance of the negative sample is replaced using the above equation (2-2), the following equation (2-6) is obtained.
この(2−6)式において、負サンプルの分散が最小値の0となるのは、m=0又はF=mの場合である。ただし、m=0は全ての負サンプルが正サンプルと同じ値であることを意味しているため、正サンプル及び負サンプルの判別は不可能である。よってm=Fの場合に、判別基準が1に最大化され、正サンプル及び負サンプルの類似度が0に最小化される。また、上述の(1−6)式に示した類似度cs (I、J、RPs )を最小化することは、上記の判別基準を最大化することに等しく、更には下記の(3)式で表される類似度の合計値Cmin を最小化することに等しい。 In this equation (2-6), the negative sample variance has a minimum value of 0 when m = 0 or F = m. However, since m = 0 means that all negative samples have the same value as the positive sample, it is impossible to discriminate between positive samples and negative samples. Therefore, when m = F, the discrimination criterion is maximized to 1, and the similarity between the positive sample and the negative sample is minimized to 0. Further, minimizing the similarity c s (I, J, RP s ) shown in the above equation (1-6) is equivalent to maximizing the above discrimination criterion, and further, the following (3 It is equivalent to minimizing the total value C min of the similarity expressed by the formula (1).
なお、上記の(3)式において、Cmin 、cmin 及びRPmin は、各画素ペアの個別の類似度を最小化するというポリシーに基づいて選別されたものである。 In the above equation (3), C min , c min and RP min are selected based on a policy of minimizing the individual similarity of each pixel pair.
ここで、画素ペアを選別する3つの方法が考えられる。
1)類似度cs がある閾値より小さくなるまで、ランダムに画素ペアを生成して、ペア特徴を集める方法。
2)必要数以上の画素ペアをランダムに生成し、類似度cs が小さいものから必要数の画素ペアを選別する方法。
3)画素ペアのセットをランダムに所定数生成し、類似度Cs が最も小さいセットを選別する方法。
本実施の形態においては3番目の方法を用いるが、この方法に限定するものではなく、1番目又は2番目の方法を用いてもよい。
Here, three methods for selecting pixel pairs are conceivable.
1) A method of collecting pixel features by randomly generating pixel pairs until the similarity c s becomes smaller than a certain threshold.
2) A method of randomly generating more than the required number of pixel pairs and selecting the required number of pixel pairs from those having a low similarity c s .
3) A method in which a predetermined number of pixel pair sets are randomly generated and a set having the smallest similarity C s is selected.
Although the third method is used in this embodiment, the present invention is not limited to this method, and the first or second method may be used.
図6及び図7は、ペア特徴の取得処理の手順を示すフローチャートであり、車輌追跡装置1の制御部11が車輌追跡プログラム40を実行することにより行う処理である。車輌追跡装置1の制御部11は、まず、カメラ3が撮像したt番目の画像Vt (追跡元画像)を取得して、車輌検出処理の結果又はt−1番目の車輌追跡処理の結果に基づいて追跡対象の車輌の位置及びサイズ等を特定し、追跡対象を含む画像領域を正サンプルIt として抽出する(ステップS1)。次いで制御部11は、抽出した正サンプルIt から、輝度値の差分が閾値Tp 以上の2つの画素(画素ペア)をランダムにN組抽出する(ステップS2、図5(a)参照)。
6 and 7 are flowcharts showing the procedure of the pair feature acquisition process, which is a process performed by the
次いで、制御部11は、t番目の画像Vt における正サンプルIt の周囲から、負サンプルJt を1つ抽出し(ステップS3、図4参照)、抽出した負サンプルJt から、ステップS2にて正サンプルIt から抽出した画素ペアに対応する位置の画素ペアを抽出する(ステップS4、図5(b)参照)。次いで制御部11は、各画素ペアについての個別類似度r(p、q、J)を上述の(1−5)式に基づいて算出し、N個の画素ペアの個別類似度を加算することにより、N個の画素ペアによって判断される正サンプルIt 及び負サンプルJt の類似度cs (I、J、RPs )を上述の(1−6)式に基づいて算出する(ステップS5)。
Next, the
なおステップS3〜S6の処理は、画像Vt から抽出されるF個の負サンプルJt 1、…、Jt Fについてそれぞれ繰り返し行われる処理である。各負サンプルJt についてステップS5の類似度cs (I、J、RPs )を算出した後、制御部11は、算出済みの各負サンプルJt の類似度の合計を算出する(ステップS6)。その後、制御部11は、F個の負サンプルJt 1、…、Jt Fの全てについて類似度の算出とその合計の算出との処理を終了したか否かを判定し(ステップS7)、全ての負サンプルJt 1、…、Jt Fについて処理を終了していない場合には(S7:NO)、ステップS3へ処理を戻して、上述のステップS3〜S6の処理を繰り返し行う。
Note that the processing in steps S3 to S6 is processing that is repeatedly performed for each of F negative samples J t 1 ,..., J t F extracted from the image V t . After calculating the similarity c s (I, J, RP s ) of step S5 for each negative sample J t , the
また制御部11は、正サンプルIt からN個の画素ペアの抽出を所定回数繰り返し行って、各回で類似度の合計を算出している。そこで制御部11は、全ての負サンプルJt 1、…、Jt Fについて処理を終了した場合(S7:YES)、ステップS6にて算出した類似度の合計が、以前に算出した類似度の合計と比較して、最小値であるか否かを判定する(ステップS8)。類似度の合計が最小値の場合(S8:YES)、制御部11は、ステップS2にて抽出されたN個の画素ペア(即ち、この類似度の算出に用いられたN個の画素ペア)を保持し(ステップS9)、以前に保持した画素ペアは破棄して、ステップS10へ処理を進める。また類似度の合計が最小値でない場合(S8:NO)、制御部11は、ステップS2にて抽出されたN個の画素ペアを保持せずに、ステップS10へ処理を進める。
The
次いで、制御部11は、上述のステップS2〜S9の処理を所定回数反復したか否かを判定し(ステップS10)、所定回数反復していない場合には(S10:NO)、ステップS2へ処理を戻し、ステップS2〜S9の処理を繰り返して行う。ステップS2〜S9の処理を所定回数反復した場合(S10:YES)、制御部11は、ペア特徴の取得処理を終了する。なお、ステップS2〜S9の処理の反復において、最終的にステップS9にて保持されたN個の画素ペアが、正サンプルIt のペア特徴となり、後段の処理で用いられる。
Next, the
カメラ3が撮像したt番目の画像Vt から追跡対象の車輌のペア特徴を取得した後、車輌追跡装置1は、カメラ3が撮像したt+1番目の画像Vt+1 における追跡対象の移動先を探索する。移動先の探索処理において、まず車輌追跡装置1は、t+1番目の画像Vt+1 から移動先の候補となる多数の画像領域を抽出する。この処理は、車輌追跡プログラム40の移動先候補抽出手段45により行われる処理である。
After acquiring the pair feature of the vehicle to be tracked from the t-th image V t captured by the
図8は、移動先候補の抽出方法を説明するための模式図である。車輌追跡装置1は、カメラ3が撮像したt+1番目の画像Vt+1 から、水平方向及び垂直方向に1画素又は数画素ずつ移動させながら、矩形の画像領域を移動先候補として順に抽出する(図8(a)参照)。このときに抽出する画像領域のサイズは、その抽出位置に応じて決定される。図示の例では、画像Vt+1 の上側では小さいサイズの画像領域が抽出され、下側では大きいサイズの画像領域が抽出される。抽出する画像領域のサイズ変化は、カメラ3にて撮像される画像中の遠近に対応して定まるものであるため、道路上におけるカメラ3の設置位置及び撮像方向等により、カメラ3毎に適切なサイズ変化を設定することができる。
FIG. 8 is a schematic diagram for explaining a method of extracting a destination candidate. The
また図示の例では、移動先候補の画像領域を抽出する範囲を、画像Vt+1 内における道路上のみに限定している。このように、車輌が移動する可能性が低い範囲を除外して移動先候補の抽出範囲を限定することによって、車輌の追跡処理に要する計算量を低減できる。画像中における道路の範囲は、カメラ3の設置位置及び撮像方向等に応じて、予め適切に設定することができる。
Further, in the illustrated example, the range for extracting the image area of the destination candidate is limited to only on the road in the image V t + 1 . In this way, by excluding the range where the vehicle is unlikely to move and limiting the extraction range of destination candidates, the amount of calculation required for the vehicle tracking process can be reduced. The range of the road in the image can be appropriately set in advance according to the installation position of the
また図示の例では、画像Vt+1 内における全ての道路上を移動先候補の抽出範囲としているが、これに限るものではない。例えば車輌が画像Vt+1 の上側から下側へ移動する(車輌がカメラ3へ接近する)ことが予め判明している場合、移動先候補の抽出範囲をt番目の画像Vt にて正サンプルIt を抽出した位置より下側に限定することができる。車輌の移動方向は、例えば、カメラ3が撮像する道路の法律上定められた車輌の移動方向を基に決定することができ、また例えば、以前の車輌追跡の結果から車輌の移動方向及び移動速度等を予測して決定することができる。
Further, in the example shown in the figure, the extraction range of destination candidates is set on all roads in the image V t + 1 , but the present invention is not limited to this. For example, when it is known in advance that the vehicle moves from the upper side to the lower side of the image V t + 1 (the vehicle approaches the camera 3), the extraction range of the movement destination candidate is corrected in the t-th image V t . it can be limited below the extracted location samples I t. The moving direction of the vehicle can be determined based on, for example, the moving direction of the vehicle stipulated by the law of the road imaged by the
車輌追跡装置1は、t+1番目の画像Vt+1 から抽出した複数の移動先候補のうち、t番目の画像Vt の正サンプルIt に最も類似する移動先候補をペア特徴に基づいて探索することにより、車輌の移動先を探索する。ただし、上述のように抽出する移動先候補のサイズは様々であり、正サンプルIt のサイズと移動先候補のサイズとが異なると類似の判定が困難化するため、車輌追跡装置1は、t+1番目の画像Vt+1 から抽出した移動先候補のサイズを正サンプルIt と同じサイズに調整する処理を行う(図8(b)参照)。車輌追跡装置1は、移動先候補のサイズが正サンプルIt のサイズより大きい場合、移動先候補を縮小する画像処理を行い、また、移動先候補のサイズが正サンプルIt より小さい場合、移動先候補を拡大する画像処理を行えばよい。
移動先候補のサイズ調整を行った後、車輌追跡装置1は、正サンプルIt のペア特徴として抽出された複数の画素ペアと同じ位置から、移動先候補の画素ペアを抽出する。正サンプルIt のペア特徴(画素ペア)と、移動先候補から抽出した画素ペアとを用いて、上述の(1−6)式により正サンプルIt と移動先候補との類似度を算出することができる(即ち、(1−6)式において負サンプルを移動先候補に置き換えればよい)。車輌追跡装置1は、t+1番目の画像Vt+1 から抽出した複数の移動先候補について、それぞれ正サンプルIt との類似度を算出し、最も類似度が大きい移動先候補を追跡対象の車輌の最終的な移動先に決定する。これらの処理は、車輌追跡プログラム40の移動先決定手段46により行われる処理である。
After sizing the destination candidate,
図9は、移動先の追跡処理の手順を示すフローチャートであり、車輌追跡装置1の制御部11が車輌追跡プログラム40を実行することにより行う処理である。車輌追跡装置1の制御部11は、まず、カメラ3にて撮像されたt+1番目の画像Vt+1 を取得して、この画像Vt+1 から一の移動先候補を抽出し(ステップS21、図8(a)参照)、抽出した移動先候補のサイズをt番目の画像Vt から抽出した正サンプルIt と同じサイズに調整する(ステップS22、図8(b)参照)。
FIG. 9 is a flowchart showing the procedure of the destination tracking process, which is a process performed by the
次いで制御部11は、サイズを調整した移動先候補から、正サンプルIt のペア特徴として抽出した画素ペアと同数且つ同位置となるように、複数の画素ペアを抽出し(ステップS23)、正サンプルIt の画素ペアと移動先候補の画素ペアとを基に、正サンプルIt 及び移動先候補の類似度を算出する(ステップS24)。
Then the
制御部11は、t+1番目の画像Vt+1 からの移動先候補の抽出及び類似度の算出等を複数回繰り返し行っている。そこで制御部11は、ステップS24にて算出した類似度が、以前に算出した類似度と比較して、最大値であるか否かを判定する(ステップS25)。類似度が最大の場合(S25:YES)、制御部11は、ステップS21にて抽出した移動先候補に係る情報(例えば移動先候補の抽出位置及び抽出サイズ等の情報)を保持し(ステップS26)、以前の情報を破棄して、ステップS27へ処理を進める。類似度が最大でない場合(S25:NO)、制御部11は、移動先候補に係る情報を保持することなく破棄して、ステップS27へ処理を進める。
The
次いで、制御部11は、t+1番目の画像Vt+1 から抽出すべき全ての移動先候補について、上述のステップS21〜S26の処理を終了したか否かを判定し(ステップS27)、全ての移動先候補について処理を終了していない場合には(S27:NO)、ステップS21へ処理を戻し、上述の処理を繰り返し行う。全ての移動先候補について処理を終了した場合(S27:YES)、制御部11は、移動先の追跡処理を終了する。
Next, the
なお、ステップS21〜S27の処理の繰り返しにおいて、最終的にステップS26にて保持された情報に係る移動先が、t番目の画像Vt の正サンプルIt の移動先、即ち車輌の移動先と決定される。また、t+1番目の画像Vt+1 にて決定された移動先は、t+2番目の画像Vt+2 における移動先の追跡処理を行う場合に、正サンプルIt+1 として用いることができる。 Incidentally, in the repetition of the processing of step S21 to S27, the destination eventually according to the information held in step S26 is, the destination of the positive samples I t of t th image V t, i.e. the vehicle destination and It is determined. Further, the movement destination determined in the t + 1-th image V t + 1 can be used as the positive sample I t + 1 when the movement destination tracking process in the t + second image V t + 2 is performed.
ここで、t番目の画像Vt 、t+1番目の画像Vt+1 、t+2番目の画像Vt+2 …のように連続する複数の画像で車輌の追跡処理を順次行う場合、以下の2つの方法を用いることができる。
1)t番目の画像Vt の正サンプルIt からペア特徴を取得してt+1番目の画像Vt+1 にて移動先を探索し、この移動先をt+1番目の画像Vt+1 の正サンプルIt+1 としてペア特徴を取得してt+2番目の画像Vt+2 にて移動先を探索する…というように、ペア特徴の取得と移動先の探索とを繰り返し行う方法。
2)t番目の画像Vt の正サンプルIt からペア特徴を取得してt+1番目の画像Vt+1 にて移動先を探索すると共に、t+1番目の画像Vt+1 にて正サンプルIt+1 からのペア特徴の取得を行わずに、t番目の画像Vt の正サンプルIt から取得したペア特徴を用いてt+2番目の画像Vt+2 にて移動先を探索する…というように、最初の画像から取得したペア特徴を用いて以降の画像における移動先の探索を行う方法。
Here, when the vehicle tracking process is sequentially performed with a plurality of continuous images such as a t-th image V t , a t + 1-th image V t + 1 , a t + second image V t + 2 ... The method can be used.
1) t th acquires the pair characteristics from positive samples I t of the image V t searches the destination at t + 1 th image V t + 1, the destination t + 1 th image V t + 1 positive A method of repeatedly acquiring a pair feature and searching for a destination, such as obtaining a pair feature as a sample I t + 1 and searching for a destination in a t + second image V t + 2 .
2) A pair feature is acquired from the positive sample I t of the t-th image V t , the destination is searched for in the t + 1-th image V t + 1, and the positive sample I is detected in the t + 1-th image V t + 1 . without obtaining pairs features from t + 1, it searches for a destination at t + 2 th image V t + 2 using the pair characteristics obtained from the positive sample I t of t th image V t ... that As described above, a method of searching for a destination in subsequent images using the pair feature acquired from the first image.
車輌追跡装置1は、上記のいずれの方法を用いて連続する複数の画像での車輌追跡を行ってもよく、いずれの方法を用いるかは車輌追跡装置1に求められる追跡精度、処理速度及び装置のコスト等の要因に応じて適宜に選択すればよい。上記の2つの方法を比較すると、1番目の方法は追跡精度が高いが処理速度が遅く、2番目の方法は追跡精度が低いが処理速度は速いという特徴がある。なお、上記の2番目の方法においては、移動先の追跡結果に応じて、最初の画像から取得したペア特徴の修正を行うことによって、追跡精度を向上することができる。ペア特徴の修正は、例えばt番目の画像Vt から正サンプルIt のペア特徴として抽出された画素ペアと、t+1番目の画像Vt+1 の移動先とされた画像領域から抽出されたペア特徴とを比較して、大小関係が一致しない画素ペアを大小関係が一致する画素ペアに入れ替えることで行うことができる。
The
以上の構成の車輌追跡装置1及び車輌追跡プログラム40においては、t番目の画像Vt (追跡元画像)から車輌を含む正サンプルIt を抽出して、この正サンプルIt から複数の画素ペア(画素組み合わせ)を抽出すると共に、正サンプルIt の周囲から複数の負サンプルJt 1、…、Jt Fを抽出して、各負サンプルJt 1、…、Jt Fから複数の画素ペアをそれぞれ抽出し、画素ペアの輝度値(画素値)の大小関係に基づいて正サンプルIt と負サンプルJt 1、…、Jt Fとの判別精度が高い(判別を行った際の類似度が低い)画素ペアをペア特徴として取得し、ペア特徴を用いて車輌の追跡を行う。このペア特徴は、画素ペアの輝度値の大小関係に着目した特徴量であり、例えば日照変化により画像の明るさなどが変化した場合、又は車輌が日向から日蔭へ移動した場合等に、画像中の車輌の輝度値が変化しても、輝度値の大小関係は変化しないため、車輌の追跡を精度よく行うことができる。またカメラ3が撮像する画像のコントラストが低い場合であっても、車輌の追跡を精度よく行うことができるため、カメラ3の撮像により得られる画像がカラー画像でなく白黒画像であっても車輌の追跡を行うことができる。また、1つの正サンプルIt に対して画素ペアを複数抽出するため、追跡対象の車輌の一部分が他車輌に隠れた場合などであっても、他車輌に隠れていない部分から抽出した画素ペアの情報を基に車輌の追跡を行うことができる。またペア特徴を用いた車輌追跡処理では、画素ペアの輝度値の大小関係を比較して大小関係の一致/不一致を判断するのみでよく、識別器を用いて識別処理する方法などと比較して、処理に要する計算量が少ないため、車輌追跡装置1に高い処理能力が要求されず、車輌追跡装置1の低コスト化に寄与することができる。
Or more aspects of the
また、正サンプルIt からのN個の画素ペア(画素組み合わせ群)の抽出を複数回行い、正サンプルIt と負サンプルJt 1、…、Jt Fとの判別精度が最も高い(類似度が最も低い)N個の画素ペアのセットを選別してペア特徴とすることにより、車輌と背景などとの判別度がより高いペア特徴を取得することができ、車輌の追跡精度を向上することができる。 Further, the extraction of the N pixel pair from the positive sample I t (pixel combination group) performed a plurality of times, a positive sample I t and negative samples J t 1, ..., the highest accuracy of determining the J t F (similar By selecting a set of N pixel pairs (lowest degree) as a pair feature, a pair feature having a higher degree of discrimination between the vehicle and the background can be acquired, and the tracking accuracy of the vehicle is improved. be able to.
また、正サンプルIt から複数の画素ペアを抽出する際に、輝度値の差が閾値Tp 以上の2つの画素を抽出することにより、ペア特徴として用いる画素ペアの候補として、正サンプルIt と負サンプルJt 1、…、Jt Fとを判別できる可能性の高い画素ペアを予め抽出することができ、車輌の追跡精度を向上することができる。 Further, when extracting a plurality of pixel pair from the positive sample I t, by extracting two pixels the difference is equal to or more than the threshold value T p of the brightness value, as a candidate pixel pair is used as a pair, wherein the positive sample I t And negative samples J t 1 ,..., J t F can be extracted in advance, and the tracking accuracy of the vehicle can be improved.
また、t+1番目の画像Vt+1 (追跡先画像)から移動先候補として画像領域を抽出する場合に、画像中の抽出位置に応じて異なるサイズの画像領域を抽出し、抽出した画像領域を正サンプルIt と同じサイズに調整することにより、道路上におけるカメラ3の設置位置及び撮像方向等により変化する撮像画像中の移動体のサイズに適した移動先候補の抽出を行うことができ、車輌の追跡を精度よく行うことができる。
Further, when extracting an image area as a movement destination candidate from the t + 1-th image V t + 1 (tracking destination image), an image area having a different size is extracted according to the extraction position in the image, and the extracted image area is by adjusting the same size as the positive samples I t, it is possible to extract destination candidates suitable for the size of the moving object in the captured image which varies depending on the installation position and the imaging direction and the like of the
なお、本実施の形態においては、t番目の画像Vt の正サンプルIt から抽出した2つの画素の大小関係に基づくペア特徴を用いて車輌追跡処理を行う構成としたが、これに限るものではなく、正サンプルIt から3つ以上の画素を抽出し、これら複数の画素間の大小関係に基づく特徴を用いて車輌追跡処理を行ってもよい。また、正サンプルIt から画素ペアを抽出する際に、輝度値の差が閾値Tp 以上の2つの画素を抽出する構成としたが、このときに用いる閾値Tp は固定値である必要はなく、例えばカメラ3が撮像した画像の明るさ又はコントラスト等に応じて閾値Tp を変化させてもよい。
In the present embodiment, a configuration for performing vehicle tracking process using the pair feature based on the magnitude relationship between the two pixels extracted from the positive sample I t of t th image V t, limited to this rather, it extracted three or more pixels from the positive sample I t, may be subjected to vehicle tracking process using the feature based on the magnitude relationship between the plurality of pixels. Furthermore, when extracting the pixel pair from the positive sample I t, it is configured that the difference in luminance value is extracted two pixels above the threshold T p, the threshold T p is used at this time have a fixed value Alternatively, for example, the threshold value T p may be changed according to the brightness or contrast of the image captured by the
また、画像中の移動体として車輌を追跡する構成としたが、追跡対象は車輌に限るものではなく、二輪車又は歩行者等のその他の移動体を追跡する構成としてもよい。また、移動体追跡装置は、道路上に設置されたカメラ3の撮像画像に基づいて移動体の追跡を行う構成でなくてもよく、例えばデジタルカメラ又はビデオカメラ等に移動体の追跡機能を搭載するなど、可搬型のカメラの撮像画像に基づいて移動体の追跡を行う構成であってもよい。また、車輌追跡装置1は、車輌追跡プログラム40を制御部11が実行することによって車輌追跡処理を行う構成、即ち車輌追跡処理をソフトウェアで実現する構成としたが、これに限るものではなく、移動体追跡処理を専用のハードウェアで実現する構成としてもよい。また、移動体追跡処理は、IC(Integrated Circuit)チップとして提供することもできる。また、移動体追跡プログラムは、車輌追跡装置1のROM17のような固定型の記録媒体に記憶されるのみでなく、光ディスク若しくはメモリカード等の可搬型の記憶媒体又はネットワーク等を介して提供されるものであってよく、汎用のコンピュータにて移動体追跡プログラムを実行して移動体追跡処理を行ってもよい。
In addition, although the vehicle is tracked as a moving body in the image, the tracking target is not limited to the vehicle, and another moving body such as a two-wheeled vehicle or a pedestrian may be tracked. Further, the moving body tracking device may not be configured to track the moving body based on the image captured by the
また、2次元画像中の移動体を追跡するのみでなく、時系列的な3次元画像中の移動体を追跡する構成としてもよい。この場合には、正サンプル及び負サンプル等は3次元領域として抽出され、画素ペアは3次元領域中の任意の2点として抽出される。また、1つの追跡元画像から正サンプル、負サンプル及び画素ペア等を抽出する構成としたが、これに限るものではなく、例えばt番目の画像Vt 及びt+1番目の画像Vt+1 の2つの画像を追跡元画像とし、各画像から正サンプル及び負サンプルを抽出し、画素ペアは2つの画像に跨った2点を抽出する構成としてもよい。この場合には、t+1番目の画像Vt+1 及びt+2番目の画像Vt+2 の2つの画像を追跡先画像として移動先候補を抽出するか、又は、t+2番目の画像Vt+2 及びt+3番目の画像Vt+3 の2つの画像を追跡先画像として移動先候補を抽出することができる。また、t番目の画像Vt を追跡元画像とした場合に、t+1番目の画像Vt+1 を追跡先画像として移動体の追跡を行う構成としたが、これに限るものではなく、t−1番目の画像Vt-1 を追跡先画像として移動体の追跡を行う構成としてもよい。 Further, not only the moving body in the two-dimensional image but also the moving body in the time-series three-dimensional image may be tracked. In this case, a positive sample, a negative sample, and the like are extracted as a three-dimensional region, and a pixel pair is extracted as two arbitrary points in the three-dimensional region. In addition, although a positive sample, a negative sample, a pixel pair, and the like are extracted from one tracking source image, the present invention is not limited to this. For example, 2 of t-th image V t and t + 1-th image V t + 1 is used. One image may be used as a tracking source image, a positive sample and a negative sample may be extracted from each image, and a pixel pair may extract two points straddling two images. In this case, a movement destination candidate is extracted using two images of the t + 1th image Vt + 1 and the t + 2nd image Vt + 2 as tracking destination images, or the t + 2nd image Vt + 2 and A destination candidate can be extracted using two images of the t + 3rd image V t + 3 as tracking destination images. Further, when the tracking based image t th image V t, it is configured to perform the tracking of the moving object to t + 1 th image V t + 1 as the tracking target image is not limited to this, t- A configuration may be adopted in which the moving object is tracked using the first image V t-1 as the tracking destination image.
また、ペア特徴を用いた移動体の追跡方法は、カメラが撮像した画像から車輌又は歩行者等の特定物体の移動速度及び移動方向等の情報を取得するために用いるのみでなく、例えばMPEG(Moving Picture Expert Group)方式の動画像圧縮処理のように、画像中の特定箇所の移動先を探索する処理を必要とする画像処理に適用可能であり、このような画像処理を高精度化及び高速化することができる。 Further, the tracking method of the moving object using the pair feature is not only used for acquiring information such as a moving speed and a moving direction of a specific object such as a vehicle or a pedestrian from an image captured by a camera. It can be applied to image processing that requires processing to search for a specific location in the image, such as Moving Picture Expert Group) video compression processing. Can be
(変形例1)
上述の実施の形態においては、図6及び図7に示したように、車輌追跡装置1及び車輌追跡プログラム40は、画素ペアのセットをランダムに所定数生成し、類似度が最も小さいものを選別することでペア特徴の取得を行う構成としたが、これに限るものではない。変形例1に係る車輌追跡装置1及び車輌追跡プログラム40は、必要数以上の画素ペアをランダムに生成し、類似度が小さいものから順に必要数の画素ペアを選別することでペア特徴の取得を行う。
(Modification 1)
In the above-described embodiment, as shown in FIGS. 6 and 7, the
図10は、変形例1に係るペア特徴の取得処理の手順を示すフローチャートであり、車輌追跡装置1の制御部11が車輌追跡プログラム40を実行することにより行う処理である。車輌追跡装置1の制御部11は、まず、カメラ3が撮像したt番目の画像Vt を取得して、追跡対象を含む画像領域を正サンプルIt として抽出する(ステップS41)。次いで制御部11は、抽出した正サンプルIt から、輝度値の差分が閾値Tp 以上の画素ペアをランダムにM組抽出する(ステップS42)。ただし、車輌の追跡処理に必要な画素ペアの数をN組とした場合、ステップS42の抽出数Mは、Nより十分に大きな値とする。
FIG. 10 is a flowchart illustrating a procedure of pair feature acquisition processing according to the first modification, and is processing performed by the
次いで、制御部11は、t番目の画像Vt における正サンプルIt の周囲から、負サンプルJt を1つ抽出し(ステップS43)、抽出した負サンプルJt から、ステップS42にて正サンプルIt から抽出した画素ペアに対応する位置の画素ペアを抽出する(ステップS44)。次いで制御部11は、各画素ペアについての個別の類似度r(p、q、J)を上述の(1−5)式に基づいて算出する(ステップS45)。
Next, the
ステップS43〜S46の処理は、画像Vt から抽出されるF個の負サンプルJt 1、…、Jt Fについてそれぞれ繰り返し行われる処理である。各負サンプルJt についてステップS45の個別の類似度r(p、q、J)を算出した後、制御部11は、算出済みの各負サンプルJt の個別の類似度を画素ペア毎に合計する(ステップS46)。その後、制御部11は、F個の負サンプルJt 1、…、Jt Fの全てについて個別の類似度の算出と画素ペア毎の合計の算出との処理を終了したか否かを判定し(ステップS47)、全ての負サンプルJt 1、…、Jt Fについて処理を終了していない場合には(S47:NO)、ステップS43へ処理を戻して、上述のステップS43〜S46の処理を繰り返し行う。
The processing in steps S43 to S46 is processing that is repeatedly performed for each of F negative samples J t 1 ,..., J t F extracted from the image V t . After calculating individual similarity r in step S45 (p, q, J) to each negative sample J t, the
また、全ての負サンプルJt 1、…、Jt Fについて処理を終了した場合(S47:YES)、制御部11は、ステップS46の繰り返しによって算出された個別の類似度の合計値を画素ペア毎に比較し、ステップS42にて抽出したM組の画素ペアから、類似度の合計値が小さい画素ペアを上位からN組まで選択し(ステップS48)、ペア特徴の取得処理を終了する。ステップS48にて選択されたN組の画素ペアが、正サンプルIt のペア特徴となり、後段の処理で用いられる。
Further, when the processing is completed for all the negative samples J t 1 ,..., J t F (S47: YES), the
以上の構成の変形例1に係る車輌追跡装置1及び車輌追跡プログラム40は、t番目の画像Vt の正サンプルIt から必要数Nより多いM組の画素ペアを予め抽出し、M組の画素ペアから正サンプルIt と負サンプルJt 1、…、Jt Fとをより精度よく判別できるN組の画素ペアを上位から選択する構成とすることにより、演算量を低減しつつ、精度のよい移動体の追跡処理を実現することができる。
The
(変形例2)
上述の実施の形態においては、図8に示したように、t+1番目の画像Vt+1 から移動先候補の画像領域を抽出する際に、抽出位置に応じて異なるサイズの画像領域を抽出し、正サンプルIt と同じサイズに画像領域を調整する構成としたが、これに限るものではない。変形例2に係る車輌追跡装置1は、t+1番目の画像Vt+1 から抽出した移動先候補のサイズに応じて、移動先候補から抽出する画素ペアの抽出位置を調整する構成である。
(Modification 2)
In the above-described embodiment, as illustrated in FIG. 8, when extracting the destination candidate image area from the t + 1-th image V t + 1 , image areas having different sizes are extracted according to the extraction positions. , it is configured to adjust the image area to the same size as the positive samples I t, is not limited thereto. The
図11は、変形例2に係る移動先候補からの画素ペアの抽出方法を説明するための模式図である。例えば、t番目の画像Vt から抽出された正サンプルIt が8画素×8画素の画像領域であるとし、この画像領域において各画素を座標(x、y)で表し、画像領域の横方向がx方向であり、縦方向がy方向であり、左上の画素を座標(1、1)とし、右下の画素を座標(8、8)とする。また、この正サンプルIt からペア特徴として(1、3)→(3、8)の画素ペアと、(6、2)→(5、5)の画素ペアとを抽出したものとする(図11(a)参照)。 FIG. 11 is a schematic diagram for explaining a pixel pair extraction method from movement destination candidates according to the second modification. For example, a positive sample I t extracted from t th image V t is the image area of 8 pixels × 8 pixels, representing each pixel in the image area at coordinates (x, y), the transverse direction of the image area Is the x direction, the vertical direction is the y direction, the upper left pixel is the coordinate (1, 1), and the lower right pixel is the coordinate (8, 8). Further, to a pixel pair as a pair features from the positive sample I t (1,3) → (3,8 ), and that extracts the pixel pair (6,2) → (5,5) (Fig. 11 (a)).
もし、t+1番目の画像Vt+1 から正サンプルIt と同じサイズの画像領域が移動先候補として抽出された場合には、移動先候補から(1、3)→(3、8)の画素ペアと、(6、2)→(5、5)の画素ペアとを抽出して類似度を判定すればよい。これに対して、t+1番目の画像Vt+1 から抽出した移動先候補のサイズが正サンプルIt のサイズと異なる場合、車輌追跡装置1は、正サンプルIt のサイズと移動先候補のサイズとの比率に応じて、移動先候補から抽出する画素ペアの座標を調整する。
If the image area of the same size is extracted as the destination candidate from t + 1 th image V t + 1 positive samples I t is a pixel from the destination candidate (1,3) → (3,8) What is necessary is just to extract a pair and the pixel pair of (6,2)-> (5,5), and determine similarity. In contrast, if the size of the destination candidates extracted from t + 1 th image V t + 1 is different from the size of the positive samples I t,
例えば、移動先候補として16画素×16画素の画像領域が抽出された場合には、移動先候補のサイズは正サンプルIt のサイズに対して縦横にそれぞれ2倍であるため、移動先候補から抽出する画素ペアの座標をx方向及びy方向についてそれぞれ2倍する。即ち、16画素×16画素の移動先候補から、(2、6)→(6、16)の画素ペアと、(12、4)→(10、10)の画素ペアとを抽出する(図11(b)参照)。 For example, since when the image region of 16 × 16 pixels as a destination candidate is extracted, the size of the destination candidates is two-fold, respectively vertically and horizontally relative to the size of the positive samples I t, the destination candidate The coordinates of the pixel pair to be extracted are each doubled in the x direction and the y direction. That is, a pixel pair of (2, 6) → (6, 16) and a pixel pair of (12, 4) → (10, 10) are extracted from the movement destination candidates of 16 pixels × 16 pixels (FIG. 11). (See (b)).
なお、図示は省略するが、移動先候補のサイズが正サンプルIt のサイズより小さい場合も同様であり、例えば移動先候補が正サンプルIt より縦横に1/2倍のサイズであれば、抽出する画素ペアの座標をx方向及びy方向にそれぞれ1/2倍すればよい(端数は切り捨て又は四捨五入等の処理を行う)。 Although not shown, when the size of the destination candidate is smaller than the size of the positive samples I t is also, for example, if the destination candidate is vertically and horizontally half times the size of the positive samples I t, The coordinates of the pixel pair to be extracted may be halved in the x direction and the y direction (fractions are rounded down or rounded off).
以上の構成の変形例2に係る車輌追跡装置1は、t+1番目の画像Vt+1 (追跡先画像)から移動先候補として画像領域を抽出する場合に、画像中の抽出位置に応じて異なるサイズの画像領域を抽出し、正サンプルIt のサイズと移動先候補のサイズとの比率に応じて、移動先候補から抽出する画素ペアの抽出位置を調整することにより、道路上におけるカメラ3の設置位置及び撮像方向等により変化する撮像画像中の移動体のサイズに適した移動先候補の抽出を行うことができ、車輌の追跡を精度よく行うことができる。
The
(変形例3)
上述の実施の形態において、車輌追跡装置1は、カメラ3が撮像した画像の各画素の輝度値に基づいて画素ペアに係る大小関係を取得する構成であるが、これに限るものではない。図12は、変形例3に係る車輌追跡装置1の構成を示すブロック図である。変形例3に係る車輌追跡装置1は、車輌追跡プログラム40中にエッジ画像生成手段47を有している点で、図2に示した車輌追跡装置1と異なる。
(Modification 3)
In the above-described embodiment, the
エッジ画像生成手段47は、カメラ3の撮像画像に対して、撮像画像中の各画素と、この画素に隣接する他の画素との輝度値の勾配(エッジの強度)を算出し、撮像画像の各画素の画素値をエッジ強度としたエッジ画像を生成する。エッジ画像の生成は、例えばゾーベルフィルタなどを用いた画像処理により行うことができる。車輌追跡装置1は、エッジ画像生成手段47が生成したエッジ画像をt番目の画像Vt 、t+1番目の画像Vt+1 …として用いる。以降の車輌追跡処理は上述の手順と同じである。
The edge image generation means 47 calculates the gradient (edge strength) of the luminance value between each pixel in the captured image and the other pixels adjacent to this pixel with respect to the captured image of the
以上の構成の変形例3に係る車輌追跡装置1は、カメラ3の設置環境又は車輌周囲の環境等によって例えば画像が不鮮明であるなど、エッジ画像の方が車輌の特徴を捉えることができる場合に、カメラ3の撮像画像からエッジ画像を生成し、エッジ画像に基づいてペア特徴による車輌追跡を行うことができ、車輌の追跡精度を向上することができる。
The
1 車輌追跡装置(移動体検出装置)
3 カメラ
11 制御部
12 画像入力部
13 A/D変換部
14 画像メモリ
15 通信部
16 記憶部
17 ROM
40 車輌追跡プログラム(コンピュータプログラム)
41 車輌検出手段
42 正サンプル抽出手段(追跡対象サンプル抽出手段)
43 負サンプル抽出手段(周囲サンプル抽出手段)
44 ペア特徴取得手段(追跡対象画素組み合わせ抽出手段、周囲画素組み合わせ抽出手段、判定手段、選別手段)
45 移動先候補抽出手段(画像領域抽出手段、調整手段)
46 移動先決定手段(画素組み合わせ抽出手段、判定手段、移動先決定手段)
47 エッジ画像生成手段(算出手段)
1 Vehicle tracking device (moving object detection device)
3
40 Vehicle tracking program (computer program)
41 Vehicle detection means 42 Positive sample extraction means (tracking target sample extraction means)
43 Negative sample extraction means (ambient sample extraction means)
44 Pair feature acquisition means (tracking target pixel combination extraction means, surrounding pixel combination extraction means, determination means, selection means)
45 Moving destination candidate extraction means (image area extraction means, adjustment means)
46 Movement destination determination means (pixel combination extraction means, determination means, movement destination determination means)
47 Edge image generation means (calculation means)
Claims (10)
前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を、追跡対象サンプルとして抽出する追跡対象サンプル抽出手段と、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を、周囲サンプルとして複数抽出する周囲サンプル抽出手段と、
前記追跡対象サンプル抽出手段が抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出する追跡対象画素組み合わせ抽出手段と、
該追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプル抽出手段が抽出した周囲サンプルから、複数組の画素組み合わせを抽出する周囲画素組み合わせ抽出手段と、
前記追跡対象画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる画素の画素値の大小関係を判定する判定手段と、
該判定手段の判定結果に応じて、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別する選別手段と、
前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出する画像領域抽出手段と、
前記選別手段が選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記画像領域抽出手段が抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出する画素組み合わせ抽出手段と、
該画素組み合わせ抽出手段が抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定する判定手段と、
前記選別手段が選別した画素組み合わせに係る大小関係、及び前記画像領域抽出手段が抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定する移動先決定手段と
を備えること
を特徴とする移動体追跡装置。 Based on a plurality of images captured in time series, in a mobile tracking device that tracks the destination of a mobile in the image,
A tracking target sample extracting means for extracting, as a tracking target sample, an image region of a predetermined size including a moving body from the tracking source image of the plurality of images;
A surrounding sample extracting means for extracting a plurality of image areas of a predetermined size around the tracking target sample as surrounding samples from the tracking source image;
A tracking target pixel combination extraction unit that extracts a plurality of pixel combinations of a plurality of pixels from the tracking target sample extracted by the tracking target sample extraction unit;
A surrounding pixel combination extracting unit that extracts a plurality of sets of pixel combinations from the surrounding samples extracted by the surrounding sample extracting unit according to the extraction position of the pixel combination extracted by the tracking target pixel combination extracting unit;
A determination unit that determines a magnitude relationship between pixel values of pixels included in the pixel combination extracted by the tracking target pixel combination extraction unit and a magnitude relationship between pixel values included in the pixel combination extracted by the surrounding pixel combination extraction unit; ,
In accordance with the determination result of the determination unit, a selection unit that selects a plurality of pixel combinations capable of determining the tracking target sample and the surrounding sample from a plurality of pixel combinations extracted by the tracking target pixel combination extraction unit;
Image region extraction means for extracting a plurality of image regions from the tracking destination image of the plurality of images;
Pixel combination extraction means for extracting a plurality of sets of pixel combinations from each image area extracted by the image area extraction means in accordance with an extraction position of the pixel combination selected by the selection means from the tracking target sample;
Determining means for determining a magnitude relationship between pixel values of each pixel included in the pixel combination extracted by the pixel combination extracting means;
Based on the magnitude relationship related to the pixel combination selected by the selection means and the size relationship related to the pixel combination of each image area extracted by the image area extraction means, a destination to determine the destination image area of the moving object A moving body tracking device comprising: determining means.
を特徴とする請求項1に記載の移動体追跡装置。 The mobile tracking apparatus according to claim 1, wherein the tracking target pixel combination extracting unit extracts a pixel combination of a plurality of pixels having a pixel value difference equal to or greater than a threshold value.
前記選別手段は、前記追跡対象画素組み合わせ抽出手段が抽出した複数の画素組み合わせ群から、前記追跡対象サンプル及び前記周囲サンプルの判別精度が最も高い画素組み合わせ群を選別するようにしてあること
を特徴とする請求項1又は請求項2に記載の移動体追跡装置。 The tracking target pixel combination extracting unit is configured to extract a plurality of pixel combination groups including a predetermined number of pixel combinations,
The selecting means is configured to select a pixel combination group having the highest discrimination accuracy of the tracking target sample and the surrounding sample from a plurality of pixel combination groups extracted by the tracking target pixel combination extracting means. The moving body tracking device according to claim 1 or 2.
を特徴とする請求項1又は請求項2に記載の移動体追跡装置。 The selecting means is configured to select, from a plurality of pixel combinations extracted by the tracking target pixel combination extracting means, a predetermined number of pixel combinations having high discrimination accuracy of the tracking target sample and the surrounding samples. The mobile body tracking device according to claim 1 or 2, wherein
前記画像領域抽出手段が抽出した画像領域のサイズを、前記追跡対象サンプルのサイズへ調整する調整手段を更に備え、
前記画素組み合わせ抽出手段は、前記調整手段が調整した画像領域から画素組み合わせの抽出を行うようにしてあること
を特徴とする請求項1乃至請求項4のいずれか1つに記載の移動体追跡装置。 The image area extraction means is configured to extract image areas of different sizes according to the extraction position in the tracking destination image,
An adjustment unit for adjusting the size of the image region extracted by the image region extraction unit to the size of the tracking target sample;
The mobile object tracking device according to any one of claims 1 to 4, wherein the pixel combination extracting unit extracts a pixel combination from an image region adjusted by the adjusting unit. .
前記画素組み合わせ抽出手段は、前記画像領域抽出手段が抽出した画像領域のサイズ及び前記追跡対象サンプルのサイズの比率に応じて、画素組み合わせに係る画素の抽出位置を調整するようにしてあること
を特徴とする請求項1乃至請求項4のいずれか1つに記載の移動体追跡装置。 The image area extraction means is configured to extract image areas of different sizes according to the extraction position in the tracking destination image,
The pixel combination extracting unit adjusts the extraction position of the pixel related to the pixel combination in accordance with the ratio of the size of the image region extracted by the image region extracting unit and the size of the tracking target sample. The mobile body tracking device according to any one of claims 1 to 4.
前記追跡元画像及び前記追跡先画像は、前記算出手段により画素値がエッジ強度に変換された画像であること
を特徴とする請求項1乃至請求項6のいずれか1つに記載の移動体追跡装置。 A calculation means for calculating the edge strength of the image;
The moving body tracking according to any one of claims 1 to 6, wherein the tracking source image and the tracking destination image are images in which pixel values are converted into edge intensity by the calculation unit. apparatus.
前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出し、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、
抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、
前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、
前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、
大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、
前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出し、
選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、
抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、
選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定すること
を特徴とする追跡方法。 In a tracking method for tracking a moving destination of a moving object in the image based on a plurality of images captured in time series,
From the tracking source image of the plurality of images, an image region of a predetermined size including a moving object is extracted as a tracking target sample,
From the tracking source image, a plurality of image areas of a predetermined size around the tracking target sample are extracted as surrounding samples,
Extract multiple sets of pixel combinations from multiple extracted pixels from the sample to be tracked,
According to the extraction position of the pixel combination extracted from the tracking target sample, a plurality of pixel combinations are extracted from the surrounding sample,
Determining the magnitude relationship between the pixel values of the pixels included in the pixel combination extracted from the tracking target sample and the magnitude relationship between the pixel values included in the pixel combination extracted from the surrounding samples,
According to the determination result of the magnitude relationship, a plurality of pixel combinations that can discriminate the tracking target sample and the surrounding samples are selected from a plurality of pixel combinations extracted from the tracking target sample,
Extracting a plurality of image regions from the tracking destination image of the plurality of images,
According to the extraction position of the selected pixel combination from the tracking target sample, each of a plurality of pixel combinations is extracted from each image region extracted from the tracking destination image,
Determine the magnitude relationship of the pixel values of each pixel included in the extracted pixel combination,
A tracking method comprising: determining an image area to which the moving object is moved based on a magnitude relation relating to a selected pixel combination and a magnitude relation relating to a pixel combination of each extracted image area.
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出し、
抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出し、
前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出し、
前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定し、
大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別し、
追跡先画像から、複数の画像領域を抽出し、
選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出し、
抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定し、
選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記追跡対象サンプルの移動先の画像領域を決定すること
を特徴とする追跡方法。 From the tracking source image, extract an image area of a predetermined size as a tracking target sample,
From the tracking source image, a plurality of image areas of a predetermined size around the tracking target sample are extracted as surrounding samples,
Extract multiple sets of pixel combinations from multiple extracted pixels from the sample to be tracked,
According to the extraction position of the pixel combination extracted from the tracking target sample, a plurality of pixel combinations are extracted from the surrounding sample,
Determining the magnitude relationship between the pixel values of the pixels included in the pixel combination extracted from the tracking target sample and the magnitude relationship between the pixel values included in the pixel combination extracted from the surrounding samples,
According to the determination result of the magnitude relationship, a plurality of pixel combinations that can discriminate the tracking target sample and the surrounding samples are selected from a plurality of pixel combinations extracted from the tracking target sample,
Extract multiple image areas from the tracking destination image,
According to the extraction position of the selected pixel combination from the tracking target sample, each of a plurality of pixel combinations is extracted from each image region extracted from the tracking destination image,
Determine the magnitude relationship of the pixel values of each pixel included in the extracted pixel combination,
A tracking method comprising: determining an image area to which the tracking target sample is moved based on a magnitude relation relating to the selected pixel combination and a magnitude relation relating to the pixel combination of each extracted image area.
前記移動体追跡ステップが、
前記複数の画像のうちの追跡元画像から、移動体を含む所定サイズの画像領域を追跡対象サンプルとして抽出させるステップと、
前記追跡元画像から、前記追跡対象サンプルの周囲の所定サイズの画像領域を周囲サンプルとして複数抽出させるステップと、
抽出した追跡対象サンプルから、複数の画素による画素組み合わせを複数組抽出させるステップと、
前記追跡対象サンプルから抽出した画素組み合わせの抽出位置に応じて、前記周囲サンプルから複数組の画素組み合わせを抽出させるステップと、
前記追跡対象サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係及び前記周囲サンプルから抽出した画素組み合わせに含まれる画素の画素値の大小関係をそれぞれ判定させるステップと、
大小関係の判定結果に応じて、前記追跡対象サンプルから抽出した複数の画素組み合わせから、前記追跡対象サンプル及び前記周囲サンプルを判別し得る複数の画素組み合わせを選別させるステップと、
前記複数の画像のうちの追跡先画像から、複数の画像領域を抽出させるステップと、
選別した画素組み合わせの前記追跡対象サンプルからの抽出位置に応じて、前記追跡先画像から抽出した各画像領域から、複数組の画素組み合わせをそれぞれ抽出させるステップと、
抽出した画素組み合わせに含まれる各画素の画素値の大小関係を判定させるステップと、
選別した画素組み合わせに係る大小関係、及び抽出した各画像領域の画素組み合わせに係る大小関係を基に、前記移動体の移動先の画像領域を決定させるステップと
を含むこと
を特徴とするコンピュータプログラム。 In a computer program for causing a computer to execute a moving body tracking step for tracking a moving destination of a moving body in the image based on a plurality of images captured in time series,
The moving object tracking step includes:
Extracting a predetermined size image area including a moving object as a tracking target sample from the tracking source image of the plurality of images;
Extracting a plurality of image areas of a predetermined size around the sample to be tracked as surrounding samples from the tracking source image;
Extracting a plurality of pixel combinations of a plurality of pixels from the extracted tracking target sample;
Extracting a plurality of sets of pixel combinations from the surrounding samples according to an extraction position of the pixel combination extracted from the tracking target sample;
Determining the magnitude relationship between the pixel values of the pixels included in the pixel combination extracted from the tracking target sample and the magnitude relationship between the pixel values included in the pixel combination extracted from the surrounding samples;
Selecting a plurality of pixel combinations capable of discriminating the tracking target sample and the surrounding samples from a plurality of pixel combinations extracted from the tracking target sample according to a determination result of the magnitude relationship;
Extracting a plurality of image regions from a tracking destination image of the plurality of images;
Extracting each of a plurality of sets of pixel combinations from each image region extracted from the tracking destination image according to an extraction position of the selected pixel combination from the tracking target sample;
Determining a magnitude relationship between pixel values of each pixel included in the extracted pixel combination;
And a step of determining an image area to which the moving object is moved based on a magnitude relation relating to the selected pixel combination and a magnitude relation relating to the extracted pixel combination of each image area.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009272578A JP5344618B2 (en) | 2009-11-30 | 2009-11-30 | MOBILE BODY TRACKING DEVICE, TRACKING METHOD, AND COMPUTER PROGRAM |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009272578A JP5344618B2 (en) | 2009-11-30 | 2009-11-30 | MOBILE BODY TRACKING DEVICE, TRACKING METHOD, AND COMPUTER PROGRAM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011118450A JP2011118450A (en) | 2011-06-16 |
JP5344618B2 true JP5344618B2 (en) | 2013-11-20 |
Family
ID=44283750
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009272578A Expired - Fee Related JP5344618B2 (en) | 2009-11-30 | 2009-11-30 | MOBILE BODY TRACKING DEVICE, TRACKING METHOD, AND COMPUTER PROGRAM |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5344618B2 (en) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592288B (en) * | 2012-01-04 | 2014-07-02 | 西安理工大学 | Method for matching pursuit of pedestrian target under illumination environment change condition |
KR101912453B1 (en) * | 2012-02-17 | 2018-10-26 | 현대모비스 주식회사 | Apparatus And Method Detectinc Obstacle And Alerting Collision |
JP6347155B2 (en) * | 2014-05-26 | 2018-06-27 | 富士通株式会社 | Image processing apparatus, image determination method, and program |
KR102172849B1 (en) * | 2018-12-24 | 2020-11-02 | 안동대학교 산학협력단 | Detecting system for approaching vehicle in video and method thereof |
CN111709328B (en) * | 2020-05-29 | 2023-08-04 | 北京百度网讯科技有限公司 | Vehicle tracking method and device and electronic equipment |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4482796B2 (en) * | 2004-03-26 | 2010-06-16 | ソニー株式会社 | Information processing apparatus and method, recording medium, and program |
US20060147105A1 (en) * | 2005-01-05 | 2006-07-06 | Lee Shih-Jong J | Alignment template goodness qualification method |
JP5181781B2 (en) * | 2008-03-31 | 2013-04-10 | 富士通株式会社 | Image tracking device, image tracking method, and image tracking program |
-
2009
- 2009-11-30 JP JP2009272578A patent/JP5344618B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011118450A (en) | 2011-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | CCTSDB 2021: a more comprehensive traffic sign detection benchmark | |
Arth et al. | Real-time license plate recognition on an embedded DSP-platform | |
Choi et al. | Thermal image enhancement using convolutional neural network | |
KR101758684B1 (en) | Apparatus and method for tracking object | |
CN102509098B (en) | Fisheye image vehicle identification method | |
Zhang et al. | Vehicle detection in the aerial infrared images via an improved Yolov3 network | |
KR101240469B1 (en) | Object recognition system, sysetm for recognizing obstacle for a vehicle and method thereof | |
CN110730966B (en) | System and method for pedestrian detection | |
US20110222774A1 (en) | Image feature detection based on application of multiple feature detectors | |
Alonso et al. | Robust vehicle detection through multidimensional classification for on board video based systems | |
JP5344618B2 (en) | MOBILE BODY TRACKING DEVICE, TRACKING METHOD, AND COMPUTER PROGRAM | |
CN104239867A (en) | License plate locating method and system | |
KR101409340B1 (en) | Method for traffic sign recognition and system thereof | |
JP2018063680A (en) | Traffic signal recognition method and traffic signal recognition device | |
JP5388291B2 (en) | Discriminator generation method, computer program, discriminator generation device, and predetermined object detection device | |
Tschentscher et al. | Video-based parking space detection | |
KR101026778B1 (en) | Vehicle image detection apparatus | |
WO2013026205A1 (en) | System and method for detecting and recognizing rectangular traffic signs | |
Fusek et al. | Adaboost for parking lot occupation detection | |
JP5115390B2 (en) | Mobile object identification device, computer program, and learning method of mobile object identification device | |
CN112926463B (en) | Target detection method and device | |
KR101553012B1 (en) | Apparatus and method for extracting object | |
JP2013037549A (en) | Moving object detector, computer program, and moving object detection method | |
Al-Refai et al. | A framework for background modeling using vehicle-to-infrastructure communication for improved candidate generation in pedestrian detection | |
KR20190143525A (en) | A Method of Detecting Character Data through a Adaboost Learning Method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121121 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20121122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130808 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130912 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |