JPH1049662A - Device for discriminating vehicle - Google Patents
Device for discriminating vehicleInfo
- Publication number
- JPH1049662A JPH1049662A JP8219342A JP21934296A JPH1049662A JP H1049662 A JPH1049662 A JP H1049662A JP 8219342 A JP8219342 A JP 8219342A JP 21934296 A JP21934296 A JP 21934296A JP H1049662 A JPH1049662 A JP H1049662A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- feature
- perspective
- transformed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】この発明は、道路上などに位置す
る車輌を観測するのに用いられる車輌観測装置に関連す
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle observation device used for observing a vehicle located on a road or the like.
【０００２】[0002]
【従来の技術】近年、道路の上方にカメラを設置して道
路上の所定位置を撮像し、得られた画像から車輌を示す
特徴を抽出し、その抽出結果の時間的な推移から道路上
における車輌の流れを計測する交通流計測装置が開発さ
れている。2. Description of the Related Art In recent years, a camera is installed above a road to image a predetermined position on the road, and a feature indicating a vehicle is extracted from the obtained image. A traffic flow measuring device for measuring the flow of a vehicle has been developed.
【０００３】前記した車輌の特徴を抽出する代表的な方
法としては、入力画像の背景差分をとる方法があげられ
る。この方法は、あらかじめ背景画像として道路上に対
象物が存在しない画像を記憶しておき、カメラからの画
像とこの背景画像との差分を車輌の画像部分として抽出
するものである（以下この方法を「背景差分法」とい
う）。As a typical method for extracting the characteristics of a vehicle, there is a method of obtaining a background difference of an input image. In this method, an image in which an object does not exist on a road is stored in advance as a background image, and a difference between an image from a camera and the background image is extracted as an image portion of a vehicle (hereinafter, this method is referred to as a method). "Background subtraction method").
【０００４】上記の背景差分法のほかには、１フレーム
前の入力画像を記憶しておき、現フレームの入力画像か
らこの直前の入力画像を差し引いて道路上の車輌の位置
の変化を抽出する方法（以下「フレーム差分法」とい
う）や、入力画像に空間微分を施して車輌の輪郭を示す
エッジ成分を抽出する方法（以下「空間差分法」とい
う）などがある。In addition to the above-described background subtraction method, the input image of one frame before is stored, and the change of the position of the vehicle on the road is extracted by subtracting the immediately preceding input image from the input image of the current frame. There is a method (hereinafter, referred to as a “frame difference method”) and a method of performing an spatial differentiation on an input image to extract an edge component indicating a contour of a vehicle (hereinafter, referred to as a “spatial difference method”).
【０００５】[0005]
【発明が解決しようとする課題】背景差分法は、あらか
じめ記憶された背景画像と異なる部分が抽出されること
になるので、実際の車輌の画像部分のみならず、車輌の
影の画像を誤抽出してしまうという問題が生じる。この
問題を解決するために、差分値が負値をとる特徴は車輌
として認識しないように設定することが提案されている
が、この方法を用いると、色彩の濃い車輌を検出するこ
とができなくなる。In the background subtraction method, a portion different from the background image stored in advance is extracted, so that not only the image portion of the actual vehicle but also the image of the shadow of the vehicle is erroneously extracted. Problem arises. In order to solve this problem, it has been proposed to set a feature whose difference value is a negative value so as not to be recognized as a vehicle. However, if this method is used, a vehicle with a dark color cannot be detected. .
【０００６】フレーム差分法や空間差分法を用いた場合
も、上記と同様、車輌の影が誤抽出されるという問題が
生じるため、道路上の車輌の台数や車種を正確に判別す
ることなど、到底不可能である。[0006] Even in the case of using the frame difference method or the spatial difference method, there is a problem that the shadow of the vehicle is erroneously extracted as in the above case. Therefore, it is necessary to accurately determine the number and type of vehicles on the road. It is impossible at all.
【０００７】この発明は上記問題に着目してなされたも
ので、観測位置を撮像して得られた２次元画像を、道路
面などの車輌の支持面を含む仮想水平面上に透視変換
し、この透視変換された画像上の特徴を用いて車輌を正
確に判別することを技術課題とする。The present invention has been made in view of the above-mentioned problem. A two-dimensional image obtained by imaging an observation position is perspective-transformed onto a virtual horizontal plane including a vehicle support surface such as a road surface. It is an object of the present invention to accurately determine a vehicle using features on a perspective-transformed image.
【０００８】[0008]
【課題を解決するための手段】所定の観測位置を撮像し
て得られた画像を、車輌の支持面を含む仮想水平面上に
透視変換すると、高さのある対象物の画像部分は、この
対象物の実際の位置に対応する点から離れた場所に投影
される。この投影点の位置ずれ量は、ｚ座標が大きくな
るほど、また空間座標点が視点から離れるほど、大きく
なるので、車輌など高さデータを有する対象物を透視変
換すると、実際の対象物より歪んだ形状の特徴が得られ
る。一方、影など車輌の支持面上にある２次元対象物
は、その対象物の実際の位置に投影されるため、透視変
換後も、実際の対象物を真上から観察した場合と同様の
形状，大きさの特徴が得られる。When an image obtained by imaging a predetermined observation position is perspective-transformed onto a virtual horizontal plane including a support surface of a vehicle, an image portion of a tall object is converted to an image portion of the object. It is projected at a point away from a point corresponding to the actual position of the object. The displacement amount of the projection point increases as the z coordinate increases and the spatial coordinate point moves away from the viewpoint, so that when the object having height data, such as a vehicle, is perspective-transformed, the displacement is distorted from the actual object. Shape features are obtained. On the other hand, a two-dimensional object, such as a shadow, on the support surface of the vehicle is projected onto the actual position of the object, so that even after perspective transformation, the shape is the same as when the actual object is observed from directly above , Size characteristics can be obtained.
【０００９】各請求項にかかる発明は、上記の原理を用
いてなされたもので、請求項１にかかる車輌判別装置
は、前記観測位置を撮像して得られた２次元画像を入力
する画像入力手段と、入力された２次元画像を車輌の支
持面を含む仮想水平面上に透視変換する画像変換手段
と、前記画像変換手段により透視変換された画像につい
て特徴抽出を行う特徴抽出手段と、前記特徴抽出手段に
よる抽出結果を用いて前記観測位置における車輌を判別
する判別手段とを備えている。The invention according to each claim is made using the above principle, and the vehicle discriminating apparatus according to claim 1 is an image inputting apparatus for inputting a two-dimensional image obtained by imaging the observation position. Means, image conversion means for perspectively transforming the input two-dimensional image on a virtual horizontal plane including a support surface of the vehicle, feature extraction means for performing feature extraction on the image perspectively transformed by the image transformation means, A determination unit configured to determine a vehicle at the observation position using an extraction result obtained by the extraction unit.
【００１０】請求項２の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像と、前
記観測位置における背景画像の透視変換画像との差分処
理により特徴抽出を行うように構成される。[0010] In the second aspect of the present invention, the feature extracting means is configured to perform feature extraction by a difference process between a perspective-transformed image of the background image at the observation position and an image perspective-transformed by the image converting means. Is done.
【００１１】請求項３の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像からエ
ッジ成分を抽出し、抽出された各エッジ成分のうち、所
定の距離範囲内にあるエッジ成分を統合した結果を透視
変換画像上の特徴とするように構成される。According to a third aspect of the present invention, the feature extracting means extracts an edge component from the image which has been perspectively transformed by the image transforming means, and an edge component within a predetermined distance range among the extracted edge components. The result of integrating the components is configured to be a feature on the perspective transformed image.
【００１２】請求項４の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像と、１
段階前に透視変換された入力画像との差分により画像上
の変動部分を求めた後、これら変動部分のうち所定の距
離範囲内にある変動部分を統合した結果を透視変換画像
上の特徴とするように構成される。[0012] In the invention according to claim 4, the feature extracting means includes an image which is perspective-transformed by the image converting means,
After calculating the fluctuating parts on the image based on the difference from the input image that has been perspective-transformed before the stage, the result of integrating the fluctuating parts within a predetermined distance range among these fluctuating parts is used as the feature on the perspective-transformed image It is configured as follows.
【００１３】請求項５の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像につい
て、２種類以上の方法を用いて画像上の特徴を抽出した
後、各方法による抽出結果を統合するように構成され
る。In the invention of claim 5, the feature extracting means extracts features on the image, which have been perspectively transformed by the image transforming means, by using two or more types of methods, and then extracts the result of each method. It is configured to integrate
【００１４】請求項６の発明では、前記判別手段は、前
記特徴抽出手段により抽出された各特徴を、前記仮想水
平面上に所定の車輌モデルを透視変換して得られる特徴
と比較し、その比較結果に基づき前記観測位置における
車輌を判定する。In the invention according to claim 6, the discriminating means compares each feature extracted by the feature extracting means with a feature obtained by performing a perspective transformation of a predetermined vehicle model on the virtual horizontal plane. The vehicle at the observation position is determined based on the result.
【００１５】請求項７の発明にかかる車輌判別装置は、
前記と同様の画像入力手段および画像変換手段と、画像
変換手段により透視変換された入力画像について車頭部
分の画像候補となる特徴を抽出する特徴抽出手段と、前
記特徴抽出手段により抽出された各特徴間の距離を、前
記仮想水平面上に所定の車輌モデルを透視変換して得ら
れる特徴の大きさと比較して、各特徴が車頭部分の画像
であるか否かを判別する判別手段とを備えている。According to a seventh aspect of the present invention, there is provided a vehicle discriminating apparatus.
Image input means and image conversion means similar to those described above, feature extraction means for extracting features that are image candidates for a vehicle head portion of the input image perspective-transformed by the image conversion means, and features extracted by the feature extraction means Comparing the distance between them with the size of a feature obtained by performing a perspective transformation of a predetermined vehicle model on the virtual horizontal plane, and determining whether or not each feature is an image of a vehicle head portion. I have.
【００１６】請求項８の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像と、前
記観測位置における背景画像の透視変換画像との差分画
像より、前記特徴を抽出するように構成される。According to an eighth aspect of the present invention, the feature extracting means extracts the feature from a difference image between the image transformed by the image transforming means and the perspective transformed image of the background image at the observation position. It is composed of
【００１７】請求項９の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像上で、
車輌の幅方向におけるエッジ成分を、前記特徴として抽
出するように構成される。In the ninth aspect of the present invention, the feature extracting means includes a step of:
An edge component in the width direction of the vehicle is configured to be extracted as the feature.
【００１８】請求項１０の発明では、前記特徴抽出手段
は、前記画像変換手段により透視変換された画像と、１
段階前に透視変換された入力画像との差分処理により透
視変換画像上の変動部分を、前記特徴として抽出する。According to a tenth aspect of the present invention, the feature extracting means includes an image which is perspective-transformed by the image converting means,
A change portion on the perspective transformed image is extracted as the feature by a difference process with the input image that has been perspective transformed before the stage.
【００１９】請求項１１の発明は、道路上を走行する車
輌を判別するための装置であって、道路上の観測位置を
撮像して得られた２次元画像を入力する画像入力手段
と、入力された２次元画像を道路面を含む仮想水平面上
に透視変換する画像変換手段と、前記画像変換手段によ
り透視変換された画像について特徴抽出を行う特徴抽出
手段と、前記特徴抽出手段により抽出された各特徴を用
いて道路上に車輌が存在するか否かを仮判別する仮判別
手段と、過去複数回の入力画像についての仮判別結果を
記憶する記憶手段と、前記記憶手段に記憶された各入力
画像毎の仮判別結果を追跡して、道路上に車輌が存在す
るか否かを最終的に判別する最終判別手段とを備えてい
る。An invention according to claim 11 is an apparatus for discriminating a vehicle traveling on a road, comprising: image input means for inputting a two-dimensional image obtained by imaging an observation position on the road; Image transformation means for perspectively transforming the obtained two-dimensional image onto a virtual horizontal plane including a road surface, feature extraction means for performing feature extraction on the image perspectively transformed by the image transformation means, and the feature extraction means A provisional determination means for temporarily determining whether or not a vehicle exists on the road using each feature; a storage means for storing a provisional determination result for a plurality of past input images; and a storage means for storing each of the storage means in the storage means. A final discriminating means is provided for tracing a temporary discrimination result for each input image and finally discriminating whether or not a vehicle exists on the road.
【００２０】[0020]
【作用】請求項１の発明では、観測位置における２次元
画像を車輌の支持面を含む仮想水平面上に透視変換した
後、この透視変換画像についての特徴抽出結果により観
測位置における車輌を判別するようにしたので、観測位
置における車輌の高さを反映した特徴を用いて、車輌と
影などの２次元対象物とを明確に区別して認識すること
が可能となる。According to the first aspect of the present invention, the two-dimensional image at the observation position is perspective-transformed onto a virtual horizontal plane including the support surface of the vehicle, and then the vehicle at the observation position is determined based on the feature extraction result of the perspective transformed image. Therefore, it is possible to clearly distinguish and recognize a vehicle and a two-dimensional object such as a shadow using a feature reflecting the height of the vehicle at the observation position.
【００２１】請求項２の発明では、入力画像を透視変換
して得られる画像と、観測位置における背景画像の透視
変換画像との差分をとることにより、背景になかった画
像部分が特徴として抽出される。According to the second aspect of the present invention, the difference between the image obtained by performing the perspective transformation of the input image and the perspective transformation image of the background image at the observation position is obtained, so that the image portion not existing in the background is extracted as a feature. You.
【００２２】請求項３の発明では、入力画像を透視変換
して得られる画像上で、所定の距離範囲内にあるエッジ
成分を統合した結果が、特徴として抽出される。また請
求項４の発明では、透視変換画像上における１段階前の
透視変換画像に対する変動部分のうち、所定の距離範囲
内にある変動部分を統合した結果が特徴として抽出され
る。According to the third aspect of the present invention, a result obtained by integrating edge components within a predetermined distance range on an image obtained by performing a perspective transformation on an input image is extracted as a feature. According to the fourth aspect of the present invention, a result obtained by integrating the variable portions within a predetermined distance range among the variable portions with respect to the perspective transformed image one stage before on the perspective transformed image is extracted as a feature.
【００２３】請求項５の発明では、２種類以上の方法に
より透視変換画像上の特徴を抽出した後、各抽出結果を
統合することにより、特徴の抽出精度の向上がはかられ
る。According to the fifth aspect of the present invention, the feature extraction accuracy is improved by extracting the features on the perspective transformed image by two or more methods and integrating the extracted results.
【００２４】請求項６の発明では、透視変換画像上で抽
出された特徴を、仮想水平面上に所定の車輌モデルを透
視変換して得られる特徴と比較した結果により、観測位
置における車輌の判別が行われる。According to the sixth aspect of the present invention, the feature of the vehicle extracted at the observation position can be determined based on the result of comparing the feature extracted on the perspective transformed image with the feature obtained by performing a perspective transform of a predetermined vehicle model on a virtual horizontal plane. Done.
【００２５】請求項７の発明では、観測位置における入
力画像を透視変換した後、この透視変換画像から車頭部
分の画像候補となる特徴を抽出し、各特徴間の距離を前
記と同様の車輌モデルの透視変換結果と比較して、各特
徴が車頭部分に対応するものか否かを判別するので、夕
暮れ時など車輌全体を１つの特徴として抽出できなくな
った場合にも、車輌１台，１台を正確に判別することが
できる。According to the seventh aspect of the present invention, after the input image at the observation position is perspective-transformed, features which are image candidates for the vehicle head portion are extracted from the perspective-transformed image, and the distance between the features is determined by the same vehicle model as described above. It is determined whether each feature corresponds to the head portion of the vehicle by comparing with the perspective transformation result of. Therefore, even when the entire vehicle cannot be extracted as one feature such as at sunset, one vehicle, one vehicle Can be accurately determined.
【００２６】請求項８の発明では、前記透視変換画像と
背景画像の透視変換画像との差分処理により、車頭候補
となる特徴が抽出される。また請求項９の発明では、透
視変換画像上の車輌の幅方向におけるエッジ成分が、請
求項１０の発明では、１段階前の透視変換画像に対する
変動部分が、それぞれ車頭候補となる特徴として抽出さ
れる。According to the eighth aspect of the present invention, a feature to be a candidate for a vehicle head is extracted by a difference process between the perspective transformed image and the perspective transformed image of the background image. According to the ninth aspect of the present invention, the edge component in the width direction of the vehicle on the perspective transformed image is extracted as the feature to be a candidate for the head of the vehicle, and the changing part with respect to the perspective transformed image of the previous stage is extracted as the vehicle head candidate. You.
【００２７】請求項１１の発明は、道路上の所定位置を
撮像し、各段階における入力画像について、それぞれ請
求項１と同様の方法を用いて、道路上に車輌が存在する
か否かが仮判別される。この仮判別結果は記憶手段に順
次記憶され、最終的に各入力画像毎の判別結果を追跡す
ることにより最終的な判定が行われる。これにより車輌
が撮像位置に近づくにつれ、車輌と影との透視変換結果
に差異が認められなくなるという問題が解消される。According to an eleventh aspect of the present invention, a predetermined position on a road is imaged, and for each input image at each stage, it is temporarily determined whether or not a vehicle exists on the road by using the same method as in the first aspect. Is determined. The provisional determination results are sequentially stored in the storage means, and the final determination is performed by finally tracing the determination results for each input image. This solves the problem that as the vehicle approaches the imaging position, no difference is recognized in the perspective transformation result between the vehicle and the shadow.
【００２８】[0028]
【発明の実施の形態】図１に、この発明にかかる車輌判
別装置が組み込まれた交通流計測装置の設置例を示すと
共に、この車輌判別処理の原理を図２〜図９および数式
（１）〜（４４）を用いて説明する。さらに図１０，１
１，１５，１８，１９，２１，２２，２５により、上記
各請求項にかかる車輌判別装置の好適な実施例を説明す
る。FIG. 1 shows an example of installation of a traffic flow measuring device incorporating a vehicle discriminating device according to the present invention, and the principle of this vehicle discriminating process is shown in FIGS. This will be described with reference to (44). Further, FIGS.
Preferred embodiments of the vehicle discriminating apparatus according to the above claims will be described with reference to 1, 15, 18, 19, 21, 22, 25.
【００２９】[0029]
【実施例】図１は、交通流計測装置の一設置例を示す。
この交通流計測装置は、道路３０の近傍に支柱３１を配
備し、この支柱３１の上部位置にカメラ３２を、下部位
置に制御ボックス３３を、それぞれ取り付けて構成され
るもので、制御ボックス３３の内部には、この発明にか
かる車輌判別装置や計測装置が組み込まれている。FIG. 1 shows an example of installation of a traffic flow measuring device.
This traffic flow measuring device is configured by disposing a support 31 near a road 30 and mounting a camera 32 at an upper position of the support 31 and a control box 33 at a lower position thereof. The vehicle discriminating device and the measuring device according to the present invention are incorporated therein.
【００３０】この実施例の車輌判別装置は、カメラ３２
より入力された２次元画像をフレーム単位で道路３０上
の仮想水平面上に透視変換し、この透視変換画像につい
て後記する特徴抽出処理や車輌の判別処理を実行し、さ
らにこの判別結果を、道路上の車輌の位置データに編集
して計測装置へと出力する。計測装置は、各フレーム毎
に入力されるデータの時間的な推移により、道路上の車
輌の流れを示すデータを作成し、図示しないセンター装
置などに伝送する。The vehicle discriminating apparatus according to this embodiment includes a camera 32
The input two-dimensional image is perspective-transformed on a virtual horizontal plane on the road 30 on a frame-by-frame basis, and a feature extraction process and a vehicle discrimination process, which will be described later, are performed on the perspective-transformed image. The position data of the vehicle is edited and output to the measuring device. The measurement device creates data indicating the flow of the vehicle on the road based on the temporal transition of data input for each frame, and transmits the data to a center device (not shown) or the like.
【００３１】前記透視変換処理は、あらかじめ所定の位
置（例えば前記支柱の設置位置）を原点とする空間座標
系（以下単に「空間座標系」という）を定めておき、こ
の空間座標系に対するカメラ座標系の回転角度により決
定されるパラメータを用いて、入力画像上の各画素を前
記仮想水平面上の所定位置へと変換するものである。前
記パラメータは、計測処理に先立ち、空間座標が既知の
点を用いたキャリブレーションによりカメラ座標系の回
転角度を算出した後、さらにこの算出結果を後記する
（２８）〜（３５）式にあてはめることにより算出され
る。In the perspective transformation processing, a spatial coordinate system (hereinafter simply referred to as a "spatial coordinate system") having a predetermined position (for example, the installation position of the column) as an origin is determined in advance, and camera coordinates with respect to this spatial coordinate system are determined. Each pixel on the input image is converted to a predetermined position on the virtual horizontal plane using a parameter determined by the rotation angle of the system. Prior to the measurement processing, the rotation angle of the camera coordinate system is calculated by calibration using a point whose spatial coordinates are known, and the calculation result is further applied to equations (28) to (35) described later. Is calculated by
【００３２】つぎに図２を用いて、前記車輌判別装置に
よる透視変換処理および前記パラメータの算出処理の原
理を、順を追って説明する。図２中、Ｘw ，Ｙw ，Ｚw
の各軸で示される座標系は前記した空間座標系を、
Ｘc ，Ｙc ，Ｚc の各軸で示される座標系は前記カメラ
座標系を、それぞれ示す。またＯはカメラの撮像位置
を、Ａは空間中の任意の１点を、それぞれ示す。Next, with reference to FIG. 2, the principle of the perspective transformation processing and the parameter calculation processing by the vehicle discriminating apparatus will be described step by step. In FIG. 2, X w , Y w , and Z w
The coordinate system indicated by each axis of the above-mentioned spatial coordinate system,
X c, Y c, the coordinate system is the camera coordinate system represented by the axes of Z c, respectively. In addition, O indicates an imaging position of the camera, and A indicates an arbitrary point in space.
【００３３】いま前記中心点Ｏがカメラ座標系の原点Ｏ
c （０，０，０）に対応しており、空間座標系のＸw ，
Ｙw ，Ｚw 各軸に対しカメラ座標系のＸc ，Ｙc ，Ｚc
軸がそれぞれ角度α，β，γだけ回転していると想定す
ると、点Ｏの空間座標を（ｘ0 ，ｙ0 ，ｚ0 ），点Ａの
空間座標を（ｘA ，ｙA ，ｚA ）としたときの点Ａのカ
メラ座標（ｘ1 ，ｙ1 ，ｚ1 ）は、これら回転角度α，
β，γにより決定されるパラメータｓ1 ，ｓ2 ，ｓ3 ，
ｔ1 ，ｔ2 ，ｔ3 ，ｕ1 ，ｕ2 ，ｕ3 に基づき、つぎの
（１）〜（３）で表される。なお上記各パラメータは、
それぞれ（４）〜（１２）式で表される。また前記
ｘ1 ，ｙ1 は、点Ａの入力画像上の対応点Ａ´のｘ，ｙ
座標に、ｚ1 はカメラの焦点距離Ｆに、それぞれ相当す
る。Now, the center point O is the origin O of the camera coordinate system.
c (0,0,0), and X w ,
Y w, Z w X c of the camera coordinate system for each axis, Y c, Z c
Assuming that the axes are rotated by angles α, β, γ, respectively, the spatial coordinates of point O are (x 0 , y 0 , z 0 ) and the spatial coordinates of point A are (x A , y A , z A ), The camera coordinates (x 1 , y 1 , z 1 ) of the point A are these rotation angles α,
parameters s 1 , s 2 , s 3 , determined by β and γ,
Based on t 1 , t 2 , t 3 , u 1 , u 2 , u 3 , they are represented by the following (1) to (3). The above parameters are
These are represented by equations (4) to (12), respectively. Further, x 1 and y 1 are x and y of the corresponding point A ′ on the input image of point A.
The coordinates and z 1 correspond to the focal length F of the camera, respectively.
【００３４】[0034]
【数１】 (Equation 1)
【００３５】[0035]
【数２】 (Equation 2)
【００３６】[0036]
【数３】 (Equation 3)
【００３７】[0037]
【数４】 (Equation 4)
【００３８】[0038]
【数５】 (Equation 5)
【００３９】[0039]
【数６】 (Equation 6)
【００４０】[0040]
【数７】 (Equation 7)
【００４１】[0041]
【数８】 (Equation 8)
【００４２】[0042]
【数９】 (Equation 9)
【００４３】[0043]
【数１０】 (Equation 10)
【００４４】[0044]
【数１１】 [Equation 11]
【００４５】[0045]
【数１２】 (Equation 12)
【００４６】一方、直線ＯＡ，および道路３０を含む仮
想水平面は、それぞれつぎの（１３）（１４）式により
表される。On the other hand, the virtual horizontal plane including the straight line OA and the road 30 is expressed by the following equations (13) and (14), respectively.
【００４７】[0047]
【数１３】 (Equation 13)
【００４８】[0048]
【数１４】 [Equation 14]
【００４９】いま前記点Ａ´を含む画像を前記仮想水平
面上に透視変換するものとすると、点Ａ´は前記直線Ｏ
Ａと仮想水平面との交点Ｂ（ｘB ，ｙB ，０）の位置に
投影される。したがって前記（１３）（１４）式より、
ｘB ，ｙB は、つぎの（１５）（１６）式で表されるNow, assuming that the image including the point A ′ is to be perspective-transformed on the virtual horizontal plane, the point A ′ is
Intersection of the A and the virtual horizontal plane B (x B, y B, 0) is projected at the position of. Therefore, from the above equations (13) and (14),
x B and y B are represented by the following equations (15) and (16).
【００５０】[0050]
【数１５】 (Equation 15)
【００５１】[0051]
【数１６】 (Equation 16)
【００５２】さらにｘ´＝ｘA −ｘ0 ／ｚA −ｚ0 , ｙ
´＝ｙA −ｙ0 ／ｚA −ｚ0 ，ｚ´＝１／ｚA −ｚ0 と
おくと、前記（１）〜（３）式および（１５）（１６）
式は、それぞれ（１７）〜（２１）式に変形される。[0052] In addition x'= x A -x 0 / z A -z 0, y
'= Y A -y 0 / z A -z 0, by placing the z'= 1 / z A -z 0 , (1) to (3) and (15) (16)
The equations are respectively transformed into equations (17) to (21).
【００５３】[0053]
【数１７】 [Equation 17]
【００５４】[0054]
【数１８】 (Equation 18)
【００５５】[0055]
【数１９】 [Equation 19]
【００５６】[0056]
【数２０】 (Equation 20)
【００５７】[0057]
【数２１】 (Equation 21)
【００５８】上記（１７）〜（１９）式よりｚ´を消去
することにより、ｘ´，ｙ´は、それぞれつぎの（２
２）（２３）式により表される。さらにこの（２２）
（２３）式を用いて前記（２０）（２１）式を変形する
ことにより、（２４）（２５）式が得られる。By eliminating z ′ from the above equations (17) to (19), x ′ and y ′ can be changed to the following (2)
2) It is expressed by equation (23). This (22)
By modifying the equations (20) and (21) using the equation (23), the equations (24) and (25) are obtained.
【００５９】[0059]
【数２２】 (Equation 22)
【００６０】[0060]
【数２３】 (Equation 23)
【００６１】[0061]
【数２４】 (Equation 24)
【００６２】[0062]
【数２５】 (Equation 25)
【００６３】よって、前記ｘB ，ｙB は、（２８）〜
（３５）式により定義されるパラメータａ，ｂ，ｃ，
ｄ，ｅ，ｆ，ｇ，ｈを用いた（２６）（２７）式により
算出される。Therefore, the above x B and y B are (28)-
Parameters a, b, c, defined by equation (35)
It is calculated by the equations (26) and (27) using d, e, f, g, and h.
【００６４】[0064]
【数２６】 (Equation 26)
【００６５】[0065]
【数２７】 [Equation 27]
【００６６】[0066]
【数２８】 [Equation 28]
【００６７】[0067]
【数２９】 (Equation 29)
【００６８】[0068]
【数３０】 [Equation 30]
【００６９】[0069]
【数３１】 (Equation 31)
【００７０】[0070]
【数３２】 (Equation 32)
【００７１】[0071]
【数３３】 [Equation 33]
【００７２】[0072]
【数３４】 (Equation 34)
【００７３】[0073]
【数３５】 (Equation 35)
【００７４】したがって、前記カメラ３２の中心点Ｏの
空間座標（ｘ0 ，ｙ0 ，ｚ0 ），キャリブレーションに
より算出されたカメラ座標系の回転角度α，β，γ，お
よびカメラ３２の焦点距離Ｆを、前記（２８）〜（３
５）式に代入して各パラメータａ〜ｈを求めておき、カ
メラ３２からの入力画像の各画素毎に、そのｘ，ｙ座標
を前記（２６）（２７）式にあてはめることにより、各
画素の投影点の座標を算出することができる。Therefore, the spatial coordinates (x 0 , y 0 , z 0 ) of the center point O of the camera 32, the rotation angles α, β, γ of the camera coordinate system calculated by the calibration, and the focal length of the camera 32 F with the above (28) to (3)
Each parameter a to h is obtained by substituting into the equation (5), and the x and y coordinates of each pixel of the input image from the camera 32 are applied to the above equations (26) and (27) to obtain each pixel. Can be calculated.
【００７５】前記したように、空間中の点Ａに対応する
入力画像上の点Ａ´を仮想水平面上に透視変換すると、
この点Ａにおける画像データは、カメラ中心点Ｏと点Ａ
とを結ぶ直線と仮想水平面との交点に投影される。した
がってこの直線ＯＡの傾きが緩慢であるほど、仮想水平
面上の投影点は、点Ａを真上方向から透視した際の投影
点（すなわち点Ａのｘ，ｙ座標により特定される点）か
ら離れた場所に位置することになる。言い換えれば、点
Ａが高い位置にあるほど、もしくは点Ａがカメラから離
れた位置にあるほど、その投影点は、本来の点Ａのある
べき位置から離れた場所に位置するので、高さ成分を有
する対象物を透視変換したとき、実際の対象物を真上位
置より見た場合とは異なる大きさ，形状を有する特徴が
得られることになる。As described above, when the point A ′ on the input image corresponding to the point A in the space is perspectively transformed on a virtual horizontal plane,
The image data at this point A includes the camera center point O and the point A
Is projected onto the intersection of the straight line connecting and the virtual horizontal plane. Therefore, as the inclination of the straight line OA is gentler, the projected point on the virtual horizontal plane is farther from the projected point when the point A is seen from directly above (that is, the point specified by the x and y coordinates of the point A). Will be located at In other words, the higher the point A is, or the farther the point A is from the camera, the farther the projected point is from the position where the original point A should be. When the object having the shape is perspectively transformed, a feature having a size and a shape different from those when the actual object is viewed from a position directly above is obtained.
【００７６】一方、空間座標におけるｚ座標が０となる
点の画像データは、実際と同じ位置に投影されるため、
影など２次元対象物は、透視変換後も、実際の対象物を
真上位置より見た場合と同様の大きさ，形状の特徴を有
する。On the other hand, the image data of the point where the z-coordinate in the spatial coordinates becomes 0 is projected at the same position as the actual one.
Even after perspective transformation, a two-dimensional object such as a shadow has the same size and shape characteristics as when an actual object is viewed from directly above.
【００７７】図３は、カメラ３２からの入力画像の一例
であって、道路の車線を示す画像部分３４のほかに、車
輌やその影の画像３５，３６などが含まれている。図４
は、前記図３の入力画像を前記水平面上に透視変換した
結果を示すもので、透視変換画像中、前記画像３５の変
換画像３５´の形状には、その高さ成分を反映した歪み
が現れている。これに対し、画像３６の変換画像３６´
の形状は、実際の影を真上位置から観察した結果と同様
になる。FIG. 3 shows an example of an input image from the camera 32, which includes images 35 and 36 of vehicles and their shadows in addition to an image portion 34 indicating lanes of a road. FIG.
Shows the result of perspective transformation of the input image of FIG. 3 on the horizontal plane. In the perspective transformed image, a distortion reflecting the height component appears in the shape of the transformed image 35 ′ of the image 35. ing. On the other hand, the converted image 36 'of the image 36
Is the same as the result of observing the actual shadow from directly above.
【００７８】図５は、観測位置における背景画像を仮想
水平面上に透視変換して得られた画像（以下この画像を
「背景変換画像」という）を示すもので、車線の画像部
分３４の変換画像３４´が現れている。また図６は、前
記図４の透視変換画像とこの背景変換画像との差分をと
った後、２値化処理した結果を示すもので、前記変換画
像３５´，３６´の形状を示す特徴３７Ａ，３７Ｂが抽
出されている。FIG. 5 shows an image obtained by perspectively transforming a background image at an observation position on a virtual horizontal plane (hereinafter, this image is referred to as a “background converted image”). 34 'has appeared. FIG. 6 shows the result of binarizing the difference between the perspective transformed image of FIG. 4 and the background transformed image, and shows a characteristic 37A indicating the shapes of the transformed images 35 'and 36'. , 37B are extracted.
【００７９】この車輌判別装置では、各特徴３７Ａ，３
７Ｂにそれぞれ外接長方形３８Ａ，３８Ｂを設定し、各
長方形３８Ａ，３８Ｂ毎に、各辺の長さＡwx，Ａwy，Ｂ
wx，Ｂwyを、それぞれ車輌の代表的な特徴を示すデータ
（以下これを「特徴モデルデータ」という）と比較し、
その比較結果からその特徴が車輌を意味するものである
か否かを判別するようにしている。In this vehicle discriminating apparatus, each feature 37A, 3
7B, circumscribed rectangles 38A, 38B are set, and the lengths A wx , A wy , B of the sides are set for each rectangle 38A, 38B.
wx and B wy are compared with data indicating typical characteristics of the vehicle (hereinafter referred to as “feature model data”),
From the comparison result, it is determined whether or not the feature means a vehicle.
【００８０】つぎに上記特徴モデルデータの算出原理に
ついて説明する。カメラの中心点Ｏの空間座標を（０，
０，ｋ），空間中の任意の１点Ｐの空間座標を（ｘw ，
ｙw ，ｚw ），この点Ｐを透視変換して得られる投影点
Ｐ´の座標を（ｘr ，ｙr ，０）とすると、図７から明
らかなように、点Ｐ´のｘ，ｙ座標ｘr ，ｙr は、つぎ
の（３６）（３７）式により算出される。Next, the principle of calculating the characteristic model data will be described. Let the spatial coordinates of the camera center point O be (0,
0, k), and the spatial coordinates of an arbitrary point P in the space are (x w ,
y w , z w ), and the coordinates of the projection point P ′ obtained by perspective transformation of this point P are (x r , y r , 0), as is clear from FIG. y-coordinate x r, y r is calculated by the following (36) (37) below.
【００８１】[0081]
【数３６】 [Equation 36]
【００８２】[0082]
【数３７】 (37)
【００８３】ここで説明を簡単にするために、車輌のモ
デルとして、図８に示すような、幅Ｖx ，奥行きＶy ，
高さＶz の直方体を想定し、この直方体モデルの各頂点
のうち、前面の左端頂点Ｒが座標（ｘR0，ｙR0，０）の
位置にあるものとすると、直方体モデル上でこの点Ｒに
最も遠い頂点Ｓの座標（ｘSW，ｙSW，ｚSW）は、つぎの
（３８）〜（４０）式により求められる。Here, for the sake of simplicity, as a vehicle model, the width V x , depth V y ,
Assuming a rectangular parallelepiped with a height V z and, among the vertices of this rectangular parallelepiped model, the left end vertex R on the front surface is located at the coordinates ( xR0 , yR0 , 0), this point R The coordinates (x SW , y SW , z SW ) of the vertex S farthest from are obtained by the following equations (38) to (40).
【００８４】[0084]
【数３８】 (38)
【００８５】[0085]
【数３９】 [Equation 39]
【００８６】[0086]
【数４０】 (Equation 40)
【００８７】したがって、前記（３８）〜（４０）式を
（３６）（３７）式に当てはめることにより、頂点Ｓを
仮想水平面上に透視変換した場合の投影点Ｓ´のｘ，ｙ
座標ｘSR，ｙSRを算出するための式として、（４１）
（４２）式が得られる。Therefore, by applying the equations (38) to (40) to the equations (36) and (37), the x, y of the projection point S ′ when the vertex S is perspectively transformed on the virtual horizontal plane is obtained.
Equations (41) are used to calculate the coordinates x SR and y SR.
Equation (42) is obtained.
【００８８】[0088]
【数４１】 [Equation 41]
【００８９】[0089]
【数４２】 (Equation 42)
【００９０】一方、前記道路面上に位置する点Ｒの投影
点Ｒ´は、透視変換前と同じ位置に変換されるので、図
９に示すように、前記立方体モデルの透視変換画像４０
に外接する長方形４１を設定すると、この外接長方形４
１の各辺Ｗx ，Ｗy はつぎの（４３）（４４）式により
算出される。On the other hand, since the projection point R ′ of the point R located on the road surface is transformed to the same position as before the perspective transformation, as shown in FIG.
Is set to a circumscribed rectangle 41.
Each side W x and W y of 1 is calculated by the following equations (43) and (44).
【００９１】[0091]
【数４３】 [Equation 43]
【００９２】[0092]
【数４４】 [Equation 44]
【００９３】よって前記図６に示した各特徴３７Ａ，３
７Ｂ毎に、その外接長方形３８Ａ，３８Ｂの左端点３９
Ａ，３９Ｂが前記立方体モデルの頂点Ｒに対応するもの
と想定し、この左端点３９Ａ，３９Ｂのｘ，ｙ座標を上
記（４１）〜（４４）式の（ｘR0，ｙR0）にあてはめる
ことにより、前記Ｗx ，Ｗy を算出し、これを前記特徴
モデルデータとして設定する。Therefore, each of the features 37A, 3A shown in FIG.
For each 7B, the left end point 39 of the circumscribed rectangles 38A, 38B
Assuming that A and 39B correspond to the vertices R of the cubic model, the x and y coordinates of the left end points 39A and 39B are applied to ( xR0 , yR0 ) in the above equations (41) to (44). Accordingly, the W x, calculates the W y, is set as the feature model data.
【００９４】したがって、透視変換画像上の各特徴部分
毎に、上記の方法を用いて特徴モデルデータＷx ，Ｗy
を算出するとともに、その特徴部分に外接長方形を設定
し、この外接長方形の各辺の長さ（図６に示したＡwx，
Ａwy，Ｂwx，Ｂwy）と特徴モデルデータＷx ，Ｗy の算
出値とを比較する。この比較により有意な差が認められ
なければ、その特徴は車輌に相当するものであると判定
される。Therefore, for each feature portion on the perspective transformed image, the feature model data W x , W y is obtained by using the above method.
, A circumscribed rectangle is set for the characteristic portion, and the length of each side of the circumscribed rectangle (A wx ,
A wy , B wx , B wy ) and the calculated values of the characteristic model data W x , W y are compared. If no significant difference is recognized by this comparison, the feature is determined to correspond to the vehicle.
【００９５】なお外接長方形の各辺を比較する代わり
に、前記立方体モデルを透視変換画像上の特徴抽出位置
に仮想的に透視変換し、この透視変換結果と実際の特徴
とのマッチング処理を行うようにすれば、さらに精度の
高い判別結果を得ることが可能となる。Instead of comparing each side of the circumscribed rectangle, the cubic model is virtually perspective-transformed to a feature extraction position on the perspective-transformed image, and matching processing between the perspective-transformed result and actual features is performed. Then, it is possible to obtain a more accurate determination result.
【００９６】図１０は、上記原理が導入された車輌判別
装置の一構成例であって、画像入力部１，透視変換処理
部２，パラメータ記憶部３，特徴抽出部４，モデル記憶
部６，判定部５，出力部７などから構成される。FIG. 10 shows an example of the configuration of a vehicle discriminating apparatus to which the above principle is introduced. The image input unit 1, the perspective transformation processing unit 2, the parameter storage unit 3, the feature extraction unit 4, the model storage unit 6, It comprises a determination unit 5, an output unit 7, and the like.
【００９７】前記画像入力部１は、前記カメラ３２から
のアナログ量の画像データをディジタル変換するＡ／Ｄ
変換回路や変換処理後の画像データを格納する画像メモ
リなどから構成される。パラメータ記憶部３には、前記
（２８）〜（３５）式により算出されたパラメータａ，
ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈが記憶されている。透視変
換処理部２は、これらパラメータと入力画像中の各画素
のｘ，ｙ座標とを前記（２６），（２７）式に代入する
ことにより、各画素の透視変換点の座標を算出し、この
算出結果に基づき、入力画像の透視変換処理を実行す
る。The image input unit 1 converts the analog image data from the camera 32 into digital data.
It is composed of a conversion circuit and an image memory for storing image data after the conversion processing. The parameter storage unit 3 stores the parameters a, calculated by the above equations (28) to (35).
b, c, d, e, f, g, and h are stored. The perspective transformation processing unit 2 calculates the coordinates of the perspective transformation point of each pixel by substituting these parameters and the x and y coordinates of each pixel in the input image into the equations (26) and (27), Based on the calculation result, a perspective transformation process of the input image is executed.
【００９８】なお、前記パラメータ記憶部３の代わり
に、入力画像の各画素についての透視変換先の座標が記
憶されたルックアップテーブルを設け、画像入力時に、
各画素を、このルックアップテーブル中の対応する設定
値に基づく位置に変換するようにすれば、変換処理の高
速化を実現できる。Note that, instead of the parameter storage unit 3, a look-up table in which the coordinates of the perspective transformation destination for each pixel of the input image are stored is provided.
If each pixel is converted into a position based on the corresponding set value in the look-up table, the speed of the conversion process can be increased.
【００９９】前記特徴抽出部４は、背景差分処理部８，
２値化処理部９，背景画像記憶部１０などにより構成さ
れる。背景画像記憶部１０には、前記図５に示したよう
な背景変換画像が記憶されており、背景差分処理部８
は、透視変換処理部２により生成された透視変換画像の
各画素データとこの背景変換画像の対応する画素データ
との差分を求める。２値化処理部９は、この差分処理に
より生成された差分画像を所定のしきい値により２値化
処理するもので、これにより前記図６に示したように、
車輌や影の画像を透視変換した結果を示す特徴の抽出が
行われる。The feature extraction unit 4 includes a background difference processing unit 8,
It comprises a binarization processing section 9, a background image storage section 10, and the like. The background image storage unit 10 stores a background conversion image as shown in FIG.
Calculates the difference between each pixel data of the perspective transformed image generated by the perspective transformation processing unit 2 and the corresponding pixel data of the background transformed image. The binarization processing unit 9 binarizes the difference image generated by the difference processing with a predetermined threshold value. As shown in FIG.
The feature indicating the result of the perspective transformation of the image of the vehicle or the shadow is extracted.
【０１００】前記モデル記憶部６には、前記図８に示し
た車輌の立方体モデルが記憶されている。判定部５は、
前記２値化処理部９により抽出された各特徴について、
前記した外接長方形を設定するとともに、各外接長方形
毎に、その左端点（図６中の３９Ａ，３９Ｂ）と立方体
モデルの前記頂点Ｒとを対応づけて、前記（４１）〜
（４４）式を実行し、それぞれの特徴に応じた特徴モデ
ルデータＷx ，Ｗy を算出する。さらに判定部５は、各
外接長方形毎に、その各辺の長さを算出されたＷx ，Ｗ
y と比較し、その比較結果から特徴が車輌を示すもので
あるか否かを判定する。The model storage unit 6 stores the cube model of the vehicle shown in FIG. The determination unit 5
For each feature extracted by the binarization processing unit 9,
The above-mentioned circumscribed rectangles are set, and for each circumscribed rectangle, the left end points (39A and 39B in FIG. 6) and the vertices R of the cube model are associated with each other, and
Equation (44) is executed to calculate feature model data W x , W y corresponding to each feature. Further, the determining unit 5 calculates, for each circumscribed rectangle, the length of each side of the rectangle W x , W
It is compared with y, and it is determined whether or not the feature indicates the vehicle based on the comparison result.
【０１０１】外接長方形の各辺と特徴モデルデータ
Ｗx ，Ｗy との間に有意な差が認められないとき、判定
部５は、この特徴を車輌に相当するものと判定する。出
力部７は、この判定結果に基づき、特徴抽出位置から道
路上の車輌の位置などを認識し、その認識結果を後段の
交通流計測装置へと出力する。When there is no significant difference between each side of the circumscribed rectangle and the feature model data W x , W y , the determination unit 5 determines that the feature corresponds to a vehicle. The output unit 7 recognizes the position of the vehicle on the road or the like from the feature extraction position based on the determination result, and outputs the recognition result to a traffic flow measurement device at a subsequent stage.
【０１０２】図１１は、判別処理装置の他の構成例を示
す。この実施例も、基本的に前記図１０と同様の構成を
とるが、特徴抽出部４として、エッジ抽出部１１とエッ
ジ統合部１２とを含んでいる。FIG. 11 shows another configuration example of the discrimination processing device. This embodiment also has a configuration basically similar to that of FIG. 10, but includes an edge extraction unit 11 and an edge integration unit 12 as the feature extraction unit 4.
【０１０３】エッジ抽出部１１は、前記透視変換画像に
微分処理などを行って、水平方向（ｘ軸方向）のエッジ
成分を抽出するためのもので、エッジ統合部１２は、抽
出された各エッジ成分のうち、車の進行方向（この実施
例ではｙ軸方向）において所定の距離範囲内にあるエッ
ジ成分を統合し、その統合結果を特徴として出力する。The edge extracting section 11 performs differentiation processing and the like on the perspective transformed image to extract edge components in the horizontal direction (x-axis direction). Among the components, edge components within a predetermined distance range in the traveling direction of the vehicle (the y-axis direction in this embodiment) are integrated, and the integrated result is output as a feature.
【０１０４】図１２は、前記図４の透視変換画像に対す
るエッジ画像を、図１３はこのエッジ画像中のエッジ成
分を統合した画像を、それぞれ示す。図示例から明らか
なように、透視変換画像上の影に対応する部分では、抽
出されるエッジ成分が少なくなるため、統合処理対象と
ならず、ノイズとして除去される。一方、車輌に対応す
る画像部分については、統合処理により複数個の特徴
（図中、４２ａ，４２ｂ，４２ｃと示す）が抽出され
る。FIG. 12 shows an edge image for the perspective transformed image of FIG. 4, and FIG. 13 shows an image obtained by integrating the edge components in the edge image. As is apparent from the illustrated example, the portion corresponding to the shadow on the perspective transformed image is not subject to the integration processing because the extracted edge component is reduced, and is removed as noise. On the other hand, for the image portion corresponding to the vehicle, a plurality of features (indicated as 42a, 42b, and 42c in the figure) are extracted by the integration process.
【０１０５】判定部５は、抽出された各特徴４２ａ，４
２ｂ，４２ｃが含まれる矩形領域４３を設定するととも
に、前記図１０と同様の方法により、この矩形領域４３
の左端点４４を前記立方体モデルの点Ｒと対応づけて特
徴モデルデータＷx ，Ｗy を算出し、この算出結果を前
記矩形領域４３の各辺の長さＣwx，Ｃwyと比較する。The determination unit 5 determines whether each of the extracted features 42a, 4
2b and 42c are set, and the rectangular area 43 is set in the same manner as in FIG.
Wherein model data W x the leftmost point 44 in association with the point R of the cubic model to calculate a W y, the calculation result of each side of the rectangular region 43 length C wx, compared with C wy.
【０１０６】上記の比較処理により、各辺の長さＣwx，
Ｃwyと前記特徴モデルデータＷx ，Ｗy との間に有意な
差が認められなかった場合、判定部５は、図１４に示す
ように、前記各特徴４２ａ，４２ｂ，４２ｃを包括する
ような画像領域４５を設定し、この画像領域４５を車輌
に対応するものとして判定する。By the above-described comparison processing, the lengths C wx ,
If no significant difference is found between C wy and the feature model data W x , W y , the determination unit 5 includes the features 42a, 42b, 42c as shown in FIG. An image area 45 is set, and the image area 45 is determined to correspond to the vehicle.
【０１０７】なお透視変換画像から抽出する特徴は、エ
ッジ成分に限らず、例えばフレーム差分処理により、車
輌の移動部分に対応する特徴を抽出するようにしても良
い。図１５は、特徴抽出をフレーム差分処理により行う
場合の判定処理装置の構成例を示すもので、特徴抽出部
４は、フレーム差分処理部１３，２値化処理部１４，抽
出結果統合部１５などから構成される。The features to be extracted from the perspective transformed image are not limited to the edge components. For example, the features corresponding to the moving parts of the vehicle may be extracted by frame difference processing. FIG. 15 shows an example of a configuration of a determination processing device when feature extraction is performed by frame difference processing. The feature extraction unit 4 includes a frame difference processing unit 13, a binarization processing unit 14, an extraction result integration unit 15, and the like. Consists of
【０１０８】フレーム差分処理部１３は、１段階前の入
力画像についての透視変換画像を記憶するメモリを具備
しており、透視変換処理部２から入力された最新の透視
変換画像の各画素について、前記メモリ内の透視変換画
像の対応画素との差分演算を実行する。２値化処理部１
４は、各画素毎の差分値を所定のしきい値で２値化処理
するもので、その結果、図１６に示すような複数個の特
徴４６が抽出され、抽出結果統合部１５へと出力され
る。The frame difference processing unit 13 has a memory for storing a perspective transformed image of the input image one stage before. For each pixel of the latest perspective transformed image input from the perspective transformation unit 2, A difference calculation is performed between the perspective transformed image and the corresponding pixel in the memory. Binarization processing unit 1
Reference numeral 4 denotes a process for binarizing the difference value of each pixel with a predetermined threshold value. As a result, a plurality of features 46 as shown in FIG. 16 are extracted and output to the extraction result integration unit 15. Is done.
【０１０９】抽出結果統合部１５は、抽出された各特徴
４６について、ｙ軸方向において所定の距離範囲内にあ
る特徴を統合するもので、統合対象とならなかったされ
た特徴は、ノイズとして除去される。図１７は、図１６
の抽出結果を統合した結果を示すもので、判定部５は、
この統合結果について、前記図１０の実施例と同様、矩
形領域４７を設定するとともに特徴モデルデータＷx ，
Ｗy を算出し、その算出結果と矩形領域４７の各辺
Ｄx ，Ｄy と比較する。この結果、両者の間に有意差が
認められなかったとき、判定部５は、前記と同様、各特
徴部分を包括する画像領域を、車輌に対応するものとし
て判定する。The extraction result integration unit 15 integrates features within a predetermined distance range in the y-axis direction with respect to each of the extracted features 46, and removes, as noise, features that are not to be integrated. Is done. FIG.
The determination unit 5 shows the result of integrating the extraction results of
Based on this integration result, a rectangular area 47 is set and the feature model data W x ,
Calculating a W y, the sides D x of the calculation result and the rectangular region 47, compared with D y. As a result, when no significant difference is recognized between the two, the determination unit 5 determines an image region including each characteristic portion as corresponding to the vehicle, as described above.
【０１１０】なお特徴抽出は、１つの方法に限らず、複
数種の方法により抽出された特徴部分を統合するように
しても良い。図１８は、２種類の特徴抽出方法を導入し
た場合の判定処理装置の構成例であって、特徴抽出部４
は、エッジ抽出部１１，フレーム差分処理部１３，２値
化処理部１４，処理結果統合部１６により構成される。Note that the feature extraction is not limited to one method, and feature portions extracted by a plurality of types of methods may be integrated. FIG. 18 shows an example of the configuration of a determination processing device when two types of feature extraction methods are introduced.
Is composed of an edge extraction unit 11, a frame difference processing unit 13, a binarization processing unit 14, and a processing result integration unit 16.
【０１１１】エッジ抽出部１１，フレーム差分処理部１
３，２値化処理部１４は、前記図１１，１５と同様の構
成のもので、処理結果統合部１６は、各処理により抽出
された特徴部分を合成した後、前記各実施例と同様、ｙ
軸方向において所定距離範囲内にある特徴を統合し、そ
の統合結果を判定部５に出力する。Edge extraction unit 11, frame difference processing unit 1
The binarization processing unit 14 has the same configuration as that of FIGS. 11 and 15, and the processing result integration unit 16 combines the characteristic portions extracted by each processing, and then, as in the above-described embodiments, y
The features within a predetermined distance range in the axial direction are integrated, and the integration result is output to the determination unit 5.
【０１１２】ところで前記した各抽出結果は、昼間など
十分な明度のある環境下で撮像が行われた場合に得られ
るもので、夕暮れ時など背景色と車輌の色とのコントラ
ストが明確でない条件下においては、フロントガラスな
ど明度の低い部分の画像が抽出されないことがある。こ
の結果、抽出される特徴部分は、複数の特徴部分に分断
されたものとなり正確に車輌を判別することは不可能と
なる。Each of the above extraction results is obtained when an image is taken in an environment with sufficient brightness, such as in the daytime, and is obtained when the contrast between the background color and the color of the vehicle is not clear such as at sunset. In some cases, an image of a low brightness portion such as a windshield may not be extracted. As a result, the extracted characteristic portion is divided into a plurality of characteristic portions, and it becomes impossible to accurately determine the vehicle.
【０１１３】図１９は、上記問題を解決するための判定
処理装置の構成例であって、特徴抽出部４には、前記図
１０の構成に加えて、抽出された特徴から車頭部分の候
補となる特徴を抽出するための車頭候補抽出部１７が配
備されている。FIG. 19 shows an example of the configuration of a determination processing device for solving the above-mentioned problem. In addition to the configuration shown in FIG. A vehicle head candidate extraction unit 17 for extracting a characteristic is provided.
【０１１４】いま背景差分処理部８および２値化処理部
９により、図２０に示すような複数個の特徴４８ａ，４
８ｂが抽出されたとき、車頭候補抽出部１７は、これら
各特徴部分の中から、前方部（図２０中、破線で囲んだ
部分）が平坦形状であって、かつその幅長さが車輌幅に
近似する特徴を、車頭部分の候補として抽出する。この
結果は判定部５へと出力され、各車頭候補の位置関係か
ら車輌の判定が行われる。Now, a plurality of features 48a, 48 as shown in FIG.
When 8b is extracted, the vehicle head candidate extracting unit 17 determines that the front part (the part surrounded by a broken line in FIG. 20) has a flat shape and the width of the vehicle is equal to the vehicle width. Are extracted as candidates for the head portion. This result is output to the determination unit 5, and the vehicle is determined from the positional relationship of each head candidate.
【０１１５】すなわち２個以上の車頭候補が車輌の進行
方向であるｙ軸方向に並んでいる場合、判定部５は、こ
れら車頭候補の距離（図２０中、Ｈで示す）を算出する
とともに、前記立方体モデルが前方の車頭候補に位置す
る場合の特徴モデルデータＷy を算出し、この算出結果
と前記距離Ｈとを比較する。これにより距離がモデルデ
ータＷy よりも小さい場合には、後方の車頭候補が候補
から除去され、残された車頭候補の抽出位置に車輌が存
在するものと判定される。That is, when two or more head candidates are arranged in the y-axis direction, which is the traveling direction of the vehicle, the determination unit 5 calculates the distance between these head candidates (indicated by H in FIG. 20) and the cube model calculates the feature model data W y when located in front of the headway candidate, compares this calculation result and the distance H. The case thereby the distance is smaller than the model data W y, behind the headway candidates are removed from the candidate, it is determined that the vehicle is present in the extraction position of the remaining headway candidates.
【０１１６】なお車頭候補間の距離ＨがモデルデータＷ
y を上回る場合、または抽出された車頭候補に後続の候
補が存在しない場合には、これら車頭候補はノイズとし
て除去される。また抽出された特徴が単独でモデルデー
タＷx ，Ｗy の条件を満たす場合には、この特徴は車輌
全体を表すものと判定される。Note that the distance H between the head candidates is model data W
If it exceeds y , or if there is no subsequent candidate in the extracted headway candidates, these headway candidates are removed as noise. If the extracted feature alone satisfies the conditions of the model data W x and W y , it is determined that this feature represents the entire vehicle.
【０１１７】図２１は上記と同様の処理をエッジ抽出に
より行う場合の構成例を、図２２は同様の処理をフレー
ム差分法により行う場合の構成例を、それぞれ示す。い
ずれの実施例も、透視変換画像から特徴部分を抽出する
ための構成以外は、図１９と同様であり、ここでは詳細
な説明を省略する。FIG. 21 shows a configuration example when the same processing is performed by edge extraction, and FIG. 22 shows a configuration example when the same processing is performed by the frame difference method. Each of the embodiments is the same as FIG. 19 except for a configuration for extracting a characteristic portion from a perspective transformed image, and a detailed description thereof is omitted here.
【０１１８】なお上記した車輌判別処理の原理は、車輌
の画像部分を透視変換した結果に生ずる歪みを利用して
いるが、この場合、車輌が撮像位置に近づいて車輌に対
するカメラの俯角が大きくなると、透視変換画像におけ
る車輌部分の歪みが小さくなり、車輌と影との区別が困
難になるという問題が生じる。The principle of the above-described vehicle discriminating process utilizes a distortion generated as a result of the perspective transformation of the image portion of the vehicle. In this case, when the vehicle approaches the imaging position and the depression angle of the camera with respect to the vehicle increases. In addition, the distortion of the vehicle portion in the perspective transformed image is reduced, which causes a problem that it is difficult to distinguish between the vehicle and the shadow.
【０１１９】図２３（１）は車輌が撮像位置に近づいた
時点で得られる入力画像を、図２３（２）はこの入力画
像の透視変換画像を、それぞれ示す。図２３（２）の前
記透視変換画像に対し、前記した背景差分法による特徴
抽出を行うと、図２４に示す如く、車輌、影それぞれに
対応する特徴５０ａ，５０ｂに有意な差が現れなくな
り、前記した特徴モデルデータと比較する方法により両
者を区別して判別することは、困難となる。FIG. 23A shows an input image obtained when the vehicle approaches the imaging position, and FIG. 23B shows a perspective transformed image of the input image. When the feature extraction by the above-described background subtraction method is performed on the perspective transformed image of FIG. 23 (2), as shown in FIG. 24, no significant difference appears between the features 50a and 50b corresponding to the vehicle and the shadow, respectively. It is difficult to distinguish between the two by the method of comparing with the above-described feature model data.
【０１２０】図２５は、上記問題を解決するための判定
処理装置の構成例であって、図１０と同様の構成に、判
定結果処理部１８，追跡処理部１９，最終判定部２０な
どが付加されている。FIG. 25 shows an example of the configuration of a judgment processing device for solving the above-mentioned problem. A judgment result processing unit 18, a tracking processing unit 19, a final judgment unit 20 and the like are added to the same configuration as in FIG. Have been.
【０１２１】透視変換処理部２から判定部５までの構成
により、各段階での画像入力に対し、前記と同様の透視
変換処理，特徴抽出処理，判定処理が実行される。判定
結果記憶部１８は過去数フレーム毎に、抽出された特徴
部分の位置やその判定結果などのデータを記憶、蓄積す
る。追跡処理部１９は、これら蓄積されたデータから同
一対象にかかる特徴部分を対応付けし、各対象物につい
ての判定結果の推移を追跡する。With the configuration from the perspective transformation processing section 2 to the decision section 5, the same perspective transformation processing, feature extraction processing, and decision processing as described above are executed for the image input at each stage. The determination result storage unit 18 stores and accumulates data such as the position of the extracted characteristic portion and the determination result for each of several past frames. The tracking processing unit 19 correlates the characteristic portions related to the same object from the stored data, and tracks the transition of the determination result for each object.
【０１２２】図２６は、前記追跡処理部１９による追跡
方法を示す。図中ａ0 ，ｂ0 は、ある時点における特徴
部分の抽出位置であって、追跡処理部１９は、各特徴部
分について、それぞれその特徴抽出位置に対応する車線
に沿う方向（すなわちｙ軸方向）における追跡処理を行
って、つぎの段階におけるその特徴部分の抽出位置
ａ1 ，ｂ1 を検出する。最終判定部２０は、追跡処理部
１９による追跡処理結果に基づき、抽出された特徴部分
が車輌に対応するものであるか否かについての最終的な
判定を実施する。なおこの最終判定は、各対象物毎にそ
の追跡処理が終了した時点、すなわちその対象物に相当
する特徴部分が抽出されなくなった時点で、実施され
る。FIG. 26 shows a tracking method by the tracking processing section 19. In the figure, a 0 and b 0 are the extraction positions of the characteristic portions at a certain point in time, and the tracking processing unit 19 determines, for each characteristic portion, the direction along the lane corresponding to the characteristic extraction position (ie, the y-axis direction). , And the extraction positions a 1 and b 1 of the characteristic portion in the next stage are detected. The final determination unit 20 makes a final determination as to whether or not the extracted characteristic portion corresponds to the vehicle based on the result of the tracking processing performed by the tracking processing unit 19. The final determination is performed when the tracking process is completed for each object, that is, when the feature portion corresponding to the object is no longer extracted.
【０１２３】図２７は、前記追跡処理部１９による追跡
結果と最終判定部２０の判定結果とを対応づけて示す。
なおここでは説明を簡単にするために、２個の対象物
Ａ，Ｂについての特徴が複数段階にわたって抽出されて
いるものと想定し、追跡処理結果として、各特徴部分の
抽出位置と判定結果との推移を示してある。FIG. 27 shows the result of tracking by the tracking processing unit 19 and the result of determination by the final determining unit 20 in association with each other.
For the sake of simplicity, it is assumed here that the features of the two objects A and B have been extracted in a plurality of stages. Is shown.
【０１２４】最終判定部２０は、追跡処理部１９による
最終追跡結果を受けて、その特徴部分における過去の判
定結果をまとめて最終判定を実行する。これにより対象
物Ｂに示すように、最終段階で「車輌」であると判定さ
れた場合でも、それ以前の複数段階における判定結果が
「影」である場合には、この特徴部分は影を反映したも
のであると判定される。The final determination unit 20 receives the final tracking result of the tracking processing unit 19, and performs the final determination by putting together the past determination results of the characteristic part. As a result, as shown in the object B, even if it is determined that the vehicle is a "vehicle" in the final stage, if the determination result in a plurality of previous stages is a "shadow", the characteristic portion reflects the shadow. Is determined to have been performed.
【０１２５】上記の処理によれば、車輌が観測位置を通
過した時点で最終的な判定が行われることになり、最終
判定により特徴部分が車輌を反映していると決定された
とき、後段の計測装置にその判定結果が出力される。こ
れにより計測装置は、観測地点における車両の通過台数
を正確に計測することができ、高精度の交通流計測を実
施することが可能となる。According to the above processing, the final decision is made when the vehicle passes the observation position, and when it is determined by the final decision that the characteristic portion reflects the vehicle, the subsequent stage The determination result is output to the measuring device. Accordingly, the measuring device can accurately measure the number of vehicles passing at the observation point, and can perform highly accurate traffic flow measurement.
【０１２６】[0126]
【発明の効果】請求項１の発明では、観測位置における
２次元画像を車輌の支持面を含む仮想水平面上に透視変
換した後、この透視変換画像についての特徴抽出結果に
より観測位置における車輌を判別するようにしたので、
観測位置における車輌の高さを反映した特徴を用いて車
輌を正確に判別することができる。According to the first aspect of the present invention, after the two-dimensional image at the observation position is perspective-transformed on a virtual horizontal plane including the support surface of the vehicle, the vehicle at the observation position is determined based on the feature extraction result of the perspective transformed image. I decided to
The vehicle can be accurately determined using a feature reflecting the height of the vehicle at the observation position.
【０１２７】請求項２の発明では、入力画像を透視変換
して得られる画像と、観測位置における背景画像の透視
変換画像との差分をとることにより、背景になかった画
像部分を特徴として抽出するので、車輌などの移動する
対象物を表す特徴を抽出することができる。According to the second aspect of the present invention, the difference between the image obtained by performing the perspective transformation on the input image and the perspective transformation image of the background image at the observation position is extracted as a feature of the image portion not present on the background. Therefore, it is possible to extract a feature representing a moving object such as a vehicle.
【０１２８】請求項３の発明では、入力画像を透視変換
して得られる画像上で、所定の距離範囲内にあるエッジ
成分を統合した結果を特徴として抽出し、また請求項４
の発明では、透視変換画像上における１段階前の透視変
換画像に対する変動部分のうち、所定の距離範囲内にあ
る変動部分を統合した結果を特徴として抽出するので、
一台の車輌にかかる特徴を認識して正確な判別処理を行
うことが出来る。According to a third aspect of the present invention, a result obtained by integrating edge components within a predetermined distance range is extracted as a feature on an image obtained by perspectively transforming an input image.
According to the invention, since a result obtained by integrating a variable portion within a predetermined distance range among the variable portions with respect to the perspective-transformed image one stage before on the perspective-transformed image is extracted as a feature,
By recognizing the characteristics of one vehicle, it is possible to perform an accurate determination process.
【０１２９】請求項５の発明では、２種類以上の方法に
より透視変換画像上の特徴を抽出した後、各抽出結果を
統合することにより、特徴の抽出精度を向上することが
できる。According to the fifth aspect of the present invention, the feature extraction accuracy can be improved by extracting the features on the perspective transformed image by two or more methods and integrating the extracted results.
【０１３０】請求項６の発明では、透視変換画像上で抽
出された特徴を、仮想水平面上に所定の車輌モデルを透
視変換して得られる特徴と比較した結果を用いることに
より、観測位置に車輌が存在するか否かを判別すること
ができる。According to the sixth aspect of the present invention, by using a result obtained by comparing a feature extracted on the perspective transformed image with a feature obtained by performing a perspective transformation of a predetermined vehicle model on a virtual horizontal plane, the vehicle is located at the observation position. Can be determined.
【０１３１】請求項７の発明では、観測位置における入
力画像を透視変換した後、この透視変換画像から車頭部
分の画像候補となる特徴を抽出し、各特徴間の距離を前
記と同様の車輌モデルの透視変換結果と比較して、各特
徴が車頭部分に対応するものか否かを判別するので、夕
暮れ時など車輌全体を１つの特徴として抽出できなくな
った場合にも、車輌１台，１台を正確に判別でき、信頼
性の高いデータを得ることができる。According to the seventh aspect of the present invention, after the input image at the observation position is perspective-transformed, features serving as image candidates for the vehicle head are extracted from the perspective-transformed image, and the distance between the features is determined by the same vehicle model as described above. It is determined whether each feature corresponds to the head portion of the vehicle by comparing with the perspective transformation result of. Therefore, even when the entire vehicle cannot be extracted as one feature such as at sunset, one vehicle, one vehicle Can be accurately determined, and highly reliable data can be obtained.
【０１３２】請求項８の発明では、前記透視変換画像と
背景画像の透視変換画像との差分処理により、車頭候補
となる特徴の抽出が可能となる。また請求項９の発明で
は、透視変換画像上の車輌の幅方向におけるエッジ成分
を、請求項１０の発明では、１段階前の透視変換画像に
対する変動部分を、それぞれ抽出することにより、車頭
候補となる特徴の抽出が可能となる。According to the eighth aspect of the present invention, it is possible to extract a feature which is a candidate for a vehicle head by performing a difference process between the perspective transformed image and the perspective transformed image of the background image. According to the ninth aspect of the present invention, the edge component in the width direction of the vehicle on the perspective transformed image is extracted. It becomes possible to extract certain features.
【０１３３】請求項１１の発明は、道路上の所定位置を
撮像し、各段階における入力画像について、それぞれ道
路上に車輌が存在するか否かを仮判別し、複数回の入力
画像毎の判別結果を追跡することにより最終的な判定を
行うようにしたので、車輌が撮像位置に近づくにつれ、
車輌と影との透視変換結果に差異が認められなくなると
いう問題が解消され、精度の高い車輌判別を行うことが
できる。According to an eleventh aspect of the present invention, a predetermined position on a road is imaged, and for each input image at each stage, it is provisionally determined whether or not a vehicle is present on the road. By making a final decision by tracking the results, as the vehicle approaches the imaging position,
The problem that the difference in the perspective transformation result between the vehicle and the shadow is no longer recognized is solved, and highly accurate vehicle discrimination can be performed.
【図１】この発明にかかる車輌判別装置が組み込まれた
交通流計測装置の設置例を示す説明図である。FIG. 1 is an explanatory diagram showing an installation example of a traffic flow measuring device incorporating a vehicle discriminating device according to the present invention.
【図２】透視変換処理の原理を示す説明図である。FIG. 2 is an explanatory diagram showing the principle of perspective transformation processing.
【図３】カメラからの入力画像を示す説明図である。FIG. 3 is an explanatory diagram showing an input image from a camera.
【図４】図３の入力画像を透視変換した結果を示す説明
図である。FIG. 4 is an explanatory diagram showing a result of perspective transformation of the input image of FIG. 3;
【図５】背景変換画像を示す説明図である。FIG. 5 is an explanatory diagram showing a background conversion image.
【図６】図４の透視変換画像と図５の背景変換画像との
差分処理により抽出された特徴を示す説明図である。6 is an explanatory diagram showing features extracted by a difference process between the perspective transformed image of FIG. 4 and the background transformed image of FIG. 5;
【図７】任意の点Ｐの空間座標からこの点Ｐの透視変換
先の座標を算出する原理を示す説明図である。FIG. 7 is an explanatory view showing the principle of calculating coordinates of a perspective transformation destination of an arbitrary point P from spatial coordinates of the point P;
【図８】車輌のモデルの一例を示す説明図である。FIG. 8 is an explanatory diagram showing an example of a vehicle model.
【図９】図８のモデルを透視変換した結果を示す説明図
である。FIG. 9 is an explanatory diagram showing a result of perspective transformation of the model of FIG. 8;
【図１０】車輌判別装置の構成例を示すブロック図であ
る。FIG. 10 is a block diagram illustrating a configuration example of a vehicle determination device.
【図１１】車輌判別装置の他の構成例を示すブロック図
である。FIG. 11 is a block diagram showing another configuration example of the vehicle discrimination device.
【図１２】入力画像上のエッジ成分を抽出した結果を示
す説明図である。FIG. 12 is an explanatory diagram showing a result of extracting an edge component on an input image.
【図１３】図１２のエッジ成分を統合処理した結果を示
す説明図である。FIG. 13 is an explanatory diagram showing a result obtained by integrating the edge components of FIG. 12;
【図１４】車輌に対応するものとして認識された画像領
域を示す説明図である。FIG. 14 is an explanatory diagram showing an image area recognized as corresponding to a vehicle.
【図１５】車輌判別装置の他の構成例を示すブロック図
である。FIG. 15 is a block diagram illustrating another configuration example of the vehicle determination device.
【図１６】フレーム差分処理により抽出された特徴を示
す説明図である。FIG. 16 is an explanatory diagram showing features extracted by the frame difference processing.
【図１７】図１６の各特徴を統合処理した結果を示す説
明図である。FIG. 17 is an explanatory diagram showing a result obtained by integrating the features of FIG. 16;
【図１８】車輌判別装置の他の構成例を示すブロック図
である。FIG. 18 is a block diagram illustrating another configuration example of the vehicle determination device.
【図１９】車輌判別装置の他の構成例を示すブロック図
である。FIG. 19 is a block diagram illustrating another configuration example of the vehicle determination device.
【図２０】車頭候補として抽出された特徴を示すブロッ
ク図である。FIG. 20 is a block diagram showing features extracted as vehicle head candidates.
【図２１】車輌判別装置の他の構成例を示すブロック図
である。FIG. 21 is a block diagram illustrating another configuration example of the vehicle determination device.
【図２２】車輌判別装置の他の構成例を示すブロック図
である。FIG. 22 is a block diagram illustrating another configuration example of the vehicle determination device.
【図２３】車輌が撮像位置に接近した状態で得られた入
力画像、およびその透視変換画像を示す説明図である。FIG. 23 is an explanatory diagram illustrating an input image obtained in a state where the vehicle approaches the imaging position and a perspective transformed image thereof.
【図２４】図２３（２）の透視変換画像から抽出された
特徴を示す説明図である。FIG. 24 is an explanatory diagram showing features extracted from the perspective transformed image of FIG. 23 (2).
【図２５】車輌判別装置の他の構成例を示すブロック図
である。FIG. 25 is a block diagram illustrating another configuration example of the vehicle determination device.
【図２６】図２５の追跡処理部による追跡方法を示す説
明図である。FIG. 26 is an explanatory diagram showing a tracking method by the tracking processing unit in FIG. 25;
【図２７】追跡処理結果と最終判定結果とを対応づけて
示す説明図である。FIG. 27 is an explanatory diagram showing a tracking process result and a final determination result in association with each other.
２ 透視変換処理部 ４ 特徴抽出部 ５ 判定部 ８ 背景差分処理部 １１ エッジ抽出部 １２ エッジ統合部 １３ フレーム差分処理部 １５ 抽出結果統合部 １６ 処理結果統合部 １７ 車頭候補抽出部 １８ 判定結果記憶部 １９ 追跡処理部 ２０ 最終判定部 2 perspective transformation processing unit 4 feature extraction unit 5 determination unit 8 background difference processing unit 11 edge extraction unit 12 edge integration unit 13 frame difference processing unit 15 extraction result integration unit 16 processing result integration unit 17 vehicle head candidate extraction unit 18 determination result storage unit 19 Tracking processing unit 20 Final judgment unit
Claims (11)
ための装置であって、 前記観測位置を撮像して得られた２次元画像を入力する
画像入力手段と、 入力された２次元画像を車輌の支持面を含む仮想水平面
上に透視変換する画像変換手段と、 前記画像変換手段により透視変換された画像について特
徴抽出を行う特徴抽出手段と、 前記特徴抽出手段による抽出結果を用いて前記観測位置
における車輌を判別する判別手段とを備えて成る車輌判
別装置。1. An apparatus for discriminating a vehicle at a predetermined observation position, comprising: image input means for inputting a two-dimensional image obtained by imaging the observation position; Image transformation means for performing perspective transformation on a virtual horizontal plane including the support surface of the above, feature extraction means for performing feature extraction on the image perspective-transformed by the image transformation means, and the observation position using an extraction result by the feature extraction means. A vehicle discriminating device comprising: a discriminating means for discriminating a vehicle in the above.
により透視変換された画像と、前記観測位置における背
景画像の透視変換画像との差分処理により特徴抽出を行
う請求項１に記載された車輌判別装置。2. The vehicle according to claim 1, wherein the feature extracting unit performs feature extraction by performing a difference process between a perspectively transformed image of the background image at the observation position and an image that has been perspective transformed by the image transforming unit. Discriminator.
により透視変換された画像からエッジ成分を抽出し、抽
出された各エッジ成分のうち、所定の距離範囲内にある
エッジ成分を統合した結果を透視変換画像上の特徴とす
る請求項１に記載された車輌判別装置。3. A result obtained by extracting an edge component from an image perspective-transformed by the image conversion unit and integrating edge components within a predetermined distance range among the extracted edge components. 2. The vehicle discriminating apparatus according to claim 1, wherein the vehicle discriminating means is a feature on a perspective transformed image.
により透視変換された画像と、１段階前に透視変換され
た入力画像との差分により画像上の変動部分を求めた
後、これら変動部分のうち所定の距離範囲内にある変動
部分を統合した結果を透視変換画像上の特徴とする請求
項１に記載された車輌判別装置。4. The method according to claim 1, wherein the characteristic extracting means obtains a variable portion on the image based on a difference between the image subjected to the perspective transformation by the image converting means and the input image subjected to the perspective transformation one stage before, The vehicle discriminating apparatus according to claim 1, wherein a result obtained by integrating the fluctuating portions within a predetermined distance range is included in the perspective transformed image.
により透視変換された画像について、２種類以上の方法
を用いて画像上の特徴を抽出した後、各方法による抽出
結果を統合する請求項１に記載された車輌判別装置。5. The method according to claim 1, wherein the feature extracting unit extracts features on the image that has been perspectively transformed by the image transforming unit using two or more types of methods, and then integrates the extraction results obtained by each method. 2. The vehicle discriminating apparatus according to 1.
り抽出された各特徴を、前記仮想水平面上に所定の車輌
モデルを透視変換して得られる特徴と比較し、その比較
結果に基づき前記観測位置における車輌を判定する請求
項１〜５のいずれかに記載された車輌判別装置。6. The discriminating unit compares each feature extracted by the feature extracting unit with a feature obtained by performing a perspective transformation of a predetermined vehicle model on the virtual horizontal plane, and performs the observation based on a comparison result. The vehicle discriminating apparatus according to claim 1, wherein the vehicle at the position is determined.
ための装置であって、 前記観測位置を撮像して得られた２次元画像を入力する
画像入力手段と、 入力された２次元画像を車輌の支持面を含む仮想水平面
上に透視変換する画像変換手段と、 前記画像変換手段により透視変換された入力画像につい
て車頭部分の画像候補となる特徴を抽出する特徴抽出手
段と、 前記特徴抽出手段により抽出された各特徴間の距離を、
前記仮想水平面上に所定の車輌モデルを透視変換して得
られる特徴の大きさと比較して、各特徴が車頭部分の画
像であるか否かを判別する判別手段とを備えて成る車輌
判別装置。7. An apparatus for discriminating a vehicle at a predetermined observation position, comprising: image input means for inputting a two-dimensional image obtained by imaging the observation position; Image conversion means for performing perspective transformation on a virtual horizontal plane including the support surface of the above, feature extraction means for extracting features that are image candidates of a vehicle head portion with respect to the input image subjected to perspective transformation by the image transformation means, and the feature extraction means The distance between each extracted feature is
A vehicle discriminating device comprising: a discriminating means for comparing each feature with an image of a vehicle head portion by comparing the size of a feature obtained by perspectively transforming a predetermined vehicle model on the virtual horizontal plane.
により透視変換された画像と、前記観測位置における背
景画像の透視変換画像との差分画像より、前記特徴を抽
出する請求項７に記載された車輌判別装置。8. The feature extraction unit according to claim 7, wherein the feature extraction unit extracts the feature from a difference image between the image subjected to the perspective transformation by the image transformation unit and the perspective transformation image of the background image at the observation position. Vehicle identification device.
により透視変換された画像上で、車輌の幅方向における
エッジ成分を、前記特徴として抽出する請求項７に記載
された車輌判別装置。9. The vehicle discriminating apparatus according to claim 7, wherein the feature extracting unit extracts an edge component in a width direction of the vehicle as the feature on the image perspective-transformed by the image converting unit.
段により透視変換された画像と、１段階前に透視変換さ
れた入力画像との差分処理により透視変換画像上の変動
部分を、前記特徴として抽出する請求項７に記載された
車輌判別装置。10. The feature extracting unit, as a feature, sets a fluctuating portion on a perspective transformed image by a difference process between an image perspective transformed by the image transform unit and an input image perspective transformed one stage before. The vehicle discriminating apparatus according to claim 7, which extracts the vehicle.
の装置であって、 前記道路上の観測位置を撮像して得られた２次元画像を
入力する画像入力手段と、 入力された２次元画像を道路面を含む仮想水平面上に透
視変換する画像変換手段と、 前記画像変換手段により透視変換された画像について特
徴抽出を行う特徴抽出手段と、 前記特徴抽出手段により抽出された各特徴を用いて道路
上に車輌が存在するか否かを仮判別する仮判別手段と、 過去複数回の入力画像についての仮判別結果を記憶する
記憶手段と、 前記記憶手段に記憶された各入力画像毎の仮判別結果を
追跡して、道路上に車輌が存在するか否かを最終的に判
別する最終判別手段とを備えて成る車輌判別装置。11. An apparatus for discriminating a vehicle traveling on a road, comprising: image input means for inputting a two-dimensional image obtained by imaging an observation position on the road; An image conversion unit that perspective-transforms the image onto a virtual horizontal plane including a road surface, a feature extraction unit that performs feature extraction on the image that has been perspective-transformed by the image conversion unit, and each feature extracted by the feature extraction unit. Temporary determination means for temporarily determining whether or not a vehicle is present on the road, storage means for storing temporary determination results for a plurality of past input images, and for each input image stored in the storage means. A vehicle discriminating device comprising: a final discriminating unit that tracks a provisional discrimination result and finally discriminates whether or not a vehicle exists on a road.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21934296A JP3605955B2 (en) | 1996-07-31 | 1996-07-31 | Vehicle identification device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21934296A JP3605955B2 (en) | 1996-07-31 | 1996-07-31 | Vehicle identification device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1049662A true JPH1049662A (en) | 1998-02-20 |
| JP3605955B2 JP3605955B2 (en) | 2004-12-22 |
Family
ID=16733959
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21934296A Expired - Fee Related JP3605955B2 (en) | 1996-07-31 | 1996-07-31 | Vehicle identification device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3605955B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006059165A (en) * | 2004-08-20 | 2006-03-02 | Riyuukoku Univ | Three-dimensional modeling device, geometric pattern, three-dimensional modeling data generating method, three-dimensional modeling program and recording medium |
| JP2011008505A (en) * | 2009-06-25 | 2011-01-13 | Mitsubishi Electric Corp | Vehicle detection apparatus, traffic information providing system, vehicle detection method and vehicle detection program |
| JP2014010765A (en) * | 2012-07-02 | 2014-01-20 | Sumitomo Electric Ind Ltd | Mobile object detector, image type sensor, and computer program |
| WO2014054328A1 (en) * | 2012-10-02 | 2014-04-10 | 株式会社 東芝 | Vehicle detection apparatus |
| JP2015022658A (en) * | 2013-07-22 | 2015-02-02 | 株式会社東芝 | Vehicle monitoring apparatus and vehicle monitoring method |
| US9262683B2 (en) | 2012-12-04 | 2016-02-16 | Sony Corporation | Image processing device, image processing method, and program |
| JP2017084417A (en) * | 2017-02-02 | 2017-05-18 | 株式会社東芝 | Vehicle monitoring device and vehicle monitoring method |
| CN113863180A (en) * | 2021-09-16 | 2021-12-31 | 泰州市雷信农机电制造有限公司 | Bottom supporting prevention and control system based on big data storage |
-
1996
- 1996-07-31 JP JP21934296A patent/JP3605955B2/en not_active Expired - Fee Related
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006059165A (en) * | 2004-08-20 | 2006-03-02 | Riyuukoku Univ | Three-dimensional modeling device, geometric pattern, three-dimensional modeling data generating method, three-dimensional modeling program and recording medium |
| JP2011008505A (en) * | 2009-06-25 | 2011-01-13 | Mitsubishi Electric Corp | Vehicle detection apparatus, traffic information providing system, vehicle detection method and vehicle detection program |
| JP2014010765A (en) * | 2012-07-02 | 2014-01-20 | Sumitomo Electric Ind Ltd | Mobile object detector, image type sensor, and computer program |
| WO2014054328A1 (en) * | 2012-10-02 | 2014-04-10 | 株式会社 東芝 | Vehicle detection apparatus |
| JP2014074939A (en) * | 2012-10-02 | 2014-04-24 | Toshiba Corp | Vehicle detection device |
| US9262683B2 (en) | 2012-12-04 | 2016-02-16 | Sony Corporation | Image processing device, image processing method, and program |
| JP2015022658A (en) * | 2013-07-22 | 2015-02-02 | 株式会社東芝 | Vehicle monitoring apparatus and vehicle monitoring method |
| US9875413B2 (en) | 2013-07-22 | 2018-01-23 | Kabushiki Kaisha Toshiba | Vehicle monitoring apparatus and vehicle monitoring method |
| JP2017084417A (en) * | 2017-02-02 | 2017-05-18 | 株式会社東芝 | Vehicle monitoring device and vehicle monitoring method |
| CN113863180A (en) * | 2021-09-16 | 2021-12-31 | 泰州市雷信农机电制造有限公司 | Bottom supporting prevention and control system based on big data storage |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3605955B2 (en) | 2004-12-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4822766B2 (en) | Road marking recognition device and system | |
| US7899211B2 (en) | Object detecting system and object detecting method | |
| US20020134151A1 (en) | Apparatus and method for measuring distances | |
| EP1383100A2 (en) | Local positioning apparatus and method therefor | |
| JP2000357233A (en) | Body recognition device | |
| CN108197523B (en) | Night vehicle detection method and system based on image conversion and contour neighborhood difference | |
| JP4872769B2 (en) | Road surface discrimination device and road surface discrimination method | |
| EP3115933B1 (en) | Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium | |
| JP6226368B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
| JP5834933B2 (en) | Vehicle position calculation device | |
| CN111213153A (en) | Target object motion state detection method, device and storage medium | |
| CN107346547B (en) | Monocular platform-based real-time foreground extraction method and device | |
| JP2002228423A (en) | Tire detecting method and device | |
| JPH1173514A (en) | Recognition device for vehicle | |
| JPH11195127A (en) | Method for recognizing white line and device therefor | |
| JP4123138B2 (en) | Vehicle detection method and vehicle detection device | |
| JPH07334800A (en) | Vehicle recognition device | |
| JPH1049662A (en) | Device for discriminating vehicle | |
| JP3516118B2 (en) | Object recognition method and object recognition device | |
| CN112766046B (en) | Target detection method and related device | |
| JP2004086417A (en) | Method and device for detecting pedestrian on zebra crossing | |
| JP3465531B2 (en) | Object recognition method and apparatus | |
| JPH1055446A (en) | Object recognizing device | |
| JP5903901B2 (en) | Vehicle position calculation device | |
| JP3475700B2 (en) | Object recognition method, object recognition device, and vehicle recognition device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040113 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040303 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040601 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040727 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040914 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040927 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071015 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081015 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091015 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101015 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111015 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121015 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121015 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131015 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |