JP4333683B2 - Windshield range detection device, method and program - Google Patents
Windshield range detection device, method and program Download PDFInfo
- Publication number
- JP4333683B2 JP4333683B2 JP2006089018A JP2006089018A JP4333683B2 JP 4333683 B2 JP4333683 B2 JP 4333683B2 JP 2006089018 A JP2006089018 A JP 2006089018A JP 2006089018 A JP2006089018 A JP 2006089018A JP 4333683 B2 JP4333683 B2 JP 4333683B2
- Authority
- JP
- Japan
- Prior art keywords
- windshield
- vehicle
- height
- image
- end position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、画像処理により、走行車両の画像に表れる水平方向のエッジ（特徴ライン）の高さを検出することにより、フロントガラスの範囲を検出するフロントガラスの範囲検出装置、方法及びプログラムに関するものである。 The present invention relates to a windshield range detection apparatus, method, and program for detecting a windshield range by detecting the height of a horizontal edge (characteristic line) appearing in an image of a traveling vehicle by image processing. It is.
犯罪捜査において、特定車両及びその搭乗者の画像は有力な情報であり、搭乗者はフロントガラスの範囲に写っているので、フロントガラスの範囲を特定することが必要である。
一方、速度違反等に対する違反警告においては、対象車両の画像を大型表示板に表示するシステムが有効な抑止力を持っているが、プライバシー対策のため、搭乗者が映っているフロントガラスの範囲はマスクする必要がある。
In criminal investigations, the image of the specific vehicle and its passenger is powerful information, and the passenger is reflected in the range of the windshield. Therefore, it is necessary to specify the range of the windshield.
On the other hand, in the violation warning for speed violations, etc., the system that displays the image of the target vehicle on the large display board has an effective deterrent, but for privacy measures, the range of the windshield where the passenger is reflected is Must be masked.
そこで、車両範囲内において、フロントガラスの範囲を検出し、このフロントガラスの範囲を含む画像を抽出したり、フロントガラスの範囲をマスクした画像を作成する機能が求められている。
また、この機能を低コストに実現する装置も求められる。
特開平１０−０５５４４５号公報では、ナンバープレート位置と文字認識結果による車種情報（大型車／普通車）よりフロントガラスの範囲を推測しているが、同一車種であっても車体形状は様々であり、推測範囲内にフロントガラスの範囲の一部又はすべてが含まれないおそれがある。また、特に大型車において、ナンバープレートとフロントガラスが同一画面内に収まらない場合には、この方式ではフロントガラスの範囲を抽出することは不可能である。
Therefore, there is a demand for a function of detecting the range of the windshield within the vehicle range, extracting an image including the range of the windshield, or creating an image in which the range of the windshield is masked.
There is also a need for a device that realizes this function at low cost.
In Japanese Patent Laid-Open No. 10-055445, the range of the windshield is estimated from the number plate position and the vehicle type information (large vehicle / normal vehicle) based on the character recognition result. There is a possibility that part or all of the windshield range may not be included in the estimated range. In addition, especially in a large vehicle, when the license plate and the windshield do not fit within the same screen, it is impossible to extract the range of the windshield with this method.
また、特開平１０−０９１７９８号公報では、駐車枠等の特定範囲内における明るさ分布を分析し、高輝度な車体内の低輝度範囲をフロントガラスとして検出する。しかし、黒っぽい低輝度な車体に対しては、フロントガラスの検出はできない。
また、特開平１１−０２５３９４号公報では、カメラを１ｍ程度の高さに設置し真横から車両を見ることにより、長い水平エッジが上から、屋根、フロントガラス上端、フロントガラス下端の順に検出し、車高に対してフロントガラスの縦の大きさは１／３〜１／２であると設定し、フロントガラスの範囲を検出している。しかし、カメラの設置条件が水平に限定されており、一般道路ではこのようなカメラ設置は行わない（カメラを破壊される虞がある）。路面上方からの一般のカメラ設置では、車体後部にも長い水平エッジが検出されるため、この方式では対応できない。
In Japanese Patent Laid-Open No. 10-091798, brightness distribution within a specific range such as a parking frame is analyzed, and a low luminance range in a high luminance vehicle body is detected as a windshield. However, the windshield cannot be detected for a dark, low-luminance vehicle body.
Moreover, in JP-A-11-025394, by installing the camera at a height of about 1 m and looking at the vehicle from the side, a long horizontal edge is detected in order from the top, the roof, the upper end of the windshield, and the lower end of the windshield. The vertical size of the windshield is set to 1/3 to 1/2 with respect to the vehicle height, and the range of the windshield is detected. However, the camera installation conditions are limited to the horizontal, and such a camera installation is not performed on a general road (the camera may be destroyed). In general camera installation from above the road surface, a long horizontal edge is also detected at the rear of the vehicle body, so this method cannot be used.
また、特開平１１−２５９７９２号公報では、２つのカメラを用いて３Ｄ計測を行い、その結果を横断方向に投影したシルエットにおいて、車両モデルを当てはめてフロントガラス位置を検出する。この方式では、カメラ２式を使用することによってコスト・重量が大きくなり、またすべての車両の詳細なモデルを用意することは困難である。
そこで、本発明者は、一台のカメラの視野範囲を所定速度で横切る物体の高さ情報を算出することができることに着目した。
また、この物体の高さ情報を用いれば、フロントガラスの範囲の抽出も容易にできる。
本発明は、従来よりも簡単な構成の装置を用いてフロントガラスの範囲を抽出できるフロントガラスの範囲検出方法及び装置を提供することを目的とする。
Therefore, the present inventor has paid attention to the fact that the height information of an object that crosses the visual field range of one camera at a predetermined speed can be calculated.
Moreover, if the height information of this object is used, the range of the windshield can be easily extracted.
An object of the present invention is to provide a windshield range detection method and apparatus capable of extracting a windshield range using an apparatus having a simpler configuration than conventional ones.
本発明のフロントガラスの範囲検出装置は、カメラで路上を撮影した画像内に走行車両が検出された場合に、当該画像に含まれるその走行車両の進行方向に垂直な方向に表れる特徴ラインを検出するとともにその特徴ラインの高さを検出し、検出された最大の高さ、又はその最大の高さから低くなる方向に第１の所定範囲の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とし、前記フロントガラスの上端位置から低くなる方向に第２の所定範囲の高さを持ち、かつ前記フロントガラスの上端位置から車両先頭方向への第３の所定範囲内に存在する特徴ラインのうち、最も低い位置又は最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とし、前記フロントガラスの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とする。 The windshield range detection device of the present invention detects a feature line appearing in a direction perpendicular to the traveling direction of the traveling vehicle included in the image when the traveling vehicle is detected in an image taken on the road with a camera. detecting the height of its features line while the detected maximum height, or of the features line with the height of the first predetermined range in the direction of lower the maximum height thereof, the progress of most vehicles characterized lines existing in the direction to the upper end position of the windshield, the direction to be lowered from the upper end position of the windshield Chi lifting the height of the second predetermined range, and from the upper end position of the windshield to the vehicle top direction the third of the features lines existing within a predetermined range, the characteristic lines existing in the traveling direction of the lowest position or most vehicles the lower end position of the windshield, the windshield The region sandwiched by the upper end position and lower end position and area of the windshield.
検出された最大の高さを持つ特徴ラインは、フロントガラスの上端位置である場合もあり、あるいは屋根と道路との境界エッジである場合もある。また、屋根の上にキャリアを搭載した車両では、そのキャリアのエッジである場合もある。
そこで、これらのラインの中から最大の高さ、又はその最大の高さから低くなる方向に第１の所定範囲の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とすることができる。フロントガラスの上端位置が決まれば、前記フロントガラスの上端位置から低くなる方向に第２の所定範囲の高さを持ち、かつ前記フロントガラスの上端位置から車両先頭方向への第３の所定範囲内に存在する特徴ラインのうち、最も低い位置又は最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とする。そしてこれらの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とすることができる。
The feature line with the maximum height detected may be the top edge position of the windshield or the boundary edge between the roof and the road. Moreover, in the vehicle which mounted the carrier on the roof, it may be the edge of the carrier.
Therefore, the maximum height from these lines, or features of the line, characteristics lines existing in the traveling direction of the most vehicles with the height of the first predetermined range in the direction of lower the maximum height thereof Can be the upper end position of the windshield. Once the upper end position of the windshield, the third predetermined range in a direction decreases from the upper end position of the windshield Chi lifting the height of the second predetermined range, and from the upper end position of the windshield to the vehicle top direction Among the characteristic lines existing inside , the lowest position or the characteristic line existing on the vehicle traveling direction side is defined as the lower end position of the windshield. And the area | region between these upper end positions and lower end positions can be made into the area | region of a windshield.
このようにして、カメラの視野範囲を横切る車両の高さ情報に基づいて、一台のカメラのみで、フロントガラスの範囲の抽出が容易に、かつ精度よくできる。
そして、検出したフロントガラスの範囲が映っている画像を抽出し、表示し、蓄積し又は送信することもでき、また、検出したフロントガラスの範囲をマスク処理した画像を作成し、表示し、蓄積し又は送信することもできるので、フロントガラスを含む画像に求められる扱いに対応することが容易となる。
Thus, based on the vehicle height information that crosses the field of view of the camera, the windshield range can be easily and accurately extracted with only one camera.
It is also possible to extract, display, store or transmit an image showing the detected windshield area, and to create, display and store an image with the detected windshield area masked. Since it can also be transmitted, it is easy to cope with the handling required for an image including a windshield.
前記車両の進行方向は、近づいてくる車両を撮影するカメラ画像の上から下への方向としてもよく、道路座標上で論ずる場合は車線に沿ってカメラに近づく方向としてもよい。
前記特徴ラインの高さを検出する場合、フロントガラスの範囲検出のためには、絶対的な高さを検出してもよく、相対的な高さを検出してもよい。前者の場合、実際の車両速度を求める必要がある。後者の場合、実際の車両速度を求める必要はなく、任意の車両移動速度を設定することにより、特徴ラインの相対的な高さを検出することができる。
The traveling direction of the vehicle may be a direction from the top to the bottom of the camera image that captures the approaching vehicle, and may be a direction that approaches the camera along the lane when discussed on road coordinates.
When detecting the height of the feature line, an absolute height may be detected or a relative height may be detected for detecting the range of the windshield. In the former case, it is necessary to determine the actual vehicle speed. In the latter case, it is not necessary to obtain the actual vehicle speed, and the relative height of the feature line can be detected by setting an arbitrary vehicle moving speed.
また、２時刻間の画像同士で、同一の特徴ラインを決定し、車両移動距離を一定に設定することにより、当該特徴ラインの高さを算出することもできる。
また、前記特徴ラインの最大高さが更新された時点の画像のみを蓄積することとし、前記蓄積された画像に基づいて、上端位置と下端位置とに挟まれたフロントガラスの領域を検出することもできる。この場合、更新後の画像のみを蓄積すればよいので、画像を蓄積するメモリの容量を節約することができる。
Moreover, the height of the said feature line can also be calculated by determining the same feature line between the images of 2 time, and setting a vehicle moving distance constant.
Further, only the image at the time when the maximum height of the feature line is updated is accumulated, and the region of the windshield sandwiched between the upper end position and the lower end position is detected based on the accumulated image. You can also. In this case, since only the updated image needs to be stored, the memory capacity for storing the image can be saved.
また、本発明のフロントガラスの範囲検出方法及びプログラムは、前記フロントガラスの範囲検出装置の発明と実質同一発明に係る方法及びプログラムである。 The windshield range detection method and program of the present invention are a method and a program according to the invention substantially the same as the invention of the windshield range detection device.
本発明によれば、カメラの視野範囲を横切る車両の高さ情報に基づいて、フロントガラスの範囲の抽出が容易に、かつ精度よくできる。 According to the present invention, it is possible to easily and accurately extract the range of the windshield based on the height information of the vehicle that crosses the visual field range of the camera.
以下、本発明の実施の形態を、添付図面を参照しながら詳細に説明する。
図１は、本発明のフロントガラスの範囲検出装置の構成図を示す。
道路上方に道路面を俯瞰するように、カメラ２を所定の高さに設置している。カメラ２の視野範囲５は、道路の一車線上にある。
カメラ２の撮影画像は、映像ケーブル３を通して計測部４に入力される。計測部４は、通信手段を持ち、計測結果を遠隔地の交通管制センターや警察署に提供することができる。
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
FIG. 1 shows a configuration diagram of a windshield range detection apparatus of the present invention.
The camera 2 is installed at a predetermined height so as to overlook the road surface above the road. The visual field range 5 of the camera 2 is on one lane of the road.
The captured image of the camera 2 is input to the measuring unit 4 through the video cable 3. The measuring unit 4 has communication means and can provide the measurement result to a remote traffic control center or police station.
図２に、カメラ２で撮影した撮影画像の例を示す。カメラ２の視野範囲５は、図２のように車両のバンパーやフロントガラスなどの、走行車両の進行方向に垂直なラインである水平ラインが抽出しやすい程度の視野（左右方向２〜３ｍ、上下方向２〜３ｍ程度）とする。
図３は、計測部４の構成例を示す図である。
In FIG. 2, the example of the picked-up image image | photographed with the camera 2 is shown. As shown in FIG. 2, the field of view 5 of the camera 2 is a field of view that is easy to extract a horizontal line that is perpendicular to the traveling direction of the traveling vehicle, such as a vehicle bumper or a windshield (left and right direction 2 to 3 m, up and down Direction 2 to 3 m).
FIG. 3 is a diagram illustrating a configuration example of the measurement unit 4.
計測部４は、カメラ２の画像を取り込み、カメラ２の画面上に設定した車両検出用の計測範囲内での車両の有無を判定し、車両が検出された場合に、水平ラインの抽出、追跡、フロントガラスの範囲判定等の演算処理を実行する。
計測部４は、画像入力部４１、Ａ／Ｄ変換部４２、画像メモリ４３、演算部４４、通信部４５を有する。
The measuring unit 4 captures the image of the camera 2, determines the presence or absence of a vehicle within the vehicle detection measurement range set on the screen of the camera 2, and extracts and tracks a horizontal line when a vehicle is detected. Then, arithmetic processing such as windshield range determination is executed.
The measurement unit 4 includes an image input unit 41, an A / D conversion unit 42, an image memory 43, a calculation unit 44, and a communication unit 45.
画像入力部４１は、カメラ２の画像を取り込むためのインターフェイスを提供する。Ａ／Ｄ変換部４２は、画像信号をデジタル変換する。画像メモリ４３は、デジタル変換した画像データを一時的に格納する。演算部４４は、水平ラインの抽出、追跡、フロントガラスの範囲判定等の演算処理を実行する。通信部４５は、信号機や表示板、交通管制センター、警察署等との通信を行って、フロントガラスの写っている画像又はフロントガラスの範囲をマスクした画像等の情報を伝える。 The image input unit 41 provides an interface for capturing an image of the camera 2. The A / D converter 42 digitally converts the image signal. The image memory 43 temporarily stores the digitally converted image data. The calculation unit 44 executes calculation processes such as horizontal line extraction, tracking, and windshield range determination. The communication part 45 communicates with a traffic light, a display board, a traffic control center, a police station, etc., and conveys information, such as an image in which the windshield is reflected or an image in which the range of the windshield is masked.
なお、前記カメラ２と前記計測部４は一体型としても良い。
図４は、計測部４の行うフロントガラスの範囲判定処理方法を説明するためのフローチャートである。
演算部４４は、画像入力部４１を通して画像を取り込み、画像メモリ４３に記憶させる（ステップＳ１）。画像の取り込み間隔は、例えば１秒間に３０枚（１／３０秒）とする。
The camera 2 and the measurement unit 4 may be integrated.
FIG. 4 is a flowchart for explaining the windshield range determination processing method performed by the measurement unit 4.
The calculation unit 44 captures an image through the image input unit 41 and stores it in the image memory 43 (step S1). The image capture interval is, for example, 30 (1/30 seconds) per second.
演算部４４は、画像メモリ４３に記憶された画像に基づいて、画面の中に車両が存在するかどうかを検出する（ステップＳ２）。
図５は、車両検出用の計測範囲Ｒを示す図である。計測範囲Ｒは、画面上に四角の太枠で示している。
この枠内において、車両有無を判定する。
Based on the image stored in the image memory 43, the calculation unit 44 detects whether or not a vehicle is present on the screen (step S2).
FIG. 5 is a diagram showing a measurement range R for vehicle detection. The measurement range R is indicated by a rectangular thick frame on the screen.
Within this frame, the presence or absence of the vehicle is determined.
例えば、予め車両が存在しない場合の路面画像を作成しておき、取り込んだ画像（以下、入力画像と呼ぶ）との明るさの差を算出し、閾値以上の変化が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとする（ステップＳ３）。
あるいは、路面模様の明るさ変化のある部分（以下、エッジと呼ぶ）の位置を予め記憶しておき、入力画像についてもエッジを算出し、それらのエッジの鋭さの差を算出し、閾値以上の差が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとすることもできる。
For example, a road surface image in the case where no vehicle is present is created in advance, the difference in brightness from the captured image (hereinafter referred to as an input image) is calculated, and a change in excess of a threshold is detected. If there is a change below the threshold, no vehicle is present (step S3).
Alternatively, the position of a portion of the road surface pattern where the brightness changes (hereinafter referred to as an edge) is stored in advance, the edge is also calculated for the input image, the difference in sharpness between the edges is calculated, When the difference is detected, the vehicle can be present, and when the difference is less than or equal to the threshold, the vehicle can be absent.
車両ありと判定された場合、車両の速度検出を行う（ステップＳ４）。車両の速度検出は公知の手段を用いることができる。例えば、カメラ２の下に超音波式ドップラーレーダを設置して、車両の速度を測定することができる。また、道路に埋め込み式の車両感知器を２つ設置し、車両がこれらの車両感知器を通過した時間を測定して、車両の速度を知ることができる。 If it is determined that there is a vehicle, the vehicle speed is detected (step S4). A well-known means can be used for vehicle speed detection. For example, an ultrasonic Doppler radar can be installed under the camera 2 to measure the speed of the vehicle. In addition, it is possible to know the speed of the vehicle by installing two embedded vehicle detectors on the road and measuring the time when the vehicle passes through these vehicle detectors.
なお、車両の速度検出をしない実施も可能であり、後述する。
次に、特徴ライン抽出処理を行う（ステップＳ５）。
図６は、特徴ライン抽出処理を説明するための詳細フローチャートである。
まず、各画素毎に、前時刻と現時刻の明るさの差を算出し、その差が閾値以上ある場合、時間差分変化ありとする（ステップＴ１）。これは、路面標示等の動かない路面のエッジを消すためである。
An implementation without detecting the speed of the vehicle is also possible and will be described later.
Next, feature line extraction processing is performed (step S5).
FIG. 6 is a detailed flowchart for explaining the feature line extraction processing.
First, for each pixel, the brightness difference between the previous time and the current time is calculated. If the difference is equal to or greater than a threshold, it is determined that there is a time difference change (step T1). This is to erase an edge of a road surface that does not move, such as a road marking.
次に、時間差分変化ありの画素について、水平エッジの有無を算出する（ステップＴ２）。これは例えば、図７に示すように、注目画素及びその周辺画素の９画素に対して、ソーベルフィルタ処理を行い、計算値Ｄの絶対値が閾値以上であった場合、注目画素（＊）において水平エッジありとする。
計算式は、例えば
Ｄ＝Ｉ11×１＋Ｉ12×２+Ｉ13×１-Ｉ31×１-Ｉ32×２-Ｉ33×１
である（Ｉjkは、行列の第ｊ行第ｋ列の画素の輝度を表す）。
Next, the presence / absence of a horizontal edge is calculated for a pixel with a time difference change (step T2). For example, as shown in FIG. 7, when the Sobel filter processing is performed on the target pixel and its nine neighboring pixels and the absolute value of the calculated value D is equal to or larger than the threshold value, the target pixel (*) In FIG.
The calculation formula is, for example, D = I11 × 1 + I12 × 2 + I13 × 1-I31 × 1-I32 × 2-I33 × 1
(Ijk represents the luminance of the pixel in the j-th row and the k-th column of the matrix).
次に、時間差分変化があり、水平エッジを構成する画素に対して、細線化処理をする（ステップＴ３）。これは、近接するエッジを除去し、特徴ラインを抽出しやすくするための処理である。例えば、Hilditchの細線化アルゴリズム（「画像の処理と認識」、安居院他、昭晃堂参照）を用いて、水平エッジ画像を細線化する。
図８は、細線化された水平エッジ画像の一例を示す図である。
Next, a thinning process is performed on pixels that have a time difference change and constitute a horizontal edge (step T3). This is a process for removing adjacent edges and facilitating extraction of feature lines. For example, a horizontal edge image is thinned using Hilditch's thinning algorithm (see “Image Processing and Recognition”, Aiin et al., Shosodo).
FIG. 8 is a diagram illustrating an example of a thinned horizontal edge image.
次に、この画面の水平方向に水平エッジ数を算出して、図８の右端に示すように、ヒストグラムをつくる（ステップＴ４）。
このヒストグラムに基づいて、画面の上部から下部にかけて（下部から上部でもよい）、水平エッジ数が、その水平ラインの上下に隣接する水平ラインと比較して閾値以上大きいラインを抽出する。これは図７に円で囲んだ、尖ったピークの部分に該当する。この尖ったラインを「特徴ライン」という。
Next, the number of horizontal edges is calculated in the horizontal direction of the screen, and a histogram is created as shown at the right end of FIG. 8 (step T4).
Based on this histogram, from the upper part to the lower part of the screen (or from the lower part to the upper part), a line whose number of horizontal edges is greater than a threshold value is extracted as compared with the horizontal lines adjacent to the top and bottom of the horizontal line. This corresponds to a sharp peak portion surrounded by a circle in FIG. This pointed line is called “characteristic line”.
このようにして特徴ラインの抽出処理が終われば、図４に戻り、車両検出回数を１加算し（ステップＳ６）、ステップＳ１に戻る。
以下、次に取り込んだ画像に基づいて、ステップＳ２以下の処理を繰り返す。
ステップＳ３で、画像内に車両がなくなったと判定された場合、ステップＳ７に移り、今までの車両検出回数をしきい値ｎと比較する。
When the feature line extraction process is completed in this manner, the process returns to FIG. 4, the vehicle detection count is incremented by 1 (step S 6), and the process returns to step S 1.
Thereafter, the processing from step S2 onward is repeated based on the next captured image.
If it is determined in step S3 that there are no vehicles in the image, the process proceeds to step S7, where the number of vehicle detections so far is compared with a threshold value n.
車両検出回数の閾値ｎは、例えば「３」程度に設定する。これは、連続した車両検出が３回以下しかできなかったのであれば、本当に車両であったかどうか疑わしいので、以下の特徴ラインの高さ算出処理をやめるためである。
車両検出回数が閾値ｎを超えていたら、ステップＳ８に移り、特徴ラインの高さ算出処理に入る。
The threshold value n of the number of vehicle detections is set to about “3”, for example. This is to stop the following feature line height calculation process because it is doubtful whether the vehicle is really a vehicle if continuous vehicle detection can be performed only three times or less.
If the number of vehicle detections exceeds the threshold value n, the process proceeds to step S8, and the feature line height calculation process is entered.
以下、特徴ラインの高さ算出処理を詳しく説明する。
図９は、検出された特徴ラインの画面上の位置を縦軸に、時刻を横軸にとったグラフである。特徴ラインが５本写った場合を例示している。
図９において、各特徴ラインの軌跡は、画面上における見かけの動きであり、各時刻における実空間上での位置を射影したものである。車両の走行に従って、特徴ラインが時間の経過とともに画面の上から下へ移動している。
Hereinafter, the feature line height calculation process will be described in detail.
FIG. 9 is a graph in which the position of the detected feature line on the screen is on the vertical axis and the time is on the horizontal axis. The case where five characteristic lines are shown is illustrated.
In FIG. 9, the trajectory of each feature line is an apparent movement on the screen and is a projection of the position in real space at each time. As the vehicle travels, the characteristic line moves from the top to the bottom of the screen over time.
ここで、実空間と撮影面上の座標の変換式を定義する。
図１０のように、実空間での座標系を（Ｘ，Ｙ，Ｚ）とし、カメラ２の撮影面上での座標系を（Ｐ，Ｑ）とする。
実空間では、垂直方向をＺ、道路の延びる方向をＹ、道路を横断する方向をＸにとる。
カメラ２は、道路の延長線上に設置されており、その撮影面では、道路横断方向Ｘと平行に横軸Ｐをとり、横軸Ｐと直角に縦軸Ｑをとる。縦軸Ｑは、道路の垂直方向Ｚに対して、俯角に相当する角度αだけ傾いているものとする。
Here, a conversion formula between coordinates in the real space and the imaging plane is defined.
As shown in FIG. 10, the coordinate system in the real space is (X, Y, Z), and the coordinate system on the imaging surface of the camera 2 is (P, Q).
In real space, Z is the vertical direction, Y is the direction in which the road extends, and X is the direction that crosses the road.
The camera 2 is installed on an extended line of the road, and on the photographing surface thereof, the horizontal axis P is parallel to the road crossing direction X, and the vertical axis Q is perpendicular to the horizontal axis P. The vertical axis Q is inclined with respect to the vertical direction Z of the road by an angle α corresponding to the depression angle.
ここでは、カメラ２が道路の延長線上に設置されていて、車両はカメラ２に向かって近づいてくることを前提にしているので、実空間での道路横断方向Ｘへの動きは考慮しない。撮影面では特徴ラインの位置座標ｑのみを考慮し、それに直交する座標ｐは無視する。従って、実空間での車両の座標は（ｙ，ｚ）となり、撮影面ではｑとなる。
撮影面上での座標ｑ（単位：画素数）と、実空間上での座標点（ｙ，ｚ）には、（１）（２）式の関係式が成立する。
Here, since it is assumed that the camera 2 is installed on an extension line of the road and the vehicle approaches the camera 2, the movement in the road crossing direction X in the real space is not considered. On the imaging plane, only the position coordinate q of the feature line is considered, and the coordinate p orthogonal thereto is ignored. Therefore, the coordinates of the vehicle in the real space are (y, z) and q on the photographing surface.
The relational expressions (1) and (2) are established for the coordinate q (unit: number of pixels) on the imaging surface and the coordinate point (y, z) on the real space.
ただし、カメラレンズの焦点距離ｆ、カメラ２の設置高さＨ、撮影面上のＱ軸方向の高さＳｑと、Ｓｑに相当する撮影面のＱ軸方向の画素数Ｎｑとの比（一画素のサイズ）は既知であり、定数値として扱う。
ｚ＝Ｈ−（ｆtanα−ξ）ｙ／（ξtanα＋ｆ） （１）
ξ＝（Ｓq／Ｎq）ｑ （２）
ここで、ξは特徴ラインの撮像面上の高さである。微少時間（画面上下範囲を通過する時間）内での車両の移動速度ｖは検出済みであるから、所定時刻からの経過時間に基づいて各時刻での実空間上のＹ座標ｙ(t)が算出できる。
However, the ratio of the focal length f of the camera lens, the installation height H of the camera 2, the height Sq in the Q-axis direction on the imaging surface, and the number Nq of pixels in the Q-axis direction of the imaging surface corresponding to Sq (one pixel) Is known and is treated as a constant value.
z = H− (ftanα−ξ) y / (ξtanα + f) (1)
ξ = (Sq / Nq) q (2)
Here, ξ is the height of the feature line on the imaging surface. Since the moving speed v of the vehicle within a very short time (time passing through the upper and lower range of the screen) has already been detected, the Y coordinate y (t) in the real space at each time is determined based on the elapsed time from the predetermined time. It can be calculated.
特徴ラインの実空間上での高さｚを、ある一定値に仮定する。
すると（１）式から、前記ｙ(t)に基づいて、ξ(t)を時間の関数として算出できる。このξ(t)を使えば、（２）式からｑ(t)が時間の関数として求まる。
従って、このｑ(t)を時間の関数として、曲線Ｕを描くことができる。
特徴ラインの実空間上での高さｚを変数（パラメータ）とし、高さｚを変えていけば、複数のｑ(t)を描いた曲線群ができる。
The height z of the feature line in the real space is assumed to be a certain constant value.
Then, from equation (1), ξ (t) can be calculated as a function of time based on y (t). Using this ξ (t), q (t) can be obtained as a function of time from the equation (2).
Therefore, the curve U can be drawn using q (t) as a function of time.
If the height z of the feature line in the real space is a variable (parameter) and the height z is changed, a curve group depicting a plurality of q (t) can be formed.
図１１は、特徴ラインの実空間上での高さｚを変数として、これらのｑ(t)の曲線群Ｕを示すグラフである。
同図では、各曲線とも、時刻ｔ0における撮影面上の高さを同一値ｑsに統一している。また同図で、高さｚは、ｚ0＞ｚ1＞ｚ2の関係がある。
高さｚ0に対応する曲線Ｕ0は、短い時間で撮影面を上端から下端まで（撮影面の上端から下端までを「カメラ２の視野」という）通過していることがわかる。この現象は、高さの高い物体、例えば車両の屋根などは、比較的短時間でカメラ２の視野を横切るという経験則に対応している。
FIG. 11 is a graph showing a curve group U of these q (t) using the height z of the feature line in the real space as a variable.
In the figure, the height on the photographing surface at time t0 is unified to the same value qs for each curve. In the same figure, the height z has a relationship of z0>z1> z2.
It can be seen that the curve U0 corresponding to the height z0 passes through the imaging surface from the upper end to the lower end (referred to as “field of view of the camera 2” from the upper end to the lower end of the imaging surface) in a short time. This phenomenon corresponds to an empirical rule that a high object such as a vehicle roof crosses the field of view of the camera 2 in a relatively short time.
これとは逆に、高さの低い物体、例えば車両のバンパーなどは、同じ速度で走行していても、比較的長時間かかってカメラ２の視野を通過する。図１１のグラフでは、高さｚ2に対応する曲線Ｕ2は、長い時間をかけて撮影面を通過している。
従って、車両の移動速度が分かっているとして、特徴ラインがこのカメラ２の視野を通過する時間Ｔを測定すれば、当該物体の高さが求まる。
On the other hand, an object with a low height, such as a bumper of a vehicle, passes through the field of view of the camera 2 in a relatively long time even when traveling at the same speed. In the graph of FIG. 11, the curve U2 corresponding to the height z2 passes through the imaging surface over a long time.
Therefore, assuming that the moving speed of the vehicle is known, the height of the object can be obtained by measuring the time T during which the characteristic line passes through the field of view of the camera 2.
また、車両の移動速度が分かっているとして、特徴ラインがこのカメラ２の視野を通過する時間Ｔに代えて、特徴ラインがこのカメラ２の視野を通過する見かけ上の速度（画面の上端から下端までの距離（ｑ0−ｑ1）を前記時間Ｔで割ったもの）に基づいても、当該物体の高さを求めることができる。
例えば図１１では、特徴ラインの時々刻々の軌跡例がプロットされており、それらの点がカメラ２の視野を通過するのに時間Ｔかかっているとする。この時間Ｔをかけてカメラ２の視野を通過する曲線Ｕ*を特定することができる。曲線Ｕ*に対応する高さをｚ*とすると、そのｚ*が特徴ラインの実空間上での高さとなる。
Further, assuming that the moving speed of the vehicle is known, instead of the time T when the feature line passes through the field of view of the camera 2, the apparent speed at which the feature line passes through the field of view of the camera 2 (from the upper end to the lower end of the screen). The height of the object can also be obtained based on the distance (q0−q1) divided by the time T).
For example, in FIG. 11, it is assumed that an example of the trajectory of the feature line from time to time is plotted, and it takes time T for these points to pass through the field of view of the camera 2. The curve U * passing through the field of view of the camera 2 over this time T can be specified. If the height corresponding to the curve U * is z * , the z * is the height of the feature line in real space.
また、前記時間Ｔや見かけ上の速度を測定する代わりに、特徴ラインの時々刻々の軌跡（つまり曲線Ｕの形）が分かるのであるから、この軌跡の形を、曲線群Ｕを構成する各曲線にフィッティングさせて最も傾きの似ている曲線を特定してもよい。すると、この曲線に対応する高さがわかる。
例えば図１１では、撮影された特徴ラインの時々刻々の軌跡がプロットされているが、それらの点は、曲線Ｕ*にフィットしているとする。曲線Ｕ*に対応する高さをｚ*とすると、そのｚ*が特徴ラインの実空間上での高さとして求まる。
Further, instead of measuring the time T and the apparent speed, the trajectory of the feature line is known every moment (that is, the shape of the curve U). Therefore, the shape of this trajectory is used as each curve constituting the curve group U. The curve having the most similar inclination may be specified by fitting to. Then, the height corresponding to this curve is known.
For example, in FIG. 11, the trajectory of the photographed feature line is plotted every moment, but these points are assumed to fit the curve U * . When the height corresponding to the curve U * is z * , the z * is obtained as the height of the feature line in the real space.
なお、前記曲線群の形は、車両の移動速度が違えば違ったものになるので、車両の移動速度ごとに、曲線群を用意しなければならない。
しかし、１つの移動速度に対応する曲線群を持っておけば、他の移動速度の曲線群は、時間のスケールを延び縮みさせるだけで簡単に求めることができる。
以上の説明では、図１１に示したように、グラフ上で時間を計り、曲線形の一致を調べていたが、これらの処理は、実際には、コンピュータの計算処理機能を利用して行うことは言うまでもない。例えば、前記曲線形の一致を調べるには、最小自乗法など、公知の最尤推定法を用いればよい。
Since the shape of the curve group is different if the moving speed of the vehicle is different, a curve group must be prepared for each moving speed of the vehicle.
However, if a group of curves corresponding to one moving speed is provided, a group of curves of other moving speeds can be easily obtained simply by extending or reducing the time scale.
In the above description, as shown in FIG. 11, the time is measured on the graph and the coincidence of the curve shapes is examined, but these processes are actually performed by using the computer processing function. Needless to say. For example, in order to check the coincidence of the curve shapes, a known maximum likelihood estimation method such as a least square method may be used.
以上のようにして、特徴ラインの実空間上の高さｚが分かったならば、その画面上の時々刻々の位置ｑを用いて、（１）式により、車両からカメラ２までの距離ｙを算出できる。このように、特徴ラインの実空間上の座標（ｙ，ｚ）が分かる。
次に、フローチャート（図４）のステップＳ９に移り、フロントガラスの上端位置を検出する。
As described above, when the height z of the feature line in the real space is known, the distance y from the vehicle to the camera 2 is calculated by the equation (1) using the position q every moment on the screen. It can be calculated. In this way, the coordinates (y, z) in the real space of the feature line are known.
Next, it moves to step S9 of a flowchart (FIG. 4), and detects the upper end position of a windshield.
まず、算出した各特徴ラインの高さの中で最大値を算出する。
次に、実空間上で、特徴ラインの高さが最大値から所定範囲内(例えば0%〜-10%)に存在する特徴ライン位置を検出し、最も車両の進行方向側の特徴ライン位置を検出し、フロントガラス上端位置とする。
所定範囲を定めるのは、フロントガラス上端が検出されるだけでなく、走行方向後ろ側の屋根の後ろ側の部分が、道路との境界として検出されることがあるからである（図９参照）。この場合、フロントガラス上端と屋根の後ろ側の部分はほぼ同じような高さとなるので、高さだけでは判断しにくいが、走行方向を基準にすれば、フロントガラス上端が最も車両先頭側となる。したがって、前記のように最大値を含み、最大値から所定範囲内で車両先頭側の特徴ラインを検出することとしたのである。
First, the maximum value among the calculated heights of the feature lines is calculated.
Next, in the real space, the feature line position where the height of the feature line is within a predetermined range (for example, 0% to -10%) from the maximum value is detected, and the feature line position closest to the traveling direction of the vehicle is detected. Detected and set as the windshield upper end position.
The reason why the predetermined range is determined is that not only the upper end of the windshield is detected, but also the rear part of the roof behind the traveling direction may be detected as a boundary with the road (see FIG. 9). . In this case, the upper end of the windshield and the rear part of the roof are almost the same height, so it is difficult to judge by the height alone, but the upper end of the windshield is the most front side of the vehicle based on the running direction. . Therefore, as described above, the feature line on the vehicle head side is detected within the predetermined range from the maximum value including the maximum value.
なお、最大値を持つ特徴ラインは存在しても、最大値から所定範囲の高さを持つ特徴ラインが存在しない場合もある。これは、フロントガラス上端のみが検出され、屋根の後ろ側と道路との境界が検出されなかった場合、又は当該境界の高さが低く前記一定割合の範囲内に入らなかった場合である。このときは、最大の高さを持つ特徴ラインをフロントガラス上端とする。 Even if there is a feature line having a maximum value, there may be no feature line having a height within a predetermined range from the maximum value. This is a case where only the upper end of the windshield is detected and the boundary between the rear side of the roof and the road is not detected, or the height of the boundary is low and the boundary is not within the predetermined range. At this time, the characteristic line having the maximum height is set as the upper end of the windshield.
次に、フロントガラス上端位置が、画面の最も上部に映っているときの時刻の画像を抽出し、この画像において、以下のように、フロントガラス下端位置を検出する（ステップＳ１０）。
すなわち、フロントガラス上端位置の、例えば実空間上での高さ及び車両進行方向の位置に対して、特徴ラインの高さがフロントガラス上端位置から所定範囲内(例えば-50cm〜-100cm)、及び車両先頭方向へ所定範囲内(例えば0cm〜100cm)に存在する特徴ライン位置を検出し、それらのうち最も低い位置又は最も車両の進行方向側にある特徴ライン位置をフロントガラス下端位置とする。
Next, an image at the time when the windshield upper edge position is reflected at the top of the screen is extracted, and the windshield lower edge position is detected in this image as follows (step S10).
That is, the height of the characteristic line is within a predetermined range (for example, -50 cm to -100 cm) from the upper end position of the windshield with respect to the position of the upper end position of the windshield, for example, the height in real space and the position in the vehicle traveling direction, and A characteristic line position existing within a predetermined range (for example, 0 cm to 100 cm) in the vehicle head direction is detected, and the lowest position among them or the characteristic line position closest to the vehicle traveling direction is set as the windshield lower end position.
あるいは画像座標上で、最も低い位置又は車両の進行方向側（画面下方向）の所定範囲内(例えば50画素〜100画素)に存在する特徴ライン位置を検出し、最も下側にある特徴ライン位置をフロントガラス下端位置としてもよい。
このような検出方法により、複数の特徴ラインを探索範囲内に検出したとき、探索範囲内で、最も画面上でのフロントガラスの範囲が大きくなる位置、つまり最下端位置を選択することができる。
Alternatively, on the image coordinates, the feature line position that is located at the lowest position or within a predetermined range (for example, 50 to 100 pixels) in the traveling direction side (downward direction of the vehicle) of the vehicle is detected, and the feature line position that is on the lowest side It is good also as a windshield lower end position.
By such a detection method, when a plurality of feature lines are detected within the search range, the position where the windshield range on the screen is the largest, that is, the lowest end position can be selected within the search range.
また、探索範囲内に特徴ラインが存在しないときは、探索範囲内で、探索範囲の最下端位置をフロントガラス下端位置とする。この理由は、探索範囲よりもフロントガラスが大きい場合であっても、探索範囲の最下端位置をフロントガラス下端位置としておけば、車内の人は十分カメラに映るからである。
最後に、求まったフロントガラスの範囲を含む画像に対して、フロントガラスの部分の抽出や、画像の拡大、あるいはマスク処理を行い、当該画像の情報を外部装置へ発信する。
When there is no feature line in the search range, the lowest end position of the search range is set as the windshield lower end position in the search range. The reason for this is that even if the windshield is larger than the search range, if the lowermost position of the search range is set as the lower end position of the windshield, people in the vehicle are sufficiently reflected in the camera.
Finally, extraction of a portion of the windshield, enlargement of the image, or mask processing is performed on the image including the obtained windshield range, and information on the image is transmitted to an external device.
以上の方式では、特徴ラインの実空間上の絶対位置を算出していたが、特徴ライン間の相対的な位置関係でもフロントガラスの範囲を検出可能である。このとき、図４のＳ４における速度検出は不要であり、速度に任意の値を与えることとする。これにより、速度検出する装置が不要となりシステム全体のコストを低減でき、好ましい。
詳しく言うと、速度を任意の一定値とおく。これに基づいて図１１の曲線群の形を一種類作る。測定値をこの曲線群にフィットさせることにより、各特徴ラインの高さを求める。これは、各特徴ラインの実際の高さではなく、特徴ラインの実空間上の相対的な高さとなる。つまり各特徴ラインの高さの絶対値は不明であるが、それらの比が、実際の高さの比に等しくなっているのである。
In the above method, the absolute position of the feature line in the real space is calculated. However, the range of the windshield can be detected by the relative positional relationship between the feature lines. At this time, the speed detection in S4 of FIG. 4 is unnecessary, and an arbitrary value is given to the speed. This eliminates the need for a device for speed detection, which can reduce the cost of the entire system, which is preferable.
Specifically, the speed is set to an arbitrary constant value. Based on this, one type of curve group shape in FIG. 11 is created. The height of each feature line is obtained by fitting the measured value to this curve group. This is not the actual height of each feature line, but the relative height of the feature line in real space. In other words, the absolute value of the height of each feature line is unknown, but their ratio is equal to the actual height ratio.
そこで、算出した各特徴ラインの高さの中で最大値を算出する。次に、前記と同様、実空間上で、特徴ラインの高さが最大値から所定範囲内(例えば0%〜-10%)に存在する特徴ラインの位置を検出し、最も車両の進行方向側の特徴ライン位置を特定し、フロントガラス上端位置とする。
次に、フロントガラス上端位置が、画面の最も上部に映っているときの時刻の画像を抽出し、この画像座標において、フロントガラス上端位置の高さに対して、特徴ラインの高さが車両の進行方向側（画面下方向）の所定範囲内（例えば５０画素〜１００画素）に存在する特徴ライン位置を検出し、最も下側にある特徴ライン位置をフロントガラス下端位置とする。
Therefore, the maximum value is calculated among the calculated heights of the feature lines. Next, in the same manner as described above, in the real space, the position of the feature line that is within a predetermined range (for example, 0% to -10%) from the maximum value is detected, and the most vehicle traveling direction side is detected. The characteristic line position of is identified and used as the windshield upper end position.
Next, an image of the time when the windshield top edge position is reflected at the top of the screen is extracted, and in this image coordinate, the height of the feature line is higher than that of the windshield top edge position. A feature line position existing within a predetermined range (for example, 50 to 100 pixels) on the traveling direction side (downward direction of the screen) is detected, and the lowermost feature line position is set as the windshield lower end position.
この結果、前記方式のＳ９、Ｓ１０と同様に、フロントガラス上端及び下端位置を検出できる。
以上に述べた方式では、車両が画面上を通過した始めから通過完了するまでの画像を蓄積しておく必要がある。一方で、フロントガラス上端または下端となる特徴ライン位置は、境界線が明瞭であり、ノイズの影響が少ないため、フロントガラスの範囲の検出を目的とする場合は、前述の図１１のようにフィッティングによるノイズ対策は必須ではない。
As a result, the windshield upper and lower positions can be detected in the same manner as in S9 and S10 of the above method.
In the method described above, it is necessary to accumulate images from the beginning of passing through the screen to the completion of passing. On the other hand, the feature line position which is the upper end or the lower end of the windshield has a clear boundary line and is less affected by noise. Therefore, when the purpose is to detect the range of the windshield, fitting as shown in FIG. Noise countermeasures by are not essential.
そこで、一定時間間隔の画像同士で、特徴ラインの高さを算出し、最大高さを更新した時点の画像のみを蓄積する方式を提案する。
この処理を、フローチャート（図１２）を用いて説明する。
演算部４４は、画像入力部４１を通して画像を取り込み、画像メモリ４３に記憶させる（ステップＵ１）。演算部４４は、画像メモリ４３に記憶された画像に基づいて、画面の中に車両が存在するかどうかを検出する（ステップＵ２）。例えば、予め車両が存在しない場合の路面画像を作成しておき、取り込んだ画像との明るさの差を算出し、閾値以上の変化が検出された場合を車両有りとし、閾値以下の変化の場合は車両なしとする（ステップＵ３）。
Therefore, a method is proposed in which the height of the feature line is calculated between images at a fixed time interval, and only the image at the time when the maximum height is updated is stored.
This process will be described with reference to a flowchart (FIG. 12).
The calculation unit 44 captures an image through the image input unit 41 and stores it in the image memory 43 (step U1). The computing unit 44 detects whether or not a vehicle is present on the screen based on the image stored in the image memory 43 (step U2). For example, if a road surface image is created in the absence of a vehicle in advance, the difference in brightness from the captured image is calculated, and if a change above the threshold is detected, the vehicle is present. Is no vehicle (step U3).
次に、前述した特徴ライン抽出処理を行う（ステップＵ４）。特徴ラインの抽出処理が終われば、車両検出回数を１加算し（ステップＵ５）、ステップＵ１に戻る。以下、次に取り込んだ画像に基づいて、ステップＵ２以下の処理を繰り返す。
ステップＵ６で、車両検出回数が２以上であれば、時刻ｔ１，ｔ２で同一の特徴ラインを特定する特徴ラインマッチング処理を行う（ステップＵ７）。
Next, the feature line extraction process described above is performed (step U4). When the feature line extraction process ends, the vehicle detection count is incremented by 1 (step U5), and the process returns to step U1. Thereafter, based on the next captured image, the processing from step U2 is repeated.
If the number of vehicle detections is 2 or more at step U6, a feature line matching process for specifying the same feature line is performed at times t1 and t2 (step U7).
特徴ラインマッチング処理は時刻ｔ１での特徴ラインを含む矩形領域をテンプレート登録し、時刻ｔ２で検出された各特徴ラインに対して、特徴ラインを含む矩形領域との正規化相関値が最大となるものを検出すればよい。具体的には、２本の特徴ラインのそれぞれを含む矩形領域のテクスチャ（模様又は輝度分布）が類似しており、それらが車両の進行方向に沿って平行移動している関係にある場合、相関値が高いとする。 In the feature line matching process, a rectangular region including a feature line at time t1 is registered as a template, and each feature line detected at time t2 has a maximum normalized correlation value with the rectangular region including the feature line. May be detected. Specifically, if the texture (pattern or luminance distribution) of the rectangular area including each of the two feature lines is similar and they are in a translational relationship along the traveling direction of the vehicle, the correlation Suppose the value is high.
次に特徴ライン高さ算出処理を行う（ステップＵ８）。時刻ｔ１、画像座標ｑ１における特徴ラインが、時刻ｔ２において画像座標ｑ２に移動した場合で説明する。このとき、特徴ラインの時刻ｔ１、ｔ２における実空間座標を（ｘ１，ｙ１，ｚ１）、（ｘ２，ｙ２，ｚ２）とおく。車両はＹ軸方向に移動し、また同一特徴ラインの高さは不変であるため、ｘ１＝ｘ２，ｚ＝ｚ１＝ｚ２が成り立つ。移動距離（ｙ２−ｙ１）＝ｃとおくと、前記（１）式及び（２）式より、高さｚを移動距離ｃの関数式で算出できる。
さらに、画像内の複数の特徴ラインの実空間上での移動距離ｃは、同一車体内の場合は同一なので、前記関数式により、各特徴ラインの相対的な高さが算出できる（ステップＵ８）。
Next, a feature line height calculation process is performed (step U8). The case where the feature line at the time t1 and the image coordinate q1 moves to the image coordinate q2 at the time t2 will be described. At this time, the real space coordinates of the feature line at times t1 and t2 are (x1, y1, z1) and (x2, y2, z2). Since the vehicle moves in the Y-axis direction and the height of the same feature line is unchanged, x1 = x2, z = z1 = z2 holds. When the movement distance (y2−y1) = c is set, the height z can be calculated as a functional expression of the movement distance c from the above expressions (1) and (2).
Further, since the moving distance c in the real space of the plurality of feature lines in the image is the same in the same vehicle body, the relative height of each feature line can be calculated by the above function equation (step U8). .
なお、特徴ラインの移動量（ｑ１−ｑ２）が閾値より小さいときは、特徴ライン高さの算出結果の誤差が大きくなるので、マッチングする画像同士の時間間隔を広げるとよい。
各特徴ラインの高さの最大値とともにその画像を保存しておき（蓄積画像という）、その特徴ラインの高さの最大値が、さらに所定範囲（例えば10%） 以上高くなった場合にのみ、特徴ラインの高さの最大値を更新する（ステップＵ９）。このとき、蓄積画像も更新する（ステップＵ１０）。特徴ラインの高さの最大値が高くならなかった場合は、最大値の更新も蓄積画像の更新もしない。
Note that when the amount of movement of the feature line (q1-q2) is smaller than the threshold value, the error in the calculation result of the feature line height is increased, so that the time interval between images to be matched should be increased.
Save the image along with the maximum height of each feature line (referred to as an accumulated image), and only when the maximum height of the feature line is higher than a predetermined range (for example, 10%) The maximum value of the feature line height is updated (step U9). At this time, the stored image is also updated (step U10). If the maximum value of the feature line height does not increase, neither the maximum value nor the stored image is updated.
このような蓄積画像の更新処理の具体例を、図１３（ａ）〜（ｅ）を用いて説明する。図１３（ａ）〜（ｅ）は、カメラ２で撮影した車両の画面の時間的な推移図である。
図１３（ａ）は、バンパー上端のエッジが、最も高さの高い特徴ラインＬ２として、まず認識された状態の画像を示している。この画像が蓄積される。
図１３（ｂ）は、時間の経過に連れて、写っている車両の部分が拡大しているが、特徴ラインＬ２は、より高さの高いラインに更新されていない状態を示している。したがって、画像の更新は行われない。
A specific example of such an accumulated image update process will be described with reference to FIGS. FIGS. 13A to 13E are temporal transition diagrams of the vehicle screen imaged by the camera 2.
FIG. 13A shows an image in a state where the upper edge of the bumper is first recognized as the feature line L2 having the highest height. This image is accumulated.
FIG. 13B shows a state in which the portion of the vehicle shown in the image is enlarged over time, but the characteristic line L2 is not updated to a higher line. Therefore, the image is not updated.
図１３（ｃ）は、時間の経過に連れて、より高さの高い特徴ラインである、フロントガラスの下端のエッジＬ３が検出された状態を示している。したがって、特徴ラインの高さの最大値は更新され、蓄積画像も更新される（以前に記憶されていた特徴ラインの高さの値、画像は、例えば上書きにより消滅する）。
図１３（ｄ）は、時間の経過に連れて、写っている車両の部分がさらに拡大し、より高さの高い特徴ラインである、フロントガラスの上端のエッジＬ４が検出された状態を示している。したがって、特徴ラインの高さの最大値は更新され、蓄積画像も更新される。
FIG. 13C shows a state in which the edge L3 at the lower end of the windshield, which is a feature line having a higher height, is detected with time. Therefore, the maximum value of the height of the feature line is updated, and the accumulated image is also updated (the previously stored value of the height of the feature line, the image disappears by overwriting, for example).
FIG. 13 (d) shows a state in which the portion of the vehicle in the image is further enlarged as time passes, and the edge L4 at the upper end of the windshield, which is a feature line having a higher height, is detected. Yes. Therefore, the maximum value of the height of the feature line is updated, and the accumulated image is also updated.
図１３（ｅ）は、時間の経過に連れて、映っている車両の部分がさらに拡大し、車両の屋根の部分と道路との境界（特徴ライン）Ｌ５が検出されているが、特徴ラインＬ５の高さはＬ４より所定範囲以上高くない状態を示している。したがって、画像の更新は行われない。この画像以後は、特徴ラインの出現はなく、図１３（ｄ）の画像が、蓄積された最終の画像となる。 In FIG. 13 (e), as the time passes, the portion of the vehicle shown is further enlarged, and the boundary (feature line) L5 between the roof portion of the vehicle and the road is detected. Indicates a state in which the height is not higher than a predetermined range by more than L4. Therefore, the image is not updated. After this image, no feature line appears, and the image shown in FIG. 13D is the final accumulated image.
このような蓄積画像の更新処理により、最後に蓄積していた画像には、通過車両のフロントガラスが映っていることになる。
ステップＵ３で、画像内から車両がなくなったと判定された場合、ステップＵ１１に移り、今までの車両検出回数をしきい値ｎと比較する。車両検出回数の閾値ｎは、前述したように「３」程度に設定する。
By such an update process of the stored image, the windshield of the passing vehicle is reflected in the last stored image.
If it is determined in step U3 that there are no vehicles in the image, the process proceeds to step U11, where the number of vehicle detections so far is compared with a threshold value n. The threshold value n of the number of vehicle detections is set to about “3” as described above.
車両検出回数が閾値ｎ以上であれば、ステップＵ１２に移り、フロントガラスの上端、下端検出処理に入る。
この処理は、前述したのと同様であり、蓄積画像において高さが最大となった特徴ラインをフロントガラス上端位置とする。
次に、フロントガラス上端位置に対して、特徴ラインの高さが一定値範囲内に存在する特徴ライン位置を検出し、最も画面下側の特徴ライン位置を検出し、フロントガラス下端位置とする。
If the number of times of vehicle detection is equal to or greater than the threshold value n, the process proceeds to step U12 to enter the upper and lower end detection processing of the windshield.
This process is the same as described above, and the feature line having the maximum height in the stored image is set as the windshield upper end position.
Next, a feature line position where the height of the feature line is within a certain range with respect to the windshield upper end position is detected, and the feature line position on the lowermost side of the screen is detected as the windshield lower end position.
そして、フロントガラスの範囲画像に対する処理を行う（ステップＵ１３）。すなわち、検出したフロントガラスの範囲が映っている画像を抽出し、表示し、蓄積し又は送信する。また、検出したフロントガラスの範囲をマスク処理した画像を作成し、表示し、蓄積し又は送信する。
以上で、本発明の実施の形態を説明したが、本発明の実施は、前記の形態に限定されるものではなく、本発明の範囲内で種々の変更を施すことが可能である。
And the process with respect to the range image of a windshield is performed (step U13). That is, an image showing the detected range of the windshield is extracted, displayed, stored, or transmitted. Also, an image obtained by masking the detected windshield area is created, displayed, stored, or transmitted.
Although the embodiments of the present invention have been described above, the embodiments of the present invention are not limited to the above-described embodiments, and various modifications can be made within the scope of the present invention.
２ カメラ
３ 映像ケーブル
４ 計測部
４１ 画像入力部
４２ Ａ／Ｄ変換部
４３ 画像メモリ
４４ 演算部
４５ 通信部
2 Camera 3 Video cable 4 Measurement unit 41 Image input unit 42 A / D conversion unit 43 Image memory 44 Calculation unit 45 Communication unit
Claims (9)
撮影した画像内に走行車両が検出された場合に、当該画像に含まれる、その走行車両の進行方向に垂直な方向に表れる特徴ラインを検出する特徴ライン検出手段と、
前記特徴ライン検出手段により検出された特徴ラインの高さを検出する高さ検出手段と、
検出された最大の高さ、又はその最大の高さから低くなる方向に第１の所定範囲内の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とし、前記フロントガラスの上端位置から低くなる方向に第２の所定範囲内の高さを持ち、かつ前記フロントガラスの上端位置から車両先頭方向への第３の所定範囲内に存在する特徴ラインのうち、最も低い位置又は最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とし、前記フロントガラスの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とするフロントガラス範囲検出手段とを備える、フロントガラスの範囲検出装置。 A camera that looks down on the road and shoots; and a measurement unit that captures and processes a captured image of the camera;
Feature line detection means for detecting a feature line that appears in a direction perpendicular to the traveling direction of the traveling vehicle included in the image when the traveling vehicle is detected in the captured image;
Height detection means for detecting the height of the feature line detected by the feature line detection means;
The detected maximum height, or of the features line with the height of the first predetermined range in the direction of lower the maximum height thereof, the windshield features lines existing in the traveling direction of the most vehicle and the upper end position, present in the in the direction of lower from the upper end position of the windshield Chi lifting height in the second predetermined range, and the third predetermined range from the upper end position of the windshield to the vehicle top direction The characteristic line existing at the lowest position or the vehicle traveling direction side is the lower end position of the windshield, and the area sandwiched between the upper end position and the lower end position of the windshield is the windshield area. A windshield range detecting device comprising: a windshield range detecting means.
前記フロントガラス範囲検出手段は、前記蓄積手段により蓄積された画像に基づいて、フロントガラスの領域を検出する請求項６記載のフロントガラスの範囲検出装置。 A storage means for storing only an image at the time when the maximum height of the feature line is updated;
The windshield range detection device according to claim 6, wherein the windshield range detection means detects a windshield area based on the image accumulated by the accumulation means.
前記特徴ラインの高さを検出し、
検出された最大の高さ、又はその最大の高さから低くなる方向に第１の所定範囲の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とし、
前記フロントガラスの上端位置から低くなる方向に第２の所定範囲の高さを持ち、かつ前記フロントガラスの上端位置から車両先頭方向への第３の所定範囲内に存在する特徴ラインのうち、最も低い位置又は最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とし、
前記フロントガラスの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とする、フロントガラスの範囲検出方法。 When a traveling vehicle is detected in an image taken on the road with a camera, a feature line that is included in the image and appears in a direction perpendicular to the traveling direction of the traveling vehicle is detected,
Detecting the height of the feature line;
The detected maximum height, or the upper end of the characteristics of the line, windshield features lines existing in the traveling direction of the most vehicles with the height of the first predetermined range in the direction of lower the maximum height thereof Position,
Of the feature line that exists in the direction to be lower from the upper end position of the windshield Chi lifting the height of the second predetermined range, and the third predetermined range from the upper end position of the windshield to the vehicle top direction, The characteristic line that exists at the lowest position or the vehicle traveling direction side is the lower end position of the windshield,
A method for detecting a range of a windshield, wherein a region sandwiched between an upper end position and a lower end position of the windshield is a windshield region.
前記特徴ラインの高さを検出する手順と、
検出された最大の高さ、又はその最大の高さから低くなる方向に第１の所定範囲の高さを持つ特徴ラインのうち、最も車両の進行方向側に存在する特徴ラインをフロントガラスの上端位置とする手順と、
前記フロントガラスの上端位置から低くなる方向に第２の所定範囲の高さを持ち、かつ前記フロントガラスの上端位置から車両先頭方向への第３の所定範囲内に存在する特徴ラインのうち、最も低い位置又は最も車両の進行方向側に存在する特徴ラインをフロントガラスの下端位置とする手順と、
前記フロントガラスの上端位置と下端位置とに挟まれた領域をフロントガラスの領域とする手順とを、
コンピュータに実行させることを特徴とする、フロントガラスの範囲検出プログラム。 A procedure for detecting a feature line that appears in a direction perpendicular to the traveling direction of the traveling vehicle included in the image when the traveling vehicle is detected in an image taken on the road with a camera;
Detecting the height of the feature line;
The detected maximum height, or the upper end of the characteristics of the line, windshield features lines existing in the traveling direction of the most vehicles with the height of the first predetermined range in the direction of lower the maximum height thereof Procedure to position,
Of the feature line that exists in the direction to be lower from the upper end position of the windshield Chi lifting the height of the second predetermined range, and the third predetermined range from the upper end position of the windshield to the vehicle top direction, The procedure for setting the lowest position or the characteristic line existing on the vehicle traveling direction side to the lower end position of the windshield,
The procedure of setting the area sandwiched between the upper end position and the lower end position of the windshield as the area of the windshield ,
A windshield range detection program which is executed by a computer .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006089018A JP4333683B2 (en) | 2006-03-28 | 2006-03-28 | Windshield range detection device, method and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006089018A JP4333683B2 (en) | 2006-03-28 | 2006-03-28 | Windshield range detection device, method and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007265012A JP2007265012A (en) | 2007-10-11 |
| JP4333683B2 true JP4333683B2 (en) | 2009-09-16 |
Family
ID=38637940
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006089018A Expired - Fee Related JP4333683B2 (en) | 2006-03-28 | 2006-03-28 | Windshield range detection device, method and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4333683B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5237147B2 (en) * | 2009-02-13 | 2013-07-17 | 三菱重工業株式会社 | Passing vehicle recording system |
| JP5740241B2 (en) * | 2011-08-03 | 2015-06-24 | 株式会社東芝 | Vehicle detection device |
-
2006
- 2006-03-28 JP JP2006089018A patent/JP4333683B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2007265012A (en) | 2007-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP1796043B1 (en) | Object detection | |
| CN107738612B (en) | Automatic parking space detection and identification system based on panoramic vision auxiliary system | |
| US11854272B2 (en) | Hazard detection from a camera in a scene with moving shadows | |
| JP5297078B2 (en) | Method for detecting moving object in blind spot of vehicle, and blind spot detection device | |
| US8379926B2 (en) | Vision based real time traffic monitoring | |
| JP5867273B2 (en) | Approaching object detection device, approaching object detection method, and computer program for approaching object detection | |
| JP3822515B2 (en) | Obstacle detection device and method | |
| JP4930046B2 (en) | Road surface discrimination method and road surface discrimination device | |
| CN104616502B (en) | Car license recognition and alignment system based on combination type bus or train route video network | |
| JP4587038B2 (en) | Vehicle position detection method, and vehicle speed detection method and apparatus | |
| CN108091142A (en) | For vehicle illegal activities Tracking Recognition under highway large scene and the method captured automatically | |
| CN110298300B (en) | Method for detecting vehicle illegal line pressing | |
| CN108197523B (en) | Night vehicle detection method and system based on image conversion and contour neighborhood difference | |
| WO2008086293A2 (en) | A system and method for measuring the speed of vehicles or other objects | |
| Aytekin et al. | Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information | |
| Lin et al. | Lane departure and front collision warning using a single camera | |
| JP2000285245A (en) | Method and device for preventing collision of moving body and recording medium | |
| CN108021849B (en) | Pedestrian early warning method and device | |
| CN111967396A (en) | Processing method, device and equipment for obstacle detection and storage medium | |
| Yoneda et al. | Simultaneous state recognition for multiple traffic signals on urban road | |
| JP4936045B2 (en) | Vehicle color discrimination device, method and program | |
| Kanhere et al. | Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways | |
| JP4333683B2 (en) | Windshield range detection device, method and program | |
| US20200394435A1 (en) | Distance estimation device, distance estimation method, and distance estimation computer program | |
| Dai et al. | A driving assistance system with vision based vehicle detection techniques |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090319 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20090427 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090507 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090602 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090615 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120703 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130703 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |