JP4901676B2 - License plate information processing apparatus and license plate information processing method - Google Patents
License plate information processing apparatus and license plate information processing method Download PDFInfo
- Publication number
- JP4901676B2 JP4901676B2 JP2007256522A JP2007256522A JP4901676B2 JP 4901676 B2 JP4901676 B2 JP 4901676B2 JP 2007256522 A JP2007256522 A JP 2007256522A JP 2007256522 A JP2007256522 A JP 2007256522A JP 4901676 B2 JP4901676 B2 JP 4901676B2
- Authority
- JP
- Japan
- Prior art keywords
- license plate
- character
- voting
- voting space
- character candidate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
- Character Input (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、車両撮影画像の中からナンバープレートの領域を抽出する技術に関する。 The present invention relates to a technology for extracting a license plate region from a vehicle photographed image.
従来、ナンバープレート領域を抽出する技術として、ナンバープレートの文字部分に水平方向のエッジが多く検出されることを利用して、水平方向エッジ検出フィルタおよびそれに類するフィルタをかけて2値化し、エッジ画素の多い領域を抽出する手法が提案されている(特許文献1参照)。 Conventionally, as a technique for extracting a license plate region, by utilizing the fact that a large number of horizontal edges are detected in the character portion of the license plate, binarization is performed by applying a horizontal edge detection filter and a similar filter to obtain edge pixels. A method for extracting a region having a large amount of noise has been proposed (see Patent Document 1).
この他に、最初に文字(パターン)位置を検出し、決められたパターン配置と照合してパターン列を抽出する方法が提案されている(特許文献2参照)。 In addition, a method has been proposed in which a character (pattern) position is first detected and a pattern string is extracted by collating with a predetermined pattern arrangement (see Patent Document 2).
さらには、エッジ検出フィルタに類するものを使用して範囲を絞った後、文字認識を行って文字存在を調べ、文字が隣接しあう部分をナンバープレート領域として抽出する方法が提案されている(特許文献3参照)。 Furthermore, after narrowing the range using something similar to an edge detection filter, a method is proposed in which character recognition is performed to check the presence of a character, and a portion where characters are adjacent to each other is extracted as a license plate region (patent) Reference 3).
また、ナンバープレートの枠や道路の白線など、直線状の特徴を検出するために、エッジ画素を直線のパラメータ空間に投票し、投票結果が極大となるパラメータで表される直線を抽出するハフ変換が、画像処理の分野では一般的な手法として知られている。
しかしながら、エッジ検出フィルタをかけた画像を用いてナンバープレート領域を切り出す方法は、車両のヘッドライトや車体の模様といった、ナンバープレート部分以外で水平方向のエッジ成分の多い領域を誤検出する可能性がある。また、ナンバープレートに隣接した領域にエッジ成分が多いと、ナンバープレート領域の端を正しく切り出すことができない。 However, the method of cutting out the license plate area using the image that has been subjected to the edge detection filter may erroneously detect an area having a lot of edge components in the horizontal direction other than the license plate portion, such as a vehicle headlight or a car body pattern. is there. If there are many edge components in the area adjacent to the license plate, the end of the license plate area cannot be cut out correctly.
車両番号などの文字を抽出し、ナンバープレートの文字の配置と照合して、ナンバープレート領域を抽出する方法は、あらかじめ文字の配置が既知であること、つまり画像に映るナンバープレートの向き・大きさが変わらないことを前提としている。想定と異なる向きや距離で車両が撮影された場合や、撮影位置・角度が未知である場合は、画像中のナンバープレート内の文字の大きさや文字列の角度が、あらかじめ用意していたパターン列と異なるため、照合することができない。 The method of extracting the license plate area by extracting the characters such as the vehicle number and comparing it with the arrangement of the characters on the license plate is that the arrangement of the characters is known in advance, that is, the direction and size of the license plate in the image Is assumed to be unchanged. If the vehicle was shot in a different direction or distance than expected, or if the shooting position / angle is unknown, the size of the characters in the license plate in the image and the angle of the character string are prepared in advance. It cannot be verified because it is different.
また、文字配置を逐次的に1文字ずつ照合していく方法や、文字が隣接する領域を検出する方法では、文字の検出に失敗し、文字列に抜けがある場合に、ナンバープレート領域は抽出できない。 In addition, the method of collating the character arrangement sequentially one character at a time or the method of detecting the area where the character is adjacent will extract the license plate area when the character detection fails and the character string is missing. Can not.
本発明の目的は、ナンバープレート領域を高精度に抽出する技術を提供することにある。 An object of the present invention is to provide a technique for extracting a license plate region with high accuracy.
この発明の一実施形態に係るナンバープレート情報処理装置は、画像から複数の文字候補領域を検出する検出手段と、幾何図形パラメータの全部又は一部により構成される投票空間に対して、前記複数の文字候補領域の夫々の位置情報を投票し、投票数が最大又は極大又は所定閾値以上となる投票空間座標を選出し、前記投票空間座標に対応するパラメータの値により前記複数の文字候補領域の中からナンバープレート候補領域中の複数の文字領域の配置を予測し、この配置予測に基づきナンバープレートに対応するテンプレートを幾何変換し、この幾何変換されたテンプレートによりナンバープレート候補領域を近似し、近似結果に基づきナンバープレート領域を抽出するナンバープレート領域抽出手段と、を備える。 The license plate information processing apparatus according to one embodiment of the present invention provides a plurality of the plurality of character means for detecting a plurality of character candidate regions from an image and a voting space constituted by all or part of geometric figure parameters. Vote each position information of the character candidate area, select a voting space coordinate having the maximum or maximum number of votes or a predetermined threshold value or more, and select a voting space coordinate among the plurality of character candidate areas according to a parameter value corresponding to the voting space coordinate. Predicts the arrangement of multiple character areas in the license plate candidate area, geometrically transforms the template corresponding to the license plate based on this arrangement prediction, approximates the license plate candidate area using this geometrically transformed template, and results of approximation And a license plate area extracting means for extracting a license plate area based on the above.
この発明の一実施形態に係るナンバープレート情報処理装置は、画像から複数の文字候補領域を検出する検出手段と、幾何変換パラメータの全部又は一部により構成される投票空間に対して、前記複数の文字候補領域の夫々の位置情報を投票し、投票数が最大又は極大又は所定閾値以上となる投票空間座標を選出し、前記投票空間座標に対応するパラメータの値によりナンバープレートに対応するテンプレートを幾何変換し、この幾何変換されたテンプレートによりナンバープレート候補領域を近似し、近似結果に基づき前記ナンバープレート領域を抽出するナンバープレート領域抽出手段と、を備える。 The license plate information processing apparatus according to an embodiment of the present invention is configured to detect the plurality of character candidate regions from an image and a plurality of voting spaces configured by all or part of geometric transformation parameters. Vote the position information of each character candidate area, select the voting space coordinates with the maximum or maximum number of votes, or a predetermined threshold value or more, and geometrically shape the template corresponding to the license plate according to the parameter value corresponding to the voting space coordinates. License plate area extraction means for converting, approximating a license plate candidate area with the geometrically converted template, and extracting the license plate area based on the approximation result.
この発明の一実施形態に係るナンバープレート情報処理方法は、画像から複数の文字候補領域を検出し、幾何図形パラメータの全部又は一部により構成される投票空間に対して、前記複数の文字候補領域の夫々の位置情報を投票し、投票数が最大又は極大又は所定閾値以上となる投票空間座標を選出し、前記投票空間座標に対応するパラメータの値により前記複数の文字候補領域の中からナンバープレート候補領域中の複数の文字領域の配置を予測し、この配置予測に基づきナンバープレートに対応するテンプレートを幾何変換し、この幾何変換されたテンプレートによりナンバープレート候補領域を近似し、近似結果に基づきナンバープレート領域を抽出する。 The license plate information processing method according to an embodiment of the present invention detects a plurality of character candidate regions from an image, and the plurality of character candidate regions with respect to a voting space constituted by all or part of geometric figure parameters. The voting space coordinates with the maximum or maximum number of votes or a predetermined threshold value or more are selected, and the number plate is selected from among the plurality of character candidate areas according to the parameter value corresponding to the voting space coordinates. Predict the placement of multiple character areas in the candidate area, geometrically transform the template corresponding to the license plate based on this placement prediction, approximate the license plate candidate area using this geometrically transformed template, and number based on the approximation result Extract plate area.
この発明の一実施形態に係るナンバープレート情報処理方法は、画像から複数の文字候補領域を検出し、幾何変換パラメータの全部又は一部により構成される投票空間に対して、前記複数の文字候補領域の夫々の位置情報を投票し、投票数が最大又は極大又は所定閾値以上となる投票空間座標を選出し、前記投票空間座標に対応するパラメータの値によりナンバープレートに対応するテンプレートを幾何変換し、この幾何変換されたテンプレートによりナンバープレート候補領域を近似し、近似結果に基づき前記ナンバープレート領域を抽出する。 The license plate information processing method according to an embodiment of the present invention detects a plurality of character candidate regions from an image, and the plurality of character candidate regions with respect to a voting space configured by all or part of geometric transformation parameters. Voting the position information of each, selecting the voting space coordinates where the number of votes is the maximum or maximum or a predetermined threshold or more, geometrically transform the template corresponding to the license plate by the value of the parameter corresponding to the voting space coordinates, The license plate candidate area is approximated by the geometrically converted template, and the license plate area is extracted based on the approximation result.
本発明によれば、ナンバープレート領域を高精度に抽出する技術を提供できる。 ADVANTAGE OF THE INVENTION According to this invention, the technique which extracts a license plate area | region with high precision can be provided.
本発明の一実施形態に係るナンバープレート画像処理装置(ナンバープレート情報処理装置)は、例えば、次のようにナンバープレート領域を抽出する。まず、画像から切り出し文字認識をした文字候補領域を、ナンバープレート領域またはその一部を表すパラメータで構成される投票空間に投票し、そこから投票数の多い座標を選出し、これに対応するナンバープレート領域を抽出結果とする。投票空間を構成するパラメータは、例えば、図7に示すような正面から見たナンバープレートをかたちどるテンプレートを、画像中のナンバープレートに重ねるための幾何変換(アフィン変換や射影変換など)のパラメータやその一部である。 The license plate image processing apparatus (number plate information processing apparatus) according to an embodiment of the present invention extracts the license plate area as follows, for example. First, vote the character candidate area that has been recognized from the image cut out from the image to a voting space consisting of parameters representing the license plate area or a part of it, select the coordinates with the most votes, and select the corresponding number. The plate area is taken as the extraction result. The parameters constituting the voting space are, for example, parameters for geometrical transformation (affine transformation, projective transformation, etc.) for overlaying a template shaped like a license plate seen from the front as shown in FIG. Part of it.
他に投票空間の別の形態として、ナンバープレート構成要素の画像中での配置を決定する幾何図形(4桁の車両番号を通る直線、ナンバープレートを縁取る四角形の枠、ナンバープレートの封印など)のパラメータまたはその組み合わせがある。即ち、画像からナンバープレートを縁取る四角形の枠を検出し、この検出した枠を利用して後述するようにナンバープレート領域を抽出する。或いは、画像からナンバープレートの封印を検出し、この検出した封印を利用して後述するようにナンバープレート領域を抽出する。 Another form of voting space is a geometric figure that determines the arrangement of license plate components in the image (a straight line that passes through a 4-digit vehicle number, a square frame that borders the license plate, a license plate seal, etc.) There are parameters or combinations thereof. That is, a rectangular frame bordering the license plate is detected from the image, and a license plate area is extracted as described later using the detected frame. Alternatively, a license plate seal is detected from the image, and a license plate region is extracted as described later using the detected seal.
投票には、文字候補領域の位置情報だけでなく、幾何情報(高さ、幅)や文字認識情報(文字認識結果、文字認識スコア、文字の傾きなど)を利用し、投票範囲の限定、投票の重み付けなどを行う。 For voting, not only the position information of the character candidate area, but also geometric information (height, width) and character recognition information (character recognition result, character recognition score, character inclination, etc.) And so on.
投票空間がナンバープレート構成要素の画像中での配置を決定する幾何図形パラメータである場合、その幾何図形をもとにナンバープレート領域を決定する。 When the voting space is a geometric figure parameter for determining the arrangement of the license plate components in the image, the license plate area is determined based on the geometric figure.
その後、必要に応じた後処理を行い、入力画像中のナンバープレート領域を抽出する。後処理は、投票空間の設計によって異なるが、たとえば、投票によるパラメータの量子化のために発生する誤差の補正、切り出しに失敗した文字領域や文字列領域の切り出し・認識、などがある。 Thereafter, post-processing is performed as necessary to extract a license plate area in the input image. The post-processing varies depending on the design of the voting space, and includes, for example, correction of errors generated due to parameter quantization by voting, and extraction / recognition of character regions and character string regions that have failed to be extracted.
以下、上記したナンバープレート画像処理装置の詳細を説明する。 Details of the above-described license plate image processing apparatus will be described below.
最初に図1を用いて、日本のナンバープレートの概要を説明する。ナンバープレートは、車両番号101、陸運支局名102、車種コード103、ひらがな104で構成される。車両番号には、1桁から4桁までの数字が入る。3桁以下の場合は、数字の代わりに「・」が入り、2桁目と3桁目の間の「−」が省略される。
First, the outline of a Japanese license plate will be explained with reference to FIG. The license plate includes a
次に、図2を参照して、上記したナンバープレート画像処理装置の概略構成を説明する。図2に示すように、ナンバープレート画像処理装置は、画像入力装置201、カメラインタフェース部202、画像処理部203、及び認識結果提示装置208を備えている。また、画像処理部203は、入出力インタフェース部204、文字検出・認識部205、ナンバープレート領域抽出部206、及び後処理部207を備えている。
Next, a schematic configuration of the above-described license plate image processing apparatus will be described with reference to FIG. As shown in FIG. 2, the license plate image processing apparatus includes an
画像入力装置201は、例えばデジタルカメラであり、料金所などで、ナンバープレートを含む車両を撮像し、カメラインタフェース部202を通して、撮像した画像を画像処理部203に入力する。文字検出・認識部205は、入力画像から文字候補を検出し、検出した文字候補を認識する。ナンバープレート領域抽出部206は、検出・認識された文字の配置をもとにナンバープレート領域を抽出する。後処理部207は、必要に応じて後述する後処理を行う。認識結果提示装置208は、画像処理部203で処理された認識結果をユーザに提示する。
The
以下、自動車のナンバープレートの認識処理を、図3のフローチャートに沿って説明する。まず、画像入力装置201により画像を取得し(ST301)、取得した画像に対して前処理を施す(ST302)。前処理は、文字領域の切り出しと文字認識を実現するための処理であり、たとえば、拡張縮小処理による、特定周波数以下の成分の抽出、2値化などである。図4は、前処理後の画像400の一例を示す図である。
Hereinafter, the license plate recognition process for an automobile will be described with reference to the flowchart of FIG. First, an image is acquired by the image input device 201 (ST301), and preprocessing is performed on the acquired image (ST302). The preprocessing is processing for realizing character region segmentation and character recognition, such as extraction of components below a specific frequency, binarization, and the like by expansion / reduction processing. FIG. 4 is a diagram illustrating an example of the
次に前処理を施した画像400から、ラベリング等の方法を使って文字候補領域を切り出す(ST303)。ラベリングによる切り出し結果画像500の例を図5に示す。図5に示すように、ラベリングによる切り出し結果画像500には、切り出された領域の外接矩形501が含まれる。実際には、文字以外の候補も多数切り出されるので、大きさや縦横比が、目的とする文字領域とかけ離れている領域は排除する。また、目的の文字の切り出しに失敗することもあるが、これは後に述べる後処理(ST308)で対処する。
Next, a character candidate area is cut out from the
その後、図6に示すように、絞られた複数の文字候補領域を含む画像600が得られ、この画像600中の文字候補領域601を文字認識し(ST304)、文字候補領域601に文字認識結果、文字認識スコアといった文字認識情報602を付与する。
Thereafter, as shown in FIG. 6, an
次に文字候補領域601の投票先となる、投票空間を作成し(ST305)、文字候補領域を投票空間に投票する(ST306)。ここで、投票空間、投票方法の例を3つあげて説明する。
Next, a voting space serving as a voting destination for the
図8Aは、ナンバープレート用のテンプレート701の一例を示すとともに、テンプレート701をアフィン変換し画像801中のナンバープレート802を近似する処理の一例を示す図である。また、図8Bは、投票空間803の概念図である。図7に示すようにテンプレート701の座標系は左上を原点とし、右方向をxp軸の正方向、下方向をyp軸の正方向とする。テンプレート701は、ナンバープレート枠702、車両番号1桁目703、2桁目704、3桁目705、4桁目706、陸運支局・車種コード領域707、ひらがな708、それぞれに対応する長方形の各頂点の、ナンバープレートの座標系(xp,yp)での座標値で構成される。これをアフィン変換のパラメータで変形することによって、画像801中のナンバープレート802を近似する。画像801の座標系は左上を原点とし、右方向をx軸の正方向、下方向をy軸の正方向とする。
FIG. 8A shows an example of a
ナンバープレートのテンプレート701の座標値(xp,yp)を、アフィン変換によって、画像801中の座標(x,y)に変換する。変換式は、下記の式1に示す通りである。
アフィン変換のパラメータは、x軸方向の平行移動成分x_translate、y軸方向の平行移動成分y_translate、x軸方向の拡大縮小成分x_scale、y軸方向の拡大縮小成分y_scale、x軸方向のshear成分x_shear、y軸方向のshear成分y_shearの6個である。投票空間803は、この6パラメータで構成される6次元空間となり、投票空間の任意の点は、パラメータのとる値の組となる。文字候補領域601を、テンプレート701の各要素に対応させたとき、投票空間内でとりうるパラメータの組み合わせすべてに投票する。
The affine transformation parameters are: x-axis translation component x_translate, y-axis translation component y_translate, x-axis scaling component x_scale, y-axis scaling component y_scale, x-axis shear component x_shear, There are six y-shear components in the y-axis direction. The
投票方法においては、文字候補領域601の位置情報だけでなく、幾何情報(幅、高さ)、文字認識情報602も利用することよって、投票先の座標を限定することもできる。たとえば、文字候補領域の高さ、幅に応じて、投票するx_scale, y_scaleの値を決定する。文字認識結果により文字の傾きといった情報が得られる場合は、これに応じてx_shearの値を決定する。これは、文字認識情報による投票先に関する制約である。
In the voting method, not only the position information of the
また、すべての文字候補領域が平等に投票するのではなく、文字認識情報によって投票に重み付けをすることで、ノイズの影響を減らすこともできる。たとえば、文字認識結果が数字であり、文字認識スコアが比較的高い値をとっている場合、車両番号または車種コードに限定して投票し、投票数も他の文字候補領域と比較して高くする。逆に、数字としての文字認識スコアの低い文字候補領域は、陸運支局名部分に投票し、少ない数しか投票されないようにする。 Also, the influence of noise can be reduced by weighting the vote by the character recognition information, instead of voting equally for all the character candidate areas. For example, if the character recognition result is a number and the character recognition score is relatively high, voting is limited to the vehicle number or vehicle type code, and the number of votes is also higher than other character candidate areas. . Conversely, a candidate character area having a low character recognition score as a number is voted for the name of the land transportation branch office so that only a small number is voted.
元画像の画質や切り出し方法によって、文字候補領域の切り出し結果にずれが生じる場合がある。そのため、投票先は1点のみではなく、その周辺もぼかして投票することが望ましい。 Depending on the image quality and the clipping method of the original image, there may be a deviation in the clipping result of the character candidate area. Therefore, it is desirable to vote not only for one vote but also for the surrounding area.
すべての文字候補領域601について投票が終わった段階で、投票空間803内で投票数が最大、または閾値以上、または極大となる座標を選出し(ST307)、その座標に対応するパラメータによってテンプレート701を幾何変換して近似されるナンバープレート領域を、選出されたナンバープレート候補領域とする。
At the stage where voting is completed for all the
ここで投票空間は必ずしも6次元すべてを使う必要はない。たとえば、あらかじめ車両の通る方向が決まっている場合、車両に対するナンバープレート向きの制約から、y_shear成分は省略することができる。また、この場合x_scaleとy_scaleの比率は一定となることを利用してx_scaleとy_scaleをひとつのパラメータscaleとすることもできる。 Here, the voting space does not necessarily need to use all six dimensions. For example, when the direction in which the vehicle passes is determined in advance, the y_shear component can be omitted due to restrictions on the direction of the license plate relative to the vehicle. In this case, x_scale and y_scale can be set as one parameter scale by utilizing the fact that the ratio of x_scale and y_scale is constant.
図9Aは、ナンバープレート用のテンプレート701の一例を示すとともに、テンプレート701を射影変換し画像901中のナンバープレート902を近似する処理の一例を示す図である。また、図9Bは、投票空間903の概念図である。アフィン変換の場合と同様、投票空間は、変換パラメータで構成される。射影変換の場合も、独立な変換パラメータは6つであるので、投票空間は最大6次元となる。
FIG. 9A is a diagram illustrating an example of a
図10Bは、車両番号を通る直線を検出する場合の投票空間1003の一例を示す図である。図10Aは、投票空間1003のパラメータで表される直線1004の一例を示す図である。基本的には、通常のハフ変換による直線検出方法と同様に、直線の角度を決定するパラメータθと、直線の位置を決定するパラメータρで構成される。それに加え、車両番号のそれぞれの文字がすべて同じ高さをもつことを利用して、文字の高さSも投票空間の要素に含める。こうすることで、高さのまったく違う文字候補領域の列が検出されることを防ぐことができる。即ち、文字候補領域の幾何情報を投票空間の軸の一部とすることに相当する。同様に、同じナンバープレート内の車両番号がすべて同じ程度傾いていることを利用して、文字認識によって得られた文字の傾きも、投票空間の要素に含めても良い。即ち、文字候補領域の文字認識情報を投票空間の軸の一部としてもよい。
FIG. 10B is a diagram showing an example of the
すべての投票が終わった後、投票空間1003内で、投票数が最大、または閾値以上、または極大となる座標を選出し、それに対応する直線を、車両番号を通る直線1003とする。
After all the votings are finished, a coordinate in which the number of votes is the maximum, equal to or greater than the threshold, or the maximum is selected in the
車両番号を通る直線1003を検出した後の後処理を、図11に示すフローチャートと図12A〜図12Fを用いて説明する。まず、検出された直線1201に投票した文字候補領域1202に着目し、文字候補領域同士の間隔1203を、文字候補領域1202の幅で正規化した値によって、直線上の車両番号候補が何桁目であるかを推定し、一次車両番号配置候補1204を導き出す(ST1101)。
Post-processing after detecting a
直線上の文字候補領域が1-2桁目の場合と3-4桁目の場合のように、どちらか区別がつかない場合は、両方の候補を残しておく。次に、一次車両番号配置候補1204のうち重複するものを取り除き(ST1102)、二次車両番号配置候補1205を生成し、ナンバープレートのテンプレート701を、車両番号部分が対応する文字候補領域に重なるように変形して重ね合わせ、ナンバープレート候補領域1206とする。
If the character candidate area on the straight line is indistinguishable as in the case of the 1st to 2nd digits and the 3rd to 4th digits, both candidates are left. Next, duplicates of the primary vehicle
ナンバープレート候補領域1206を選出した後、図13、図14に示されるような後処理を行う(ST308)。
After selecting the license
図13は、投票空間から選出され、必要に応じて後処理された、ナンバープレート候補領域に対する位置補正の説明をする図である。投票空間に投票することで、各パラメータの値は量子化される。そのため、投票元の文字候補領域と、投票により得られたナンバープレート候補領域の間にずれが生じることがある。ここでは、たとえば車両番号に対応する文字候補領域の中心1302とテンプレートの車両番号位置の中心1303との距離が最小になるように、ナンバープレート候補領域を平行移動させる。
FIG. 13 is a diagram for explaining position correction for a license plate candidate area selected from a voting space and post-processed as necessary. By voting in the voting space, the value of each parameter is quantized. Therefore, there may be a deviation between the voting source character candidate area and the license plate candidate area obtained by voting. Here, for example, the license plate candidate area is translated so that the distance between the
図14は、推定されたナンバープレート候補領域1401に対する、文字の再切り出し、文字認識を示す図である。元画像の画質や前処理の方法、ナンバープレートの汚れ、隠れといったさまざまな要因から、もともと文字候補領域の切り出しが失敗することもある。テンプレートの各文字位置に対して、対応する文字候補領域が存在しない場合は、再度画像をみて、相当する領域を切り出し、文字認識を行う。
FIG. 14 is a diagram showing character re-cutout and character recognition for the estimated license
この時点で、1枚の画像に対し複数のナンバープレート候補領域が抽出されているので、得点付けなどの方法でこれをひとつに絞り込み(ST309)、認識結果提示装置に出力する(ST310)。 At this time, since a plurality of license plate candidate regions are extracted for one image, they are narrowed down to one by a method such as scoring (ST309) and output to the recognition result presentation device (ST310).
以上説明したように、ナンバープレート画像処理装置は、ナンバープレートを構成する各文字候補領域を、ナンバープレート領域またはその一部を表すパラメータで構成される投票空間に投票し、投票数の多い座標値に対応するナンバープレート領域を抽出結果とするため、抽出対象のナンバープレートの向きが未知の場合にも、ナンバープレートに対応する文字候補列を抽出することができる。 As described above, the license plate image processing apparatus votes each character candidate area constituting the license plate in a voting space formed by parameters representing the license plate area or a part thereof, and the coordinate value having a large number of votes. Therefore, even if the direction of the license plate to be extracted is unknown, the character candidate string corresponding to the license plate can be extracted.
また、一部の文字候補領域の切り出しに失敗した場合にも、他の文字候補領域からの投票数が十分にあれば、ナンバープレート領域が抽出され、後処理によって切り出しに失敗した部分の認識結果を得ることができる。 In addition, even if the extraction of some character candidate areas fails, if the number of votes from other character candidate areas is sufficient, the license plate area is extracted, and the recognition result of the part that has failed to be extracted by post-processing Can be obtained.
なお、上記説明では、ST305で投票空間を作成するとして記載したが、本実施形態はこれに限定されるものではない。投票空間の作成は、ST304までの処理とは関係なく、所定のタイミングで作成される。例えば、最初に投票空間を作成するようにしてもよい。具体的な処理でいえば、空間を設計するのではなく、単なるメモリ上の領域確保である。 In the above description, the voting space is created in ST305. However, the present embodiment is not limited to this. The voting space is created at a predetermined timing regardless of the process up to ST304. For example, a voting space may be created first. Speaking of specific processing, space is not designed but mere memory area is secured.
また、どのような図形又は変換を採用するかは、プログラムの設計段階に決定される(=パラメータが決まる、投票空間が決まる。)。例えば、直線を採用するならθとρが選択され、アフィン変換を採用するならアフィン変換に使う6つのパラメータ(或いはその一部のパラメータ)が選択される。そして、文字候補領域から、有り得るパラメータの値の組を算出する。例えば、(θ,ρ) = (30,320), (31,320), (32,319), (33,318), (34,318), ...にすべて投票する。すべての文字候補領域について投票が終わったら、投票空間から極大値等をとる座標(=パラメータの値)を選出する。画像処理で使われる、ハフ空間による直線検出と同じ流れである。投票に文字候補領域を使うこと、文字認識情報を使うこと、投票空間の軸の一部をそれらの情報にすることにより、ナンバープレート領域を高精度に抽出することが可能となる。 In addition, what figure or conversion is adopted is determined at the design stage of the program (= the parameter is determined and the voting space is determined). For example, if a straight line is adopted, θ and ρ are selected, and if affine transformation is adopted, six parameters (or some of the parameters) used for affine transformation are selected. Then, a set of possible parameter values is calculated from the character candidate area. For example, vote for (θ, ρ) = (30,320), (31,320), (32,319), (33,318), (34,318), .... When voting is completed for all character candidate areas, coordinates (= parameter values) that take local maximum values and the like are selected from the voting space. This is the same flow as the straight line detection using the Hough space used in image processing. By using a character candidate area for voting, using character recognition information, and using part of the voting space axis as such information, the license plate area can be extracted with high accuracy.
なお、本願発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は可能な限り適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適当な組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果の欄で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。 Note that the present invention is not limited to the above-described embodiment, and various modifications can be made without departing from the scope of the invention in the implementation stage. In addition, the embodiments may be appropriately combined as much as possible, and in that case, the combined effect can be obtained. Further, the above embodiments include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent elements. For example, even if some constituent requirements are deleted from all the constituent requirements shown in the embodiment, the problem described in the column of the problem to be solved by the invention can be solved, and the effect described in the column of the effect of the invention Can be obtained as an invention.
201…画像入力装置、202…カメラインタフェース部、203…画像処理部、204…入出力インタフェース部、205…文字検出・認識部、206…ナンバープレート領域抽出部、207…後処理部、208…認識結果提示装置
201 ...
Claims (6)
幾何図形パラメータの全部又は一部により構成された投票空間に対して、前記複数の文字候補領域の夫々の位置情報を投票し、投票数が最大又は極大又は所定閾値以上となる投票空間座標を選出し、前記投票空間座標に対応するパラメータの値により前記複数の文字候補領域の中からナンバープレート候補領域中の複数の文字領域の配置を予測し、この配置予測に基づきナンバープレートに対応するテンプレートを幾何変換し、この幾何変換されたテンプレートによりナンバープレート候補領域を近似し、近似結果に基づきナンバープレート領域を抽出するナンバープレート領域抽出手段と、
を備えたナンバープレート情報処理装置。 Detecting means for detecting a plurality of character candidate regions from the image;
Voting position information of each of the plurality of character candidate areas is voted for a voting space constituted by all or part of geometric figure parameters, and voting space coordinates having a maximum or maximum number of votes or a predetermined threshold value or more are selected. The placement of a plurality of character regions in the license plate candidate region is predicted from the plurality of character candidate regions according to the parameter value corresponding to the voting space coordinates, and a template corresponding to the license plate is determined based on the placement prediction. License plate area extraction means for performing geometric transformation, approximating a license plate candidate area with the geometrically transformed template, and extracting a license plate area based on the approximation result;
License plate information processing device with
幾何変換パラメータの全部又は一部により構成された投票空間に対して、ナンバープレートの文字配置情報を含むテンプレートの文字位置を前記複数の文字候補領域の画像中の位置に変換する幾何変換パラメータを投票し、投票数が最大又は極大又は所定閾値以上となる投票空間座標を選出し、前記投票空間座標に対応するパラメータの値によりナンバープレートに対応するテンプレートを幾何変換し、この幾何変換されたテンプレートによりナンバープレート候補領域を近似し、近似結果に基づき前記ナンバープレート領域を抽出するナンバープレート領域抽出手段と、
を備えたナンバープレート情報処理装置。 Detecting means for detecting a plurality of character candidate regions from the image;
Voting a geometric conversion parameter for converting a character position of a template including character arrangement information of a license plate into a position in the image of the plurality of character candidate areas for a voting space constituted by all or part of the geometric conversion parameter Then, the voting space coordinates with the maximum or maximum number of votes or a predetermined threshold value or more are selected, the template corresponding to the license plate is geometrically transformed according to the value of the parameter corresponding to the voting space coordinates, and the geometrically transformed template is used. A license plate area extracting means for approximating a license plate candidate area and extracting the license plate area based on an approximation result;
License plate information processing device with
幾何図形パラメータの全部又は一部により構成された投票空間に対して、前記複数の文字候補領域の夫々の位置情報を投票し、
投票数が最大又は極大又は所定閾値以上となる投票空間座標を選出し、
前記投票空間座標に対応するパラメータの値により前記複数の文字候補領域の中からナンバープレート候補領域中の複数の文字領域の配置を予測し、
この配置予測に基づきナンバープレートに対応するテンプレートを幾何変換し、
この幾何変換されたテンプレートによりナンバープレート候補領域を近似し、
近似結果に基づきナンバープレート領域を抽出する、
ことを特徴とするナンバープレート情報処理方法。 Detect multiple character candidate areas from the image,
Voting position information of each of the plurality of character candidate areas for a voting space constituted by all or part of geometric figure parameters,
Select the voting space coordinates where the number of votes is maximum, maximum or above a predetermined threshold,
Predicting the arrangement of a plurality of character regions in the license plate candidate region from among the plurality of character candidate regions by the value of the parameter corresponding to the voting space coordinates,
Based on this placement prediction, the template corresponding to the license plate is geometrically transformed,
Approximate the license plate candidate area with this geometrically transformed template,
Extract license plate area based on approximate result,
A license plate information processing method.
幾何変換パラメータの全部又は一部により構成された投票空間に対して、ナンバープレートの文字配置情報を含むテンプレートの文字位置を前記複数の文字候補領域の画像中の位置に変換する幾何変換パラメータを投票し、
投票数が最大又は極大又は所定閾値以上となる投票空間座標を選出し、
前記投票空間座標に対応するパラメータの値によりナンバープレートに対応するテンプレートを幾何変換し、
この幾何変換されたテンプレートによりナンバープレート候補領域を近似し、
近似結果に基づき前記ナンバープレート領域を抽出する、
ことを特徴とするナンバープレート情報処理方法。 Detect multiple character candidate areas from the image,
Voting a geometric conversion parameter for converting a character position of a template including character arrangement information of a license plate into a position in the image of the plurality of character candidate areas for a voting space constituted by all or part of the geometric conversion parameter And
Select the voting space coordinates where the number of votes is maximum, maximum or above a predetermined threshold,
The template corresponding to the license plate is geometrically transformed by the value of the parameter corresponding to the voting space coordinates,
Approximate the license plate candidate area with this geometrically transformed template,
Extracting the license plate region based on the approximation result;
A license plate information processing method.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007256522A JP4901676B2 (en) | 2007-09-28 | 2007-09-28 | License plate information processing apparatus and license plate information processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007256522A JP4901676B2 (en) | 2007-09-28 | 2007-09-28 | License plate information processing apparatus and license plate information processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009087087A JP2009087087A (en) | 2009-04-23 |
JP4901676B2 true JP4901676B2 (en) | 2012-03-21 |
Family
ID=40660418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007256522A Active JP4901676B2 (en) | 2007-09-28 | 2007-09-28 | License plate information processing apparatus and license plate information processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4901676B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2644084A1 (en) | 2012-03-26 | 2013-10-02 | Fujifilm Corporation | Endoscope |
WO2015012219A1 (en) | 2013-07-22 | 2015-01-29 | 株式会社東芝 | Vehicle monitoring device and vehicle monitoring method |
US10339657B2 (en) | 2014-06-19 | 2019-07-02 | Kabushiki Kaisha Toshiba | Character detection apparatus and method |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5414631B2 (en) * | 2010-06-28 | 2014-02-12 | 日本電信電話株式会社 | Character string search method, character string search device, and recording medium |
JP2013080326A (en) | 2011-10-03 | 2013-05-02 | Sony Corp | Image processing device, image processing method, and program |
WO2013125494A1 (en) * | 2012-02-24 | 2013-08-29 | 日本電気株式会社 | Image verification device, image verification method, and program |
KR20150125463A (en) * | 2014-04-30 | 2015-11-09 | 렉스젠(주) | Device for converting the vehicle number into the image, Method for controlling the same and Vehicle number reading system using the same |
CN110276342B (en) * | 2018-03-14 | 2023-04-18 | 台达电子工业股份有限公司 | License plate identification method and system |
US12062162B2 (en) | 2019-02-27 | 2024-08-13 | Nec Corporation | Image processing device, image processing method, and recording medium |
JP7277879B2 (en) * | 2020-09-28 | 2023-05-19 | 国立大学法人東京工業大学 | License plate recognition program and license plate recognition device |
CN115862170B (en) * | 2023-02-27 | 2023-06-09 | 成都智源易行科技有限公司 | License plate recognition auxiliary system and method for ETC charging system |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02116987A (en) * | 1988-10-27 | 1990-05-01 | Toshiba Corp | Character recognizing device |
JP2851348B2 (en) * | 1990-02-08 | 1999-01-27 | 三菱重工業株式会社 | License plate reader |
JPH07114688A (en) * | 1993-10-14 | 1995-05-02 | Nippon Signal Co Ltd:The | Method for recognizing vehicle registered number |
JPH08320990A (en) * | 1995-05-26 | 1996-12-03 | Japan Radio Co Ltd | Vehicle number reader |
JPH1173514A (en) * | 1997-08-29 | 1999-03-16 | Nissan Motor Co Ltd | Recognition device for vehicle |
JP4079346B2 (en) * | 2002-03-05 | 2008-04-23 | グローリー株式会社 | Image position detection method |
JP4492036B2 (en) * | 2003-04-28 | 2010-06-30 | ソニー株式会社 | Image recognition apparatus and method, and robot apparatus |
JP4760362B2 (en) * | 2005-12-21 | 2011-08-31 | 三菱電機株式会社 | Character reader |
-
2007
- 2007-09-28 JP JP2007256522A patent/JP4901676B2/en active Active
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2644084A1 (en) | 2012-03-26 | 2013-10-02 | Fujifilm Corporation | Endoscope |
WO2015012219A1 (en) | 2013-07-22 | 2015-01-29 | 株式会社東芝 | Vehicle monitoring device and vehicle monitoring method |
US9875413B2 (en) | 2013-07-22 | 2018-01-23 | Kabushiki Kaisha Toshiba | Vehicle monitoring apparatus and vehicle monitoring method |
US10339657B2 (en) | 2014-06-19 | 2019-07-02 | Kabushiki Kaisha Toshiba | Character detection apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
JP2009087087A (en) | 2009-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4901676B2 (en) | License plate information processing apparatus and license plate information processing method | |
US10496901B2 (en) | Image recognition method | |
CN104112128B (en) | Digital image processing system and method applied to bill image character recognition | |
CN105981051B (en) | Layering for image analysis interconnects multiple dimensioned convolutional network | |
KR101522804B1 (en) | Pattern matching apparatus and recording medium | |
CN100357958C (en) | Binary coding method of fingerprint image | |
US8867845B2 (en) | Path recognition device, vehicle, path recognition method, and path recognition program | |
CN113435240B (en) | End-to-end form detection and structure identification method and system | |
CN110765795B (en) | Two-dimensional code identification method and device and electronic equipment | |
CN104217203A (en) | Complex background card face information identification method and system | |
CN111914838A (en) | License plate recognition method based on text line recognition | |
CN106326887A (en) | Method and device for checking optical character recognition result | |
WO2014129018A1 (en) | Character recognition device, character recognition method, and recording medium | |
JP6037134B2 (en) | Feature point association system, feature point association method, and program | |
JP5906788B2 (en) | Character cutout method, and character recognition apparatus and program using this method | |
JP2008251029A (en) | Character recognition device and license plate recognition system | |
CN112183542A (en) | Text image-based recognition method, device, equipment and medium | |
JP5010627B2 (en) | Character recognition device and character recognition method | |
JP2021184141A (en) | Code decoding device, code decoding method, and program | |
JP2011107878A (en) | Position detection apparatus and position detection method | |
US7646918B2 (en) | Systems and methods for recognizing objects in an image | |
US20230069608A1 (en) | Object Tracking Apparatus and Method | |
JP5439069B2 (en) | Character recognition device and character recognition method | |
CN110728276A (en) | License plate recognition method and device | |
CN111626244B (en) | Image recognition method, device, electronic equipment and medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110623 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110705 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110902 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111206 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4901676 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150113 Year of fee payment: 3 |