WO2006126348A1 - ナンバー認識装置及その認識方法 - Google Patents

ナンバー認識装置及その認識方法 Download PDF

Info

Publication number
WO2006126348A1
WO2006126348A1 PCT/JP2006/308295 JP2006308295W WO2006126348A1 WO 2006126348 A1 WO2006126348 A1 WO 2006126348A1 JP 2006308295 W JP2006308295 W JP 2006308295W WO 2006126348 A1 WO2006126348 A1 WO 2006126348A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
threshold
number recognition
coefficient
ternary
Prior art date
Application number
PCT/JP2006/308295
Other languages
English (en)
French (fr)
Inventor
Masatoshi Arai
Original Assignee
Calsonic Kansei Corp.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Calsonic Kansei Corp. filed Critical Calsonic Kansei Corp.
Priority to US11/919,738 priority Critical patent/US20100289897A1/en
Priority to EP06732153A priority patent/EP1879131A4/en
Publication of WO2006126348A1 publication Critical patent/WO2006126348A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates

Definitions

  • the present invention relates to a pick-up recognition for picking up a pick-up written on both pick-up plates.
  • 'It belongs to the technical field of the recognition device and its recognition method. '.
  • the present invention has been made paying attention to the above-mentioned problem, and its purpose is to perform image classification processing with high accuracy without requiring a large amount of calculation as in logarithmic transformation. It is to make a napier device that can be used.
  • the first aspect of the present invention uses an imaging means for capturing an image including a license plate of another vehicle, and neighboring pixels and threshold values in the image for the captured image.
  • a threshold value prediction means for calculating an optimum predicted value of the threshold value from the luminance average and luminance variance of the captured image is provided.
  • the image processing means characterized in that to perform the three-value using the predicted value of the threshold D
  • the color image captured by the imaging means is converted into a black and white image having a plurality of gradations, and the luminance average and luminance variance of the image are calculated. From the luminance average and luminance variance, Compare the captured image pixels with the surroundings, classify the pixels into white, black, and colorless by comparing them with the threshold, predict the ternary processing threshold, perform ternary processing with the predicted threshold, and It is characterized in that license plates are recognized based on the digitized image data.
  • FIG. 1 is a schematic diagram showing a configuration of a number recognition device according to a first embodiment.
  • FIG. 2 A shows the correlation between the luminance average and the threshold fl, and FIG. 2B shows the correlation between the luminance variance and the threshold fl.
  • FIG. 3 A shows the correlation between luminance average and threshold 1
  • Fig. 3B shows the correlation between luminance variance and threshold 1.
  • FIG. 4 A is an image of a license plate taken at a short distance, with the middle part of the text line being hollow, and Fig. 4B is a photo of a license plate at a short distance.
  • FIG. 6 is a diagram for explaining each of the images in a state where the image is reduced by performing reduction processing.
  • FIG. 5 A is a diagram for explaining a case where a target is recognized as white in black and white judgment in ternary key
  • FIG. 5B is a diagram for explaining a case where a target is recognized as black in black and white judgment in ternarization.
  • FIG. 6 is a diagram showing a difference in the ternary key image processing result in the case of light and dark between three different processes using the ternary key process.
  • FIG. 7 is a diagram for explaining a state in which the left side of the target number is investigated.
  • FIG. 8 A shows the state of estimating the license plate size when the target number is the first digit
  • Fig. 8B shows the state of estimating the license plate size when the target number is the third digit. It is a figure explaining each.
  • FIG. 9 A shows the state in which the number plate is placed in the specified position and the number plate is placed in the rule.
  • Figure 9B shows the number plate in the place where the number is not in the specified position. It is a figure explaining a state, respectively.
  • FIG. 10 is an explanatory diagram showing a state in which template matching is performed.
  • FIG. 11A is an explanatory diagram showing an example of number extraction in a dark illumination state.
  • the number recognition apparatus 1 of this embodiment mainly includes a camera 2 that captures an image including a license plate of another vehicle, and an image processing unit 3 that processes image data captured from the camera 2. It has as a new configuration.
  • the camera 2 corresponds to the imaging means of the present invention.
  • the number recognition device 1 is connected to the vehicle device 4.
  • Camera 2 uses a CCD camera to capture a 24-bit color image and output it as an image data signal.
  • the image processing unit 3 includes a gray scale processing unit 31, a ternary processing unit 32, and a recognition processing unit 33, and processes image data input from the camera 2.
  • the ternarization processing unit 32 corresponds to the image processing unit and the threshold prediction unit of the present invention
  • the recognition processing unit 33 corresponds to the pattern matching unit of the present invention.
  • the gray scale processing unit 31 converts the color image obtained by the camera 2 into a gray scale image having a luminance value of 8 bits in black and white.
  • the ternarization processing unit 32 classifies each pixel of the grayscale image obtained by the grayscale processing unit 31 into three types (colorless, white, black), and generates a ternary image.
  • the threshold fl is used to determine white
  • the threshold 12 is used to determine black
  • these are compared with each pixel of the grayscale image.
  • the thresholds 11 and 12 are obtained by using C11, C12, C13, C21, C22, and C23 as prediction coefficient coefficients.
  • FIG. 2A shows the correlation between the average luminance and the threshold fl
  • FIG. 2B shows the correlation between the luminance variance and the threshold fl.
  • the correlation between luminance average and threshold 12 is shown in Fig. 3A
  • the correlation between luminance variance and threshold 12 is shown in Fig. 3B.
  • Equations 1 and 2 are obtained in advance by experiments and multiple regression analysis.
  • the recognition processing unit 33 performs recognition processing of characters and numbers displayed on the license plate from the ternary key image obtained by the ternary key processing unit 32 using matching. The process of recognizing the size of the web is performed.
  • the vehicle device 4 uses the vehicle number obtained by the number recognition device 1 to use the vehicle more comfortably, for example, following a preceding vehicle.
  • the vehicle device 4 may calculate the inter-vehicle distance from the size of the license plate.
  • the camera 2 captures the other vehicle and obtains a color image.
  • the gray scale processing unit 31 of the image processing unit 3 converts the color image into a gray scale image, and then the ternary key processing unit 32 generates a ternary key image from the gray scale image. To do.
  • the text line extraction process may cause the text line to be too thick and the center of the line to become hollow as shown in Fig. 4A.
  • the image is reduced and processed to prevent a void state.
  • the leftmost 4th digit of the 4 digit number is deleted from the image for privacy protection.
  • 5A and 5B are diagrams illustrating the black and white determination in the ternarization. As shown in Fig. 5A, if the surrounding pixels are generally darker than the target pixel, the target pixel is classified as white. In contrast, as shown in Figure 5B If the surrounding pixels are generally brighter than the target pixel, the target pixel is classified as black.
  • threshold values fl and f2 obtained by the prediction formulas of the above formulas 1 and 2 are used.
  • Equations 1 and 2 take into account the luminance average and luminance variance, that is, the luminance average that is the average of the luminance data distribution of the captured image data, and the luminance variance that indicates the variation state of the data distribution of the image data. Yes. Therefore, it is possible to classify ternary keys with high accuracy even if the entire captured image data is bright and dark, and classify ternary keys with high accuracy according to the distribution state. It becomes possible.
  • FIG. 6 is a diagram illustrating a result of the ternary image processing that shows a difference in light and dark cases due to different processes of the ternary processing.
  • the leftmost 4th digit of the 4 digit number is deleted from the image.
  • Figure 11 shows an example of number extraction when the lighting is dark.
  • the leftmost 4th digit of the 4 digit number is deleted from the image.
  • the ternarization process of Fig. 6 the original image, the ternary image with the threshold fixed (threshold fixed: shown in the second column of Fig. 6), the threshold of Equation 1 and Equation 2 in Example 1
  • a ternary image when multivariate analysis is shown in the third column of Fig.
  • the ternary value ⁇ ⁇ using the threshold values fl, 1 of the embodiment provides the character lines necessary for reading the numbers and characters on the license plate.
  • the processing times of the logarithmic transformation and the case of using the prediction formula of the present embodiment are compared.
  • the main processing is 23.34 ms and the supplementary processing power is S3.25 ms, for a total of 26.59 ms.
  • the main processing is 0.0072 ms and the supplementary processing is 6.37 ms, even if including the calculation time of the luminance average and luminance variance, and the total is 6.38 ms.
  • the calculation time can be shortened compared to the case of logarithmic conversion.
  • the number on the license plate is recognized next. Number recognition is performed by labeling and cutting out numbers, then narrowing down the target based on the region features, and then performing pattern matching.
  • the region feature amounts are the height of the region, the aspect ratio, and the ratio of the character area to the rectangle.
  • the purpose of narrowing down the target by the feature amount is to reduce the load by reducing the number of pattern matching.
  • the pattern matching is performed using the weighted direction exponent histogram method after normalizing the target to 16 X 16 pixels.
  • the weighted direction index histogram method has the characteristics of being strong against character deformation.
  • the weighted direction index histogram method will be described.
  • the input image is divided into small areas, and the histogram is used to count the contour direction components.
  • the contour direction component in the vertical direction and the horizontal direction are seen, and the contour direction component in the oblique direction is seen.
  • the license plate is then recognized.
  • the number plate arrangement rule is used. First, as shown in Fig. 7, we investigate whether there are character candidates, numbers, and “ ⁇ ” on the left of the target character.
  • Fig. 8A shows the state of estimating the license plate size when the target number is the first digit
  • Fig. 8B shows the state of estimating the license plate size when the target number is the third digit. ing.
  • FIGS. 9A and 9B When the position and size of the license plate are estimated, as shown in FIGS. 9A and 9B, the pre-searched character candidates and numbers, “ Note that Figure 9A shows a state where the number plate is assigned with a number at the specified position, and Figure 9B shows a state where the number plate is assigned when there is no number at the specified position. Each state is shown.
  • a camera 2 that captures an image including a license plate of another vehicle
  • a ternary key processing unit 32 that performs a ternary key comparison on the captured image using a threshold value with neighboring pixels.
  • the optimal prediction value of the threshold is calculated from the luminance average and luminance variance of the captured image, and the ternary key processing unit 32 performs the ternary key using the threshold prediction value. Therefore, it is possible to classify images with high accuracy by relatively light processing without performing logarithmic conversion.
  • the processing time can be reduced to about 1/4 compared with the case of logarithmic conversion, and the processing is light. Therefore, an inexpensive processor can be used.
  • the number recognition apparatus 1 of the present embodiment is suitable for parallel computation, and enables higher speed processing.
  • the threshold value is calculated, and therefore, the ternary key process can be performed with the threshold value considering the luminance state of the image, and the image classification process can be performed with good accuracy.
  • the first equation for calculating the 3 ⁇ value fl and the second equation for calculating the threshold value 1 are multiple regression equations based on values obtained by sampling a plurality of image forces. Based on this, a well-correlated threshold value can be obtained, and image classification processing can be performed more accurately for actual use.
  • a non-turn matching means that recognizes numbers, letters, and symbols on the license plate is provided, and pattern matching is a histogram that counts only the vertical and horizontal contour components. Since it is processed as a feature quantity, it can cope with changes in the thickness of the character line and the inclination of the numbers, making it possible to recognize numbers more accurately.
  • the arrangement rule reference means for recognizing the number is provided by comparing the recognized numbers, letters, symbols, and the arrangement rule of the license plate, the image processing and the arrangement rule It can be confirmed from two, and the number can be recognized more accurately.
  • the number recognition device of the present embodiment is not limited to the one described in the present specification, such as being incorporated into an ETC system.
  • the number recognition device and the recognition method of the present invention may be an in-vehicle device such as a preceding vehicle following control or a ground device such as an ETC system as long as it recognizes the number of a vehicle license plate. Applicable.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Character Input (AREA)

Abstract

　ナンバー認識装置１は、他車のナンバープレートを含む画像を取り込むカメラ２と、取り込んだ画像に対して、近傍画素との閾値を用いた比較により３値化を行う３値化処理部３２とを備え、取り込んだ画像の輝度平均と輝度分散から閾値の最適な予測値を演算し、３値化処理部３２にて閾値の予測値を用いて３値化を行うようにした。

Description

明 細 害
ナンパ一餺難置及びその扉方法
技術分野
[0001] 本発明は、拿両のナンパ一プレートに記載されたナンパ一を諷 するナンパー認
'識装置及びその認識方法の技術分野に属する。 ' .
背景技術
[0002] 従来の技術においては、 Satoshi I akata, Yoshiaki Ajioka, and Masaftimi Hagiwara, "Character Extraction Algorithm from Scenery Images by Parallel and Local Proces sing." 2003 International Symposium on Advanced Intelligent System, P.P 54-57, Se P.2003に記載されているように、車載カメラで «を撮った^ \昼夜や晴雨による 照明の変 ίヒにより、映像のパラツキが生じるため、画像認識処理において対数変換 による分類処理を行って V、る。
発明の開示
発明力 S解決しょうとする課題
[0003] しかしながら、従来の技術のように対数変換を用いると非常に計算量が大きくなるた め、高度な演算能力を必要とする専用プロセッサで対応しなければならず、システム が高価になると、う問題があつ
[0004] 本発明は、上記問題に着目してなされたもので、その目的とするところは、対数変 換のように大きな計算量を必要とすることなく、精度の 、画像の分類処理を行うこと ができるナ パ^ ϋ装置及 «の認»法を»することにある。
.課題 ¾ ^決するための手段
[0005] 上述の目的を達成する め、第 1の本発明では、他車のナンバープレートを含む画 像を取り込む撮像手段と、取り込んだ画像に対して画像中の近傍画素と閾値とを用 V、た比較により 3値化を持う画像処理手段と、を備えたナンバー認識装 fiにおいて、 取り込んだ画像の輝度平均と輝度分散から閾値の最適な予測値を演算する閎値予 測手段を設けるとともに、画像処理手段が、閾値の予測値を用いて 3値化を行うよう にしたことを特徴とする D
差替え用紙（規則 26) [0006] また、第 2の本発明では、撮像手段で捕り込んだカラー画像を複数諧調輝度の白 黒画像に変換し、画像の輝度平均と輝度分散を演算し、輝度平均と輝度分散から、 捕り込んだ画像の画素を周囲と比較し、閾値との比較により画素を白、黒、無色に分 類する 3値化処理の閾値を予測し、予測閾値により 3値ィ匕処理を行って、 3値化した 画像データカゝらナンバープレートの認識を行うようにしたことを特徴とする。
発明の効果
[0007] 上記両本発明では、対数変換を行なわな 、ことで、対数変換を行う場合に比べて 比較的軽い処理で済む、より安価なプロセッサを用いることができるようになり、また その際精度よく画像の分類処理を行うことができるようになる。
図面の簡単な説明
[0008] [図 1]実施例 1のナンバー認識装置の構成を示す概略図である。
[図 2]Aは輝度平均と閾値 flとの相関関係を、また図 2Bは輝度分散と閾値 flとの相関 関係をそれぞれ示す図である。
[図 3]Aは輝度平均と閾値 1 との相関関係を、また図 3Bは輝度分散と閾値 1 との相関 関係をそれぞれ示す図である。
[図 4]Aは近距離でナンバープレートを撮影する場合の画像で、文字線の線の中央 部分が中抜けになった状態のものを、また図 4Bは近距離でナンバープレートを撮影 する場合の画像を縮小処理して中抜けをなした状態のものを、それぞれ説明する図 である。
[図 5]Aは 3値ィ匕における白黒判定で対象を白として認識する場合、また図 5Bは 3値 化における白黒判定で対象を黒として認識する場合を、それぞれ説明する図である
[図 6]3値ィ匕処理を利用する 3つの異なる処理間における、明暗の場合での 3値ィ匕画 像処理結果の違!ヽを示すを示す図である。
[図 7]対象数字の左隣を調査する状態を説明する図である。
[図 8]Aは対象数字が 1桁目の場合におけるナンバープレートの大きさを推定する状 態を、また図 8Bは対象数字が 3桁目の場合におけるナンバープレートの大きさを推 定する状態をそれぞれ説明する図である。 [図 9]Aは指定位置に数字が有る場合のナンバープレートの配置規則とのあてはめを 行う状態を、また図 9Bは指定位置に数字が無い場合のナンバープレートの配置規 則とのあてはめを行う状態をそれぞれ説明する図である。
[図 10]テンプレートマッチングを行う状態を示す説明図である。
[図 11]Aは、図 11Bは、照明の暗い状態でのナンバー抽出例を示す説明図である。 発明を実施するための最良の形態
[0009] 以下に、本発明のナンバー認識装置及び方法を実現する実施の形態を、実施例 に基づいて説明する。
実施例
[0010] まず、本実施例のナンバー認識装置の構造を添付の図面に基づき説明する。
図 1に示すように、本実施例のナンバー認識装置 1は、他車のナンバープレートを 含む画像を撮影するカメラ 2と、カメラ 2から取り込ん画像データの処理を行う画像処 理部 3とを主な構成として有する。なお、カメラ 2は、本発明の撮像手段に相当する。 ナンバー認識装置 1は、車両装置 4に接続される。
[0011] カメラ 2は CCDカメラを用い、 24bitのカラー画像を撮像し、画像データ信号として 出力する。
[0012] 画像処理部 3は、グレースケール処理部 31と、 3値化処理部 32と、認識処理部 33 とを有し、カメラ 2から入力した画像データの処理を行う。なお、 3値化処理部 32は本 発明の画像処理手段及び閾値予測手段に相当し、認識処理部 33は本発明のバタ ーンマッチング手段に相当する。
[0013] グレースケール処理部 31は、カメラ 2で得たカラー画像を白黒で 8bitの輝度値を持 つグレースケール画像に変換する。
[0014] 3値化処理部 32は、グレースケール処理部 31で得たグレースケール画像の各画 素を 3種 (無色、白、黒）に分類して、 3値化画像を生成する。この 3値ィ匕の分類にあ つては、白と判定するために閾値 flを用い、黒と判定するために閾値 12を用い、これら とグレースケール画像の各画素とを比較する。
この閾値 11,12は、 C11,C12,C13,C21,C22,C23を予測式の係数として、
[0015] fl = Cll X輝度平均 + C12 X輝度分散 + C13 ' · · · (式 1) [0016] 12 = C21 X輝度平均 + C22 X輝度分散 + C23 ' · · · (式 2)
以上の式から求めたものを用いる。
輝度平均と閾値 flとの相関関係を図 2Aに、また輝度分散と閾値 flとの相関関係を 図 2Bにそれぞれ示す。さらに、輝度平均と閾値 12との相関関係を図 3Aに、また輝度 分散と閾値 12との相関関係を図 3Bにそれぞれ示す。これらの図には実験値と重回帰 分析により求めた直線とが示して有る。
このようにして、式 1,式 2は、実験と重回帰分析とにより、予め、求めておく。
[0017] 認識処理部 33は、 3値ィ匕処理部 32で得た 3値ィ匕画像から、マッチングを利用して、 ナンバープレートに表示されている文字及び数字の認識処理を行い、ナンバープレ ートの大きさを認識する処理を行う。
[0018] 車両装置 4は、ナンバー認識装置 1で得られた車両のナンバーを利用して、例えば 、先行車追従など、より快適に車両を使用するためのものである。なお、車両装置 4 は、ナンバープレートの大きさから、車間距離を算出するものであってもよい。
[0019] 次に、本実施例のナンバー認識装置 1の作用を説明する。
まず、ナンバープレートの認識作用につき説明する。
本実施例のナンバー認識装置 1において、他車のナンバーを認識するには、まず 、カメラ 2により他車を撮像してカラー画像を得る。
[0020] 次に画像処理部 3のグレースケール処理部 31により、カラーが像をグレースケール 画像へと変換し、次に 3値ィ匕処理部 32でグレースケール画像から 3値ィ匕画像を生成 する。
なお、近距離で撮影したナンバープレートを認識する場合、その後の文字線抽出 処理で、文字線が太すぎて線の中央部分が図 4Aのように中抜けの状態になってしま うことがあるが、実施例では、図 4Bに示すように画像を縮小して処理することにより中 抜けの状態を防止している。なお、図 4A及び図 4Bにおいて、プライバシー保護のた め 4桁の番号の最も左の 4桁目は画像より消去している。
[0021] ここで、 3値ィ匕について説明しておく。図 5A及び図 5Bは 3値化における白黒判定の 説明を示す図である。図 5Aに示すように、対象画素と比べてその周辺画素が全体 的に暗い場合、対象画素を白として分類する。また、これに対し、図 5Bに示すように 、対象画素と比べてその周辺画素が全体的に明るい場合、対象画素を黒として分類 する。
この 3値化の際には、上記式 1、式 2の予測式により求められた閾値 fl,f2が用いられ る。式 1,式 2には、輝度平均と輝度分散、つまり撮像された画像データの輝度データ の分布の平均である輝度平均と、画像データのデータ分布のばらつき状態を示す輝 度分散を考慮している。よって、撮像した画像データの全体の明暗があっても精度よ く 3値ィ匕の分類を行うことが可能となるとともに、その分布状態にも対応して精度よく 3 値ィ匕の分類を行うことが可能となる。
[0022] 図 6は、 3値化処理の異なる処理による明暗の場合の違いを示す 3値化画像処理 結果を示す図である。なお、図 6においても、 4桁の番号の最も左の 4桁目は画像より 消去している。照明の暗い状態におけるナンバー抽出例を図 11に示す。なお、図 1 1においても、 4桁の番号の最も左の 4桁目は画像より消去している。図 6の 3値化の 処理において、元の画像、閾値を固定した場合の 3値ィ匕画像（閾値固定：図 6の第 2 欄目に表記）、実施例 1の式 1,式 2の閾値を用いた場合の 3値化画像 (多変量解析： 図 6の第 3欄目に表記)、対数変換の場合の 3値ィ匕画像 (図 6の第 4欄目に表記)をそ れぞれ明暗の状態で示している。これらの結果から明らかなように、式 1、式 2を用い た 3値ィ匕画像は、全体で言えば対数変換ほどの品質は得られていないが、ナンバー プレートの文字や数字を読み取るのに充分な品質が得られている。
よって、実施例の閾値 fl, 1を用いた 3値ィ匕により、ナンバープレートの数字や文字 を読み取るのに必要な文字線が得られることになる。
[0023] ここで、対数変換の場合と本実施例の予測式を用いる場合との処理時間を比較す る。動的な閾値の計算時間を含む、対数変換の場合、主処理が 23.34ms、補足処理 力 S3.25ms、合計で 26.59msとなる。これに対して本実施例の予測式の場合において、 輝度平均、輝度分散の計算時間を含んでも、主処理が 0.0072ms、補足処理が 6.37m s、合計で 6.38msである。このように、本実施例では、対数変換の場合に比べて、非 常に計算時間を短縮することができる。
[0024] このようにして、 3値化画像を得たならば、次にナンバープレートの数字の認識を行 数字の認識は、ラベリングをして数字を切り出した後、領域の特徴量による対象の 絞込みをして、その後にパターンマッチングを行うことで実行される。
領域の特徴量とは、具体的には、領域の高さ、縦横比、矩形に占める文字面積の 比率の 3つである。特徴量によって対象を絞り込むことの目的は、パターンマッチング の回数を減らして負荷を軽減することである。
[0025] パターンマッチングは、対象を 16 X 16画素に正規ィ匕した後、加重方向指数ヒストグ ラム法を用いて行う。加重方向指数ヒストグラム法は文字変形に強 、と 、う特徴があり
、文字線の太さの変化や数字の傾きがあっても、ある程度まで対応できる。
ここで、加重方向指数ヒストグラム法について説明する。入力画像を小領域に分割 し、そこでの輪郭方向成分をカウントするヒストグラムを特徴量としている。実施例にお いては処理負荷軽減のため、縦方向と横方向の輪郭方向成分だけみて、斜め方向 の輪郭方向成分はみて 、な 、。
[0026] 数字認識を行ったならば、次に、ナンバープレートの認識を行う。実施例では、ナン バープレートの配置規則を用いて 、る。 まず、図 7に示すように、対象文字の左隣に文字候補や数字、「·」がないかを調査 する。
[0027] 次に、図 8A及び図 8Bに示すように、対象文字と文字候補の位置関係からナンバー プレートの位置、大きさを推定する。なお、図 8Aは対象数字が 1桁目の場合における ナンバープレートの大きさを推定する状態を、また図 8Bは対象数字が 3桁目の場合 におけるナンバープレートの大きさを推定する状態をそれぞれ示している。
[0028] ナンバープレートの位置、大きさを推定したならば、図 9A及び図 9Bに示すように、 一連番号の対象数字以外の推定位置に、予め調査された文字候補や数字、「 が 当てはまるかどうかを調べる。なお、図 9Aは指定位置に数字が有る場合のナンバー プレートの配置規則とのあてはめを行う状態を、また図 9Bは指定位置に数字が無い 場合のナンバープレートの配置規則とのあてはめを行う状態をそれぞれ示している。
[0029] 調べた結果、欠損領域が 2つ以下であれば、図 10に示すように、欠損領域に対し てテンプレートマッチングを行う。
[0030] これらの処理によって、車両のナンバーが確実に認識される。また、ナンバープレ ートの大きさも情報として得られるため、その車両までの距離情報も精度よく得られる
[0031] 本実施のナンバー認識装置 1にあっては、次に列挙する効果を得ることができる。
(1)他車のナンバープレートを含む画像を取り込むカメラ 2と、取り込んだ画像に対し て、近傍画素との閾値を用いた比較により 3値ィ匕を行う 3値ィ匕処理部 32と、を備える ナンバー認識装置 1において、取り込んだ画像の輝度平均と輝度分散から閾値の最 適な予測値を演算し、 3値ィ匕処理部 32は閾値の予測値を用いて 3値ィ匕を行うようにし たため、対数変換を行うことなぐ比較的軽い処理によって、精度よく画像の分類処 理を行うことができる。
さらに、本実施例のナンバー認識装置 1においては、処理時間を対数変換の場合 に比べて約 1/4にすることができ、軽い処理となる。そのため、安価なプロセッサを用 いることができる。また、本実施例のナンバー認識装置 1は、並列演算に適することと なり、さらなる高速処理化を可能にする。
[0032] (2)3値化処理部 32は、画素を白と判定する場合の閾値 fl =係数 Cl l X輝度平均
+係数 C12 X輝度分散 +係数 C13とする第 1の式と、画素を黒と判定する場合の閾 値 12 =係数 C21 X輝度平均 +係数 C22 X輝度分散 +係数 C23とする第 2の式とによ り閾値を算出するため、画像の輝度状態を考慮した閾値により 3値ィ匕処理を行うこと ができ、よい精度よく画像の分類処理を行うようにできる。
[0033] (3斕値 flを算出する第 1式及び閾値 1を算出する第 2式は、複数の画像力もサンプ リングした値を元とする重回帰式であるため、予め得られたデータを基によく相関性 を持つ閾値を得て、より実際の使用に対して精度よく画像の分類処理を行うようにで きる。
[0034] (4)3値ィ匕した画像データ力 ナンバープレートの数字及び文字、記号を認識する ノターンマッチング手段を設け、パターンマッチングが、縦方向と横方向の輪郭成分 のみをカウントしたヒストグラムを特徴量として処理するため、文字線の太さの変化、 数字の傾きにもよく対応して、より精度よくナンバー認識を行うことができる。
[0035] (5)認識された数字及び文字、記号と、ナンバープレートの配置規則とを照らし合わ せて、ナンバーを認識する配置規則参照手段を設けたため、画像処理と配置規則の 2つから確認でき、より精度よくナンバー認識を行うことができる。
[0036] (6)捕り込んだカラー画像を複数諧調輝度の白黒画像に変換し、画像の輝度平均と 輝度分散を演算し、輝度平均と輝度分散から、捕り込んだ画像の画素を周囲と比較 し、閾値との比較により画素を白、黒、無色に分類する 3値化処理の閾値を予測し、 予測閾値 fl,f2により 3値ィ匕処理を行って、 3値ィ匕した画像データ力もナンバープレー トの認識を行うようにしたため、対数変換を行うことなぐ比較的軽い処理によって、精 度よく画像の分類処理を行うことができる。このため、プロセッサに安価なものを使用 することが可能となる。
[0037] 以上、本発明の実施の形態を実施例に基づいて説明してきたが、本発明の具体的 な構成は実施例に限定されるものではなぐ発明の要旨を逸脱しない範囲の設計変 更等があっても、本発明に含まれる。
[0038] 本実施例のナンバー認識装置は、 ETCシステムに組み込むなど、その用途は本明 細書中に記載したものに限定されな 、。
産業上の利用可能性
[0039] 本発明のナンバー認識装置及びその認識方法は、車両のナンバープレートのナン バーを認識するものであれば、先行車両追従制御等の車載装置であれ、 ETCシス テム等の地上装置であれ、適用可能である。

Claims

請求の範囲
[1] 他車のナンバープレートを含む画像を取り込む撮像手段と、
取り込んだ画像に対して、該画像中の近傍画素と閾値とを用いた比較により 3値ィ匕 を行う画像処理手段と、
を備えたナンバー認識装置において、
取り込んだ画像の輝度平均と輝度分散から前記閾値の最適な予測値を演算する 閾値予測手段を設け、
前記画像処理手段が、前記閾値の予測値を用いて 3値ィ匕を行うようにした、 ことを特徴とするナンバー認識装置。
[2] 請求項 1に記載のナンバー認識装置にぉ 、て、
前記閾値予測手段は、
画素を白と判定する場合の閾値 =係数 I X輝度平均 +係数 2 X輝度分散 +係数 3 とする第 1の式と、
画素を黒と判定する場合の閾値 =係数 4 X輝度平均 +係数 5 X輝度分散 +係数 6 とする第 2の式と、
により閾値を算出する、
ことを特徴とするナンバー認識装置。
[3] 請求項 2に記載のナンバー認識装置において、
前記第 1式及び前記第 2式は、複数の画像力 サンプリングした値を元とする重回 帰式である、
ことを特徴とするナンバー認識装置。
[4] 請求項 1乃至請求項 3のいずれかに記載のナンバー認識装置において、
前記画像を 3値ィ匕した 3値ィ匕画像カゝらナンバープレートの数字及び文字、記号を認 識するパターンマッチング手段を設け、
前記パターンマッチングは、縦方向と横方向の輪郭成分のみをカウントしたヒストグ ラムを特徴量として処理する、
ことを特徴とするナンバー認識装置。
[5] 請求項 4に記載のナンバー認識装置において、 認識された数字及び文字、記号と、ナンバープレートの配置規則とを照らし合わせ て、ナンバーを認識する配置規則参照手段を設けた、
ことを特徴とするナンバー認識装置。
[6] 撮像手段で捕り込んだカラー画像を複数諧調輝度の白黒画像に変換し、
画像の輝度平均と輝度分散を演算し、
前記輝度平均と前記輝度分散から、捕り込んだ画像の画素を周囲と比較し、閾値と の比較により画素を白、黒、無色に分類する 3値化処理の閾値を予測し、
前記予測閾値により 3値ィ匕処理を行って、 3値ィ匕した画像データ力 ナンバープレ ートの認識を行うようにした、
ことを特徴とするナンバー認識方法。
[7] 請求項 6に記載のナンバー認識方法において、
前記閾値は、
画素を白と判定する場合の閾値 =係数 I X輝度平均 +係数 2 X輝度分散 +係数 3 とする第 1の式と、
画素を黒と判定する場合の閾値 =係数 4 X輝度平均 +係数 5 X輝度分散 +係数 6 とする第 2の式と、
により算出する、
ことを特徴とするナンバー認識方法。
[8] 請求項 7に記載のナンバー認識方法において、
前記第 1式及び前記第 2式は、複数の画像力 サンプリングした値を元とする重回 帰式である、
ことを特徴とするナンバー認識方法。
[9] 請求項 6乃至請求項 8のいずれかに記載のナンバー認識方法において、
前記画像を 3値ィ匕した 3値ィ匕画像カゝらナンバープレートの数字及び文字、記号を、 縦方向と横方向の輪郭成分のみをカウントしたヒストグラムを特徴量として処理するパ ターンマッチングを用いて認識する、
ことを特徴とするナンバー認識方法。
[10] 請求項 9に記載のナンバー認識方法において、 認識された数字及び文字、記号と、ナンバープレートの配置規則とを照らし合わせ て、ナンバーを認識する、
ことを特徴とするナンバー認識方法。
PCT/JP2006/308295 2005-05-02 2006-04-20 ナンバー認識装置及その認識方法 WO2006126348A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/919,738 US20100289897A1 (en) 2005-05-02 2006-04-20 Number recognition device, and recognition method therefor
EP06732153A EP1879131A4 (en) 2005-05-02 2006-04-20 NUMBER RECOGNIZING DEVICE AND METHOD FOR THE SAME

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005-134091 2005-05-02
JP2005134091A JP2006309650A (ja) 2005-05-02 2005-05-02 ナンバー認識装置及方法

Publications (1)

Publication Number Publication Date
WO2006126348A1 true WO2006126348A1 (ja) 2006-11-30

Family

ID=37451777

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/308295 WO2006126348A1 (ja) 2005-05-02 2006-04-20 ナンバー認識装置及その認識方法

Country Status (4)

Country Link
US (1) US20100289897A1 (ja)
EP (1) EP1879131A4 (ja)
JP (1) JP2006309650A (ja)
WO (1) WO2006126348A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3800614A4 (en) * 2018-06-29 2022-03-23 Great Wall Motor Company Limited METHOD AND APPARATUS FOR GENERATION OF A TERNARY IMAGE AND VEHICLE

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101681513B (zh) * 2007-09-20 2012-10-24 佳能株式会社 图像检测装置和图像检测方法
CN102890780B (zh) * 2011-07-19 2015-07-22 富士通株式会社 图像处理装置和方法
US9870704B2 (en) * 2012-06-20 2018-01-16 Conduent Business Services, Llc Camera calibration application
JP6150164B2 (ja) * 2013-07-01 2017-06-21 株式会社リコー 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
CN104299009B (zh) * 2014-09-23 2018-02-09 同济大学 基于多特征融合的车牌字符识别方法
US11321568B1 (en) * 2018-10-16 2022-05-03 EVES Technology, Inc. Method for real-time integrated t+2D DWT video compression and low-level video analysis within an intelligent camera optionally embedded in an end-to-end AAL system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215293A (ja) * 1993-01-19 1994-08-05 Hitachi Ltd 車番認識装置
JPH11110486A (ja) * 1997-10-01 1999-04-23 Mitsubishi Heavy Ind Ltd 文字認識装置
JPH11259642A (ja) * 1998-03-12 1999-09-24 Omron Corp 認識処理方法およびその方法を用いた認識処理装置ならびに車番読取装置
JP2005063055A (ja) * 2003-08-08 2005-03-10 Ricoh Co Ltd 画像作成装置、画像作成プログラムおよびこのプログラムが記録された記録媒体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07104921B2 (ja) * 1989-11-17 1995-11-13 松下電器産業株式会社 画像閾値決定方法
JP2730665B2 (ja) * 1994-12-15 1998-03-25 北陸先端科学技術大学院大学長 文字認識装置および方法
JP3627575B2 (ja) * 1999-06-30 2005-03-09 日産自動車株式会社 車両用追従制御装置
JP3675240B2 (ja) * 1999-07-19 2005-07-27 日産自動車株式会社 車両用追従制御装置
US6553131B1 (en) * 1999-09-15 2003-04-22 Siemens Corporate Research, Inc. License plate recognition with an intelligent camera
US6351566B1 (en) * 2000-03-02 2002-02-26 International Business Machines Method for image binarization
JP2004152036A (ja) * 2002-10-31 2004-05-27 Nec Saitama Ltd 文字認識機能付携帯電話機器及び認識文字の修正方法並びにプログラム
JP2005191954A (ja) * 2003-12-25 2005-07-14 Niles Co Ltd 撮像システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06215293A (ja) * 1993-01-19 1994-08-05 Hitachi Ltd 車番認識装置
JPH11110486A (ja) * 1997-10-01 1999-04-23 Mitsubishi Heavy Ind Ltd 文字認識装置
JPH11259642A (ja) * 1998-03-12 1999-09-24 Omron Corp 認識処理方法およびその方法を用いた認識処理装置ならびに車番読取装置
JP2005063055A (ja) * 2003-08-08 2005-03-10 Ricoh Co Ltd 画像作成装置、画像作成プログラムおよびこのプログラムが記録された記録媒体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1879131A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3800614A4 (en) * 2018-06-29 2022-03-23 Great Wall Motor Company Limited METHOD AND APPARATUS FOR GENERATION OF A TERNARY IMAGE AND VEHICLE
US11861844B2 (en) 2018-06-29 2024-01-02 Great Wall Motor Company Limited Ternary image obtaining method and apparatus, and vehicle

Also Published As

Publication number Publication date
US20100289897A1 (en) 2010-11-18
EP1879131A1 (en) 2008-01-16
JP2006309650A (ja) 2006-11-09
EP1879131A4 (en) 2008-06-04

Similar Documents

Publication Publication Date Title
Al-Ghaili et al. Vertical-edge-based car-license-plate detection method
TWI409718B (zh) 移動中車輛之車牌定位方法
WO2006126348A1 (ja) ナンバー認識装置及その認識方法
Kasaei et al. New morphology-based method for robustiranian car plate detection and recognition
JP4942510B2 (ja) 車両画像認識装置およびその方法
US20070253040A1 (en) Color scanning to enhance bitonal image
EP2031571A1 (en) Vehicle type determination device, program, and method
JP4857173B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR101606469B1 (ko) 이미지 분석방법, 특히 이동 단말기용 이미지 분석방법
KR101778605B1 (ko) 차량 번호판 인식 방법 및 장치
Babbar et al. A new approach for vehicle number plate detection
KR101794632B1 (ko) 전기차 번호판 로고 패턴 인식 방법
Rabee et al. License plate detection and recognition in complex scenes using mathematical morphology and support vector machines
JP2903923B2 (ja) 車番認識装置
WO2013133086A1 (ja) 白線検出装置、白線検出フィルタ装置及び白線検出方法
EP2184712A2 (en) Noise reduction for digital images
US9332154B2 (en) Image binarization using dynamic sub-image division
JP4706693B2 (ja) 車色判定装置、車色判定システム及び車色判定方法
CN110782409A (zh) 一种去除多运动物体阴影的方法
Zhang et al. A license plate recognition system based on tamura texture in complex conditions
JP5887242B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Dev A novel approach for car license plate detection based on vertical edges
Hommos et al. Hd Qatari ANPR system
CN116863458A (zh) 车牌识别方法、装置、系统及存储介质
KR102379575B1 (ko) 코드 인식장치, 코드의 인식방법 및 이를 활용한 차량번호의 추출시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application
NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2006732153

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: RU

WWP Wipo information: published in national office

Ref document number: 2006732153

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11919738

Country of ref document: US