JP5291387B2 - Number recognition apparatus and number recognition method - Google Patents

Number recognition apparatus and number recognition method Download PDF

Info

Publication number
JP5291387B2
JP5291387B2 JP2008144783A JP2008144783A JP5291387B2 JP 5291387 B2 JP5291387 B2 JP 5291387B2 JP 2008144783 A JP2008144783 A JP 2008144783A JP 2008144783 A JP2008144783 A JP 2008144783A JP 5291387 B2 JP5291387 B2 JP 5291387B2
Authority
JP
Japan
Prior art keywords
character information
image
vehicle
unit
reading
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008144783A
Other languages
Japanese (ja)
Other versions
JP2009294704A (en
Inventor
拓馬 岡▲崎▼
光明 玉川
喜一 杉本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to JP2008144783A priority Critical patent/JP5291387B2/en
Publication of JP2009294704A publication Critical patent/JP2009294704A/en
Application granted granted Critical
Publication of JP5291387B2 publication Critical patent/JP5291387B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To perform high-reliability license number recognition when performing license number recognition processing by reading character information of a license plate by a reading method affected by head noise from an image obtained by photographing a vehicle. <P>SOLUTION: A license number recognition device cuts out a license plate portion from the vehicle image obtained by photographing the vehicle, performs binarization processing of the cut-out plate image to generate a binary image, and recognizes a license number of the vehicle based on character information read from the generated binary image in a forward direction and character information read in a backward direction. <P>COPYRIGHT: (C)2010,JPO&amp;INPIT

Description

本発明は、車両が撮像された画像から、その車両のナンバープレートに記されたナンバーを認識するナンバー認識装置およびナンバー認識方法に関する。   The present invention relates to a number recognition apparatus and a number recognition method for recognizing a number written on a license plate of a vehicle from an image of the vehicle.

従来、撮像された車両の画像から、その車両のナンバープレートに記されたナンバーを認識するナンバー認識装置が利用されており、例えば、有料道路の料金所などで撮像した通行車両の画像から、その車両のナンバーを認識する処理が行われる。
図７は、従来技術によるナンバー認識処理の例を示すフローチャートである。従来のナンバー認識処理では、まず、図８の（ａ）に示されるような車両画像を読み込むと（ステップＳ２１）、読み込んだ車両画像から、図８の（ｂ）に示されるようなプレート部分をプレート画像として切り出すプレート切り出し処理を行う（ステップＳ２２）。そして、切り出されたナンバープレート画像を、その画像中の各画素の輝度に応じて分析し、各画素を黒色と白色との２値に変換する２値化処理を行って図８の（ｃ）に示されるような２値化画像を生成する（ステップＳ２３）。そして、生成された２値化画像に含まれる文字を予め記憶されたテンプレート文字と比較して文字を判定するＤＰマッチングを行い、文字情報を読み取る。ナンバー認識装置は、このようなナンバー認識処理により、入力される車両画像から、図８の（ｄ）に示されるような、文字情報（「ＳＢＬ３７４３Ｈ」）をナンバーとして読み取る（ステップＳ２４）。 Conventionally, a number recognizing device that recognizes a number written on a license plate of a vehicle from a captured image of the vehicle has been used, for example, from an image of a passing vehicle captured at a toll gate on a toll road, Processing for recognizing the vehicle number is performed.
FIG. 7 is a flowchart showing an example of a number recognition process according to the prior art. In the conventional number recognition process, first, when a vehicle image as shown in FIG. 8A is read (step S21), a plate portion as shown in FIG. 8B is extracted from the read vehicle image. A plate cutout process for cutting out as a plate image is performed (step S22). Then, the extracted license plate image is analyzed according to the luminance of each pixel in the image, and binarization processing is performed to convert each pixel into a binary value of black and white, and FIG. 2 is generated (step S23). Then, DP matching is performed in which characters included in the generated binarized image are compared with template characters stored in advance to determine characters, and character information is read. The number recognition device reads character information (“SBL3743H”) as shown in FIG. 8D as a number from the input vehicle image by such number recognition processing (step S24).

特許文献１には、撮像した車両の画像から、ナンバープレートの画像部分を切り出す技術が記載されている。特許文献２および特許文献３には、切り出されたナンバープレート画像の２値化処理を行う技術が記載されている。特許文献４には、ＤＰマッチングにより文字情報を読み取る技術が示されている。
特開２００１−１２６０２７号公報 特開平１１−６６２９３号公報 特開平５−８３７１５号公報 特開平７−２３９９１２号公報 Patent Document 1 describes a technique for cutting out an image portion of a license plate from a captured vehicle image. Patent Document 2 and Patent Document 3 describe a technique for performing binarization processing on the extracted license plate image. Patent Document 4 discloses a technique for reading character information by DP matching.
JP 2001-1226027 A JP 11-66293 A JP-A-5-83715 Japanese Patent Laid-Open No. 7-239912

しかしながら、ＤＰマッチングによる文字情報読み取り処理では、ナンバープレートの枠や、ナンバープレートのナンバー付近に付着しているゴミなどを文字として読み取る場合があり、このような場合に正しい読み取り結果が得られない。特に、ＤＰマッチングによる文字情報読み取り処理では、先頭ノイズの影響が強く、読み込みの先頭にゴミなどが存在する場合に、誤読の可能性が高い。例えば、図８の（ｃ）に示したような画像のナンバー読み取りを順方向に行う場合、左端のプレート枠を、先頭ノイズの影響により数字の「１」と読み取り、「１ＳＢＬ３７４３Ｈ」として読み取る場合があった。このような誤読の対処法として、予め定められたナンバープレートの桁数や文字並びの規則性などを考慮したノイズチェック処理を行う方法も考えられる。ただし、この方法でも先頭ノイズが残り誤読する場合はある。また文字並びの規則性を考慮する場合には、国や、自動車や二輪自動車などの車種毎に異なる規則性に応じて特化した処理を行わなければならず、ナンバー読み取り処理に汎用性がなくなる。また、判定対象のナンバープレートの桁数や文字並びに統一された規則がない場合には、誤読を防ぐことができない。   However, in the character information reading process by DP matching, there are cases where the frame of the license plate or dust adhering to the vicinity of the number of the license plate is read as characters, and in such a case, a correct reading result cannot be obtained. In particular, in the character information reading process by DP matching, the influence of head noise is strong, and there is a high possibility of misreading when dust or the like is present at the head of reading. For example, when image number reading as shown in FIG. 8C is performed in the forward direction, the leftmost plate frame may be read as “1” and “1SBL3743H” due to the influence of leading noise. there were. As a countermeasure against such misreading, a method of performing a noise check process in consideration of a predetermined number of digits of a license plate, regularity of character arrangement, or the like can be considered. However, even with this method, the head noise may remain and misread. In addition, when considering the regularity of character arrangement, specialized processing must be performed according to different regularity for each country, vehicle type such as automobile and motorcycle, and the number reading process is not versatile. . Further, if there is no number of digits and characters of the license plate to be determined and a unified rule, misreading cannot be prevented.

本発明は、このような状況に鑑みてなされたもので、車両が写された画像から、先頭ノイズの影響を受ける読み取り方法によりナンバープレートの文字情報を読み取ってナンバー認識処理を行う際に、信頼性の高いナンバー認識を行うナンバー認識装置およびナンバー認識方法を提供する。   The present invention has been made in view of such a situation, and when performing the number recognition processing by reading the character information of the license plate from the image in which the vehicle is photographed by the reading method affected by the head noise, Provided are a number recognition device and a number recognition method for performing highly number recognition.

上述の課題を解決するために、本発明は、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取る文字情報読み取り部と、前記文字情報読み取り部が読み取った前記第１文字情報と前記第２文字情報とを比較した比較結果に基づいて、前記車両のナンバーを認識するナンバー認識部と、を備えることを特徴とするナンバー認識装置である。
また、本発明は、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取る文字情報読み取り部と、前記文字情報読み取り部が読み取った前記第１文字情報と前記第２文字情報とを比較し、一致する文字に基づき前記車両のナンバーを認識するナンバー認識部と、を備えることを特徴とするナンバー認識装置である。
また、本発明は、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取る文字情報読み取り部と、前記文字情報読み取り部が読み取った前記第１文字情報および前記第２文字情報のうち基準結果として設定された文字情報と、前記基準結果でない文字情報とを比較し、前記基準結果でない文字情報に含まれる文字の、前記基準結果に対応する文字位置として推定される投票位置に基づき、前記車両のナンバーを認識するナンバー認識部と、を備えることを特徴とするナンバー認識装置である。
また、本発明は、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取る文字情報読み取り部と、前記文字情報読み取り部が読み取った前記第１文字情報に含まれる文字数と前記第２文字情報に含まれる文字数とが異なる場合、前記第１文字情報および前記第２文字情報のうち文字数の小さい方の文字情報を一桁ずつずらしながら、前記第１文字情報および前記第２文字情報のうち文字数が大きい方の文字情報と比較し、類似度の高い方の比較結果に基づいて、前記車両のナンバーを認識するナンバー認識部と、を備えることを特徴とするナンバー認識装置である。 In order to solve the above-described problems, the present invention provides a plate image cutout unit that cuts out a license plate portion of the vehicle as a plate image from a vehicle image obtained by imaging the vehicle, and the plate image cut out by the plate image cutout unit. Based on the binarization image generated by the binarization processing unit and the binarization image generated by the binarization processing unit, the binarization image is generated from one end to the other end. First character information included in the binarized image in the forward direction is read by a reading method that is affected by head noise, and is included in the binarized image in the reverse direction from the other end toward the one end. compares the text information reading unit for reading the second character information by said reading process, said first character information the character information reading unit has read and the second text information Based on the comparison result, a number recognition device characterized by comprising a number and recognition unit recognizes the number of the vehicle.
Further, the present invention performs a plate image cutout unit that cuts out a license plate portion of the vehicle as a plate image from a vehicle image obtained by imaging the vehicle, and binarization processing of the plate image cut out by the plate image cutout unit. Based on the binarization processing unit that generates a binarized image and the binarized image generated by the binarization processing unit, the two- dimensional image is forwardly moved from one end to the other end of the binarized image. The first character information included in the binarized image is read by a reading method that is affected by head noise, and the second character information included in the binarized image is read in the reverse direction from the other end toward the one end. compares the text information reading section for reading by a method, wherein the character information of the first character information read section has read and the second text information, based on the matching character Recognizing number recognition unit number of the serial vehicle, a number recognition device, characterized in that it comprises a.
Further, the present invention performs a plate image cutout unit that cuts out a license plate portion of the vehicle as a plate image from a vehicle image obtained by imaging the vehicle, and binarization processing of the plate image cut out by the plate image cutout unit. Based on the binarization processing unit that generates a binarized image and the binarized image generated by the binarization processing unit, the two- dimensional image is forwardly moved from one end to the other end of the binarized image. The first character information included in the binarized image is read by a reading method that is affected by head noise, and the second character information included in the binarized image is read in the reverse direction from the other end toward the one end. and character information reading section for reading by a method, wherein the character information reading unit is set as a reference result of the first character information and the second text information read And character information, compares the character information not the reference result, the characters included in the character information that is not the reference result, based on the voting positions estimated as the character position corresponding to the reference result, recognizing the number of the vehicle A number recognizing unit.
Further, the present invention performs a plate image cutout unit that cuts out a license plate portion of the vehicle as a plate image from a vehicle image obtained by imaging the vehicle, and binarization processing of the plate image cut out by the plate image cutout unit. Based on the binarization processing unit that generates a binarized image and the binarized image generated by the binarization processing unit, the two- dimensional image is forwardly moved from one end to the other end of the binarized image. The first character information included in the binarized image is read by a reading method that is affected by head noise, and the second character information included in the binarized image is read in the reverse direction from the other end toward the one end. number of characters in the character information reading section for reading by a method, the number of characters and the second character information the character information reading section is included in the first character information read If the characters are different, the character having the larger number of characters of the first character information and the second character information is shifted while shifting the character information of the smaller number of characters of the first character information and the second character information one by one. A number recognizing device comprising: a number recognizing unit for recognizing the vehicle number based on a comparison result having a higher degree of similarity compared to information .

また、本発明は、上述の２値化処理部が、異なる２値化方法により複数の２値化画像を生成することを特徴とする。   In addition, the present invention is characterized in that the above-described binarization processing unit generates a plurality of binarized images by different binarization methods.

また、本発明は、上述の文字情報読み取り部が、２値化処理部が生成した複数の２値化画像のそれぞれに含まれる文字情報を、読み取り方法によりそれぞれ順方向および逆方向に読み取り、ナンバー認識部は、文字情報読み取り部が読み取った複数の文字情報に基づいて、統計的方法により車両のナンバーを認識することを特徴とする。   Further, according to the present invention, the above-described character information reading unit reads character information included in each of a plurality of binarized images generated by the binarization processing unit in a forward direction and a reverse direction by a reading method. The recognizing unit recognizes a vehicle number by a statistical method based on a plurality of character information read by the character information reading unit.

また、本発明は、上述のプレート画像切り出し部は、同一の車両が写された複数の車両画像のそれぞれから、前記車両のナンバープレート部分を切り出してプレート画像を生成することを特徴とする。 Further, the present invention is the plate image clipping unit described above, from a plurality of vehicle image the same vehicle is photographed, and generates an output to the plate image cut license plate portion of the vehicle .

また、本発明は、ナンバー認識装置の、プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、２値化処理部が、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取るステップ、ナンバー認識部が、前記文字情報読み取り部が読み取った前記第１文字情報と前記第２文字情報とを比較した比較結果に基づいて、前記車両のナンバーを認識するステップと、を備えることを特徴とするナンバー認識方法である。
また、本発明は、ナンバー認識装置の、プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、２値化処理部が、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取るステップ、ナンバー認識部が、前記文字情報読み取り部が読み取った前記第１文字情報と前記第２文字情報とを比較し、一致する文字に基づき前記車両のナンバーを認識するステップと、を備えることを特徴とするナンバー認識方法である。
また、本発明は、ナンバー認識装置の、プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、２値化処理部が、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取るステップ、ナンバー認識部が、前記文字情報読み取り部が読み取った前記第１文字情報および前記第２文字情報のうち基準結果として設定された文字情報と、前記基準結果でない文字情報とを比較し、前記基準結果でない文字情報に含まれる文字の、前記基準結果に対応する文字位置として推定される投票位置に基づき、前記車両のナンバーを認識するステップと、を備えることを特徴とするナンバー認識方法である。
また、本発明は、ナンバー認識装置の、プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、２値化処理部が、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取るステップ、ナンバー認識部が、前記文字情報読み取り部が読み取った前記第１文字情報に含まれる文字数と前記第２文字情報に含まれる文字数とが異なる場合、前記第１文字情報および前記第２文字情報のうち文字数の小さい方の文字情報を一桁ずつずらしながら、前記第１文字情報および前記第２文字情報のうち文字数が大きい方の文字情報と比較し、類似度の高い方の比較結果に基づいて、前記車両のナンバーを認識するステップと、を備えることを特徴とするナンバー認識方法である。 According to the present invention, the plate image cutout unit of the number recognition device cuts out the license plate portion of the vehicle as a plate image from the vehicle image obtained by imaging the vehicle, and the binarization processing unit includes the plate image. A step of binarizing the plate image cut out by the cutout unit to generate a binarized image, and a character information reading unit based on the binarized image generated by the binarization processing unit ; The first character information included in the binarized image is read in the forward direction from one end of the binarized image to the other end by a reading method that is affected by the head noise, and reversely from the other end to the one end. reading a second character information included in the binarized image in the direction by the reading process, number recognition section, the character information reading unit to read Based on the comparison result of the first character information Tsu and were compared with the second character information, a number recognition method characterized by and a step of recognizing numbers of the vehicle.
According to the present invention, the plate image cutout unit of the number recognition device cuts out the license plate portion of the vehicle as a plate image from the vehicle image obtained by imaging the vehicle, and the binarization processing unit includes the plate image. A step of binarizing the plate image cut out by the cutout unit to generate a binarized image, and a character information reading unit based on the binarized image generated by the binarization processing unit ; The first character information included in the binarized image is read in the forward direction from one end of the binarized image to the other end by a reading method that is affected by the head noise, and reversely from the other end to the one end. reading a second character information included in the binarized image in the direction by the reading process, number recognition section, the character information reading unit to read The first character information Tsu and comparing the second character information, and recognizing the number of the vehicle based on the character that matches a number recognition method, characterized in that it comprises a.
According to the present invention, the plate image cutout unit of the number recognition device cuts out the license plate portion of the vehicle as a plate image from the vehicle image obtained by imaging the vehicle, and the binarization processing unit includes the plate image. A step of binarizing the plate image cut out by the cutout unit to generate a binarized image, and a character information reading unit based on the binarized image generated by the binarization processing unit ; The first character information included in the binarized image is read in the forward direction from one end of the binarized image to the other end by a reading method that is affected by the head noise, and reversely from the other end to the one end. reading a second character information included in the binarized image in the direction by the reading process, number recognition section, the character information reading unit to read And character information set as a reference result of the first character information and the second character information Tsu, compared with the character information that is not the reference result, the characters included in the character information that is not the reference result, the reference Recognizing the vehicle number based on a voting position estimated as a character position corresponding to the result .
According to the present invention, the plate image cutout unit of the number recognition device cuts out the license plate portion of the vehicle as a plate image from the vehicle image obtained by imaging the vehicle, and the binarization processing unit includes the plate image. A step of binarizing the plate image cut out by the cutout unit to generate a binarized image, and a character information reading unit based on the binarized image generated by the binarization processing unit ; The first character information included in the binarized image is read in the forward direction from one end of the binarized image to the other end by a reading method that is affected by the head noise, and reversely from the other end to the one end. reading a second character information included in the binarized image in the direction by the reading process, number recognition section, the character information reading unit to read If the number of characters contained in the character and the second character information included in the first character information Tsu different, one by one order of magnitude smaller character information of characters of the first character information and the second text information Comparing the first character information and the character information having the larger number of characters among the first character information and the second character information, and recognizing the vehicle number based on the comparison result having the higher similarity. It is the number recognition method characterized by providing.

以上説明したように、本発明によれば、車両が写された車両画像からナンバープレート部分を切り出し、切り出したプレート画像の２値化処理を行って２値化画像を生成し、生成した２値化画像から順方向に読み取った文字情報と、逆方向に読み取った文字情報とに基づいて、車両のナンバーを認識するようにしたので、先頭ノイズの影響を受ける読み取り方法により文字情報を読み取る際に、順方向と逆方向との双方向から読み取った文字情報に基づいてナンバーを認識することで、より信頼性の高いナンバー認識を行うことが可能となる。   As described above, according to the present invention, the license plate portion is cut out from the vehicle image in which the vehicle is photographed, and the binarized image is generated by performing the binarization process on the cut out plate image. Since the vehicle number is recognized based on the character information read in the forward direction from the digitized image and the character information read in the reverse direction, when reading the character information by the reading method affected by the head noise By recognizing the number based on the character information read from both the forward and reverse directions, it is possible to perform more reliable number recognition.

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態によるナンバー認識装置１０の構成を示すブロック図である。本実施形態によるナンバー認識装置１０は、プレート画像切り出し部１１と、２値化処理部１２と、文字情報読み取り部１３と、ナンバー認識部１４とを備えている。 Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a number recognition device 10 according to the present embodiment. The number recognition apparatus 10 according to the present embodiment includes a plate image cutout unit 11, a binarization processing unit 12, a character information reading unit 13, and a number recognition unit 14.

プレート画像切り出し部１１は、撮像された車両の画像から、車両のナンバープレート部分を切り出してプレート画像を生成する。例えば、プレート画像切り出し部１１は、車両画像中の領域から、一定の枠内に連続する複数の文字情報が存在する領域を抽出し、その文字情報の周辺をプレート領域として切り出したプレート画像を生成する。   The plate image cutout unit 11 cuts out the license plate portion of the vehicle from the captured vehicle image and generates a plate image. For example, the plate image cutout unit 11 extracts a region in which a plurality of pieces of character information exist within a certain frame from the region in the vehicle image, and generates a plate image in which the periphery of the character information is cut out as a plate region. To do.

２値化処理部１２は、プレート画像切り出し部１１によって生成されたプレート画像のコントラスト強度に応じて２値化処理を行い、２値化画像を生成する。２値化処理部１２は、複数の２値化方法によって複数の２値化画像の生成が可能である。適用する２値化方法として、例えば、２値化処理対象の画像に含まれる画素のうち、予め定められた閾値より輝度の高い画素は白、輝度の低い画素は黒として２値化を行う判別閾値法がある。他の２値化方法として、画像全体の色の分布を表すヒストグラムを生成し、生成したヒストグラムに基づいて、画像全体に占める背景色の割合に応じて閾値を算出し、算出した閾値に基づいて画素の白黒変換を行う方法がある。さらに、他の２値化方法として、定められた閾値によって画素毎に白黒変換を行う際、変換前データと変換後データとの画素値の誤差を算出し、順に判定する隣接画素の画素値に誤差を割り振って閾値判定を行うことで、擬似的な階調パターンを生成して白黒変換を行い、画像全体としての誤差を少なくする誤差分散法がある。２値化処理部１２は、このような複数の２値化方法を用いて２値化処理を行う。   The binarization processing unit 12 performs binarization processing according to the contrast intensity of the plate image generated by the plate image cutout unit 11, and generates a binarized image. The binarization processing unit 12 can generate a plurality of binarized images by a plurality of binarization methods. As a binarization method to be applied, for example, among pixels included in an image to be binarized, a pixel having a luminance higher than a predetermined threshold is white, and a pixel having a lower luminance is black, and the determination is performed to perform binarization There is a threshold method. As another binarization method, a histogram representing the color distribution of the entire image is generated, a threshold is calculated based on the ratio of the background color in the entire image based on the generated histogram, and based on the calculated threshold There is a method of performing monochrome conversion of pixels. Further, as another binarization method, when performing black and white conversion for each pixel with a predetermined threshold, the pixel value error between the pre-conversion data and the post-conversion data is calculated, and the pixel values of adjacent pixels to be sequentially determined are calculated. There is an error dispersion method in which a pseudo gradation pattern is generated and black-and-white conversion is performed by assigning an error and performing threshold determination, thereby reducing the error of the entire image. The binarization processing unit 12 performs binarization processing using such a plurality of binarization methods.

文字情報読み取り部１３は、２値化処理部１２に生成された２値化画像に含まれる文字情報を、先頭ノイズの影響を受ける読み取り方法によって、読み取り対象画像の左端から右端に向かって順方向に文字を読み取り、かつ、右端から左端に向かって逆方向に文字を読み取る。この際、文字情報読み取り部１３は、２値化処理部１２に生成された２値化画像に含まれる文字と、予め定められ記憶されたテンプレート文字とを比較して、認識するナンバーとして最適な文字を読み取る。例えば、文字情報読み取り部１３は、２値化画像の輝度を縦方向に射影して文字領域を検出し、検出した文字領域に含まれる文字と予め記憶された複数のテンプレート文字とを文字毎に比較し、各文字同士の類似の度合いを評価値として算出する。そして、２値化画像に含まれる文字と比較されたテンプレート文字のうち、最も大きい評価値が算出されたテンプレート文字を、最適な文字として判定する。２値化画像に含まれるそれぞれの文字についてこのような動的計画法(Dynamic Programming)によるマッチング手法(ＤＰマッチング)を行うことで、２値化画像に含まれる文字情報を読み取ることができる。   The character information reading unit 13 forwards the character information included in the binarized image generated by the binarization processing unit 12 in the forward direction from the left end to the right end of the read target image by a reading method that is affected by the head noise. The character is read in the reverse direction from the right end to the left end. At this time, the character information reading unit 13 compares the characters included in the binarized image generated by the binarization processing unit 12 with the template characters stored in advance and is optimal as a recognized number. Read a character. For example, the character information reading unit 13 detects the character region by projecting the luminance of the binarized image in the vertical direction, and the characters included in the detected character region and a plurality of pre-stored template characters for each character. The degree of similarity between the characters is calculated as an evaluation value. Then, the template character for which the largest evaluation value is calculated among the template characters compared with the characters included in the binarized image is determined as the optimum character. Character information included in the binarized image can be read by performing a matching method (DP matching) based on such dynamic programming for each character included in the binarized image.

ナンバー認識部１４は、文字情報読み取り部１３が読み取った複数の文字情報に基づいて、統計的方法により車両のナンバーを認識する。
ここで、図２を参照して、ナンバー認識部１４が、文字情報読み取り部１３が読み取った複数の文字情報に基づいてナンバーを認識する統計的手法のうち、多数決方法によるナンバー認識処理を説明する。例えば、車両のナンバーが「ＳＢＬ３７４３Ｈ」であるとき、文字情報読み取り部１３が、図２の（ａ）に示されるように、第１の文字情報「ＳＢＬ３７４３？」と、第２の文字情報「Ｓ？Ｌ３７４３Ｈ」との文字列を読み取ったとする。「？」は、文字情報読み取り部１３がなんらかの射影を読み取ったが、その射影に対応する最適なテンプレート文字が検出できず、不明文字であることを示す。ここで、「ＳＢＬ３７４３？」と「Ｓ？Ｌ３７４３Ｈ」とをマージして、例えば第１の文字情報で不明文字となっている文字「？」を、読み取った第２の文字情報の文字で置き換える。すなわち、第１の文字情報の「？」を、第２の文字情報で読み取った「Ｈ」に置き換えることで、「ＳＢＬ３７４３Ｈ」の文字列を認識することが可能である。 The number recognizing unit 14 recognizes the vehicle number by a statistical method based on the plurality of character information read by the character information reading unit 13.
Here, with reference to FIG. 2, the number recognition process by the majority method is explained among the statistical methods in which the number recognition unit 14 recognizes the number based on a plurality of character information read by the character information reading unit 13. . For example, when the vehicle number is “SBL3743H”, the character information reading unit 13 performs the first character information “SBL3743?” And the second character information “S” as shown in FIG. It is assumed that the character string “? L3743H” is read. “?” Indicates that the character information reading unit 13 has read some projection, but an optimal template character corresponding to the projection cannot be detected and is an unknown character. Here, “SBL3743?” And “S? L3743H” are merged, and for example, the character “?” That is an unknown character in the first character information is replaced with the character of the read second character information. That is, the character string “SBL3743H” can be recognized by replacing “?” In the first character information with “H” read by the second character information.

次に、ナンバー認識部１４が行う多数決方法のナンバー認識処理において、文字情報読み取り部１３が異なる桁数の文字情報を読み取った場合の処理を説明する。このときは、桁数が小さい方の文字情報を、一桁ずつずらしながら桁数が大きい方の文字情報と比較し、類似度の高い文字情報を判定する。この際、比較する文字情報が一致した文字のみを出力する。例えば、文字情報読み取り部１３が、図２の（ｂ）に示されるように、第１の文字情報「ＳＢＬ３７４３Ｈ１」と、第２の文字情報「ＳＢＬ３７４３Ｈ」とを読み取ったとする。このとき、ナンバー認識部１４は、第１の文字情報の１文字目を先頭として、第１の文字情報に含まれる文字と第２の文字情報に含まれる文字とを文字毎に順に比較し、一致か不一致かを判定する。このとき、第１の文字情報に含まれる９文字のうち、８文字が第２の文字情報と一致する。さらに、図２の（ｃ）に示されるように、ナンバー認識部１４は、第１の文字情報の２文字目を先頭として、順番に第２の文字情報との文字比較を行う。このとき、第１の文字情報に含まれる９文字中のうち、０文字が第２の文字情報と一致する。このようにして、文字情報読み取り部１３は、一致する文字の数が多く類似の度合いの高い８文字（ＳＢＬ３７４３Ｈ）をナンバーとして判定する。   Next, in the number recognition process of the majority method performed by the number recognition unit 14, a process when the character information reading unit 13 reads character information having a different number of digits will be described. At this time, the character information with the smaller number of digits is compared with the character information with the larger number of digits while shifting one digit at a time, and character information with a high degree of similarity is determined. At this time, only characters that match the character information to be compared are output. For example, it is assumed that the character information reading unit 13 reads the first character information “SBL3743H1” and the second character information “SBL3743H” as illustrated in FIG. At this time, the number recognition unit 14 compares the character included in the first character information with the character included in the second character information in order for each character, starting with the first character of the first character information. Judge whether it matches or not. At this time, of the 9 characters included in the first character information, 8 characters match the second character information. Further, as shown in FIG. 2C, the number recognizing unit 14 performs a character comparison with the second character information in order with the second character of the first character information as the head. At this time, of the 9 characters included in the first character information, 0 character matches the second character information. In this manner, the character information reading unit 13 determines eight characters (SBL3743H) having a large number of matching characters and high similarity as numbers.

次に、図３および図４を参照して、ナンバー認識装置１０が車両のナンバー認識を行う動作例を説明する。
図３は、ナンバー認識装置１０によるナンバー認識処理を示すフローチャートである。ナンバー認識装置１０に、図４の（ａ）に示すような車両画像が入力されると（ステップＳ１）、プレート画像切り出し部１１が、入力された車両画像から、図４の（ｂ）に示されるようなプレート画像の切り出しを行う（ステップＳ２）。そして、２値化処理部１２は、ステップＳ２で切り出されたプレート画像について、複数の２値化手法により、図４の（ｃ−１）、（ｃ−２）、（ｃ−３）に示されるような複数の２値化画像を生成する（ステップＳ３）。 Next, with reference to FIG. 3 and FIG. 4, the operation example in which the number recognition apparatus 10 recognizes the number of the vehicle will be described.
FIG. 3 is a flowchart showing the number recognition processing by the number recognition device 10. When a vehicle image as shown in FIG. 4 (a) is input to the number recognition device 10 (step S1), the plate image cutout unit 11 is shown in FIG. 4 (b) from the input vehicle image. The plate image is cut out (step S2). Then, the binarization processing unit 12 uses the plurality of binarization techniques for the plate image cut out in step S2 to show the results shown in (c-1), (c-2), and (c-3) in FIG. A plurality of binarized images are generated (step S3).

そして、文字情報読み取り部１３は、ステップＳ３で生成された複数の２値化画像のそれぞれについて、ＤＰマッチングにより順方向と逆方向との文字情報を読み取る。ここでは、図４に示されるように、（ｃ−１）のプレート画像から、（ｄ−１）と（ｄ−２）とに示される文字情報が、（ｃ−２）のプレート画像から、（ｄ−３）と（ｄ−４）とに示される文字情報が、（ｃ−３）のプレート画像から、（ｄ−５）と（ｄ−６）とに示される文字情報が、それぞれ読み取られる。   Then, the character information reading unit 13 reads the character information in the forward direction and the reverse direction by DP matching for each of the plurality of binarized images generated in step S3. Here, as shown in FIG. 4, from the plate image of (c-1), the character information shown in (d-1) and (d-2) is changed from the plate image of (c-2), The character information shown in (d-3) and (d-4) is read from the plate image of (c-3), and the character information shown in (d-5) and (d-6) is read respectively. It is done.

次に、ナンバー認識部１４が、文字情報読み取り部１３によって読み取られた複数の文字情報を、上述の多数決方法により統合し、最適なナンバーを認識する。ここでは、（ｄ−１）〜（ｄ−６）までの文字情報が統合され、図４の（ｅ）に示されるような「ＳＢＬ３７４３Ｈ」の文字情報がナンバーとして認識される（ステップＳ５）。   Next, the number recognizing unit 14 integrates the plurality of character information read by the character information reading unit 13 by the above-described majority method, and recognizes the optimum number. Here, the character information from (d-1) to (d-6) is integrated, and the character information “SBL3743H” as shown in FIG. 4E is recognized as a number (step S5).

なお、ナンバー認識部１４が、文字情報読み取り部１３が読み取った複数の文字情報に基づいてナンバーを認識する統計的手法は、複数の文字情報から最適なナンバーを判定すするものであれば、上述のような多数決方法とは異なる統計的手法を適用しても良い。以下、図５および図６を参照して、ナンバー認識部１４による統計的手法として、あいまい検索法によるナンバー認識処理を説明する。   Note that the statistical method in which the number recognizing unit 14 recognizes the number based on the plurality of character information read by the character information reading unit 13 is the above-described method as long as the optimum number is determined from the plurality of character information. A statistical method different from the majority method as described above may be applied. Hereinafter, with reference to FIG. 5 and FIG. 6, the number recognition process by the fuzzy search method will be described as a statistical method by the number recognition unit 14.

あいまい検索法では、ナンバー認識部１４は、文字情報読み取り部１３が読み取った文字列に含まれる文字に基づいてマトリックスを作成し、あいまい性を持たせた評価値投票処理を行うことにより、読み取った複数の文字列に文字や文字数のバラツキがある場合にも、各文字列を適切に統合してナンバーを認識する。図５は、ナンバー認識部１４が行う、あいまい検索法によるナンバー認識処理を示すフローチャートである。   In the fuzzy search method, the number recognizing unit 14 creates a matrix based on characters included in the character string read by the character information reading unit 13, and performs reading by performing evaluation value voting processing with ambiguity. Even when there are variations in characters and the number of characters in a plurality of character strings, the numbers are recognized by appropriately integrating the character strings. FIG. 5 is a flowchart showing number recognition processing by the fuzzy search method performed by the number recognition unit 14.

あいまい検索法では、文字情報読み取り部１３のＤＰマッチングによる認識結果の文字列数と、認識結果の文字列と、各文字列に対応するＤＰマッチングの評価値とがパラメータとして入力される。本例では、図６の（ａ）に示されるように、認識結果の文字列が５種類存在するため、認識結果の文字列数として「５」が入力される。認識結果の文字列として、第１の文字列「ＢＬ３？？」と、第２の文字列「ＳＢＬ３？４３Ｈ」と、第３の文字列「、Ｂ？？７４」と、第４の文字列「ＳＢＧ？３４３Ｈ」と、第５の文字列「ＳＢＬ？７４３Ｈ」との５種類の文字列が入力される。   In the fuzzy search method, the number of character strings of the recognition result by DP matching of the character information reading unit 13, the character string of the recognition result, and the DP matching evaluation value corresponding to each character string are input as parameters. In this example, as shown in FIG. 6A, since there are five types of character strings as recognition results, “5” is input as the number of character strings as recognition results. As the character string of the recognition result, the first character string “BL3 ??”, the second character string “SBL3? 43H”, the third character string “, B ?? 74”, and the fourth character string Five types of character strings “SBG? 343H” and a fifth character string “SBL? 743H” are input.

ナンバー認識部１４は、これらの文字列から、投票順序を決定する（ステップＳ１１）。例えば、入力される各文字列に含まれる文字に対応するＤＰマッチングの評価値の合計値、文字数などを比較して、信頼値の高い順に投票順序を設定する。以下、最も評価値が高く、信頼後の高い文字列を、基準結果という。本例では、図６の（ｂ）に示されるように、投票順序が決定される。ここでは、第５の文字列「ＳＢＬ？７４３」が基準結果として設定され、第２の文字列「ＳＢＬ３？４３Ｈ」、第４の文字列「ＳＢＧ３？４３Ｈ」・・・というようにＤＰマッチングの評価値に沿って順序が決定される。   The number recognition unit 14 determines the voting order from these character strings (step S11). For example, the total value of the DP matching evaluation values corresponding to the characters included in each input character string, the number of characters, and the like are compared, and the voting order is set in descending order of the confidence value. Hereinafter, a character string having the highest evaluation value and high reliability is referred to as a reference result. In this example, the voting order is determined as shown in FIG. Here, the fifth character string “SBL? 743” is set as the reference result, and the second character string “SBL3? 43H”, the fourth character string “SBG3? 43H”,. The order is determined according to the evaluation value.

そして、ナンバー認識部１４は、認識結果の文字列に含まれる文字に応じた列と、基準結果の文字数に応じた行とから構成されるテーブルを生成する。そして、認識結果のそれぞれの文字列に対応する投票位置と、投票先とを決定する（ステップＳ１２）。ここでは、認識結果の文字列のそれぞれについて、その文字列に含まれる文字の、基準結果に対応する文字位置を、あいまい性を考慮して推定し、推定された文字位置を投票位置とする。このとき、基準結果に対して文字数の少ない文字列は、文字情報読み取り部１３による文字情報読み取り処理において文字の欠落があったとして、基準結果と比較することにより最適な投票位置を決定する。また、認識結果の文字列中に同じ文字が複数存在する場合は、基準結果と比較することにより最適な投票位置を決定する。   And the number recognition part 14 produces | generates the table comprised from the column according to the character contained in the character string of a recognition result, and the line according to the number of characters of a reference | standard result. Then, a voting position and a voting destination corresponding to each character string of the recognition result are determined (step S12). Here, for each character string of the recognition result, the character position corresponding to the reference result of the character included in the character string is estimated in consideration of ambiguity, and the estimated character position is set as the voting position. At this time, the character string having a small number of characters with respect to the reference result is determined to have an optimum voting position by comparing with the reference result, assuming that there is a missing character in the character information reading process by the character information reading unit 13. Further, when there are a plurality of the same characters in the character string of the recognition result, the optimum voting position is determined by comparing with the reference result.

次に、ステップＳ１１で設定された投票順序に沿って、認識結果の文字列毎にテーブルへの投票処理を行う。ここでは、投票対象の文字列に含まれる文字毎に、その文字に対応するテーブルの文字の列を投票先文字として検出し（ステップＳ１３）、検出した文字に、評価値を得点として投票する（ステップＳ１４）。ステップＳ１３とステップＳ１４との処理は、全ての文字列について投票処理が終了するまでループ処理を行う（図５の（ａ）〜（ｂ））。そして、全ての投票処理が終了し、図６の（ｃ）に示されるように、評価値が投票されたテーブルが生成される。そして、ナンバー認識部１４は、推定文字位置毎に、最も得点の高い文字を検出し、その文字の組み合わせを最適解として推定し、統合結果として出力する（ステップＳ１５）。ここでは、「ＳＢＬ３７４３Ｈ」が統合結果として出力される。   Next, along the voting order set in step S11, a voting process is performed on the table for each character string of the recognition result. Here, for each character included in the character string to be voted, the character string in the table corresponding to the character is detected as a vote-destination character (step S13), and the detected value is voted as a score ( Step S14). The processing in step S13 and step S14 performs loop processing until voting processing is completed for all character strings ((a) to (b) in FIG. 5). Then, all the voting processes are completed, and a table in which the evaluation values are voted is generated as shown in FIG. Then, the number recognition unit 14 detects the character with the highest score for each estimated character position, estimates the combination of the characters as an optimal solution, and outputs the result as an integration result (step S15). Here, “SBL3743H” is output as the integration result.

また、上述のステップＳ１でナンバー認識装置１０に入力される車両画像として、時系列に撮像した複数の車両画像を入力し、入力されるそれぞれの車両画像について、ステップＳ２のプレート切り出し処理、ステップＳ３の２値化処理、ステップＳ４の文字情報読み取り処理を行い、複数の車両画像からそれぞれ読み出された複数の文字情報に基づいて、ステップＳ５の統合処理を行って最適なナンバーを認識するようにしても良い。   In addition, a plurality of vehicle images captured in time series are input as the vehicle images input to the number recognition device 10 in step S1 described above, and for each of the input vehicle images, the plate cut-out process in step S2, step S3 The binarization process and the character information reading process of step S4 are performed, and the optimum number is recognized by performing the integration process of step S5 based on the plurality of character information respectively read from the plurality of vehicle images. May be.

なお、本発明における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりナンバー認識を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。   In addition, the program for realizing the function of the processing unit in the present invention is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to perform number recognition. May be. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer system” includes a WWW system having a homepage providing environment (or display environment). The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。   The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.

本発明の一実施形態によるナンバー認識装置の構成を示すブロック図である。It is a block diagram which shows the structure of the number recognition apparatus by one Embodiment of this invention. 本発明の一実施形態による多数決方法によるナンバー認識処理の概念を示す図である。It is a figure which shows the concept of the number recognition process by the majority method by one Embodiment of this invention. 本発明の一実施形態によるナンバー認識装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the number recognition apparatus by one Embodiment of this invention. 本発明の一実施形態によるナンバー認識装置により認識されるナンバーを示す図である。It is a figure which shows the number recognized by the number recognition apparatus by one Embodiment of this invention. 本発明の一実施形態によるあいまい検索法によるナンバー認識処理を示すフローチャートである。It is a flowchart which shows the number recognition process by the fuzzy search method by one Embodiment of this invention. 本発明の一実施形態によるあいまい検索法により統合されるナンバーを示す図である。It is a figure which shows the number integrated by the fuzzy search method by one Embodiment of this invention. 従来技術によるナンバー認識装置の動作例を示すフローチャートである。It is a flowchart which shows the operation example of the number recognition apparatus by a prior art. 従来技術によるナンバー認識装置により認識されるナンバーを示す図である。It is a figure which shows the number recognized by the number recognition apparatus by a prior art.

符号の説明Explanation of symbols

１０ ナンバー認識装置
１１ プレート画像切り出し部
１２ ２値化処理部
１３ 文字情報読み取り部
１４ ナンバー認識部 DESCRIPTION OF SYMBOLS 10 Number recognition apparatus 11 Plate image cutout part 12 Binarization processing part 13 Character information reading part 14 Number recognition part

Claims (11)

車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、
前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、
前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取る文字情報読み取り部と、
前記文字情報読み取り部が読み取った前記第１文字情報と前記第２文字情報とを比較した比較結果に基づいて、前記車両のナンバーを認識するナンバー認識部と、
を備えることを特徴とするナンバー認識装置。 A plate image cutout unit that cuts out a license plate portion of the vehicle as a plate image from a vehicle image in which the vehicle is imaged;
Binarizes the plate image the plate image clipping unit is cut out, and binarization processing unit which generates a binary image,
Based on the binarized image generated by the binarization processing unit, the first character information included in the binarized image in the forward direction from one end of the binarized image to the other end is influenced by the head noise. A character information reading unit that reads the second character information included in the binarized image in the reverse direction from the other end toward the one end by the reading method .
A number recognizing unit for recognizing the number of the vehicle based on a comparison result obtained by comparing the first character information and the second character information read by the character information reading unit;
A number recognizing device comprising: 車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、
前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、
前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取る文字情報読み取り部と、
前記文字情報読み取り部が読み取った前記第１文字情報と前記第２文字情報とを比較し、一致する文字に基づき前記車両のナンバーを認識するナンバー認識部と、
を備えることを特徴とするナンバー認識装置。 A plate image cutout unit that cuts out a license plate portion of the vehicle as a plate image from a vehicle image in which the vehicle is imaged;
Binarizes the plate image the plate image clipping unit is cut out, and binarization processing unit for generating the binary image,
Based on the binarized image generated by the binarization processing unit, the first character information included in the binarized image in the forward direction from one end of the binarized image to the other end is influenced by the head noise. A character information reading unit that reads the second character information included in the binarized image in the reverse direction from the other end toward the one end by the reading method .
A number recognition unit that compares the first character information and the second character information read by the character information reading unit, and recognizes the number of the vehicle based on the matching characters ;
A number recognizing device comprising: 車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、
前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、
前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取る文字情報読み取り部と、
前記文字情報読み取り部が読み取った前記第１文字情報および前記第２文字情報のうち基準結果として設定された文字情報と、前記基準結果でない文字情報とを比較し、前記基準結果でない文字情報に含まれる文字の、前記基準結果に対応する文字位置として推定される投票位置に基づき、前記車両のナンバーを認識するナンバー認識部と、
を備えることを特徴とするナンバー認識装置。 A plate image cutout unit that cuts out a license plate portion of the vehicle as a plate image from a vehicle image in which the vehicle is imaged;
Binarizes the plate image the plate image clipping unit is cut out, and binarization processing unit which generates a binary image,
Based on the binarized image generated by the binarization processing unit, the first character information included in the binarized image in the forward direction from one end of the binarized image to the other end is influenced by the head noise. A character information reading unit that reads the second character information included in the binarized image in the reverse direction from the other end toward the one end by the reading method .
Of the first character information and the second character information read by the character information reading unit, character information set as a reference result is compared with character information that is not the reference result, and is included in the character information that is not the reference result A number recognition unit for recognizing the number of the vehicle based on a voting position estimated as a character position corresponding to the reference result
A number recognizing device comprising: 車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すプレート画像切り出し部と、
前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成する２値化処理部と、
前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取る文字情報読み取り部と、
前記文字情報読み取り部が読み取った前記第１文字情報に含まれる文字数と前記第２文字情報に含まれる文字数とが異なる場合、前記第１文字情報および前記第２文字情報のうち文字数の小さい方の文字情報を一桁ずつずらしながら、前記第１文字情報および前記第２文字情報のうち文字数が大きい方の文字情報と比較し、類似度の高い方の比較結果に基づいて、前記車両のナンバーを認識するナンバー認識部と、
を備えることを特徴とするナンバー認識装置。 A plate image cutout unit that cuts out a license plate portion of the vehicle as a plate image from a vehicle image in which the vehicle is imaged;
Binarizes the plate image the plate image clipping unit is cut out, and binarization processing unit which generates a binary image,
Based on the binarized image generated by the binarization processing unit, the first character information included in the binarized image in the forward direction from one end of the binarized image to the other end is influenced by the head noise. A character information reading unit that reads the second character information included in the binarized image in the reverse direction from the other end toward the one end by the reading method .
When the number of characters included in the first character information read by the character information reading unit is different from the number of characters included in the second character information, the smaller of the number of characters of the first character information and the second character information. While shifting the character information one digit at a time, the first character information and the second character information are compared with the character information with the larger number of characters, and the vehicle number is determined based on the comparison result with the higher similarity. A number recognition unit to recognize,
A number recognizing device comprising: 前記２値化処理部は、異なる２値化方法により複数の２値化画像を生成する
ことを特徴とする請求項１から４のうちいずれか一項に記載のナンバー認識装置。 The number recognition apparatus according to any one of claims 1 to 4, wherein the binarization processing unit generates a plurality of binarized images by different binarization methods. 前記文字情報読み取り部は、前記２値化処理部が生成した複数の前記２値化画像のそれぞれに含まれる文字情報を、前記読み取り方法によりそれぞれ順方向および逆方向に読み取り、
前記ナンバー認識部は、前記文字情報読み取り部が読み取った複数の文字情報に基づいて、統計的方法により前記車両のナンバーを認識する
ことを特徴とする請求項１から５のうちいずれか一項に記載のナンバー認識装置。 The character information reading unit reads character information included in each of the plurality of binarized images generated by the binarization processing unit in the forward direction and the reverse direction by the reading method,
The said number recognition part recognizes the number of the said vehicle by a statistical method based on the some character information which the said character information reading part read. The one in any one of Claim 1 to 5 characterized by the above-mentioned. Number recognition device of description. 前記プレート画像切り出し部は、同一の車両が写された複数の車両画像のそれぞれから、前記車両のナンバープレート部分を切り出してプレート画像を生成する
ことを特徴とする請求項１から６のうちいずれか一項に記載のナンバー認識装置。 It said plate image clipping unit from each of the plurality of vehicle image the same vehicle is photographed, among claims 1 to 6, characterized in that to produce a cut out to plates image license plates portion of the vehicle The number recognition apparatus as described in any one . ナンバー認識装置の、
プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、
２値化処理部が、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、
文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取るステップ、
ナンバー認識部が、前記文字情報読み取り部が読み取った前記第１文字情報と前記第２文字情報とを比較した比較結果に基づいて、前記車両のナンバーを認識するステップと、
を備えることを特徴とするナンバー認識方法。 Of the number recognition device
A plate image cutout unit cuts out a license plate portion of the vehicle as a plate image from a vehicle image obtained by imaging the vehicle;
Binarization processing unit binarizes the plate image the plate image clipping unit is cut out, a step of generating a binary image,
A first character included in the binarized image in a forward direction from one end of the binarized image to the other end based on the binarized image generated by the binarization processing unit. Reading information by a reading method affected by head noise, and reading the second character information contained in the binarized image in the reverse direction from the other end toward the one end by the reading method ;
A step of recognizing the number of the vehicle based on a comparison result obtained by comparing the first character information read by the character information reading unit with the second character information ;
A number recognition method comprising: ナンバー認識装置の、
プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、
２値化処理部が、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、
文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取るステップ、
ナンバー認識部が、前記文字情報読み取り部が読み取った前記第１文字情報と前記第２文字情報とを比較し、一致する文字に基づき前記車両のナンバーを認識するステップと、
を備えることを特徴とするナンバー認識方法。 Of the number recognition device
A plate image cutout unit cuts out a license plate portion of the vehicle as a plate image from a vehicle image obtained by imaging the vehicle;
Binarization processing unit binarizes the plate image the plate image clipping unit is cut out, and generating a binary image,
A first character included in the binarized image in a forward direction from one end of the binarized image to the other end based on the binarized image generated by the binarization processing unit. Reading information by a reading method affected by head noise, and reading the second character information contained in the binarized image in the reverse direction from the other end toward the one end by the reading method ;
A number recognition unit comparing the first character information read by the character information reading unit and the second character information, and recognizing the vehicle number based on the matching characters ;
A number recognition method comprising: ナンバー認識装置の、
プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、
２値化処理部が、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、
文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取るステップ、
ナンバー認識部が、前記文字情報読み取り部が読み取った前記第１文字情報および前記第２文字情報のうち基準結果として設定された文字情報と、前記基準結果でない文字情報とを比較し、前記基準結果でない文字情報に含まれる文字の、前記基準結果に対応する文字位置として推定される投票位置に基づき、前記車両のナンバーを認識するステップと、
を備えることを特徴とするナンバー認識方法。 Of the number recognition device
A plate image cutout unit cuts out a license plate portion of the vehicle as a plate image from a vehicle image obtained by imaging the vehicle;
Binarization processing unit binarizes the plate image the plate image clipping unit is cut out, and generating a binary image,
A first character included in the binarized image in a forward direction from one end of the binarized image to the other end based on the binarized image generated by the binarization processing unit. Reading information by a reading method affected by head noise, and reading the second character information contained in the binarized image in the reverse direction from the other end toward the one end by the reading method ;
The number recognition unit compares the character information set as a reference result among the first character information and the second character information read by the character information reading unit with character information that is not the reference result, and the reference result Recognizing the number of the vehicle based on a voting position estimated as a character position corresponding to the reference result of characters included in the non-character information ;
A number recognition method comprising: ナンバー認識装置の、
プレート画像切り出し部が、車両が撮像された車両画像から、前記車両のナンバープレート部分をプレート画像として切り出すステップと、
２値化処理部が、前記プレート画像切り出し部が切り出した前記プレート画像の２値化処理を行い、２値化画像を生成するステップと、
文字情報読み取り部が、前記２値化処理部が生成した前記２値化画像に基づき、前記２値化画像の一端から他端に向かって順方向に前記２値化画像に含まれる第１文字情報を先頭ノイズの影響を受ける読み取り方法によって読み取るとともに、前記他端から前記一端に向かって逆方向に前記２値化画像に含まれる第２文字情報を前記読み取り方法によって読み取るステップ、
ナンバー認識部が、前記文字情報読み取り部が読み取った前記第１文字情報に含まれる文字数と前記第２文字情報に含まれる文字数とが異なる場合、前記第１文字情報および前記第２文字情報のうち文字数の小さい方の文字情報を一桁ずつずらしながら、前記第１文字情報および前記第２文字情報のうち文字数が大きい方の文字情報と比較し、類似度の高い方の比較結果に基づいて、前記車両のナンバーを認識するステップと、
を備えることを特徴とするナンバー認識方法。 Of the number recognition device
A plate image cutout unit cuts out a license plate portion of the vehicle as a plate image from a vehicle image obtained by imaging the vehicle;
Binarization processing unit binarizes the plate image the plate image clipping unit is cut out, and generating a binary image,
A first character included in the binarized image in a forward direction from one end of the binarized image to the other end based on the binarized image generated by the binarization processing unit. Reading information by a reading method affected by head noise, and reading the second character information contained in the binarized image in the reverse direction from the other end toward the one end by the reading method ;
When the number recognizing unit is different from the number of characters included in the first character information read by the character information reading unit and the number of characters included in the second character information, of the first character information and the second character information While shifting the character information with the smaller number of characters one digit at a time, comparing the character information with the larger number of characters of the first character information and the second character information, based on the comparison result of the higher similarity, Recognizing the vehicle number;
A number recognition method comprising:
JP2008144783A 2008-06-02 2008-06-02 Number recognition apparatus and number recognition method Active JP5291387B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008144783A JP5291387B2 (en) 2008-06-02 2008-06-02 Number recognition apparatus and number recognition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008144783A JP5291387B2 (en) 2008-06-02 2008-06-02 Number recognition apparatus and number recognition method

Publications (2)

Publication Number Publication Date
JP2009294704A JP2009294704A (en) 2009-12-17
JP5291387B2 true JP5291387B2 (en) 2013-09-18

Family

ID=41542882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008144783A Active JP5291387B2 (en) 2008-06-02 2008-06-02 Number recognition apparatus and number recognition method

Country Status (1)

Country Link
JP (1) JP5291387B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5991886B2 (en) * 2012-08-31 2016-09-14 日本信号株式会社 Parking system
JP6344389B2 (en) * 2013-07-16 2018-06-20 株式会社湯山製作所 Optical character recognition device
JP6625350B2 (en) * 2015-06-01 2019-12-25 日本信号株式会社 Parking management system
CN107506777A (en) * 2017-06-07 2017-12-22 佛山科学技术学院 A kind of real-time more licence plate recognition methods and device based on Wavelet transformation and SVMs

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04242493A (en) * 1991-01-16 1992-08-31 Toshiba Corp Information recognizing device
JPH06274691A (en) * 1993-03-10 1994-09-30 Sumitomo Electric Ind Ltd Character recognizing device
JP3632287B2 (en) * 1996-04-19 2005-03-23 三菱電機株式会社 Vehicle number reading device
JP2005352705A (en) * 2004-06-09 2005-12-22 Omron Corp Device and method for pattern recognition, and character recognizing method
JP5037018B2 (en) * 2006-01-31 2012-09-26 ヤマハ発動機株式会社 Speech recognition apparatus and speech recognition method

Also Published As

Publication number Publication date
JP2009294704A (en) 2009-12-17

Similar Documents

Publication Publication Date Title
US10546206B2 (en) Methods for mobile image capture of vehicle identification numbers in a non-document
US8965123B2 (en) System and method for processing image for identifying alphanumeric characters present in a series
JP4031210B2 (en) Character recognition device, character recognition method, and recording medium
US20070211942A1 (en) Multiple image input for optical character recognition processing systems and methods
US9613299B2 (en) Method of identifying pattern training need during verification of recognized text
JP2001092919A (en) Method for determining angle of torsion of two- dimensional bar code
US7796817B2 (en) Character recognition method, character recognition device, and computer product
JP4100885B2 (en) Form recognition apparatus, method, program, and storage medium
US9171224B2 (en) Method of improving contrast for text extraction and recognition applications
JP5291387B2 (en) Number recognition apparatus and number recognition method
CN111460355A (en) Page parsing method and device
US9076225B2 (en) Image processing device, an image processing method and a program to be used to implement the image processing
JP4565396B2 (en) Image processing apparatus and image processing program
JP2004280334A (en) Image reading device
JP4753034B2 (en) Pattern matching device, image encoding device, image decoding device, image processing system, and program
CN112784825B (en) Method for identifying characters in picture, method, device and equipment for retrieving keywords
JP2005322146A (en) License plate reader
US7664318B2 (en) Figure reading apparatus, method and program
JP2022054632A (en) Program and device for recognizing license plate
JP2023034823A (en) Image processing apparatus, and control method, and program for image processing apparatus
KR20220168787A (en) Method to extract units of Manchu characters and system
JP3756660B2 (en) Image recognition method, apparatus and recording medium
JP2000331118A (en) Image processor and recording medium
JPH1166240A (en) Method and device for character recognition
CN112784825A (en) Method for identifying characters in picture, method, device and equipment for searching keywords

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110422

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20130104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130514

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130607

R151 Written notification of patent or utility model registration

Ref document number: 5291387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350