JP7081404B2 - License plate identification device, license plate identification method and program - Google Patents
License plate identification device, license plate identification method and program Download PDFInfo
- Publication number
- JP7081404B2 JP7081404B2 JP2018168822A JP2018168822A JP7081404B2 JP 7081404 B2 JP7081404 B2 JP 7081404B2 JP 2018168822 A JP2018168822 A JP 2018168822A JP 2018168822 A JP2018168822 A JP 2018168822A JP 7081404 B2 JP7081404 B2 JP 7081404B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- license plate
- identification
- cutout
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Character Input (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Description
本発明は、ナンバープレート識別装置、ナンバープレート識別方法及びプログラムに関する。 The present invention relates to a license plate identification device, a license plate identification method and a program.
近年、ETC(Electric Toll collection:電子料金収受)システムが発達し、フリーフローETCシステムの開発が進められている。フリーフローETCシステムでは、例えば、高速道路の出口ランプ上又は本線上などに車線をまたいで設置された門型の柱に、無線アンテナ、車両感知センサやカメラ等が設置される。フリーフローETCシステムにより、運転者が車両を減速又は一旦停止させることなく無線アンテナの下を通過することで、無線アンテナとETC車載器との間で通信が行われる。 In recent years, an ETC (Electronic Toll Collection) system has been developed, and a free-flow ETC system is being developed. In the free flow ETC system, for example, a wireless antenna, a vehicle detection sensor, a camera, or the like is installed on a gate-shaped pillar installed across lanes on an exit ramp of a highway or on a main lane. The free-flow ETC system allows the driver to pass under the radio antenna without slowing down or temporarily stopping the vehicle, so that communication is performed between the radio antenna and the ETC on-board unit.
ETCシステムでは、ナンバープレートを識別することで車両の識別が行われる。例えば、特許文献1には、ニューラルネットワークにより、大きさに応じて区分される3種のナンバープレート及び背景の4種識別を行い、識別されたナンバープレートに対して色識別を行うナンバープレート認識装置が開示されている。 In the ETC system, the vehicle is identified by identifying the license plate. For example, in Patent Document 1, a license plate recognition device that uses a neural network to identify three types of license plates classified according to size and four types of backgrounds, and color-identifies the identified license plates. Is disclosed.
しかしながら、特許文献1に記載のナンバープレート認識装置では、カメラとナンバープレートとの間の距離が変化する場合、この距離によってカメラに映し出されるナンバープレートの表示領域のサイズが変化するため、ナンバープレートの誤認識が発生することがある。そのため、特許文献1に記載の技術をフリーフローETCシステムに適用するには、改善の余地がある。 However, in the license plate recognition device described in Patent Document 1, when the distance between the camera and the license plate changes, the size of the display area of the license plate displayed on the camera changes depending on this distance. Misrecognition may occur. Therefore, there is room for improvement in applying the technique described in Patent Document 1 to the free-flow ETC system.
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影距離が変化する場合であっても、ナンバープレートの種類をより正確に識別することが可能なナンバープレート識別装置、ナンバープレート識別方法及びプログラムを提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to be able to more accurately identify the type of license plate even when the shooting distance changes. To provide a license plate identification device, a license plate identification method and a program.
上記課題を解決するために、本発明のある観点によれば、1または複数の画像から切り出された画像である切出し画像を取得する画像切出し部と、複数の前記切出し画像の位置に基づいてナンバープレートが表示された領域を含む可能性を有する画像である識別用画像を抽出する画像抽出部と、前記識別用画像を基に前記ナンバープレートの種類を識別する識別部と、を備え、前記画像切出し部は、前記1または複数の画像から、大きさの異なる複数の切出し枠によって、大きさの異なる前記切出し画像を複数切り出す、ナンバープレート識別装置が提供される。 In order to solve the above problem, according to a certain viewpoint of the present invention, an image cutout portion for acquiring a cutout image which is an image cut out from one or a plurality of images, and a number based on the position of the plurality of cutout images. The image includes an image extraction unit that extracts an identification image that is an image that may include a region in which the plate is displayed, and an identification unit that identifies the type of the number plate based on the identification image. The cutout unit is provided with a number plate identification device that cuts out a plurality of cutout images having different sizes from the one or a plurality of images by means of a plurality of cutout frames having different sizes.
前記画像抽出部は、前記切出し画像のそれぞれに対して前記ナンバープレートの確からしさに基づいたスコアを算出し、複数の前記切出し画像から前記スコアが高い順に所定数の切出し画像を選択してもよい。 The image extraction unit may calculate a score for each of the cutout images based on the certainty of the license plate, and select a predetermined number of cutout images from the plurality of cutout images in descending order of the score. ..
前記画像抽出部は、前記所定数の切出し画像の位置に基づいて、前記1または複数の画像から所定の大きさの前記識別用画像を抽出してもよい。 The image extraction unit may extract the identification image of a predetermined size from the one or a plurality of images based on the positions of the predetermined number of cutout images.
前記切出し枠は、前記ナンバープレートの面積に対応した大きさであってもよい。 The cutout frame may have a size corresponding to the area of the license plate.
前記識別部は、前記識別用画像に対応した前記切出し枠に関する情報を分類器への入力情報の一つとして用いてもよい。 The identification unit may use information about the cutout frame corresponding to the identification image as one of the input information to the classifier.
前記識別部は、前記識別用画像を、2種類の前記ナンバープレート、及び前記ナンバープレートが表示された領域が含まれていない画像の3種類のいずれかに少なくとも分類して前記ナンバープレートを識別してもよい。 The identification unit identifies the license plate by classifying the identification image into at least one of three types, that is, two types of the license plate and an image that does not include the area where the license plate is displayed. You may.
また、上記課題を解決するために、本発明の別の観点によれば、1または複数の画像から切り出された画像である切出し画像を取得することと、複数の前記切出し画像の位置に基づいて、ナンバープレートの画像を含む可能性を有する画像である識別用画像を抽出することと、前記識別用画像から前記ナンバープレートを識別することと、を含み、前記切出し画像の取得では、大きさの異なる複数の切出し枠によって、前記1または複数の画像から複数の大きさが異なる前記切出し画像を切り出す、ナンバープレート識別方法が提供される。 Further, in order to solve the above-mentioned problems, according to another viewpoint of the present invention, it is possible to acquire a cut-out image which is an image cut out from one or a plurality of images, and based on the position of the plurality of the cut-out images. , Extracting an identification image, which is an image that may include a number plate image, and identifying the number plate from the identification image, the acquisition of the cutout image of size. A method for identifying a number plate is provided in which a plurality of cutout images having different sizes are cut out from the one or a plurality of images by a plurality of different cutout frames.
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、1または複数の画像から切り出された画像である切出し画像を取得する画像切出し部と、複数の前記切出し画像の位置に基づいて、ナンバープレートの画像を含む可能性を有する画像である識別用画像を抽出する画像抽出部と、前記識別用画像から前記ナンバープレートを識別する識別部と、として機能させ、前記画像切出し部は、大きさの異なる複数の切出し枠によって、前記1または複数の画像から複数の大きさが異なる前記切出し画像を切り出す、プログラムが提供される。 Further, in order to solve the above-mentioned problems, according to another viewpoint of the present invention, a computer is provided with an image cutting unit for acquiring a cut-out image which is an image cut out from one or a plurality of images, and a plurality of the cut-out images. It is made to function as an image extraction unit for extracting an identification image which is an image having a possibility of including an image of a number plate based on the position of the above, and an identification unit for identifying the number plate from the identification image. The image cutting unit is provided with a program for cutting out a plurality of cut-out images having different sizes from the one or a plurality of images by a plurality of cutting frames having different sizes.
以上説明したように本発明によれば、撮影距離が変化する場合であっても、ナンバープレートの種類をより正確に識別することが可能なナンバープレート識別装置、ナンバープレート識別方法及びプログラムを提供することが可能となる。 As described above, according to the present invention, there is provided a license plate identification device, a license plate identification method and a program capable of more accurately identifying the type of license plate even when the shooting distance changes. It becomes possible.
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.
また、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。 Further, when it is not necessary to particularly distinguish each of the plurality of components having substantially the same functional configuration, only the same reference numerals are given to each of the plurality of components.
<1.背景>
ナンバープレートには、登録自動車に取り付けられる自動車登録番号標、軽自動車等に取り付けられる車両番号標、及び原動機付自転車等に取り付けられる課税標識の3種がある。自動車登録番号標には、大きさに応じて、大型番号標(大板)、及び中型番号標(中板)の2種類が存在する。車両番号標には、大きさに応じて、中型番号標(中板)及び小型番号標(小板)が存在する。さらに、小板には、車両の種類に応じて文字の配置が異なる2種類の小板が存在する。大板の大きさは、縦220mm、横440mmであり、中板の大きさは、縦165mm、横330mmであり、小板の大きさは、縦125mm、横230mmである。大板は、トラック等の大型車両に取り付けられ、中板は、普通自動車や軽自動車等に取り付けられ、小板は、二輪車に取り付けられる。また、上記の大板、中板及び小板のそれぞれは、自家用自動車と事業用自動車で異なる配色がされている。課税標識は、各自治体によって大きさ、形又は色が異なり、課税標識の大きさには、例えば、縦100mm、横170mmのものがある。
<1. Background >
There are three types of license plates: a vehicle registration number plate attached to a registered vehicle, a vehicle number plate attached to a light vehicle, and a taxation sign attached to a motorized bicycle or the like. There are two types of vehicle registration number plates, large number plates (large plates) and medium-sized number plates (middle plates), depending on the size. The vehicle number plate includes a medium-sized number plate (middle plate) and a small number plate (small plate) depending on the size. Further, there are two types of small plates in which the arrangement of characters differs depending on the type of vehicle. The size of the large plate is 220 mm in length and 440 mm in width, the size of the middle plate is 165 mm in length and 330 mm in width, and the size of the small plate is 125 mm in length and 230 mm in width. The large plate is attached to a large vehicle such as a truck, the middle plate is attached to an ordinary automobile, a light automobile, or the like, and the small plate is attached to a two-wheeled vehicle. In addition, each of the above-mentioned large plate, medium plate, and small plate has a different color scheme between a private car and a commercial car. The size, shape, or color of the taxable sign differs depending on each municipality, and the size of the taxable sign includes, for example, 100 mm in length and 170 mm in width.
また、大板、中板、小板、及び課税標識は、互いに文字の配置が異なり、下地の色、又は文字の色が異なる場合もある。 In addition, the large plate, the middle plate, the small plate, and the taxation sign have different character arrangements, and the background color or the character color may be different.
先立って説明したフリーフローETCシステムに備えられるカメラは、走行中の車両の画像を取得するため、カメラから撮影される車両のナンバープレートまでの撮影距離は一定ではない。よって、カメラにより取得された画像上のナンバープレート領域の大きさは、ナンバープレートの大きさ、及び撮影距離の影響を受ける。そのため、カメラが取得する画像において、例えば、撮影距離が短い小板の画像の面積と撮影距離が長い大板の画像の面積が、ほぼ等しくなる場合がある。この場合、ナンバープレートを識別する一般の方法では、例えば、撮影距離が長い大板を誤って小板と認識する可能性がある。反対に、ナンバープレートを識別する一般の方法では、撮影距離が短い小板を誤って大板と認識する可能性がある。このように、ナンバープレートを識別する一般の方法では、誤認識が発生する可能性が高い。 Since the camera provided in the free-flow ETC system described above acquires an image of a moving vehicle, the shooting distance from the camera to the license plate of the vehicle is not constant. Therefore, the size of the license plate area on the image acquired by the camera is affected by the size of the license plate and the shooting distance. Therefore, in the image acquired by the camera, for example, the area of the image of the small plate having a short shooting distance and the area of the image of the large plate having a long shooting distance may be substantially equal. In this case, in the general method of identifying the license plate, for example, a large plate having a long shooting distance may be mistakenly recognized as a small plate. On the contrary, in the general method of identifying the license plate, a small plate having a short shooting distance may be mistakenly recognized as a large plate. As described above, in the general method of identifying the license plate, there is a high possibility that erroneous recognition will occur.
本発明者らは、カメラにより取得された画像から、大きさの異なる複数の切出し枠を用いて大きさが異なる切出し画像を複数の切り出し、当該切出し画像のうちからナンバープレートの画像を含む可能性を有する識別用画像を抽出し、この識別用画像を用いてナンバープレートの文字の配置を認識することで、撮影距離が異なるナンバープレートの種類を識別できることを見出し、本発明をするに至った。以下に、本発明の位置実施形態に係るナンバープレート識別装置について説明する。 The present inventors may cut out a plurality of cutout images of different sizes using a plurality of cutout frames of different sizes from an image acquired by a camera, and include a number plate image from the cutout images. By extracting an identification image having a Hereinafter, the license plate identification device according to the position embodiment of the present invention will be described.
<2.ナンバープレート識別システム1の構成>
まず、図1及び図2を参照して、本実施形態に係るナンバープレート識別装置10が適用されうるナンバープレート識別システム1の一例を説明する。図1は、ナンバープレート識別システム1の構成の一例を示すブロック図である。図2は、本実施形態に係るナンバープレート識別システム1の適用例を示す模式図である。
<2. Configuration of license plate identification system 1>
First, with reference to FIGS. 1 and 2, an example of the license plate identification system 1 to which the license
ナンバープレート識別システム1は、走行中の車両のナンバープレートの種類を識別する。ナンバープレート識別システム1は、ナンバープレート識別装置10、カメラ20、及びネットワーク30を備える。
The license plate identification system 1 identifies the type of license plate of a moving vehicle. The license plate identification system 1 includes a license
なお、本実施形態に係るナンバープレート識別装置10が適用されるナンバープレート識別システムは、ここで説明するナンバープレート識別システム1に限定されるものではない。
The license plate identification system to which the license
ナンバープレート識別装置10は、詳細は後述するが、ネットワーク30を介してカメラ20で撮像された画像を取得し、当該画像に含まれ得るナンバープレートの画像を抽出し、当該ナンバープレートの画像に対応したナンバープレートの種類を識別する。
Although the details will be described later, the license
カメラ20は、車両を撮影する。カメラ20は、車両が走行する道路のナンバープレートを撮像可能な位置に設けられる。カメラ20は、車両の前面を撮像してもよいし、車両の後面を撮像してもよい。カメラ20は、例えば、図2に示すように車線をまたいで設置された門型の柱に設けられてもよい。
The
カメラ20は、例えば、デジタルビデオカメラやデジタルスチルカメラ等のような、撮像機能を有する公知の撮像装置であってもよい。また、カメラ20は、赤外線カメラであってもよい。今後、図柄入りのナンバープレートが配布される予定であるが、この図柄は、赤外線を透過するため、赤外線カメラで図柄入りナンバープレートを撮像すると撮像された画像には図柄は表示されない。よって、カメラ20に赤外線カメラを使用することで、より正確なナンバープレートの識別が可能となる。
The
ネットワーク30は、例えばインターネット等のような公知の情報通信技術を用いて実現されており、ナンバープレート識別装置10と、カメラ20とを相互に接続する。
The
<3.ナンバープレート識別装置10の構成>
次に、図3~図6を参照して、本実施形態に係るナンバープレート識別装置10を説明する。図3は、本実施形態に係るナンバープレート識別装置10の構成の一例を示すブロック図である。図4は、本実施形態に係る切出し画像を説明するための説明図である。図5は、図4における切出し画像の一覧を示す図である。図6は、本実施形態に係る識別部125によるナンバープレートの識別方法を説明するための説明図である。
<3. Configuration of license
Next, the license
本実施形態に係るナンバープレート識別装置10は、図3に示すように、画像取得部110、処理部120、記憶部130、及び通信部140を備える。
As shown in FIG. 3, the license
画像取得部110は、カメラ20で撮像された画像を受信する。画像取得部110が取得する画像である取得画像は、1の画像でもよいし、複数の画像でもよい。画像取得部110が受信する複数の取得画像は、例えば、カメラ20によって連続して撮像される複数の画像であってもよい。
The
処理部120は、画像取得部110から取得画像を受信し、当該取得画像に含まれ得るナンバープレートを識別する。処理部120は、画像切出し部121、画像抽出部123、及び識別部125を備える。
The
画像切出し部121は、1または複数の画像から、大きさの異なる複数の切出し枠によって、大きさの異なる切出し画像を複数切り出す。例えば、画像切出し部121は、1の取得画像から、大きさが異なる切出し画像をそれぞれ所定の枚数切り出してもよいし、複数の取得画像から、合計で所定の枚数となるように大きさが異なる切出し画像を切り出してもよい。
The
また、画像切出し部121は、例えば、取得画像のうちのエッジ密度が高い領域を切り出すことができる。
Further, the
切出し枠には、例えば、ナンバープレートの面積に応じた複数のサイズの切出し枠が用いられてもよい。切出し枠には、例えば、大板に応じた大きさの枠である大枠、中板に応じた大きさの枠である中枠、及び小板に応じた大きさの枠である小枠が用いられてもよい。 As the cutting frame, for example, a cutting frame having a plurality of sizes according to the area of the license plate may be used. For the cutting frame, for example, a large frame that is a frame of a size corresponding to a large plate, a middle frame that is a frame of a size corresponding to a middle plate, and a small frame that is a frame of a size corresponding to a small plate are used. May be done.
画像切出し部121は、例えば、図4に示すように、大枠L、中枠M及び小枠Sを用いて、カメラ20で撮像された画像の一部を切出すことができる。図4では、大枠Lによって切出し画像L1~切出し画像L3が切り出され、中枠Mによって切出し画像M1~切出し画像M3が切り出され、及び小枠Sによって切出し画像S1~切出し画像S3が切り出されている。
As shown in FIG. 4, the
なお、例えば、予め取得画像に表示された車両の種類が特定可能である場合、画像切出し部121は、その車両のナンバープレートの大きさに応じた切出し枠を設定してもよい。また、カメラ20が車両の前面を撮像した取得画像である場合、画像切出し部121は、小板Sは二輪車の後部に取り付けられるため、小枠Sによる画像切出しをしなくてもよい。したがって、画像切出し部121は、小枠Sを省き、大枠L及び中枠Mによって、画像を切り出してもよい。また、切出し枠の大きさは、例えば、ユーザによって、設定されてもよい。
For example, when the type of the vehicle displayed in the acquired image can be specified in advance, the
画像抽出部123は、複数の前記切出し画像の位置に基づいて、1または複数の画像からナンバープレートが表示された領域を含む可能性を有する画像である識別用画像を抽出する。画像抽出部123は、例えば、分類器によって、ナンバープレート領域を含む画像又はナンバープレート領域を含まない画像(背景画像)の2種に切出し画像を分類し、切出し画像がいずれの画像であるか識別して識別用画像を抽出してもよい。
The
画像抽出部123は、切出し画像のそれぞれに対してナンバープレートの確からしさに基づいたスコアを算出し、複数の切出し画像から当該スコアが高い順に所定数の切出し画像を選択してもよい。また、画像抽出部123は、選択された所定数の切出し画像の位置に基づいて、取得画像から所定の大きさの識別用画像を抽出してもよい。識別用画像は、選択された切出し画像のそれぞれに応じて抽出されてもよく、例えば、切出し画像の中心を基準として所定の大きさを有するように取得画像から抽出されてもよい。よって、識別用画像の数量は、選択された切出し画像と同数量であり、各識別用画像の大きさは等しくてもよい。
The
スコア算出には分類器が用いられてもよい。当該分類器として、種々の機械学習アルゴリズムが適用されてもよく、例えば、ニューラルネットワーク、ランダムフォレスト、SVM(Support vector Machine)又はディープラーニング等の機械学習アルゴリズムが適用されてもよい。 A classifier may be used to calculate the score. As the classifier, various machine learning algorithms may be applied, and for example, machine learning algorithms such as neural networks, random forests, SVMs (Support Vector Machines), and deep learning may be applied.
画像抽出部123によるスコア算出において、例えば、図5では、切出し画像M2は、ナンバープレート領域の全体を切出し枠の面積に近い大きさで含んでいる。そのため、画像抽出部123は、切出し画像M2のスコアを最も高い値に算出してもよい。切出し画像L1、切出し画像L3、切出し画像M1、切出し画像M3、及び切出し画像S1は、ナンバープレート領域を含んでいない。そのため、画像抽出部123は、これらの切出し画像のスコアを低い値に算出してもよい。切出し画像S2には、ナンバープレート領域の一部しか含んでいないため、画像抽出部123は、切出し画像S2のスコアを低い値に算出してもよい。切出し画像S3は、ナンバープレート領域を含んでいるものの、画像が鮮明でないため、画像抽出部123は、切出し画像S2のスコアを低い値に算出してもよい。切出し画像L2は、ナンバープレート領域の全体を含んでいるが、切出し枠の大きさに対するナンバープレート領域の面積の比率が小さい。そのため、画像抽出部123は、切出し画像L2のスコアを、切出し画像M2のスコアより小さく、かつ、切出し画像M2以外のスコアよりも大きい値に算出してもよい。
In the score calculation by the
画像抽出部123は、2枚の切出し画像を選択する場合、上記スコア算出の結果から、スコアが最も高い切出し画像M2と、切出し画像M2の次にスコアが高い切出し画像L2を選択することができる。
When selecting two cutout images, the
画像抽出部123は、例えば、切出し画像M2の位置と、切出し画像L2の位置とに基づいて、取得画像から、所定の大きさの識別用画像を抽出してもよい。画像抽出部123は、例えば、図6に示すように、共通枠Cによって、切出し画像L2の中心を基準とした識別用画像と、切出し画像M2の中心を基準とした識別用画像とを、取得画像から抽出してもよい。このような構成とすることで、識別部125でナンバープレートの種類の識別を行う際に、識別に使える情報を増やすことが期待できる。具体的には、ナンバープレートの大きさが切出し枠に近いほどスコアが高いとすると、小板でスコアが高い画像を共通枠Cで切り出すと、共通枠Cで切り出された画像におけるナンバープレートは小さく映るが、大板でスコアが高い画像を共通枠Cで切り出すと、共通枠Cで切り出された画像におけるナンバープレートは大きく映ることになる。このように、ナンバープレートの物理的な大きさが種類によって異なるという特徴を利用して、識別部125は、ナンバープレートの種類の識別を行うことが可能になる。また、例えば、小板の場合、共通枠Cで切り出された画像において、ナンバープレートの周辺領域が広く映し出されるため、共通枠Cによる切出し画像には、例えば、ドライバーの足が映り込む可能性がある。トラックと乗用車とでは、ナンバープレートの大きさが異なることから、ナンバープレートの周辺領域の広さは大きく異なるため、識別部125は、これらの特徴を利用できることになる。
The
なお、画像抽出部123に適用される分類器には、切出し画像の大きさに応じて異なる分類器が適用されてもよいし、共通の分類器が適用されてもよい。共通の分類器が画像抽出部123に適用される場合、異なる大きさの切出し画像を同じ大きさに変更して分類器で切出し画像を分類してもよい。
A different classifier may be applied to the classifier applied to the
画像抽出部123により、後述する識別部125におけるナンバープレートの識別をより確度を高く行うことが可能となる。
The
識別部125は、識別用画像を基にナンバープレートの種類を識別する。識別部125は、識別用画像に対して画像処理を行い、識別用画像に表示された文字の配置からナンバープレートの種類を識別する。
The
識別部125は、例えば、識別用画像を分類器により分類し、ナンバープレートの種類を識別する。識別部125の分類器には、種々の機械学習アルゴリズムを適用することが可能である。識別部125の分類器には、例えば、ニューラルネットワーク、ランダムフォレスト、k近傍法又はディープラーニング等の機械学習アルゴリズムが適用されてもよい。
The
また、識別部125は、分類器への入力情報の一つとして、識別用画像に対応した切出し枠に関する情報を用いてもよい。識別用画像に対応した切出し枠に関する情報には、識別精度を向上可能なであり、例えば、識別用画像に対応した切出し枠の面積、入力画像における識別用画像の位置等が挙げられる。識別部125は、例えば、機械学習アルゴリズムとしてニューラルネットワークを適用する場合、識別用画像に対応した切出し枠に関する情報に応じてニューラルネットワークにおける重みが変化するようにしてもよい。この切出し枠に関する情報を分類器への入力情報の一つとして用いることで、識別部125における多種識別の精度を向上することが可能となる。
Further, the
識別部125は、識別用画像を、2種類のナンバープレート、及びナンバープレートが表示された領域が含まれていない画像の、少なくとも3種類のグループに分類してナンバープレートを識別してもよい。識別部125は、例えば、識別用画像を、大板、中板、及びナンバープレート領域が含まれていない背景画像の3種類のグループに分類してナンバープレートを識別してもよい。また、識別部125は、例えば、識別用画像を、大板、中板、2種類の小板、及び背景画像の5種類のグループに分類してナンバープレートを識別してもよいし、自家用車両と事業用車両を区別して、9種類のグループに分類してナンバープレートを識別してもよい。識別部125は、更に、識別用画像を、上記9種類に課税標識を加えた10種類のグループに分類して識別してもよい。画像抽出部123が背景画像を識別用画像として抽出した場合であっても、識別部125は、識別用画像を背景画像に分類することが可能であるため、高精度で、ナンバープレートの種類を識別することが可能である。なお、識別用画像を9種類のグループに分類して識別する場合、識別部125は、例えば、文字の配置と画像の輝度に基づいて識別用画像を識別してもよい。
The
識別部125は、識別用画像に対して分類されたナンバープレートの確からしさに基づいたスコアを算出する。識別部125は、算出されたスコアが最も高い識別用画像が属するグループを識別結果とすることができる。これにより、カメラ20が撮像した画像に含まれるナンバープレート領域に対応するナンバープレートの種類が識別される。
The
記憶部130は、本実施形態に係るナンバープレート識別装置10が備える記憶装置の一例である。記憶部130には、ナンバープレート識別装置10が、上記のような各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。記憶部130には、画像取得部110が受信した取得画像や画像切出し部121が切り出した切出し画像等が記録されていてもよい。また、記憶部130には、画像抽出部123に適用される分類器又は識別部125に適用される分類器が記録されてもよい。更に、記憶部130には、取得画像と切出し画像を紐づけるためのデータ、切出し画像の座標値、画像抽出部123の分類器又は識別部125の分類器により出力されたスコア等の各種の情報が履歴情報として記録されていてもよい。記憶部130には、例えば、画像切出し部121、画像抽出部123及び識別部125のそれぞれが、各処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。画像切出し部121、画像抽出部123及び識別部125が実行する処理に限られず、本実施形態に係るナンバープレート識別装置10が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。この記憶部130は、画像取得部110、画像切出し部121、画像抽出部123及び識別部125が、自由にリード/ライト処理を実施することが可能である。
The
通信部140は、ネットワーク30を介して、カメラ20との情報通信を行う。具体的には、通信部140は、カメラ20から画像を受信する。また、通信部140は、カメラ20に対して制御信号を送信し、その駆動を制御してもよい。
The
本実施形態に係るナンバープレート識別装置10によれば、撮影距離が変化する場合であっても、ナンバープレートの種類をより正確に識別することが可能となる。
According to the license
また、ナンバープレート識別装置10は、ナンバープレートの種類を識別しているため、ナンバープレートの種類が識別されれば、ナンバープレートにおける文字の配置に関する情報を取得することができる。そのため、例えば、ナンバープレートの種類の識別後に、ナンバーの詳細情報を取得する処理を行う場合、ナンバープレートにおける文字の位置に該当する部分に対して画像解析を実行すればよい。その結果、ナンバー情報の解析をより高精度でより高速に行うことが可能となる。ここまで、ナンバープレート識別装置10の構成について詳細に説明した。
Further, since the license
<4.ナンバープレート識別装置10の動作>
続いて、図7及び図8を参照し、本実施形態に係るナンバープレート識別装置10の動作について説明する。図7は、本実施形態に係るナンバープレート識別装置によるナンバープレート識別の流れを示す流れ図である。図8は、本実施形態に係るナンバープレート識別装置によるナンバープレート識別方法を説明する説明図である。
<4. Operation of license
Subsequently, the operation of the license
まず、画像取得部110は、図7に示すように、カメラ20によって撮像された取得画像を通信部140を介して受信する(ステップS101)。続いて、画像切出し部121は、画像取得部110から取得画像を受信し、大きさの異なる複数の切出し枠によって、1または2以上の取得画像から複数の大きさが異なる切出し画像を切り出す(ステップS103)。
First, as shown in FIG. 7, the
続いて、画像抽出部123は、切出し画像を画像切出し部121から取得し、切出し画像を、分類器によって、ナンバープレート領域を含む画像又はナンバープレート領域を含まない画像の2種に分類し、切出し画像がいずれの画像であるか識別する(ステップS105)。画像抽出部123は、ナンバープレート領域を含む画像に分類された切出し画像から所定数の切出し画像を選択し(ステップS107)、選択された切出し画像の位置に基づいて所定数の識別用画像を抽出する(ステップS109)。
Subsequently, the
次いで、識別部125は、識別用画像に対して画像処理を行い、ナンバープレートの種類を識別する(ステップS111)。
Next, the
本実施形態に係るナンバープレート識別装置10は、カメラ20で撮像された画像に表示されたナンバープレートの種類を識別することが可能となる。
The license
また、画像切出し部121は、先立って説明したように、大きさの異なる複数の切出し枠によって、大きさの異なる画像を複数切り出す。画像抽出部123は、複数の切出し枠のそれぞれが切り出した切出し画像に対して、ナンバープレート領域を含む可能性がある画像又は背景画像のいずれであるか識別する。画像抽出部123は、例えば、図8に示すように、大枠Lによって切り出された画像、中枠Mによって切り出された画像、及び小枠Sによって切り出された画像それぞれに対して識別し、所定数の切出し画像を選択する。画像抽出部123は、選択された切出し画像に対して、所定の大きさを有する共通枠Cによって、識別用画像を抽出する。そして、識別部125は、識別用画像を識別する。このように、本実施形態に係るナンバープレート識別装置10は、実質的にナンバープレートの識別を2段階で行っている。識別部125は、画像抽出部123の2種分類により背景画像に分類された切出し画像に対しては多種識別を行わないため、識別部125における識別精度が向上する。また、画像抽出部123で行われる2種識別の演算コストは、識別部125で行われる多種識別の演算コストと比較して小さい。そのため、ナンバープレートの種類の識別を2段階で行うことで、演算コストの大きい多種識別の演算回数を削減することができ、ナンバープレートの識別に要する時間を短くすることが可能となる。
Further, as described above, the
<5.ハードウェア構成>
以上、本発明の実施形態について説明した。上述した各種処理は、ソフトウェアと、以下に説明するナンバープレート識別装置10のハードウェアとの協働により実現される。
<5. Hardware configuration>
The embodiment of the present invention has been described above. The various processes described above are realized by the cooperation between the software and the hardware of the license
図9は、本実施形態に係るナンバープレート識別装置10のハードウェア構成を示したブロック図である。ナンバープレート識別装置10は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903、ホストバス904、ブリッジ905、外部バス906、ストレージ装置(HDD)911、及びネットワークインタフェース913を備える。また、ナンバープレート識別装置10は、インタフェース907、入力装置908、表示装置909、音声出力装置910、ドライブ912、を備えてもよい。
FIG. 9 is a block diagram showing a hardware configuration of the license
CPU901は、演算処理装置及び制御装置として機能し、各種プログラムに従ってナンバープレート識別装置10の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。CPU901、ROM902及びRAM903とソフトウェアとの協働により、例えば、画像取得部110又は処理部120の機能が実現され得る。
The
ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905及び外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
The
入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成され得る。
The
表示装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、プロジェクター装置、OLED(Organic Light Emitting Diode)装置等の表示装置を含んでもよい。また、音声出力装置910は、スピーカ及びヘッドホンなどの音声出力装置を含み、カメラ20により取得された音声を出力してもよい。
The
ストレージ装置911は、ナンバープレート識別装置10の記憶部130の一例として構成されたデータ記憶用の装置である。ストレージ装置911は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置911は、例えば、HDD(Hard Disk Drive)やSSD(Solid Strage Drive)、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置911は、ストレージを駆動し、CPU901が実行するプログラムや各種データを記憶する。
The
ドライブ912は、記憶媒体用リーダライタであり、ナンバープレート識別装置10に内蔵、あるいは外付けされてもよい。ドライブ912は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体914に記録されている情報を読み出して、RAM903またはストレージ装置911に出力してもよい。また、ドライブ912は、リムーバブル記憶媒体914に情報を書き込むこともできる。
The
ネットワークインタフェース913は、例えば、ネットワーク30に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース913は、無線LAN(Local Area Network)対応端末であっても、有線による通信を行うワイヤー端末であってもよい。
The network interface 913 is, for example, a communication interface configured by a communication device or the like for connecting to the
<6.結び>
以上説明したように、本発明の実施形態によれば、撮影距離が変化する場合であっても、ナンバープレートの種類をより正確に識別することが可能となる。
<6. Conclusion>
As described above, according to the embodiment of the present invention, it is possible to more accurately identify the type of license plate even when the shooting distance changes.
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 A preferred embodiment of the present invention has been described in detail with reference to the accompanying drawings, but the present invention is not limited to this example. It is clear that a person having ordinary knowledge in the field of the art to which the present invention belongs can come up with various modifications or modifications within the scope of the technical idea described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.
さらに、ナンバープレート識別装置に内蔵されるCPU、ROM及びRAMなどのハードウェアに、上述したナンバープレート識別装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
Further, it is possible to create a computer program for causing the hardware such as the CPU, ROM, and RAM built in the license plate identification device to exhibit the same functions as each configuration of the license
10 ナンバープレート識別装置
110 画像取得部
120 処理部
121 画像切出し部
123 画像抽出部
125 識別部
130 記憶部
140 通信部
10 License
Claims (8)
複数の前記切出し画像の位置に基づいて、前記1または複数の画像からナンバープレートが表示された領域を含む可能性を有する画像である識別用画像を抽出する画像抽出部と、
前記識別用画像を基に前記ナンバープレートの種類を識別する識別部と、
を備え、
前記画像切出し部は、前記1または複数の画像から、大きさの異なる複数の切出し枠によって、大きさの異なる前記切出し画像を複数切り出す、ナンバープレート識別装置。 An image cutout unit that acquires a cutout image that is an image cut out from one or more images, and an image cutout portion.
An image extraction unit that extracts an identification image, which is an image that may include a region in which a license plate is displayed from the one or a plurality of images based on the positions of the plurality of cutout images, and an image extraction unit.
An identification unit that identifies the type of license plate based on the identification image,
Equipped with
The image cutting unit is a license plate identification device that cuts out a plurality of cutout images having different sizes from the one or a plurality of images by means of a plurality of cutting frames having different sizes.
複数の前記切出し画像の位置に基づいて、ナンバープレートの画像を含む可能性を有する画像である識別用画像を抽出することと、
前記識別用画像から前記ナンバープレートを識別することと、を含み、
前記切出し画像の取得では、大きさの異なる複数の切出し枠によって、前記1または複数の画像から複数の大きさが異なる前記切出し画像を切り出す、ナンバープレート識別方法。 Acquiring a cut-out image that is a cut-out image from one or more images,
Extracting an identification image, which is an image that may include a license plate image, based on the positions of the plurality of cutout images.
Including identifying the license plate from the identification image,
In the acquisition of the cutout image, a license plate identification method in which a plurality of cutout images having different sizes are cut out from the one or a plurality of images by a plurality of cutout frames having different sizes.
1または複数の画像から切り出された画像である切出し画像を取得する画像切出し部と、
複数の前記切出し画像の位置に基づいて、ナンバープレートの画像を含む可能性を有する画像である識別用画像を抽出する画像抽出部と、
前記識別用画像から前記ナンバープレートを識別する識別部と、として機能させ、
前記画像切出し部は、大きさの異なる複数の切出し枠によって、前記1または複数の画像から複数の大きさが異なる前記切出し画像を切り出す、プログラム。 Computer,
An image cutout unit that acquires a cutout image that is an image cut out from one or more images, and an image cutout portion.
An image extraction unit that extracts an identification image, which is an image that may include a license plate image, based on the positions of the plurality of cutout images.
It functions as an identification unit that identifies the license plate from the identification image.
The image cutting portion is a program for cutting out a plurality of cut-out images having different sizes from the one or a plurality of images by a plurality of cutting frames having different sizes.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018168822A JP7081404B2 (en) | 2018-09-10 | 2018-09-10 | License plate identification device, license plate identification method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018168822A JP7081404B2 (en) | 2018-09-10 | 2018-09-10 | License plate identification device, license plate identification method and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020042489A JP2020042489A (en) | 2020-03-19 |
JP7081404B2 true JP7081404B2 (en) | 2022-06-07 |
Family
ID=69798316
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018168822A Active JP7081404B2 (en) | 2018-09-10 | 2018-09-10 | License plate identification device, license plate identification method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7081404B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111746545A (en) * | 2020-06-29 | 2020-10-09 | 中国联合网络通信集团有限公司 | Vehicle distance detection method and device and vehicle distance reminding method and device |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310027A (en) | 2004-04-26 | 2005-11-04 | Nippon Kusatsu System Kk | Vehicle traffic investigation system |
JP2008217347A (en) | 2007-03-02 | 2008-09-18 | Canon Inc | License plate recognition device, its control method and computer program |
JP2014115961A (en) | 2012-12-12 | 2014-06-26 | Fujitsu Ltd | Information processor, vehicle identification method and vehicle identification program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2893948B2 (en) * | 1990-11-30 | 1999-05-24 | 富士電機株式会社 | License plate recognition device |
-
2018
- 2018-09-10 JP JP2018168822A patent/JP7081404B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005310027A (en) | 2004-04-26 | 2005-11-04 | Nippon Kusatsu System Kk | Vehicle traffic investigation system |
JP2008217347A (en) | 2007-03-02 | 2008-09-18 | Canon Inc | License plate recognition device, its control method and computer program |
JP2014115961A (en) | 2012-12-12 | 2014-06-26 | Fujitsu Ltd | Information processor, vehicle identification method and vehicle identification program |
Also Published As
Publication number | Publication date |
---|---|
JP2020042489A (en) | 2020-03-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Panahi et al. | Accurate detection and recognition of dirty vehicle plate numbers for high-speed applications | |
Xu et al. | Detection of sudden pedestrian crossings for driving assistance systems | |
TWI497422B (en) | A system and method for recognizing license plate image | |
Abdullah et al. | YOLO-based three-stage network for Bangla license plate recognition in Dhaka metropolitan city | |
Xie et al. | A robust license plate detection and character recognition algorithm based on a combined feature extraction model and BPNN | |
WO2019174405A1 (en) | License plate identification method and system thereof | |
US20160300119A1 (en) | License plate distributed review systems and methods | |
KR101848019B1 (en) | Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area | |
US11587327B2 (en) | Methods and systems for accurately recognizing vehicle license plates | |
Ravindran et al. | A novel approach to automatic road-accident detection using machine vision techniques | |
Yousef et al. | SIFT based automatic number plate recognition | |
Hakim et al. | Implementation of an image processing based smart parking system using Haar-Cascade method | |
JP2018206373A (en) | Method and device for classifying targets for vehicle | |
CN110245673A (en) | Method for detecting parking stalls and device | |
KR20200145174A (en) | System and method for recognizing license plates | |
CN111382735A (en) | Night vehicle detection method, device, equipment and storage medium | |
JP6123265B2 (en) | Information processing apparatus, vehicle identification method, and vehicle identification program | |
CN114973211A (en) | Object identification method, device, equipment and storage medium | |
JP7081404B2 (en) | License plate identification device, license plate identification method and program | |
CN110766009A (en) | Tail plate identification method and device and computer readable storage medium | |
KR100969603B1 (en) | A licence plate recognition method based on geometric relations of numbers on the plate | |
JP5020920B2 (en) | Pedestrian detection device and program | |
KR102379575B1 (en) | Code recognition device, code recognition method, and vehicle number extraction system using the same | |
JP2016018421A (en) | Image classification device, number plate reading device, number plate reading system, and image classification method | |
Laroca et al. | Automatic license plate recognition: an efficient and layout-independent system based on the YOLO detector |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210507 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220426 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7081404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |