JP7081404B2 - License plate identification device, license plate identification method and program - Google Patents

License plate identification device, license plate identification method and program Download PDF

Info

Publication number
JP7081404B2
JP7081404B2 JP2018168822A JP2018168822A JP7081404B2 JP 7081404 B2 JP7081404 B2 JP 7081404B2 JP 2018168822 A JP2018168822 A JP 2018168822A JP 2018168822 A JP2018168822 A JP 2018168822A JP 7081404 B2 JP7081404 B2 JP 7081404B2
Authority
JP
Japan
Prior art keywords
image
license plate
identification
cutout
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018168822A
Other languages
Japanese (ja)
Other versions
JP2020042489A (en
Inventor
翔 磯部
孝光 渡邉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2018168822A priority Critical patent/JP7081404B2/en
Publication of JP2020042489A publication Critical patent/JP2020042489A/en
Application granted granted Critical
Publication of JP7081404B2 publication Critical patent/JP7081404B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Input (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、ナンバープレート識別装置、ナンバープレート識別方法及びプログラムに関する。 The present invention relates to a license plate identification device, a license plate identification method and a program.

近年、ETC(Electric Toll collection:電子料金収受)システムが発達し、フリーフローETCシステムの開発が進められている。フリーフローETCシステムでは、例えば、高速道路の出口ランプ上又は本線上などに車線をまたいで設置された門型の柱に、無線アンテナ、車両感知センサやカメラ等が設置される。フリーフローETCシステムにより、運転者が車両を減速又は一旦停止させることなく無線アンテナの下を通過することで、無線アンテナとETC車載器との間で通信が行われる。 In recent years, an ETC (Electronic Toll Collection) system has been developed, and a free-flow ETC system is being developed. In the free flow ETC system, for example, a wireless antenna, a vehicle detection sensor, a camera, or the like is installed on a gate-shaped pillar installed across lanes on an exit ramp of a highway or on a main lane. The free-flow ETC system allows the driver to pass under the radio antenna without slowing down or temporarily stopping the vehicle, so that communication is performed between the radio antenna and the ETC on-board unit.

ETCシステムでは、ナンバープレートを識別することで車両の識別が行われる。例えば、特許文献1には、ニューラルネットワークにより、大きさに応じて区分される3種のナンバープレート及び背景の4種識別を行い、識別されたナンバープレートに対して色識別を行うナンバープレート認識装置が開示されている。 In the ETC system, the vehicle is identified by identifying the license plate. For example, in Patent Document 1, a license plate recognition device that uses a neural network to identify three types of license plates classified according to size and four types of backgrounds, and color-identifies the identified license plates. Is disclosed.

特開平4-205284号公報Japanese Unexamined Patent Publication No. 4-205284

しかしながら、特許文献1に記載のナンバープレート認識装置では、カメラとナンバープレートとの間の距離が変化する場合、この距離によってカメラに映し出されるナンバープレートの表示領域のサイズが変化するため、ナンバープレートの誤認識が発生することがある。そのため、特許文献1に記載の技術をフリーフローETCシステムに適用するには、改善の余地がある。 However, in the license plate recognition device described in Patent Document 1, when the distance between the camera and the license plate changes, the size of the display area of the license plate displayed on the camera changes depending on this distance. Misrecognition may occur. Therefore, there is room for improvement in applying the technique described in Patent Document 1 to the free-flow ETC system.

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮影距離が変化する場合であっても、ナンバープレートの種類をより正確に識別することが可能なナンバープレート識別装置、ナンバープレート識別方法及びプログラムを提供することにある。 Therefore, the present invention has been made in view of the above problems, and an object of the present invention is to be able to more accurately identify the type of license plate even when the shooting distance changes. To provide a license plate identification device, a license plate identification method and a program.

上記課題を解決するために、本発明のある観点によれば、1または複数の画像から切り出された画像である切出し画像を取得する画像切出し部と、複数の前記切出し画像の位置に基づいてナンバープレートが表示された領域を含む可能性を有する画像である識別用画像を抽出する画像抽出部と、前記識別用画像を基に前記ナンバープレートの種類を識別する識別部と、を備え、前記画像切出し部は、前記1または複数の画像から、大きさの異なる複数の切出し枠によって、大きさの異なる前記切出し画像を複数切り出す、ナンバープレート識別装置が提供される。 In order to solve the above problem, according to a certain viewpoint of the present invention, an image cutout portion for acquiring a cutout image which is an image cut out from one or a plurality of images, and a number based on the position of the plurality of cutout images. The image includes an image extraction unit that extracts an identification image that is an image that may include a region in which the plate is displayed, and an identification unit that identifies the type of the number plate based on the identification image. The cutout unit is provided with a number plate identification device that cuts out a plurality of cutout images having different sizes from the one or a plurality of images by means of a plurality of cutout frames having different sizes.

前記画像抽出部は、前記切出し画像のそれぞれに対して前記ナンバープレートの確からしさに基づいたスコアを算出し、複数の前記切出し画像から前記スコアが高い順に所定数の切出し画像を選択してもよい。 The image extraction unit may calculate a score for each of the cutout images based on the certainty of the license plate, and select a predetermined number of cutout images from the plurality of cutout images in descending order of the score. ..

前記画像抽出部は、前記所定数の切出し画像の位置に基づいて、前記1または複数の画像から所定の大きさの前記識別用画像を抽出してもよい。 The image extraction unit may extract the identification image of a predetermined size from the one or a plurality of images based on the positions of the predetermined number of cutout images.

前記切出し枠は、前記ナンバープレートの面積に対応した大きさであってもよい。 The cutout frame may have a size corresponding to the area of the license plate.

前記識別部は、前記識別用画像に対応した前記切出し枠に関する情報を分類器への入力情報の一つとして用いてもよい。 The identification unit may use information about the cutout frame corresponding to the identification image as one of the input information to the classifier.

前記識別部は、前記識別用画像を、2種類の前記ナンバープレート、及び前記ナンバープレートが表示された領域が含まれていない画像の3種類のいずれかに少なくとも分類して前記ナンバープレートを識別してもよい。 The identification unit identifies the license plate by classifying the identification image into at least one of three types, that is, two types of the license plate and an image that does not include the area where the license plate is displayed. You may.

また、上記課題を解決するために、本発明の別の観点によれば、1または複数の画像から切り出された画像である切出し画像を取得することと、複数の前記切出し画像の位置に基づいて、ナンバープレートの画像を含む可能性を有する画像である識別用画像を抽出することと、前記識別用画像から前記ナンバープレートを識別することと、を含み、前記切出し画像の取得では、大きさの異なる複数の切出し枠によって、前記1または複数の画像から複数の大きさが異なる前記切出し画像を切り出す、ナンバープレート識別方法が提供される。 Further, in order to solve the above-mentioned problems, according to another viewpoint of the present invention, it is possible to acquire a cut-out image which is an image cut out from one or a plurality of images, and based on the position of the plurality of the cut-out images. , Extracting an identification image, which is an image that may include a number plate image, and identifying the number plate from the identification image, the acquisition of the cutout image of size. A method for identifying a number plate is provided in which a plurality of cutout images having different sizes are cut out from the one or a plurality of images by a plurality of different cutout frames.

また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、1または複数の画像から切り出された画像である切出し画像を取得する画像切出し部と、複数の前記切出し画像の位置に基づいて、ナンバープレートの画像を含む可能性を有する画像である識別用画像を抽出する画像抽出部と、前記識別用画像から前記ナンバープレートを識別する識別部と、として機能させ、前記画像切出し部は、大きさの異なる複数の切出し枠によって、前記1または複数の画像から複数の大きさが異なる前記切出し画像を切り出す、プログラムが提供される。 Further, in order to solve the above-mentioned problems, according to another viewpoint of the present invention, a computer is provided with an image cutting unit for acquiring a cut-out image which is an image cut out from one or a plurality of images, and a plurality of the cut-out images. It is made to function as an image extraction unit for extracting an identification image which is an image having a possibility of including an image of a number plate based on the position of the above, and an identification unit for identifying the number plate from the identification image. The image cutting unit is provided with a program for cutting out a plurality of cut-out images having different sizes from the one or a plurality of images by a plurality of cutting frames having different sizes.

以上説明したように本発明によれば、撮影距離が変化する場合であっても、ナンバープレートの種類をより正確に識別することが可能なナンバープレート識別装置、ナンバープレート識別方法及びプログラムを提供することが可能となる。 As described above, according to the present invention, there is provided a license plate identification device, a license plate identification method and a program capable of more accurately identifying the type of license plate even when the shooting distance changes. It becomes possible.

本発明の一実施形態に係るナンバープレート識別システムの構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure of the license plate identification system which concerns on one Embodiment of this invention. 同実施形態に係るナンバープレート識別システムの適用例を示す模式図である。It is a schematic diagram which shows the application example of the license plate identification system which concerns on the same embodiment. 同実施形態に係るナンバープレート識別装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of the structure of the license plate identification apparatus which concerns on the same embodiment. 同実施形態に係る切出し画像を説明するための説明図である。It is explanatory drawing for demonstrating the cut-out image which concerns on the same embodiment. 図4における切出し画像の一覧を示す図である。It is a figure which shows the list of the cut-out image in FIG. 同実施形態に係る識別部によるナンバープレートの識別方法を説明するための説明図である。It is explanatory drawing for demonstrating the identification method of the license plate by the identification part which concerns on the same embodiment. 同実施形態に係るナンバープレート識別装置によるナンバープレート識別の流れを示す流れ図である。It is a flow chart which shows the flow of license plate identification by the license plate identification apparatus which concerns on the same embodiment. 同実施形態に係るナンバープレート識別装置によるナンバープレート識別方法を説明する説明図である。It is explanatory drawing explaining the license plate identification method by the license plate identification apparatus which concerns on the same embodiment. 動実施形態に係るナンバープレート識別装置のハードウェア構成の一例を示すブロック図である。It is a block diagram which shows an example of the hardware composition of the license plate identification apparatus which concerns on the dynamic embodiment.

以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the present specification and the drawings, components having substantially the same functional configuration are designated by the same reference numerals, so that duplicate description will be omitted.

また、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、複数の構成要素の各々に同一符号のみを付する。 Further, when it is not necessary to particularly distinguish each of the plurality of components having substantially the same functional configuration, only the same reference numerals are given to each of the plurality of components.

<1.背景>
ナンバープレートには、登録自動車に取り付けられる自動車登録番号標、軽自動車等に取り付けられる車両番号標、及び原動機付自転車等に取り付けられる課税標識の3種がある。自動車登録番号標には、大きさに応じて、大型番号標(大板)、及び中型番号標(中板)の2種類が存在する。車両番号標には、大きさに応じて、中型番号標(中板)及び小型番号標(小板)が存在する。さらに、小板には、車両の種類に応じて文字の配置が異なる2種類の小板が存在する。大板の大きさは、縦220mm、横440mmであり、中板の大きさは、縦165mm、横330mmであり、小板の大きさは、縦125mm、横230mmである。大板は、トラック等の大型車両に取り付けられ、中板は、普通自動車や軽自動車等に取り付けられ、小板は、二輪車に取り付けられる。また、上記の大板、中板及び小板のそれぞれは、自家用自動車と事業用自動車で異なる配色がされている。課税標識は、各自治体によって大きさ、形又は色が異なり、課税標識の大きさには、例えば、縦100mm、横170mmのものがある。
<1. Background >
There are three types of license plates: a vehicle registration number plate attached to a registered vehicle, a vehicle number plate attached to a light vehicle, and a taxation sign attached to a motorized bicycle or the like. There are two types of vehicle registration number plates, large number plates (large plates) and medium-sized number plates (middle plates), depending on the size. The vehicle number plate includes a medium-sized number plate (middle plate) and a small number plate (small plate) depending on the size. Further, there are two types of small plates in which the arrangement of characters differs depending on the type of vehicle. The size of the large plate is 220 mm in length and 440 mm in width, the size of the middle plate is 165 mm in length and 330 mm in width, and the size of the small plate is 125 mm in length and 230 mm in width. The large plate is attached to a large vehicle such as a truck, the middle plate is attached to an ordinary automobile, a light automobile, or the like, and the small plate is attached to a two-wheeled vehicle. In addition, each of the above-mentioned large plate, medium plate, and small plate has a different color scheme between a private car and a commercial car. The size, shape, or color of the taxable sign differs depending on each municipality, and the size of the taxable sign includes, for example, 100 mm in length and 170 mm in width.

また、大板、中板、小板、及び課税標識は、互いに文字の配置が異なり、下地の色、又は文字の色が異なる場合もある。 In addition, the large plate, the middle plate, the small plate, and the taxation sign have different character arrangements, and the background color or the character color may be different.

先立って説明したフリーフローETCシステムに備えられるカメラは、走行中の車両の画像を取得するため、カメラから撮影される車両のナンバープレートまでの撮影距離は一定ではない。よって、カメラにより取得された画像上のナンバープレート領域の大きさは、ナンバープレートの大きさ、及び撮影距離の影響を受ける。そのため、カメラが取得する画像において、例えば、撮影距離が短い小板の画像の面積と撮影距離が長い大板の画像の面積が、ほぼ等しくなる場合がある。この場合、ナンバープレートを識別する一般の方法では、例えば、撮影距離が長い大板を誤って小板と認識する可能性がある。反対に、ナンバープレートを識別する一般の方法では、撮影距離が短い小板を誤って大板と認識する可能性がある。このように、ナンバープレートを識別する一般の方法では、誤認識が発生する可能性が高い。 Since the camera provided in the free-flow ETC system described above acquires an image of a moving vehicle, the shooting distance from the camera to the license plate of the vehicle is not constant. Therefore, the size of the license plate area on the image acquired by the camera is affected by the size of the license plate and the shooting distance. Therefore, in the image acquired by the camera, for example, the area of the image of the small plate having a short shooting distance and the area of the image of the large plate having a long shooting distance may be substantially equal. In this case, in the general method of identifying the license plate, for example, a large plate having a long shooting distance may be mistakenly recognized as a small plate. On the contrary, in the general method of identifying the license plate, a small plate having a short shooting distance may be mistakenly recognized as a large plate. As described above, in the general method of identifying the license plate, there is a high possibility that erroneous recognition will occur.

本発明者らは、カメラにより取得された画像から、大きさの異なる複数の切出し枠を用いて大きさが異なる切出し画像を複数の切り出し、当該切出し画像のうちからナンバープレートの画像を含む可能性を有する識別用画像を抽出し、この識別用画像を用いてナンバープレートの文字の配置を認識することで、撮影距離が異なるナンバープレートの種類を識別できることを見出し、本発明をするに至った。以下に、本発明の位置実施形態に係るナンバープレート識別装置について説明する。 The present inventors may cut out a plurality of cutout images of different sizes using a plurality of cutout frames of different sizes from an image acquired by a camera, and include a number plate image from the cutout images. By extracting an identification image having a Hereinafter, the license plate identification device according to the position embodiment of the present invention will be described.

<2.ナンバープレート識別システム1の構成>
まず、図1及び図2を参照して、本実施形態に係るナンバープレート識別装置10が適用されうるナンバープレート識別システム1の一例を説明する。図1は、ナンバープレート識別システム1の構成の一例を示すブロック図である。図2は、本実施形態に係るナンバープレート識別システム1の適用例を示す模式図である。
<2. Configuration of license plate identification system 1>
First, with reference to FIGS. 1 and 2, an example of the license plate identification system 1 to which the license plate identification device 10 according to the present embodiment can be applied will be described. FIG. 1 is a block diagram showing an example of the configuration of the license plate identification system 1. FIG. 2 is a schematic diagram showing an application example of the license plate identification system 1 according to the present embodiment.

ナンバープレート識別システム1は、走行中の車両のナンバープレートの種類を識別する。ナンバープレート識別システム1は、ナンバープレート識別装置10、カメラ20、及びネットワーク30を備える。 The license plate identification system 1 identifies the type of license plate of a moving vehicle. The license plate identification system 1 includes a license plate identification device 10, a camera 20, and a network 30.

なお、本実施形態に係るナンバープレート識別装置10が適用されるナンバープレート識別システムは、ここで説明するナンバープレート識別システム1に限定されるものではない。 The license plate identification system to which the license plate identification device 10 according to the present embodiment is applied is not limited to the license plate identification system 1 described here.

ナンバープレート識別装置10は、詳細は後述するが、ネットワーク30を介してカメラ20で撮像された画像を取得し、当該画像に含まれ得るナンバープレートの画像を抽出し、当該ナンバープレートの画像に対応したナンバープレートの種類を識別する。 Although the details will be described later, the license plate identification device 10 acquires an image captured by the camera 20 via the network 30, extracts an image of the license plate that can be included in the image, and corresponds to the image of the license plate. Identify the type of license plate.

カメラ20は、車両を撮影する。カメラ20は、車両が走行する道路のナンバープレートを撮像可能な位置に設けられる。カメラ20は、車両の前面を撮像してもよいし、車両の後面を撮像してもよい。カメラ20は、例えば、図2に示すように車線をまたいで設置された門型の柱に設けられてもよい。 The camera 20 photographs the vehicle. The camera 20 is provided at a position where the license plate of the road on which the vehicle travels can be imaged. The camera 20 may image the front surface of the vehicle or may image the rear surface of the vehicle. The camera 20 may be provided, for example, on a gate-shaped pillar installed across lanes as shown in FIG.

カメラ20は、例えば、デジタルビデオカメラやデジタルスチルカメラ等のような、撮像機能を有する公知の撮像装置であってもよい。また、カメラ20は、赤外線カメラであってもよい。今後、図柄入りのナンバープレートが配布される予定であるが、この図柄は、赤外線を透過するため、赤外線カメラで図柄入りナンバープレートを撮像すると撮像された画像には図柄は表示されない。よって、カメラ20に赤外線カメラを使用することで、より正確なナンバープレートの識別が可能となる。 The camera 20 may be a known image pickup device having an image pickup function, such as a digital video camera, a digital still camera, or the like. Further, the camera 20 may be an infrared camera. A license plate with a design is scheduled to be distributed in the future, but since this design transmits infrared rays, the design will not be displayed in the captured image when the license plate with a design is imaged with an infrared camera. Therefore, by using an infrared camera for the camera 20, more accurate license plate identification becomes possible.

ネットワーク30は、例えばインターネット等のような公知の情報通信技術を用いて実現されており、ナンバープレート識別装置10と、カメラ20とを相互に接続する。 The network 30 is realized by using a known information and communication technique such as the Internet, and connects the license plate identification device 10 and the camera 20 to each other.

<3.ナンバープレート識別装置10の構成>
次に、図3~図6を参照して、本実施形態に係るナンバープレート識別装置10を説明する。図3は、本実施形態に係るナンバープレート識別装置10の構成の一例を示すブロック図である。図4は、本実施形態に係る切出し画像を説明するための説明図である。図5は、図4における切出し画像の一覧を示す図である。図6は、本実施形態に係る識別部125によるナンバープレートの識別方法を説明するための説明図である。
<3. Configuration of license plate identification device 10>
Next, the license plate identification device 10 according to the present embodiment will be described with reference to FIGS. 3 to 6. FIG. 3 is a block diagram showing an example of the configuration of the license plate identification device 10 according to the present embodiment. FIG. 4 is an explanatory diagram for explaining a cut-out image according to the present embodiment. FIG. 5 is a diagram showing a list of cutout images in FIG. FIG. 6 is an explanatory diagram for explaining a method of identifying a license plate by the identification unit 125 according to the present embodiment.

本実施形態に係るナンバープレート識別装置10は、図3に示すように、画像取得部110、処理部120、記憶部130、及び通信部140を備える。 As shown in FIG. 3, the license plate identification device 10 according to the present embodiment includes an image acquisition unit 110, a processing unit 120, a storage unit 130, and a communication unit 140.

画像取得部110は、カメラ20で撮像された画像を受信する。画像取得部110が取得する画像である取得画像は、1の画像でもよいし、複数の画像でもよい。画像取得部110が受信する複数の取得画像は、例えば、カメラ20によって連続して撮像される複数の画像であってもよい。 The image acquisition unit 110 receives the image captured by the camera 20. The acquired image, which is an image acquired by the image acquisition unit 110, may be one image or a plurality of images. The plurality of acquired images received by the image acquisition unit 110 may be, for example, a plurality of images continuously captured by the camera 20.

処理部120は、画像取得部110から取得画像を受信し、当該取得画像に含まれ得るナンバープレートを識別する。処理部120は、画像切出し部121、画像抽出部123、及び識別部125を備える。 The processing unit 120 receives the acquired image from the image acquisition unit 110 and identifies the license plate that can be included in the acquired image. The processing unit 120 includes an image cutting unit 121, an image extraction unit 123, and an identification unit 125.

画像切出し部121は、1または複数の画像から、大きさの異なる複数の切出し枠によって、大きさの異なる切出し画像を複数切り出す。例えば、画像切出し部121は、1の取得画像から、大きさが異なる切出し画像をそれぞれ所定の枚数切り出してもよいし、複数の取得画像から、合計で所定の枚数となるように大きさが異なる切出し画像を切り出してもよい。 The image cutting unit 121 cuts out a plurality of cutout images having different sizes from one or a plurality of images by using a plurality of cutting frames having different sizes. For example, the image cutting unit 121 may cut out a predetermined number of cutout images having different sizes from one acquired image, or the size is different from a plurality of acquired images so that the total number is a predetermined number. Cutout An image may be cut out.

また、画像切出し部121は、例えば、取得画像のうちのエッジ密度が高い領域を切り出すことができる。 Further, the image cutting unit 121 can cut out, for example, a region of the acquired image having a high edge density.

切出し枠には、例えば、ナンバープレートの面積に応じた複数のサイズの切出し枠が用いられてもよい。切出し枠には、例えば、大板に応じた大きさの枠である大枠、中板に応じた大きさの枠である中枠、及び小板に応じた大きさの枠である小枠が用いられてもよい。 As the cutting frame, for example, a cutting frame having a plurality of sizes according to the area of the license plate may be used. For the cutting frame, for example, a large frame that is a frame of a size corresponding to a large plate, a middle frame that is a frame of a size corresponding to a middle plate, and a small frame that is a frame of a size corresponding to a small plate are used. May be done.

画像切出し部121は、例えば、図4に示すように、大枠L、中枠M及び小枠Sを用いて、カメラ20で撮像された画像の一部を切出すことができる。図4では、大枠Lによって切出し画像L1~切出し画像L3が切り出され、中枠Mによって切出し画像M1~切出し画像M3が切り出され、及び小枠Sによって切出し画像S1~切出し画像S3が切り出されている。 As shown in FIG. 4, the image cutting unit 121 can cut out a part of the image captured by the camera 20 by using the large frame L, the middle frame M, and the small frame S, for example. In FIG. 4, the cutout image L1 to the cutout image L3 are cut out by the large frame L, the cutout image M1 to the cutout image M3 are cut out by the middle frame M, and the cutout image S1 to the cutout image S3 are cut out by the small frame S. ..

なお、例えば、予め取得画像に表示された車両の種類が特定可能である場合、画像切出し部121は、その車両のナンバープレートの大きさに応じた切出し枠を設定してもよい。また、カメラ20が車両の前面を撮像した取得画像である場合、画像切出し部121は、小板Sは二輪車の後部に取り付けられるため、小枠Sによる画像切出しをしなくてもよい。したがって、画像切出し部121は、小枠Sを省き、大枠L及び中枠Mによって、画像を切り出してもよい。また、切出し枠の大きさは、例えば、ユーザによって、設定されてもよい。 For example, when the type of the vehicle displayed in the acquired image can be specified in advance, the image cutting unit 121 may set a cutting frame according to the size of the license plate of the vehicle. Further, when the camera 20 is an acquired image obtained by capturing the front surface of the vehicle, the image cutting portion 121 does not need to cut out the image by the small frame S because the small plate S is attached to the rear portion of the motorcycle. Therefore, the image cutting portion 121 may omit the small frame S and cut out the image by the large frame L and the middle frame M. Further, the size of the cutout frame may be set by the user, for example.

画像抽出部123は、複数の前記切出し画像の位置に基づいて、1または複数の画像からナンバープレートが表示された領域を含む可能性を有する画像である識別用画像を抽出する。画像抽出部123は、例えば、分類器によって、ナンバープレート領域を含む画像又はナンバープレート領域を含まない画像(背景画像)の2種に切出し画像を分類し、切出し画像がいずれの画像であるか識別して識別用画像を抽出してもよい。 The image extraction unit 123 extracts an identification image, which is an image that may include a region in which a license plate is displayed, from one or a plurality of images based on the positions of the plurality of cutout images. The image extraction unit 123 classifies the cutout image into two types, for example, an image including a license plate area and an image not including a license plate area (background image) by a classifier, and identifies which image the cutout image is. And the identification image may be extracted.

画像抽出部123は、切出し画像のそれぞれに対してナンバープレートの確からしさに基づいたスコアを算出し、複数の切出し画像から当該スコアが高い順に所定数の切出し画像を選択してもよい。また、画像抽出部123は、選択された所定数の切出し画像の位置に基づいて、取得画像から所定の大きさの識別用画像を抽出してもよい。識別用画像は、選択された切出し画像のそれぞれに応じて抽出されてもよく、例えば、切出し画像の中心を基準として所定の大きさを有するように取得画像から抽出されてもよい。よって、識別用画像の数量は、選択された切出し画像と同数量であり、各識別用画像の大きさは等しくてもよい。 The image extraction unit 123 may calculate a score based on the certainty of the license plate for each of the cutout images, and select a predetermined number of cutout images from the plurality of cutout images in descending order of the score. Further, the image extraction unit 123 may extract an identification image of a predetermined size from the acquired image based on the positions of the selected predetermined number of cutout images. The identification image may be extracted according to each of the selected cutout images, or may be extracted from the acquired image so as to have a predetermined size with respect to the center of the cutout image, for example. Therefore, the quantity of the identification images is the same as the quantity of the selected cutout images, and the sizes of the identification images may be the same.

スコア算出には分類器が用いられてもよい。当該分類器として、種々の機械学習アルゴリズムが適用されてもよく、例えば、ニューラルネットワーク、ランダムフォレスト、SVM(Support vector Machine)又はディープラーニング等の機械学習アルゴリズムが適用されてもよい。 A classifier may be used to calculate the score. As the classifier, various machine learning algorithms may be applied, and for example, machine learning algorithms such as neural networks, random forests, SVMs (Support Vector Machines), and deep learning may be applied.

画像抽出部123によるスコア算出において、例えば、図5では、切出し画像M2は、ナンバープレート領域の全体を切出し枠の面積に近い大きさで含んでいる。そのため、画像抽出部123は、切出し画像M2のスコアを最も高い値に算出してもよい。切出し画像L1、切出し画像L3、切出し画像M1、切出し画像M3、及び切出し画像S1は、ナンバープレート領域を含んでいない。そのため、画像抽出部123は、これらの切出し画像のスコアを低い値に算出してもよい。切出し画像S2には、ナンバープレート領域の一部しか含んでいないため、画像抽出部123は、切出し画像S2のスコアを低い値に算出してもよい。切出し画像S3は、ナンバープレート領域を含んでいるものの、画像が鮮明でないため、画像抽出部123は、切出し画像S2のスコアを低い値に算出してもよい。切出し画像L2は、ナンバープレート領域の全体を含んでいるが、切出し枠の大きさに対するナンバープレート領域の面積の比率が小さい。そのため、画像抽出部123は、切出し画像L2のスコアを、切出し画像M2のスコアより小さく、かつ、切出し画像M2以外のスコアよりも大きい値に算出してもよい。 In the score calculation by the image extraction unit 123, for example, in FIG. 5, the cutout image M2 includes the entire license plate area in a size close to the area of the cutout frame. Therefore, the image extraction unit 123 may calculate the score of the cutout image M2 to the highest value. The cutout image L1, the cutout image L3, the cutout image M1, the cutout image M3, and the cutout image S1 do not include the license plate region. Therefore, the image extraction unit 123 may calculate the scores of these cutout images to a low value. Since the cutout image S2 includes only a part of the license plate area, the image extraction unit 123 may calculate the score of the cutout image S2 to a low value. Although the cutout image S3 includes the license plate region, the image is not clear, so the image extraction unit 123 may calculate the score of the cutout image S2 to a low value. The cutout image L2 includes the entire license plate area, but the ratio of the area of the license plate area to the size of the cutout frame is small. Therefore, the image extraction unit 123 may calculate the score of the cutout image L2 to be smaller than the score of the cutout image M2 and larger than the score of the cutout image M2.

画像抽出部123は、2枚の切出し画像を選択する場合、上記スコア算出の結果から、スコアが最も高い切出し画像M2と、切出し画像M2の次にスコアが高い切出し画像L2を選択することができる。 When selecting two cutout images, the image extraction unit 123 can select the cutout image M2 having the highest score and the cutout image L2 having the next highest score after the cutout image M2 from the result of the score calculation. ..

画像抽出部123は、例えば、切出し画像M2の位置と、切出し画像L2の位置とに基づいて、取得画像から、所定の大きさの識別用画像を抽出してもよい。画像抽出部123は、例えば、図6に示すように、共通枠Cによって、切出し画像L2の中心を基準とした識別用画像と、切出し画像M2の中心を基準とした識別用画像とを、取得画像から抽出してもよい。このような構成とすることで、識別部125でナンバープレートの種類の識別を行う際に、識別に使える情報を増やすことが期待できる。具体的には、ナンバープレートの大きさが切出し枠に近いほどスコアが高いとすると、小板でスコアが高い画像を共通枠Cで切り出すと、共通枠Cで切り出された画像におけるナンバープレートは小さく映るが、大板でスコアが高い画像を共通枠Cで切り出すと、共通枠Cで切り出された画像におけるナンバープレートは大きく映ることになる。このように、ナンバープレートの物理的な大きさが種類によって異なるという特徴を利用して、識別部125は、ナンバープレートの種類の識別を行うことが可能になる。また、例えば、小板の場合、共通枠Cで切り出された画像において、ナンバープレートの周辺領域が広く映し出されるため、共通枠Cによる切出し画像には、例えば、ドライバーの足が映り込む可能性がある。トラックと乗用車とでは、ナンバープレートの大きさが異なることから、ナンバープレートの周辺領域の広さは大きく異なるため、識別部125は、これらの特徴を利用できることになる。 The image extraction unit 123 may extract an identification image of a predetermined size from the acquired image, for example, based on the position of the cutout image M2 and the position of the cutout image L2. For example, as shown in FIG. 6, the image extraction unit 123 acquires an identification image based on the center of the cutout image L2 and an identification image based on the center of the cutout image M2 by the common frame C. It may be extracted from the image. With such a configuration, it can be expected that the information that can be used for identification will be increased when the identification unit 125 identifies the type of license plate. Specifically, assuming that the closer the license plate size is to the cutout frame, the higher the score, if an image with a high score on a small plate is cut out in the common frame C, the license plate in the image cut out in the common frame C will be smaller. However, if an image with a high score on a large plate is cut out in the common frame C, the license plate in the image cut out in the common frame C will appear large. As described above, the identification unit 125 can identify the type of license plate by utilizing the feature that the physical size of the license plate differs depending on the type. Further, for example, in the case of a small plate, since the peripheral area of the license plate is widely projected in the image cut out by the common frame C, for example, the driver's foot may be reflected in the cutout image by the common frame C. be. Since the size of the license plate is different between the truck and the passenger car, the size of the peripheral area of the license plate is significantly different, so that the identification unit 125 can utilize these characteristics.

なお、画像抽出部123に適用される分類器には、切出し画像の大きさに応じて異なる分類器が適用されてもよいし、共通の分類器が適用されてもよい。共通の分類器が画像抽出部123に適用される場合、異なる大きさの切出し画像を同じ大きさに変更して分類器で切出し画像を分類してもよい。 A different classifier may be applied to the classifier applied to the image extraction unit 123 depending on the size of the cut-out image, or a common classifier may be applied. When a common classifier is applied to the image extraction unit 123, the cutout images of different sizes may be changed to the same size and the cutout images may be classified by the classifier.

画像抽出部123により、後述する識別部125におけるナンバープレートの識別をより確度を高く行うことが可能となる。 The image extraction unit 123 makes it possible to identify the license plate in the identification unit 125, which will be described later, with higher accuracy.

識別部125は、識別用画像を基にナンバープレートの種類を識別する。識別部125は、識別用画像に対して画像処理を行い、識別用画像に表示された文字の配置からナンバープレートの種類を識別する。 The identification unit 125 identifies the type of license plate based on the identification image. The identification unit 125 performs image processing on the identification image and identifies the type of license plate from the arrangement of characters displayed on the identification image.

識別部125は、例えば、識別用画像を分類器により分類し、ナンバープレートの種類を識別する。識別部125の分類器には、種々の機械学習アルゴリズムを適用することが可能である。識別部125の分類器には、例えば、ニューラルネットワーク、ランダムフォレスト、k近傍法又はディープラーニング等の機械学習アルゴリズムが適用されてもよい。 The identification unit 125 classifies the identification image by a classifier, for example, and identifies the type of license plate. Various machine learning algorithms can be applied to the classifier of the identification unit 125. Machine learning algorithms such as neural networks, random forests, k-nearest neighbors, and deep learning may be applied to the classifier of the discriminator 125.

また、識別部125は、分類器への入力情報の一つとして、識別用画像に対応した切出し枠に関する情報を用いてもよい。識別用画像に対応した切出し枠に関する情報には、識別精度を向上可能なであり、例えば、識別用画像に対応した切出し枠の面積、入力画像における識別用画像の位置等が挙げられる。識別部125は、例えば、機械学習アルゴリズムとしてニューラルネットワークを適用する場合、識別用画像に対応した切出し枠に関する情報に応じてニューラルネットワークにおける重みが変化するようにしてもよい。この切出し枠に関する情報を分類器への入力情報の一つとして用いることで、識別部125における多種識別の精度を向上することが可能となる。 Further, the identification unit 125 may use information about a cutout frame corresponding to the identification image as one of the input information to the classifier. The information regarding the cutout frame corresponding to the identification image can improve the identification accuracy, and examples thereof include the area of the cutout frame corresponding to the identification image, the position of the identification image in the input image, and the like. For example, when a neural network is applied as a machine learning algorithm, the identification unit 125 may change the weight in the neural network according to the information about the cutout frame corresponding to the identification image. By using the information related to the cutout frame as one of the input information to the classifier, it is possible to improve the accuracy of various identification in the identification unit 125.

識別部125は、識別用画像を、2種類のナンバープレート、及びナンバープレートが表示された領域が含まれていない画像の、少なくとも3種類のグループに分類してナンバープレートを識別してもよい。識別部125は、例えば、識別用画像を、大板、中板、及びナンバープレート領域が含まれていない背景画像の3種類のグループに分類してナンバープレートを識別してもよい。また、識別部125は、例えば、識別用画像を、大板、中板、2種類の小板、及び背景画像の5種類のグループに分類してナンバープレートを識別してもよいし、自家用車両と事業用車両を区別して、9種類のグループに分類してナンバープレートを識別してもよい。識別部125は、更に、識別用画像を、上記9種類に課税標識を加えた10種類のグループに分類して識別してもよい。画像抽出部123が背景画像を識別用画像として抽出した場合であっても、識別部125は、識別用画像を背景画像に分類することが可能であるため、高精度で、ナンバープレートの種類を識別することが可能である。なお、識別用画像を9種類のグループに分類して識別する場合、識別部125は、例えば、文字の配置と画像の輝度に基づいて識別用画像を識別してもよい。 The identification unit 125 may classify the identification image into at least three types of groups of two types of license plates and images that do not include the area where the license plates are displayed, and identify the license plates. For example, the identification unit 125 may classify the identification image into three types of groups of a large plate, a middle plate, and a background image that does not include a license plate area, and identify the license plate. Further, the identification unit 125 may classify the identification image into five groups of a large plate, a middle plate, two types of small plates, and a background image to identify the license plate, or may identify the license plate. And business vehicles may be distinguished and classified into 9 types of groups to identify license plates. The identification unit 125 may further classify the identification image into 10 types of groups in which the taxation sign is added to the above 9 types for identification. Even when the image extraction unit 123 extracts the background image as the identification image, the identification unit 125 can classify the identification image into the background image, so that the type of license plate can be selected with high accuracy. It is possible to identify. When the identification image is classified into nine types of groups for identification, the identification unit 125 may identify the identification image based on, for example, the arrangement of characters and the brightness of the image.

識別部125は、識別用画像に対して分類されたナンバープレートの確からしさに基づいたスコアを算出する。識別部125は、算出されたスコアが最も高い識別用画像が属するグループを識別結果とすることができる。これにより、カメラ20が撮像した画像に含まれるナンバープレート領域に対応するナンバープレートの種類が識別される。 The identification unit 125 calculates a score based on the certainty of the license plates classified for the identification image. The identification unit 125 can use the group to which the identification image having the highest calculated score belongs as the identification result. Thereby, the type of the license plate corresponding to the license plate region included in the image captured by the camera 20 is identified.

記憶部130は、本実施形態に係るナンバープレート識別装置10が備える記憶装置の一例である。記憶部130には、ナンバープレート識別装置10が、上記のような各種の処理を実施する際に利用する各種のプログラムやデータベース等が適宜記録されている。記憶部130には、画像取得部110が受信した取得画像や画像切出し部121が切り出した切出し画像等が記録されていてもよい。また、記憶部130には、画像抽出部123に適用される分類器又は識別部125に適用される分類器が記録されてもよい。更に、記憶部130には、取得画像と切出し画像を紐づけるためのデータ、切出し画像の座標値、画像抽出部123の分類器又は識別部125の分類器により出力されたスコア等の各種の情報が履歴情報として記録されていてもよい。記憶部130には、例えば、画像切出し部121、画像抽出部123及び識別部125のそれぞれが、各処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。画像切出し部121、画像抽出部123及び識別部125が実行する処理に限られず、本実施形態に係るナンバープレート識別装置10が何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等が適宜記録されてもよい。この記憶部130は、画像取得部110、画像切出し部121、画像抽出部123及び識別部125が、自由にリード/ライト処理を実施することが可能である。 The storage unit 130 is an example of a storage device included in the license plate identification device 10 according to the present embodiment. Various programs, databases, and the like used by the license plate identification device 10 when performing various processes as described above are appropriately recorded in the storage unit 130. The storage unit 130 may record an acquired image received by the image acquisition unit 110, a cutout image cut out by the image cutting unit 121, or the like. Further, the storage unit 130 may record a classifier applied to the image extraction unit 123 or a classifier applied to the identification unit 125. Further, the storage unit 130 contains various information such as data for associating the acquired image with the cut-out image, coordinate values of the cut-out image, and a score output by the classifier of the image extraction unit 123 or the classifier of the identification unit 125. May be recorded as historical information. In the storage unit 130, for example, various parameters that each of the image cutting unit 121, the image extraction unit 123, and the identification unit 125 need to save when performing each process, the progress of the process, and the like are appropriately recorded. You may. Not limited to the processing executed by the image cutting unit 121, the image extraction unit 123, and the identification unit 125, various parameters and processes that need to be saved when the license plate identification device 10 according to the present embodiment performs some processing. The progress etc. may be recorded as appropriate. In the storage unit 130, the image acquisition unit 110, the image cutting unit 121, the image extraction unit 123, and the identification unit 125 can freely perform read / write processing.

通信部140は、ネットワーク30を介して、カメラ20との情報通信を行う。具体的には、通信部140は、カメラ20から画像を受信する。また、通信部140は、カメラ20に対して制御信号を送信し、その駆動を制御してもよい。 The communication unit 140 performs information communication with the camera 20 via the network 30. Specifically, the communication unit 140 receives an image from the camera 20. Further, the communication unit 140 may transmit a control signal to the camera 20 to control its drive.

本実施形態に係るナンバープレート識別装置10によれば、撮影距離が変化する場合であっても、ナンバープレートの種類をより正確に識別することが可能となる。 According to the license plate identification device 10 according to the present embodiment, it is possible to more accurately identify the type of license plate even when the shooting distance changes.

また、ナンバープレート識別装置10は、ナンバープレートの種類を識別しているため、ナンバープレートの種類が識別されれば、ナンバープレートにおける文字の配置に関する情報を取得することができる。そのため、例えば、ナンバープレートの種類の識別後に、ナンバーの詳細情報を取得する処理を行う場合、ナンバープレートにおける文字の位置に該当する部分に対して画像解析を実行すればよい。その結果、ナンバー情報の解析をより高精度でより高速に行うことが可能となる。ここまで、ナンバープレート識別装置10の構成について詳細に説明した。 Further, since the license plate identification device 10 identifies the type of license plate, if the type of license plate is identified, it is possible to acquire information regarding the arrangement of characters on the license plate. Therefore, for example, when the process of acquiring the detailed information of the license plate is performed after the type of the license plate is identified, the image analysis may be performed on the portion corresponding to the position of the character on the license plate. As a result, it becomes possible to analyze the number information with higher accuracy and higher speed. Up to this point, the configuration of the license plate identification device 10 has been described in detail.

<4.ナンバープレート識別装置10の動作>
続いて、図7及び図8を参照し、本実施形態に係るナンバープレート識別装置10の動作について説明する。図7は、本実施形態に係るナンバープレート識別装置によるナンバープレート識別の流れを示す流れ図である。図8は、本実施形態に係るナンバープレート識別装置によるナンバープレート識別方法を説明する説明図である。
<4. Operation of license plate identification device 10>
Subsequently, the operation of the license plate identification device 10 according to the present embodiment will be described with reference to FIGS. 7 and 8. FIG. 7 is a flow chart showing the flow of license plate identification by the license plate identification device according to the present embodiment. FIG. 8 is an explanatory diagram illustrating a license plate identification method by the license plate identification device according to the present embodiment.

まず、画像取得部110は、図7に示すように、カメラ20によって撮像された取得画像を通信部140を介して受信する(ステップS101)。続いて、画像切出し部121は、画像取得部110から取得画像を受信し、大きさの異なる複数の切出し枠によって、1または2以上の取得画像から複数の大きさが異なる切出し画像を切り出す(ステップS103)。 First, as shown in FIG. 7, the image acquisition unit 110 receives the acquired image captured by the camera 20 via the communication unit 140 (step S101). Subsequently, the image cutting unit 121 receives the acquired image from the image acquisition unit 110, and cuts out a plurality of cutout images having different sizes from one or two or more acquired images by a plurality of cutting frames having different sizes (step). S103).

続いて、画像抽出部123は、切出し画像を画像切出し部121から取得し、切出し画像を、分類器によって、ナンバープレート領域を含む画像又はナンバープレート領域を含まない画像の2種に分類し、切出し画像がいずれの画像であるか識別する(ステップS105)。画像抽出部123は、ナンバープレート領域を含む画像に分類された切出し画像から所定数の切出し画像を選択し(ステップS107)、選択された切出し画像の位置に基づいて所定数の識別用画像を抽出する(ステップS109)。 Subsequently, the image extraction unit 123 acquires the cut-out image from the image cut-out unit 121, classifies the cut-out image into two types, an image including the license plate area and an image not including the license plate area, and cuts out the cut-out image. Identifying which image the image is (step S105). The image extraction unit 123 selects a predetermined number of cutout images from the cutout images classified into images including the license plate area (step S107), and extracts a predetermined number of identification images based on the positions of the selected cutout images. (Step S109).

次いで、識別部125は、識別用画像に対して画像処理を行い、ナンバープレートの種類を識別する(ステップS111)。 Next, the identification unit 125 performs image processing on the identification image to identify the type of license plate (step S111).

本実施形態に係るナンバープレート識別装置10は、カメラ20で撮像された画像に表示されたナンバープレートの種類を識別することが可能となる。 The license plate identification device 10 according to the present embodiment can identify the type of license plate displayed in the image captured by the camera 20.

また、画像切出し部121は、先立って説明したように、大きさの異なる複数の切出し枠によって、大きさの異なる画像を複数切り出す。画像抽出部123は、複数の切出し枠のそれぞれが切り出した切出し画像に対して、ナンバープレート領域を含む可能性がある画像又は背景画像のいずれであるか識別する。画像抽出部123は、例えば、図8に示すように、大枠Lによって切り出された画像、中枠Mによって切り出された画像、及び小枠Sによって切り出された画像それぞれに対して識別し、所定数の切出し画像を選択する。画像抽出部123は、選択された切出し画像に対して、所定の大きさを有する共通枠Cによって、識別用画像を抽出する。そして、識別部125は、識別用画像を識別する。このように、本実施形態に係るナンバープレート識別装置10は、実質的にナンバープレートの識別を2段階で行っている。識別部125は、画像抽出部123の2種分類により背景画像に分類された切出し画像に対しては多種識別を行わないため、識別部125における識別精度が向上する。また、画像抽出部123で行われる2種識別の演算コストは、識別部125で行われる多種識別の演算コストと比較して小さい。そのため、ナンバープレートの種類の識別を2段階で行うことで、演算コストの大きい多種識別の演算回数を削減することができ、ナンバープレートの識別に要する時間を短くすることが可能となる。 Further, as described above, the image cutting unit 121 cuts out a plurality of images having different sizes by a plurality of cutting frames having different sizes. The image extraction unit 123 identifies whether the cutout image cut out by each of the plurality of cutout frames is an image or a background image that may include a license plate area. As shown in FIG. 8, the image extraction unit 123 identifies and identifies each of the image cut out by the large frame L, the image cut out by the middle frame M, and the image cut out by the small frame S, and a predetermined number of them. Select the cutout image of. The image extraction unit 123 extracts an identification image from the selected cutout image by a common frame C having a predetermined size. Then, the identification unit 125 identifies the identification image. As described above, the license plate identification device 10 according to the present embodiment substantially identifies the license plate in two stages. Since the identification unit 125 does not perform various types of discrimination on the cutout image classified as the background image by the two types of the image extraction unit 123, the identification accuracy in the identification unit 125 is improved. Further, the calculation cost of the two-kind identification performed by the image extraction unit 123 is smaller than the calculation cost of the various types identification performed by the identification unit 125. Therefore, by identifying the type of license plate in two steps, it is possible to reduce the number of operations for various identification, which has a large calculation cost, and it is possible to shorten the time required for identifying the license plate.

<5.ハードウェア構成>
以上、本発明の実施形態について説明した。上述した各種処理は、ソフトウェアと、以下に説明するナンバープレート識別装置10のハードウェアとの協働により実現される。
<5. Hardware configuration>
The embodiment of the present invention has been described above. The various processes described above are realized by the cooperation between the software and the hardware of the license plate identification device 10 described below.

図9は、本実施形態に係るナンバープレート識別装置10のハードウェア構成を示したブロック図である。ナンバープレート識別装置10は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM(Random Access Memory)903、ホストバス904、ブリッジ905、外部バス906、ストレージ装置(HDD)911、及びネットワークインタフェース913を備える。また、ナンバープレート識別装置10は、インタフェース907、入力装置908、表示装置909、音声出力装置910、ドライブ912、を備えてもよい。 FIG. 9 is a block diagram showing a hardware configuration of the license plate identification device 10 according to the present embodiment. The number plate identification device 10 includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, a host bus 904, a bridge 905, an external bus 906, a storage device (HDD) 911, and a storage device (HDD) 911. A network interface 913 is provided. Further, the license plate identification device 10 may include an interface 907, an input device 908, a display device 909, an audio output device 910, and a drive 912.

CPU901は、演算処理装置及び制御装置として機能し、各種プログラムに従ってナンバープレート識別装置10の動作全般を制御する。また、CPU901は、マイクロプロセッサであってもよい。ROM902は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM903は、CPU901の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス904により相互に接続されている。CPU901、ROM902及びRAM903とソフトウェアとの協働により、例えば、画像取得部110又は処理部120の機能が実現され得る。 The CPU 901 functions as an arithmetic processing device and a control device, and controls the overall operation of the license plate identification device 10 according to various programs. Further, the CPU 901 may be a microprocessor. The ROM 902 stores programs, calculation parameters, and the like used by the CPU 901. The RAM 903 temporarily stores a program used in the execution of the CPU 901, parameters that appropriately change in the execution, and the like. These are connected to each other by a host bus 904 composed of a CPU bus or the like. By the cooperation between the CPU 901, the ROM 902 and the RAM 903 and the software, for example, the function of the image acquisition unit 110 or the processing unit 120 can be realized.

ホストバス904は、ブリッジ905を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス906に接続されている。なお、必ずしもホストバス904、ブリッジ905及び外部バス906を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。 The host bus 904 is connected to an external bus 906 such as a PCI (Peripheral Component Interconnect / Interface) bus via a bridge 905. It is not always necessary to separately configure the host bus 904, the bridge 905, and the external bus 906, and these functions may be implemented in one bus.

入力装置908は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、センサ、スイッチ及びレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成され得る。 The input device 908 includes input means for the user to input information such as a mouse, keyboard, touch panel, buttons, microphone, sensor, switch and lever, and an input signal generated based on the input by the user and output to the CPU 901. It may be composed of a control circuit or the like.

表示装置909は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、プロジェクター装置、OLED(Organic Light Emitting Diode)装置等の表示装置を含んでもよい。また、音声出力装置910は、スピーカ及びヘッドホンなどの音声出力装置を含み、カメラ20により取得された音声を出力してもよい。 The display device 909 may include, for example, a display device such as a CRT (Cathode Ray Tube) display device, a liquid crystal display (LCD) device, a projector device, and an OLED (Organic Light Emitting Diode) device. Further, the audio output device 910 may include an audio output device such as a speaker and headphones, and may output audio acquired by the camera 20.

ストレージ装置911は、ナンバープレート識別装置10の記憶部130の一例として構成されたデータ記憶用の装置である。ストレージ装置911は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置及び記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置911は、例えば、HDD(Hard Disk Drive)やSSD(Solid Strage Drive)、あるいは同等の機能を有するメモリ等で構成される。このストレージ装置911は、ストレージを駆動し、CPU901が実行するプログラムや各種データを記憶する。 The storage device 911 is a data storage device configured as an example of the storage unit 130 of the license plate identification device 10. The storage device 911 may include a storage medium, a recording device for recording data on the storage medium, a reading device for reading data from the storage medium, a deleting device for deleting data recorded on the storage medium, and the like. The storage device 911 is composed of, for example, an HDD (Hard Disk Drive), an SSD (Solid Storage Drive), or a memory having an equivalent function. The storage device 911 drives the storage and stores programs and various data executed by the CPU 901.

ドライブ912は、記憶媒体用リーダライタであり、ナンバープレート識別装置10に内蔵、あるいは外付けされてもよい。ドライブ912は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体914に記録されている情報を読み出して、RAM903またはストレージ装置911に出力してもよい。また、ドライブ912は、リムーバブル記憶媒体914に情報を書き込むこともできる。 The drive 912 is a reader / writer for a storage medium, and may be built in or externally attached to the license plate identification device 10. The drive 912 may read the information recorded in the removable storage medium 914 such as the mounted magnetic disk, optical disk, magneto-optical disk, or semiconductor memory and output it to the RAM 903 or the storage device 911. The drive 912 can also write information to the removable storage medium 914.

ネットワークインタフェース913は、例えば、ネットワーク30に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース913は、無線LAN(Local Area Network)対応端末であっても、有線による通信を行うワイヤー端末であってもよい。 The network interface 913 is, for example, a communication interface configured by a communication device or the like for connecting to the network 30. Further, the network interface 913 may be a wireless LAN (Local Area Network) compatible terminal or a wire terminal that performs wired communication.

<6.結び>
以上説明したように、本発明の実施形態によれば、撮影距離が変化する場合であっても、ナンバープレートの種類をより正確に識別することが可能となる。
<6. Conclusion>
As described above, according to the embodiment of the present invention, it is possible to more accurately identify the type of license plate even when the shooting distance changes.

なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。 A preferred embodiment of the present invention has been described in detail with reference to the accompanying drawings, but the present invention is not limited to this example. It is clear that a person having ordinary knowledge in the field of the art to which the present invention belongs can come up with various modifications or modifications within the scope of the technical idea described in the claims. , These are also naturally understood to belong to the technical scope of the present invention.

さらに、ナンバープレート識別装置に内蔵されるCPU、ROM及びRAMなどのハードウェアに、上述したナンバープレート識別装置10の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。 Further, it is possible to create a computer program for causing the hardware such as the CPU, ROM, and RAM built in the license plate identification device to exhibit the same functions as each configuration of the license plate identification device 10 described above. A storage medium for storing the computer program is also provided.

10 ナンバープレート識別装置
110 画像取得部
120 処理部
121 画像切出し部
123 画像抽出部
125 識別部
130 記憶部
140 通信部
10 License plate identification device 110 Image acquisition unit 120 Processing unit 121 Image cutting unit 123 Image extraction unit 125 Identification unit 130 Storage unit 140 Communication unit

Claims (8)

1または複数の画像から切り出された画像である切出し画像を取得する画像切出し部と、
複数の前記切出し画像の位置に基づいて、前記1または複数の画像からナンバープレートが表示された領域を含む可能性を有する画像である識別用画像を抽出する画像抽出部と、
前記識別用画像を基に前記ナンバープレートの種類を識別する識別部と、
を備え、
前記画像切出し部は、前記1または複数の画像から、大きさの異なる複数の切出し枠によって、大きさの異なる前記切出し画像を複数切り出す、ナンバープレート識別装置。
An image cutout unit that acquires a cutout image that is an image cut out from one or more images, and an image cutout portion.
An image extraction unit that extracts an identification image, which is an image that may include a region in which a license plate is displayed from the one or a plurality of images based on the positions of the plurality of cutout images, and an image extraction unit.
An identification unit that identifies the type of license plate based on the identification image,
Equipped with
The image cutting unit is a license plate identification device that cuts out a plurality of cutout images having different sizes from the one or a plurality of images by means of a plurality of cutting frames having different sizes.
前記画像抽出部は、前記切出し画像のそれぞれに対して前記ナンバープレートの確からしさに基づいたスコアを算出し、複数の前記切出し画像から前記スコアが高い順に所定数の切出し画像を選択する、請求項1に記載のナンバープレート識別装置。 The image extraction unit calculates a score based on the certainty of the license plate for each of the cutout images, and selects a predetermined number of cutout images from a plurality of the cutout images in descending order of the score. The license plate identification device according to 1. 前記画像抽出部は、前記所定数の切出し画像の位置に基づいて、前記1または複数の画像から所定の大きさの前記識別用画像を抽出する、請求項2に記載のナンバープレート識別装置。 The license plate identification device according to claim 2, wherein the image extraction unit extracts the identification image of a predetermined size from the one or a plurality of images based on the positions of the predetermined number of cutout images. 前記切出し枠は、前記ナンバープレートの面積に対応した大きさである、請求項1~3のいずれか1項に記載のナンバープレート識別装置。 The license plate identification device according to any one of claims 1 to 3, wherein the cutout frame has a size corresponding to the area of the license plate. 前記識別部は、前記識別用画像に対応した前記切出し枠に関する情報を分類器への入力情報の一つとして用いる、請求項1~4のいずれか1項に記載のナンバープレート識別装置。 The license plate identification device according to any one of claims 1 to 4, wherein the identification unit uses information about the cutout frame corresponding to the identification image as one of input information to the classifier. 前記識別部は、前記識別用画像を、2種類の前記ナンバープレート、及び前記ナンバープレートが表示された領域が含まれていない画像の3種類のいずれかに少なくとも分類して前記ナンバープレートを識別する、請求項1~5のいずれか1項に記載のナンバープレート識別装置。 The identification unit identifies the license plate by classifying the identification image into at least one of three types, two types of the license plate and an image not including the area where the license plate is displayed. , The license plate identification device according to any one of claims 1 to 5. 1または複数の画像から切り出された画像である切出し画像を取得することと、
複数の前記切出し画像の位置に基づいて、ナンバープレートの画像を含む可能性を有する画像である識別用画像を抽出することと、
前記識別用画像から前記ナンバープレートを識別することと、を含み、
前記切出し画像の取得では、大きさの異なる複数の切出し枠によって、前記1または複数の画像から複数の大きさが異なる前記切出し画像を切り出す、ナンバープレート識別方法。
Acquiring a cut-out image that is a cut-out image from one or more images,
Extracting an identification image, which is an image that may include a license plate image, based on the positions of the plurality of cutout images.
Including identifying the license plate from the identification image,
In the acquisition of the cutout image, a license plate identification method in which a plurality of cutout images having different sizes are cut out from the one or a plurality of images by a plurality of cutout frames having different sizes.
コンピュータを、
1または複数の画像から切り出された画像である切出し画像を取得する画像切出し部と、
複数の前記切出し画像の位置に基づいて、ナンバープレートの画像を含む可能性を有する画像である識別用画像を抽出する画像抽出部と、
前記識別用画像から前記ナンバープレートを識別する識別部と、として機能させ、
前記画像切出し部は、大きさの異なる複数の切出し枠によって、前記1または複数の画像から複数の大きさが異なる前記切出し画像を切り出す、プログラム。
Computer,
An image cutout unit that acquires a cutout image that is an image cut out from one or more images, and an image cutout portion.
An image extraction unit that extracts an identification image, which is an image that may include a license plate image, based on the positions of the plurality of cutout images.
It functions as an identification unit that identifies the license plate from the identification image.
The image cutting portion is a program for cutting out a plurality of cut-out images having different sizes from the one or a plurality of images by a plurality of cutting frames having different sizes.
JP2018168822A 2018-09-10 2018-09-10 License plate identification device, license plate identification method and program Active JP7081404B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018168822A JP7081404B2 (en) 2018-09-10 2018-09-10 License plate identification device, license plate identification method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018168822A JP7081404B2 (en) 2018-09-10 2018-09-10 License plate identification device, license plate identification method and program

Publications (2)

Publication Number Publication Date
JP2020042489A JP2020042489A (en) 2020-03-19
JP7081404B2 true JP7081404B2 (en) 2022-06-07

Family

ID=69798316

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018168822A Active JP7081404B2 (en) 2018-09-10 2018-09-10 License plate identification device, license plate identification method and program

Country Status (1)

Country Link
JP (1) JP7081404B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111746545A (en) * 2020-06-29 2020-10-09 中国联合网络通信集团有限公司 Vehicle distance detection method and device and vehicle distance reminding method and device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005310027A (en) 2004-04-26 2005-11-04 Nippon Kusatsu System Kk Vehicle traffic investigation system
JP2008217347A (en) 2007-03-02 2008-09-18 Canon Inc License plate recognition device, its control method and computer program
JP2014115961A (en) 2012-12-12 2014-06-26 Fujitsu Ltd Information processor, vehicle identification method and vehicle identification program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2893948B2 (en) * 1990-11-30 1999-05-24 富士電機株式会社 License plate recognition device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005310027A (en) 2004-04-26 2005-11-04 Nippon Kusatsu System Kk Vehicle traffic investigation system
JP2008217347A (en) 2007-03-02 2008-09-18 Canon Inc License plate recognition device, its control method and computer program
JP2014115961A (en) 2012-12-12 2014-06-26 Fujitsu Ltd Information processor, vehicle identification method and vehicle identification program

Also Published As

Publication number Publication date
JP2020042489A (en) 2020-03-19

Similar Documents

Publication Publication Date Title
Panahi et al. Accurate detection and recognition of dirty vehicle plate numbers for high-speed applications
Xu et al. Detection of sudden pedestrian crossings for driving assistance systems
TWI497422B (en) A system and method for recognizing license plate image
Abdullah et al. YOLO-based three-stage network for Bangla license plate recognition in Dhaka metropolitan city
Xie et al. A robust license plate detection and character recognition algorithm based on a combined feature extraction model and BPNN
WO2019174405A1 (en) License plate identification method and system thereof
US20160300119A1 (en) License plate distributed review systems and methods
KR101848019B1 (en) Method and Apparatus for Detecting Vehicle License Plate by Detecting Vehicle Area
US11587327B2 (en) Methods and systems for accurately recognizing vehicle license plates
Ravindran et al. A novel approach to automatic road-accident detection using machine vision techniques
Yousef et al. SIFT based automatic number plate recognition
Hakim et al. Implementation of an image processing based smart parking system using Haar-Cascade method
JP2018206373A (en) Method and device for classifying targets for vehicle
CN110245673A (en) Method for detecting parking stalls and device
KR20200145174A (en) System and method for recognizing license plates
CN111382735A (en) Night vehicle detection method, device, equipment and storage medium
JP6123265B2 (en) Information processing apparatus, vehicle identification method, and vehicle identification program
CN114973211A (en) Object identification method, device, equipment and storage medium
JP7081404B2 (en) License plate identification device, license plate identification method and program
CN110766009A (en) Tail plate identification method and device and computer readable storage medium
KR100969603B1 (en) A licence plate recognition method based on geometric relations of numbers on the plate
JP5020920B2 (en) Pedestrian detection device and program
KR102379575B1 (en) Code recognition device, code recognition method, and vehicle number extraction system using the same
JP2016018421A (en) Image classification device, number plate reading device, number plate reading system, and image classification method
Laroca et al. Automatic license plate recognition: an efficient and layout-independent system based on the YOLO detector

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190327

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190328

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210507

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220509

R150 Certificate of patent or registration of utility model

Ref document number: 7081404

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150