JP6945490B2 - License plate classification device, license plate classification system and license plate classification program - Google Patents

License plate classification device, license plate classification system and license plate classification program Download PDF

Info

Publication number
JP6945490B2
JP6945490B2 JP2018087105A JP2018087105A JP6945490B2 JP 6945490 B2 JP6945490 B2 JP 6945490B2 JP 2018087105 A JP2018087105 A JP 2018087105A JP 2018087105 A JP2018087105 A JP 2018087105A JP 6945490 B2 JP6945490 B2 JP 6945490B2
Authority
JP
Japan
Prior art keywords
license plate
plate
color
business
license
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018087105A
Other languages
Japanese (ja)
Other versions
JP2019192129A (en
Inventor
直徒 白金
直徒 白金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2018087105A priority Critical patent/JP6945490B2/en
Publication of JP2019192129A publication Critical patent/JP2019192129A/en
Application granted granted Critical
Publication of JP6945490B2 publication Critical patent/JP6945490B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、車両の種類を判別するための技術に関するものである。 The present invention relates to a technique for determining the type of vehicle.

従来、赤外線カメラによって車両の種類を判別することが可能であった。
具体的には、赤外線画像に基づいてナンバープレートの背景が白色か黒色かを判定することによって、赤外線画像に映った車両が事業用車両と自家用車両とのいずれであるか判別することが可能であった。 Conventionally, it has been possible to determine the type of vehicle with an infrared camera.
Specifically, by determining whether the background of the license plate is white or black based on the infrared image, it is possible to determine whether the vehicle reflected in the infrared image is a business vehicle or a private vehicle. there were.

特許文献１には、ナンバープレートから車両の用途コードとして複数の文字認識候補が得られた場合にナンバープレートの色に基づいて複数の文字認識候補から車両の用途コードを特定することが記載されている。 Patent Document 1 describes that when a plurality of character recognition candidates are obtained as vehicle use codes from the license plate, the vehicle use code is specified from the plurality of character recognition candidates based on the color of the license plate. There is.

特開２０１１−１１３４４０号公報Japanese Unexamined Patent Publication No. 2011-11340

近年、図柄入りのナンバープレートが導入されることになった。
図柄入りのナンバープレートには、赤外線を反射する塗料を用いて図柄が描かれる。そのため、赤外線カメラでは、図柄入りの事業用プレートの背景と図柄入りまたは図柄無しの自家用プレートの背景とのいずれも白く映ってしまう。その結果、図柄入りのナンバープレートが付けられた事業用車両を赤外線カメラによって判別することはできなくなった。 In recent years, license plates with patterns have been introduced.
On the license plate with the design, the design is drawn using a paint that reflects infrared rays. Therefore, in the infrared camera, both the background of the business plate with the design and the background of the private plate with the design or no design appear white. As a result, it is no longer possible to identify a commercial vehicle with a license plate with a design using an infrared camera.

本発明は、図柄入りのナンバープレートが付けられた事業用車両を判別できるようにすることを目的とする。 An object of the present invention is to make it possible to identify a commercial vehicle to which a license plate with a design is attached.

本発明のナンバープレート分類装置は、
ナンバープレートが映っている赤外線画像に基づいて前記ナンバープレートの背景色が事業用プレート色であるか判定する背景色判定部と、
前記ナンバープレートが映っているカラー画像に基づいて前記ナンバープレートが事業用プレート枠を有するか判定する枠判定部と、
前記ナンバープレートの前記背景色が前記事業用プレート色であると判定された場合に前記ナンバープレートを図柄無し事業用プレートに分類し、前記ナンバープレートの前記背景色が前記事業用プレート色ではないと判定され前記ナンバープレートが事業用プレート枠を有すると判定された場合に前記ナンバープレートを図柄入り事業用プレートに分類する分類部とを備える。 The license plate classification device of the present invention
A background color determination unit that determines whether the background color of the license plate is a commercial plate color based on an infrared image showing the license plate, and
A frame determination unit that determines whether the license plate has a commercial plate frame based on a color image showing the license plate, and a frame determination unit.
When the background color of the license plate is determined to be the business plate color, the license plate is classified as a non-designed business plate, and the background color of the license plate is not the business plate color. It is provided with a classification unit that classifies the license plate into a business plate with a pattern when it is determined that the license plate has a business plate frame.

本発明によれば、図柄入りのナンバープレートが付けられた事業用車両を判別することが可能となる。 According to the present invention, it is possible to identify a commercial vehicle to which a license plate with a design is attached.

実施の形態１におけるナンバープレート分類システム２００の構成図。The block diagram of the license plate classification system 200 in Embodiment 1. FIG. 実施の形態１におけるナンバープレート分類装置１００の構成図。The block diagram of the license plate classification apparatus 100 in Embodiment 1. FIG. 実施の形態１におけるナンバープレート分類方法のフローチャート。The flowchart of the license plate classification method in Embodiment 1. 実施の形態１におけるナンバープレート分類処理（Ｓ１１０）のフローチャート。The flowchart of the license plate classification process (S110) in Embodiment 1.

実施の形態および図面において、同じ要素および対応する要素には同じ符号を付している。同じ符号が付された要素の説明は適宜に省略または簡略化する。図中の矢印はデータの流れ又は処理の流れを主に示している。 In embodiments and drawings, the same elements and corresponding elements are designated by the same reference numerals. The description of the elements with the same reference numerals will be omitted or abbreviated as appropriate. The arrows in the figure mainly indicate the flow of data or the flow of processing.

実施の形態１．
撮影されたナンバープレートを分類する形態について、図１から図４に基づいて説明する。 Embodiment 1.
The form of classifying the photographed license plates will be described with reference to FIGS. 1 to 4.

＊＊＊構成の説明＊＊＊
図１に基づいて、ナンバープレート分類システム２００の構成を説明する。
ナンバープレート分類システム２００は、ナンバープレート分類装置１００と赤外線カメラ２２０とレンズ２２１とカラーカメラ２３０とレンズ２３１と照明２４０とを備える。 *** Explanation of configuration ***
The configuration of the license plate classification system 200 will be described with reference to FIG.
The license plate classification system 200 includes a license plate classification device 100, an infrared camera 220, a lens 221 and a color camera 230, a lens 231 and an illumination 240.

赤外線カメラ２２０は、撮影範囲内の車両２１０を撮影するための赤外線カメラである。
レンズ２２１は、赤外線カメラ２２０用のレンズである。
レンズ２２１からの実線は、赤外線カメラ２２０の視野、つまり、赤外線カメラ２２０の撮影範囲を表している。
赤外線カメラ２２０とレンズ２２１とが一体となった赤外線カメラが用いられてもよい。 The infrared camera 220 is an infrared camera for photographing the vehicle 210 within the photographing range.
The lens 221 is a lens for the infrared camera 220.
The solid line from the lens 221 represents the field of view of the infrared camera 220, that is, the shooting range of the infrared camera 220.
An infrared camera in which the infrared camera 220 and the lens 221 are integrated may be used.

カラーカメラ２３０は、撮影範囲内の車両２１０を撮影するためのカラーカメラである。
レンズ２３１は、カラーカメラ２３０用のレンズである。
レンズ２３１からの破線は、カラーカメラ２３０の視野、つまり、カラーカメラ２３０の撮影範囲を表している。
カラーカメラ２３０とレンズ２３１とが一体となったカラーカメラが用いられてもよい。 The color camera 230 is a color camera for photographing the vehicle 210 within the photographing range.
The lens 231 is a lens for the color camera 230.
The broken line from the lens 231 represents the field of view of the color camera 230, that is, the shooting range of the color camera 230.
A color camera in which the color camera 230 and the lens 231 are integrated may be used.

照明２４０は、赤外線カメラ２２０の撮影範囲とカラーカメラ２３０の撮影範囲とを照らすための照明である。
照明２４０からの点線は、照明２４０の照射範囲を表している。
赤外線カメラ２２０の撮影範囲とカラーカメラ２３０の撮影範囲と照明２４０の照射範囲とはほとんど重複している。 The illumination 240 is an illumination for illuminating the photographing range of the infrared camera 220 and the photographing range of the color camera 230.
The dotted line from the illumination 240 represents the irradiation range of the illumination 240.
The shooting range of the infrared camera 220, the shooting range of the color camera 230, and the irradiation range of the illumination 240 almost overlap.

ナンバープレート分類装置１００は、車両２１０のナンバープレート２１１を分類し、分類結果を出力するための装置である。 The license plate classification device 100 is a device for classifying the license plate 211 of the vehicle 210 and outputting the classification result.

図２に基づいて、ナンバープレート分類装置１００の構成を説明する。
ナンバープレート分類装置１００は、プロセッサ１０１とメモリ１０２と補助記憶装置１０３と入出力インタフェース１０４といったハードウェアを備えるコンピュータである。これらのハードウェアは、信号線を介して互いに接続されている。 The configuration of the license plate classification device 100 will be described with reference to FIG.
The license plate classification device 100 is a computer including hardware such as a processor 101, a memory 102, an auxiliary storage device 103, and an input / output interface 104. These hardware are connected to each other via signal lines.

プロセッサ１０１は、演算処理を行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であり、他のハードウェアを制御する。例えば、プロセッサ１０１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。
メモリ１０２は揮発性の記憶装置である。メモリ１０２は、主記憶装置またはメインメモリとも呼ばれる。例えば、メモリ１０２はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。メモリ１０２に記憶されたデータは必要に応じて補助記憶装置１０３に保存される。
補助記憶装置１０３は不揮発性の記憶装置である。例えば、補助記憶装置１０３は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、またはフラッシュメモリである。補助記憶装置１０３に記憶されたデータは必要に応じてメモリ１０２にロードされる。
入出力インタフェース１０４は、赤外線カメラ２２０、カラーカメラ２３０、照明２４０およびその他の機器が接続されるインタフェースである。例えば、入出力インタフェース１０４はポートである。例えば、その他の機器は、コンピュータまたは通信装置などである。 The processor 101 is an IC (Integrated Circuit) that performs arithmetic processing, and controls other hardware. For example, the processor 101 is a CPU (Central Processing Unit), a DSP (Digital Signal Processor), or a GPU (Graphics Processing Unit).
The memory 102 is a volatile storage device. The memory 102 is also called a main storage device or a main memory. For example, the memory 102 is a RAM (Random Access Memory). The data stored in the memory 102 is stored in the auxiliary storage device 103 as needed.
The auxiliary storage device 103 is a non-volatile storage device. For example, the auxiliary storage device 103 is a ROM (Read Only Memory), an HDD (Hard Disk Drive), or a flash memory. The data stored in the auxiliary storage device 103 is loaded into the memory 102 as needed.
The input / output interface 104 is an interface to which the infrared camera 220, the color camera 230, the lighting 240, and other devices are connected. For example, the input / output interface 104 is a port. For example, other devices are computers or communication devices.

ナンバープレート分類装置１００は、制御部１１１と画像受付部１１２と検索部１１３と認識部１１４と背景色判定部１１５と枠判定部１１６と図柄判定部１１７と分類部１１８と出力部１１９といった要素を備える。これらの要素はソフトウェアで実現される。 The license plate classification device 100 includes elements such as a control unit 111, an image reception unit 112, a search unit 113, a recognition unit 114, a background color determination unit 115, a frame determination unit 116, a design determination unit 117, a classification unit 118, and an output unit 119. Be prepared. These elements are realized in software.

補助記憶装置１０３には、制御部１１１と画像受付部１１２と検索部１１３と認識部１１４と背景色判定部１１５と枠判定部１１６と図柄判定部１１７と分類部１１８と出力部１１９としてコンピュータを機能させるためのナンバープレート分類プログラムが記憶されている。ナンバープレート分類プログラムは、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
さらに、補助記憶装置１０３にはＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が記憶されている。ＯＳの少なくとも一部は、メモリ１０２にロードされて、プロセッサ１０１によって実行される。
つまり、プロセッサ１０１は、ＯＳを実行しながら、ナンバープレート分類プログラムを実行する。
ナンバープレート分類プログラムを実行して得られるデータは、メモリ１０２、補助記憶装置１０３、プロセッサ１０１内のレジスタまたはプロセッサ１０１内のキャッシュメモリといった記憶装置に記憶される。 The auxiliary storage device 103 includes a computer as a control unit 111, an image reception unit 112, a search unit 113, a recognition unit 114, a background color determination unit 115, a frame determination unit 116, a symbol determination unit 117, a classification unit 118, and an output unit 119. A license plate classification program for functioning is stored. The license plate classification program is loaded into the memory 102 and executed by the processor 101.
Further, the auxiliary storage device 103 stores an OS (Operating System). At least part of the OS is loaded into memory 102 and executed by processor 101.
That is, the processor 101 executes the license plate classification program while executing the OS.
The data obtained by executing the license plate classification program is stored in a storage device such as a memory 102, an auxiliary storage device 103, a register in the processor 101, or a cache memory in the processor 101.

メモリ１０２は、ナンバープレート分類装置１００で使用される各種データを記憶する記憶部１２０として機能する。但し、他の記憶装置が、メモリ１０２の代わりに、又は、メモリ１０２と共に、記憶部１２０として機能してもよい。 The memory 102 functions as a storage unit 120 for storing various data used in the license plate classification device 100. However, another storage device may function as the storage unit 120 instead of the memory 102 or together with the memory 102.

ナンバープレート分類装置１００は、プロセッサ１０１を代替する複数のプロセッサを備えてもよい。複数のプロセッサは、プロセッサ１０１の役割を分担する。 The license plate classification device 100 may include a plurality of processors that replace the processor 101. The plurality of processors share the role of the processor 101.

ナンバープレート分類プログラムは、光ディスクまたはフラッシュメモリ等の不揮発性の記録媒体にコンピュータ読み取り可能に記録（格納）することができる。 The license plate classification program can record (store) on a non-volatile recording medium such as an optical disk or a flash memory so that it can be read by a computer.

＊＊＊動作の説明＊＊＊
ナンバープレート分類装置１００の動作はナンバープレート分類方法に相当する。また、ナンバープレート分類方法の手順はナンバープレート分類プログラムの手順に相当する。 *** Explanation of operation ***
The operation of the license plate classification device 100 corresponds to the license plate classification method. In addition, the procedure of the license plate classification method corresponds to the procedure of the license plate classification program.

図３に基づいて、ナンバープレート分類方法を説明する。
ステップＳ１０１において、制御部１１１は、赤外線カメラ２２０とカラーカメラ２３０と照明２４０とを制御することによって、赤外線カメラ２２０とカラーカメラ２３０とに撮影を行わせる。 The license plate classification method will be described with reference to FIG.
In step S101, the control unit 111 causes the infrared camera 220 and the color camera 230 to take a picture by controlling the infrared camera 220, the color camera 230, and the illumination 240.

具体的には、制御部１１１は、予め決められたタイミングまたは任意のタイミングで、赤外線カメラ２２０とカラーカメラ２３０と照明２４０とにタイミング信号を送信する。タイミング信号は赤外線カメラ２２０とカラーカメラ２３０と照明２４０とを同じタイミングで動作させるための信号である。
照明２４０がタイミング信号を受信すると、照明２４０は発光することによって照射範囲を照らす。
赤外線カメラ２２０がタイミング信号を受信すると、赤外線カメラ２２０は撮影範囲を撮影する。
カラーカメラ２３０がタイミング信号を受信すると、カラーカメラ２３０は撮影範囲を撮影する。 Specifically, the control unit 111 transmits a timing signal to the infrared camera 220, the color camera 230, and the illumination 240 at a predetermined timing or an arbitrary timing. The timing signal is a signal for operating the infrared camera 220, the color camera 230, and the illumination 240 at the same timing.
When the illumination 240 receives the timing signal, the illumination 240 illuminates the irradiation range by emitting light.
When the infrared camera 220 receives the timing signal, the infrared camera 220 takes a picture of the shooting range.
When the color camera 230 receives the timing signal, the color camera 230 takes a picture of the shooting range.

ステップＳ１０２において、画像受付部１１２は、赤外線カメラ２２０によって得られた赤外線画像を受け付ける。
具体的には、赤外線カメラ２２０が赤外線画像を送信し、画像受付部１１２は赤外線画像を受信する。
赤外線画像は、赤外線カメラ２２０が撮影を行うことによって得られる画像である。赤外線画像には、赤外線カメラ２２０の撮影範囲が映っている。 In step S102, the image receiving unit 112 receives the infrared image obtained by the infrared camera 220.
Specifically, the infrared camera 220 transmits an infrared image, and the image receiving unit 112 receives the infrared image.
The infrared image is an image obtained by taking a picture with the infrared camera 220. The infrared image shows the shooting range of the infrared camera 220.

さらに、画像受付部１１２は、カラーカメラ２３０によって得られたカラー画像を受け付ける。
具体的には、カラーカメラ２３０がカラー画像を送信し、画像受付部１１２はカラー画像を受信する。
カラー画像は、カラーカメラ２３０が撮影を行うことによって得られる画像である。カラー画像には、カラーカメラ２３０の撮影範囲が映っている。 Further, the image receiving unit 112 receives the color image obtained by the color camera 230.
Specifically, the color camera 230 transmits a color image, and the image receiving unit 112 receives the color image.
The color image is an image obtained by taking a picture with the color camera 230. The color image shows the shooting range of the color camera 230.

ステップＳ１０３において、検索部１１３は、赤外線画像に対する画像処理を行うことによって、赤外線画像からプレート部分を見つける。
プレート部分は、ナンバープレート２１１が映っている部分である。 In step S103, the search unit 113 finds the plate portion from the infrared image by performing image processing on the infrared image.
The plate portion is a portion where the license plate 211 is reflected.

さらに、検索部１１３は、カラー画像に対する画像処理を行うことによって、カラー画像からプレート部分を見つける。 Further, the search unit 113 finds the plate portion from the color image by performing image processing on the color image.

ステップＳ１０３における画像処理は切り出し処理とも呼ばれる。 The image processing in step S103 is also called a cutting process.

ステップＳ１０４において、検索部１１３は、赤外線画像とカラー画像とのそれぞれからプレート部分が見つかったか判定する。
赤外線画像とカラー画像とのそれぞれからプレート部分が見つかった場合、処理はステップＳ１０５に進む。
赤外線画像とカラー画像との少なくともいずれかからプレート部分が見つからなかった場合、処理はステップＳ１０７に進む。 In step S104, the search unit 113 determines whether the plate portion is found in each of the infrared image and the color image.
When the plate portion is found in each of the infrared image and the color image, the process proceeds to step S105.
If the plate portion is not found in at least one of the infrared image and the color image, the process proceeds to step S107.

ステップＳ１０５において、認識部１１４は、赤外線画像に対する画像処理を行うことによって、赤外線画像からナンバープレート２１１の記載情報を得る。
具体的には、認識部１１４は、赤外線画像のプレート部分に対して文字認識処理を行う。これにより、ナンバープレート２１１に記載されている番号とナンバープレート２１１に記載されている文字とを示す記載情報が得られる。 In step S105, the recognition unit 114 obtains the description information of the license plate 211 from the infrared image by performing image processing on the infrared image.
Specifically, the recognition unit 114 performs character recognition processing on the plate portion of the infrared image. As a result, the description information indicating the number written on the license plate 211 and the characters written on the license plate 211 can be obtained.

ステップＳ１１０において、ナンバープレート分類装置１００は、ナンバープレート分類処理を行う。
ナンバープレート分類処理は、ナンバープレート２１１を分類する処理である。
ナンバープレート分類処理（Ｓ１１０）については後述する。
ステップＳ１１０の後、処理はステップＳ１０６に進む。 In step S110, the license plate classification device 100 performs the license plate classification process.
The license plate classification process is a process for classifying the license plate 211.
The license plate classification process (S110) will be described later.
After step S110, the process proceeds to step S106.

ステップＳ１０６において、出力部１１９は、ナンバープレート２１１の分類結果とナンバープレート２１１の記載情報とを出力する。
具体的には、出力部１１９は、ナンバープレート２１１の分類結果とナンバープレート２１１の記載情報とを特定の機器へ送信する。例えば、特定の機器は、車両２１０を監視するシステムのコンピュータである。
さらに、出力部１１９は、赤外線画像とカラー画像とを出力してもよい。 In step S106, the output unit 119 outputs the classification result of the license plate 211 and the description information of the license plate 211.
Specifically, the output unit 119 transmits the classification result of the license plate 211 and the description information of the license plate 211 to a specific device. For example, a particular device is a computer in a system that monitors the vehicle 210.
Further, the output unit 119 may output an infrared image and a color image.

ステップＳ１０７において、制御部１１１は、ナンバープレート分類方法の処理を停止するか判定する。
例えば、制御部１１１は、停止命令がナンバープレート分類装置１００に入力されたか否か、または、停止時刻になったか否かに基づいて、ナンバープレート分類方法の処理を停止するか判定する。
ナンバープレート分類方法の処理を停止すると判定した場合、処理は終了する。
ナンバープレート分類方法の処理を停止しないと判定した場合、処理はステップＳ１０１に進む。 In step S107, the control unit 111 determines whether to stop the processing of the license plate classification method.
For example, the control unit 111 determines whether to stop the processing of the license plate classification method based on whether or not the stop command has been input to the license plate classification device 100 or whether or not the stop time has come.
If it is determined that the processing of the license plate classification method is stopped, the processing ends.
If it is determined that the process of the license plate classification method is not stopped, the process proceeds to step S101.

図４に基づいて、ナンバープレート分類処理（Ｓ１１０）を説明する。
ステップＳ１１１において、背景色判定部１１５は、赤外線画像に基づいて、ナンバープレート２１１の背景色が事業用プレート色であるか判定する。
ナンバープレート２１１の背景色は、数字または文字が記載されていない部分（背景）の色である。
事業用プレート色は、図柄無しの事業用プレートの背景色として定められた色である。具体的には、事業用プレート色は黒色または深緑色である。
事業用プレートは、事業用車両に付けられるナンバープレートであり、事業用ナンバープレートともいう。 The license plate classification process (S110) will be described with reference to FIG.
In step S111, the background color determination unit 115 determines whether the background color of the license plate 211 is the commercial plate color based on the infrared image.
The background color of the license plate 211 is the color of the portion (background) on which numbers or letters are not described.
The business plate color is a color defined as the background color of the business plate without a pattern. Specifically, the commercial plate color is black or dark green.
The business plate is a license plate attached to a business vehicle, and is also called a business license plate.

具体的には、背景色判定部１１５は、赤外線画像のプレート部分を分析することによって、ナンバープレート２１１の背景色が黒色と白色とのいずれに近いか判定する。
ナンバープレート２１１の背景色が黒色に近い場合、背景色判定部１１５は、ナンバープレート２１１の背景色が事業用プレート色であると判定する。
ナンバープレート２１１の背景色が白色に近い場合、背景色判定部１１５は、ナンバープレート２１１の背景色が自家用プレート色であると判定する。
自家用プレート色は、自家用プレートの背景色として定められた色である。具体的には、自家用プレート色は白色または黄色である。
自家用プレートは、自家用車両に付けられるナンバープレートであり、自家用ナンバープレートともいう。 Specifically, the background color determination unit 115 determines whether the background color of the license plate 211 is closer to black or white by analyzing the plate portion of the infrared image.
When the background color of the license plate 211 is close to black, the background color determination unit 115 determines that the background color of the license plate 211 is the commercial plate color.
When the background color of the license plate 211 is close to white, the background color determination unit 115 determines that the background color of the license plate 211 is the private plate color.
The private plate color is a color defined as the background color of the private plate. Specifically, the color of the private plate is white or yellow.
The private plate is a license plate attached to a private vehicle, and is also called a private license plate.

ナンバープレート２１１の背景色が事業用プレート色である場合、処理はステップＳ１１２に進む。
ナンバープレート２１１の背景色が事業用プレート色でない場合、処理はステップＳ１１３に進む。 When the background color of the license plate 211 is the business plate color, the process proceeds to step S112.
If the background color of the license plate 211 is not the business plate color, the process proceeds to step S113.

ステップＳ１１２において、分類部１１８は、ナンバープレート２１１を図柄無し事業用プレートに分類する。
図柄無し事業用プレートは、図柄が描かれていない事業用プレートである。
ステップＳ１１２の後、ナンバープレート分類処理（Ｓ１１０）は終了する。 In step S112, the classification unit 118 classifies the license plate 211 into a symbolless business plate.
A business plate without a design is a business plate on which no design is drawn.
After step S112, the license plate classification process (S110) ends.

ステップＳ１１３において、枠判定部１１６は、カラー画像に基づいて、ナンバープレート２１１が事業用プレート枠を有するか判定する。
事業用プレート枠は、図柄入りの事業用プレートが有する枠として定められた枠であり、定められた色で塗られる。具体的には、事業用プレート枠の色は緑色である。 In step S113, the frame determination unit 116 determines whether the license plate 211 has a business plate frame based on the color image.
The business plate frame is a frame defined as a frame possessed by a business plate with a pattern, and is painted in a specified color. Specifically, the color of the commercial plate frame is green.

具体的には、枠判定部１１６は、カラー画像のプレート部分を分析することによって、ナンバープレート２１１が緑色の枠を有するか判定する。
ナンバープレート２１１が緑色の枠を有する場合、枠判定部１１６は、ナンバープレート２１１が事業用プレート枠を有すると判定する。
ナンバープレート２１１が緑色の枠を有さない場合、枠判定部１１６は、ナンバープレート２１１が事業用プレート枠を有さないと判定する。 Specifically, the frame determination unit 116 determines whether the license plate 211 has a green frame by analyzing the plate portion of the color image.
When the license plate 211 has a green frame, the frame determination unit 116 determines that the license plate 211 has a business plate frame.
When the license plate 211 does not have a green frame, the frame determination unit 116 determines that the license plate 211 does not have a business plate frame.

ナンバープレート２１１が事業用プレート枠を有する場合、処理はステップＳ１１４に進む。
ナンバープレート２１１が事業用プレート枠を有さない場合、処理はステップＳ１１５に進む。 If the license plate 211 has a commercial plate frame, the process proceeds to step S114.
If the license plate 211 does not have a commercial plate frame, the process proceeds to step S115.

ステップＳ１１４において、分類部１１８は、ナンバープレート２１１を図柄入り事業用プレートに分類する。
図柄入り事業用プレートは、図柄が描かれた事業用プレートである。図柄は、赤外線を反射する塗料を用いて事業用プレートに描かれる。
ステップＳ１１４の後、ナンバープレート分類処理（Ｓ１１０）は終了する。 In step S114, the classification unit 118 classifies the license plate 211 into a pattern-filled business plate.
A business plate with a design is a business plate on which a design is drawn. The design is drawn on a commercial plate using a paint that reflects infrared light.
After step S114, the license plate classification process (S110) ends.

ステップＳ１１５において、図柄判定部１１７は、カラー画像に基づいて、ナンバープレート２１１が図柄を有するか判定する。 In step S115, the symbol determination unit 117 determines whether the license plate 211 has a symbol based on the color image.

具体的には、分類部１１８は、カラー画像を分析することによって、ナンバープレート２１１が図柄を有するか判定する。 Specifically, the classification unit 118 determines whether the license plate 211 has a symbol by analyzing the color image.

ナンバープレート２１１が図柄を有する場合、処理はステップＳ１１６に進む。
ナンバープレート２１１が図柄を有さない場合、処理はステップＳ１１７に進む。 If the license plate 211 has a symbol, the process proceeds to step S116.
If the license plate 211 has no symbol, the process proceeds to step S117.

ステップＳ１１６において、分類部１１８は、ナンバープレート２１１を図柄入り自家用プレートに分類する。
図柄入り自家用プレートは、図柄が描かれた自家用プレートである。図柄は、赤外線を反射する塗料を用いて自家用プレートに描かれる。
ステップＳ１１６の後、ナンバープレート分類処理（Ｓ１１０）は終了する。 In step S116, the classification unit 118 classifies the license plate 211 into a private plate with a pattern.
A private plate with a design is a private plate on which a design is drawn. The design is drawn on a private plate using a paint that reflects infrared rays.
After step S116, the license plate classification process (S110) ends.

ステップＳ１１７において、分類部１１８は、ナンバープレート２１１を図柄無し自家用プレートに分類する。
図柄無し自家用プレートは、図柄が描かれていない自家用プレートである。
ステップＳ１１７の後、ナンバープレート分類処理（Ｓ１１０）は終了する。 In step S117, the classification unit 118 classifies the license plate 211 into a plate for private use without a symbol.
A private plate without a design is a private plate on which no design is drawn.
After step S117, the license plate classification process (S110) ends.

＊＊＊実施の形態１の効果＊＊＊
ナンバープレート２１１を図柄入り事業用プレートと図柄無し事業用プレートと図柄入り自家用プレートと図柄無し自家用プレートとのいずれかに分類することができる。
これにより、車両２１０の種類を判別することが可能となる。例えば、図柄入りのナンバープレートが付けられた事業用車両を判別することが可能となる。 *** Effect of Embodiment 1 ***
The license plate 211 can be classified into any of a business plate with a design, a business plate without a design, a private plate with a design, and a private plate without a design.
This makes it possible to determine the type of vehicle 210. For example, it is possible to identify a commercial vehicle having a license plate with a pattern.

＊＊＊他の構成＊＊＊
ステップＳ１０４（図３参照）において、カラー画像からプレート部分が見つからなかったが赤外線画像からプレート部分が見つかった場合、ナンバープレート分類装置１００は、ステップＳ１０５とステップＳ１１０の一部とステップＳ１０６とを実行してもよい。この場合、ナンバープレート分類装置１００は、ステップＳ１１０の一部として、ステップＳ１１１とステップＳ１１２とを実行する（図４参照）。 *** Other configurations ***
In step S104 (see FIG. 3), when the plate portion is not found in the color image but the plate portion is found in the infrared image, the license plate classification device 100 executes steps S105, a part of step S110, and step S106. You may. In this case, the license plate classification device 100 executes step S111 and step S112 as a part of step S110 (see FIG. 4).

ステップＳ１０４（図３参照）において、赤外線画像からプレート部分が見つからなかったがカラー画像からプレート部分が見つかった場合、ナンバープレート分類装置１００は、ステップＳ１０５とステップＳ１１０とステップＳ１０６とを実行してもよい。この場合、ナンバープレート分類装置１００は、ステップＳ１１１（図４参照）においてカラー画像に基づいてナンバープレートの背景色を判定する。 If the plate portion is not found in the infrared image but the plate portion is found in the color image in step S104 (see FIG. 3), the license plate classification device 100 may execute step S105, step S110, and step S106. good. In this case, the license plate classification device 100 determines the background color of the license plate based on the color image in step S111 (see FIG. 4).

ナンバープレート分類装置１００は、赤外線画像を用いずに動作してもよい。
この場合、ナンバープレート分類装置１００は、ステップＳ１０５（図３参照）においてカラー画像からナンバープレート２１１の記載情報を得る。また、ナンバープレート分類装置１００は、ステップＳ１１１（図４参照）においてカラー画像に基づいてナンバープレートの背景色を判定する。 The license plate classification device 100 may operate without using an infrared image.
In this case, the license plate classification device 100 obtains the description information of the license plate 211 from the color image in step S105 (see FIG. 3). Further, the license plate classification device 100 determines the background color of the license plate based on the color image in step S111 (see FIG. 4).

赤外線カメラ２２０とカラーカメラ２３０と照明２４０とは、制御部１１１の制御によらず、互いに同期して動作してもよい。例えば、制御部１１１の代わりに赤外線カメラ２２０とカラーカメラ２３０と照明２４０とのいずれかがタイミング信号を送信してもよい。 The infrared camera 220, the color camera 230, and the illumination 240 may operate in synchronization with each other regardless of the control of the control unit 111. For example, instead of the control unit 111, either the infrared camera 220, the color camera 230, or the illumination 240 may transmit a timing signal.

赤外線カメラ２２０とカラーカメラ２３０と照明２４０とにタイミング信号が送信されるタイミングは、同時であってもよいし、シフトされてもよい。
タイミング信号が赤外線カメラ２２０とカラーカメラ２３０と照明２４０とに同時に送信され、赤外線カメラ２２０とカラーカメラ２３０と照明２４０とにおいて動作のタイミングがシフトされてもよい。 The timing at which the timing signals are transmitted to the infrared camera 220, the color camera 230, and the illumination 240 may be simultaneous or may be shifted.
The timing signal may be simultaneously transmitted to the infrared camera 220, the color camera 230, and the illumination 240, and the timing of operation may be shifted between the infrared camera 220, the color camera 230, and the illumination 240.

制御部１１１は、赤外線画像とカラー画像とのそれぞれの輝度を分析し、分析結果に基づいて発光の要否を判定してもよい。発光が不要である場合、制御部１１１は、照明２４０の動作を停止する。例えば、制御部１１１は、次回以降、タイミング信号を照明２４０に送信しない。 The control unit 111 may analyze the brightness of each of the infrared image and the color image, and determine the necessity of light emission based on the analysis result. When the light emission is unnecessary, the control unit 111 stops the operation of the illumination 240. For example, the control unit 111 does not transmit the timing signal to the illumination 240 from the next time onward.

＊＊＊実施の形態の補足＊＊＊
実施の形態は、好ましい形態の例示であり、本発明の技術的範囲を制限することを意図するものではない。実施の形態は、部分的に実施してもよいし、他の形態と組み合わせて実施してもよい。フローチャート等を用いて説明した手順は、適宜に変更してもよい。 *** Supplement to the embodiment ***
The embodiments are examples of preferred embodiments and are not intended to limit the technical scope of the invention. The embodiment may be partially implemented or may be implemented in combination with other embodiments. The procedure described using the flowchart or the like may be appropriately changed.

１００ ナンバープレート分類装置、１０１ プロセッサ、１０２ メモリ、１０３ 補助記憶装置、１０４ 入出力インタフェース、１１１ 制御部、１１２ 画像受付部、１１３ 検索部、１１４ 認識部、１１５ 背景色判定部、１１６ 枠判定部、１１７ 図柄判定部、１１８ 分類部、１１９ 出力部、１２０ 記憶部、２００ ナンバープレート分類システム、２１０ 車両、２１１ ナンバープレート、２２０ 赤外線カメラ、２２１ レンズ、２３０ カラーカメラ、２３１ レンズ、２４０ 照明。 100 license plate sorter, 101 processor, 102 memory, 103 auxiliary storage device, 104 input / output interface, 111 control unit, 112 image reception unit, 113 search unit, 114 recognition unit, 115 background color determination unit, 116 frame determination unit, 117 Design judgment unit, 118 classification unit, 119 output unit, 120 storage unit, 200 license plate classification system, 210 vehicle, 211 license plate, 220 infrared camera, 221 lens, 230 color camera, 231 lens, 240 lighting.

Claims (7)

ナンバープレートが映っている赤外線画像に基づいて前記ナンバープレートの背景色が事業用プレート色であるか判定する背景色判定部と、
前記ナンバープレートが映っているカラー画像に基づいて前記ナンバープレートが事業用プレート枠を有するか判定する枠判定部と、
前記ナンバープレートの前記背景色が前記事業用プレート色である場合に前記ナンバープレートを図柄無し事業用プレートに分類し、前記ナンバープレートの前記背景色が前記事業用プレート色ではないが前記ナンバープレートが前記事業用プレート枠を有する場合に前記ナンバープレートを図柄入り事業用プレートに分類し、前記ナンバープレートの前記背景色が前記事業用プレート色ではなく前記ナンバープレートが前記事業用プレート枠を有さない場合に前記ナンバープレートを自家用プレートに分類する分類部と
を備えるナンバープレート分類装置。 A background color determination unit that determines whether the background color of the license plate is a commercial plate color based on an infrared image showing the license plate, and
A frame determination unit that determines whether the license plate has a commercial plate frame based on a color image showing the license plate, and a frame determination unit.
When the background color of the license plate is the business plate color, the license plate is classified into a designless business plate, and the license plate is not the business plate color but the license plate When the license plate has the business plate frame, the license plate is classified into a business plate with a pattern, and the background color of the license plate is not the business plate color and the license plate does not have the business plate frame. A license plate classification device including a classification unit that classifies the license plate into a private plate in some cases. 前記枠判定部は、前記赤外線画像に基づいて前記ナンバープレートの前記背景色が前記事業用プレート色でないと判定された場合に、前記カラー画像に基づいて前記ナンバープレートが前記事業用プレート枠を有するか判定する
請求項１に記載のナンバープレート分類装置。 When the background color of the license plate is determined not to be the business plate color based on the infrared image, the frame determination unit has the license plate having the business plate frame based on the color image. The license plate classification device according to claim 1. 前記ナンバープレート分類装置は、さらに、
前記カラー画像に基づいて前記ナンバープレートが図柄を有するか判定する図柄判定部を備え、
前記分類部は、
前記ナンバープレートの前記背景色が前記事業用プレート色ではなく前記ナンバープレートが前記事業用プレート枠を有さず前記ナンバープレートが図柄を有する場合に前記ナンバープレートを図柄入り自家用プレートに分類し、
前記ナンバープレートの前記背景色が前記事業用プレート色ではなく前記ナンバープレートが前記事業用プレート枠を有さず前記ナンバープレートが図柄を有さない場合に前記ナンバープレートを図柄無し自家用プレートに分類する
請求項１に記載のナンバープレート分類装置。 The license plate classification device further
A symbol determination unit for determining whether the license plate has a symbol based on the color image is provided.
The classification unit
When the background color of the license plate is not the color of the business plate and the license plate does not have the business plate frame and the license plate has a design, the license plate is classified as a private plate with a design.
When the background color of the license plate is not the color of the business plate and the license plate does not have the business plate frame and the license plate has no design, the license plate is classified as a private plate without a design. The license plate classification device according to claim 1. 前記枠判定部は、前記赤外線画像に基づいて前記ナンバープレートの前記背景色が前記事業用プレート色でないと判定された場合に、前記カラー画像に基づいて前記ナンバープレートが前記事業用プレート枠を有するか判定し、
前記図柄判定部は、前記カラー画像に基づいて前記ナンバープレートが前記事業用プレート枠を有さないと判定された場合に、前記カラー画像に基づいて前記ナンバープレートが図柄を有するか判定する
請求項３に記載のナンバープレート分類装置。 When the background color of the license plate is determined not to be the business plate color based on the infrared image, the frame determination unit has the license plate having the business plate frame based on the color image. Judge
A claim that the symbol determination unit determines whether the license plate has a symbol based on the color image when it is determined that the license plate does not have the business plate frame based on the color image. The license plate classification device according to 3. 前記ナンバープレート分類装置は、さらに、
赤外線カメラとカラーカメラとを制御する制御部と、
前記赤外線カメラによって車両を撮影することによって得られる画像を前記赤外線画像として受け付け、前記カラーカメラによって前記車両を撮影することによって得られる画像を前記カラー画像として受け付ける画像受付部とを備える
請求項１から請求項４のいずれか１項に記載のナンバープレート分類装置。 The license plate classification device further
A control unit that controls an infrared camera and a color camera,
1 to claim 1, further comprising an image receiving unit that receives an image obtained by photographing a vehicle with the infrared camera as the infrared image and receives an image obtained by photographing the vehicle with the color camera as the color image. The number plate classification device according to any one of claims 4. 車両を撮影することによって赤外線画像を得る赤外線カメラと、
前記車両を撮影することによってカラー画像を得るカラーカメラと、
ナンバープレート分類装置とを備え、
前記ナンバープレート分類装置が
前記赤外線画像に基づいて前記赤外線画像に映っているナンバープレートの背景色が事業用プレート色であるか判定する背景色判定部と、
前記カラー画像に基づいて前記カラー画像に映っている前記ナンバープレートが事業用プレート枠を有するか判定する枠判定部と、
前記ナンバープレートの前記背景色が前記事業用プレート色である場合に前記ナンバープレートを図柄無し事業用プレートに分類し、前記ナンバープレートの前記背景色が前記事業用プレート色ではないが前記ナンバープレートが前記事業用プレート枠を有する場合に前記ナンバープレートを図柄入り事業用プレートに分類し、前記ナンバープレートの前記背景色が前記事業用プレート色ではなく前記ナンバープレートが前記事業用プレート枠を有さない場合に前記ナンバープレートを自家用プレートに分類する分類部とを備える
ナンバープレート分類システム。 An infrared camera that obtains an infrared image by taking a picture of the vehicle,
A color camera that obtains a color image by photographing the vehicle, and
Equipped with a license plate sorting device
Based on the infrared image, the license plate classification device determines whether the background color of the license plate reflected in the infrared image is the commercial plate color, and a background color determination unit.
A frame determination unit that determines whether the license plate shown in the color image has a commercial plate frame based on the color image, and
When the background color of the license plate is the business plate color, the license plate is classified into a designless business plate, and the license plate is not the business plate color but the license plate When the license plate has the business plate frame, the license plate is classified into a business plate with a pattern, and the background color of the license plate is not the business plate color and the license plate does not have the business plate frame. A license plate classification system including a classification unit that classifies the license plate into a private plate in some cases. ナンバープレートが映っている赤外線画像に基づいて前記ナンバープレートの背景色が事業用プレート色であるか判定する背景色判定部と、
前記ナンバープレートが映っているカラー画像に基づいて前記ナンバープレートが事業用プレート枠を有するか判定する枠判定部と、
前記ナンバープレートの前記背景色が前記事業用プレート色である場合に前記ナンバープレートを図柄無し事業用プレートに分類し、前記ナンバープレートの前記背景色が前記事業用プレート色ではないが前記ナンバープレートが前記事業用プレート枠を有する場合に前記ナンバープレートを図柄入り事業用プレートに分類し、前記ナンバープレートの前記背景色が前記事業用プレート色ではなく前記ナンバープレートが前記事業用プレート枠を有さない場合に前記ナンバープレートを自家用プレートに分類する分類部
としてコンピュータを機能させるためのナンバープレート分類プログラム。 A background color determination unit that determines whether the background color of the license plate is a commercial plate color based on an infrared image showing the license plate, and
A frame determination unit that determines whether the license plate has a commercial plate frame based on a color image showing the license plate, and a frame determination unit.
When the background color of the license plate is the business plate color, the license plate is classified into a designless business plate, and the license plate is not the business plate color but the license plate When the license plate has the business plate frame, the license plate is classified into a business plate with a pattern, and the background color of the license plate is not the business plate color and the license plate does not have the business plate frame. A license plate classification program for operating a computer as a classification unit that classifies the license plate into a private plate in some cases.
JP2018087105A 2018-04-27 2018-04-27 License plate classification device, license plate classification system and license plate classification program Active JP6945490B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018087105A JP6945490B2 (en) 2018-04-27 2018-04-27 License plate classification device, license plate classification system and license plate classification program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018087105A JP6945490B2 (en) 2018-04-27 2018-04-27 License plate classification device, license plate classification system and license plate classification program

Publications (2)

Publication Number Publication Date
JP2019192129A JP2019192129A (en) 2019-10-31
JP6945490B2 true JP6945490B2 (en) 2021-10-06

Family

ID=68390496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018087105A Active JP6945490B2 (en) 2018-04-27 2018-04-27 License plate classification device, license plate classification system and license plate classification program

Country Status (1)

Country Link
JP (1) JP6945490B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3926673B2 (en) * 2002-05-15 2007-06-06 富士通株式会社 Vehicle type identification device
JP2011113440A (en) * 2009-11-30 2011-06-09 Fujitsu Ltd Number plate recognition program and number plate recognition device
JP6459808B2 (en) * 2015-07-08 2019-01-30 オムロン株式会社 Image processing apparatus and traffic violation management system provided with the same
JP6620476B2 (en) * 2015-09-11 2019-12-18 オムロン株式会社 Vehicle type identification device, vehicle type identification method, and vehicle type identification program
JP6890427B2 (en) * 2017-01-26 2021-06-18 株式会社 日立産業制御ソリューションズ Car number recognition device
JP7011938B2 (en) * 2017-12-28 2022-01-27 新光電気工業株式会社 Loop type heat pipe and its manufacturing method

Also Published As

Publication number Publication date
JP2019192129A (en) 2019-10-31

Similar Documents

Publication Publication Date Title
US7724950B2 (en) Image processing apparatus, image processing method, computer program, and storage medium
US6942151B2 (en) Optical reader having decoding and image capturing functionality
US8794522B2 (en) Image capture apparatus and method
KR101030430B1 (en) Apparatus and method for processing image and computer readable medium stored thereon computer executable instruction for performing the method
US20100182454A1 (en) Two Stage Detection for Photographic Eye Artifacts
US9171224B2 (en) Method of improving contrast for text extraction and recognition applications
CN1717001A (en) Image processing apparatus and image-taking apparatus
IES20070820A2 (en) Method for improved red eye detection in ISO images
JP2009207146A (en) System and method for artistic scene image detection
CN111598065B (en) Depth image acquisition method, living body identification method, apparatus, circuit, and medium
US11956567B2 (en) Image capturing apparatus, control method, and computer-readable storage medium
US20230013850A1 (en) Image capturing apparatus, control method, and computer-readable storage medium
WO2018045712A1 (en) Method for identifying two-dimensional code image and mobile terminal
CN110070080A (en) A kind of character detecting method and device, equipment and computer readable storage medium
US9678322B2 (en) System and method for dating textured gelatin silver paper
JP2019220014A (en) Image analyzing apparatus, image analyzing method and program
JP6945490B2 (en) License plate classification device, license plate classification system and license plate classification program
US11503243B2 (en) Image capturing apparatus, device, control method, and computer-readable storage medium
CN111738901A (en) Storage medium and image processing apparatus
EP3715834A1 (en) Grain identification method and device, and computer storage medium
JP2005099920A (en) Image processor, image processing method and program
JP4500865B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP2020194281A (en) Reading system, reading method, program, storage medium, and mobile body
US11647272B2 (en) Image capturing apparatus, control method, and computer-readable storage medium
US11778313B2 (en) Image capturing apparatus, device, communication method, and non-transitory computer-readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200603

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210518

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210608

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210817

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210914

R150 Certificate of patent or registration of utility model

Ref document number: 6945490

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150