JP6139493B2 - License plate detection device and license plate detection method - Google Patents

License plate detection device and license plate detection method Download PDF

Info

Publication number
JP6139493B2
JP6139493B2 JP2014232623A JP2014232623A JP6139493B2 JP 6139493 B2 JP6139493 B2 JP 6139493B2 JP 2014232623 A JP2014232623 A JP 2014232623A JP 2014232623 A JP2014232623 A JP 2014232623A JP 6139493 B2 JP6139493 B2 JP 6139493B2
Authority
JP
Japan
Prior art keywords
image
license plate
imaging
partial
lane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014232623A
Other languages
Japanese (ja)
Other versions
JP2016095763A (en
Inventor
昌利 浅田
昌利 浅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric System Solutions Co Ltd
Original Assignee
Sumitomo Electric System Solutions Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric System Solutions Co Ltd filed Critical Sumitomo Electric System Solutions Co Ltd
Priority to JP2014232623A priority Critical patent/JP6139493B2/en
Publication of JP2016095763A publication Critical patent/JP2016095763A/en
Application granted granted Critical
Publication of JP6139493B2 publication Critical patent/JP6139493B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、所定の撮像周期で繰り返し撮像して得られた複数の撮像画像に基づいて車両のナンバープレートを検出するナンバープレート検出装置及びナンバープレート検出方法に関する。   The present invention relates to a license plate detection device and a license plate detection method for detecting a license plate of a vehicle based on a plurality of captured images obtained by repeated imaging at a predetermined imaging cycle.

近年、交通監視などの分野において、特定の車両を抽出する技術の1つとして車両のナンバープレートを読み取る技術が開発されている。このようなナンバープレートを読み取る技術は、高速道路における料金収受システム、交通流の計測システム、駐車場等の入出車両管理システムなどに利用することができる。   In recent years, in the field of traffic monitoring and the like, a technique for reading a license plate of a vehicle has been developed as one technique for extracting a specific vehicle. Such a technology for reading a license plate can be used for a toll collection system on a highway, a traffic flow measurement system, an entry / exit vehicle management system such as a parking lot, and the like.

また、このようなナンバープレートの読み取り技術として、例えば、通常の画像範囲を超えた対象範囲を処理するために複数のビデオカメラを用いて処理対象領域を分割し画像処理する技術が開示されている(特許文献1参照)。   Further, as such a license plate reading technique, for example, a technique is disclosed in which a processing target region is divided and image processing is performed using a plurality of video cameras in order to process a target range that exceeds a normal image range. (See Patent Document 1).

特開平7−105352号公報JP-A-7-105352

しかしながら、特許文献1の技術は、複数台のビデオカメラを使用するので、1台のビデオカメラを使用する場合に比べて、ビデオカメラの設置作業が増え、また費用も増加する。また、交通監視を行う場合、車線が複数ある道路では、すべての車線を走行する車両のナンバープレートを検出したいという要望もある。   However, since the technique of Patent Document 1 uses a plurality of video cameras, the video camera installation work increases and the cost also increases as compared with the case of using a single video camera. In addition, when performing traffic monitoring, there is a desire to detect license plates of vehicles traveling in all lanes on a road having a plurality of lanes.

本発明は、斯かる事情に鑑みてなされたものであり、費用対効果を向上させることができるナンバープレート検出装置及びナンバープレート検出方法を提供することを目的とする。   This invention is made | formed in view of such a situation, and it aims at providing the license plate detection apparatus and license plate detection method which can improve cost effectiveness.

本発明の実施の形態に係るナンバープレート検出装置は、一つの撮像装置によって所定領域を所定の撮像周期で繰り返し撮像して得られた複数の撮像画像に基づいて車両のナンバープレートを検出するナンバープレート検出装置であって、前記一つの撮像装置によって得られ、所定数の撮像周期に亘って前記所定領域が撮像された前記所定数の撮像画像それぞれから、前記撮像画像の前記所定領域の一部が撮像された画像であって前記撮像周期毎に領域が異なる部分画像を前記所定数切り出す画像切出部と、該画像切出部で切り出した各部分画像に基づいて車両のナンバープレートを検出する検出部とを備える。 A license plate detection device according to an embodiment of the present invention is a license plate that detects a license plate of a vehicle based on a plurality of captured images obtained by repeatedly imaging a predetermined area with a predetermined imaging cycle by a single imaging device. a detection device, the obtained by a single imaging apparatus, from the respective predetermined number of captured images prior Symbol predetermined region is captured over the imaging period of a predetermined number, a part of the predetermined region of the captured image detecting the license plate of the vehicle but on the basis of the partial image cut out by the image extraction portion and, the image cutout unit for cutting out the predetermined number of partial images areas are different for each of the imaging cycle a picture image captured A detecting unit.

本発明の実施の形態に係るナンバープレート検出方法は、一つの撮像装置によって所定領域を所定の撮像周期で繰り返し撮像して得られた複数の撮像画像に基づいて車両のナンバープレートを検出するナンバープレート検出方法であって、前記一つの撮像装置によって得られ、所定数の撮像周期に亘って前記所定領域が撮像された前記所定数の撮像画像それぞれから、前記撮像画像の前記所定領域の一部が撮像された画像であって前記撮像周期毎に領域が異なる該所定数の部分画像を画像切出部が切り出すステップと、切り出された各部分画像に基づいて車両のナンバープレートを検出部が検出するステップとを含む。 A license plate detection method according to an embodiment of the present invention is a license plate that detects a license plate of a vehicle based on a plurality of captured images obtained by repeatedly imaging a predetermined area with a predetermined imaging cycle by a single imaging device. the detection process, the obtained by a single imaging apparatus, from the respective predetermined number of captured images prior Symbol predetermined region is captured over the imaging period of a predetermined number, a part of the predetermined region of the captured image there the steps of cutting out the image cutting unit a partial image of the imaged images and a to the imaging period predetermined number of areas is different for each, the detection unit a number plate of the vehicle based on the partial image extracted Detecting.

本発明によれば、費用を抑制しつつ多くの車両のナンバープレートを検出することができ、費用対効果を向上させることができる。   According to the present invention, it is possible to detect a number of vehicle license plates while suppressing costs, and it is possible to improve cost effectiveness.

第1実施形態のナンバープレート検出装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the license plate detection apparatus of 1st Embodiment. 撮像画像の一例を示す模式図である。It is a schematic diagram which shows an example of a captured image. 第1実施形態のナンバープレート検出装置が切り出す部分画像の一例を示す模式図である。It is a schematic diagram which shows an example of the partial image which the license plate detection apparatus of 1st Embodiment cuts out. 第1実施形態のナンバープレート検出装置による部分画像の切り出しタイミングの一例を示すタイムチャートである。It is a time chart which shows an example of the extraction timing of the partial image by the license plate detection apparatus of 1st Embodiment. 第2実施形態のナンバープレート検出装置の構成の一例を示すブロック図である。It is a block diagram which shows an example of a structure of the license plate detection apparatus of 2nd Embodiment. 第2実施形態のナンバープレート検出装置が切り出す部分画像の一例を示す模式図である。It is a schematic diagram which shows an example of the partial image which the license plate detection apparatus of 2nd Embodiment cuts out. 第2実施形態のナンバープレート検出装置による部分画像の切り出しタイミングの一例を示すタイムチャートである。It is a time chart which shows an example of the extraction timing of the partial image by the license plate detection apparatus of 2nd Embodiment. 本実施の形態のナンバープレート検出装置の処理手順の一例を示すフローチャートである。It is a flowchart which shows an example of the process sequence of the license plate detection apparatus of this Embodiment.

[本願発明の実施形態の説明]
(1)本発明の実施の形態に係るナンバープレート検出装置は、所定の撮像周期で繰り返し撮像して得られた複数の撮像画像に基づいて車両のナンバープレートを検出するナンバープレート検出装置であって、所定数の撮像周期に亘って得られた撮像画像それぞれから、該撮像画像の一部であって前記撮像周期毎に領域が異なる該所定数の部分画像を切り出す画像切出部と、該画像切出部で切り出した各部分画像に基づいて車両のナンバープレートを検出する検出部とを備える。
[Description of Embodiment of Present Invention]
(1) A license plate detection apparatus according to an embodiment of the present invention is a license plate detection apparatus that detects a license plate of a vehicle based on a plurality of captured images obtained by repeatedly capturing images at a predetermined imaging cycle. An image cutout unit that cuts out the predetermined number of partial images that are part of the captured image and have different areas for each imaging cycle from each of the captured images obtained over a predetermined number of imaging cycles; A detection unit that detects a license plate of the vehicle based on each partial image cut out by the cutout unit.

(6)本発明の実施の形態に係るナンバープレート検出方法は、所定の撮像周期で繰り返し撮像して得られた複数の撮像画像に基づいて車両のナンバープレートを検出するナンバープレート検出方法であって、所定数の撮像周期に亘って得られた撮像画像それぞれから、該撮像画像の一部であって前記撮像周期毎に領域が異なる該所定数の部分画像を画像切出部が切り出すステップと、切り出された各部分画像に基づいて車両のナンバープレートを検出部が検出するステップとを含む。 (6) A license plate detection method according to an embodiment of the present invention is a license plate detection method for detecting a license plate of a vehicle based on a plurality of captured images obtained by repeatedly capturing images at a predetermined imaging cycle. An image cutout unit that cuts out the predetermined number of partial images that are part of the captured image and have different regions for each imaging cycle, from each of the captured images obtained over a predetermined number of imaging cycles; And a step of detecting a license plate of the vehicle based on each cut out partial image.

画像切出部は、所定数の撮像周期に亘って得られた撮像画像それぞれから、撮像画像の一部であって撮像周期毎に領域が異なる所定数の部分画像を切り出す。例えば、道路が片側二車線の場合、撮像画像は二車線の道路を撮像した画像である。また、所定数は車線の数とすることができ、片側二車線の場合、所定数は2となる。便宜上車線を、車線1、車線2とする。撮像周期を順番にT1、T2、T3、T4…と表すと、画像切出部は、撮像周期T1において車線1を含む部分画像を切り出し、次の撮像周期T2において、車線2を含む部分画像を切り出す。所定数が2であるので、次の撮像周期T3では、車線1に戻って車線1を含む部分画像を切り出し、次の撮像周期T4において、車線2を含む部分画像を切り出す。以降、同様の処理を繰り返す。   The image cutout unit cuts out a predetermined number of partial images that are part of the captured image and have different areas for each imaging cycle, from each of the captured images obtained over a predetermined number of imaging cycles. For example, when the road is a two-lane road, the captured image is an image of a two-lane road. Further, the predetermined number can be the number of lanes, and in the case of two lanes on one side, the predetermined number is 2. For convenience, the lanes are lane 1 and lane 2. When the imaging cycle is expressed as T1, T2, T3, T4,... In order, the image cutout unit cuts out the partial image including the lane 1 in the imaging cycle T1, and the partial image including the lane 2 in the next imaging cycle T2. cut. Since the predetermined number is 2, in the next imaging cycle T3, the partial image including the lane 1 is cut out after returning to the lane 1, and the partial image including the lane 2 is cut out in the next imaging cycle T4. Thereafter, the same processing is repeated.

検出部は、画像切出部で切り出した各部分画像に基づいて車両のナンバープレートを検出する。すなわち、撮像周期T1において切り出した部分画像に基づいて車線1を走行する車両のナンバープレートを検出し、撮像周期T2において切り出した部分画像に基づいて車線2を走行する車両のナンバープレートを検出する。所定数が2であるので、次の撮像周期T3では切り出した部分画像に基づいて車線1を走行する車両のナンバープレートを検出し、撮像周期T4では切り出した部分画像に基づいて車線2を走行する車両のナンバープレートを検出する。以降、同様の処理を繰り返す。   A detection part detects the license plate of a vehicle based on each partial image cut out by the image cutout part. That is, the license plate of the vehicle traveling in the lane 1 is detected based on the partial image cut out in the imaging cycle T1, and the license plate of the vehicle traveling in the lane 2 is detected based on the partial image cut out in the imaging cycle T2. Since the predetermined number is 2, in the next imaging cycle T3, the number plate of the vehicle traveling in the lane 1 is detected based on the cut out partial image, and in the imaging cycle T4, the vehicle travels in the lane 2 based on the cut out partial image. Detect the vehicle license plate. Thereafter, the same processing is repeated.

上述の構成により、1台の撮像装置(ビデオカメラ等)で撮像した撮像画像で道路の一方向のすべての車線を走行する車両のナンバープレートを検出することができるので、複数台の撮像装置を設置する必要がない。また、撮像画像のうち、車線毎に対応する部分画像を切り出すので、撮像画像全体に対して画像処理を施す場合に比べて、撮像画像よりも小さい部分画像に対して画像処理を施せばよいので、処理負荷を軽減することができ、装置が高価になることを抑制することができる。これにより、費用を抑制しつつ多くの車両のナンバープレートを検出することができ、費用対効果を向上させることができる。   With the above-described configuration, it is possible to detect a license plate of a vehicle traveling in all lanes in one direction of the road from a captured image captured by one imaging device (such as a video camera). There is no need to install. Moreover, since a partial image corresponding to each lane is cut out from the captured image, it is only necessary to perform image processing on a partial image smaller than the captured image, as compared with the case where image processing is performed on the entire captured image. The processing load can be reduced, and the apparatus can be prevented from becoming expensive. Thereby, it is possible to detect the number plates of many vehicles while suppressing costs, and to improve cost effectiveness.

(2)本発明の実施の形態に係るナンバープレート検出装置は、前記複数の撮像画像それぞれの撮像時の露光量を前記撮像周期毎に調整する調整部を備え、前記画像切出部は、前記調整部で露光量が調整された部分画像を切り出すようにしてある。 (2) The license plate detection apparatus according to an embodiment of the present invention includes an adjustment unit that adjusts an exposure amount at the time of imaging of each of the plurality of captured images for each imaging cycle, and the image cutout unit includes: A partial image whose exposure amount has been adjusted by the adjustment unit is cut out.

調整部は、複数の撮像画像それぞれの撮像時の露光量を撮像周期毎に調整する。例えば、片側二車線の道路の車線1は建物や他の構造物の陰となっており、画像が暗い(輝度が低い)とし、他方の車線2は物陰となっておらず比較的画像が明るい(輝度が高い)とする。この場合、撮像周期T1において車線1を含む部分画像を切り出す際に、撮像周期T1では露光量E1で撮像する。また、撮像周期T2において車線2を含む部分画像を切り出す際に、撮像周期T2では露光量E2(<E1)で撮像する。以降、同様の処理を繰り返す。   The adjustment unit adjusts the exposure amount at the time of capturing each of the plurality of captured images for each imaging cycle. For example, a lane 1 on a road with two lanes on one side is shaded by a building or other structure, and the image is dark (low brightness), and the other lane 2 is not shaded and is relatively bright. (Brightness is high). In this case, when the partial image including the lane 1 is cut out in the imaging cycle T1, the imaging is performed with the exposure amount E1 in the imaging cycle T1. Further, when a partial image including the lane 2 is cut out in the imaging cycle T2, the imaging is performed with the exposure amount E2 (<E1) in the imaging cycle T2. Thereafter, the same processing is repeated.

画像切出部は、調整部で露光量が調整された部分画像を切り出す。すなわち、輝度が低い車線1を含む部分画像は、撮像時点で露光量を多くしてあるので、画像全体の輝度を高くして、画像を鮮明にしてナンバープレートの文字部と背景部との輝度差を大きくすることができ、精度良くナンバープレートを検出することができる。また、輝度が高い車線2を含む部分画像は、撮像時点で露光量を少なくしてあるので、コントラストを調整してナンバープレートの文字部と背景部との輝度差を大きくすることができ、精度良くナンバープレートを検出することができる。これにより、屋外の天候変化、日照条件の変化により、各車線の明るさが変動する場合でも、車線毎に輝度を調整した部分画像を切り出すので、ナンバープレートの検出精度を高めることができる。   The image cutout unit cuts out the partial image whose exposure amount has been adjusted by the adjustment unit. That is, since the partial image including the lane 1 with low luminance has a large exposure amount at the time of imaging, the luminance of the character portion and the background portion of the license plate is increased by increasing the luminance of the entire image and making the image clear. The difference can be increased and the license plate can be detected with high accuracy. In addition, since the partial image including the lane 2 with high luminance has a small exposure amount at the time of imaging, the contrast can be adjusted to increase the luminance difference between the character portion and the background portion of the license plate. The license plate can be detected well. Thereby, even when the brightness of each lane fluctuates due to outdoor weather changes and changes in sunshine conditions, a partial image whose luminance is adjusted for each lane is cut out, so that the detection accuracy of the license plate can be increased.

(3)本発明の実施の形態に係るナンバープレート検出装置は、前記画像切出部は、隣り合う撮像周期にて切り出した部分画像それぞれの一部領域で重なるように部分画像を切り出すようにしてある。 (3) In the license plate detection apparatus according to the embodiment of the present invention, the image cutout unit cuts out partial images so as to overlap each partial region cut out in adjacent imaging cycles. is there.

画像切出部は、隣り合う撮像周期にて切り出した部分画像それぞれの一部領域で重なるように部分画像を切り出す。例えば、撮像周期T1で車線1を含む部分画像を切り出し、撮像周期T2で車線2を含む部分画像を切り出す場合、それぞれの部分画像は、車線1と車線2との車線境界線を含む一部領域で重なるようにする。これにより、車両が、例えば、車線1から車線2へ車線変更した場合に、車両のナンバープレートに対応する領域が車線境界線を移動するときでも、どちらかの部分画像に含まれるようにすることができ、車両のナンバープレートを確実に検出することができる。   The image cutout unit cuts out the partial images so as to overlap with partial areas of the partial images cut out at adjacent imaging cycles. For example, when a partial image including the lane 1 is cut out at the imaging cycle T1 and a partial image including the lane 2 is cut out at the imaging cycle T2, each partial image includes a partial region including a lane boundary line between the lane 1 and the lane 2 To overlap. Thus, for example, when the vehicle changes lanes from lane 1 to lane 2, even if the area corresponding to the license plate of the vehicle moves on the lane boundary line, it is included in one of the partial images. And the license plate of the vehicle can be reliably detected.

(4)本発明の実施の形態に係るナンバープレート検出装置は、前記画像切出部は、前記一部領域がナンバープレートを撮像した撮像領域を含む大きさとなるように部分画像を切り出すようにしてある。 (4) In the license plate detection device according to the embodiment of the present invention, the image cutout unit cuts out the partial image so that the partial region has a size including an imaging region obtained by imaging the license plate. is there.

画像切出部は、一部領域がナンバープレートを撮像した撮像領域を含む大きさとなるように部分画像を切り出す。これにより、車両が、例えば、車線1から車線2へ車線変更した場合に、車両のナンバープレートを撮像した撮像領域がどちらかの部分画像の一部領域に含まれるようにすることができ、車両のナンバープレートを確実に検出することができる。   The image cutout section cuts out the partial image so that the partial area has a size including the imaging area obtained by imaging the license plate. Thus, for example, when the vehicle changes lanes from lane 1 to lane 2, the imaging area obtained by imaging the license plate of the vehicle can be included in a partial area of one of the partial images. The license plate can be reliably detected.

(5)本発明の実施の形態に係るナンバープレート検出装置は、前記検出部を前記所定数備え、前記画像切出部で切り出した前記所定数の部分画像を前記検出部それぞれに分配する分配部を備える。 (5) A license plate detection device according to an embodiment of the present invention includes a predetermined number of the detection units, and a distribution unit that distributes the predetermined number of partial images cut out by the image cutout unit to the detection units. Is provided.

検出部を所定数備え、分配部は、画像切出部で切り出した所定数の部分画像を検出部それぞれに分配する。例えば、所定数を2とすると、検出部を2つ備える。例えば、撮像周期T1で車線1を含む部分画像を切り出し、撮像周期T2で車線2を含む部分画像を切り出す場合、分配部は、車線1を含む部分画像を一の検出部へ分配し、車線2含む部分画像を他の検出部へ分配する。これにより、1つの検出部へ送出するデータ量に制限がある場合(例えば、伝送量の上限)でも、データを所定数の検出部に分散させることができるので、撮像周期に合わせて車両のナンバープレートの検出処理を行うことができる。   A predetermined number of detection units are provided, and the distribution unit distributes the predetermined number of partial images cut out by the image cutout unit to the detection units. For example, if the predetermined number is 2, two detection units are provided. For example, when a partial image including the lane 1 is cut out at the imaging cycle T1 and a partial image including the lane 2 is extracted at the imaging cycle T2, the distribution unit distributes the partial image including the lane 1 to one detection unit, and the lane 2 The partial image to be included is distributed to other detection units. As a result, even when there is a limit on the amount of data sent to one detection unit (for example, the upper limit of the transmission amount), the data can be distributed to a predetermined number of detection units, so that the vehicle number is matched to the imaging cycle. Plate detection processing can be performed.

[本願発明の実施形態の詳細]
(第1実施形態)
以下、本発明を実施の形態を示す図面に基づいて説明する。図1は第1実施形態のナンバープレート検出装置100の構成の一例を示すブロック図である。ナンバープレート検出装置100には撮像装置200を接続してある。なお、ナンバープレート検出装置100に撮像装置200を組み込むこともできる。
[Details of the embodiment of the present invention]
(First embodiment)
Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments. FIG. 1 is a block diagram showing an example of the configuration of the license plate detection apparatus 100 according to the first embodiment. An imaging device 200 is connected to the license plate detection device 100. Note that the imaging device 200 may be incorporated into the license plate detection device 100.

撮像装置200は、道路を走行する車両を撮像すべく、所定の位置に設置される。   The imaging device 200 is installed at a predetermined position in order to image a vehicle traveling on a road.

図2は撮像画像の一例を示す模式図である。図2に示すように、道路が片側二車線である場合、撮像装置200が撮像する撮像画像は、車線1及び車線2を走行する車両のナンバープレートを検出することができるように、二車線の道路を撮像した画像である。   FIG. 2 is a schematic diagram illustrating an example of a captured image. As shown in FIG. 2, when the road is one side two lanes, the picked-up image picked up by the image pickup device 200 can detect the license plates of the two lanes so that the license plates of the vehicles traveling in the lane 1 and the lane 2 can be detected. It is the image which imaged the road.

撮像装置200は、所定の撮像周期(例えば、1秒間に30フレーム)で繰り返し撮像する。撮像装置200は、撮像して得られた撮像画像をフレーム単位でナンバープレート検出装置100へ出力する。また、撮像装置200は、ナンバープレート検出装置100からの露光量指示に応じて、撮像周期毎に露光量を調整して撮像する。具体的には、撮像装置200は、撮像周期毎にシャッタースピードを調整することができる。   The imaging device 200 repeatedly captures images at a predetermined imaging cycle (for example, 30 frames per second). The imaging apparatus 200 outputs a captured image obtained by imaging to the license plate detection apparatus 100 in units of frames. Further, the imaging device 200 adjusts the exposure amount for each imaging cycle in accordance with the exposure amount instruction from the license plate detection device 100 to capture an image. Specifically, the imaging apparatus 200 can adjust the shutter speed for each imaging cycle.

図1に示すように、ナンバープレート検出装置100は、装置全体を制御する制御部10、露光量指示部20、通信部30、画像処理部40、プレート検出部50、メモリ60、画像処理部70、プレート検出部80、メモリ90などを備える。また、画像処理部40は、さらに、画像切出部41、分配部42などを備える。画像処理部40と画像処理部70との相違は、画像処理部40が画像切出部41、分配部42などを備える点である。また、プレート検出部50、80は同一構成とすることができる。   As shown in FIG. 1, a license plate detection apparatus 100 includes a control unit 10 that controls the entire apparatus, an exposure amount instruction unit 20, a communication unit 30, an image processing unit 40, a plate detection unit 50, a memory 60, and an image processing unit 70. , A plate detector 80, a memory 90, and the like. The image processing unit 40 further includes an image cutout unit 41, a distribution unit 42, and the like. The difference between the image processing unit 40 and the image processing unit 70 is that the image processing unit 40 includes an image cutout unit 41, a distribution unit 42, and the like. In addition, the plate detectors 50 and 80 can have the same configuration.

画像処理部40は、撮像装置200が出力した撮像画像をフレーム単位で取得する。   The image processing unit 40 acquires the captured image output by the imaging device 200 in units of frames.

画像切出部41は、所定数の撮像周期に亘って得られた撮像画像それぞれから、撮像画像の一部であって撮像周期毎に領域が異なる所定数の部分画像を切り出す。   The image cutout unit 41 cuts out a predetermined number of partial images that are part of the captured image and have different areas for each imaging cycle, from each of the captured images obtained over a predetermined number of imaging cycles.

図3は第1実施形態のナンバープレート検出装置100が切り出す部分画像の一例を示す模式図である。図3に示す撮像画像は図2と同一である。所定数は車線の数とすることができ、図3に示すように、道路が片側二車線の場合、所定数は2とすることができる。なお、便宜上車線を、車線1、車線2とする。車線1と車線2との境界には、車線境界線が設けられている。図3に示すように、所定数が2であるので、画像切出部41は、車線1を含む画像として部分画像A1を切り出し、車線2を含む画像として部分画像A2を切り出す。部分画像A1、A2は、いずれも撮像画像の一部であり、両者は車線境界線を含む一部領域(図3中、符号dで示す範囲)で重複するようにしてある。   FIG. 3 is a schematic diagram illustrating an example of a partial image cut out by the license plate detection apparatus 100 according to the first embodiment. The captured image shown in FIG. 3 is the same as FIG. The predetermined number can be the number of lanes, and as shown in FIG. 3, the predetermined number can be two when the road has two lanes on one side. For convenience, the lanes are lane 1 and lane 2. A lane boundary line is provided at the boundary between the lane 1 and the lane 2. As shown in FIG. 3, since the predetermined number is 2, the image cutout unit 41 cuts out the partial image A1 as an image including the lane 1 and cuts out the partial image A2 as an image including the lane 2. The partial images A1 and A2 are both part of the captured image, and both overlap in a partial region including the lane boundary line (a range indicated by reference sign d in FIG. 3).

図4は第1実施形態のナンバープレート検出装置100による部分画像の切り出しタイミングの一例を示すタイムチャートである。図4に示すように、撮像画像の撮像周期を順番にT1、T2、T3、T4、T5…と表す。なお、フレームレートが毎秒30フレームである場合、各周期の時間は、約33msである。   FIG. 4 is a time chart illustrating an example of a partial image cut-out timing by the license plate detection apparatus 100 according to the first embodiment. As shown in FIG. 4, the imaging cycle of the captured image is expressed as T1, T2, T3, T4, T5. When the frame rate is 30 frames per second, the time of each cycle is about 33 ms.

画像切出部41は、撮像周期T1において車線1を含む部分画像A1を切り出し、次の撮像周期T2において、車線2を含む部分画像A2を切り出す。所定数が2であるので、次の撮像周期T3では、車線1に戻って車線1を含む部分画像A1を切り出し、次の撮像周期T4において、車線2を含む部分画像A2を切り出す。以降、同様の処理を繰り返す。なお、図4では、便宜上、切出画像が撮像画像のどの領域に対応するかを合せて描いている。例えば、部分画像A1は撮像画像のほぼ左半分となっており、部分画像A2は撮像画像のほぼ右半分となっている。   The image cutout unit 41 cuts out the partial image A1 including the lane 1 in the imaging cycle T1, and cuts out the partial image A2 including the lane 2 in the next imaging cycle T2. Since the predetermined number is 2, in the next imaging cycle T3, the partial image A1 including the lane 1 is cut out in the next imaging cycle T3, and the partial image A2 including the lane 2 is extracted in the next imaging cycle T4. Thereafter, the same processing is repeated. In FIG. 4, for convenience, the region of the captured image corresponding to the cutout image is drawn. For example, the partial image A1 is approximately the left half of the captured image, and the partial image A2 is approximately the right half of the captured image.

分配部42は、画像切出部41で切り出した所定数の部分画像をプレート検出部50、及び画像処理部70を介してプレート検出部80へ分配する。前述のように、所定数を2とすると、ナンバープレート検出装置100は、2つ(所定数)の画像処理部40、70、及びプレート検出部50、80を備える。すなわち、分配部42は、車線1を含む部分画像A1を一のプレート検出部50へ分配し、車線2含む部分画像A2を他のプレート検出部80へ分配する機能を有する。   The distribution unit 42 distributes the predetermined number of partial images cut out by the image cutout unit 41 to the plate detection unit 80 via the plate detection unit 50 and the image processing unit 70. As described above, when the predetermined number is 2, the license plate detection apparatus 100 includes two (predetermined number) image processing units 40 and 70 and plate detection units 50 and 80. That is, the distribution unit 42 has a function of distributing the partial image A1 including the lane 1 to the one plate detection unit 50 and distributing the partial image A2 including the lane 2 to the other plate detection unit 80.

より具体的には、画像処理部40は、画像切出部41が、撮像周期T1で切り出した車線1を含む部分画像A1に対して、自身で所定の画像処理を行う。そして、分配部42は、画像切出部41が、撮像周期T2で切り出した車線2を含む部分画像A2を画像処理部70へ出力する。画像処理部70は、撮像周期T2で切り出した車線2を含む部分画像A2に対して所定の画像処理を行う。   More specifically, the image processing unit 40 performs predetermined image processing on the partial image A1 including the lane 1 cut out by the image cutout unit 41 at the imaging cycle T1. Then, the distribution unit 42 outputs the partial image A2 including the lane 2 cut out by the image cutout unit 41 at the imaging cycle T2 to the image processing unit 70. The image processing unit 70 performs predetermined image processing on the partial image A2 including the lane 2 cut out at the imaging cycle T2.

画像処理部40は、例えば、部分画像のノイズ除去、色成分、輝度成分の抽出、明るさ(輝度)調整、色反転、ガンマ補正、グレースケール化、所要角回転処理などの画像処理を行う。また、画像処理部40は、平準化、特徴抽出フィルタ処理などを行った後に二値化処理、フレーム毎の差分処理など車両検出に必要な前処理を行う。また、画像処理部40は、車両の検出処理を行う。画像処理部40は、車両が検出された場合、検出結果をプレート検出部50へ出力する。なお、画像処理部70も画像処理部40と同様の画像処理を行う。   The image processing unit 40 performs image processing such as noise removal of partial images, extraction of color components and luminance components, brightness (luminance) adjustment, color inversion, gamma correction, gray scale conversion, and required angle rotation processing, for example. The image processing unit 40 performs pre-processing necessary for vehicle detection, such as binarization processing and difference processing for each frame after performing leveling and feature extraction filter processing. The image processing unit 40 performs vehicle detection processing. The image processing unit 40 outputs a detection result to the plate detection unit 50 when a vehicle is detected. Note that the image processing unit 70 performs the same image processing as the image processing unit 40.

プレート検出部50は、検出部としての機能を有し、車両のナンバープレートの位置を検出するとともに、検出したナンバープレート位置に基づいて、陸事コード、分類番号、平仮名、一連番号などの文字認識処理を行う。プレート検出部50は、文字認識処理の結果得られたナンバープレート情報を通信部30へ出力する。なお、プレート検出部80もプレート検出部50と同様の処理を行う。   The plate detection unit 50 has a function as a detection unit and detects the position of the license plate of the vehicle, and recognizes characters such as a land code, a classification number, a hiragana, and a serial number based on the detected license plate position. Process. The plate detection unit 50 outputs the license plate information obtained as a result of the character recognition process to the communication unit 30. The plate detection unit 80 performs the same processing as the plate detection unit 50.

メモリ60は、画像処理部40及びプレート検出部50での処理結果など所定のデータを記憶する。また、メモリ90は、画像処理部70及びプレート検出部80での処理結果など所定のデータを記憶する。   The memory 60 stores predetermined data such as processing results in the image processing unit 40 and the plate detection unit 50. Further, the memory 90 stores predetermined data such as processing results in the image processing unit 70 and the plate detection unit 80.

通信部30は、プレート検出部50、80で検出したナンバープレート情報を外部の装置へ送信する。なお、通信部30は、外部の装置から所要のデータを受信することもできる。   The communication unit 30 transmits the license plate information detected by the plate detection units 50 and 80 to an external device. Note that the communication unit 30 can also receive required data from an external device.

プレート検出部50、80は、画像切出部41で切り出した各部分画像に基づいて車両のナンバープレートを検出する。すなわち、プレート検出部50は、撮像周期T1において切り出した部分画像A1に基づいて車線1を走行する車両のナンバープレートを検出する。プレート検出部80は、撮像周期T2において切り出した部分画像A2に基づいて車線2を走行する車両のナンバープレートを検出する。所定数が2であるので、プレート検出部50は、次の撮像周期T3では切り出した部分画像A1に基づいて車線1を走行する車両のナンバープレートを検出し、プレート検出部80は、撮像周期T4では切り出した部分画像A2に基づいて車線2を走行する車両のナンバープレートを検出する。以降、同様の処理を繰り返す。なお、図1の例では、所定数の数だけプレート検出部を設ける構成であるが、プレート検出部は所定数に関わらず1つでもよい。   The plate detection units 50 and 80 detect the license plate of the vehicle based on each partial image cut out by the image cutout unit 41. That is, the plate detection unit 50 detects the license plate of the vehicle traveling in the lane 1 based on the partial image A1 cut out in the imaging cycle T1. The plate detector 80 detects the license plate of the vehicle traveling in the lane 2 based on the partial image A2 cut out in the imaging cycle T2. Since the predetermined number is 2, the plate detection unit 50 detects the license plate of the vehicle traveling in the lane 1 based on the cut out partial image A1 in the next imaging cycle T3, and the plate detection unit 80 detects the imaging cycle T4. Then, the license plate of the vehicle traveling in the lane 2 is detected based on the cut out partial image A2. Thereafter, the same processing is repeated. In the example of FIG. 1, a predetermined number of plate detection units are provided. However, the number of plate detection units may be one regardless of the predetermined number.

上述の構成により、1台の撮像装置200(ビデオカメラ等)で撮像した撮像画像で道路の一方向のすべての車線を走行する車両のナンバープレートを検出することができるので、複数台の撮像装置を設置する必要がない。また、撮像画像のうち、車線毎に対応する部分画像を切り出すので、撮像画像全体に対して画像処理を施す場合に比べて、撮像画像よりも小さい部分画像に対して画像処理を施せばよく、処理負荷を軽減することができ、装置が高価になることを抑制することができる。これにより、費用を抑制しつつ多くの車両のナンバープレートを検出することができ、費用対効果を向上させることができる。   With the above-described configuration, it is possible to detect a license plate of a vehicle traveling in all lanes in one direction of the road from a captured image captured by one imaging device 200 (such as a video camera), and thus a plurality of imaging devices. There is no need to install. In addition, since the partial image corresponding to each lane is cut out from the captured image, it is only necessary to perform image processing on a partial image smaller than the captured image, compared to performing image processing on the entire captured image. It is possible to reduce the processing load and to prevent the apparatus from becoming expensive. Thereby, it is possible to detect the number plates of many vehicles while suppressing costs, and to improve cost effectiveness.

また、前述のように、例えば、所定数を2とすると、プレート検出部を2つ備える。例えば、撮像周期T1で車線1を含む部分画像A1を切り出し、撮像周期T2で車線2を含む部分画像A2を切り出す場合、プレート検出部50が、車線1を含む部分画像A1に対してナンバープレートの検出処理を行い、プレート検出部80が、車線2含む部分画像A2に対してナンバープレートの検出処理を行う。これにより、1つのプレート検出部へ送出するデータ量に制限がある場合(例えば、画像処理部とプレート検出部との間のデータの伝送量の上限)でも、データを所定数のプレート検出部に分散させることができるので、撮像周期に合わせて車両のナンバープレートの検出処理を行うことができる。   As described above, for example, when the predetermined number is 2, two plate detection units are provided. For example, when the partial image A1 including the lane 1 is cut out at the imaging cycle T1 and the partial image A2 including the lane 2 is cut out at the imaging cycle T2, the plate detection unit 50 displays the license plate for the partial image A1 including the lane 1. A detection process is performed, and the plate detection unit 80 performs a license plate detection process on the partial image A2 including the lane 2. As a result, even when there is a limit on the amount of data sent to one plate detection unit (for example, the upper limit of the data transmission amount between the image processing unit and the plate detection unit), the data is transferred to a predetermined number of plate detection units. Since it can be dispersed, it is possible to detect the license plate of the vehicle in accordance with the imaging cycle.

露光量指示部20は、調整部としての機能を有し、制御部10の制御の下、複数の撮像画像それぞれの撮像時の露光量を撮像周期毎に調整する。例えば、図3において、片側二車線の道路の車線1は建物や他の構造物の陰となっており、画像が暗い(輝度が低い)とし、他方の車線2は物陰となっておらず比較的画像が明るい(輝度が高い)とする。この場合、図4に示すように、撮像周期T1において車線1を含む部分画像A1を切り出す際に、撮像周期T1では露光量E1で撮像する。また、撮像周期T2において車線2を含む部分画像A2を切り出す際に、撮像周期T2では露光量E2(<E1)で撮像する。以降、同様の処理を繰り返す。   The exposure amount instruction unit 20 has a function as an adjustment unit, and adjusts the exposure amount at the time of imaging of each of the plurality of captured images for each imaging period under the control of the control unit 10. For example, in FIG. 3, the lane 1 of a two-lane road is shaded by a building or other structure, the image is dark (low brightness), and the other lane 2 is not shaded. The target image is bright (high brightness). In this case, as shown in FIG. 4, when the partial image A1 including the lane 1 is cut out in the imaging cycle T1, the imaging is performed with the exposure amount E1 in the imaging cycle T1. Further, when the partial image A2 including the lane 2 is cut out in the imaging cycle T2, the imaging is performed with the exposure amount E2 (<E1) in the imaging cycle T2. Thereafter, the same processing is repeated.

なお、この場合、制御部10は、例えば、通信部30を介して外部の装置から取得した月日、時間帯毎の道路の各車線の日照条件、天候状況などに応じて道路の各車線の明るさを推定し、推定結果に基づいて露光量を調整するための指令を露光量指示部20へ出力すればよい。また、制御部10は、撮像装置200の露光量を基準値に設定した状態で、取得した撮像画像の輝度値に基づいて、道路の各車線の明るさを推定してもよい。   In this case, for example, the control unit 10 determines the lanes of the road according to the date and time, the sunshine condition of each lane of the road for each time zone, the weather conditions, etc. acquired from the external device via the communication unit 30. A command for estimating the brightness and adjusting the exposure amount based on the estimation result may be output to the exposure amount instruction unit 20. In addition, the control unit 10 may estimate the brightness of each lane on the road based on the acquired brightness value of the captured image in a state where the exposure amount of the imaging device 200 is set to the reference value.

そして、画像切出部41は、露光量が調整された部分画像A1、A2を切り出す。すなわち、輝度が低い車線1を含む部分画像A1は、撮像時点で露光量を多くしてあるので、画像全体の輝度を高くして、画像を鮮明にしてナンバープレートの文字部と背景部との輝度差を大きくすることができ、精度良くナンバープレートを検出することができる。また、輝度が高い車線2を含む部分画像A2は、撮像時点で露光量を少なくしてあるので、コントラストを調整してナンバープレートの文字部と背景部との輝度差を大きくすることができ、精度良くナンバープレートを検出することができる。これにより、屋外の天候変化、日照条件の変化により、各車線の明るさが変動する場合でも、車線毎に輝度を調整した部分画像を切り出すので、ナンバープレートの検出精度を高めることができる。   Then, the image cutout unit 41 cuts out the partial images A1 and A2 whose exposure amounts are adjusted. That is, since the partial image A1 including the lane 1 with low luminance has an increased exposure amount at the time of imaging, the luminance of the entire image is increased to make the image clear and the character portion and background portion of the license plate The brightness difference can be increased, and the license plate can be detected with high accuracy. In addition, since the partial image A2 including the lane 2 with high luminance has a reduced exposure amount at the time of imaging, the contrast can be adjusted to increase the luminance difference between the character portion and the background portion of the license plate, The license plate can be detected with high accuracy. Thereby, even when the brightness of each lane fluctuates due to outdoor weather changes and changes in sunshine conditions, a partial image whose luminance is adjusted for each lane is cut out, so that the detection accuracy of the license plate can be increased.

画像切出部41は、隣り合う撮像周期にて切り出した部分画像それぞれの一部領域で重なるように部分画像を切り出す。例えば、撮像周期T1で車線1を含む部分画像A1を切り出し、撮像周期T2で車線2を含む部分画像A2を切り出す場合、それぞれの部分画像A1、A2は、図3の符号dで示すように、車線1と車線2との車線境界線を含む一部領域で重なるようにする。これにより、車両が、例えば、車線1から車線2へ車線変更した場合に、車両のナンバープレートに対応する領域が車線境界線を移動するときでも、どちらかの部分画像に含まれるようにすることができ、車両のナンバープレートを確実に検出することができる。   The image cutout unit 41 cuts out partial images so as to overlap in partial areas of the partial images cut out at adjacent imaging cycles. For example, when the partial image A1 including the lane 1 is cut out at the imaging cycle T1 and the partial image A2 including the lane 2 is cut out at the imaging cycle T2, each of the partial images A1 and A2 is represented by a symbol d in FIG. It overlaps in a partial area including the lane boundary line between the lane 1 and the lane 2. Thus, for example, when the vehicle changes lanes from lane 1 to lane 2, even if the area corresponding to the license plate of the vehicle moves on the lane boundary line, it is included in one of the partial images. And the license plate of the vehicle can be reliably detected.

また、画像切出部41は、一部領域がナンバープレートを撮像した撮像領域を含む大きさとなるように部分画像を切り出す。図3の例では、一部領域の横方向の長さdが、ナンバープレートの大きさ(横方向の長さ)よりも長くなるように部分画像を切り出す。これにより、車両が、例えば、車線1から車線2へ車線変更した場合に、車両のナンバープレートを撮像した撮像領域がどちらかの部分画像の一部領域に含まれるようにすることができ、車両のナンバープレートを確実に検出することができる。   In addition, the image cutout unit 41 cuts out the partial image so that the partial area has a size including the imaging area obtained by imaging the license plate. In the example of FIG. 3, the partial image is cut out so that the horizontal length d of the partial region is longer than the size of the license plate (the horizontal length). Thus, for example, when the vehicle changes lanes from lane 1 to lane 2, the imaging area obtained by imaging the license plate of the vehicle can be included in a partial area of one of the partial images. The license plate can be reliably detected.

(第2実施形態)
上述の第1実施形態では、所定数を2とした。すなわち、撮像装置200で撮像する道路は、片側二車線の道路であった。道路の車線数は2に限定されるものではなく、3以上であってもよい。第2実施形態では、片側三車線の道路の場合、すなわち所定数が3の場合について説明する。
(Second Embodiment)
In the first embodiment, the predetermined number is 2. That is, the road imaged by the imaging device 200 is a one-lane two-lane road. The number of lanes on the road is not limited to two and may be three or more. In the second embodiment, a case of a three-lane road on one side, that is, a case where the predetermined number is three will be described.

図5は第2実施形態のナンバープレート検出装置110の構成の一例を示すブロック図である。図1に示す第1実施形態のナンバープレート検出装置100との相違点は、画像処理部71、プレート検出部81、メモリ91をさらに備え、いわゆる3系統の構成とした点である。画像処理部71、プレート検出部81、メモリ91は、それぞれ画像処理部70、プレート検出部80、メモリ90と同一の構成、機能を有する。   FIG. 5 is a block diagram showing an example of the configuration of the license plate detection device 110 of the second embodiment. The difference from the license plate detection apparatus 100 of the first embodiment shown in FIG. 1 is that it further includes an image processing unit 71, a plate detection unit 81, and a memory 91, and has a so-called three-system configuration. The image processing unit 71, the plate detection unit 81, and the memory 91 have the same configurations and functions as the image processing unit 70, the plate detection unit 80, and the memory 90, respectively.

画像切出部41は、切り出した部分画像を撮像周期毎に、画像処理部70、画像処理部71へ切り替えて出力する。以下、詳細に説明する。なお、第1実施形態と同一箇所は同一符号を付して説明を省略する。   The image cutout unit 41 switches and outputs the cut out partial image to the image processing unit 70 and the image processing unit 71 for each imaging cycle. Details will be described below. Note that the same portions as those in the first embodiment are denoted by the same reference numerals and description thereof is omitted.

図6は第2実施形態のナンバープレート検出装置110が切り出す部分画像の一例を示す模式図である。所定数は車線の数とすることができ、図6に示すように、道路が片側三車線の場合、所定数は3とすることができる。なお、便宜上車線を、車線1、車線2、車線3とする。車線1と車線2との境界、及び車線2と車線3との境界には、車線境界線が設けられている。図6に示すように、所定数が3であるので、画像切出部41は、車線1を含む画像として部分画像B1を切り出し、車線2を含む画像として部分画像B2を切り出し、車線3を含む画像として部分画像B3を切り出す。部分画像B1、B2、B3は、いずれも撮像画像の一部であり、隣り合う部分画像は車線境界線を含む一部領域(図6中、符号dで示す範囲)で重複するようにしてある。   FIG. 6 is a schematic diagram illustrating an example of a partial image cut out by the license plate detection device 110 according to the second embodiment. The predetermined number can be the number of lanes. As shown in FIG. 6, when the road has three lanes on one side, the predetermined number can be three. For convenience, the lanes are lane 1, lane 2, and lane 3. Lane boundaries are provided at the boundary between the lane 1 and the lane 2 and at the boundary between the lane 2 and the lane 3. As shown in FIG. 6, since the predetermined number is 3, the image cutout unit 41 cuts out the partial image B1 as an image including the lane 1, cuts out the partial image B2 as an image including the lane 2, and includes the lane 3. A partial image B3 is cut out as an image. Each of the partial images B1, B2, and B3 is a part of the captured image, and adjacent partial images are overlapped in a partial region including the lane boundary line (a range indicated by reference sign d in FIG. 6). .

図7は第2実施形態のナンバープレート検出装置110による部分画像の切り出しタイミングの一例を示すタイムチャートである。図7に示すように、撮像画像の撮像周期を順番にT1、T2、T3、T4、T5…と表す。なお、フレームレートが毎秒30フレームである場合、各周期の時間は、約33msである。   FIG. 7 is a time chart illustrating an example of a partial image cut-out timing by the license plate detection device 110 according to the second embodiment. As shown in FIG. 7, the imaging cycle of the captured image is expressed as T1, T2, T3, T4, T5. When the frame rate is 30 frames per second, the time of each cycle is about 33 ms.

画像切出部41は、撮像周期T1において車線1を含む部分画像B1を切り出し、次の撮像周期T2において、車線2を含む部分画像B2を切り出し、次の撮像周期T3において、車線3を含む部分画像B3を切り出す。所定数が3であるので、次の撮像周期T4では、車線1に戻って車線1を含む部分画像B1を切り出し、次の撮像周期T5において、車線2を含む部分画像B2を切り出す。以降、同様の処理を繰り返す。なお、図7では、便宜上、切出画像が撮像画像のどの領域に対応するかを合せて描いている。例えば、部分画像B1は撮像画像の左側ほぼ3分の1となっており、部分画像B2は撮像画像のほぼ中央で3分の1となっており、部分画像B3は撮像画像の右側ほぼ3分の1となっている。   The image cutout unit 41 cuts out the partial image B1 including the lane 1 in the imaging cycle T1, cuts out the partial image B2 including the lane 2 in the next imaging cycle T2, and includes the lane 3 in the next imaging cycle T3. The image B3 is cut out. Since the predetermined number is 3, in the next imaging cycle T4, the partial image B1 including the lane 1 is cut out in the next imaging cycle T4, and the partial image B2 including the lane 2 is extracted in the next imaging cycle T5. Thereafter, the same processing is repeated. In FIG. 7, for convenience, the region of the captured image corresponding to the extracted image is drawn together. For example, the partial image B1 is approximately one third on the left side of the captured image, the partial image B2 is approximately one third at the center of the captured image, and the partial image B3 is approximately three minutes on the right side of the captured image. It is 1 of.

画像処理部40は、画像切出部41が、撮像周期T1で切り出した車線1を含む部分画像B1に対して、自身で所定の画像処理を行う。そして、分配部42は、画像切出部41が、撮像周期T2で切り出した車線2を含む部分画像B2を画像処理部70へ出力し、撮像周期T3で切り出した車線3を含む部分画像B3を画像処理部71へ出力する。   The image processing unit 40 performs predetermined image processing on the partial image B1 including the lane 1 cut out by the image cutting unit 41 at the imaging cycle T1. Then, the distribution unit 42 outputs the partial image B2 including the lane 2 cut out by the image cutting unit 41 at the imaging cycle T2 to the image processing unit 70, and the partial image B3 including the lane 3 cut out at the imaging cycle T3. The image is output to the image processing unit 71.

画像処理部70は、撮像周期T2で切り出した車線2を含む部分画像B2に対して所定の画像処理を行う。また、画像処理部71は、撮像周期T3で切り出した車線3を含む部分画像B3に対して所定の画像処理を行う。   The image processing unit 70 performs predetermined image processing on the partial image B2 including the lane 2 cut out at the imaging cycle T2. Further, the image processing unit 71 performs predetermined image processing on the partial image B3 including the lane 3 cut out at the imaging cycle T3.

そして、プレート検出部50は、撮像周期T1で切り出した車線1を含む部分画像B1に対してナンバープレートの検出処理を行い、プレート検出部80は、撮像周期T2で切り出した車線2を含む部分画像B2に対してナンバープレートの検出処理を行い、プレート検出部81は、撮像周期T3で切り出した車線3を含む部分画像B3に対してナンバープレートの検出処理を行う。   The plate detection unit 50 performs a license plate detection process on the partial image B1 including the lane 1 cut out at the imaging cycle T1, and the plate detection unit 80 includes the partial image including the lane 2 cut out at the imaging cycle T2. The license plate detection process is performed on B2, and the plate detection unit 81 performs the license plate detection process on the partial image B3 including the lane 3 cut out at the imaging period T3.

また、図6において、片側三車線の道路の車線1は建物や他の構造物の陰となっており、画像が暗い(輝度が低い)とし、車線2はやや暗い程度であり、車線3は物陰となっておらず比較的画像が明るい(輝度が高い)とする。この場合、図7に示すように、撮像周期T1において車線1を含む部分画像B1を切り出す際に、撮像周期T1では露光量E11で撮像する。また、撮像周期T2において車線2を含む部分画像B2を切り出す際に、撮像周期T2では露光量E12(<E11)で撮像する。また、撮像周期T3において車線3を含む部分画像B3を切り出す際に、撮像周期T3では露光量E13(<E12)で撮像する。以降、同様の処理を繰り返す。   In FIG. 6, the lane 1 of the road with three lanes on one side is behind a building or other structure, the image is dark (the brightness is low), the lane 2 is slightly dark, and the lane 3 is It is assumed that the image is not shaded and the image is relatively bright (high brightness). In this case, as shown in FIG. 7, when the partial image B1 including the lane 1 is cut out in the imaging cycle T1, the imaging is performed with the exposure amount E11 in the imaging cycle T1. Further, when the partial image B2 including the lane 2 is cut out in the imaging cycle T2, the imaging is performed with the exposure amount E12 (<E11) in the imaging cycle T2. Further, when the partial image B3 including the lane 3 is cut out in the imaging cycle T3, imaging is performed with the exposure amount E13 (<E12) in the imaging cycle T3. Thereafter, the same processing is repeated.

上述の構成により、1台の撮像装置200(ビデオカメラ等)で撮像した撮像画像で道路の一方向のすべての車線を走行する車両のナンバープレートを検出することができるので、複数台の撮像装置を設置する必要がない。また、撮像画像のうち、車線毎に対応する部分画像を切り出すので、撮像画像全体に対して画像処理を施す場合に比べて、撮像画像よりも小さい部分画像に対して画像処理を施せばよく、処理負荷を軽減することができ、装置が高価になることを抑制することができる。これにより、費用を抑制しつつ多くの車両のナンバープレートを検出することができ、費用対効果を向上させることができる。   With the above-described configuration, it is possible to detect a license plate of a vehicle traveling in all lanes in one direction of the road from a captured image captured by one imaging device 200 (such as a video camera), and thus a plurality of imaging devices. There is no need to install. In addition, since the partial image corresponding to each lane is cut out from the captured image, it is only necessary to perform image processing on a partial image smaller than the captured image, compared to performing image processing on the entire captured image. It is possible to reduce the processing load and to prevent the apparatus from becoming expensive. Thereby, it is possible to detect the number plates of many vehicles while suppressing costs, and to improve cost effectiveness.

また、屋外の天候変化、日照条件の変化により、各車線の明るさが変動する場合でも、車線毎に輝度を調整した部分画像を切り出すので、ナンバープレートの検出精度を高めることができる。   Further, even when the brightness of each lane fluctuates due to outdoor weather changes and changes in sunshine conditions, a partial image with the brightness adjusted for each lane is cut out, so the license plate detection accuracy can be increased.

次に、第1実施形態及び第2実施形態(以下、本実施の形態ともいう)のナンバープレート検出装置の動作について説明する。図8は本実施の形態のナンバープレート検出装置の処理手順の一例を示すフローチャートである。なお、以下では、便宜上処理の主体を制御部10として説明する。制御部10は、計数用の符号Nを1とし(S11)、N番目の露光量を設定(指定)する(S12)。なお、Nは1から所定数までの整数である。   Next, the operation of the license plate detection apparatus of the first embodiment and the second embodiment (hereinafter also referred to as this embodiment) will be described. FIG. 8 is a flowchart showing an example of the processing procedure of the license plate detection apparatus of the present embodiment. In the following description, the subject of processing will be described as the control unit 10 for convenience. The control unit 10 sets the counting code N to 1 (S11), and sets (specifies) the Nth exposure amount (S12). N is an integer from 1 to a predetermined number.

制御部10は、任意の撮像周期において撮像画像を取得し(S13)、N番目の部分画像を切り出す(S14)。制御部10は、切り出した部分画像に基づいて、車両を検出し(S15)、検出した車両の位置に基づいてナンバープレートを検出し(S16)、検出したナンバープレートの位置から文字認識を行って(S17)、ナンバープレート情報を検出する。   The control unit 10 acquires a captured image in an arbitrary imaging cycle (S13), and cuts out the Nth partial image (S14). The control unit 10 detects the vehicle based on the cut out partial image (S15), detects the license plate based on the detected vehicle position (S16), and performs character recognition from the detected position of the license plate. (S17), license plate information is detected.

制御部10は、Nが所定数より大きいか否かを判定し(S18)、Nが所定数より大きくない場合(S18でNO)、Nに1を加算し(S19)、ステップS12以降の処理を繰り返す。Nが所定数より大きい場合(S18でYES)、制御部10は、処理を終了するか否かを判定し(S20)、処理を終了しない場合(S20でNO)、ステップS11以降の処理を繰り返す。処理を終了する場合(S20でYES)、制御部10は処理を終了する。   The control unit 10 determines whether or not N is larger than a predetermined number (S18). If N is not larger than the predetermined number (NO in S18), 1 is added to N (S19), and the processing after step S12 repeat. When N is larger than the predetermined number (YES in S18), the control unit 10 determines whether or not to end the process (S20), and when the process is not ended (NO in S20), the processes after step S11 are repeated. . When the process ends (YES in S20), the control unit 10 ends the process.

上述のとおり、本実施の形態によれば、1台の撮像装置で道路の全ての車線を撮像して車両のナンバープレートを検出するとともに、ナンバープレートを検出する際の画像処理の処理負荷を軽減することができ、費用対効果を向上させることができる。また、車線毎の部分画像の輝度を個別に調整することができるので、天候状況や日照条件の変動が存在する場合でも、ナンバープレートの検出精度を向上させることができる。   As described above, according to the present embodiment, a single imaging device captures all lanes of a road to detect a vehicle license plate and reduces the processing load of image processing when detecting a license plate. Can be cost-effective. In addition, since the brightness of the partial image for each lane can be individually adjusted, the detection accuracy of the license plate can be improved even when there is a change in weather conditions or sunshine conditions.

上述の実施の形態において、撮像装置のフレームレートは毎秒30フレームであったが、フレームレートはこれに限定されるものではなく、例えば、毎秒60フレームのフレームレートであってもよい。   In the above-described embodiment, the frame rate of the imaging apparatus is 30 frames per second. However, the frame rate is not limited to this, and may be, for example, a frame rate of 60 frames per second.

開示された実施の形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。   The disclosed embodiments are to be considered in all respects as illustrative and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

10 制御部
20 露光量指示部
30 通信部
40、70、71 画像処理部
41 画像切出部
42 分配部
50、80、81 プレート検出部
60、90、91 メモリ
100 ナンバープレート検出装置
200 撮像装置
DESCRIPTION OF SYMBOLS 10 Control part 20 Exposure amount instruction | indication part 30 Communication part 40, 70, 71 Image processing part 41 Image extraction part 42 Distribution part 50, 80, 81 Plate detection part 60, 90, 91 Memory 100 Number plate detection apparatus 200 Imaging device

Claims (6)

一つの撮像装置によって所定領域を所定の撮像周期で繰り返し撮像して得られた複数の撮像画像に基づいて車両のナンバープレートを検出するナンバープレート検出装置であって、
前記一つの撮像装置によって得られ、所定数の撮像周期に亘って前記所定領域が撮像された前記所定数の撮像画像それぞれから、前記撮像画像の前記所定領域の一部が撮像された画像であって前記撮像周期毎に領域が異なる部分画像を前記所定数切り出す画像切出部と、
該画像切出部で切り出した各部分画像に基づいて車両のナンバープレートを検出する検出部と
を備えるナンバープレート検出装置。
A license plate detection device that detects a license plate of a vehicle based on a plurality of captured images obtained by repeatedly imaging a predetermined area with a predetermined imaging cycle by one imaging device,
Obtained by the single image pickup device, from said respective predetermined number of captured images prior Symbol predetermined region is captured over the imaging period of a predetermined number, images a part of the predetermined region of the captured image was captured And an image cutout unit that cuts out the predetermined number of partial images having different regions for each imaging cycle,
A license plate detection apparatus comprising: a detection unit that detects a license plate of a vehicle based on each partial image cut out by the image cutout unit.
前記複数の撮像画像それぞれの撮像時の露光量を前記撮像周期毎に調整する調整部を備え、
前記画像切出部は、
前記調整部で露光量が調整された部分画像を切り出すようにしてある請求項1に記載のナンバープレート検出装置。
An adjustment unit that adjusts an exposure amount at the time of imaging each of the plurality of captured images for each imaging cycle;
The image cutout part is
The license plate detection apparatus according to claim 1, wherein a partial image whose exposure amount has been adjusted by the adjustment unit is cut out.
前記画像切出部は、
隣り合う撮像周期にて切り出した部分画像それぞれの一部領域で重なるように部分画像を切り出すようにしてある請求項1又は請求項2に記載のナンバープレート検出装置。
The image cutout part is
3. The license plate detection apparatus according to claim 1, wherein the partial images are cut out so as to overlap each other in a partial area of each partial image cut out at an adjacent imaging cycle.
前記画像切出部は、
前記一部領域がナンバープレートを撮像した撮像領域を含む大きさとなるように部分画像を切り出すようにしてある請求項3に記載のナンバープレート検出装置。
The image cutout part is
The license plate detection apparatus according to claim 3, wherein the partial image is cut out so that the partial area has a size including an imaging region obtained by imaging the license plate.
前記検出部を前記所定数備え、
前記画像切出部で切り出した前記所定数の部分画像を前記検出部それぞれに分配する分配部を備える請求項1から請求項4までのいずれか1項に記載のナンバープレート検出装置。
The detection unit includes the predetermined number,
5. The license plate detection apparatus according to claim 1, further comprising: a distribution unit that distributes the predetermined number of partial images cut out by the image cutout unit to the detection units.
一つの撮像装置によって所定領域を所定の撮像周期で繰り返し撮像して得られた複数の撮像画像に基づいて車両のナンバープレートを検出するナンバープレート検出方法であって、
前記一つの撮像装置によって得られ、所定数の撮像周期に亘って前記所定領域が撮像された前記所定数の撮像画像それぞれから、前記撮像画像の前記所定領域の一部が撮像された画像であって前記撮像周期毎に領域が異なる該所定数の部分画像を画像切出部が切り出すステップと、
切り出された各部分画像に基づいて車両のナンバープレートを検出部が検出するステップと
を含むナンバープレート検出方法。
A license plate detection method for detecting a license plate of a vehicle based on a plurality of captured images obtained by repeatedly imaging a predetermined area with a predetermined imaging cycle by one imaging device,
Obtained by the single image pickup device, from said respective predetermined number of captured images prior Symbol predetermined region is captured over the imaging period of a predetermined number, images a part of the predetermined region of the captured image was captured An image cutout unit cutting out the predetermined number of partial images having different areas for each imaging cycle;
A detecting unit for detecting a license plate of a vehicle based on each cut-out partial image.
JP2014232623A 2014-11-17 2014-11-17 License plate detection device and license plate detection method Active JP6139493B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014232623A JP6139493B2 (en) 2014-11-17 2014-11-17 License plate detection device and license plate detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014232623A JP6139493B2 (en) 2014-11-17 2014-11-17 License plate detection device and license plate detection method

Publications (2)

Publication Number Publication Date
JP2016095763A JP2016095763A (en) 2016-05-26
JP6139493B2 true JP6139493B2 (en) 2017-05-31

Family

ID=56071766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014232623A Active JP6139493B2 (en) 2014-11-17 2014-11-17 License plate detection device and license plate detection method

Country Status (1)

Country Link
JP (1) JP6139493B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833418B1 (en) * 2017-08-30 2018-02-28 주식회사 엘리소프트 Camera Controlling Method of CCTV System for Recognizing Car Number and the CCTV System

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6890427B2 (en) * 2017-01-26 2021-06-18 株式会社 日立産業制御ソリューションズ Car number recognition device
JP7099091B2 (en) * 2018-07-03 2022-07-12 沖電気工業株式会社 License plate recognition device, license plate recognition method and program
CN111582263A (en) * 2020-05-12 2020-08-25 上海眼控科技股份有限公司 License plate recognition method and device, electronic equipment and storage medium
CN113326843B (en) * 2021-06-17 2022-11-18 讯飞智元信息科技有限公司 License plate recognition method and device, electronic equipment and readable storage medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07105352A (en) * 1993-09-30 1995-04-21 Nippon Signal Co Ltd:The Picture processor
JP2004288113A (en) * 2003-03-25 2004-10-14 Mitsubishi Electric Corp Parking vehicle restraining device
JP2007025967A (en) * 2005-07-14 2007-02-01 Sumitomo Electric Ind Ltd Traffic flow measuring system and camera unit

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101833418B1 (en) * 2017-08-30 2018-02-28 주식회사 엘리소프트 Camera Controlling Method of CCTV System for Recognizing Car Number and the CCTV System

Also Published As

Publication number Publication date
JP2016095763A (en) 2016-05-26

Similar Documents

Publication Publication Date Title
JP6139493B2 (en) License plate detection device and license plate detection method
EP3026651B1 (en) Vehicle monitoring device and vehicle monitoring method
JP4389999B2 (en) Exposure control device and exposure control program
CN108877269B (en) Intersection vehicle state detection and V2X broadcasting method
EP2700054B1 (en) System and method for video-based vehicle detection
CN102054169B (en) License plate positioning method
US10958832B2 (en) Camera device and method for detecting a surrounding region of a vehicle
CN105303157A (en) Algorithm to extend detecting range for AVM stop line detection
WO2016052837A1 (en) Traffic monitoring system
CN103021179A (en) Real-time monitoring video based safety belt detection method
KR101686558B1 (en) Multilane camera recognition system and method for analysing image to learning type thereof
KR100990404B1 (en) Method for detecting vehicle of lanes
JP5062091B2 (en) Moving object identification device, computer program, and optical axis direction specifying method
KR101911239B1 (en) The channel extension operation system for detecting illegally parked vehicles
JP5115390B2 (en) Mobile object identification device, computer program, and learning method of mobile object identification device
JP5306124B2 (en) Number plate reading apparatus and number plate reading method
US20210084210A1 (en) Camera Device and Method for Capturing a Region Surrounding a Vehicle in a Surroundings-Adapted Manner
CN203020184U (en) Electric vehicle lane marking line detecting device based on double charge coupled devices (CCD)
KR20130023689A (en) Wanted-vehicle and illegal parking crackdown system
Rademeyer et al. Optoelectronic and environmental factors affecting the accuracy of crowd-sourced vehicle-mounted license plate recognition
JP2020095623A (en) Image processing device and image processing method
KR101547239B1 (en) System and method for adjusting camera brightness based extraction of background image
CN105427615B (en) Make a dash across the red light capturing system and the method for robust under a kind of low-light (level)
CN112544066A (en) Image processing apparatus
US11157755B2 (en) Image processing apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160622

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20161206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170213

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20170221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170427

R150 Certificate of patent or registration of utility model

Ref document number: 6139493

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250