JP4928310B2 - ナンバープレート認識装置、その制御方法、コンピュータプログラム - Google Patents

ナンバープレート認識装置、その制御方法、コンピュータプログラム Download PDF

Info

Publication number
JP4928310B2
JP4928310B2 JP2007053049A JP2007053049A JP4928310B2 JP 4928310 B2 JP4928310 B2 JP 4928310B2 JP 2007053049 A JP2007053049 A JP 2007053049A JP 2007053049 A JP2007053049 A JP 2007053049A JP 4928310 B2 JP4928310 B2 JP 4928310B2
Authority
JP
Japan
Prior art keywords
license plate
plate area
candidates
candidate
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007053049A
Other languages
English (en)
Other versions
JP2008217347A (ja
JP2008217347A5 (ja
Inventor
英明 松本
一郎 梅田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2007053049A priority Critical patent/JP4928310B2/ja
Priority to US12/039,417 priority patent/US8059868B2/en
Publication of JP2008217347A publication Critical patent/JP2008217347A/ja
Publication of JP2008217347A5 publication Critical patent/JP2008217347A5/ja
Application granted granted Critical
Publication of JP4928310B2 publication Critical patent/JP4928310B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/62Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625License plates

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Character Input (AREA)
  • Image Analysis (AREA)

Description

画像からナンバープレートを自動的に読み取る装置・方法・プログラムに関する。
従来、道路に設置された固定カメラを用いて、車両を撮影して当該車両のナンバープレートを読み取ることにより、交通管制等に利用されている。例えば、複数の道路地点において通過する車両のナンバーを読み取り、各地点での読み取り結果のリストから番号の一致するものを探すことによりその地点間の走行時間や平均速度を求めることができる。また、有料道路の料金徴収の自動化手段として活用することができる。
このような固定カメラを用いてナンバープレートを読み取る場合、ある程度背景が同じになり、同じ角度から撮影できるため、比較的高精度にナンバープレートを検出することができる。
また、複数枚の画像を撮影し、同一の車両のものと思われる複数のナンバープレート画像を認識して、当該複数の画像で認識結果が一致した場合に、その結果を最終的な認識結果とすることで、認識率の向上を図ることも考えられている(例えば、特許文献1)。
また、特許文献2では、ハフ変換等を用いて画像からナンバープレートの枠の直線を検出することにより、ナンバープレート領域候補を検出し、台形補正を行って文字認識する技術も考えられている。
また、特許文献3では、水平方向の微分処理を行うことで垂直のエッジ画像を得て、当該エッジ画像からナンバープレートの位置を検出する技術が記載されている。
特開平09−288795号公報 特開平11−073514号公報 特開平06−215293号公報
しかしながら、市販のデジタルカメラのような固定されていないカメラで撮影された画像は、撮影条件(例えば、撮影角度や明るさや背景など)が変わりやすいため、ナンバープレートを検出することは容易ではない。また、固定されていないカメラによって撮影される画像には、ナンバープレート以外にも様々な画像が写りこんでしまう。例えば、ナンバープレートに類似した物体が写りこんでいる場合もあるので、ナンバープレートか否か決定するのが難しくなる。
例えば、ナンバープレートの枠を検出することによってナンバープレート領域を検出しようとする場合、車両のヘッドライト部やフロントグリルのように矩形の枠を有する領域を、ナンバープレート領域として誤って検出してしまう可能性がある。また、文字塊を検出して文字認識する場合、例えば、営業車の車体に書かれている広告文字等を誤ってナンバープレート文字と認識してしまう可能性がある。他にも撮影される画像に、背景に写っている店の看板の文字等が写っている場合は、当該看板の文字列をナンバープレートの文字列として誤検出してしまう可能性がある。
また、デジカメ等を用いてユーザが撮影した場合、同じ車両を複数枚撮影しているとは限らないし、様々な角度からナンバープレートを撮影している可能性がある。
本発明は、画像からナンバープレート領域の候補をいくつか検出し、これらの候補を比較して確からしいナンバープレート領域を絞り込むことで、高精度にナンバープレート認識できるようにする。
上記課題を解決するために、本発明のナンバープレート認識装置は、入力画像から複数の四辺形を検出し、当該検出された四辺形のうち所定条件を満たす四辺形をナンバープレート領域候補として複数検出する検出手段と、前記検出された各ナンバープレート領域候補に含まれる文字領域の文字認識を実行する文字認識手段と、前記各ナンバープレート領域候補の文字認識結果と各ナンバープレート領域候補に対応する四辺形の情報とに基づいて、前記検出手段で検出された複数のナンバープレート領域候補の中から出力するナンバープレート領域候補を選択し、当該選択されたナンバープレート領域候補に関する情報を出力する出力手段と、を有し、前記出力手段は、前記ナンバープレート領域候補の位置が重なっている場合、各ナンバープレート領域候補の四辺形の角の角度が直角に近いものを残すことにより、前記ナンバープレート領域候補を絞り込み、当該絞り込んだナンバープレート領域候補の中から出力するナンバープレート領域候補を選択し、当該選択されたナンバープレート領域候補に関する情報を出力する。
ナンバープレート領域の検出精度および認識精度が向上する。
(実施例1)
図1は実施例1に係るナンバープレート認識装置の概略構成を示すブロック図である。
101はCPUであり、ROM102に格納されている制御プログラムを実行することにより、本装置全体の制御を行う。102はROMであり、CPU101が実行するコンピュータプログラムや各種パラメータデータを格納する。コンピュータプログラムは、CPU101で実行されることにより、後述するフローチャートに示す各処理を実行するための各種手段として、当該装置(コンピュータ)を機能させる。なお、本実施例では、後述するフローチャートの各ステップに対応する処理を、コンピュータ(CPU)を用いてソフトウェアで実現することとするが、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても構わない。また、本発明のナンバープレート認識装置は、汎用パソコンを用いて実現してもよいし、ナンバープレート認識専用の装置として実現するようにしても構わない。
103はRAMであり、画像や各種情報を記憶する。また、RAM103は、CPUのワークエリアやデータの一時待避領域として機能する。
104は外部記憶装置であり、辞書などの各種データを記憶する。外部記憶装置104は、例えば、ハードディスクやCD−ROM等で構成される。なお、本発明の装置をコンピュータに実現させるためのコンピュータプログラムは、このコンピュータ読取可能な外部記憶媒体に格納されていても構わないし、ネットワークを介して供給されるようにしても構わない。105はディスプレイであり、例えば、LCDやCRTで構成される。
106は入力装置である。例えば、デジカメやスキャナ等の画像入力装置を接続するためのインターフェースであってもよいし、デジカメ等の画像入力装置そのものであっても構わない。また、デジタルカメラの機能の1つとして実現するために、デジカメ内部に本発明の装置構成を組み込んで実現しても構わない。
107はネットワークインターフェース(I/F)であり、ネットワーク上に接続されている外部装置(例えば、サーバ、外部記憶装置、画像入力装置等)と通信し、プログラムやデータを読み込んだり、書き込んだりする。尚、ネットワークは、典型的にはインターネットやLANやWANや電話回線などのいわゆる通信ネットワークであり、データの送受信が可能であれば良い。また、ディスプレイ105や入力装置106は、ネットワークインターフェース108を介して接続されていても良い。
このようなナンバープレート認識装置は、例えば図2に示すシステムにおいて実現される。図2は、本実施例1において採用可能なコンピュータシステムの構成例を示す図である。201はコンピュータ装置であり、デジタルカメラ202で撮影した画像データを受信して、ナンバープレート認識のための処理を実行する。
次に、ナンバープレート認識処理について図3〜図9を用いて説明する。本実施例では、デジタルカメラ等で撮影した静止画像内に存在するナンバープレートの文字列を認識する。
図3はナンバープレートの一例である。日本のナンバープレートの場合には、3つの文字列領域が存在する。301は陸運局名と分類番号が記載される領域、302は平仮名(もしくはアルファベット)の領域、303は一連指定番号の領域である。
図4は、実施例1のナンバープレート認識装置におけるナンバープレート認識処理を示すフローチャートである。
ステップS401では、画像からナンバープレート領域候補を複数検出する。ステップS401の詳細を図13に示す。
図13のステップS1301では、当該画像の二値化を行う。
ステップS1302では、二値化された画像から、黒画素同士が上下左右斜めの8方向のいずれかで連結する黒画素の連結画素(黒画素塊)を検出する。なお、黒画素塊の内部に上下左右のいずれかで連結する白画素塊がある場合は、その白画素塊の内部に更に黒画素塊があるか検査する。
ステップS1303では、検出した黒画素の連結画素のうち、所定の大きさを有する複数の連結画素について、直線状に並んでいる複数の連結画素(連結画素列)の検出を行う。この連結画素列は、ナンバープレートの文字列の候補である。なお、ここで、検出対象の閾値に用いる所定の大きさ(サイズ)は、撮影されるであろうナンバープレートの文字サイズを想定して、予め設定しておくものとする。
図10は、ナンバープレート検出処理の処理対象となった入力画像の例である。ステップS1303では、2値化された入力画像から、ナンバープレート1001〜1003内の各文字に対応する黒画素の連結画素が候補として検出されることになる。
ステップS1304では、当該検出された連結画素列から所定範囲内を、四辺形検出の処理対象範囲として設定し、四辺形検出処理を実行する。例えば、連結画素列の縦横それぞれ2倍のサイズの領域が、この処理対象領域として設定される。
この四辺形検出処理は、まず、当該設定された処理対象範囲の画像を対象として、ハフ変換を用いて直線検出を行う。この直線検出は、所定数(例えば8本)以上の直線が検出されるまで、徐々に直線検出するための閾値を変更しながら直線検出処理を行う。この検出された直線を用いて1乃至複数の四辺形を形成する。なお、入力画像はナンバープレートの正面から撮影した画像とは限らないため、この四辺形は長方形とは限らない。
ステップS1305では、所定条件を満たす四辺形をナンバープレート領域候補とする。例えば、ステップS1304で検出された四辺形の辺の比を、ナンバープレートの辺の比(基準値)と比較し、大きく異なる四辺形はナンバープレート領域候補から除外する。
図11は、図10のナンバープレート1001の付近を拡大した図である。例えば、ステップS1303で、連結画素列1102,1103が検出されたものとする。このとき、ステップS1304で、連結画素列1102,1103に基づき処理対象範囲1101を設定して、四辺形検出処理を実行することにより、四辺形1104〜1106を検出する。そして、ステップS1305で、各四辺形の辺の比を検査すると、四辺形1106はナンバープレートの基準値と大きく異なると判断され、四辺形1104と1105とがナンバープレート領域候補として決定される。
なお、ナンバープレート領域候補を検出する手法は、上述した以外の公知の技術を併用して、多くのナンバープレート領域候補を検出するようにしてもよい。例えば、ナンバープレートの枠の検出によってナンバープレート領域を検出する方法や、テンプレートマッチングで検出する方法などを用いることができる。このとき検知されるナンバープレート領域候補は、四辺形の領域で検出される。
ステップS402では、検出された複数のナンバープレート領域候補(四辺形領域)に対して、逆透視変換(歪み補正処理)を用い、正対画像を得る。
ステップS403では、ステップS402で得られた複数のナンバープレート領域候補の正対画像に対して、2値化処理を行う。
ステップS404では、逆透視変換および2値化されたナンバープレート領域から図3で示したような3つの文字領域を抽出し、当該文字領域に対して、文字認識処理を行い、それぞれの文字に対する文字候補と類似度を得る。図12の1201は、ナンバープレート領域候補である四辺形1104の拡大図である。このナンバープレート領域候補から抽出された文字領域に対して文字認識処理を実行すると、文字認識結果1202が得られたものとする。このとき、文字認識結果は誤認識している可能性があるので、更に、陸運局名を格納した辞書との単語照合を行い、単語照合結果と文字認識結果の類似度とに基づいて、誤認識と判断した文字の修正を行う。図12の1202の例では、誤認識した文字が修正されて認識結果1203が得られる。
ステップS405では、ナンバープレート領域候補から得られた文字認識結果や各文字の位置情報や四辺形の形状情報等を用い、ナンバープレート領域候補の絞り込み(ナンバープレート領域候補の選択)を行う。そして、その絞込処理結果として得られる確からしいナンバープレート領域に関する情報(文字認識結果や位置情報など)を出力する。
ここでステップS405の絞り込み処理の詳細について、図5〜図9を用いて説明する。
図5のステップS501では、個々のナンバープレート領域候補の情報に基づいて、ナンバープレート領域候補の絞り込みを行う。図6は、個々のナンバープレート領域候補の情報から絞り込む処理S501の詳細を示すフローチャートである。
ステップS601では、ナンバープレート領域候補内の文字列の文字認識結果に対する類似度が所定の閾値より大きいか否か判断する。なお、ナンバープレート領域候補に含まれる文字列の類似度の平均値を該閾値より大きいか判断するようにしてもよいし、文字ごとに類似度を比較して全ての文字の類似度が該閾値より大きいか判断するようにしてもよい。なお、本実施例の文字認識では類似度が大きいほうが、より辞書に登録されている文字に類似しているものとする。該所定閾値より大きい場合、ステップS602へ進む。それ以外は、ステップS604へ進む。
ステップS602では、ナンバープレート領域候補内の陸運局名と分類番号とを囲む矩形301の右端のX座標が、一連指定番号の最右端の数字を囲む矩形の左端のX座標より小さいならば、ステップS603に進む。それ以外はステップS604へ進む。
ステップS603では、ナンバープレート領域候補内の陸運局名と分類番号とを囲む矩形301の左端のX座標が、平仮名を囲む矩形302の右端のX座標より大きいならば、ステップS605に進み、それ以外はステップS604へ進む。
ステップS604では、当該絞り込み処理対象としているナンバープレート領域候補を、候補から削除する。
ステップS605では、全てのナンバープレート領域候補に対して、絞り込み処理を実行したか判断する。全てのナンバープレート領域候補に対して処理を実行したと判断した場合は、単一のナンバープレート領域の情報に基づいて絞り込む処理を終了し、未処理の領域がある場合は、ステップS601へ戻って次の領域候補を処理対象として処理を繰り返す。
図7は、ナンバープレート領域候補の例を示す図である。
701は、通常のナンバープレート領域候補の例である。この場合、陸運局名と分類番号とを囲む矩形の右端のX座標が、一連指定番号の最右端の数字(「0」)を囲む矩形の左端のX座標より小さい。また、ナンバープレート領域候補内の陸運局名と分類番号とを囲む矩形の左端のX座標が、平仮名を囲む矩形の右端のX座標より大きい。したがって、このナンバープレート領域候補は、ステップS602でYes,ステップS603でYesと判断されるので、削除されない。
702は、一連指定番号の最右端の数字が欠けているナンバープレート領域候補の例である。この場合、陸運局名と分類番号とを囲む矩形の右端のX座標が、一連指定番号の最右端の数字(「4」)の矩形の左端のX座標より大きくなっている。したがって、ステップS602でNoと判断され、ステップ604で候補から削除される。
703は、陸運局名と分類番号の左側に、ナンバープレートを止めるためのビスの画像を文字として誤認識した場合のナンバープレート領域候補の例である。このとき、そのビス部分を、陸運局名と分類番号とで構成される文字領域の一部として判断したものとする。この場合、ナンバープレート領域内の陸運局名と分類番号とを囲む矩形の左端のX座標が、平仮名の矩形の右端のX座標より小さくなっている。したがって、ステップS603でNoと判断され、ステップS604で候補から削除される。
図5のステップS502では、複数のナンバープレート領域候補の情報(四辺形の位置・形状情報や、文字認識結果情報)を比較して絞り込みを行う。なお、この四辺形の情報は、図13で説明したようにナンバープレート領域候補を抽出する処理の際に得た情報を利用すればよい。図8は、複数のナンバープレート領域候補の情報を比較して絞り込む処理の詳細を示すフローチャートである。
ステップS801では、複数のナンバープレート領域候補の中から、比較対象にする2つのナンバープレート領域候補α、βを選択する。
ステップS802では、ステップS801で選択された2つの矩形同士が重なり、かつ、2つの文字認識結果が同じかどうかを判断する。両方の条件を満足すると判断すれば、ステップS803へ進み、それ以外はステップS801へ戻る。
ステップS803では、ナンバープレート領域候補α、βの四辺形の形状に基づき、どちらがより直角に近いかを検査する。例えば、四辺形のそれぞれの角に対して、角の角度と90度との差分の絶対値をとり、その差分の平均値を比較し、差分の平均値が小さい方がより直角に近いと判断する。どちらも同じであれば、ステップS804へ進み、領域候補αのほうがより直角に近い場合は、ステップS805へ進み、領域候補βのほうがより直角に近い場合は、ステップS806へ進む。
ステップS804では、ナンバ−プレート領域候補の領域候補α、βの面積比較を行う。領域候補αの面積の大きさが領域候補βの面積の大きさ以上であればステップS805へ進み、それ以外はステップS806へ進む。
ステップS805では、ナンバープレート領域候補βを候補外として削除する。また、ステップS806では、ナンバープレート領域候補αを候補外として削除する。
ステップS807では、すべての矩形同士の比較が終了したかを検査し、終了した場合はステップS808へ進み、それ以外はステップS801へ戻る。
ステップS808では、残っているナンバープレート候補領域の中から、比較対象とする2つのナンバープレート領域候補α、βを選択する。
ステップS809では、ステップS808で選択された2つの領域候補同士が重なるかどうかを検査する。2つの領域候補同士が重なれば、ステップS810へ進み、それ以外はステップS808へ戻る。
ステップS810では、ナンバープレート領域候補α、βのどちらがより直角に近いかを検査する。例えば、四辺形のそれぞれの角に対して、角の角度と90度との差分の絶対値をとり、その差分の平均値を比較し、差分の平均値が小さい方がより直角に近いと判断する。どちらの角度も同じであれば、ステップS811へ進み、領域候補αのほうがより直角に近い場合は、ステップS812へ進み、領域候補βのほうがより直角に近い場合は、ステップS813へ進む。
ステップS811では、ナンバ−プレート領域候補α、βの面積比較を行う。領域候補αの面積の大きさが領域候補βの面積の大きさ以上であればステップS812へ進み、それ以外はステップS813へ進む。
ステップS812では、ナンバープレート領域候補βを候補外として削除する。また、ステップS813では、ナンバープレート領域候補αを候補外として削除する。
ステップS814では、すべての矩形同士の比較が終了したかを検査し、終了した場合は複数のナンバープレート領域候補の情報を比較しながら絞り込む処理を終了し、それ以外はステップS808へ戻る。
つまり、ステップS801〜ステップS807では、ナンバープレート領域候補が重なり、かつ、文字認識結果が同じものを先にグループとした後に、そのグループの中から1つの候補を選択していることになる。一方、ステップS808〜ステップS814では、ナンバープレート領域候補の矩形が重なるものをグループとした後に、そのグループから1つの候補を選択している。このように、文字認識結果が同じものを先にグループ化して候補を選択した後、更に、文字認識結果が異なるものをグループ化して候補を選択するようにしている。先に同じ文字認識結果が同じものの中からより直角に近いものを候補として選択しているので、そのナンバープレートの四辺形が他のナンバープレートの四辺形(他の文字認識結果の四辺形)と重なり、誤って削除されてしまうことを防ぐことができる。
図5のステップS503では、ステップS501とステップS502で絞り込まれたナンバープレート領域候補の中から、予め設定された条件(ソート条件、求める認識結果数)に基づいて、出力対象の認識結果を絞り込む処理を行う。図9は、ステップS503の処理の詳細を示すフローチャートである。
ステップS901では、ステップS501、S502で絞り込まれたナンバープレート領域候補(認識結果)の数が1つであるか否か判断する。ひとつであれば、ステップS902へ進み、それ以外はステップS903へ進む。
ステップS902では、そのナンバープレートの文字認識結果を返す(出力する)。なお、このとき、領域候補の位置情報などを一緒に出力するようにしてもよい。
ステップS903では、残っている複数のナンバープレート領域候補をソートする。ソート条件は予め設定されているものとするが、このソート条件はユーザにより変更可能なようにしてもよい。例えば、ソート条件としては、ナンバープレート領域候補の面積の大きさ順をソート条件にしたり、撮影画像の中心に近い位置にあるもの順をソート条件にしたりすればよい。
ステップS904では、当該ソートされたナンバープレート領域候補の先頭から順に、出力設定数に基づいて領域候補を選択して、その文字認識結果を返す(出力する)。このとき、領域候補の位置情報などを一緒に出力するようにしてもよい。なお、この出力設定数は、予め設定されているものとするが、ユーザにより変更可能なようにしてもよい。
なお、本実施例では、ユーザがデジタルカメラ等を用いて撮影した画像に対して、ナンバープレート認識する例について示したが、本発明はこれに限るものではなく、道路脇などに固定または可動的に設置され自動撮影する装置に適用しても構わない。
実施例1に係るナンバープレート認識装置の概略構成を示すブロック図 実施例1に係るナンバープレート認識装置の概略構成を示すシステム図 実施例1に係るナンバープレートの一例を示す図 ナンバープレート認識処理を示すフローチャート 絞り込み処理を示すフローチャート 個々のナンバープレート領域候補の情報から絞り込む処理のフローチャート 文字欠けが生じたナンバープレート領域とビスを抽出したナンバープレート領域の例 複数のナンバープレート領域候補の情報を比較して絞り込む処理のフローチャート 最終的にひとつもしくは複数の確からしいナンバープレート領域候補に絞り込む処理のフローチャート 入力画像の例 入力画像の例の拡大図 ナンバープレート領域候補の例の拡大図 ナンバープレート領域候補検出処理のフローチャート

Claims (10)

  1. 入力画像から複数の四辺形を検出し、当該検出された四辺形のうち所定条件を満たす四辺形をナンバープレート領域候補として複数検出する検出手段と、
    前記検出された各ナンバープレート領域候補に含まれる文字領域の文字認識を実行する文字認識手段と、
    前記各ナンバープレート領域候補の文字認識結果と各ナンバープレート領域候補に対応する四辺形の情報とに基づいて、前記検出手段で検出された複数のナンバープレート領域候補の中から出力するナンバープレート領域候補を選択し、当該選択されたナンバープレート領域候補に関する情報を出力する出力手段と、を有し、前記出力手段は、前記ナンバープレート領域候補の位置が重なっている場合、各ナンバープレート領域候補の四辺形の角の角度が直角に近いものを残すことにより、前記ナンバープレート領域候補を絞り込み、当該絞り込んだナンバープレート領域候補の中から出力するナンバープレート領域候補を選択し、当該選択されたナンバープレート領域候補に関する情報を出力することを特徴とするナンバープレート認識装置。
  2. 前記出力手段は、前記各ナンバープレート領域候補の四辺形の角の角度が同じである場合、各四辺形の面積に基づいて選択するナンバープレート領域候補を絞り込むことを特徴とする請求項1に記載のナンバープレート認識装置。
  3. 前記出力手段は、前記文字認識結果が同じでかつ位置が重なっているナンバープレート領域候補について前記絞り込みの処理を行った後に、前記文字認識結果が異なり、かつ位置が重なっているナンバープレート領域候補について前記絞り込みの処理を行うことを特徴とする請求項1または2のいずれかに記載のナンバープレート認識装置。
  4. 前記出力手段は、前記ナンバープレート領域候補の文字認識結果と、前記ナンバープレート領域候補に含まれる文字領域の位置とに基づいて、選択するナンバープレート領域候補を絞り込むことを特徴とする請求項1に記載のナンバープレート認識装置。
  5. 前記出力手段は、前記ナンバープレート領域候補が複数ある場合、前記ナンバープレート領域候補の面積の大きさ順、もしくは入力画像の中心に近い位置にある順でソートした後に前記出力するナンバープレート領域候補を選択し、当該選択されたナンバープレート領域候補に関する情報を出力することを特徴とする請求項1に記載のナンバープレート認識装置。
  6. 前記検出手段は、前記入力画像から直線状に並ぶ連結画素列を検出し、当該検出された連結画素列に基づいて処理対象範囲を設定し、当該設定された処理対象範囲において前記四辺形を検出し、当該検出された四辺形のうち所定条件を満たす四辺形を前記ナンバープレート領域候補として検出することを特徴とする請求項1に記載のナンバープレート認識装置。
  7. 前記検出手段において使用される前記所定条件は、当該検出される四辺形の辺の比の基準値に関する条件であることを特徴とする請求項1乃至6のいずれか1項に記載のナンバープレート認識装置。
  8. ナンバープレート認識装置の検出手段が、入力画像から複数の四辺形を検出し、当該検出された四辺形のうち所定条件を満たす四辺形をナンバープレート領域候補として複数検出する検出ステップと、
    前記ナンバープレート認識装置の文字認識手段が、前記検出された各ナンバープレート領域候補に含まれる文字領域の文字認識を実行する文字認識ステップと、
    前記ナンバープレート認識装置の出力手段が、前記各ナンバープレート領域候補の文字認識結果と各ナンバープレート領域候補に対応する四辺形の情報とに基づいて、前記検出ステップで検出された複数のナンバープレート領域候補の中から出力するナンバープレート領域候補を選択し、当該選択されたナンバープレート領域候補に関する情報を出力する出力ステップと、
    を備え、前記出力ステップは、前記ナンバープレート領域候補の位置が重なっている場合、各ナンバープレート領域候補の四辺形の角の角度が直角に近いものを残すことにより、前記ナンバープレート領域候補を絞り込み、当該絞り込んだナンバープレート領域候補の中から出力するナンバープレート領域候補を選択し、当該選択されたナンバープレート領域候補に関する情報を出力することを特徴とする制御方法。
  9. コンピュータを、請求項1乃至7のいずれか1項に記載されているナンバープレート認識装置として機能させるためのコンピュータプログラム。
  10. コンピュータを、請求項1乃至7のいずれか1項に記載されているナンバープレート認識装置として機能させるためのコンピュータプログラムを格納したコンピュータ読取可能な記憶媒体。
JP2007053049A 2007-03-02 2007-03-02 ナンバープレート認識装置、その制御方法、コンピュータプログラム Expired - Fee Related JP4928310B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007053049A JP4928310B2 (ja) 2007-03-02 2007-03-02 ナンバープレート認識装置、その制御方法、コンピュータプログラム
US12/039,417 US8059868B2 (en) 2007-03-02 2008-02-28 License plate recognition apparatus, license plate recognition method, and computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007053049A JP4928310B2 (ja) 2007-03-02 2007-03-02 ナンバープレート認識装置、その制御方法、コンピュータプログラム

Publications (3)

Publication Number Publication Date
JP2008217347A JP2008217347A (ja) 2008-09-18
JP2008217347A5 JP2008217347A5 (ja) 2010-04-15
JP4928310B2 true JP4928310B2 (ja) 2012-05-09

Family

ID=39733094

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007053049A Expired - Fee Related JP4928310B2 (ja) 2007-03-02 2007-03-02 ナンバープレート認識装置、その制御方法、コンピュータプログラム

Country Status (2)

Country Link
US (1) US8059868B2 (ja)
JP (1) JP4928310B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911239B1 (ko) 2018-05-23 2018-10-25 주식회사 에스오넷 불법 주정차 단속을 위한 채널 확대 운영 시스템

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110194733A1 (en) * 2010-02-11 2011-08-11 Tc License Ltd. System and method for optical license plate matching
US11657606B2 (en) * 2010-03-16 2023-05-23 OMNIQ Corp. Dynamic image capture and processing
US8577088B2 (en) 2010-08-05 2013-11-05 Hi-Tech Solutions Ltd. Method and system for collecting information relating to identity parameters of a vehicle
KR101727137B1 (ko) * 2010-12-14 2017-04-14 한국전자통신연구원 텍스트 영역의 추출 방법, 추출 장치 및 이를 이용한 번호판 자동 인식 시스템
EP2666123A4 (en) * 2011-01-18 2017-03-08 RTC Vision Ltd. System and method for improved character recognition in distorted images
JP2012194705A (ja) * 2011-03-15 2012-10-11 Omron Corp 画像処理装置、画像処理方法および画像処理プログラム
US20120275653A1 (en) * 2011-04-28 2012-11-01 Industrial Technology Research Institute Method for recognizing license plate image, and related computer program product, computer-readable recording medium, and image recognizing apparatus using the same
JP5767887B2 (ja) * 2011-08-02 2015-08-26 エヌ・ティ・ティ・コムウェア株式会社 画像処理装置、画像処理方法及び画像処理プログラム
CN103135752A (zh) * 2011-12-05 2013-06-05 航天信息股份有限公司 一种定量装车控制系统中快速录入车牌信息的装置及方法
US8644561B2 (en) 2012-01-18 2014-02-04 Xerox Corporation License plate optical character recognition method and system
US8798325B2 (en) 2012-02-21 2014-08-05 Xerox Corporation Efficient and fault tolerant license plate matching method
US9760789B2 (en) 2012-04-17 2017-09-12 Conduent Business Services, Llc Robust cropping of license plate images
US8934676B2 (en) 2012-05-04 2015-01-13 Xerox Corporation Robust character segmentation for license plate images
CN103235940A (zh) * 2013-05-06 2013-08-07 南京新奕天智能视频技术有限公司 一种高分辨率图像序列中多车牌检测的方法
US9195908B2 (en) 2013-05-22 2015-11-24 Xerox Corporation Snow classifier context window reduction using class t-scores and mean differences
CN103473531A (zh) * 2013-09-04 2013-12-25 上海索广电子有限公司 一种基于铭牌数字识别的数字图像识别纠错方法
CN104462068B (zh) * 2013-09-12 2017-11-07 北大方正集团有限公司 字符转换系统和字符转换方法
JP2015090500A (ja) * 2013-11-05 2015-05-11 株式会社リコー 画像認識装置、画像認識プログラム、画像認識方法、撮像装置
US9589202B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for receiving an insurance quote from an image
US10733471B1 (en) 2014-06-27 2020-08-04 Blinker, Inc. Method and apparatus for receiving recall information from an image
US9892337B1 (en) 2014-06-27 2018-02-13 Blinker, Inc. Method and apparatus for receiving a refinancing offer from an image
US9607236B1 (en) 2014-06-27 2017-03-28 Blinker, Inc. Method and apparatus for providing loan verification from an image
US9600733B1 (en) 2014-06-27 2017-03-21 Blinker, Inc. Method and apparatus for receiving car parts data from an image
US10572758B1 (en) 2014-06-27 2020-02-25 Blinker, Inc. Method and apparatus for receiving a financing offer from an image
US10515285B2 (en) 2014-06-27 2019-12-24 Blinker, Inc. Method and apparatus for blocking information from an image
US10867327B1 (en) 2014-06-27 2020-12-15 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US10579892B1 (en) 2014-06-27 2020-03-03 Blinker, Inc. Method and apparatus for recovering license plate information from an image
US9594971B1 (en) 2014-06-27 2017-03-14 Blinker, Inc. Method and apparatus for receiving listings of similar vehicles from an image
US9818154B1 (en) 2014-06-27 2017-11-14 Blinker, Inc. System and method for electronic processing of vehicle transactions based on image detection of vehicle license plate
US9589201B1 (en) 2014-06-27 2017-03-07 Blinker, Inc. Method and apparatus for recovering a vehicle value from an image
US9558419B1 (en) 2014-06-27 2017-01-31 Blinker, Inc. Method and apparatus for receiving a location of a vehicle service center from an image
US9760776B1 (en) 2014-06-27 2017-09-12 Blinker, Inc. Method and apparatus for obtaining a vehicle history report from an image
US10540564B2 (en) 2014-06-27 2020-01-21 Blinker, Inc. Method and apparatus for identifying vehicle information from an image
US9563814B1 (en) 2014-06-27 2017-02-07 Blinker, Inc. Method and apparatus for recovering a vehicle identification number from an image
US9779318B1 (en) 2014-06-27 2017-10-03 Blinker, Inc. Method and apparatus for verifying vehicle ownership from an image
US9773184B1 (en) 2014-06-27 2017-09-26 Blinker, Inc. Method and apparatus for receiving a broadcast radio service offer from an image
US9754171B1 (en) 2014-06-27 2017-09-05 Blinker, Inc. Method and apparatus for receiving vehicle information from an image and posting the vehicle information to a website
TW201610926A (zh) * 2014-09-11 2016-03-16 普易科技股份有限公司 防盜系統與防盜方法
CN104299009B (zh) * 2014-09-23 2018-02-09 同济大学 基于多特征融合的车牌字符识别方法
US9550120B2 (en) * 2014-12-08 2017-01-24 Cubic Corporation Toll image review gamification
CN104502350B (zh) * 2014-12-16 2017-01-25 公安部交通管理科学研究所 机动车号牌序列标识鉴别装置及鉴定方法
US11587327B2 (en) 2015-10-01 2023-02-21 Intellivision Technologies Corp Methods and systems for accurately recognizing vehicle license plates
US10706330B2 (en) 2015-10-01 2020-07-07 Intellivision Technologies Corp Methods and systems for accurately recognizing vehicle license plates
JP6720694B2 (ja) 2016-05-20 2020-07-08 富士通株式会社 画像処理プログラム、画像処理方法および画像処理装置
CN109389122B (zh) * 2017-08-03 2021-03-12 杭州海康威视数字技术股份有限公司 一种车牌定位方法及装置
US10950124B2 (en) 2017-08-22 2021-03-16 Q-Free Netherlands B.V. License plate recognition
JP7081404B2 (ja) * 2018-09-10 2022-06-07 沖電気工業株式会社 ナンバープレート識別装置、ナンバープレート識別方法及びプログラム
WO2020071286A1 (ja) * 2018-10-03 2020-04-09 パナソニックIpマネジメント株式会社 入力装置、入力方法および入力システム
CN111161542B (zh) * 2018-11-08 2021-09-28 杭州海康威视数字技术股份有限公司 车辆识别方法及装置
US11227174B1 (en) * 2019-06-10 2022-01-18 James Alves License plate recognition

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61176808A (ja) * 1985-02-01 1986-08-08 Nec Corp 車輌識別装置
JP2910130B2 (ja) * 1990-03-15 1999-06-23 住友電気工業株式会社 車番自動読取装置
JP2903923B2 (ja) 1993-01-19 1999-06-14 株式会社日立製作所 車番認識装置
JP2898562B2 (ja) * 1995-01-05 1999-06-02 日本無線株式会社 ナンバープレート決定方法
JPH09259219A (ja) * 1996-03-26 1997-10-03 Sharp Corp 文字認識方法
JP3632287B2 (ja) 1996-04-19 2005-03-23 三菱電機株式会社 車両番号読み取り装置
JPH1173514A (ja) 1997-08-29 1999-03-16 Nissan Motor Co Ltd 車両用認識装置
JP3649942B2 (ja) * 1999-04-02 2005-05-18 三洋電機株式会社 画像入力装置、画像入力方法、及び記憶媒体
JP3987264B2 (ja) * 2000-03-24 2007-10-03 富士通株式会社 ナンバープレート読取装置及び方法
JP2003216958A (ja) * 2002-01-24 2003-07-31 Dds:Kk 多角形検出装置、多角形検出方法及び多角形検出プログラム
JP4324458B2 (ja) * 2003-12-17 2009-09-02 小糸工業株式会社 車両ナンバー読み取り装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101911239B1 (ko) 2018-05-23 2018-10-25 주식회사 에스오넷 불법 주정차 단속을 위한 채널 확대 운영 시스템

Also Published As

Publication number Publication date
JP2008217347A (ja) 2008-09-18
US8059868B2 (en) 2011-11-15
US20080212837A1 (en) 2008-09-04

Similar Documents

Publication Publication Date Title
JP4928310B2 (ja) ナンバープレート認識装置、その制御方法、コンピュータプログラム
US9053361B2 (en) Identifying regions of text to merge in a natural image or video frame
JP5775225B2 (ja) マルチレイヤ連結成分をヒストグラムと共に用いるテキスト検出
US9171204B2 (en) Method of perspective correction for devanagari text
CN110866871A (zh) 文本图像矫正方法、装置、计算机设备及存储介质
US9076242B2 (en) Automatic correction of skew in natural images and video
US9262699B2 (en) Method of handling complex variants of words through prefix-tree based decoding for Devanagiri OCR
US20140023278A1 (en) Feature Extraction And Use With A Probability Density Function (PDF) Divergence Metric
JP4694613B2 (ja) 原稿方向判定装置、原稿方向判定方法、プログラムおよびその記録媒体
US9171224B2 (en) Method of improving contrast for text extraction and recognition applications
CN111259878A (zh) 一种检测文本的方法和设备
US10235576B2 (en) Analysis method of lane stripe images, image analysis device, and non-transitory computer readable medium thereof
CN111626145A (zh) 一种简捷有效的残缺表格识别及跨页拼接方法
Hu et al. Generalized image recognition algorithm for sign inventory
JP2014215645A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN109147002B (zh) 一种图像处理方法和装置
JP2016157155A (ja) 文字領域抽出装置及びプログラム
CN113657162A (zh) 一种基于深度学习的票据ocr识别方法
CN109492023B (zh) 一种汽车信息处理方法及其设备、计算机存储介质
JP2009098867A (ja) 文字列認識方法、コンピュータプログラム、記憶媒体
Tao et al. A hybrid approach to detection and recognition of dashboard information in real-time
JP3817442B2 (ja) 画像認識装置、画像認識方法、及び画像認識方法を実現するプログラムとこのプログラムの記録媒体
JP7405528B2 (ja) 媒体判別装置、媒体判別システム及び媒体判別方法
JP2006323511A (ja) 記号認識方法及び装置
CN115460456A (zh) 数字内容添加的目标区域提取

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20100201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100226

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4928310

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150217

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees