JP6091325B2

JP6091325B2 - ナンバープレートを調節する方法

Info

Publication number: JP6091325B2
Application number: JP2013105848A
Authority: JP
Inventors: ジガン・ファン; ヨンフイ・チャオ; シェン—ガー・ワン; シェン―ガー・ワン
Original assignee: Xerox Corp
Current assignee: Xerox Corp
Priority date: 2012-06-12
Filing date: 2013-05-20
Publication date: 2017-03-08
Anticipated expiration: 2033-05-20
Also published as: JP2013257864A; US9020200B2; DE102013210478B4; US20130329961A1; DE102013210478A1

Description

本明細書は、記録された画像内で検出したナンバープレートを自動的に調節して、免許識別番号を分析して特定できるようにするための方法および装置に関する。本例示的実施形態は他の類似の応用に対してもまた同様に修正できることが分かる。

自動ナンバープレート認識（ＡＬＰＲ）システムは、静止カメラまたはビデオカメラを用いて移動車両または駐車車両の画像を記録する車両監視システムである。システムは画像内のナンバープレートの位置を特定して、光学式文字認識（ＯＣＲ）を使用してナンバープレート番号を決定する。ＡＬＰＲシステムは、その多数の用途が交通流量を監視すること、道路交通法を執行すること、および犯罪容疑者を追跡することを含む可能性があるため、高度道路交通基盤システムのコアモジュールとして働く場合が多い。

ＡＬＰＲ技術にとっての１つの課題が、幾何学的変化に対するＡＬＰＲ技術のロバスト性である。カメラと目的の捕捉領域の間の入射角などのカメラの位置、およびカメラのパラメータが、ひずみのせいで、記録される画像の品質に影響を与える可能性がある。画像内のナンバープレートは、異なる縮尺比、回転角、または他の幾何学ひずみにより影響を受ける可能性がある。ほとんどのＡＬＰＲカメラは、遠近法的なひずみを最小限に抑えるように慎重に設置されているが、強度のせん断は、依然としてよく起こる日常的な結果である。

ひずみに対する１つの可能な解決法が、幾何学的変化に対して不変なＡＬＰＲアルゴリズムを設計することである。しかしながら、このような解決法は、計算コストの増大および、例えば、検出精度の低下などの他の影響により、妨げられる場合が多い。一般に、システムの固有の計算の複雑性、および計算コストは、それぞれの幾何学的パラメータに対する探索範囲の積に比例している。

有料道路の料金所を監視することなどの多くのＡＬＰＲ用途では、幾何学的配置は、各カメラに対して、通常固定されていたり、または限定された変化を有していたりする。そのために、従来のＡＬＰＲシステムでは、ユーザ入力に頼って探索範囲を低減する。例えば、システムは、入力画像内のナンバープレートの予想される最小高さおよび最大高さを指定するようにユーザに依頼してもよい。システムは、ユーザ入力として受け取ったこの情報を使用して、縮尺比を決定する。また、システムは、予想される最大プレート角度をユーザ入力として受け取ってもよい。

分析目的のためにユーザ入力を受け取ることには、いくつかの欠点および限界がある。ユーザは、画像内に含まれるプレートの高さおよび回転角を測定するために、特定の画像処理知識を有している必要があり、他方、せん断などの特定のパラメータはユーザには容易に得られない。また、ユーザ入力を受け取ることは、ユーザに、かなりの量の仕事を行うことを要求する。さらに、ユーザが提供する手動入力は、間違っていたり、または的確でなかったりする可能性がある。その結果、システムは、分析を行うのに不正確な測定値に依存する可能性がある。したがって、記録された画像内で検出したナンバープレートの画像を自動的に調節する方法および装置に対する必要性が存在している。

従来の実践に関連する他の欠点は、実際の幾何学的パラメータおよびカメラパラメータが時間とともにドリフトする可能性があることである。例えば、カメラは、その元の位置から傾く可能性がある。したがって、長い間の位置ずれを補正するためにＡＬＰＲカメラのパラメータを自動的に較正する方法および装置が必要である。このように、システムは、せん断の量を事前に自動的に推定して、車両がイメージ・キャプチャ・デバイスのところに到着するまでに、記録された画像から予想するように構成されている。したがって、せん断パターンを推定するように構成されたシステムが必要である。イメージ・キャプチャ・デバイスである。

本明細書の第１の実施形態は、記録された画像内で検出したナンバープレートを調節するための方法に関する。方法は、傾斜配向されたナンバープレートに対応する補正パラメータの少なくとも１つの集合を自動的に決定することを含んでいる。方法は、検出したナンバープレートを表す入力画像を受け取ることをさらに含んでいる。入力画像を受け取ることに呼応して、方法は、補正パラメータの少なくとも１つの集合を用いて補正済みの画像を得るために入力画像を自動的に調節することを含んでいる。

本明細書の他の実施形態は、入力画像を調節するためのシステムに関する。システムは、ナンバープレートの画像を記録するように構成された入力装置を含んでいる。システムは、入力装置と通信する補正装置をさらに含んでいる。補正装置は、入力装置から送信された入力画像を受け取るように構成されている。入力画像を受け取ることに呼応して、補正装置は、少なくとも１つの補正行列を適用することにより補正済みの画像を得るために入力画像を自動的に調節するようにさらに構成されている。システムは、補正装置と通信する記憶装置を含んでいる。記憶装置は、少なくとも１つの補正行列を保存するように構成されている。システムは、補正装置と通信して、補正済みの画像を表示するように構成されたインタフェースをさらに含んでいる。

本明細書のさらなる実施形態は、入力画像を調節するためのシステムに関する。システムは、多くのプレートの画像を受け取るように構成されたトレーニング装置を含んでいる。トレーニング装置は、多くのプレートの各々に対する特徴集合を含む行列を決定するように構成されている。トレーニング装置は、多くの理想的なプレートの高さと幅との特徴集合を特定することにより理想的な形状行列を決定するようにさらに構成されている。その後、トレーニング装置は、理想的な形状行列と理想的な形状とを用いて補正行列を計算するように構成されている。システムは、トレーニング装置と通信する記憶装置をさらに含んでいる。記憶装置は、少なくとも１つの補正行列を保存するように構成されている。また、システムは、検出したナンバープレートの画像を記録するように構成された入力装置を含んでいる。システムは、入力装置および記憶装置と通信する補正装置を含んでいる。補正装置は、入力装置から送信された記録された画像を受け取るように構成されている。入力画像を受け取ることに呼応して、補正装置は、少なくとも１つの補正行列を適用することにより補正済みの画像を得るために入力画像を自動的に調節するように構成されている。システムは、補正装置と通信するインタフェースを含んでいる。インタフェースは、補正済みの画像を表示するように構成されている。

図１は、一実施形態のＡＬＰＲ補正システムの模式図である。図２は、ナンバープレートの画像を補整するための方法を説明するフローチャートである。図３は、画像内でひずんでいる背面取り付けプレートを示している。図４は、図３に示すプレートのひずみを近似するためのせん断変換を示している。図５は、ほぼ垂直な配向で車両に取り付けられたプレートを示している。図６は、全体として傾斜した配向で車両に取り付けられたプレートを示している。図７Ａは、少なくとも１つの補正行列を決定するために使用する較正段階を説明するフローチャートである。図７Ｂは、少なくとも１つの補正行列を決定するために使用する較正段階を説明するフローチャートである。図８は、記録された画像を調節するために少なくとも１つの補正行列を使用する運用段階を説明するフローチャートである。図９は、補正の前後のプレートの画像を示している。図１０Ａは、運用段階の実験的な実施用の入力として使用した記録された画像を示している。図１０Ｂは、運用段階の実験的な実施用の入力として使用した記録された画像を示している。図１１Ａは、本明細書で説明する操作を受けた後の図１０Ａの補正済みの画像を示している。図１１Ｂは、本明細書で説明する操作を受けた後の図１０Ｂの補正済みの画像を示している。

本明細書は、カメラを自動的に較正するため、ならびにカメラが記録した画像を自動的に処理したりおよび／または補正したりするためのＡＬＰＲ補正システムおよび方法に関する。入力画像は、幾何学ひずみを低減するために自動的な拡大縮小操作およびせん断操作を受ける。ＡＬＰＲ補正システムは、通行料徴収動作などの固定カメラ構造を使用するＡＬＰＲ用途に関する。方法は、較正段階および運用段階の２つの段階で実行される。較正段階の間、ＡＬＰＲ補正システムは、すべての可能な拡大縮小パラメータおよびせん断パラメータを含む全範囲で作動して、これにより回転はせん断の特別な場合と考えられる。検出したナンバープレートの形状から、ＡＬＰＲ補正システムは、カメラ設定に関連する拡大縮小特性およびせん断特性を推定する。その後、ＡＬＰＲ補正システムは最適な補正行列を決定する。運用段階の間に、較正で突き止めた補正行列をナンバープレートの記録された画像に適用する。補正行列を使用して、せん断ひずみを補正するとともに、検出したナンバープレートを所定の寸法に拡大縮小する。その後、ＡＬＰＲ補正カメラは、だいたい同じ寸法および同じ長方形でプレートを検出する縮小した範囲で作動するように構成される。

図１は、例示的な一実施形態のＡＬＰＲ補正システム１００の模式図である。ＡＬＰＲ補正システムは、トレーニング装置１０２と、記憶装置１０４と、補正装置１０６と、を含んでおり、これらは本明細書でネットワークと呼ぶ通信リンクでつながっていてもよい。これらの構成要素については詳細に後述する。

図１に示すトレーニング装置１０２は、トレーニング装置１０２の一部分であったり、またはトレーニング装置１０２に付随していたりするコントローラ１０８を含んでいる。例示的コントローラ１０８は、検出した画像に後で適用できる補正行列を形成することによりＡＬＰＲシステム１００のトレーニングを制御するように構成されている。コントローラ１０８はプロセッサ１１０を含み、このプロセッサ１１０は、プロセッサ１１０に接続されたメモリ１１２内に保存された処理命令を実行することによりトレーニング装置１０２の全体動作を制御する。

メモリ１１２は、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、磁気ディスクもしくは磁気テープ、光ディスク、フラッシュメモリ、またはホログラムメモリなどの任意の種類の実現可能なコンピュータ可読媒体を表す可能性がある。一実施形態では、メモリ１１２が、ランダム・アクセス・メモリと読み出し専用メモリの組み合わせを含んでいる。デジタルプロセッサ１１０は、シングル・コア・プロセッサ、デュアル・コア・プロセッサ（またはより一般に多重コアプロセッサにより）、デジタルプロセッサおよび協働する数値演算コプロセッサ、またはデジタルコントローラなどを用いて、さまざまに具体化できる。デジタルプロセッサは、トレーニング装置１０２の動作を制御することに加えて、メモリ１１２内に保存された命令を実行して、図２および図７で概説する方法の一部分を実行する。いくつかの実施形態では、プロセッサ１１０およびメモリ１１２を単一チップ内に組み込んでもよい。

トレーニング装置１０２はネットワークで結ばれた装置で具体化してもよいが、サーバ上、もしくはネットワークで結ばれたコンピュータ上などの、ＡＬＰＲ補正システム１００を接続するネットワーク上の他の場所にトレーニング装置１０２を設置してもよく、またはネットワーク全体に、もしくはネットワークにアクセス可能な他の方法でトレーニング装置１０２を分散させてもよいこともまた同様に想定している。プロセッサ１１０は、メモリ１１２内に含まれる命令に従って、本明細書に開示するトレーニング段階を実行する。具体的には、メモリ１１２は、多くのプレート画像見本を受け取る補正行列生成モジュール１１４を保存して、画像見本の各々に対する特徴集合を含む行列を決定して、プレートに対する理想的な高さと幅との特徴集合を特定することにより理想的な形状を決定して、行列と理想的な形状とを用いて補正行列を計算する。これらの命令を複数のモジュール内に保存できる実施形態を想定している。補正行列生成モジュール１１４については、例示的方法に関連して後述する。

ソフトウェアモジュールは、本明細書で使用する場合、トレーニング装置１０２または他のデジタルシステムにより実行可能な命令の任意の集まりまたは集合を含み、ソフトウェアの目的であるタスクを実行するためにコンピュータまたは他のデジタルシステムを構成するよう意図されている。用語「ソフトウェア」は、本明細書で使用する場合、ＲＡＭ、ハードディスク、または光ディスクなどの記憶媒体に保存されたこのような命令を含むよう意図されており、また、ＲＯＭなどに保存されたソフトウェアである、いわゆる「ファームウェア」を含むよう意図されている。このようなソフトウェアは、さまざまな方法で構成してもよく、ライブラリとして構成されたソフトウェアコンポーネント、リモートサーバなどに保存されたインターネットベースのプログラム、ソースコード、解釈コード、オブジェクトコード、および直接実行可能なコードなどを含んでいてもよい。特定の機能を実行するために、ソフトウェアがシステムレベルコードを起動したり、またはサーバ（図示せず）もしくは他の記憶場所に常駐する他のソフトウェアへの呼び出しを起動したりしてもよいということを想定している。

ひきつづき図１を参照すると、トレーニング装置１０２は、外部装置と通信するためのネットワークインタフェースなどの１つ以上の通信インタフェースもまた同様に含んでいる。通信インタフェース１１６、１１８が、例えば、モデム、ルータ、ケーブル、および／またはイーサネット（登録商標）ポートなどを含んでいてもよい。第１の通信インタフェース１１６は、入力として画像見本１２０を受け取るように構成されている。第２の通信インタフェース１１８は、出力として少なくとも１つの補正行列１２２を提供するように構成されている。想定される実施形態では、１つの通信インタフェースが、入力を受け取り、かつ出力を提供できる。トレーニング装置１０２のさまざまな構成要素をすべてバス１２４で接続してもよい。

トレーニング装置１０２は、サーバコンピュータもしくはデジタル・フロント・エンド（ＤＦＥ）などの１つ以上の専用もしくは汎用の計算装置、または例示的方法を実行するための命令を実行できる他の任意の計算装置を含んでいてもよい。

図１は、電子フォーマットで画像見本を入力および／または受信するための画像ソース１２６に接続されたトレーニング装置１０２をさらに示している。画像ソース１２６は、較正するために選択されるカメラなどのイメージ・キャプチャ・デバイス１４４を含んでいてもよく、または画像ソース１２６はカメラが記録した画像をトレーニング装置に伝達および／または送信するように構成された装置である可能性がある。例えば、画像ソース１２６は、スキャナまたはコンピュータなどを含むことができる。他の実施形態では、ワークステーション、データベース、またはディスクなどの記憶装置のような任意の好適なソースから画像データ１２０を入力してもよい。画像ソース１２６は、プロセッサ１１０とメモリ１１２とを含むコントローラ１０６と通信する。

ひきつづき図１を参照すると、ＡＬＰＲ補正システム１００は、トレーニング装置１０２と通信する記憶装置１０４を含んでいる。想定される実施形態では、トレーニング装置１０２が、処理装置と、記憶装置１０４などのメモリと、を含むサーバ（図示せず）と通信でき、またはトレーニング装置１０２は、補正装置１０６が使用できる補正行列を保存するために記憶装置１０４にアクセスできる。記憶装置１０４は補正行列保存場所１２８を含み、この保存場所１２８はトレーニング装置１０２が提供する少なくとも１つの補正行列１２２を保存している。

ひきつづき図１を参照すると、ＡＬＰＲ補正システム１００は、図２および図８で概説する方法を実行するように構成された記憶装置１０４と通信する画像補正装置１０６をさらに含んでいる。例示的画像補正装置１０６は、例えば、コンピュータまたはマイクロコンピュータなどを含んでいる。画像補正装置１０６をイメージ・キャプチャ・デバイス１４４の一部として含んでいてもよく、または画像補正装置１０６はイメージ・キャプチャ・デバイス１４４と通信してもよい。画像補正装置１０６は、ＣＰＵなどのプロセッサ１３０を含み、ＣＰＵのプロセッサ上で実行可能なソフトウェアモジュールを保存するためのメモリ１３２を含み、記憶装置１０４と、イメージ・キャプチャ・デバイス１４４と、ディスプレイ１４８との無線データ通信を提供するのに適したハードウェアおよび／またはソフトウェアを含む少なくとも１つの通信インタフェース１３４を含んでいる。メモリ１３２、プロセッサ１３０、および通信インタフェース１３４は、トレーニング装置１０２のメモリ１１２、プロセッサ１１０、および通信インタフェース１１６、１１８と同様に構成できる。例示的ソフトウェアモジュールは、入力装置１４４から送信された記録された画像１４２を受け取り、入力画像１４２を受け取ることに呼応して、少なくとも１つの補正行列１２２を適用することにより補正済みの画像１４６を得るために入力画像１４２を自動的に調節する画像調節モジュール１４０を含んでいる。このモジュール１４０については、例示的方法に関連して後述する。画像補正装置１０６のさまざまな構成要素をすべてバス１５０で接続してもよい。

ひきつづき図１を参照すると、実際のデータは画像補正装置１０６による処理を受けてもよく、画像補正装置１０６と通信するＧＵＩ１４８上でユーザに対して好適な形で実際のデータを表示してもよい。ＧＵＩ１４８は、補正済み画像１４６または補正済み画像内のナンバープレート番号などの情報をユーザに表示するためのディスプレイ、入力として命令を受け取るためのキーボードまたはタッチスクリーンもしくは書き込み可能スクリーンなどのユーザ入力装置、および／またはユーザ入力情報とコマンド選択とをプロセッサ１３０に伝達するためのマウスまたはトラックボールなどのカーソル制御装置を含むことができる。

図２は、ナンバープレートの画像を補整するための方法２００を説明するフローチャートである。方法はＳ２０２から始まる。方法は、第１段階のＳ２０４でカメラをトレーニングすること（同意語として本明細書では「較正すること」とも呼ぶ）と、第２段階のＳ２０６でカメラからの画像を補整すること（同意語として本明細書では「カメラを作動させること」とも呼ぶ）と、を含んでいる。トレーニングＳ２０２は、Ｓ２０８で、ナンバープレートに対応する補正パラメータの第１の集合を自動的に決定することを含んでいる。ナンバープレートは傾斜配向されたプレートを含み、このことは、ナンバープレートが全体として傾斜した配向で車両のバンパ領域に取り付けられていることを意味している。また、トレーニングＳ２０２は、Ｓ２１０で、垂直配向されたプレートに対応する補正パラメータの第２の集合を自動的に決定することを含み、このことは、ナンバープレートがほぼ垂直な位置で車両のバンパ領域に取り付けられていることを意味している。一般に、正面のナンバープレートは垂直に配向されるが、背面取り付けナンバープレートは傾斜して、または垂直に配向される可能性がある。

ひきつづき図２を参照すると、Ｓ２０４で補正することは、Ｓ２１２で入力画像を受け取ることを含んでいる。入力画像は、記録された車両の画像または車両のバンパ領域の画像を含んでいる。方法は、画像内にナンバープレートを検出しているかどうかを判断することを含んでいる。方法は、Ｓ２１４で、補正パラメータの第１の集合を自動的に使用して画像を調節することを含んでいる。パラメータを用いて、方法は、Ｓ２１６で、検出した画像が傾斜配向されたプレートであるかどうかを判断することを含んでいる。検出した画像が傾斜配向されたプレートではないことを判断が示している場合には、方法は、Ｓ２１８で、補正パラメータの第２の集合を自動的に使用して画像を調節することを含んでいる。方法はＳ２２０で終了する。

幾何学ひずみ
ほとんどすべてのナンバープレートの形は長方形である。米国内のほとんどの州の標準仕様の旅客用プレートは、同様の設計、レイアウト、および寸法を有している。さらに、傾斜したプレートは、一般的に、だいたい同じ角度で取り付けられている。

ＡＬＰＲカメラでプレートの画像を記録する場合、画像は遠近法的なひずみを受けやすい。図３は、車両３０４上の記録されたリヤバンパ領域である画像３００内でひずんでいる背面取り付けプレート３０２の例を示している。通行料徴収などの多くのＡＬＰＲ用途では、図４に示すせん断変換によりひずみ４００を近似できる。せん断は、数学的には下記の二次元行列で表すことができる。

せん断行列ＳＨでは、ｓｈｘおよびｓｈｙは、それぞれｘ方向およびｙ方向のせん断係数である。すべてのせん断行列は逆を有しており、逆は、単にせん断要素にマイナスを付けたせん断行列であり、これは反対方向のせん断変換を表している。結果として、記録された画像内のナンバープレートのせん断および／またはひずみは、逆方向に向かってナンバープレートをせん断することにより補正できる。

正面のプレートが垂直に通常取り付けられており、車両の移動方向に対して垂直であるため、すべての正面のプレートがだいたい同じ方向を向いていると推定される。正面のプレートのせん断は、単一の行列を用いて近似できる。

しかしながら、上述のように、背面取り付けプレートは垂直に、または内側に向かって傾斜して取り付けることができる。図５は、垂直配向されたプレート５０４を含むリヤバンパ領域５０２の画像５００を示している。同様に、図６は、傾斜配向されたプレート６０４を含むリヤバンパ領域６０２の画像６００を示している。各配向には異なるせん断行列が必要である。傾斜したプレートのせん断変換を表すには第１の補正行列（すなわち、第１のせん断行列）が必要であり、垂直なプレートのせん断変換を表すには第２の補正行列（すなわち、第２のせん断行列）が必要である。

また、同様に、記録された画像内で検出したプレートの較正時に、拡大縮小を規格化する。拡大縮小行列を下記に表しており、この拡大縮小行列は逆を求めることもできる。

ｓｘおよびｓｙは、ｘ方向およびｙ方向の拡大縮小係数である。せん断と拡大縮小の組み合わせは、Ｄ＝ＳＳＨで表すことができる。

本明細書は、平均ひずみを最小にすることを目的としている。本明細書は、多くの画像見本を用いて補正パラメータの少なくとも１つの集合を自動的に決定することを目的としている。補正パラメータがその後画像に適用できるまで、補正パラメータを記憶装置内に保存する。一般に、Ｓ２０２のトレーニング段階の間に補正パラメータを決定し、このトレーニング段階は以下では同意語として「較正段階」と呼ぶ。

トレーニング段階
図７を参照すると、少なくとも１つの補正行列を決定するために使用する較正段階を説明するためのフローチャートを示している。較正は、オンラインでもオフラインでも実行できる。方法はＳ７００から始まる。Ｓ７０２で、トレーニング装置（図１の１０２を参照すること）において多くの画像見本を受け取る。画像は、較正しようとしているカメラから記録することが好ましい。上述のように、画像見本は電子フォーマットでトレーニング装置に提供できる。画像データ見本は、入力として任意の好適なソースからトレーニング装置へ提供できる。画像見本は、それぞれ、ナンバープレート見本、および／またはナンバープレート見本を含むバンパ領域を含んでいる。

プレート画像見本を記録するときには、Ｓ７０２で較正するために選択されたＡＬＰＲカメラを全範囲で作動できる。言い換えれば、カメラは、すべての可能なせん断パラメータおよび拡大縮小パラメータを含むプレート見本を捜すことができる。しかしながら、ＡＬＰＲカメラが、限定された探索範囲で作動する実施形態を想定する。限定された探索範囲で作動するＡＬＰＲカメラにより画像見本を提供する場合、Ｓ７０４で、入力画像を事前調節することにより、範囲を広げることができる。

第１の範囲内の縮尺比だけを取り扱うＡＬＰＲカメラでは、変更された範囲の縮尺比でカメラが作動できるようにする係数だけ、入力画像を事前拡大縮小できる。変更された範囲は、第１の範囲のそれぞれの下方の値および上方の値と、係数との積である下方の値および上方の値を有することができる。第１の範囲の結果と、変更された範囲の結果と、を組み合わせて、第１の範囲の下方の値である下方の値と、変更された範囲の上方の値である上方の値と、を有するより大きな範囲を作り出すことができる。０．８〜１．２の範囲内の縮尺比だけを取り扱うＡＬＰＲカメラを使用する説明に役立つ一実施例では、例えば係数２／３だけ入力画像を事前拡大縮小することにより、カメラが１．２〜１．８の縮尺比で作動できるようにする可能性がある。元の画像内で検出した結果と事前拡大縮小した画像内で検出した結果とを組み合わせることにより、有効範囲は０．８〜１．８になる。

Ｓ７０４における事前拡大縮小を、他の実施例では、係数４／９だけ調節できる。この場合、０．８〜１．２の範囲内の元の縮尺比を、０．８〜２．７の範囲内で作動するように広げることができる。異なる拡大縮小パラメータおよびせん断パラメータを用いて入力画像を事前調節することにより、ＡＬＰＲカメラの範囲を実質的に広げることができる。

ひきつづき図７を参照すると、Ｓ７０８で、画像見本に対する群のうちの第１の群内の各ナンバープレート見本の四隅の各々の座標を決定する。座標は、各ｉ番目のプレートの左下隅のｘ、ｙ座標（ｘ_ｉ１、ｙ_ｉ１）、右下隅のｘ、ｙ座標（ｘ_ｉ２、ｙ_ｉ２）、左上隅のｘ、ｙ座標（ｘ_ｉ３、ｙ_ｉ３）、および右上隅のｘ、ｙ座標（ｘ_ｉ４、ｙ_ｉ４）を含んでいる。これらの四隅は、ＡＬＰＲの中間出力の一部または最終出力の一部として求めることができる。しかしながら、他の実施形態では、プレート見本の４個の境界を検出して、その後、境界の交点を計算することにより、座標を決定できる。ハフ変換を使用して境界を検出できる。

ひきつづき図７を参照すると、Ｓ７１０で、各ナンバープレート見本における座標間の差（ｄｘ_ｉ１、ｄｘ_ｉ２、ｄｘ_ｉ３、ｄｘ_ｉ４、ｄｙ_ｉ１、ｄｙ_ｉ２、ｄｙ_ｉ３、ｄｙ_ｉ４）を計算する。下記の式を用いて差を決定する。

ひきつづき図７を参照すると、Ｓ７１２で、計算された差を使用して、各ナンバープレート見本に対する特徴集合Ｖ_ｉを決定する。より具体的には、決定は特徴集合として式（３）で定義されるｄｘ_ｉｊ／ｄｙ_ｉｊを使用し、ここでｉは画像の添字、ｊ＝１〜４である。特徴集合Ｖ_ｉは、ｉ番目のプレート見本の形状を特定する２×４行列である。ｉ番目のプレートに対する特徴集合は下記のように定義される。

特徴は、せん断の程度を評価する。背面プレートでは、評価値は２つの群にまとめられる（クラスタ化される）。このクラスタ化は、例えば、Ｋ平均アルゴリズムなどの既存の方法を用いて求めることができる。

ひきつづき図７を参照すると、Ｓ７１４で、理想的なプレート形状に対する特徴集合Ｄもまた決定する。特徴集合Ｄは、長方形を定義する２×４行列で表され、ここでｗおよびｈが長方形の理想的な幅および高さである。

ひきつづき図７を参照すると、Ｓ７１６で、各プレート見本に対する補正済みのプレート形状ＣＶ_ｉを決定し、ここでＣは行列であり、Ｖ_ｉは元のプレート形状を記述する特徴集合である。補正済みのプレート形状を行列の掛け算により求める。次に、Ｓ７１８で、補正済みのプレート形状と、理想的なプレート形状の間の距離を決定し、この距離は｜｜ＣＶ_ｉ−Ｄ｜｜で表される。数学記号「｜｜」はフロベニウスノルムを示しており、これは多くのプレート見本に対して決定されるすべての行列エントリの二乗和である。

ひきつづき図７を参照すると、７２０で、補正行列を決定する。補正行列は、下記の式で表される二次元の補正行列であり、

ここでｉはナンバープレートの添字であり、合計はすべてのナンバープレートに対して行う。より具体的には、各クラスタに対して別々に最適化を行う。傾斜プレートおよび垂直プレートをそれぞれ補正するために、２つの行列Ｃ１およびＣ２を計算する。最小二乗法を用いて行列をどのように求めるかを決定するための式（６）における最適化について、以下に説明する。より具体的には、ベクトルｃ’は、行列Ｃのエントリを含むベクトルである。

ひきつづき図７を参照すると、Ｓ７２０で、Ｎ枚のナンバープレート見本に対するプレート情報を含む４×８Ｎ行列Ｖ’を形成する。より具体的には、同じクラスタに属するプレートだけを用いて行列Ｖ’を構成する。行列Ｖ’は下記の式で表される。

次に、Ｓ７２２で、クラスタ内のＮ枚のプレート見本に対する理想的な形状を特定する８Ｎベクトルを含むものとしてベクトルＤ’を決定する。ベクトルＤ’は下記の式で表され、

ここでＴは行列転置である。

ひきつづき図７を参照すると、Ｓ７２４で、ベクトルｃ’に対する最小二乗解を下記のように決定する。

その後、第２のクラスタに対する補正行列Ｃ１、Ｃ２を決定する。方法はＳ７２６で終了する。

運用段階
較正済みのカメラの運用を開始するまで、トレーニング段階で決定した補正行列Ｃ１、Ｃ２を記憶装置内に保存する。一般に、較正済みのカメラがナンバープレートの画像を特定したり、および／または記録したりできるように、較正済みのカメラを交通インフラストラクチャ内の選択位置に設置する。較正済みのカメラを使用して車両交通流量を監視し、画像を使用して車両のナンバープレート番号を特定する。

図８は、カメラが記録した画像を補正するための操作８００を説明する、より具体的には、画像内に含まれるナンバープレート番号を特定するための操作を説明する、フローチャートを示している。方法はＳ８０２から始まる。Ｓ８０４で、図７に記載するプロセスを用いて較正したイメージ・キャプチャ・デバイスを提供する。Ｓ８０６で、画像補正装置（図１の１０６を参照すること）において、較正済みのカメラから入力画像（以下では「実際の画像」と呼ぶ）を受け取る。

ひきつづき図８を参照すると、較正済みのカメラが限定された範囲内の縮尺比を取り扱っている場合、Ｓ８０８で実際の画像を調節できる。実際の画像を調節する方法は、図７のＳ７０４として説明した事前拡大縮小操作と似ている。補正は、トレーニング段階で決定した補正行列を使用して画像を調節することを継続する。下記のように調節を実行して、

ここでｖ（．，．）およびｖ’（．，．）は、それぞれ入力画像および補正済みの画像であり、（ｘ’，ｙ’）を下記のように計算する。

ｘ’およびｙ’のうちの少なくとも一方が整数ではないときには、それに最も近い整数から、例えば、線形補間などを用いてｖ（ｘ’，ｙ’）を決定する。

背面プレートでは、Ｓ８１０で、傾斜プレートを補正するための行列を最初に適用する。ＡＬＰＲがプレートを検出しないときには、Ｓ８１２で垂直プレート用の行列を用いて入力画像を再び調節する。このプロセスは、システムが両方の場合に対するプレートを検出できるようにする。方法はＳ８１４で終了する。

図９は、記録された画像に補正を適用する前後の一連のプレート画像を示している。幻像で示す画像が、イメージ・キャプチャ・デバイスから受け取る元のプレートの輪郭を含んでいる。最初の１３枚のプレートが、傾斜したプレートを規定している。最後の７枚のプレートが垂直配向されたプレートを規定している。元の画像の上に、実線で示す補正済みの画像を重ねている。見て分かるように、補正は、一般に、プレートの幾何学的配置を実質的に理想的な長方形に補正する傾向がある。

ドリフト補正
初期の較正の後に、システムは、ＡＬＰＲ結果を監視し続けて、パラメータドリフトを検出し続けてもよい。例えば、２４時間ごとまたは５分ごとなどの所定の期間後に、システムは、最近のＡＬＰＲ検出データを用いて補正行列を再計算して更新するために、図７に記載するプロセスを繰り返してもよい。また、事前に設定した閾値または限度をドリフトが超えているとき、システムは警報を送出してもよい。

本明細書の一態様は、ＡＬＰＲに対する探索範囲の大幅な低減である。本システムは、プレート補正に関連する計算コストを削減する。本システムは、誤判定に関連するエラー率をさらに改善する。本システムのさらなる態様は、幾何学的パラメータドリフトおよびカメラ・パラメータ・ドリフトを補正するために、長い間に前処理パラメータを自動調節するように構成されたイメージ・キャプチャ・デバイスである。

実施の例
図１０Ａ〜図１０Ｂおよび図１１Ａ〜図１１Ｂに、運用段階の実施の例を、記録された画像および結果として示している。図１０Ａおよび図１０Ｂは、較正済みのイメージ・キャプチャ・デバイスが記録した２枚の入力画像を示している。図１０Ａは、記録され、垂直取り付けを有していた元のナンバープレートの画像を示している。図を見て分かるように、プレートは垂直に取り付けてあるが、プレートを取り付けてある車両が、イメージ・キャプチャ・デバイスに対して所定の角度をなして位置している。このように、プレートは、プレートの水平軸に沿った所定の角度で記録されている。

図１０Ｂは、記録され、傾斜取り付けを有していた元のナンバープレートの画像を示している。図を見て分かるように、プレートは所定の傾斜で取り付けてあるため、プレートはカメラの垂直軸に沿ったカメラに対して傾いている。図を見てさらに分かるように、プレートを取り付けてある車両が、イメージ・キャプチャ・デバイスに対して所定の角度をなして位置している。このように、このプレートもまた同様に、プレートの水平軸に沿った所定の角度で記録されている。

これらの画像は、図８に対して説明する操作を用いて試験された。図１１Ａおよび図１１Ｂは、プロセスを受けた後の補正済みの画像である。図１１Ａは、図１０Ａに示す垂直画像に対する補正済みのプレートを示している。見て分かるように、実質的に９０度の角度をそれぞれ有する四隅を備えたほぼ長方形の出力画像として、補正済みのプレートを提供する。また同様に、図１０Ｂの傾斜したプレートに対する図１１Ｂに示す補正済みの画像を示しており、４個の実質的に９０度の角度を有する、ほぼ長方形の、すなわち理想的な形を備えている。

Claims

少なくとも１つの補正行列を提供することを含む、補正パラメータの少なくとも１つの集合を提供することと、
検出したナンバープレートを表す入力画像を受け取ることと、
前記入力画像を受け取ることに呼応して、前記少なくとも１つの補正行列を用いて補正済みの画像を得るために前記入力画像を自動的に調節することと、
を含み、
前記少なくとも１つの補正行列Ｃを提供することは、
複数のナンバープレート画像見本それぞれからナンバープレートの四隅のｘ，ｙ座標の間の差を計算することと、
前記複数のナンバープレート画像見本の各ナンバープレート画像見本それぞれについて、前記四隅のｘ，ｙ座標の間の差を要素とするプレートの形状行列Ｖｉを求め、これらの中から一群の前記プレートの形状行列Ｖｉの集合である特徴集合を決定することと、
理想的な長方形プレートの高さと幅とによりＤ行列のベクトルが定義される理想的なプレート形状Ｄを決定することと、
前記補正行列Ｃと各プレートの形状行列Ｖｉとの積ＣＶｉから前記理想的なプレート形状Ｄを差し引くこと（ＣＶｉ−Ｄ）により、補正済みの各プレート形状と前記理想的なプレート形状の間の距離を決定することと、
前記特徴集合の一群のプレートの形状行列Ｖｉについて、前記補正済みの各プレート形状と前記理想的なプレート形状の間の距離の二乗和を求めることと、
前記二乗和に基づき前記補正行列Ｃを最適化することと、
を含む、記録された画像内で検出したナンバープレートを調節する方法。
前記調節することが、
前記補正パラメータの第１の集合を適用した後に、傾斜配向されたプレートが検出されたかどうかを判断することと、
前記傾斜配向されたプレートと判断されないことに呼応して、垂直配向されたプレートに対応する補正パラメータの少なくとも第２の集合を適用することと、
をさらに含む、請求項１に記載のナンバープレートを調節する方法。
前記調節することが、
入力画像が正面プレートを含むときは、垂直配向されたプレート用の補正行列のみを適用して前記入力画像を補正し、
前記入力画像が背面プレートを含むとき、前記垂直配向されたプレート用の補正行列及び傾斜配向されたプレート用の補正行列の２つの行列を適用して前記入力画像を補正することを含む、請求項１に記載のナンバープレートを調節する方法。
前記調節することが、
前記入力画像内の前記検出したプレートを所定の寸法に拡大縮小することと、
前記入力画像内の前記検出したプレートを調節して、ひずみを補正することと、
を含む、請求項１に記載のナンバープレートを調節する方法。
前記補正パラメータの少なくとも１つの集合を提供することは、
イメージ・キャプチャ・デバイスを提供することと、
前記イメージ・キャプチャ・デバイスが記録したＮ枚のナンバープレートの画像を受け取ることと、
前記画像内に記録された各ナンバープレートの四隅の各々のｘ，ｙ座標を決定することと、
各画像のための補正パラメータの集合を決定することと、
を含む、請求項１に記載のナンバープレートを調節する方法。