WO2004021266A1

WO2004021266A1 - 文字情報認識システム

Info

Publication number: WO2004021266A1
Application number: PCT/JP2002/008633
Authority: WO
Inventors: Kunikazu Takahashi
Original assignee: Fujitsu Limited
Priority date: 2002-08-27
Filing date: 2002-08-27
Publication date: 2004-03-11
Also published as: JPWO2004021266A1

Description

明細書文字情報認識システム技術分野

本発明は文字情報認識システムに関し、特に移動体上の文字情報の認識を行う文字情報認識システムに関する。背景技術

近年、交通監視、高速道路料金所監視等の分野では、自動車、列車等の移動体上の文字列、例えば自動車のナンバプレートに記載の登録番号、または列車側部に記載の列車番号を、自動的に認識する文字情報認識システムの必要性が高まつている。

従来の文字情報認識システムは、電信柱や門柱などに固定的に撮像 ·認識装置を設置して、画像を監視する監視システムと、屋内に設置したサーバにより、監視された文字情報を処理する文字情報処理システムとから構成される。

図 6は監視システムの設置状態を示す図である。ここでは、道路に沿って監視システム 1 1 0が取り付けられている状態を示している。ポール P l、 P 2が道路 1 1 1の端に設置され、撮像装置 1 1 2 aがポール P 1、撮像装置 1 1 2 がポール P 2に取り付けられる。撮像装置 1 1 2 a、 1 1 2 bは道路 1 1 1のレーン毎に設けられており、撮像装置 1 1 2 aは範囲 Aを、撮像装置 1 1 2 bは範囲 Bを監視可能な範囲としている。また、移動体を認識するための認識装置 1 1 3 a、 1 1 3 bが道路 1 1 1の端に設置される。

このように構成されたシステムにおいて、道路上を移動する移動体に対し、撮像装置 1 1 2 a、 1 1 2 bは、自己が担当するレーンを通過する移動体をそれぞれ撮像する。撮像された画像は、認識装置 1 1 3 a、 1 1 3 bに入り、移動体に記載されている文字情報が認識される。

図 7は文字情報処理システムの構成を示す図である。図 6で示した監視システム 1 1 0で認識された文字情報を屋内で処理するための文字情報処理システム 1 2 0の構成を示している。

認識装置で認識された文字情報は、複数地点から専用線 1 2 1を介して集められ、回線集約装置 1 2 2に入る。なお、収集される情報には、文字情報だけでなく、監視時刻情報や監視箇所情報なども含まれる。

回線集約装置 1 2 2は、 L AN 1 2 3を介して収集されたデータをサーバ 1 2 4に送信する。サーバ 1 2 4は、入力された文字情報とデータべ一ス 1 2 5に入つている情報とを比較照合する。

端末 1 2 6からは、あらかじめ移動体に関する情報（例えば手配中の移動体のナンバ等）が入力され、デ一夕ベース 1 2 5に蓄積されている。サーバ 1 2 4は、回線集約装置 1 2 2から入力された文字情報とデータベース 1 2 5に蓄積されている文字情報とを順次比較していく。

そして、入力された文字情報が、データベース 1 2 5に蓄積されている情報と一致した場合、サーバ 1 2 4はそのことを端末 1 2 6に通知する。端末 1 2 6では、一致した登録ナンバ等を即座にディスプレイに表示する。このようにして、あらかじめ登録されていた移動体のナンパが、オペレータに通知されることになる。

しかし、上記のような従来の文字情報認識システムでは、監視システム 1 1 0 を屋外に固定的に設置する構成なので、撮像装置 1 1 2 a、 1 1 2 bや認識装置 1 1 3 a , 1 1 3 bなどを固定取り付けするための大掛りな工事が必要であり、また、屋内には文字情報処理システム 1 2 0として文字情報を処理するための管理センタなどを設ける必要があった。このように、従来の文字情報認識システム 'は、システム全体の規模が非常に大きいものであり、容易にシステムを構築できないといった問題があつた。

さらに、従来の文字情報認識システムでは、一旦、撮像装置 1 1 2 a、 1 1 2 bや認識装置 1 1 3 a、 1 1 3 bを屋外に設置してしまうと、その後、設置場所を変更することは非常に困難であり、システムの運用性に柔軟性がなかった。発明の開示

本発明はこのような点に鑑みてなされたものであり、運搬可能で設置場所を自由に変えることができ、利便性及び運用性の向上を図つた文字情報認識システムを提供することを目的とする。

本発明では上記課題を解決するために、図 1に示すような、移動体上の文字情報の認識を行う文字情報認識システム 1において、検知箇所に仮設して、移動体を検知する検知センサ 1 0と、撮像箇所に仮設して、検知された移動体を撮像する撮像装置 2 0と、撮像画像を静止画像として取り込んで文字情報を認識する認識部 3 l aと、照合したい文字情報をあらかじめ記憶する記憶部 3 2と、認識した文字情報と、あらかじめ記憶している文字情報とを照合する照合部 3 1 bと、照合の結果、文字情報が一致した場合に、認識した文字情報及び該当の静止画像を記憶するデータベース部 3 3と、から構成される可搬型の認識 ·照合装置 3 0 と、を有することを特徴とする文字情報認識システム 1が提供される。

ここで、検知センサ 1 0は、検知箇所に仮設して移動体を検知する。撮像装置 2 0は、撮像箇所に仮設して、検知された移動体を撮像する。認識部 3 1 aは、静止画像から文字情報を認識する。記憶部 3 2は、照合したい文字情報をあらかじめ記憶する。照合部 3 l bは、認識した文字情報と、あらかじめ記憶している文字情報とを照合する。データベース部 3 3は、照合の結果、文字情報が一致した場合に、認識した文字情報及び該当の静止画像を記憶する。

本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。図面の簡単な説明

図 1は、本発明の文字情報認識システムの原理図である。

図 2は、文字情報認識システムのプロック構成を示す図である。

図 3は、登録データの構成例を示す図である。

図 4は、本発明の動作を示すフローチャートである。

図 5は、車番認識処理の動作フローを示す図である。

図 6は、監視システムの設置状態を示す図である。

図 7は、文字情報処理システムの構成を示す図である。発明を実施するための最良の形態

以下、本発明の実施の形態を図面を参照して説明する。図 1は本発明の文字情報認識システムの原理図である。本発明の文字情報認識システム 1は、検知センサ 1 0、撮像装置 2 0、認識 ·照合装置 3 0から構成されて、移動体上の文字情報の認識を行うシステムであり、運搬可能な可搬型のシステムである。

すなわち、本発明のシステムを構成する検知センサ 1 0、撮像装置 2 0、認識 ·照合装置 3 0は、設置 ·調整が容易であり、例えば自動車で目的地まで運搬でき、また一人で持ち運び可能な大きさになっている。

検知センサ 1 0は、検知箇所に仮設（一時的に設置する）して移動体を検知する。撮像装置 2 0は、撮像箇所に仮設して、検知された移動体を撮像する。認識 ·照合装置 3 0は、認識部 3 1 a、記憶部 3 2、照合部 3 1 b、データベース部 3 3を含む。認識部 3 1 aは、撮像画像を静止画像として取り込んで文字情報を認識する。記憶部 3 2は、照合したい文字情報をあらかじめ記憶する。

照合部 3 l bは、認識した文字情報と、あらかじめ記憶している文字情報とを照合する。データベース部 3 3は、照合の結果、文字情報が一致（以下、ヒット）した場合に、認識した文字情報及び該当の静止画像を記憶する。

次に文字情報認識システム 1の構成及び動作について詳しく説明する。図 2は文字情報認識システム 1のブロック構成を示す図である。図は、認識 ·照合装置 3 0の内部ブロック及びその周辺部を示している。

認識 ·照合装置 3 0の周辺部に対し、検知センサ 1 0は、超音波方式のセンサであり、超音波を移動体に放射し、移動体から反射されて返ってくる信号を測定して移動体の有無を判別する。このような超音波方式の検知センサを用いると、装置を小型化することができる。

一方、撮像装置 2 0には例えば、テレビカメラ 2 0— 1、ビデオ力メラ 2 0— 2、ディジタルカメラ 2 0— 3が用いられる。テレビカメラ 2 0— 1、ビデオ力メラ 2 0— 2、ディジタルカメラ 2 0— 3は、移動体を撮像する。無線機（トランシ一バ） 4 1は、認識 ·照合装置 3 0から通知情報を無線で受ける。ディスプレイ 4 2は、各種の画像を表示し、操作部 4 3は、キーボードやマウス等から構成される。フレキシブルディスク 4 4は、あらかじめ別途作成した、照合したい文字情報（以下、登録データと呼ぶ）が保存された情報記憶媒体であり、接続部 3 7を介してセットされる。

認識 ·照合装置 3 0の内部プロックに対し、 C P U部 3 1は、認識 ·照合の全体の動作を制御する（認識部 3 1 a及び照合部 3 1 bの機能を含む）。記憶部 3 2は、フレキシブルディスク 4 4を介して入力された登録データを記憶する。デ —夕ベース部 3 3は、ヒットした時の文字情報と、そのときの静止画像とを記憶する。また、ヒット地点の表示のための地図情報や、移動体を撮像したときの人物画像なども記憶する。

インタフェース部 3 4 aは、検知センサ 1 0の出力を C P U部 3 1に送信するためのインタフェース処理を行う。キヤプチャカード 3 5 aは、テレビカメラ 2 0 - 1と接続し、'テレビカメラ 2 0一 1からのアナログ画像信号をディジタル画像信号に変換する。イン夕フェース部 3 4 bは、キヤプチャカード 3 5 aの出力を受けて C P U部 3 1に送信するためのインタフェース処理を行う。

キヤプチャカード 3 5 bは、ビデオカメラ 2 0— 2に接続し、ビデオカメラ 2 0— 2からのアナログ画像信号をディジタル画像信号に変換する。インタフエ一ス部 3 4 cは、キヤプチャカード 3 5 bの出力、またはディジタルカメラ 2 0— 3の出力を受けて C P U部 3 1に送信するためのインタフエ一ス処理を行う（なお、ディジタルカメラ 2 0— 3の出力は、 R S 4 2 2カード (直列インタフエ一ス）により C P U部 3 1に接続される）。

押しボタンスィッチ 3 6は、静止画像を捉えるためのポタンスィッチである (動作は後述する）。変調部 3 8は、 C P U部 3 1から送信された通知情報を無線周波数に変換してアンテナを介して出力する。 G P S (Global Positioning S ystem) 受信チップ（位置情報取得部に該当） 3 9は、 G P S衛星からの測位情報の受信機能を持ち、自分の位置情報（緯度、経度）を取得する。なお、図中、電源部（交流電源で動作する場合には、インバータも用意される）の図示は省略した。

次に記憶部 3 2への登録データの保存処理について説明する。記憶部 3 2には、あらかじめ移動体に関する情報を登録データとして記憶させておく。この登録デ一夕は、センタ側に設けられているホストコンピュータから読み出したものをフレキシブルディスク 4 4等の情報記憶媒体に書き込み、それを本システムのある場所まで持参して入力する。すなわち、登録データが記憶されたフレキシブルデイスク 4 4を接続部 3 7に接続し、操作部 4 3から記憶指令を与える。

これにより、記憶部 3 2へフレキシブルディスク 4 4に記憶されていた登録デ —夕が転送されて保存されることになり、認識 ·照合装置 3 0に移動体に関する登録デ一夕を容易に記憶させることができる。なお、フレキシブルディスク 4 4では記憶容量が足りない場合には、フレキシブルディスクの代わりに容量の大きい C D— RW装置を用いてもよい。

図 3は登録データの構成例を示す図である。登録データ 3 2— 1は、移動体のナンパ、移動体の所有者氏名、登録年月日、履歴（登録を更新した年月日）、その他の情報が記憶されている。このような登録デ一夕 3 2— 1を記憶しておくことで、移動体に関する情報を把握することが可能になる。

次にフローチヤ一トを用いて全体の動作について説明する。図 4は本発明の動作を示すフローチャートである。なお、撮像装置 2 0として、テレビカメラ 2 0 - 1を用いた場合について示す。

〔S 1〕検知センサ 1 0は、所定の方向に対して常時超音波を発しており、移動体が検知域に入ってくると、移動体から超音波の反射信号が戻ってくる。この反射信号を検出することにより、移動体を検知する。

〔S 2〕 C P U部 3 1は、検知センサ 1 0からの検知信号を受けると、インタフエース部 3 4 bから入ってくるテレビカメラ 2 0— 1で撮像した画像を静止画像として取り込む。テレビカメラ 2 0— 1は、被写体領域を常時撮像しているので、インタフェース部 3 4 bからは、常時テレビカメラ 2 0— 1で撮像された画像が垂れ流しで入ってくるが、通常はその画像は捨てている。そして、検知センサ 1 0が移動体を検知した後に、所定時間経過後、テレビカメラ 2 0— 1から出力される画像が、静止画像として取り込まれる。

ここで、検知センサ 1 0からの検知信号の通知処理について説明する。検知センサ 1 0から検知信号が有線または無線で送信される（有線の場合は R S 2 3 2 Cなどを用いる）。そして、検知信号をキャッチした認識 '照合装置 3 0では、ソフトウェア処理により、所定の時間リアルタイム保持されている動画の中から、車両通過タイミングにマッチした静止画像を取り出すことになる。

〔S 3〕 C P U部 3 1は、ステップ S 2で取り込んだ静止画像から文字情報領域を切り出す。この文字情報領域を切り出す方式としては、 1画面内を左上から右下に向けて順次スキヤンすることにより、文字情報領域を抽出する方法などが採用される。このような方法を用いると、 1画面内のどの場所に文字情報領域があつても該当の文字情報領域を検出することができる。なお、文字情報切り出しァルゴリズムについては後述する。

〔S 4〕 C P U部 3 1は、切り出された文字領域に記憶されている文字情報を認識する。文字情報認識アルゴリズムについて後述する。

〔S 5〕 C P U部 3 1は、入力された文字情報と、記憶部 3 2に記憶されている登録データとの比較照合を行う。この照合では、 1文字ずつ行っていく。

〔S 6〕記憶部 3 2内の登録データとテレビカメラ 2 0一 1で読み込んだ文字情報とがヒットした場合、 C P U部 3 1はデータベース部 3 3に文字情報と、その文字情報を含む静止画像とを記憶する。

ここで、記憶部 3 2に記憶されている登録データと、読み込んだ文字情報とがヒットした時、データベース部 3 3に記憶されている地図情報と、ヒット領域 ( G P S受信チップ 3 9で測定された認識 ·照合装置 3 0の位置）とをディスプレイ 4 4の地図上にスポットとして表示する。

また、撮像装置 2 0で移動体を撮像する時に、通常は移動体の情報に加えて人の顔画像も撮影されるのが通常である。そこで、本発明では移動体内にいる人の画像も抽出して、データベース部 3 3に蓄積する。このようにすれば、移動体に関して取得した情報を増やすことができる。

次に押しポタンスィッチ 3 6の動作について説明する。例えば、撮像装置 2 0 として、ビデオカメラ 2 0— 2を用いて移動体を撮像しているものとする。ビデォカメラ 2 0— 2は、内蔵のビデオテープに撮像領域を常時撮影記録している。ビデオテープに画像が記録されたら、 C P U部 3 1は画像を読み出してディスプレイ 4 2に表示する。

オペレータは、ディスプレイ 4 2に表示されている画像を観察し、目的の移動体が撮像されていたら、押しポタンスィッチ 3 6を押す。この結果、移動体が入つてきた時点における静止画像がキャッチされる。 C P U部 3 1は、キャッチした静止画像から文字情報領域を切り出し、文字情報認識処理を行う。このように、本発明によれば、移動体をバッチ処理することも可能である。

また、ディジタルカメラ 2 0— 3を用いた場合でも同様な処理を行うことができる。例えば、目的とする移動体が視野に入ってきたら、オペレータは押しポ夕ンスィッチ 3 6を押す。この信号は、ディジタルカメラ 2 0— 3にシャツ夕信号として与えられ、ディジタルカメラ 2 0— 3で移動体を撮影する。

ディジタルカメラ 2 0— 3で撮影された静止画像は、インタフェース部 3 4 c を介して C P U部 3 1に与えられる。 C P U部 3 1は、上述した同じ手順で静止画像から文字情報を認識し、ヒットした場合には静止画像とあわせてデータべ一ス部 3 3に記憶させる。

一方、画像がヒットした時の処理では、 C P U部 3 1は、その結果をディスプレイ 4 4に表示させる。これにより、オペレータは目的とする移動体の登録ナンバを認識することができる。また、変調部 3 8により無線でトランシーバ 4 1に登録ナンパを転送する。この結果、トランシーバ 4 1を持っている人は、文字情報がヒットしたことを音声で認識することができる。

次に文字情報の認識処理の例として、車番（車両ナンパ）を認識する車番認識処理（文字情報切り出しァルゴリズム及び文字情報認識アルゴリズムも含めて）の概要について説明する。図 5は車番認識処理の動作フローを示す図である。車番認識処理は、車両検知処理、初期探索処理、車番切り出し処理、詳細認識処理の順で行われる。

C S 1 1〕車両検知処理では、撮像装置により撮像している動画像から車両が通過したことを認識し、対象画像を抽出する。

C S 1 2 ] 初期探索処理では、車両検知処理で抽出された画像全体からプレートの可能性の高い矩形領域を探索する。

C S 1 3〕車番切り出し処理では、初期探索処理で抽出されたプレート候補領域に対し、プレートかどうかの確認処理を行う。

〔S 1 4〕詳細認識処理では、車番切り出し処理で抽出されたプレート領域に対し、辞書画像とテンプレートマッチングによりマッチング率最大の文字を抽出して認識処理を行う。

ここで、テンプレートマッチングとは、観測パターン（観測プレート）そのものを、パターン毎に用意されているテンプレート（ここでは辞書画像と呼ぶ）と重ね合せることによって得られる両者の差、または相関を使って識別する方法をいう。テンプレートマッチングは、パターン認識において最も簡単な装置で実現できる。

次に車番切り出し処理の詳細について説明する。ステップ S 1 3で上述した条件に合致する領域を探索するため、下記のような切り出し処理を行う。

( 1 ) プレート水平方向傾き補正を行う。

( 2 ) プレート垂直方向傾き補正を行う。

( 3 ) 一連番号周辺領域の傾き補正画像を作成する。

( 4 ) 上記プレート領域の 2値化画像を作成する。

( 5 ) 一連番号文字領域を抽出する。

( 6 ) 一連番号の認識処理を行う。

( 7 ) プレートらしさの確認（レイアウトチェック）、プレートサイズの判定を行う（プレートサイズ（大型または中型）は、認識された一連番号の大きさから判定する）。

また、詳細認識処理では、プレート画像の作成、陸支コード認識処理、用途コード認識処理、分類番号認識処理、一連番号再認識処理を行う。

以上説明したように、本発明の文字情報認識システム 1は、移動体を検知する小型の検知センサ 1 0、汎用の撮像装置 2 0、読み込んだ文字情報と登録データとを照合してヒッ卜した場合にデータベースに記憶する可搬型の認識 ·照合装置 3 0とを有し、システム全体の規模をコンパクトに構成した。これにより、映像を監視して文字情報を認識したい箇所に容易に設置でき、設置場所も自由に変更することができるので、使い勝手のよい文字情報認識サービスを実現することが可能になる。

上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

Claims

請求の範囲

1 . 移動体上の文字情報の認識を行う文字情報認識システムにおいて、

検知箇所に仮設して、移動体を検知する検知センサと、

撮像箇所に仮設して、検知された移動体を撮像する撮像装置と、

撮像画像を静止画像として取り込んで文字情報を認識する認識部と、照合したい文字情報をあらかじめ記憶する記憶部と、認識した文字情報と、あらかじめ記憶している文字情報とを照合する照合部と、照合の結果、文字情報が一致した場合に、認識した文字情報及び該当の静止画像を記憶するデータベース部と、から構成される可搬型の認識 ·照合装置と、

を有することを特徴とする文字情報認識システム。

2 . 前記検知センサは、移動体に向けて超音波を放射し、反射信号により移動体の検知を行うことを特徴とする請求の範囲第 1項記載の文字情報認識システム。

3 . 前記記憶部は、記憶媒体を介して入力された登録データを記憶し、前記登録データには、移動体のナンパ、所有者氏名、登録した日付の少なくとも 1つが含まれることを特徴とする請求の範囲第 1項記載の文字情報認識システム。

4 . 前記データベース部は、地図情報と移動体内の人物画像とをさらに記憶することを特徴とする請求の範囲第 1項記載の文字情報認識システム。

5 . 前記認識 ·照合装置は、衛星より位置情報を取得する位置情報取得部を有し、文字情報を照合して一致した場合、前記位置情報取得部で取得した文字情報一致領域を、データベース部が記憶している地図情報と共にディスプレイに表示することを特徴とする請求の範囲第 1項記載の文字情報認識システム。

6 . 前記認識 ·照合装置は、文字情報を照合して一致した場合、通知情報を無線信号に変換して無線機へ送信する変調部を有することを特徴とする請求の範囲第 1項記載の文字情報認識システム。

7 . 前記認識部は、前記撮像装置で撮像した画像をディスプレイに表示し、ォペレ一夕からの操作にもとづいて、移動体の撮像画像を静止画像として取り込み、取り込んだ静止画像から文字情報を認識することを特徴とする請求の範囲第 1項記載の文字情報認識システム。

8 . 移動体上の文字情報の認識 ·照合を行い、可搬型の認識 ·照合装置において、

移動体の撮像画像を静止画像として取り込んで文字情報を認識する認識部と、照合したい文字情報をあらかじめ記憶する記憶部と、

認識した文字情報と、あらかじめ記憶している文字情報とを照合する照合部と、照合の結果、文字情報が一致した場合に、認識した文字情報及び該当の静止画像を記憶するデータべ一ス部と、

を有することを特徴とする認識 ·照合装置。

9 . 前記記憶部は、記憶媒体を介して入力された登録データを記憶し、前記登録データには、移動体のナンパ、所有者氏名、登録した日付の少なくとも 1つが含まれることを特徴とする請求の範囲第 8項記載の認識 ·照合装置。

1 0 . 前記データベース部は、地図情報と移動体内の人物画像とをさらに記憶することを特徴とする請求の範囲第 8項記載の認識 ·照合装置。

1 1 . 衛星より位置情報を取得する位置情報取得部を有し、文字情報を照合して一致した場合、前記位置情報取得部で取得した文字情報一致領域を、データべ

—ス部が記憶している地図情報と共にディスプレイに表示することを特徴とする請求の範囲第 8項記載の認識 ·照合装置。

1 2 . 文字情報を照合して一致した場合、通知情報を無線信号に変換して無線機へ送信する変調部を有することを特徴とする請求の範囲第 8項記載の認識 ·照合装置。

1 3 . 前記認識部は、前記撮像装置で撮像した画像をディスプレイに表示し、オペレータからの操作にもとづいて、移動体の撮像画像を静止画像として取り込み、取り込んだ静止画像から文字情報を認識することを特徴とする請求の範囲第 8項記載の認識 ·照合装置。