WO2009150783A1 - パターン認識装置、パターン認識方法、画像処理装置及び画像処理方法 - Google Patents

Abstract

　本発明の課題は、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱えるようにすることである。 　画像入力部（１０１）により、画像とともにこの画像の撮影地点、時刻等の付帯情報を入力し、画像データ蓄積部（１０２）に蓄積する。また、文字認識部（１０３）により画像中の文字認識を行い、認識結果を文字認識結果蓄積部（１０４）に蓄積する。この画像及び付帯情報と文字認識結果とから、指示部（１０５）で入力された解析条件に基づき、解析部（１０６）で対象物に関連する対象物文字情報を抽出して対象物を解析し、解析結果を結果出力部（１０７）で出力する。これにより、同じ対象物を指し示した文字パターンの変動を解析することで、対象物の変動を解析可能である。

Description

パターン認識装置、パターン認識方法、画像処理装置及び画像処理方法

　本発明は、変動する可能性のある対象物が記録されている複数の画像に基づき、同時に記録された文字情報を用いて、記録された対象物の変動を解析するために利用されるパターン認識技術に関する。

　入力された画像を処理することにより、画像中に含まれる様々なパターンを認識するための技術が従来より提案されている。例えば、特許文献１においては、地図の内容が含まれる画像を処理して地図中の文字列を認識したり、動画中の所定位置に挿入された大きさが一定の文字列情報をパターン認識により認識することを想定している。

　例えば、特許文献１に開示されているような従来のパターン認識装置においては、画像中に含まれている文字パターンの位置やサイズ、文字認識の候補文字コードの一致度に応じて文字パターンを複数グループに分割し、グループに含まれる文字全体を用いて文字パターンに対応する文字コードを決定している。

　図２８は特許文献１に記載された従来のパターン認識方法における制御の内容を示すフローチャートである。図２８に示す制御において、文字候補獲得工程（Ｓ１～Ｓ６）では、画像から文字パターンを抽出して、対応する候補文字コードとその確信度を獲得する。グルーピング工程（Ｓ３）では、文字パターンをグループ化して文字グループを生成する。一致文字グループ検出工程（Ｓ６）では、画像に含まれる生成された文字グループに含まれる獲得された候補文字コードのマッチングを、文字グループ間毎に行い、一致する文字グループを検出する。文字コード決定工程（Ｓ７～Ｓ９）では、検出された一致する文字グループに含まれる候補文字コードごとに対応する確信度を集計し、集計された確信度に基づき、文字グループに含まれる文字パターンに対応する文字コードを決定する。

　また、従来の画像処理装置としては、文字読み取りの誤りを考慮し、読み取られた文字が一致するか否かの判断と、対象物の形状が一致するか否かの判断を併せて行うものがある（例えば、特許文献２参照）。図２９は、特許文献２に記載された従来の画像処理装置の概略構成を示すブロック図である。同図において、カメラ１０によって撮像された画像はＡＤＣ１２でデジタル変換された後、画像メモリ１４に格納される。画像メモリ１４には常に最新の画像データが保持される。２値化回路１６は画像メモリ１４上のデータを２値化し、プレート切出部１８はナンバープレート画像を切り出し、文字切出部２０はナンバープレート画像中の文字画像を切り出し、文字認識部２２は文字認識処理を行い、その結果をメモリ３８に記憶する。

　一方、中心計算部３０はナンバープレート位置を計算し、座標計算部３２はエッジを検出する座標を計算し、エッジ検出部３４はエッジ画像を生成し、マトリクス生成部３６は指定座標におけるエッジの有無により形状判定用マトリクスを生成し、その結果をメモリ４０に記憶する。判定部４２は、得られた車番とマトリクスを前回の結果と比較し、対象物が同一であるか否かを判定し、車番の出力の制御を行う。

特開平９－８１６８９号公報 特開平７－２７２１８９号公報

　しかしながら、前述した従来のパターン認識技術では、同じ対象物に付加された文字列であっても、その対象物が移動や大きさの変化等によって変動する場合には、同じ対象物に関連付けて扱うことはできなかった。

　従来技術では、画像中の文字の位置やサイズで文字パターンを複数グループに分割し、グループに含まれる文字全体を用いて文字パターンに対応する文字コードを決定しているので、同じ対象物を指し示している文字パターンが例えば撮影時刻の異なる複数の画像中にそれぞれ存在している場合であっても、対象物の位置やサイズが画像毎に異なった状態で存在していると、画像毎に独立した対象物を指し示す文字パターンとしてそれぞれ認識されることになる。このため、複数の画像について文字パターンと対象物との関連付けを行うことができない。

　例えば、道路上を移動する様々な車両をカメラで撮影して得られる動画像に基づいて車両を自動的に監視しようとするような場合には、それぞれの車両と各車両のナンバープレートに表示されている番号等の文字列、あるいは車両のボディに表示されている広告等の文字列の内容とを対応付けることができれば、それぞれの車両の状態を追跡することが可能になる。しかし、各車両の移動等に伴って対象物とそれを示す文字列パターンのサイズや位置が画像毎に変化することになるので、従来技術では文字列パターンは画像毎に独立したものとして扱われる。そのため、移動中の車両のような対象物については、例えば特定の車両とそのナンバープレートに表示されている番号等とを互いに関連付けて時系列の状態変化として管理することができなかった。

　また、上述した従来の画像処理装置では、対象物がナンバープレートを備えた車両に限定されるため、道路や駐車場といった特定の場所でナンバープレート全体が映るようにカメラが設定されている状況でのみ使用が可能であり、それ以外での使用が不可能であるという問題があった。

　本発明は、上記事情に鑑みてなされたもので、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能なパターン認識装置及びパターン認識方法を提供することを目的とする。また、本発明は、対象物をナンバープレートに限定することなく、有意な情報を持つ画像を選択的に記録することができる画像処理装置及び画像処理方法を提供することを他の目的とする。

　本発明は、認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力部と、前記画像入力部で入力された画像及び付帯情報を蓄積する画像データ蓄積部と、前記画像入力部で入力された画像に含まれる文字を認識する文字認識部と、前記文字認識部で認識された文字認識結果を蓄積する文字認識結果蓄積部と、対象物の解析条件を入力する指示部と、前記指示部で入力された解析条件に基づき、前記画像データ蓄積部で蓄積された画像及び付帯情報と前記文字認識結果蓄積部で蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析部と、前記解析部で解析された結果を出力する結果出力部とを備えるパターン認識装置を提供する。

　この構成によれば、入力した所定の解析条件に基づき、蓄積した画像及び付帯情報と蓄積した文字認識結果とから、対象物に関連する対象物文字情報を抽出して対象物を解析することで、例えば、複数の画像において、同じ対象物を指し示している文字パターンが位置やサイズが異なった状態でそれぞれ存在している場合であっても、複数の画像上で同じ対象物を指し示しているそれぞれの文字パターンを共通に扱うことが可能となる。このため、文字認識結果を用いて、例えば文字パターンの変動（移動など）を解析することにより、文字パターンが指し示す対象物の変動を解析することが可能になる。
　前記付帯情報としては、例えば当該画像を撮影するカメラの設置位置や撮影時刻のような情報を用いることが想定される。つまり、例えば同じ地点で撮影され、撮影時刻が少しずれた複数の画像を処理するような場合には、これらの画像の中に同じ対象物（車両など）が含まれている可能性があるが、対象物及びそれを示す文字パターン（例えば車両のナンバープレート中の表示番号）の画像中の位置や大きさなどは画像毎に位置や大きさなどがずれている可能性が高く、完全に一致することは少ない。しかし、撮影地点の一致の有無や撮影時刻の違いなどを考慮して複数の画像を処理すれば、対象物及びそれを示す文字パターンの変動（移動など）を認識することが可能であり、複数の画像中にそれぞれ現れた同じ対象物及びそれを示す文字パターンを共通の要素として扱うことができ、対象物及びそれを示す文字パターンの変動の状況を検出することも可能になる。

　また、本発明は、上記のパターン認識装置であって、前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、前記解析部は、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うものを含む。

　この構成によれば、解析部が解析を行う際に、文字認識結果である候補文字コード及び評価値と、文字の位置及びサイズとを用いることで、例えば対象物の変動に伴ってそれを示す文字パターンが少しずつ異なる状態で複数の画像中にそれぞれ現れる場合であっても、それぞれの文字パターンが共通の対象物を示すものとして扱うことが容易になる。
　例えば、文字認識が困難な場合には１つの文字パターンに対する認識結果として複数の候補文字コードが抽出されることになるが、抽出されたそれぞれの候補文字の確信度等を表す評価値を参照することにより、複数の候補文字の中から適切な１つの文字を選択することが可能になる。また、複数の画像の中でそれぞれ検出された文字パターンの位置やサイズの類似性を考慮することにより、各画像中の文字パターンが共通の対象物を示す文字か否かを識別可能になる。

　また、本発明は、上記のパターン認識装置であって、前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記解析部は、前記画像の撮影位置及び撮影時間を用いて解析を行うものを含む。

　この構成によれば、解析部が解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報を利用することで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。例えば、同じ地点で撮影され、撮影時刻が非常に近い２枚の画像のそれぞれに対象物及びそれを示す文字パターンが現れている場合に、複数画像中の対象物及び文字パターンが共通であるか否かを撮影時刻等の類似性から判断することが可能になる。

　また、本発明は、上記のパターン認識装置であって、前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、前記解析部は、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うものを含む。

　この構成によれば、解析部が解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報と、更に文字認識結果として得られる文字コード及び評価値と、文字の位置及びサイズと、更に複数画像間の文字画像の類似度と、画像の色情報とを用いることで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。
　例えば、同じ地点で撮影され、撮影時刻が非常に近い２枚の画像のそれぞれに対象物及びそれを示す文字パターンが現れている場合に、複数画像中の対象物及び文字パターンが共通であるか否かを撮影時刻等の類似性から判断することが可能になる。また、各文字パターンの文字認識結果として得られた文字コード及び評価値と、文字の位置及びサイズを利用してそれらの類似性を判定することにより、複数画像中の各文字パターンが共通の対象物を示すものか否かを判断可能になる。更に、複数画像間の文字画像の類似度と色情報とを利用することにより、複数画像中の各文字パターンが共通の対象物を示すものか否かの判断が容易になる。

　本発明は、認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力ステップと、前記画像入力ステップで入力された画像及び付帯情報を蓄積する画像データ蓄積ステップと、前記画像入力ステップで入力された画像に含まれる文字を認識する文字認識ステップと、前記文字認識ステップで認識された文字認識結果を蓄積する文字認識結果蓄積ステップと、対象物の解析条件を入力する指示ステップと、前記指示ステップで入力された解析条件に基づき、前記画像データ蓄積ステップで蓄積された画像及び付帯情報と前記文字認識結果蓄積ステップで蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析ステップと、前記解析部で解析された結果を出力する結果出力ステップとを有するパターン認識方法を提供する。

　この方法によれば、入力した所定の解析条件に基づき、蓄積した画像及び付帯情報と蓄積した文字認識結果とから、対象物に関連する対象物文字情報を抽出して対象物を解析することで、例えば、複数の画像において、同じ対象物を指し示している文字パターンが位置やサイズが異なった状態でそれぞれ存在している場合であっても、複数の画像上で同じ対象物を指し示しているそれぞれの文字パターンを共通に扱うことが可能となる。このため、文字認識結果を用いて、例えば文字パターンの変動（移動など）を解析することにより、文字パターンが指し示す対象物の変動を解析することが可能になる。

　また、本発明は、上記のパターン認識方法であって、前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、前記解析ステップにおいて、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うものを含む。

　この方法によれば、解析ステップにおいて解析を行う際に、文字認識結果である候補文字コード及び評価値と、文字の位置及びサイズとを用いることで、例えば対象物の変動に伴ってそれを示す文字パターンが少しずつ異なる状態で複数の画像中にそれぞれ現れる場合であっても、それぞれの文字パターンが共通の対象物を示すものとして扱うことが容易になる。

　また、本発明は、上記のパターン認識方法であって、前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記解析ステップにおいて、前記画像の撮影位置及び撮影時間を用いて解析を行うものを含む。

　この方法によれば、解析ステップにおいて解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報を利用することで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。

　また、本発明は、上記のパターン認識方法であって、前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、前記解析ステップにおいて、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うものを含む。

　この方法によれば、解析ステップにおいて解析を行う際に、処理対象の画像の付帯情報として含まれている撮影位置及び撮影時間の情報と、更に文字認識結果として得られる文字コード及び評価値と、文字の位置及びサイズと、更に複数画像間の文字画像の類似度と、画像の色情報とを用いることで、複数の画像にそれぞれ現れた対象物及びそれを示す文字パターンが共通のものであるか否かを判断するのが容易になる。

　また、本発明は、コンピュータに、上記のいずれかに記載のパターン認識方法の各ステップを実行させるためのプログラムを提供する。

　また、本発明は、上記のプログラムを記録したコンピュータで読み取り可能な記録媒体を提供する。

　本発明の画像処理装置は、画像及び該画像に付帯する付帯情報を連続して入力する画像入力手段と、前記画像入力手段で入力された画像を一時記憶する画像一時記憶手段と、前記画像一時記憶手段に記憶された画像から文字を抽出する文字抽出手段と、前記文字抽出手段で抽出された文字を認識し、認識した文字に対する１ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識手段と、前記文字認識手段で得られた前記認識結果を記憶する認識結果記憶手段と、前記認識結果記憶手段に記憶された前記認識結果に基づき、前記画像一時記憶手段に記憶された画像を出力するか否かを判定する認識結果評価手段と、前記認識評結果評価手段で出力すると判定された画像を該画像の付帯情報及び前記認識結果と共に出力する画像出力制御手段と、を備え、前記画像一時記憶手段は、複数の画像を夫々の付帯情報と共に一時的に記憶し、前記認識結果記憶手段は、前記画像一時記憶手段に記憶されている複数の画像の夫々の文字の認識結果を記憶し、前記認識結果評価手段は、前記認識結果記憶手段に記憶されている複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、前記画像出力制御手段は、前記認識結果評価手段で選択された画像を該画像の付帯情報及び認識結果と共に出力する。

　この構成によれば、認識結果評価手段で認識結果の同一性を判断する際、単一の認識結果のみでなく、候補文字の組み合わせで判断するため、同一対象物を認識の誤りにより同一でないと判断することを防止できる。これにより、対象物の同一性の判断に文字認識結果以外の特徴を用いる必要が無く、対象物をナンバープレートに限定することなく、画像入力手段より入力される大量の画像のうち、有意な情報を持つ画像を選択することができる。また、対象物の同一性を対象物の文字のみから判断するため、対象物を撮影する大きさ、方向に影響を受けない。これにより、異なる画像入力手段からの画像との間でも対象物の同一性を判定することができる。

　また、上記構成において、前記認識結果評価手段は、前記認識結果記憶手段に記憶されている複数の画像の夫々の文字の認識結果を調べ、１画像中に文字が含まれるにも関わらず、全ての文字の認識結果も評価値が悪い場合はその旨を前記画像出力制御手段に通知し、前記画像出力制御手段は、前記認識結果評価手段から通知された前記画像を該画像の付帯情報及び認識結果と共に出力する。

　この構成によれば、文字を認識できたにも関わらず、評価値の良い認識結果が得られなかった画像品質の悪い画像を出力するので、画像品質の悪い画像でも高機能なＰＣ（Personal Computer）或いは認識ソフトで再処理を行うことができる。

　また、上記構成において、ネットワークを介して接続された他の画像処理装置の出力である、画像中の文字の認識結果と当該認識結果を得る元となった画像の付帯情報とを記憶する多カメラ認識結果連携手段を更に備え、前記認識結果評価手段は、前記認識結果記憶手段に記憶された認識結果と前記多カメラ認識結果連携手段に記憶された認識結果とを調べ、双方に同一の文字列が含まれ且つ画像の付帯情報及び認識結果の評価値が所定の条件を満たす場合は前記画像出力制御手段に前記画像の出力を行わない旨の通知を行い、前記認識結果記憶手段に記憶された認識結果に含まれる文字列が前記多カメラ認識結果連携手段に記憶された認識結果には含まれない場合或いは含まれても前記画像の付帯情報及び認識結果の評価値が所定の条件を満たさない場合は前記画像出力制御手段に前記画像を出力させる旨の通知を行い、前記画像出力制御手段は、前記認識結果評価手段から画像を出力する旨の通知を受けると、前記画像と該画像の付帯情報及び認識結果とを前記ネットワークへ出力する。

　この構成によれば、認識結果記憶手段に記憶された認識結果に含まれる文字列が多カメラ認識結果連携手段に記憶された認識結果には含まれない場合、或いは含まれても画像の付帯情報及び認識結果の評価値が所定の条件を満たさない場合は、ネットワークに接続可能な外部画像蓄積メディアに画像と該画像の付帯情報及び認識結果を記録できる。また、ネットワークに接続された他の画像処理装置は、当該画像の付帯情報及び認識結果を取得して、自己の多カメラ認識結果連携手段に記録できる。

　本発明の画像処理方法は、画像及び該画像に付帯する付帯情報を連続して入力する画像入力工程と、前記画像入力工程で入力された画像を一時記憶する画像一時記憶工程と、前記画像一時記憶工程で記憶された画像から文字を抽出する文字抽出工程と、前記文字抽出工程で抽出された文字を認識し、認識した文字に対する１ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識工程と、前記文字認識工程で得られた認識結果を記憶する認識結果記憶工程と、前記認識結果記憶工程で記憶された認識結果に基づき、前記画像一時記憶工程で記憶された画像を出力するか否かを判定する認識結果評価工程と、前記認識評結果評価工程で出力すると判定された画像を該画像の付帯情報及び認識結果と共に出力する画像出力制御工程と、を備え、前記画像一時記憶工程では、複数の画像を夫々の付帯情報と共に一時的に記憶し、前記認識結果記憶工程では、前記画像一時記憶工程で記憶された複数の画像の夫々の文字の認識結果を記憶し、前記認識結果評価工程では、前記認識結果記憶工程で記憶された複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、前記画像出力制御工程では、前記認識結果評価工程で選択された画像を該画像の付帯情報及び認識結果と共に出力する。

　この方法によれば、認識結果評価工程で認識結果の同一性を判断する際、単一の認識結果のみでなく、候補文字の組み合わせで判断するため、同一対象物を認識の誤りにより同一でないと判断することを防止できる。これにより、対象物の同一性の判断に文字認識結果以外の特徴を用いる必要が無く、対象物をナンバープレートに限定することなく、画像入力工程より入力される大量の画像のうち、有意な情報を持つ画像を選択することができる。また、対象物の同一性を対象物の文字のみから判断するため、対象物を撮影する大きさ、方向に影響を受けない。これにより、異なる画像入力工程からの画像との間でも対象物の同一性を判定することができる。

　本発明の画像処理プログラムは、画像及び該画像に付帯する付帯情報を連続して入力する画像入力ステップと、前記画像入力ステップで入力された画像を一時記憶する画像一時記憶ステップと、前記画像一時記憶ステップで記憶された画像から文字を抽出する文字抽出ステップと、前記文字抽出ステップで抽出された文字を認識し、認識した文字に対する１ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識ステップと、前記文字認識ステップで得られた認識結果を記憶する認識結果記憶ステップと、前記認識結果記憶ステップで記憶された認識結果に基づき、前記画像一時記憶ステップで記憶された画像を出力するか否かを判定する認識結果評価ステップと、前記認識評結果評価ステップで出力すると判定された画像を該画像の付帯情報及び認識結果と共に出力する画像出力制御ステップと、を備え、前記画像一時記憶ステップでは、複数の画像を夫々の付帯情報と共に一時的に記憶し、前記認識結果記憶ステップでは、前記画像一時記憶ステップで記憶された複数の画像の夫々の文字の認識結果を記憶し、前記認識結果評価ステップでは、前記認識結果記憶ステップで記憶された複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、前記画像出力制御ステップでは、前記認識結果評価ステップで選択された画像を該画像の付帯情報及び認識結果と共に出力し、コンピュータが前記各ステップを実行する。

　このプログラムによれば、認識結果評価ステップで認識結果の同一性を判断する際、単一の認識結果のみでなく、候補文字の組み合わせで判断するため、同一対象物を認識の誤りにより同一でないと判断することを防止できる。これにより、対象物の同一性の判断に文字認識結果以外の特徴を用いる必要が無く、対象物をナンバープレートに限定することなく、画像入力ステップより入力される大量の画像のうち、有意な情報を持つ画像を選択することができる。また、対象物の同一性を対象物の文字のみから判断するため、対象物を撮影する大きさ、方向に影響を受けない。これにより、異なる画像入力ステップからの画像との間でも対象物の同一性を判定することができる。

　本発明の記憶媒体は、前記画像処理プログラムが記憶されたものである。

　この記憶媒体によれば、上述した画像処理プログラムによる効果と同様の効果が得られる。

　本発明によれば、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能なパターン認識装置及びパターン認識方法を提供できる。また、本発明によれば、対象物をナンバープレートに限定することなく、有意な情報を持つ画像を選択的に記録することができる画像処理装置及び画像処理方法を提供できる。

本発明の実施の形態に係るパターン認識装置の構成を示すブロック図 実施の形態１のパターン認識装置に係る１箇所の撮影地点で撮影した画像列の例を示す模式図 実施の形態１に係る画像列の付帯情報の構成例を示す模式図 実施の形態１に係る画像列の文字認識結果の情報の構成例を示す模式図 本実施の形態のパターン認識装置におけるパターン認識処理の手順の概略を示すフローチャート 実施の形態１のパターン認識装置における車体番号が指示された場合の解析部の制御手順の概略を示すフローチャート 実施の形態１において対象となる文字列について記録した処理結果の情報の構成を示す模式図 本実施の形態において用いる対象となる文字列の移動方向を判定する判定基準を表す模式図 実施の形態２のパターン認識装置に係る３箇所の撮影地点で撮影した画像列の例を示す模式図 実施の形態２に係る画像列の付帯情報の構成例を示す模式図 実施の形態２に係る画像列の文字認識結果の情報の構成例を示す模式図 実施の形態２のパターン認識装置における対象物が指定された場合の解析部の制御手順の概略を示すフローチャート 実施の形態２において対象となる文字列について記録した処理結果の情報の構成を示す模式図 本発明の実施の形態３に係る画像処理装置の概略構成を示すブロック図 図１４の画像処理装置の動作を示すフローチャート 図１４の画像処理装置において１箇所の撮影地点で撮影した画像列を説明するための図 図１４の画像処理装置の画像データ一時記憶部に記録された画像及び付帯情報を説明するための図 図１４の画像処理装置における文字認識過程を説明するための図 図１４の画像処理装置における文字認識過程を説明するための図 図１４の画像処理装置の文字領域抽出部の処理を示すフローチャート 図１４の画像処理装置の認識結果記憶部に保持された認識結果を説明するための図 図１４の画像処理装置の認識結果記憶部に保持された認識結果を説明するための図 図１４の画像処理装置の認識結果評価部の処理を示すフローチャート 図２３のステップＳ７１０の詳細な処理を示すフローチャート 図１４の画像処理装置の多カメラ認識結果連携部に格納されるデータを説明するための図 図１４の画像処理装置を複数個用いてネットワーク接続した第１の構成を示すブロック図 図１４の画像処理装置を複数個用いてネットワーク接続した第２の構成を示すブロック図 従来のパターン認識方法における制御の内容を示すフローチャート 従来の画像処理装置の概略構成を示すブロック図

　（実施の形態１）
　図１は、本発明の実施の形態に係るパターン認識装置の構成を示すブロック図である。本実施の形態のパターン認識装置は、画像入力部１０１、画像データ蓄積部１０２、文字認識部１０３、文字認識結果蓄積部１０４、指示部１０５、解析部１０６、結果出力部１０７を備えている。

　具体的には、このパターン認識装置は、例えば図２に示すような画像中に現れる認識対象物（この例では道路上を走行する車両）を認識するような用途に用いることを想定している。図２は実施の形態１のパターン認識装置に係る１箇所の撮影地点で撮影した画像列の例を示す模式図である。

　画像入力部１０１は、対象物が含まれる可能性のある画像について、画像及びそれに付帯する付帯情報を入力する。この付帯情報については、画像の撮影位置及び撮影時間の情報が含まれる。画像入力部１０１については、予め固定された撮影位置で例えば一定の時間間隔で静止画画像を周期的に撮影するカメラを利用して構成することができる。画像データ蓄積部１０２は、画像入力部１０１で入力された画像及び付帯情報を蓄積する。

　図２に示す例では、１箇所の撮影地点（Ｐａ）でそれぞれ異なる時点で順番に撮影した複数枚の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・が画像入力部１０１から順に入力される場合を想定している。また、図２に示す例では、移動する車両を含むパターンが静止画の各画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）にそれぞれ現れている。

　図３は実施の形態１に係る画像列の付帯情報の構成例を示す模式図である。この図３には、画像入力部１０１が図２に示したような画像列を入力する場合に、画像データ蓄積部１０２に蓄積される画像と各画像に対応した付帯情報の具体例が示されている。

　図３に示す例では、複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・のそれぞれについて、画像の他に撮影位置（地点）及び撮影時間（時刻）を表す付帯情報が含まれている。付帯情報の撮影位置（地点）の内容から、図３に示す複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）は、全て同じ撮影位置（地点）で撮影された画像であることが分かる。また、付帯情報の撮影時間（時刻）の内容から、図３に示す複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）は、少しずつずれた時刻に撮影された画像であることが分かる。

　文字認識部１０３は、画像入力部１０１で入力された画像に記録されている文字パターンを認識し、文字パターン毎に、対応する１つ又はそれ以上の候補文字を表す候補文字コード及び候補文字毎の評価値（文字認識結果の確信度等に相当する値）と、画像中の文字の位置座標及びサイズを含む認識結果を求める。文字認識結果蓄積部１０４は、文字認識部１０３で認識された文字認識結果を蓄積する。

　図４は実施の形態１に係る画像列の文字認識結果の情報の構成例を示す模式図である。この図４には、画像入力部１０１が図３に示したような画像及び付帯情報を入力する場合に、文字認識部１０３で認識され文字認識結果蓄積部１０４に蓄積される文字認識結果の具体例が示されている。

　図４に示す例では、図２に示した複数の画像（Ｐａ１）、（Ｐａ２）、（Ｐａ３）のそれぞれについて、文字パターン毎に、各文字パターンを区別する情報（１０４ａ）と、１以上の候補文字コード（１０４ｂ）と、候補文字毎の評価値（１０４ｃ）と、文字パターンの始点及び終点の位置座標（１０４ｄ）の情報が蓄積されている。

　例えば、文字認識部１０３において、図２に示す画像（Ｐａ１）に現れている対象物である（車Ａ）のナンバープレートに現れている番号の各文字パターンが認識されると、図４に示すように、画像（Ｐａ１）に対応する各文字パターン（Ｃ７）、（Ｃ８）、（Ｃ９）、（Ｃ１０）としてそれぞれ「１」、「２」、「３」、「４」の候補文字コードが検出され、候補毎の評価値と位置座標の情報が文字認識結果蓄積部１０４に蓄積される。また、各文字パターンの位置座標として始点及び終点の座標が含まれているので、文字パターンのサイズを検出することもできる。

　指示部１０５は、対象物の解析条件を入力する。具体的な解析条件としては、例えば認識対象物を特定するための文字列（例えばナンバープレート中の番号）を指定することが想定される。解析部１０６は、指示部１０５で入力された解析条件に基づき、画像データ蓄積部１０２で蓄積された画像及び付帯情報と文字認識結果蓄積部１０４で蓄積された文字認識結果から、文字コード及び評価値と、文字の位置及びサイズと、画像の撮影位置及び撮影時間と、色情報を用いて対象物に関連する対象物文字情報を抽出し対象物を解析する。

　結果出力部１０７は、解析部１０６で解析された結果を出力する。

　次に、本実施の形態のパターン認識装置の動作を説明する。図５は本実施の形態のパターン認識装置におけるパターン認識処理の手順の概略を示すフローチャートである。このパターン認識装置における処理動作は、本発明のパターン認識方法の実施の形態に係るものである。

　画像入力ステップＳ１０１では、画像入力部１０１において、対象物が含まれる可能性のある画像について、画像及び、画像の撮影位置及び撮影時間を含む画像に付帯する付帯情報を入力し、Ｓ１０２へ進む。

　画像データ蓄積ステップＳ１０２では、画像データ蓄積部１０２において、画像入力ステップＳ１０１で入力された画像及び付帯情報を蓄積し、Ｓ１０３に進む。

　文字認識ステップＳ１０３では、文字認識部１０３において、画像入力ステップＳ１０１で入力された画像に記録されている文字を認識し、候補文字コード及び評価値と、文字の位置及びサイズを含む認識結果を求め、Ｓ１０４へ進む。

　文字認識結果蓄積ステップＳ１０４では、文字認識結果蓄積部１０４において、文字認識ステップＳ１０３で認識された文字認識結果を蓄積し、Ｓ１０５へ進む。

　指示ステップＳ１０５では、指示部１０５において、対象物の解析条件を入力し、Ｓ１０６へ進む。

　解析ステップＳ１０６では、解析部１０６において、指示ステップＳ１０５で入力された解析条件に基づき、画像データ蓄積ステップＳ１０２で蓄積された画像及び付帯情報と文字認識結果蓄積ステップＳ１０４で蓄積された文字認識結果から、文字コード及び評価値と、文字の位置及びサイズと、画像の撮影位置及び撮影時間と、色情報を用いて対象物に関連する対象物文字情報を抽出し対象物を解析し、Ｓ１０７へ進む。

　結果出力ステップＳ１０７では、結果出力部１０７において、解析ステップＳ１０６で解析された結果を出力する。

　以下、本実施の形態のパターン認識装置の動作の具体例を説明する。ここでは、図２に示された画像列（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・を処理してこれらの画像中に現れている対象物（車Ａ）について解析する場合の処理を説明する。

　画像入力部１０１で入力され、画像データ蓄積部１０２に蓄積された各画像には、付帯情報として図３に示されているように、撮影地点と撮影時間（時刻）の情報が記録されている。

　また、文字認識部１０３で認識され文字認識結果蓄積部１０４に蓄積された文字認識結果の情報には、図４に示されているように、処理対象の各画像（Ｐａ１、Ｐａ２、Ｐａ３）内のそれぞれの文字パターンについて、候補文字コード（１０４ｂ）、候補毎の評価値（１０４ｃ）、文字パターンの始点及び終点の位置座標（１０４ｄ）がそれぞれ含まれている。

　図２に示したような画像列（Ｐａ１）、（Ｐａ２）、（Ｐａ３）、・・・を処理する場合には、認識対象物となる（車Ａ）を特定するために、（車Ａ）の車体番号「１２３４」を例えば管理者の入力操作により指示部１０５に入力し、この車体番号「１２３４」を対象物の解析条件（指定文字列）として指示部１０５から指示することができる。このような指示を与えた場合の解析部１０６の制御内容の概略を図６に示す。

　図６は実施の形態１のパターン認識装置における車体番号が指示された場合の解析部の制御手順の概略を示すフローチャートである。以下、解析部１０６における制御処理の内容について説明する。

　Ｓ６０１では、解析部１０６は、文字認識結果蓄積部１０４の内容（図４参照）を参照して、画像（Ｐａ１）の文字認識結果の候補文字コードに、評価値が５０未満である一定基準を満たした文字列「１２３４」が存在するか判定する。存在すればＳ６０２に進み、存在しなければＳ６０３に進む。

　解析部１０６が図４に示す内容に含まれている画像（Ｐａ１）を基に、図６に示すような処理を行うことによって、図７に示すような結果（各領域１０４ｅ～１０４ｈの記録内容）を得ることができる。図７は実施の形態１においての対象となる文字列について記録した処理結果の情報の構成を示す模式図である。なお、図４に示す各領域１０４ａ～１０４ｄの内容と、図７に示す各領域１０４ａ～１０４ｄの内容とは同一のものを表している。

　解析条件として文字列「１２３４」が指定された場合には、Ｓ６０１において、画像（Ｐａ１）を処理する際に、図７に示されているように４つの文字パターン（Ｃ３）、（Ｃ４）、（Ｃ５）、（Ｃ６）の集合により構成される１つの文字列（Ｌ１）が検出できるので、Ｓ６０２に進む。

　Ｓ６０２では、画像（Ｐａ１）の文字列（Ｌ１）に対応する検出情報として、図７に示すように該当する文字列（Ｌ１）に対応付けた領域（１０４ｅ）に、撮影時刻（１０４ｆ）、文字画像群（１０４ｇ）、文字列座標（１０４ｈ）を記憶する。ここで、撮影時刻（１０４ｆ）の情報は、画像データ蓄積部１０２の内容から取得することができる。文字画像群（１０４ｇ）の情報は、文字認識結果蓄積部１０４に記録されている各文字パターンの情報（１０４ａ）の中で、指定された文字列（Ｌ１）の各文字を表す要素の組み合わせとして記録される。すなわち、「１２３４」を表す文字列（Ｌ１）は、図７に示す文字パターン（Ｃ３）、（Ｃ４）、（Ｃ５）、（Ｃ６）の組み合わせとして領域１０４ｇに記録される。また、文字列（Ｌ１）の文字列座標（１０４ｈ）については、文字パターン（Ｃ３）～（Ｃ６）に対応する座標（１０４ｄの内容）から求められる文字列全体の始点及び終点の座標として領域１０４ｈに記録される。

　Ｓ６０３では、全ての画像について処理を実施したか判定し、完了していなければＳ６０１に進み、完了していればＳ６０４に進む。

　Ｓ６０２の処理によって、図７に示す各領域１０４ｅ、１０４ｆ、１０４ｇ、１０４ｈに結果が記録される。図７に示す例では、２つの文字列（Ｌ１）、（Ｌ２）が検出できた場合を想定している。すなわち、画像（Ｐａ１）を処理した結果として、指定された文字列「１２３４」に対応する文字列（Ｌ１）が画像（Ｐａ１）の中から検出され、画像（Ｐａ２）を処理した結果として、指定された文字列「１２３４」に対応する文字列（Ｌ２）が画像（Ｐａ２）の中から検出され、これらが領域１０４ｅ～１０４ｈに記録される。

　Ｓ６０４では、解析部１０６は検出できた各文字列（Ｌ１，Ｌ２）の撮影時間（１０４ｆの内容）と文字列座標（１０４ｈの内容）の情報を利用し、図８に示すような判定基準に基づいて文字列の移動方向を判定する。図８は本実施の形態において用いる対象となる文字列の移動方向を判定する判定基準を表す模式図である。

　図７に示すような文字認識結果を処理する場合には、同じ文字列「１２３４」に対応する文字列として（Ｌ１）、（Ｌ２）が検出されているので、文字列（Ｌ１）と文字列（Ｌ２）とが同じ対象物（車Ａ）を示すものかどうかを判定することができる。更に、同じ対象物（車Ａ）を示す場合には、これらの文字列（Ｌ１）、（Ｌ２）の移動方向を検出できる。

　すなわち、文字列（Ｌ１）、（Ｌ２）は同じ撮影位置で撮影された複数の画像（Ｐａ１）、（Ｐａ２）から抽出されており、文字列の内容が指定された内容「１２３４」と同じであり、しかも画像（Ｐａ１）、（Ｐａ２）の撮影時間の差が小さいので、これらは同じ対象物（車Ａ）を示す文字列であると判定できる。

　また、図８に示すような判定基準に基づいて文字列（Ｌ１）、（Ｌ２）の情報（図７に示す領域１０４ｅ～１０４ｈの内容）を処理することにより、文字列（Ｌ１）、（Ｌ２）に関する移動（対象物の移動に相当する）の状況を判定できる。

　図８に示す判定基準においては、「左移動」、「右移動」、「下移動」、「上移動」、「前進」、「後退」の６種類の判定条件を規定している。撮影時間の違いにより、図７中の文字列（Ｌ１）、（Ｌ２）は、それぞれ図８に示す（Ｌａ）、（Ｌｂ）に相当する。つまり、撮影時刻が相対的に前の画像から検出された文字列が図８中の文字列（Ｌａ）に対応し、撮影時刻が相対的に後の画像から検出された文字列が図８中の文字列（Ｌｂ）に相当する。図８中に示す各パラメータの意味は次の通りである。
　　ＬａＹｓ：文字列（Ｌａ）のパターンの始点Ｙ座標位置
　　ＬａＹｅ：文字列（Ｌａ）のパターンの終点Ｙ座標位置
　　ＬａＸｓ：文字列（Ｌａ）のパターンの始点Ｘ座標位置
　　ＬａＸｅ：文字列（Ｌａ）のパターンの終点Ｘ座標位置
　　ＬｂＹｓ：文字列（Ｌｂ）のパターンの始点Ｙ座標位置
　　ＬｂＹｅ：文字列（Ｌｂ）のパターンの終点Ｙ座標位置
　　ＬｂＸｓ：文字列（Ｌｂ）のパターンの始点Ｘ座標位置
　　ＬｂＸｅ：文字列（Ｌｂ）のパターンの終点Ｘ座標位置

　図８中に示すように、始点は画像中の当該パターンの左上端部座標を表し、終点は右下端部座標を表す。

　例えば、図７に示す領域１０４ｅ～１０４ｈの内容である文字列（Ｌ１）、（Ｌ２）について、解析部１０６が図８に示す判定基準との適合性を調べることにより、下移動の条件が成立する。すなわち、（ＬｂＹｓ＜ＬａＹｓ）、（ＬｂＹｅ＜ＬａＹｅ）、（ＬｂＸｓ≒ＬａＸａ）、（ＬｂＸｅ≒ＬａＸｅ）の全ての条件を満たしているので、指定された文字列「１２３４」に相当する文字列（Ｌ１）、（Ｌ２）は下方向に進んでいると判定できる。よって、対象物（車Ａ）は下方向に進んでいると解析できる。

　以上のように、対象物を指し示す文字の位置やサイズを利用することにより、上下左右への移動、前進後退、出現消滅などの対象物の移動状態が解析できる。

　（実施の形態２）
　次に、実施の形態２として、複数の地点で撮影された画像を処理してパターン認識を行う例を示す。上述した実施の形態１では、図２に示したように同じ地点で撮影された複数の画像（Ｐａ１）、（Ｐａ１）、（Ｐａ３）、・・・を処理する場合を想定しているが、以下の実施の形態２のように、複数の地点（Ｐｂ）、（Ｐｃ）、（Ｐｄ）で撮影された画像を処理してパターン認識することも可能である。

　図９は実施の形態２のパターン認識装置に係る３箇所の撮影地点で撮影した画像列の例を示す模式図である。ここで、３箇所の撮影地点（Ｐｂ）、（Ｐｃ）、（Ｐｄ）は同一の高速道路上にあり、上り線は撮影地点（Ｐｂ）、（Ｐｃ）、（Ｐｄ）の順で出現する場合を想定している。以下では、図９の画像列の中に撮影されている対象物（車Ｂ）について解析する場合を説明する。パターン認識装置の構成は図１に示したものと同様であり、ここでは説明を省略する。

　図１０は実施の形態２に係る画像列の付帯情報の構成例を示す模式図である。この図１０には、画像入力部１０１が図９に示したような画像列を入力する場合に、画像データ蓄積部１０２に蓄積される画像と各画像に対応した付帯情報の具体例が示されている。この例では、付帯情報において、撮影地点の起点距離（特定の起点位置からの距離）と撮影時間とが記録されている。

　図１１は実施の形態２に係る画像列の文字認識結果の情報の構成例を示す模式図である。この図１１には、画像入力部１０１が図１０に示したような画像及び付帯情報を入力する場合に、文字認識部１０３で認識され文字認識結果蓄積部１０４に蓄積される文字認識結果の具体例が示されている。この場合、各画像内の全ての文字について、各文字パターンを区別する情報（１０４ａ）と、候補毎の候補文字コード（１０４ｂ）と、候補毎の評価値（１０４ｃ）と、文字の始点及び終点の位置座標（１０４ｄ）とが記録されている。

　この例では、パターン認識装置を操作する管理者が、指示部１０５を操作することにより、撮影地点及び特定の画像中に現れている対象物を指定できる場合を想定している。このような指定を行った場合の解析部１０６の制御内容の概略を図１２に示す。

　図１２は実施の形態２のパターン認識装置における対象物が指定された場合の解析部の制御手順の概略を示すフローチャートである。ここでは、指示部１０５で管理者が撮影地点（Ｐｃ）の画像列の画像（Ｐｃ２）の中に現れている対象物（図９中の車Ｂ）を指定した場合の解析部１０６における制御処理の内容について説明する。

　Ｓ６１１では、解析条件を抽出する。例えば、管理者の指示した画像（Ｐｃ２）の撮影時間１０：００（図１０参照）と、管理者が指示した対象物の近辺の領域の文字認識結果（図１１の内容の一部分）に含まれている各候補文字コード（１０４ｂの内容）の中で、評価値（１０４ｃの内容）が５０未満である一定基準を満たした文字列「５６７３」、「５６７８」と、文字列「５６７３」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）及び文字列「５６７８」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）と、文字列「５６７３」に対応する文字位置の周辺の背景色である＜赤＞及び文字列「５６７８」に対応する文字位置の周辺の背景色である＜赤＞と、が解析条件になる。

　Ｓ６１２では、撮影時間条件と地点の位置関係から判定対象画像か否かを判定し、対象画像であればＳ６１３に進み、対象画像でなければＳ６１７に進む。具体的には、道路上の各車線における車両の進行方向が予め定まっていること、並びに複数の撮影地点間の移動に要する時間（５０ｋｍの移動に３０分を要する）を考慮して、撮影地点（Ｐｂ）で対象となるのは、指定された画像（Ｐｃ２）の撮影時刻から３０分早く撮影された画像（Ｐｂ１）以前に撮影された画像のみに限定する（図１０参照）。また、撮影地点（Ｐｃ）で対象となるのは、画像（Ｐｃ２）前後に撮影された画像である。撮影地点（Ｐｄ）で対象となるのは、撮影地点間の移動に要する時間を考慮し、画像（Ｐｄ３）以降に撮影された画像のみに限定する。

　解析部１０６が図１０に示す情報（画像データ蓄積部１０２の内容）及び図１１に示す情報（文字認識結果蓄積部１０４の内容）を基に、図１２のステップＳ６１３～Ｓ６１６で示す処理を行うことにより、図１３に示すような結果（各領域１０４ｅ～１０４ｊの記録内容）を得ることができる。図１３は実施の形態２において対象となる文字列について記録した処理結果の情報の構成を示す模式図である。なお、図１１に示した各領域１０４ａ～１０４ｄの内容と図１３に示した各領域１０４ａ～１０４ｄの内容とは同一である。

　Ｓ６１３では、解析部１０６は順次入力される画像について、文字認識結果の候補文字コードに、評価値が５０未満である一定基準を満たした文字列「５６７３」「５６７８」が存在するか判定し、存在すればＳ６１４に進み、存在しなければＳ６１７に進む。

　図１３に示すように、検査対象の文字列「５６７８」については、画像（Ｐｂ１）から４つの文字パターン（Ｃ１１）、（Ｃ１２）、（Ｃ１３）、（Ｃ１４）の集合である文字列（Ｌ１１）として検出され、画像（Ｐｃ２）から４つの文字パターン（Ｃ２１）、（Ｃ２２）、（Ｃ２３）、（Ｃ２４）の集合である文字列（Ｌ１２）として検出される。

　また、検査対象の文字列「５６７３」は、画像（Ｐｃ２）から４つの文字パターン（Ｃ２１）、（Ｃ２２）、（Ｃ２３）、（Ｃ２４）の集合である文字列（Ｌ２１）として検出され、画像（Ｐｄ３）から４つの文字パターン（Ｃ３１）、（Ｃ３２）、（Ｃ３３）、（Ｃ３４）の集合である文字列（Ｌ２２）として検出される。

　Ｓ６１４では、検出された文字列（Ｌ１１）、（Ｌ１２）、（Ｌ２１）、（Ｌ２２）の文字画像群について、文字列「５６７８」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）又は文字列「５６７３」に対応する文字画像群（Ｃ２１，Ｃ２２，Ｃ２３，Ｃ２４）との類似度を求め、類似度が一定基準を満たしていればＳ６１５に進み、満たしていなければＳ６１７に進む。類似度は、文字認識部１０３における文字認識の評価値の算出方法と同様の方法で求められる。図１３に示す例では、文字列（Ｌ１１）、（Ｌ１２）、（Ｌ２１）、（Ｌ２２）については類似度が基準を満たしているので、Ｓ６１５に進む。

　Ｓ６１５では、順次入力される文字列について、対応する文字位置の周辺の背景色を画像の中から検出し、類似色であればＳ６１６に進み、類似色でなければＳ６１７に進む。

　例えば、文字列「５６７８」の文字列（Ｌ１１）、（Ｌ１２）については、両方とも画像から検出された背景色が赤色であるため、図１３に示す領域１０４ｊに＜赤＞として記録されており、文字列（Ｌ１１）、（Ｌ１２）を比較する場合にはこれらが類似色であると判断してＳ６１６に進む。

　一方、文字列「５６７３」の文字列（Ｌ２１）については図１３の領域１０４ｊに＜赤＞として記録され、文字列（Ｌ２２）については領域１０４ｊに＜白＞として記録されているので、文字列（Ｌ２１）、（Ｌ２２）を比較する場合には両者の背景が類似色でないと判断してＳ６１７に進む。

　このように文字列の画像中の背景色を比較することにより、例えば認識対象物が車両である場合に、車両番号（ナンバープレートの表示内容）が似ている複数の車両が存在する場合であっても、車両の車体の色の違いにより複数の車両をそれぞれ区別することが容易になる。

　Ｓ６１６では、Ｓ６１２～Ｓ６１５で最終的に有効な情報と見なされた（指定された対象物との関連性が高く互いに似ている）複数の文字列（Ｌ１１）、（Ｌ１２）についてそれらの起点距離、撮影時刻、文字画像群、文字列座標、背景色の情報が記憶される。

　例えば、図１３に示す領域１０４ｅに記録されている文字列「５６７８」を示す文字列（Ｌ１１）、（Ｌ１２）については、両者の関連性が高いと判断されるので、各領域１０４ｆ、１０４ｇ、１０４ｈ、１０４ｉ、１０４ｊに記録されている起点距離、撮影時刻、文字画像群、文字列座標、背景色の情報が有効な情報としてＳ６１６で記録される。

　一方、図１３に示す領域１０４ｅに記録されている文字列「５６７３」を示す文字列（Ｌ２１）、（Ｌ２２）については、背景色の違いなどの影響により両者の関連性が低いと判断されるので、これらは有効な情報として記録されない。

　Ｓ６１７では、全ての画像について処理を実施したか判定し、完了していなければＳ６１２に進み、完了していればＳ６１８に進む。

　Ｓ６１８では、解析条件の文字列毎に、検出できた各文字列（Ｌ）の起点距離、撮影時刻、文字列座標から、文字列の移動状態を判定し、その結果を対象物の移動状態とする。

　例えば、図１３に示す有効な文字列（Ｌ１１）、（Ｌ１２）の情報（各領域１０４ｅ、１０４ｆ、１０４ｇ、１０４ｈ、１０４ｉ、１０４ｊの内容に相当）に基づいて対象物（例えば図９に示す車Ｂ）を解析すると、対象物（車Ｂ）は、９：３０の時刻に撮影地点（Ｐｂ）の追越車線（領域１０４ｉの位置座標から分かる）を通過し、１０：００の時刻に撮影地点（Ｐｃ）の走行車線を通過し、まだ撮影地点（Ｐｄ）には到達していないと解析できる。

　以上のように、例えば車両のような対象物を指し示す文字（車両番号や広告表示など）の内容や位置やサイズに加えて、画像の撮影位置及び撮影時間や文字画像の類似度や色情報を利用することにより、対象物の移動状態を、より広範囲に渡って詳細かつ正確に解析できる。

　なお、本実施の形態では、対象物と同時に撮影され対象物を指し示すパターンが文字列である場合を想定しているが、ロゴやマークなど文字と同様の性質を持つパターンを用いてもよい。各処理における各種条件についても、同様の判定基準であれば、これに限るものではない。

　また、図１に示した画像入力部、画像データ蓄積部、文字認識部、文字認識結果蓄積部、解析部等の各機能ブロックについては、典型的には集積回路であるＬＳＩとして実現されてもよい。集積回路化の手法は、ＬＳＩに限るものではない。これらは、個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。この場合、ＬＳＩにおけるハードウェア回路の動作、またはプロセッサ上の所定のソフトウェアプログラムの動作による処理によって各機能を実現可能である。

　また、図５、図６、図１２に示した各機能の処理ステップについては、コンピュータで実行可能なプログラムで記述されていてもよく、プログラムの実行により各機能を実現することも可能である。また、適当な記録媒体（例えばＣＤ－ＲＯＭ、ＤＶＤディスク等）からコンピュータにプログラムを読み込んでこれを実行しても良い。

　上述したように、本実施形態によれば、同じ対象物を指し示している文字パターンの位置やサイズが異なる状態で複数の画像にそれぞれ現れている場合でも、共通の文字パターンを同じ対象物を示すパターンとして扱うことができる。このため、同じ対象物を指し示した文字パターンの変動を解析することにより、文字パターンが指し示す対象物の変動を解析することができる。本実施形態は、例えば、監視カメラ等で撮影された画像の解析装置、広域監視システム等に応用が可能である。

　（実施の形態３）
　図１４は、本発明の実施の形態３に係る画像処理装置の概略構成を示すブロック図である。同図において、本実施の形態の画像処理装置２０１は、画像データ一時記憶部２１１と、２値化処理部２１２と、文字領域抽出部２１３と、文字認識部２１４と、認識結果記憶部２１５と、多カメラ認識結果連携部２１６と、認識結果評価部２１７と、画像出力制御部２１８とを備える。画像処理装置２０１と外部画像蓄積メディア２０３及び監視センタ２０４はネットワーク２０２を介して結ばれる。なお、画像処理装置２０１は、１台に限らず２台以上であってもよい。同様に、外部画像蓄積メディア２０３も１台に限らず２台以上であってもよい。この場合、複数の画像処理装置２０１と複数の外部画像蓄積メディア２０３はネットワーク２０２を介して接続されることは言うまでもない。画像入力部２１０は、画像及び画像の撮影位置及び撮影時刻を含む画像に付帯する付帯情報を連続して画像処理装置２０１に入力する。

　画像処理装置２０１において、画像データ一時記憶部２１１は、画像入力部２１０から入力された画像及び該画像の撮影位置及び撮影時刻を含む画像に付帯する付帯情報を予め決められた回数分記憶する。２値化処理部２１２は、画像データ一時記憶部２１１に格納されている画像を２値化し、文字領域抽出部２１３に送る。文字領域抽出部２１３は、２値化画像から文字領域を抽出し、抽出した文字領域の個々の文字の座標を文字認識部２１４に送る。文字認識部２１４は、２値画像及び文字座標に基づき、画像中の文字を認識する。文字認識部２１４は、当該文字認識処理により、候補文字コード及び評価値と、文字座標を含む認識結果を得る。認識結果記憶部２１５は、文字認識部２１４で得られた認識結果を保持する。認識結果記憶部２１５は複数の認識結果を保持する。多カメラ認識結果連携部２１６は、ネットワーク２０２を介して接続された他の画像処理装置２０１で得られた付帯情報と認識結果を複数個保持する。

　認識結果評価部２１７は、認識結果記憶部２１５に保持された当該画像処理装置２０１で得られた認識結果と多カメラ認識結果連携部２１６に保持された複数個の他の画像処理装置２０１それぞれで得られた認識結果とに基づき、画像データ一時記憶部２１１に保持されている画像を外部画像蓄積メディア２０３に記録するか否かを判断する。画像出力制御部２１８は、認識結果評価部２１７が画像データ一時記憶部２１１に保持されている画像を記録すると判断した場合、画像データ一時記憶部２１１に保持されている画像及び該画像に付帯する付帯情報と認識結果記憶部２１５に保持された当該画像の認識結果とを外部画像蓄積メディア２０３に記録する。

　図１５は、上記構成の画像処理装置２０１の動作を示すフローチャートである。同図において、画像及び該画像の撮影位置及び撮影時刻を含む付帯情報を連続して入力する（ステップＳ１１０）。次いで、画像入力ステップＳ１１０で入力された画像及び付帯情報を一時記憶する（ステップＳ１１１）。次いで、一時記憶している画像を２値化する（ステップＳ１１２）。そして、２値化した画像から文字領域を抽出し、抽出した文字領域の個々の文字の座標を得る（ステップＳ１１３）。次いで、２値画像及び文字座標に基づき画像中の文字を認識する（ステップＳ１１４）。当該文字認識処理により、候補文字コード及び評価値と文字座標を含む認識結果を得る。

　次いで、文字認識のステップで得られた認識結果を保持する（ステップＳ１１５）。ここでは過去の認識結果も複数個保持している。次にネットワーク２０２を介して接続された他の画像処理装置２０１で得られた付帯情報と認識結果とを複数個保持する（ステップＳ１１６）。次いで、認識結果記憶のステップに保持した当該画像処理装置２０１から得られた認識結果と多カメラ認識結果連携のステップに保持した複数個の他の画像処理装置２０１から得られた認識結果に基づき、画像一時記憶のステップで保持した画像を外部画像蓄積メディア２０３に記録するか否かを判断する（ステップＳ１１７）。そして、認識結果評価のステップで当該画像を記録すると判断した場合、画像一時記憶のステップで保持した画像及び付帯情報と、認識結果記憶のステップで保持した当該画像の認識結果とを外部画像蓄積メディア２０３に記録する（ステップＳ１１８）。以上の処理ステップを完了すると、再び画像入力のステップＳ１１０から処理を繰り返す。

　次に、本実施の形態の画像処理装置２０１の動作を詳細に説明する。図１６は、１箇所の撮影地点（Ｐａ）で撮影した画像列の説明図である。画像入力部２１０で画像（Ｐａ０）、（Ｐａ１）、（Ｐａ２）…の順に入力される場合を例に説明する。図１７は、画像データ一時記憶部２１１に記憶された画像及び付帯情報の説明図である。画像入力部２１０から入力された画像とその撮影地点及び撮影時間を予め決められた回数分記録する。なお、新たに画像を記録する際には最も古いデータを削除する。図１７は、最新の画像（Ｐａ２）を記録した時点の画像データ一時記憶部２１１の内容を示している。

　図１８及び図１９は、画像データ一時記憶部２１１に記録された最新画像（Ｐａ２）の認識過程の説明図である。図１８の（ａ）は、画像データ一時記憶部２１１中の最新画像（Ｐａ２）である。図１８の（ｂ）は、２値化処理部２１２により図１８の（ａ）が２値化された画像である。図１８の（ｃ）は、文字領域抽出部１１３により抽出された文字領域（Ａ２）及び文字領域（Ａ２）中の文字を示す。図１９の（ｄ）は、抽出された文字領域（Ａ２）を拡大した図である。図１９の（ｅ）は、文字領域抽出部２１３で抽出された文字座標データを示す図である。図１９の（ｆ）は、文字認識部１１４で出力される文字認識結果を示す図である。

　画像入力部２１０からの最新画像（Ｐａ２）（図１８の（ａ））が、画像データ一時記憶部２１１に記録されると、２値化処理部２１２が２値化処理を行い、２値画像（図１８の（ｂ））を作成する。次いで、文字領域抽出部２１３が２値画像（図１８の（ｂ））から、文字領域及び個々の文字座標を抽出する。

　図２０は、文字領域抽出部２１３の処理の概略を示すフローチャートである。同図において、文字領域抽出部２１３は、２値化処理部２１２により作成された２値画像から黒画素連結領域を抽出する（ステップＳ５０１）。次いで、抽出した黒画素連結領域を位置の近いもの同士を集めてグループに分ける（ステップＳ５０２）。そして、グループ毎にグループ内の黒画素連結領域の平均サイズを算出し（ステップＳ５０３）、グループ内の個々の黒画素連結領域が平均サイズと大きく異なることが無いかどうかチェックする（ステップＳ５０４）。そして、グループ内全ての黒画素連結領域のサイズが均一であるかどうか判定し（ステップＳ５０５）、均一と判断した場合には、そのグループは文字領域であると判断して個々の黒画素連結領域から文字座標を算出し、算出した文字座標に基づき、文字を文字列毎にまとめて記録する（ステップＳ５０６）。これに対して不均一な黒画素連結領域を含むグループは文字領域ではないと判断する。上記のステップＳ５０３～ステップＳ５０６の処理を全グループについて行う。

　このようにして文字領域抽出部２１３で得られた文字座標（図１９の（ｅ））が文字認識部２１４に渡され、文字認識部２１４が文字座標に基づき、文字認識を行う。この文字認識により、図１９の（ｆ）の認識結果が得られる。なお、文字認識処理は、一般に処理時間のかかる処理であり、処理時間は認識対象とする文字の数に応じて大きくなる。数字と平仮名（約６０文字）を認識対象にする場合、数字のみ（１０文字）を認識対象にする場合に比較して数倍の処理時間が必要になる。３０００字以上有る漢字までを認識対象とする場合には、数字のみの場合の１００倍以上の処理時間が必要になる。ここでは画像入力部２１０での画像入力間隔が短いことを想定し、認識対象字種を数字に限定しているが、認識処理時間に比べて画像入力部２１０での画像入力間隔が十分に大きい場合には、平仮名、漢字までを認識対象としてもかまわない。

　図２１及び図２２は、認識結果記憶部２１５に保持された認識結果の説明図である。これらの図において、画像データ一時記憶部２１１に記録されている複数の画像の認識結果（候補文字コード、評価値、文字座標）を保持する。評価値は、認識結果として得られた候補文字コードの確からしさを示す値であり、本実施の形態では、０から１００の値で示し、数値が小さい方が候補文字が確からしいことを意味するものとする。新たに認識結果を記録する際には最も古いデータを削除する。図２１は画像（Ｐａ２）の認識結果（Ｒ２）を記録した時点の認識結果記憶部２１５の内容を示しており、図２２は画像入力部２１０から次の画像が入力され、画像（Ｐａ３）が最新画像となった時点の認識結果記憶部２１５の内容を示している。画像（Ｐａ３）には文字が含まれないため、認識結果は空欄となっている。

　認識結果評価部２１７は、認識結果記憶部２１５の内容に基づき、外部画像蓄積メディア２０３に記録する画像を選択する。以下、認識結果評価部２１７の処理を認識結果記憶部２１５の内容が図２２の場合を例に挙げて説明する。

　図２３は、認識結果評価部２１７の処理の概略を示すフローチャートである。認識結果評価部２１７は、認識結果記憶部２１５に新たな認識結果が記録されると、図２３に示された一連の処理を実施する。同図において、最新直前画像（図２２の場合（Ｐａ２））中の文字列の検出を行う（ステップＳ７０１）。そして、文字列の検出の有無を判定し（ステップＳ７０２）、文字列を検出できなかった場合は、認識結果評価部２１７の処理を終了し、文字列を検出できた場合（文字列（Ｌ２）（Ｌ３））には、有効な候補文字列を検出する（ステップＳ７０３）。ここでは、評価値が５０未満の文字コードの並びを有効な候補文字列であると判断する。図２２の場合、文字列（Ｌ２）についての有効な候補文字列は「８８８」、文字列（Ｌ３）についての有効な候補文字列は「１２３４」、「１２８４」、「・２３４」及び「・２８４」の４つを検出する。

　次いで、検出した有効な候補文字列の有無を判定し（ステップＳ７０４）、有効な候補文字列を検出できない場合は、最新直前画像を画像出力制御部２１８に通知する（ステップＳ７０５）。これは、文字が検出されたにも関わらず、評価値の良い認識結果が得られなかった画像は画像品質が悪いことが考えられるため、外部画像蓄積メディア２０３に記録すれば監視センタ２０４のより高機能なＰＣ或いは認識ソフトウェアで再処理することができるからである。

　一方、有効な候補文字列を検出できた場合は、着目している候補文字列が最新画像の認識結果に候補文字列として存在するか否かをチェックし（ステップＳ７０７）、その結果をステップＳ７０８で判定する。着目している候補文字列が最新画像の認識結果に候補文字列として存在する場合には、着目している文字列についての処理を終わり、次の文字列の処理へと進む。着目している候補文字列が最新画像の認識結果に候補文字列として存在しない場合は、次の候補文字列が有るか否かをステップＳ７１０で判断し、まだ調べるべき候補文字列が残っていればステップＳ７０３に戻り、全ての候補文字列を調べ終えた場合には、着目している文字列が最新画像には含まれていないと結論できるので、着目している文字列が存在する画像は最新直前画像までであることがわかる。そこで、着目している文字列について過去に遡って最も良い状態の画像を探し、画像出力制御部２１８に通知する（ステップＳ７０９）。

　なお、ここでは候補文字列の評価値として、各文字の第１候補文字コードの評価値の平均値を用いるが、文字サイズの均等性等を評価に加味しても構わない。今、文字列（Ｌ２）についての有効な候補文字列「８８８」に着目した場合、最新直前画像（Ｐａ２）での評価値は２７((20+22+40)/3≒27）となる。最新画像（Ｐａ３）には有効な候補文字列「８８８」が存在しないため、有効な候補文字列「８８８」について、ステップＳ７０９の処理を行う。

　文字列（Ｌ３）に注目した場合、（Ｌ３）の全ての有効な候補文字列「１２３４」、「１２８４」、「・２３４」及び「・２８４」のいずれもが最新画像（Ｐａ３）には存在しないので、文字列（Ｌ２）の有効な候補文字列「８８８」と同様にステップＳ７０９の処理を行う。検出された文字列は以上なので、認識結果評価部２１７の１回の処理を終了する。

　図２４は、図２３に示すステップＳ７０９の処理概略図である。同図において、最新直前画像から時間を遡って着目している画像に、着目している文字列の候補文字列が存在しているか否かをチェックする（ステップＳ８０１～ステップＳ８０４）。いずれの候補文字列も存在しない画像が見つかるか、認識結果記憶部２１５にそれ以前の認識結果が保存されていない場合は、着目している文字列の存在する最も古い画像が特定できる。次いで、候補文字列のいずれかが存在する、それぞれの画像での候補文字列の評価値を算出し、評価値の最も良い評価値の画像を選択する（ステップＳ８０５）。

　図２２の場合、文字列（Ｌ２）が存在する画像は、（Ｐａ２）のみである。したがって、文字列（Ｌ２）についての各画像での評価値は、
　　　　画像（Ｐａ２）→候補文字列「８８８」→評価値２７
であり、文字列（Ｌ２）については、評価値２７の画像（Ｐａ２）が選択される。

　一方、文字列（Ｌ３）が存在する画像は、（Ｐａ１）～（Ｐａ２）である。したがって、文字列（Ｌ３）についての各画像での評価値は、
　　画像（Ｐａ１）→候補文字列「１２３４」→評価値２８((25+20+35+30)/4≒28)
　　画像（Ｐａ１）→候補文字列「１２８４」→評価値２９((25+20+40+30)/4≒29)
　　画像（Ｐａ２）→候補文字列「１２３４」→評価値９  ((5+5+15+10)/4≒9)★
　　画像（Ｐａ２）→候補文字列「１２８４」→評価値１５((5+5+40+10)/4＝15)
　　画像（Ｐａ２）→候補文字列「・２３４」→評価値１５((30+5+15+10)/4＝15)
　　画像（Ｐａ２）→候補文字列「・２８４」→評価値２１((30+5+40+10)/4≒21)
となり、文字列（Ｌ３）については、評価値９の画像（Ｐａ２）が選択される。

　図２５は、多カメラ認識結果連携部２１６に格納されるデータの説明図である。同図において、ネットワーク２０２で接続された他の画像処理装置２０１が有る場合、他の画像処理装置２０１が画像を外部画像蓄積メディア２０３に記録する際に、ネットワーク２０２で接続されている全ての画像処理装置２０１に対し、画像の付帯情報と認識結果を通知する。その通知された付帯情報と認識結果とが、個々の画像処理装置２０１の多カメラ認識結果連携部２１６に格納される。

　図２４のステップＳ８０６では、多カメラ認識結果連携部２１６に保持された他の画像認識装置２０１で得られた認識結果に、候補文字列のいずれかが有効候補文字列として存在するかをチェックする。その結果の有無をステップＳ８０７で判定し、他の画像認識装置２０１で得られた認識結果に、候補文字列のいずれかが有効候補文字列として存在する場合には、ステップＳ８０５で得られた評価値と、ステップＳ８０６で得られた評価値とを比較し、ステップＳ８０５で得られた評価値の方が良ければ、その画像を画像出力制御部２１８に通知する。ステップＳ８０６で得られた評価値の方が良ければ、何もしない。

　図２５の場合、
　　画像（Ｐｃ１）→候補文字列「８８８」→評価値３０((20+30+40/3＝30))
　　画像（Ｐｃ１）→候補文字列「１２３４」→評価値２０((5+20+25+30)/4＝20)
が得られる。いずれもステップＳ８０５で得られた評価値よりは悪いので、ステップＳ８０５で得られた、
　　画像（Ｐａ２）→候補文字列「８８８」→評価値２７
　　画像（Ｐａ２）→候補文字列「１２３４」→評価値９
が画像出力制御部２１８に通知される。

　なお、ステップＳ８０６で得られた他の画像処理装置２０１の認識結果を選択する場合、偶然の認識結果の一致を回避するため、評価値だけで判断するのではなく、時間的な制限や同一文字領域の全文字列で候補文字列が一致しないといけないとの制限を付加しても構わない。

　画像出力制御部２１８は、認識結果評価部２１７から通知された画像について、画像と付帯情報を画像データ一時記憶部２１１から読み出し、また認識結果を認識結果記憶部２１５から読み出して、ネットワーク２０２を介して外部画像蓄積メディア２０３に記録する。なお、認識結果評価部２１７から通知される画像は１つとは限らない。また、複数指定された場合には、同じ画像を指している場合も有るが、画像出力制御部２１８で重複を解消し、同じ画像は１度だけ記録する。また、１度記録した画像については、画像データ一時記憶部２１１の記録済みフラグをセットする。

　画像出力制御部２１８は、画像と付帯情報及び認識結果を外部画像蓄積メディア２０３に記録すると共に、ネットワーク２０２で接続されている全ての画像処理装置２０１に対して付帯情報と認識結果を通知する。通知された付帯情報と認識結果とは、個々の画像処理装置２０１の多カメラ認識結果連携部２１６に格納される。

　図２６は、ネットワーク２０２を介して複数の画像処理装置２０１がつながっている第１の構成を示すブロック図である。本構成では、各画像処理装置２０１に備えられた多カメラ認識結果連携部２１６に他の画像処理装置２０１で得られた認識結果を保持することで、複数のカメラで同一対象を撮影した場合に、外部画像蓄積メディア２０３に画像を重複して記録することを防ぐことができる。

　図２７は、ネットワーク２０２を介して複数の画像処理装置２０１がつながっている第２の構成を示すブロック図である。本構成では、多カメラ認識結果連携部２１６は、各画像処理装置２０１に含まれるのではなく、複数の画像処理装置２０１に対して、単一の多カメラ認識結果連携部２１６を備える。本構成においても、多カメラ認識結果連携部２１６に他の画像処理装置２０１で得られた認識結果を保持することで、複数のカメラで同一対象を撮影した場合に、外部画像蓄積メディア２０３に画像を重複して記録することを防ぐことができる。

　また、外部画像蓄積メディア２０３に記録される画像に、画像の内容を示す認識結果が付与されるため、監視センタ２０４のＰＣ等で、外部画像蓄積メディア２０３中の画像を検索することが容易となる。更に、文字領域座標及び文字座標が付与されているため、監視センタ２０４のＰＣ等で、外部画像蓄積メディア２０３中の画像を再処理する場合、特定の領域のみを処理すればよいため、大幅な処理の効率化を実現できる。

　このように、本実施の形態の画像処理装置２０１によれば、画像データ一時記憶部２１１に複数の画像及び付帯情報を格納し、文字認識部２１４で画像中の文字認識を行い、認識結果記憶部２１５に画像データ一時記憶部２１１に保持された複数の画像に対応する認識結果を保持し、認識結果評価部２１７で画像内容の変化のタイミングを検出し、画像内容に変化があったときだけ画像データ一時記憶部２１１の画像を外部画像蓄積メディア２０３に記録するため、名札を身につけた人物画像や、必ずしもナンバープレート全体が写っていない画像に対しても画像内容に変化を検出でき、外部画像蓄積メディア２０３を有効利用できる。

　また、ナンバープレート画像に限定することなく画像内容の変化を検出できるため、カメラの設置が簡易である。また、画像入力部２１０が可動カメラであっても構わないため、少ないカメラで広範囲を監視することができる。画像入力部２１０より入力される大量の画像のうち、有意な情報を持つ画像を選択して記録することができるため、外部画像蓄積メディア２０３を有効利用できる。また、ネットワーク２０２を介して複数のカメラがつながっている構成では、複数のカメラで同一対象を撮影した場合にも同一性を判断できるため、外部画像蓄積メディア２０３に画像を重複して記録することを防ぐことができる。また、画像を外部画像蓄積メディア２０３に記録する際に、画像の内容を示す認識結果を付与するため、監視センタのＰＣ等で、蓄積された膨大な画像の内から特定の画像を検索することが容易になる。更に、付与される認識結果には文字領域座標及び文字座標が含まれているため、監視センタのＰＣ等で、外部画像蓄積メディア２０３に記録された画像を２次処理する場合に、画像に付与された認識結果に含まれる文字領域座標及び文字座標を利用し、文字領域のみを再処理することで、処理精度を上げると共に、大幅な処理の効率化を実現できる。

　なお、本実施の形態では、外部画像蓄積メディア２０３に情報を記録する際、画像とその付帯情報及び認識結果とを共に記録するとしたが、画像の記録が必須ではない場合には評価値が十分良ければ、画像を除き、付帯情報及び認識結果のみを記録するようにしてもよい。このようにすることで、外部画像蓄積メディア２０３の使用量を更に削減できる。

　また、本実施の形態では、対象物と同時に撮影され、対象物を指し示すパターンを文字列としたが、ロゴやマーク、或いは顔など、文字と同様の性質を持つパターンを用いてもよい。各処理での各種条件や閾値についても同様の判定基準であれば、これに限るものではない。更に画像入力部２１０、画像データ一時記憶部２１１、２値化処理部２１２、文字領域抽出部２１３、文字認識部２１４、認識結果記憶部２１５、多カメラ認識結果連携部２１６、認識結果評価部２１７、画像出力制御部２１８等の各機能ブロックを、典型的には集積回路であるＬＳＩとして実現してもよい。集積回路化の手法は、ＬＳＩに限るものではない。これらは個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。

　また、本実施の形態において、上述した各動作における各処理ステップを、コンピュータで実行可能なプログラムで記述してもよい。

　本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとって明らかである。

　本出願は、２００８年６月１１日出願の日本特許出願（特願２００８－１５２７４９）及び２００８年７月１１日出願の日本特許出願（特願２００８－１８１７３３）に基づくものであり、その内容はここに参照として取り込まれる。

　本発明は、同じ対象物を指し示している文字パターンの位置やサイズが異なった状態の画像が複数存在した場合でも、同じ対象物を指し示した文字パターンとして扱うことが可能となる効果を有し、例えば道路上を移動する様々な車両をカメラで撮影して得られる動画像に基づいて車両を自動的に監視するような場合など、変動する可能性のある対象物が記録されている複数の画像に基づき、同時に記録された文字情報を用いて、記録された対象物の変動を解析するために利用されるパターン認識装置及びパターン認識方法として有用である。また、本発明は、対象物をナンバープレートに限定することなく、有意な情報を持つ画像を選択的に記録することができるといった効果を有し、監視システムなどへの適用が可能である。

　１０１　画像入力部
　１０２　画像データ蓄積部
　１０３　文字認識部
　１０４　文字認識結果蓄積部
　１０５　指示部
　１０６　解析部
　１０７　結果出力部
　２０１　画像処理装置
　２０２　ネットワーク
　２０３　外部画像蓄積メディア
　２０４　監視センタ
　２１０　画像入力部
　２１１　画像データ一時記憶部
　２１２　２値化処理部
　２１３　文字領域抽出部
　２１４　文字認識部
　２１５　認識結果記憶部
　２１６　多カメラ認識結果連携部
　２１７　認識結果評価部
　２１８　画像出力制御部

Claims (16)

1. 　認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力部と、
   　前記画像入力部で入力された画像及び付帯情報を蓄積する画像データ蓄積部と、
   　前記画像入力部で入力された画像に含まれる文字を認識する文字認識部と、
   　前記文字認識部で認識された文字認識結果を蓄積する文字認識結果蓄積部と、
   　対象物の解析条件を入力する指示部と、
   　前記指示部で入力された解析条件に基づき、前記画像データ蓄積部で蓄積された画像及び付帯情報と前記文字認識結果蓄積部で蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析部と、
   　前記解析部で解析された結果を出力する結果出力部と
   　を備えるパターン認識装置。
2. 　請求項１に記載のパターン認識装置であって、
   　前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、
   　前記解析部は、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うパターン認識装置。
3. 　請求項１に記載のパターン認識装置であって、
   　前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
   　前記解析部は、前記画像の撮影位置及び撮影時間を用いて解析を行うパターン認識装置。
4. 　請求項１に記載のパターン認識装置であって、
   　前記画像入力部は、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
   　前記文字認識部は、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、
   　前記解析部は、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うパターン認識装置。
5. 　認識対象となる対象物が含まれる可能性のある画像及び前記画像に付帯する付帯情報を入力する画像入力ステップと、
   　前記画像入力ステップで入力された画像及び付帯情報を蓄積する画像データ蓄積ステップと、
   　前記画像入力ステップで入力された画像に含まれる文字を認識する文字認識ステップと、
   　前記文字認識ステップで認識された文字認識結果を蓄積する文字認識結果蓄積ステップと、
   　対象物の解析条件を入力する指示ステップと、
   　前記指示ステップで入力された解析条件に基づき、前記画像データ蓄積ステップで蓄積された画像及び付帯情報と前記文字認識結果蓄積ステップで蓄積された文字認識結果とから、対象物に関連する対象物文字情報を抽出し対象物を解析する解析ステップと、
   　前記解析部で解析された結果を出力する結果出力ステップと
   　を有するパターン認識方法。
6. 　請求項５に記載のパターン認識方法であって、
   　前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズとを含む情報を認識結果として求め、
   　前記解析ステップにおいて、前記候補文字コード及び評価値と、前記文字の位置及びサイズとを用いて解析を行うパターン認識方法。
7. 　請求項５に記載のパターン認識方法であって、
   　前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
   　前記解析ステップにおいて、前記画像の撮影位置及び撮影時間を用いて解析を行うパターン認識方法。
8. 　請求項５に記載のパターン認識方法であって、
   　前記画像入力ステップにおいて、前記付帯情報として少なくとも該当する画像に関する撮影位置及び撮影時間を含む情報を入力し、
   　前記文字認識ステップにおいて、文字パターンに対応する候補文字コード及び文字認識に関する評価値と、文字の位置及びサイズを含む情報を認識結果として求め、
   　前記解析ステップにおいて、前記画像の撮影位置及び撮影時間と、前記文字コード及び評価値と、前記文字の位置及びサイズと、複数画像間の文字画像の類似度と、画像の色情報とを用いて解析を行うパターン認識方法。
9. 　コンピュータに、請求項５～８のいずれかに記載のパターン認識方法の各ステップを実行させるためのプログラム。
10. 　請求項９に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
11. 　画像及び該画像に付帯する付帯情報を連続して入力する画像入力手段と、
    　前記画像入力手段で入力された画像を一時記憶する画像一時記憶手段と、
    　前記画像一時記憶手段に記憶された画像から文字を抽出する文字抽出手段と、
    　前記文字抽出手段で抽出された文字を認識し、認識した文字に対する１ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識手段と、
    　前記文字認識手段で得られた前記認識結果を記憶する認識結果記憶手段と、
    　前記認識結果記憶手段に記憶された前記認識結果に基づき、前記画像一時記憶手段に記憶された画像を出力するか否かを判定する認識結果評価手段と、
    　前記認識評結果評価手段で出力すると判定された画像を該画像の付帯情報及び前記認識結果と共に出力する画像出力制御手段と、を備え、
    　前記画像一時記憶手段は、複数の画像を夫々の付帯情報と共に一時的に記憶し、
    　前記認識結果記憶手段は、前記画像一時記憶手段に記憶されている複数の画像の夫々の文字の認識結果を記憶し、
    　前記認識結果評価手段は、前記認識結果記憶手段に記憶されている複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、
    　前記画像出力制御手段は、前記認識結果評価手段で選択された画像を該画像の付帯情報及び認識結果と共に出力する画像処理装置。
12. 　前記認識結果評価手段は、前記認識結果記憶手段に記憶されている複数の画像の夫々の文字の認識結果を調べ、１画像中に文字が含まれるにも関わらず、全ての文字の認識結果も評価値が悪い場合はその旨を前記画像出力制御手段に通知し、
    　前記画像出力制御手段は、前記認識結果評価手段から通知された前記画像を該画像の付帯情報及び認識結果と共に出力する請求項１１に記載の画像処理装置。
13. 　ネットワークを介して接続された他の画像処理装置の出力である、画像中の文字の認識結果と当該認識結果を得る元となった画像の付帯情報とを記憶する多カメラ認識結果連携手段を更に備え、
    　前記認識結果評価手段は、前記認識結果記憶手段に記憶された認識結果と前記多カメラ認識結果連携手段に記憶された認識結果とを調べ、双方に同一の文字列が含まれ且つ画像の付帯情報及び認識結果の評価値が所定の条件を満たす場合は前記画像出力制御手段に前記画像の出力を行わない旨の通知を行い、前記認識結果記憶手段に記憶された認識結果に含まれる文字列が前記多カメラ認識結果連携手段に記憶された認識結果には含まれない場合或いは含まれても前記画像の付帯情報及び認識結果の評価値が所定の条件を満たさない場合は前記画像出力制御手段に前記画像を出力させる旨の通知を行い、
    　前記画像出力制御手段は、前記認識結果評価手段から画像を出力する旨の通知を受けると、前記画像と該画像の付帯情報及び認識結果とを前記ネットワークへ出力する請求項１１又は請求項１２に記載の画像処理装置。
14. 　画像及び該画像に付帯する付帯情報を連続して入力する画像入力工程と、
    　前記画像入力工程で入力された画像を一時記憶する画像一時記憶工程と、
    　前記画像一時記憶工程で記憶された画像から文字を抽出する文字抽出工程と、
    　前記文字抽出工程で抽出された文字を認識し、認識した文字に対する１ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識工程と、
    　前記文字認識工程で得られた認識結果を記憶する認識結果記憶工程と、
    　前記認識結果記憶工程で記憶された認識結果に基づき、前記画像一時記憶工程で記憶された画像を出力するか否かを判定する認識結果評価工程と、
    　前記認識評結果評価工程で出力すると判定された画像を該画像の付帯情報及び認識結果と共に出力する画像出力制御工程と、を備え、
    　前記画像一時記憶工程では、複数の画像を夫々の付帯情報と共に一時的に記憶し、
    　前記認識結果記憶工程では、前記画像一時記憶工程で記憶された複数の画像の夫々の文字の認識結果を記憶し、
    　前記認識結果評価工程では、前記認識結果記憶工程で記憶された複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、
    　前記画像出力制御工程では、前記認識結果評価工程で選択された画像を該画像の付帯情報及び認識結果と共に出力する画像処理方法。
15. 　画像及び該画像に付帯する付帯情報を連続して入力する画像入力ステップと、
    　前記画像入力ステップで入力された画像を一時記憶する画像一時記憶ステップと、
    　前記画像一時記憶ステップで記憶された画像から文字を抽出する文字抽出ステップと、
    　前記文字抽出ステップで抽出された文字を認識し、認識した文字に対する１ないし複数の候補文字と夫々の評価値とを認識結果として得る文字認識ステップと、
    　前記文字認識ステップで得られた認識結果を記憶する認識結果記憶ステップと、
    　前記認識結果記憶ステップで記憶された認識結果に基づき、前記画像一時記憶ステップで記憶された画像を出力するか否かを判定する認識結果評価ステップと、
    　前記認識評結果評価ステップで出力すると判定された画像を該画像の付帯情報及び認識結果と共に出力する画像出力制御ステップと、を備え、
    　前記画像一時記憶ステップでは、複数の画像を夫々の付帯情報と共に一時的に記憶し、
    　前記認識結果記憶ステップでは、前記画像一時記憶ステップで記憶された複数の画像の夫々の文字の認識結果を記憶し、
    　前記認識結果評価ステップでは、前記認識結果記憶ステップで記憶された複数の画像の夫々の文字の認識結果を調べ、前記複数の画像の認識結果中に同一文字列が含まれる場合には認識結果の評価値が最も良い画像を選択し、
    　前記画像出力制御ステップでは、前記認識結果評価ステップで選択された画像を該画像の付帯情報及び認識結果と共に出力し、
    　コンピュータが前記各ステップを実行する画像処理プログラム。
16. 　請求項１５に記載の画像処理プログラムが記憶された記憶媒体。

Images