JP4715664B2

JP4715664B2 - 車両検索システム

Info

Publication number: JP4715664B2
Application number: JP2006204069A
Authority: JP
Inventors: 竜弓場; 忠明北村; 一哉高橋; 徹也山崎; 茂喜長屋
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2006-07-27
Filing date: 2006-07-27
Publication date: 2011-07-06
Anticipated expiration: 2026-07-27
Also published as: JP2008033462A

Description

本発明は、路上に設置したカメラによって撮影された車両の画像認識の結果から車両を検索するシステムに関する。

従来から、画像処理装置による車両の車番認識情報を活用した種々の技術が提案されてきた。例えば特開平０５−２９０２９０号公報では、道路網中の経路２地点に設置された画像処理装置の車番認識結果の間でマッチングをとり、同定した車両の撮影時間の差から旅行時間を推定する技術が開示されている。この特開平０５−２９０２９０号公報に記載の技術では、ナンバープレート中の小さな文字などが読み取れなかった場合を考慮して、２地点の車番認識結果のマッチング時において同定する車両に複数の候補をとる工夫をしていた。

また特開２００１−０６７５９９号公報には、機械式駐車場にて利用者が駐車券をなくした場合に駐車車両を速やかに特定するための技術として、入庫時に撮影した車両の画像から画像処理装置によって車番並びに車両の形状や色といった特徴量を認識して蓄積しておき、出庫時に利用者が大まかな車番と特徴を指定できれば、その車番と特徴量の組合せから該当する車両を検索する車両検索の技術が開示されている。

他にも特開２００５−２０９１７７号公報では、路上の定点カメラで撮影した車両の画像から車番と色や形状などの特徴量を抽出して蓄積しておき、操作者が車番あるいは特徴量の検索条件を指定すると、該当車両の画像の２次元空間あるいは３次元空間に一覧表示する車両検索の技術が開示されている。

特開平０５−２９０２９０号公報特開２００１−０６７５９９号公報特開２００５−２０９１７７号公報

道路網の各地点にカメラを設置して、画像処理装置による認識結果から車両を検索するシステムに上記の従来の技術を適用することを考えたとき、通行量が多い道路であれば一日あたりの台数が数万台になることを考慮すると、特開平０５−２９０２９０号公報の技術では車番の認識結果の欠落が大きいと該当車両が多くなってしまい、画面上での対象把握が困難になると考えられる。特開２００１−０６７５９９号公報の技術では、車番とともに特徴量を組合わせることで、不確かな車番からでも車両の検索を可能にしているが、車番と同時に特徴量の認識結果にも欠落があれば特開平０５−２９０２９０号公報の技術と同じく該当車両が多くなり、やはり画面での把握が困難になると考えられる。特開2005
−２０９１７７号公報の技術では、操作者は該当車両の２次元空間あるいは３次元空間中の一覧表示をみることで比較的多数の該当車両を効率的に把握できるが、車番あるいは特徴量の認識結果に欠落の程度が大きくなると、該当車両の数が非常に多くなり操作者が把握するまでに時間を要すると考えられる。

また、これら従来技術のいずれも、検索の結果見つかった車両が不正にナンバーを取り換えた車両であるかを調べることや、検索の対象とする車両の車番と特徴量の情報を取得した後に前記車両が不正にナンバーを取り換えてしまうと検索することができなかった。

本発明は、上記問題点を解決するために、車番と特徴量を組合わせた高精度な車両検索装置並びに不正車両検索装置を提供することを目的とする。

上記の目的を達成するために、本発明にかかる車両検索システムは、路上に設置されたカメラ、同カメラの車両画像から車番並びに車両の形状等の特徴量を抽出する画像処理部、１台又は複数の画像処理装置から車番と特徴量並びに撮影日時や設置地点を組にして記録する認識車両ＤＢ（表記を簡便にするため、以下データベースをＤＢと表記することにする）、あらかじめ用意された車番と型式や形状やメーカ等の車両諸元を組にして記録した登録車両ＤＢ、上記車両諸元と該当する特徴量を組にして記録した車両諸元・特徴量対応付けＤＢ、操作者から車番と車両諸元に関わる検索条件を受け取る検索条件指定部、認識車両ＤＢと車両諸元・特徴量対応付けＤＢと登録車両ＤＢから前記検索条件に該当する車両を検索する車両検索部、上記の検索結果を表示する検索結果表示部から構成されることを最も主要な特徴とする。

本発明にかかる車両検索システムは、前記の車両検索部が検索条件に該当する認識車両ＤＢ中の車両のうち、車両諸元・特徴量対応付けＤＢにより特徴量を車両の諸元に換算したときに、車番と換算した車両の諸元の組が登録車両ＤＢ中のいずれかの車両に該当することを制約条件として、検索条件に該当する車両を抽出することを第２の特徴とする。

本発明にかかる車両検索システムは、検索条件に該当する認識車両ＤＢ中の車両のうち、車両諸元・特徴量対応付けＤＢにより特徴量を車両の諸元に換算したときに、車番と換算した車両の諸元の組が登録車両ＤＢ中のいずれの車両にも該当しない不整合を利用してナンバープレートを不正に取り換えた不正車両を抽出することを第３の特徴とする。

本発明にかかる車両検索システムによれば、車両諸元・特徴量対応付けＤＢによって特徴量と車両諸元の換算を可能としておき、検索条件に該当する車番と特徴量の組の認識車両のうち、登録車両ＤＢの登録車両との間に車番あるいは特徴量のうちどちらかで許容できない誤認識が含まれる認識車両は全て排除されるので、不正確な認識結果を排除して正確な検索結果を出力することが可能になる。反対に、車番と特徴量の組から該当車両を検索する際に、車番と特徴量の組合せの認識結果と、予め登録された車両と車両諸元の組合せの不整合を利用することで、ナンバープレートを不正に取り換えた不正車両を検索することが可能になる。

以下、本発明にかかる車両検索システムのより具体的な実施形態について、図面を参照しながら説明する。なお、本実施形態では、車両の一例として自動車を挙げて説明を行うが、発明にかかる「車両」とは自動車に限定されず、ナンバープレートを備え付けた路上を走行するあらゆる種類の乗り物を含む。

図１は、本発明の実施例１の機能構成の概略を示すブロック図である。図１において、カメラ１は道路上の所定の位置に設置されている。カメラ１付近に設置した路上計算機
１１は画像処理部２を備える。管理センタ９は、認識車両ＤＢ３，登録車両ＤＢ４，車両諸元・特徴量対応付けＤＢ５，車両検索部６を備える。操作者が操作と閲覧をするための端末装置１０は、検索条件指定部７，検索結果表示部８を備える。

前記の端末装置１０とは、キーボードやマウスといった入力装置と表示画面を設けた操作者が対話的に扱うことができる計算機であり、例えば一般的なパーソナルコンピュータで実現することができる。路上計算機１１，管理センタ９，端末装置１０は、相互にデータ通信が可能な通信ネットワークにより接続されている。この通信ネットワークは有線あるいは無線あるいは両者の組合せのいずれであっても良い。また、この通信ネットワークは公衆回線あるいは専用線いずれであっても良い。

なお、車両検索部６を端末装置１０内に設ける構成も可能である。また、カメラ１の画像転送が可能な高速なネットワークを用いて、画像処理部２を管理センタに設ける構成や、画像処理部２を２つに分割して路上計算機と管理センタの両方に設けて、路上計算機側では車番認識処理を分担し、管理センタ側では特徴量抽出の処理を分担するような負荷分散の構成をとることも可能である。

カメラ１は道路を通行する車両を撮影するのに適した位置，角度に設置されてあり、撮影画像を画像処理部２に送る。画像処理部２はまずカメラ１の撮影画像の中から、画像の明度やエッジなどの変化をもとに車両が通過する瞬間を捉えて、車番認識処理により車両画像中のナンバープレートの全文字を認識する。同時に、車両の画像を入力としたエッジ勾配方向や車両輪郭の形状やエッジや濃淡のヒストグラムといった特徴量抽出処理によって、車両の特徴量を抽出する。

画像処理部２の認識処理について、図２を参照しながら説明する。図２（ａ）は、カメラ１により車両を前方上方から撮影した画像の例である。図２（ｂ）は、車両のナンバープレートであり、ひらがな部は用途コード、漢字部は陸支コード、陸支コードの右の数字部は車種コード，車種コード下の数字部は一連番号と呼ばれている。画像処理部２の車番認識の処理は、これら各文字を個別に認識する。この車番認識の処理は、例えば一般道において車番認識により旅行時間を計測するシステム等で用いられている技術を適用することで実現できる。上記の各文字を比較すると、文字一連番号に比べて残りの文字のサイズは小さく解像度が低いため、カメラ１のピントのズレによるぼけや車両の走行速度によるぶれ等が影響すると、一連番号よりも認識率が低くなりやすい。また、バンパーの影によりナンバープレートが遮蔽されると、遮蔽された領域の文字は読み取ることができない。

画像処理部２の特徴量抽出の処理では、画像から特徴量を抽出して数値化することでクラス別に分類したり指定条件に該当する画像をリストアップする画像検索の公知技術を利用することにより、車両の画像から特徴量を抽出する。前記の特徴量の抽出には、図２
（ａ）のような撮影画像の全体から抽出した特徴量のほか、図２（ｃ）中の黒枠で囲ったブロックのように、エッジの密度が高い部位や車両の輪郭付近等の局所領域毎で抽出した特徴量も追加する。これによって、車両の型式毎によって異なるライトやフロントグリルの形状やテクスチャといった特徴量や車両のメーカによって異なるエンブレム部の特徴量を抽出する。

画像処理部２は、認識した車番と特徴量に加えて、車両の撮影日時と撮影地点と撮影画像のデータを認識車両ＤＢ３に送信する。この画像処理部２が認識車両ＤＢ３に送信するデータの例を図３に挙げる。図３において、例えば全体特徴量１は図２（ａ）に示すような車両全体の画像から求めた輪郭線の周囲長，全体特徴量２は同輪郭線で囲まれる領域の面積である。部分１特徴量１は図２（ｃ）中のライト部の黒枠内の画像から求めたエントロピー、部分１特徴量２は同画像から求めたフーリエパワースペクトルであり、部分Ｎ特徴量１はフロントグリル付近の黒枠内の画像から求めたエントロピー、部分Ｎ特徴量２は同画像から求めたフーリエパワースペクトルである。

認識車両ＤＢ３，登録車両ＤＢ４，車両諸元・特徴量対応付けＤＢ５のデータの例を図４により説明する。図４（ａ）は、認識車両ＤＢ３の一例である。認識車両ＤＢ３は画像処理部２が送信したデータを受信して、通過車両１台分のデータを図４（ａ）に示すように組にして管理番号を付与し蓄積する。図４（ａ）の撮影地点は撮影個所の地点コードである。同じく特徴量１，特徴量Ｎは図３の全体特徴量１以下に通しの添え字を振った特徴量である。認識車両ＤＢ３では、記憶容量節約の目的などから、撮影画像を加工してサイズ変更や圧縮をしても良い。

図４（ｂ）は登録車両ＤＢ４の一例である。登録車両ＤＢ４は図示するように検索の対象となる範囲を少なくともカバーする範囲の車両から収集した車番と、車両の形状やメーカ名，型式，車台番号といった車両諸元とを組にして蓄積している。例えば、自動車検査証の全リストが登録車両ＤＢ４の一例にあたる。また、犯罪捜査等の用途で収集した手配車両の車番情報から収集した自動車検査証の部分的なリストが登録車両ＤＢ４の一例にあたる。

図４（ｃ）は車両諸元・特徴量対応付けＤＢ５の一例である。車両諸元・特徴量対応付けＤＢ５は、登録車両ＤＢ４の登録項目のうち、画像と対応が取れる項目それぞれの要素について予め求めた特徴量との対応を蓄積したものである。前記登録項目のうち形状については、ステーションワゴンやバンといった要素それぞれで求めた車両の全体画像から抽出したフーリエ記述子や周囲長といった輪郭線の特徴量を抽出する。また、前記登録項目のうち型式については、ライト部とフロントグリル部とバンパー部それぞれのエントロピーやフーリエパワースペクトルといったテクスチャの特徴量を抽出する。図４（ｃ）において、空白の部分は該当車両諸元の項目と該当特徴量に関連が無いことを示す。例えば車両諸元の形状１は、エンブレム部から抽出した特徴量Ｇと相関が無い。

検索条件指定部７はインタフェース画面を通じて、操作者から撮影日時や撮影地点や車番や車両の特徴に関する検索条件を受け取る。検索条件指定部７のインタフェース画面の例を図５により説明する。入力部５１は車番を検索条件に指定するための入力エリアであり、入力部５１の各入力ボックスはそれぞれ一連番号，用途コード，車種コード，陸支コードの検索条件を受け付ける。前記個々の検索条件は、単数の値のほか複数の値やワイルドカードを受け取っても良い。また、一連番号や車種コードや陸支コードのように複数文字から構成されるものは、部分的にワイルドカードを受け付けるようにしてもよい。これらの検索条件の受け付けは、文字列のパターンを表現する表記法として公知技術の正規表現の処理技術を適用すれば容易に実現できる。

入力部５２は車両の車両諸元を検索条件に指定するための入力エリアであり、各入力ボックスではそれぞれ形状，メーカ，型式の検索条件を受け付ける。入力部５２の入力ボックスに指定する値は、図４（ｂ）の登録車両ＤＢ４の車両諸元の各項目に指定する値のほか、換算可能な値を受け取る方式でもよい。例えば、入力部５２の「型式」の入力ボックスに車両名称を入力可能として、車両名称から該当する１つ以上の型式に変換する方法がある。前記の換算のテーブルは予め用意して、車両検索部６内に記録しておく。入力部
５２の入力ボックスは入力部５１の入力ボックスと同様に、複数並びにワイルドカードを含む検索条件を受け付けるようにしても良い。

入力部５３は車両の地点と日時の情報を検索条件に指定するための入力エリアであり、図４（ａ）に示す認識車両ＤＢ３の撮影地点，撮影日時に対応した値あるいは範囲を操作者から受け付ける入力ボックスからなる。これらの入力ボックスに指定する地点の値あるいは範囲は認識車両ＤＢ３中の地点情報のデータ形式以外に、該当地点近くの住所など前記の地点情報に換算できる値あるいは範囲を受け付けるようにしても良い。同様に、入力ボックスに指定する日時のフォーマットも、認識車両ＤＢ３中の日時情報のフォーマット以外に、前記の日時情報に換算可能な値あるいは範囲を受け付けるようにして良い。検索条件指定部７は、同部が保持する予め定められた変換ルールに従って、必要に応じて撮影日時，撮影地点の入力を認識車両ＤＢ３のフォーマットに変換する。

入力部５４は、車両検索部６の検索処理の詳細を指定する入力エリアであり、検索条件に整合する車両がどの程度類似していれば該当車両とするか、また最大何台までを該当車両の候補に挙げるかといった感度の指定を受け付ける入力ボックスからなる。前記の感度の具体的な用途は後述するが、操作者は前記の感度を調整することで検索条件に該当する車両の数を制御することができる。

図１に示す車両検索部６は、登録車両ＤＢ４と車両諸元・特徴量対応付けＤＢ５との整合を制約条件にして、検索条件指定部７が受け取った検索条件から該当する車両を認識車両ＤＢ３から抽出する。また、車両検索部６は登録車両ＤＢ４と車両諸元・特徴量対応付けＤＢ５との不整合を用いて、検索条件指定部７が受け取った検索条件から不正車両を検索する。

車両検索部６におけるこの該当車両検索の処理を、図６のフロー図を用いて詳細に説明する。まずステップ６０１では、検索条件指定部７が受け取った検索条件の内、入力部
５２に入力された型式，メーカ，形状といった車両諸元に関する検索条件を、車両諸元・特徴量対応付けＤＢ５を参照して特徴量に変換する。次にステップ６０２では、検索条件指定部７の入力部５１に入力された車番に関する検索条件、入力部５３に入力された撮影地点と撮影日時に関する検索条件と、ステップ６０１で変換した特徴量に基づいて、認識車両ＤＢ３から該当する認識車両を抽出する。

具体的には、ステップ６０２では、入力部５３に入力された地点の検索条件と撮影日時の範囲条件から、認識車両ＤＢ３の認識結果を絞り込む。次に、この撮影日時と撮影地点で絞り込んだ認識結果それぞれに対して、車番について入力部５１に入力された検索条件と認識車両ＤＢ３に記録されている車番認識結果との乖離度を計算する。具体的な乖離度には、一連番号，用途コード，車種コード，用途コードそれぞれについて、検索条件で指定された番号と全て異なれば１、複数文字からなる場合には１箇所だけ異なれば０.５０、２箇所以上異なれば０.７５、また用途コードの「は」と「ほ」のように類似文字の場合は０.２５、反対に完全に一致すれば０、のような定め方等が適用できる。この乖離度の計算条件は、車両検索部６内に予め保持されている。入力部５１にて複数の検索条件が指定された場合、例えば用途コードとして「は」又は「ほ」が指定された場合には、各検索条件それぞれで乖離度を求めて、最小の乖離度を採用する。次に、各文字の乖離度の荷重和を計算する。この荷重和の荷重係数には、予め車両検索部６に保持されているデータを用いる。他にも検索条件指定部７に入力部５１同様のインタフェース画面を設け、操作者が前記の荷重係数を指定できるようにしてもよい。

次に、前記撮影日時と撮影地点で絞り込んだ認識結果それぞれについて、特徴量に関して検索条件との乖離度を計算する。具体的な乖離度としては例えば、ステップ６０１の処理により入力部５２で指定された検索条件の車両諸元から換算した特徴量と、撮影日時と撮影地点で絞り込んだ認識車両ＤＢ３中の認識車両の特徴量の間のユークリッド距離を適用することができる。入力部５２にて、複数の検索条件が指定された場合、例えば形状で「セダン」又は「ワゴン」が指定された場合には、「セダン」と「ワゴン」のそれぞれで乖離度を求めて小さい方の乖離度を採用する。次に、入力部５２で指定された各車両諸元について求めた乖離度の荷重和を計算する。この荷重和の荷重係数には、予め車両検索部６に保持されているデータを用いる。他にも検索条件指定部７に入力部５２同様のインタフェース画面を設け、操作者が指定できるようにしてもよい。

次に、入力部５３で指定された撮影日時と撮影地点により絞り込んだ認識車両それぞれに対して求めた、車番についての乖離度と特徴量についての乖離度の和を求める。そして、乖離度の和が所定のしきい値未満のものを抽出する。このしきい値は、車両検索部６が保持する値を用いても良いし、入力部５４に入力された感度の値に応じて調整してもよい。また計算上の効率から、上記車番あるいは特徴量の乖離度を求める過程で、乖離度が途中までに前記しきい値を超過する場合には処理を中断して該当候補を棄却してもよい。

続くステップ６０３では、ステップ６０２で検索条件に該当する認識車両が抽出できたか否かを判定する。抽出できていた場合にはステップ６０４へ移り、抽出できなかった場合にはステップ６１１を実行する。

ステップ６０４は、ステップ６０２で抽出した認識車両に該当する登録車両を登録車両ＤＢ４から抽出する登録車両検索処理ループの開始である。また、ステップ６０９はこの処理ループの終了条件の確認であり、ステップ６０２で抽出された全ての認識車両に対して登録車両検索処理が行われた時にループが終了する。ステップ６０２で抽出した各認識車両に対して、このステップ６０４からステップ６０９の間の処理を行い、処理対象となる認識車両はループカウンタで指定される。

ステップ６０５では、ループカウンタで指定された未処理の認識車両について、認識車両ＤＢ３中格納されている、撮影画像から求めた特徴量と整合する車両諸元を車両諸元・特徴量対応付けＤＢ５から求める。具体には、型式，メーカ，形状といった車両諸元の各項目それぞれについて、認識車両の特徴量との乖離度が最小となるものを車両諸元・特徴量対応付けＤＢ５から抽出する、あるいは、乖離度が所定のしきい値を超えない要素を全て車両諸元・特徴量対応付けＤＢ５から抽出する。

ステップ６０６では、ループカウンタが指定する認識車両の車番認識結果とステップ
６０５で抽出した車両諸元をもとに、登録車両ＤＢ４から該当する車両を抽出する。具体的には、認識車両の車番認識結果並びに抽出した車両諸元と登録車両ＤＢ４に登録されている各登録車両の車番並びに車両諸元との乖離度をそれぞれ求め、乖離度が所定のしきい値以下の登録車両を抽出する。前記の車番についての乖離度は、例えば、ステップ６０２における車番についての乖離度を求める処理と同じ方法で求めることができる。次に、車両諸元についての乖離度は、例えば、車両諸元の型式，メーカ，形状の各項目について両者が一致していれば乖離度は０、両者が異なる場合にはその車両諸元を車両諸元・特徴量対応付けＤＢ５を用いて一度対応する特徴量に変換した後、認識車両の特徴量との乖離度を求める。この乖離度を求める処理は、ステップ６０２で求めた特徴量についての乖離度と同じ方法で求めることができる。またこの場合のしきい値は、車両検索部６が保持する所定の値を用いても良いし、検索条件指定部７の入力部５４の感度で指定された値に応じて定めてもよい。またこの乖離度は、図６のフローが全て終わるまで保持しておく。

ステップ６０６の処理によって、ステップ６０２で抽出された認識車両ＤＢ３中の認識車両のうち、登録車両ＤＢ４の登録車両との間に車番あるいは特徴量のどちらかで許容できない誤認識が含まれる認識車両は全て排除されるので、認識車両は正確なものに選別される。

ステップ６０７では、ステップ６０６の処理により認識車両に該当する登録車両が１台以上抽出できたかを判定し、１台以上抽出できた場合はステップ６０８を実行し、１台も抽出できなかった場合にはステップ６０９でループ終了条件を確認する。ステップ６０８は、ステップ６０６で抽出した登録車両を、ステップ６０６で計算した乖離度と組にして所定のスタックに追加する。

ステップ６１０は、指定された検索条件に基づき抽出された認識車両に該当する登録車両の有無を、スタックが空か否かにより判定し、このスタックが空ならばステップ６１１を実行し、スタックが空でなければステップ６１２を実行する。ステップ６１１では、検索結果表示部８へ「該当車両なし」と出力する。またステップ６１２では、ステップ608でスタックに追加した登録車両のうち、乖離度が小さい順に所定の台数だけ選択して検索結果表示部８への出力とする。この選択台数は、車両検索部６が保持する所定の値、あるいは検索条件指定部７の入力部５４で指定された候補数の入力値を適用する。また、登録車両の情報と共にこれと組にされている乖離度も検索結果表示部８への出力とする。

検索結果表示部８は、車両検索部６の検索結果を操作者に表示する。図６に示した処理フローにより抽出した車両検索の結果を検索結果表示部８に表示する画面例を図７により説明する。「誤差」の項は、前記ステップ６０６で計算した認識車両と登録車両との間の車番及び特徴量の乖離度である。また、表示項目の乖離度に換えて、乖離度を所定の減少関数で変換した類似度を表示してもよい。「車番」，「型式」，「形状」，「メーカ」の各項目は、登録車両ＤＢ４中の該当する登録車両の情報である。「車両画像」の項目は、登録車両との乖離度を計算する対象となった認識車両に対応する認識車両ＤＢ３中の車両の画像である。図７に示す例では、表示例として検索条件に該当する第１候補を１列目に、第２候補の各２列目に表示しているが、表示する候補の数は２つに限定することなく、検索結果表示部８が保持する所定の値あるいは検索条件指定部７の入力部５４の候補数で指定された値に応じて定めてよい。また、図７の表示項目の数は図示しないスイッチによって増減させてもよい。他にも図７に、撮影地点や撮影日時の情報を加えて、操作者が一度に多くの情報を把握できるようにしても良い。

操作者は図７の画面を見ることによって、車両の車番と特徴量を組にした認識結果の中から、登録車両ＤＢ４中の車番と車両諸元の組のいずれとも整合しないものを排除することで、高精度な検索結果を取得することができる。

車両検索部６では、検索条件に該当する車両を検索するほか、ナンバープレートを不正に取り換えた不正車両も検索する。上記２つの機能は検索条件指定部７に機能の切換えスイッチを設けて、同スイッチの状態により切換える。あるいは、検索条件指定部７に並列処理のスイッチを設けて同スイッチがオンならば両方の処理を行うようにしてもよい。

図８のフロー図を用いて、車番と特徴量が検索条件に該当する不正車両を検索する車両検索部６の処理を説明する。不正車両の検索は、例えばパトカーと遭遇したときに無理に進路を変えるなど挙動の不審な車両の車番と特徴の目撃情報から、該当車両が不正車両であるかを検索する用途に用いることができる。基本的に、不正車両の検出は登録車両ＤＢ４に登録されていない認識車両を探すことに相当するため、図８に示す各処理は、図６のフロー図と多くの部分で同一であり、ステップ６０１からステップ６０７の判定処理までの一連の処理及びステップ６０９の処理ループ終了判定条件は、図６の処理フローと同じである。

不正車両の検出処理は、検索条件指定部７の検索条件に整合する認識車両の抽出結果に該当する登録車両が抽出されているか否かをステップ６０７で判定した結果に基づき、該当する登録車両を１台以上抽出できた場合には、認識車両が正規に登録された車両である可能性が高いものと判断としてステップ６０９にフローを移すが、登録車両が１台も抽出できない場合、即ち認識車両の撮影画像による車番認識結果と特徴量の組合せが、登録車両の車番と特徴量の組合せのいずれにも該当しない場合には、不正車両の可能性があるものとしてステップ６５０を実行する。

ステップ６５０では、登録車両検索処理のループカウンタが指定する認識車両の車番認識結果及び特徴量と、登録車両ＤＢ４に登録されている車番及び車両諸元との不整合が、認識車両の撮影画像の基づく車番あるいは特徴量の誤認識が原因であるのか、不正にナンバーを付け換えたことが原因であるかを判別し、後者であれば該当する認識車両をスタックに追加する。ここでこの認識車両が不正車両であれば、画像の撮影地点の隣接地点でも同一の認識結果が認識車両ＤＢ３に蓄積される可能性が高い。また、不正車両の持ち主が近隣地区の者であれば、同じ経路を何度も通り、同一の撮影地点でも撮影日時を換えて繰り返し同一の認識結果が認識車両ＤＢ３に蓄積される可能性が高くなると考えられる。反対に、認識車両に対応する登録車両が見つけられなかった理由が偶発的な車番あるいは特徴量の誤認識に因る場合には、不正車両の場合のように同一の認識結果が認識車両ＤＢ３に繰り返し蓄積されることは稀であると考えられる。そこで、ステップ６５０では、認識車両に相当する認識結果の出現頻度を基準にして、認識車両が不正車両であるか否かを判別する。

図９を用いて、ステップ６５０の処理を詳細に説明する。ステップ６６０は、不正車両であるか否かを判定する認識車両の撮影日時並びに撮影地点と所定範囲内の撮影日時並びに撮影地点であることを条件に、認識車両ＤＢ３からこの認識車両の車番及び特徴量の認識結果が整合するものを全て抽出して計数し、判定対象である認識車両の出現頻度とする。具体的には、判定対象となっている認識車両の車番認識結果及び特徴量と認識車両ＤＢ３に記録されている前記範囲内の各認識車両との認識結果の乖離度を、図６に示したステップ６０２と同様の処理で求めて、この乖離度が所定のしきい値以下となる認識車両ＤＢ３の認識車両を全て抽出して計数する。検索対象とする撮影日時の範囲並びに撮影地点の範囲及び乖離度のしきい値は、車両検索部６が保持する値を用いてもよいし、検索条件指定部７に入力部５３や５４のような入力部を設け、操作者が指定した値に応じた値を用いてもよい。

ステップ６６１では、ステップ６６０で求めた出現頻度が所定のしきい値以上であれば、ステップ６６２を実行し、判定対象とした認識車両を不正車両であると判定してスタックに追加する。また、同しきい値未満であれば、不正車両ではないものとしてステップ
６５０の処理を終了する。なお、認識車両を不正車両として追加するスタックは、不正車両の検出と検索条件に該当する車両を検索する処理を並行して行う場合には、検索条件に該当する車両を検索する処理で用いるスタックとは別のスタックを用いる。

図８に示すステップ６５１ではステップ６５０で不正車両と判断した認識車両を特席するスタックを調べ、このスタックが空であればステップ６５２を実行して、検索結果表示部８への出力を「不正車両無し」とする。また、このスタックが空でなければステップ
６５３を実行し、検索結果表示部８への出力を「不正車両あり」として、ステップ６５０で蓄積したスタック中の認識車両を不正車両のデータとして検索結果表示部８へ送信する。

不正車両を検索結果を受け取った検索結果表示部８は、図７の表示例と同様のレイアウトで車両検索部６から受け取った認識車両の諸項目を表示する。ただし、不正車両検索の処理では、検索結果表示部８は車両検索部６から登録車両のデータを取得できないため、図７における車両の形状，型式，メーカの車両諸元は認識車両の認識結果を表示する。

操作者は前記車両結果表示部８の画面をみることで、認識車両ＤＢ３中の認識車両のうち、検索条件指定部７の検索条件に該当するが登録車両ＤＢ４に該当しない不正車両を把握することができる。

図１０のフロー図を用いて、実施例１において不正車両を検出するもう１つの処理であり、登録車両ＤＢ４の登録車両のうち不正車両となっている車両を検出する処理を説明する。前記の不正車両の検出は、例えば犯罪捜査において配備したい登録車両が、ナンバーを取り換えて不正車両になっているかを検出する用途で用いる。

まずステップ７０１では、検索条件として入力された車番と車両諸元から、ステップ
６０６と同様の処理によって該当する登録車両を登録車両ＤＢ４から全て抽出する。そして、ステップ７０２では、抽出された登録車両が１台以上あればステップ７０３を実行し、反対に１台もなければ、ステップ６５２を実行する。

ステップ７０３は、抽出された登録車両について不正車両に該当する可能性のある認識車両を探索する処理のループ開始であり、ステップ７０５はこの処理ループの終了条件判定である。この処理ループは、抽出された全ての登録車両について不正車両に該当する可能性のある認識車両を探索する処理を行った場合に終了する。

ステップ７０４では、登録車両ＤＢ４に登録されている処理対象車両の車番あるいは車両諸元の一方だけが整合する認識車両を認識車両ＤＢ３から抽出する。具体的には、処理対象となっている登録車両の車両諸元をステップ６０１と同じ処理で特徴量に変換した後、認識車両ＤＢ３の中からこの登録車両と車番の乖離度が所定値以下かつ特徴量の乖離度が所定値以上、あるいは反対に前記登録車両と車番の乖離度が所定値以上かつ特徴量の乖離度が所定値以下の認識車両を探索してステップ６５０に渡す。この車番並びに特徴量の乖離度は、ステップ６０２と同一の処理で計算できる。

ステップ７０５はステップ７０４で抽出した認識車両の各々について不正車両であるか否かを判定する処理のループであり、ステップ７０６はこの処理ループの終了条件判定である。

認識車両の各々について不正車両であるか否かを判定するステップ６５０の処理は前述と同様であり、認識車両が不正車両であればスタックに追加する。以下、ステップ６５１，ステップ６５２，ステップ６５３も図８に示した処理と同じ処理が行われ、不正車両と判定された認識車両が存在すれば、その認識結果を出力する。

この認識結果を受け取った検索結果表示部８は、検出した不正車両を表示する。操作者は前記車両結果表示部８の画面をみることで、検索条件指定部７の検索条件に該当する登録車両ＤＢ４の登録車両が、ナンバーを取り換えた不正車両になっていることを把握することができる。

図１１を用いて車両諸元・特徴量対応付けＤＢ５を、事前に認識車両ＤＢ３と登録車両ＤＢ４から構築する一連の手順を説明する。ステップ６２１は撮影日時と撮影地点について操作者が定めたの範囲内で認識車両ＤＢ３中の認識車両に対応する登録車両を抽出する処理ループの開始である。ステップ６２７は同ループの終了判定であり、処理対象範囲の認識車両について処理が済んだか否かを判定する。ステップ６２２は、この処理ループのループカウンタが指定する認識車両の車番認識結果をもとに、登録車両ＤＢ４から該当する登録車両を検索する。ステップ６２３では、認識車両に該当する登録車両の有無を判定し、登録車両がある場合はステップ６２４から始める処理ループを実行し、該当車両が無い場合には、ループの終了条件を確認後、ステップ６２１のループ先頭に実行を移す。

ステップ６２４は、抽出した登録車両の形状，メーカ，型式といった車両諸元の項目について特徴量を収集する処理ループの開始であり、ステップ６２６はこの処理ループの終了条件判定処理である。ステップ６２５では、車両諸元の項目毎に、ステップ６２２で抽出された登録車両の車両諸元の項目要素をキーとして、車両諸元の項目別，要素別に設けたスタックに、その登録車両を抽出する元になった認識車両の特徴量を追加する。例えば、図４（ａ）において管理番号“３−１”を登録番号抽出の元になった認識車両とすると、この認識車両の車番認識結果と同じ車番をもつ図４（ｂ）の管理番号“４−１”が該当する登録車両となるので、ステップ６２５では車両諸元の項目「形状」についてはキーとして要素「１ＢＯＸ」のスタックに管理番号“３−１”の認識車両の特徴量を追加する。

ステップ６２８は、ステップ６２５で追加された車両諸元各項目における全要素を処理するループの開始であり、ステップ６３１はこの処理ループの終了条件を判定する処理である。ステップ６２９では、車両諸元の項目と要素で指定されたスタックに蓄えられたデータ数が所定値以上あるか否かを判定し、所定値以上あればステップ６３０を実行し、なければステップ６３１でループ終了条件をチェックした後、ステップ６２８のループ先頭に戻り次の車両諸元の項目と要素の処理を実行する。ステップ６３０では、車両諸元の項目と要素で指定されるスタックに蓄えられたデータから、該当項目の該当要素について特徴量の代表値を計算する。以上の処理によって、車両諸元の項目別，要素別に特徴量を収集して代表値を計算し、車両諸元・特徴量対応付けＤＢ５の構成要素とすることができる。これにより、図１１の処理を、十分に多数の認識車両の蓄積を対象として行うことにより、車両諸元・特徴量対応付けＤＢ５の車両諸元の項目別，要素別の特徴量を全て収集することができる。

なお、車番認識に認識ミスがあれば、ステップ６２２で認識車両と登録車両の対応が正しくとれないため、誤った特徴量がスタックに蓄積されてしまう。また認識車両の撮影画像からの特徴抽出にミスがあれば、やはりスタックには不正確な特徴量が蓄積される。しかし、スタックに十分な数だけ特徴量を収集した上で、ステップ６３０における特徴量の代表値を計算する処理で、中央値やトリム平均といったロバスト統計量を適用することにより、このような認識ミスによる外乱の影響は排除できる。

図１２を用いて車両諸元・特徴量対応付けＤＢ５を構築する手順を説明する。この処理では予め操作者によって、車両諸元の少なくとも１つ以上の項目と対応付けされた車両の画像が収集され、またこの画像の車両に関しては車両諸元の各要素の値が判明しているものとする。この車両の画像は例えば、メーカのカタログの画像から収集することが可能である。ステップ６４１は収集画像に対する処理ループの開始であり、ステップ６４６は同ループの終了条件判定であり、収集されていた全ての画像に対して処理が完了したかどうかをチェックする。ステップ６４２では、各車両の画像から、画像処理部２と同等の処理によって特徴量を抽出する。ステップ６４３，６４４，６４５では、図１１のフロー図におけるステップ６２４，６２５，６２６と同様の処理により、画像に対応付けされた車両諸元の要素の値を参照して、ステップ６４４ではステップ６４２で抽出した特徴量を、車両諸元の項目別，要素別に設けたスタックに追加する。以下、ステップ６２８，６２９，６３０，６３１における処理は、図１１のフロー図と同じであり、ステップ６４４で収集したスタック中の特徴量から、車両諸元の項目別，要素別の特徴量の代表値を計算する。十分なだけ多数収集した車両画像を対象として図１２に示した処理を行うことで、車両諸元・特徴量対応付けＤＢ５の車両諸元の項目別，要素別の特徴量を全て収集することができる。

上記の図１２に示した処理は、管理センタの計算機のほか、上記収集した車両の画像を読み込む機能を有し、画像処理部２の特徴量抽出の処理を実行可能な計算機一般で実施できる。

次に、本発明の実施例の変形を説明する。画像処理部２が、特徴量は抽出せずに車番だけを認識する場合、画像処理部２は図３に示すデータの内、特徴量を省いたデータを認識車両ＤＢ３に送信し、認識車両ＤＢ３では図４（ａ）に例を示すデータから特徴量を省いたデータを蓄積することになる。

図１３のフロー図を用いて、実施例の変形における車両検索部６の車両検索処理を説明する。図１３のステップ８０２では、車両諸元の検索条件を参照することなく、車番についての検索条件に該当する認識車両を認識車両ＤＢ３から抽出する。この処理は具体的には、検索条件指定部７の検索条件で指定された車番情報と認識車両ＤＢ３に格納されている認識車両の車番認識結果との乖離度を、ステップ６０２と同じ処理で計算し、車番の乖離度が所定しきい値以下の認識車両を抽出する。

またステップ８０６では、画像処理部２が特徴量を抽出していないため、認識車両の車番認識結果と検索条件指定部７で指定された車両諸元の情報をもとに、登録車両ＤＢ４から該当する登録車両を抽出する。前記の車番と車両諸元をもとにして登録車両を抽出する処理は、ステップ６０６と同一の処理で実現する。ただし、ステップ８０６では、車両諸元についての乖離度を求めるときに、車両諸元を車両諸元・特徴量対応付けＤＢ５を参照して特徴量に換算するほか、車両諸元の要素間の乖離度を定義したテーブルを参照してもよい。このテーブルは、例えば図４（ｃ）に示した車両諸元の要素間について、型式１と型式２の乖離度は０.５、メーカ１とメーカ２の乖離度は０.２５、形状１と形状２の乖離度は０.７５といった乖離度のデータを保持しているものとする。

図１３に示す処理によって、車番の検索条件に該当する認識結果の中から、認識結果の車番と検索条件の車両諸元の組が登録車両中のいずれかの車番と車両諸元の組に整合することを制約条件に絞り込んだ検索結果を取得することができる。この絞込みよって、例えば検索したい車両のナンバープレートの情報が部分的にしかわからず車番の条件だけでは検索結果に多数の候補が出力される場合でも、形状等の車両諸元に関する情報から該当する車両を絞り込むことが可能になる。

次に図１４のフロー図を用いて、実施例の変形における車両検索部６の不正車両の検出処理を説明する。図１４において、ステップ８０２では、車両諸元の検索条件を参照することなく車番に付いての指定のみから該当する認識車両を抽出し、ステップ８０６は認識車両の車番と検索条件で指定された車両諸元から認識車両に該当する登録車両を抽出する。そしてステップ８５０では、ステップ６５０と同様に図９に示すフローによって、該当する認識車両の車番と同一の車番をもつ認識車両の出現頻度を計算し（６６０）、前記出現頻度が所定のしきい値以上であれば（６６１）、認識車両を不正車両のスタックに追加する（６６２）。

この不正車両検索では、車番の検索条件に該当する認識結果の中から、認識結果の車番と検索条件の車両諸元の組が登録車両中の車番と車両諸元のどの組にも該当しない不整合から不正車両を検索する。例えば、図１３における車両検索処理を実行したが該当する車両が検索できなかったが、対象車両の信憑性がある車番と外見の目撃情報が得られた場合に、図１４の処理によって不正車両を検索することができる。

実施例の変形では、画像処理部２が特徴量を抽出しない分だけ低い計算負荷で実現できるメリットや、認識車両ＤＢ３が蓄積する項目に特徴量がない分だけ記憶容量を節約できるメリットがある。その一方で、車番のみを検索条件として認識車両ＤＢ３の該当認識車両を検索するので、ステップ６０２において車番と特徴量を検索条件とする場合よりも認識車両を絞り込めず以降ステップ６０４のループ回数が増加して、車両検索部６の計算負荷や主記憶の使用量が実施例１よりも増加するデメリット等がある。

車両のナンバープレートを画像処理により認識し、特定の車両を検索したり所在を把握するようなシステム全般に適用できる。例えば、駐車場の入退管理や、ＥＴＣ
（Electronic Toll Collection）の不正車両監視に適用できる。

本発明を用いた実施例の機能構成を示すブロック図である。車両画像の例（ａ），ナンバープレートの例（ｂ）、及び特徴量抽出のための局所領域（ｃ）を示す図である。本発明を用いた実施例の画像処理部２が出力するデータのフォーマット例である。本発明を用いた実施例の認識車両ＤＢ３（ａ），登録車両ＤＢ４（ｂ），車両諸元・特徴量対応付けＤＢ５（ｃ）の構成例である。本発明を用いた実施例の検索条件指定部７のインタフェース画面例である。本発明を用いた実施例の車両検索のフロー図である。本発明を用いた実施例の検索結果表示部８の画面例である。本発明を用いた実施例の不正車両検索処理のフロー図である。認識車両が不正車両か否かを判定する処理のフロー図である。不正車両検索の他の処理フロー図である。車両諸元・特徴量対応付けＤＢ５を構築する処理のフロー図である。車両諸元・特徴量対応付けＤＢ５を構築する処理の別のフロー図である。画像処理部２が特徴量を抽出しない場合の車両検索のフロー図である。画像処理部２が特徴量を抽出しない場合の不正車両検索のフロー図である。

符号の説明

１…カメラ、２…画像処理部、３…認識車両ＤＢ、４…登録車両ＤＢ、５…車両諸元・特徴量対応付けＤＢ、６…車両検索部、７…検索条件指定部、８…検索結果表示部。

Claims

車両が走行する道路上に設置されたカメラで撮影された車両の画像から車両のナンバープレートの全文字を認識する車番認識と車両の特徴を表す特徴量を認識する画像処理部と、前記車番認識結果と車両の特徴量の認識結果を組にして蓄積する認識車両データベースと、車両それぞれの車番と車両諸元の登録情報を組にして蓄積した登録車両データベースと、該登録車両データベースの車番と車両諸元の登録情報のうち前記車両の画像と対応がとれる項目について予め定めた特徴量との対応を蓄積した車両諸元・特徴量対応付けデータベースと、車番と車両諸元にかかわる検索条件を受け取る検索条件指定部と、該検索条件指定部が受け取った検索条件から該当する車両を抽出する車両検索部とを備え、前記車両検索部が、前記車両諸元にかかわる検索条件を前記車両諸元・特徴量対応付けデータベースにより特徴量に変換し、該特徴量と前記認識車両データベースの認識車両の特徴量との間の乖離度、並びに前記検索条件指定部が受け取った車番と前記認識車両データベースの認識車両の車番認識結果との乖離度がしきい値未満の車両を該当する車両として抽出することを特徴とする車両検索装置。
車両が走行する道路上に設置されたカメラで撮影された車両の画像から車両のナンバープレートの全文字を認識する車番認識と車両の特徴を表す特徴量を認識する画像処理部と、前記車番認識結果と車両の特徴量の認識結果を組にして蓄積する認識車両データベースと、車両それぞれの車番と車両諸元の登録情報を組にして蓄積した登録車両データベースと、該登録車両データベースの車番と車両諸元の登録情報のうち前記車両の画像と対応がとれる項目について予め定めた特徴量との対応を蓄積した車両諸元・特徴量対応付けデータベースと、車番と車両諸元にかかわる検索条件を受け取る検索条件指定部と、該検索条件指定部が受け取った検索条件から該当する車両を抽出する車両検索部とを備え、前記車両検索部が、前記車両諸元にかかわる検索条件を前記車両諸元・特徴量対応付けデータベースにより特徴量に変換し、該特徴量と前記認識車両データベースの認識車両の特徴量との間の乖離度、並びに前記検索条件指定部が受け取った車番と前記認識車両データベースの認識車両の車番認識結果との乖離度がしきい値未満の車両を認識車両として抽出し、抽出した認識車両の車番認識結果並びに車両諸元と登録データベースに登録されている各登録車両の車番並びに車両諸元との乖離度をそれぞれ求め、乖離度が他のしきい値以上であることと、前記認識車両の車番認識結果及び特徴量と認識車両データベースに記録されている設定された撮影日時、撮影地点の範囲内の各認識車両との認識結果及び特徴量の乖離度がさらに他のしきい値以下となる認識車両を計数して出願頻度とし、該出願頻度がさらに他のしきい値以上であることを条件に不正車両と判定することを特徴とする車両検索装置。
請求項１に記載の車両検索装置において、前記画像処理部は、車両の画像全体ならびに車両の特徴的な部分領域毎に特徴量を抽出することを特徴とする車両検索装置。
請求項１に記載の車両検索装置において、前記車両検索部が、検索条件に該当する車両の範囲を制御する感度の項目を備えることを特徴とする車両検索装置。