JP5338255B2

JP5338255B2 - 車両認識装置

Info

Publication number: JP5338255B2
Application number: JP2008272616A
Authority: JP
Inventors: 剛倉田
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2008-10-23
Filing date: 2008-10-23
Publication date: 2013-11-13
Anticipated expiration: 2028-10-23
Also published as: JP2010102466A

Description

この発明は、カメラ等の撮像装置で撮像した車両の撮像画像を処理し、その車両の車名（通称名）を判別する車両認識装置に関する。

従来、カメラ等の撮像装置で撮像した車両の撮像画像を処理し、その車両の車名（通称名）を判別する装置が特許文献１、２で提案されている。これらの装置は、駐車場に駐車されている車両の管理や、事故対応や犯罪捜査（犯罪に使用された車両の発見）等への利用が有効であると考えられている。例えば、ナンバープレートに表記されているナンバープレート番号を記憶していない車両の所有者が多い。このため、駐車場等で駐車車両を管理する場合、ヘッドライトの消し忘れ等、何らかの要因で運転者を呼び出す場合、ナンバープレート番号で呼び出すよりも、車名で呼び出すほうが効果的である。また、盗難車両や犯罪車両（犯罪に使用された車両）の捜査等では、目撃者から車名については得られても、ナンバープレート番号が得られる可能性が低い（目撃者がナンバープレート番号を読み取っていないことが多い。）。
特開２００１− ６７５９９号公報特開２００６−３４４１５４号公報

しかしながら、特許文献１は、車両のフロントグリルの輪郭によって車名を判別する構成であった。自動車メーカは、フロントグリルの形状を流行に合わせて決めているので、フロントグリルの輪郭が相似している車両が多い。したがって、特許文献１の構成では、車名の判別精度が十分に確保できない。

また、特許文献２は、車両に取り付けられているエンブレムによって車名を判別する構成であった。エンブレムは、自動車メーカのロゴマークであることから、同一のエンブレムが複数種類の車両に取り付けられている。したがって、特許文献２も、特許文献１と同様に、車名の判別精度が十分に確保できない。

この発明の目的は、車名の判別精度を十分に向上させた車両認識装置を提供することにある。

この発明の車両認識装置は、上記課題を解決し、その目的を達するために、以下ように構成している。

撮像画像入力手段には、ＣＣＤカメラ等の撮像装置で撮像された撮像画像が入力される。車両検出手段が、撮像画像入力手段に入力された撮像画像を処理し、この撮像画像に車両が撮像されているかどうかを検出する。例えば、公知のＡＶＩ（ＡｕｔｏｍａｔｉｃＶｅｈｉｃｌｅＩｄｅｎｔｉｆｉｃａｔｉｏｎ）装置等と同様に、ナンバープレートが撮像画像に撮像されているかどうかを検出することによって、車両が撮像されているかどうかを検出する。

なお、撮像画像と、背景画像との差分画像を生成し、車両が撮像されているかどうかを検出する構成であってもよい。

車両検出手段が撮像画像に車両が撮像されていることを検出すると、特徴量抽出手段が、この車両のナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、およびエンブレムの相対的な位置関係、およびこれらの外形形状を含むフロントグリルの特徴量を抽出する。また、特徴量記憶手段が、車両の種類毎に、その車名と、その車両のナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、およびエンブレムの相対的な位置関係、およびこれらの外形形状を含むフロントグリルの特徴量と、を対応付けて記憶している。そして、車名判別手段が、特徴量抽出手段が抽出したフロントグリルの特徴量を、特徴量記憶手段が車両の種類毎に記憶しているフロントグリルの特徴量と照合し、この車両の車名を判別する。具体的には、類似度が最大で且つ予め定めた閾値を超えている車名を、車両検出手段が撮像画像に撮像されていることを検出した車両の車名であると判別する。

このように、フロントグリルの外形形状だけでなく、車両のナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、およびエンブレムの相対的な位置関係、およびこれらの外形形状を含むフロントグリルの特徴量によって車名を判別するので、車名の判別精度を向上させることができる。

また、同じ車名の車両であっても、フォグランプやフロントスポイラー等の形状がグレードによって異なる車両も多く、このような車両については、車名だけでなく、その車両のグレードも判別できる。

また、ナンバープレートに表記されているナンバープレート番号を認識し、このナンバープレート番号と車名とを対応付けて出力することにより、駐車場等における駐車車両の管理や、犯罪車両の発見等が一層効率的に行える。

この発明によれば、車名の判別精度を十分に向上させることができる。

以下、この発明の実施形態である車両認識装置について説明する。

図１は、この発明の実施形態である車両認識装置の主要部の構成を示すブロック図である。車両認識装置１は、制御部２と、画像入力部３と、画像処理部４と、記憶部５と、操作部６と、出力部７と、を備えている。この車両認識装置１は、対象車両が撮像された撮像画像を処理し、撮像されている車両の車名を判別する。ここでいう車名とは、メーカがその車両に付けた名前（通称名）である。

制御部２は、装置本体の動作を制御する。画像入力部３には、撮像装置であるカメラ１０が接続されている。カメラ１０は、図２に示すように、対象車両を正面から撮像する場所に設置される。例えば、カメラ１０は、駐車場に駐車されている車両を管理する場合には、駐車場の入口付近で、駐車場に入る車両を正面から撮像する位置に設置される。また、道路を走行している車両を対象車両とし、盗難車両や犯罪車両（犯罪に使用された車両）の発見に利用する場合には、道路を走行している車両を正面から撮像する位置に設置される。カメラ１０は、１秒間に数十フレーム（例えば、３０フレーム）の撮像画像を画像入力部３に入力する。

画像処理部４は、画像入力部３に入力された撮像画像を処理する。画像処理部４は、画像入力部３に入力された撮像画像に車両が撮像されているかどうかを検出する。例えば、公知のＡＶＩ（ＡｕｔｏｍａｔｉｃＶｅｈｉｃｌｅＩｄｅｎｔｉｆｉｃａｔｉｏｎ）装置等と同様に、ナンバープレートが入力された撮像画像に撮像されているかどうかを検出することによって、車両が撮像されているかどうかを検出する。また、撮像画像と、背景画像との差分画像を生成し、車両が撮像されているかどうかを検出する構成とすることもできる。

また、画像処理部４は、撮像画像に車両が撮像されていることを検出すると、この車両のフロントグリルの特徴量を抽出する。画像処理部４は、フロントグリルの特徴量として、図３に示すように、ナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、エンブレム等の位置関係や、これらの外形形状、さらには、フロントグリルの外形形状等を特徴量として抽出する。例えば、人間の顔にたとえ、フロントグリルの外形形状を輪郭、ナンバープレートを口、左右のヘッドライトを目、エンブレムを鼻、フロントグリルを下顎、左右のフォグランプをアザ等とみなし、これらの相対的な位置関係や外形形状等に基づいて特徴量を抽出する。この車両のフロントグリルの特徴量を抽出する撮像画像は、車両が撮像されていることを検出したフレームの撮像画像であってもよいし、別のフレームの撮像画像であってもよい。

さらに、画像処理部４は、車両のナンバープレートに表記されているナンバープレート番号を公知のテンプレートマッチングで認識する文字認識機能を有している。

また、記憶部５は、車両の種類毎に、その車両のフロントグリルの特徴量を登録した車両データベース５ａ（以下、車両ＤＢ５ａと言う。）を有している。この車両ＤＢ５ａは、図４に示すように、車両の種類毎に、その車両の製造メーカ、車名（通称名）、型式名、車式（軽車両、クーペ、セダン、１ＢＯＸ等）、グレード、年式、排気量等の車両情報と、フロントグリルの特徴量と、を対応付けて記憶している。

なお、この車両認識装置１は、車両ＤＢ５ａに対する車両情報、および特徴量の追加登録や、不要になった車両情報、および特徴量の削除が行える。

制御部２は、画像処理部４が抽出したフロントグリルの特徴量を、車両ＤＢ５ａに登録されている各車両のフロントグリルの特徴量と照合し、画像処理部４が撮像画像からフロントグリルの特徴量を抽出した車両の車名等を判別する照合／判別機能を有している。この照合／判別機能は、制御部２ではなく、画像処理部４に設けることもできる。

操作部６は、マウスやキーボード等の入力デバイスを有し、オペレータによる入力操作を受け付ける。出力部７は、接続されている表示器に判別結果を表示する。また、図示していない外部機器（上位装置）に対して、判別結果を出力する。例えば、駐車場管理装置や、交通管制センタに対して判別結果を出力する。

次に、この車両認識装置１の動作について説明する。この車両認識装置１は、車両ＤＢ５ａに対する車両情報、および特徴量の登録／削除処理と、対象車両の車名を判別する判別処理と、を行う。まず、登録／削除処理について説明する。

この登録／削除処理は、車両ＤＢ５ａに登録されていない車両（未登録車両）について、車両情報、および特徴量を登録する処理、および車両ＤＢ５ａに登録されている車両について不要な車両情報、および特徴量を削除する処理である。図５は、登録／削除処理を示すフローチャートである。

車両認識装置１は、操作部６において登録／削除処理の開始にかかる入力操作が行われると、この処理を開始する。車両認識装置１は、車両ＤＢ５ａへの車両情報、および特徴量の登録、または車両ＤＢ５ａに対する車両情報、および特徴量の削除の選択を受け付ける（ｓ１、ｓ２）。オペレータが、操作部６において、この選択にかかる操作を行う。

車両認識装置１は、登録が選択されると、画像入力部３において、登録する車両をほぼ正面から撮像した撮像画像の入力を受け付ける（ｓ３）。ｓ３で画像入力部３に入力される撮像画像は、接続しているカメラ１０で実車を撮像した撮像画像であってもよいし、携帯型のディジタルカメラ等で予め撮像した撮像画像であってもよい。

画像処理部４は、今回画像入力部３に入力された撮像画像を処理し、この車両のフロントグリルの特徴量を抽出する（ｓ４）。ｓ４では、フロントグリルの特徴量として、上述したように、ナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、エンブレム等の位置関係や、これらの外形形状、さらには、フロントグリルの外形形状等を抽出する。

車両認識装置１は、ｓ４で特徴量を抽出した車両について、製造メーカ、車名（通称名）、型式名、車式（軽車両、クーペ、セダン、１ＢＯＸ等）、グレード、年式、排気量等の車両情報の入力を受け付ける（ｓ５）。この車両情報は、オペレータがカタログ等を見ながら操作部６を操作して入力する。また、グレードや排気量等が違っても、フロントグリルが同じである車両については、これらの項目を入力しなくてもよいし、代表的なグレードや排気量を入力してもよい。逆に、グレードや排気量等によって、フロントグリルが異なる車両であれば、これらの項目毎に同じ車名の車両を個別に登録すればよい。

車両認識装置１は、ｓ４で抽出した特徴量と、ｓ５で入力された車両情報と、を対応付けて車両ＤＢ５ａに追加登録する（ｓ６）。

車両認識装置１は、本処理の終了にかかる入力があれば本処理を終了する（ｓ７）。一方、本処理の終了にかかる入力がなく、上述したｓ１（、またはｓ２）で登録（または削除）にかかる選択があると、上述したｓ３以降（後述するｓ７以降）の処理を実行する。車両認識装置１は、ｓ２で削除にかかる選択を受け付けると、削除する車両の車名、または型式名の入力を受け付ける（ｓ８）。車両認識装置１は、該当する車両の車両情報を車両ＤＢ５ａから読み出し、出力部７に接続されている表示器に表示する（ｓ９）。ｓ９では、該当する車両が複数種類存在すれば、車両毎に車両情報を表示する。

車両認識装置１は、表示器に表示している車両情報の中で、削除指定にかかる入力操作があれば（ｓ１０）、車両ＤＢ５ａから削除指定された車両情報、および該当する特徴量を削除し（ｓ１１）、上述したｓ７以降の処理を実行する。

このように、この車両認識装置１は、車両ＤＢ５ａに対する車両情報、および特徴量の追加登録や、削除が行える。すなわち、モデルチェンジされた車両や新型車両についても、適当なタイミングで、車両情報、および特徴量を車両ＤＢ５ａに登録することができる。

次に、対象車両の車名を判別する判別処理について説明する。図６は、この判別処理を示すフローチャートである。車両認識装置１は、画像処理部４において、画像入力部３に入力されているカメラ１０の撮像画像毎に、その撮像画像に車両が撮像されているかどうかを検出する（ｓ２１）。ｓ２１では、撮像画像に対して、ナンバープレートの外形形状によるパターンマッチングを行い、ナンバープレートが撮像されているかどうかを検出することにより、この撮像画像に車両が撮像されているかどうかを検出する。

画像処理部４は、ｓ２１で車両が撮像されていることを検出すると、この車両の撮像画像を処理し、フロントグリルの特徴量を抽出する（ｓ２２）。ｓ２２でフロントグリルの特徴量を抽出する撮像画像は、ｓ２１で車両が撮像されていることを検出した撮像画像であってもよいし、ｓ２１で車両が撮像されていることを検出した撮像画像に時間的に連続する複数枚の撮像画像の中から、選択した撮像画像であってもよい。また、ｓ２２で抽出する特徴量は、上述したように、ナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、エンブレム等の位置関係や、これらの外形形状、さらには、フロントグリルの外形形状等である。また、画像処理部４は、この車両のナンバープレートに表記されているナンバープレート番号を認識する（ｓ２３）。

車両認識装置１は、ｓ２２で抽出した特徴量を、車両ＤＢ５ａに登録されている各車両の特徴量と照合する（ｓ２４）。車両認識装置１は、特徴量の類似度が予め定めた閾値を超えているものがなければ、車名を不明と判別する（ｓ２５、ｓ２８）。車両認識装置１は、ｓ２３で認識したナンバープレート番号を出力部７から出力し（ｓ２９）、ｓ２１に戻る。

一方、車両認識装置１は、特徴量の類似度が予め定めた閾値を超えているものがあれば、その中で類似度が最大であった特徴量に対応付けられている車両情報を車両ＤＢ５ａから読み出す（ｓ２５、ｓ２６）。そして、車両認識装置１は、ｓ２３で認識したナンバープレート番号と、ｓ２６で読み出した車両情報と、を出力部７から出力し（ｓ２７）、ｓ２１に戻る。

このように、この車両認識装置１は、車両のフロントグリルを人の顔とみなし、ナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、エンブレム等の相互の位置関係や、これらの外形形状等から特徴量を抽出する構成としたので、判別精度を向上させることができる。

したがって、駐車場の管理システムに適用した場合には、駐車されている車両を車名で管理することができる。また、時間帯による利用車両の変化等も得ることができ、利用効率の改善等にかかる対策も行える。また、道路を走行している車両を撮像しているカメラ１０の撮像画像を処理することにより、盗難車両や犯罪車両を効率的に発見することができる。

車両認識装置の主要部の構成を示すブロック図である。カメラの設置状態を示す図である。抽出する車両のフロントグリルの特徴量を説明する図である。車両データベースを示す図である。登録／削除処理を示すフローチャートである。判別処理を示すフローチャートである。

符号の説明

１−車両認識装置
２−制御部
３−画像入力部
４−画像処理部
５−記憶部
５ａ−車両データベース（車両ＤＢ）
６−操作部
７−出力部
１０−カメラ

Claims

撮像装置で撮像された撮像画像が入力される撮像画像入力手段と、
前記撮像画像入力手段に入力された撮像画像を処理し、この撮像画像に車両が撮像されているかどうかを検出する車両検出手段と、
前記車両検出手段が撮像画像に車両が撮像されていることを検出した場合、この車両のナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、およびエンブレムの相対的な位置関係、およびこれらの外形形状を含むフロントグリルの特徴量を抽出する特徴量抽出手段と、
車両の種類毎に、その車名と、その車両のナンバープレート、左右のヘッドライト、左右のフォグランプ、フロントスポイラー、およびエンブレムの相対的な位置関係、およびこれらの外形形状を含むフロントグリルの特徴量と、を対応付けて記憶する特徴量記憶手段と、
前記特徴量抽出手段が抽出したフロントグリルの特徴量を、前記特徴量記憶手段が車両の種類毎に記憶しているフロントグリルの特徴量と照合し、その類似度が最大で且つ予め定めた閾値を超えている車名を、前記車両検出手段が撮像画像に撮像されていることを検出した車両の車名であると判別する車名判別手段と、を備えた車両認識装置。
前記車両検出手段は、前記撮像画像入力手段に入力された撮像画像に対してナンバープレートが撮像されているかどうかを検出することにより、この撮像画像に車両が撮像されているかどうかを検出する手段である、請求項１に記載の車両認識装置。
前記特徴量抽出手段が特徴量を抽出した車両のナンバープレートに表記されているナンバープレート番号を認識する文字認識手段と、
前記車名判別手段が判別した車名と、前記文字認識手段が認識したナンバープレート番号と、を対応付けて出力する判別結果出力手段と、を備えた請求項１、または２に記載の車両認識装置。