JP3959537B2 - 車種判別装置 - Google Patents
車種判別装置 Download PDFInfo
- Publication number
- JP3959537B2 JP3959537B2 JP01587198A JP1587198A JP3959537B2 JP 3959537 B2 JP3959537 B2 JP 3959537B2 JP 01587198 A JP01587198 A JP 01587198A JP 1587198 A JP1587198 A JP 1587198A JP 3959537 B2 JP3959537 B2 JP 3959537B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- vehicle
- dictionary
- vehicle type
- license plate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
【発明の属する技術分野】
この発明は、車両の撮像された画像から車両の種別を判別する車種判別装置に関するものである。
【0002】
【従来の技術】
図16は、例えば特開昭61−176808に記載の従来の車種判別装置の概略構成を示すブロック図である。図において、1は画像信号をデジタル化して入力画像を作成する画像入力手段、101は入力画像からナンバープレートの位置を検出すると共に、ナンバープレート画像の文字を認識するナンバープレート認識手段、102は車幅を検出する車幅検知センサ、103はナンバープレート位置の検出結果及び車幅の検出結果に基づいて入力画像から車種を判別する車種判別手段、104はナンバープレートの文字の認識結果と車種判別手段103の車種判別結果から登録車両の照合検索を行う検索部である。より詳しくは、画像入力手段1は車両を撮像する撮像部とその撮像した画像を記憶するフレームメモリから構成され、ナンバープレート認識手段101はナンバープレート割出し部と文字割出部と文字認識部から構成され、車種判別手段103は特徴抽出部と照合部と辞書メモリから構成されている。
【0003】
次に動作を説明する。まず画像入力手段1がカメラ等から入力した信号をデジタル化して入力画像を作成し、フレームメモリに記憶する。次にナンバープレート認識手段101がフレームメモリに格納された入力画像からナンバープレートを検出してナンバープレート中の文字を認識する。さらに、車幅検知センサ102が走行する車両の車幅を検知する。車幅検知センサ102は、道路上の門構えに配設されたフォトダイオードアレイや道路上に敷設した圧力センサ等により構成される。
【0004】
そして、車種判別手段103が入力画像におけるナンバープレート以外の領域(処理領域)の特徴を抽出し、辞書メモリの内容と照合して車種を判別する。特徴抽出部では、車幅検知センサ102で得られた車幅情報と、ナンバープレート認識手段101で検出したナンバープレートの位置情報とをもとに処理領域を決定し、その処理領域を左右/上下に走査して黒白の変化点数、連続する黒点数及び白点数の分布をとり、特徴値を求める。照合部では、この特徴値を辞書メモリに格納されている車種毎の特徴辞書と比較照合し、最も合致する車種を判別結果とする。
【0005】
最後に検索部104がナンバープレート認識手段101で得られたナンバープレート文字の認識結果と、車種判別手段103で得られた車種判別結果とを使用し、予め補足するために登録されている車両と照合検索する。
【0006】
【発明が解決しようとする課題】
しかしながら従来の車種判別装置では、車幅情報とナンバープレートの位置情報に従って車種判別に用いる処理領域を決定するため、ナンバープレートが正しく検出できない場合は車種を判別できないという問題があった。さらに、専用の車幅検知センサが必要なため、システムが高価なものになるという問題があった。また、斜めに進入してきた車両を撮像した場合には、画像に歪み(回転)が発生し、処理領域の位置が望ましい位置からずれてしまうため、正しく車種判別できないという問題があった。さらに画像の歪みを回避するために画像の歪み具合に応じて処理領域の位置補正を行う場合にも車幅情報とナンバープレートの位置情報だけでは補正できないという問題があった。
【0007】
この発明は上記のような問題点を解決するためになされたもので、例えばナンバープレートのような車両の特定の構成要素が正しく検出できない場合でも精度良く車種判別できると共に、安価な装置で車種判別できる車種判別装置を実現することを目的とする。また、例えば、斜めに進入してきた車両を撮像し、画像に歪みがある場合でも精度良く車種を判別できる車種判別装置を実現することを目的とする。
【0008】
【課題を解決するための手段】
この発明に係る車種判別装置は、あらかじめ車両の構成要素の属性が格納された構成要素辞書と、その構成要素辞書を参照して構成要素の属性に基づいて車両が撮像されている入力画像から撮像車両の構成要素を検出する構成要素検出手段と、あらかじめ車両の構成要素の位置関係が格納された構成要素配置辞書と、その構成要素配置辞書を参照して構成要素の位置関係に基づいて構成要素検出手段が検出した撮像車両の構成要素の候補領域からその構成要素の種類を決定する構成要素決定手段と、あらかじめ車種毎の構成要素を判別するための車両の車種毎の構成要素の関連情報が格納された車両辞書と、構成要素決定手段が決定した構成要素と車両辞書とを照合して車種毎の構成要素の関連情報に基づいて撮像車両の種別を判別する車種判別手段とを備えるものである。
【0009】
また、次の発明に係る車種判別装置は、構成要素決定手段が構成要素配置辞書を参照して構成要素の種類を決定する際に、あらかじめ基準構成要素として定めた構成要素の位置に基づいて車両中心線を求めその車両中心線を用いるものである。
【0010】
また、次の発明に係る車種判別装置は、入力画像からナンバープレートを認識するナンバープレート認識手段を備え、そのナンバープレート認識手段の認識結果に応じて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定するものである。
【0011】
さらにまた、次の発明に係る車種判別装置は、ナンバープレート認識手段がナンバープレートの属性を認識するものである。
【0012】
さらにまた、次の発明に係る車種判別装置は、ナンバープレート認識手段がナンバープレートの車種コードを認識するものである。
【0013】
また、次の発明に係る車種判別装置は、入力画像から車体上のマークや文字を認識するマーク認識手段を備え、そのマーク認識手段の認識結果に応じて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定するものである。
【0014】
また、次の発明に係る車種判別装置は、入力画像からナンバープレートを認識するナンバープレート認識手段と、入力画像から車体上のマークや文字を認識するマーク認識手段とを備え、ナンバープレート認識手段及びマーク認識手段の認識結果に応じて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定するものである。
【0015】
【発明の実施の形態】
実施の形態1.
以下、この発明の実施の形態1を図を用いて説明する。図1は本実施の形態1の概略構成を示すブロック図である。図1において、1は車両を撮像すると共に撮像画像信号をデジタル化して入力画像を作成し車両の画像を入力する画像入力手段、2はあらかじめ車両の構成要素の属性が格納された構成要素辞書、3は構成要素辞書2を参照して構成要素の属性に基づいて画像入力手段1に記憶された入力画像から撮像車両の構成要素を検出する構成要素検出手段、4はあらかじめ車両の構成要素の位置関係が格納された構成要素配置辞書、5は構成要素配置辞書4を参照して構成要素の位置関係に基づいて構成要素検出手段3の検出結果である構成要素の候補領域から撮像車両の構成要素の種類を決定する構成要素決定手段、6はあらかじめ車種毎の構成要素を判別するための車種毎の構成要素の関連情報が格納された車両辞書、7は構成要素決定手段5の決定結果と車両辞書6とを照合して車種毎の構成要素の関連情報に基づいて撮像車両の種別を判別する車種判別手段である。
【0016】
次に動作を図1〜図3を用いて説明する。図2は本実施の形態の動作の流れを示すフローチャートである。図3は画像入力手段に記憶された入力画像であり、車両前面を撮像したものである。図4は入力画像からエッジ検出を行って作成したエッジ画像である。
【0017】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、画像入力手段1が画像入力をする(ステップS1)。従来例と同様に、例えば、カメラが車両の到来に応じて車両を撮像し、その入力信号をデジタル化して入力画像を作成してフレームメモリに記憶する。
【0018】
次に構成要素検出手段3は、構成要素辞書2を参照して車両の構成要素を検出する(ステップS2)。構成要素とは、車両画像を構成する個々の領域であり、本実施の形態では、フロントガラス、ヘッドライト、ウインカー、ナンバープレートの4種類を対象とする。
【0019】
構成要素検出においては、まず入力画像から構成要素の可能性のある候補領域を求める。例えば、「ピラミッド階層化高速ハフ変換を用いたナンバープレート領域抽出」(電子情報通信学会論文誌D、Vol.J70−D、No.7、pp.1383〜1389)の「3.前処理」に記載のように、入力画像をソーベル変換(Sobel変換)後2値化を行ってエッジ画像を作成し、エッジで囲まれた領域を構成要素の可能性のある候補領域とする。図4は図1の入力画像から作成したエッジ画像であり、構成要素の候補領域を示す図である。本実施の形態では、図4の8〜20が構成要素の候補領域として検出されたものとする。
【0020】
次に構成要素検出手段3は、構成要素辞書2を参照して構成要素の属性に基づいて各候補領域がどの構成要素となるか判定し、4種類のいずれかの構成要素と判定された候補領域にその構成要素を示すフラグを付加して構成要素の検出結果として出力する。構成要素辞書2には、構成要素毎に、各構成要素の属性、例えば、色、幅/高さの最大値と最小値が格納されている。構成要素検出手段3は、構成要素の可能性のある各候補領域の属性を構成要素辞書2内の属性と比較照合する。合致するものがあれば、その候補領域に対応する構成要素を示すフラグを付加して出力する。
【0021】
なお、本実施の形態では、一つの候補領域に複数の構成要素のフラグが付加されても良いものとする。また、ドアミラーのように車両によって色が異なる構成要素については、色属性による判定を行わなくても良い。例えば、構成要素辞書2内の色属性を「照合除外属性」としておき、その構成要素については色属性による判定を行わないようにする。その他の構成要素についても、その特徴に応じて特定の属性について照合除外としても良い。本実施の形態では、図4の候補領域のうち、9がフロントガラス、10と11がドアミラー、12と13がヘッドライト、17と18がウインカー、12と19がナンバープレートと判定されたものとする。
【0022】
次に構成要素決定手段5は、構成要素配置辞書4を参照して構成要素の位置関係に基づいて構成要素検出手段3で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する(ステップS3)。構成要素配置辞書4には車両の構成要素の位置関係を示す情報が格納されている。例えば、各構成要素毎に、他の構成要素との相対位置として、フロントガラスはヘッドライトよりも上にある、ナンバープレートはヘッドライトより下にあるという情報や、各構成要素間の画像上の距離の最大値/最小値が格納されている。構成要素決定手段5は、各構成要素の組み合わせについて構成要素配置辞書4の内容と比較照合して、車両構成要素の種類を決定する。
【0023】
本ステップが終了した時点で、各構成要素のフラグ(構成要素の種類を示すフラグ)は一つに決定される。例えば、本実施の形態では、図4の画像において構成要素検出手段3は12と19をナンバープレートとしたが、構成要素配置辞書4内の「ナンバープレートはヘッドライトより下にある」という情報により、本ステップでは19がナンバープレートであると決定される。
【0024】
最後に車種判別手段7は、構成要素決定手段5で決定した撮像車両の構成要素と車両辞書6とを照合して入力画像中の車両の種別を判別する(ステップS4)。車両辞書6には、車種毎の構成要素の関連情報、例えば、形状(丸い、四角など)や画像上の大きさ(幅、高さなど)、構成要素間の画像上の距離が格納されている。これを構成要素決定手段5で決定した構成要素と比較照合して最も合致した車種を判別結果とし、車種判別の動作を終了する。
【0025】
このように、画像入力手段1で車両の到来に応じて車両を撮像し、その入力信号をデジタル化して入力画像を作成してフレームメモリに記憶する。次に構成要素検出手段3で記憶された入力画像から色、幅/高さの最大値と最小値などの属性に基づいて、車両の構成要素の候補領域を検出する。さらに、構成要素決定手段5で構成要素間の相対位置や構成要素間の画像上の距離などの位置関係に基づいて、車両の構成要素の種類を決定する。最後に、決定した構成要素と車両辞書に格納された車種毎の構成要素の関連情報や画像上の大きさなどとを比較照合して、撮像車種を判別する。その後、例えば、判別した車両を車種名と共に表示画面上に表示することで、判別結果を確認できるようにする。
【0026】
以上のように、本実施の形態に係る車種判別装置によれば、車両の複数の構成要素の候補領域を検出し、それらの位置関係の情報に基づいて種類を決定した構成要素を用いて車種を判別することにより、車両の各構成要素を正しく検出でき、安価な装置で精度良く車種判別することができる。また、全く検出できない構成要素があったとしても、他の構成要素の情報から精度良く車種判別することができる。例えば、ナンバープレートのような特定の構成要素が検出できなくても他のヘッドライトやフロントガラスなどの情報から車種判別することができる。
【0027】
なお、実施の形態1では、入力画像を車両前面の画像としたが、車両が撮像されているものであれば良く、これに限定されるものではない。例えば、後面画像、側面画像、上面などでも、同様の効果を得られる。その場合構成要素に、リアウインドウ、テイルランプなどの車両のその他の構成要素を含めても良い。また、入力画像として複数の画像を用いても良い。例えば、入力画像として車両前面画像と側面画像を用いて車種判別しても良い。この場合、車種判別の処理時間は増加する可能性があるが、車種判別の精度は向上する。
【0028】
また、構成要素検出手段における構成要素候補領域の検出法として、エッジ画像を作成し、エッジで囲まれた領域を構成要素の候補領域として検出する場合について説明したが、これに限定されるものではない。入力画像から構成要素を検出できるものであれば別手法でも良く、同様の効果を得られる。また、複数の手法を用いたり、構成要素毎に異なる手法を用いても良い。
【0029】
また、車両の構成要素を、フロントガラス、ヘッドライト、ウインカー、ナンバープレートとする場合について説明したが、これ以外の、例えばフロントグリル、バンパー、大型貨物車両の運転席上部にある速度表示灯などを構成要素としても良く、同様の効果を得られる。また、より多くの構成要素を車種判別に用いることによって、さらに車種判別の精度を向上することができる。
【0030】
また、構成要素辞書に格納された構成要素の属性を、色、幅/高さの最大値と最小値とする場合について説明したが、これは他の属性または基準となる画像そのものを含めても良く、同様の効果を得られる。例えば、構成要素辞書にウインカーの基準となる画像を格納しておき、構成要素検出手段でそのウインカーの画像と入力画像から検出した各構成要素の候補領域とを比較照合し、構成要素を決定する。
【0031】
また、構成要素配置辞書の格納内容を、相対的な上下関係と各構成要素間の画像上の距離の最大値/最小値とする場合について説明したが、構成要素の位置関係を示すものであれば、別の項目、例えば左右の位置関係なども含めても良く、同様の効果を得られる。また、より多くの構成要素の位置関係が格納された構成要素配置辞書を用いることによって、さらに車種判別の精度を向上することができる。
【0032】
また、車両辞書の格納内容を、構成要素の形状や画像上の大きさ、構成要素間の画像上の距離とする場合について説明したが、これは他の項目または基準となる画像そのものを含めても良く、また検出する構成要素の情報だけでなく構成要素を基準にして設定した別領域の情報も含め、車種判別手段は直接入力画像を参照して比較照合するようにしても良い。
【0033】
また、車種判別する対象は、トラックや普通車といった粗いレベルでも、車両の通称名称や型式を含む細かなレベルでも良い。判別するレベルに応じて各辞書の内容を変更する、または各辞書の比較照合範囲を変更することにより、効率よく判別レベルに応じて車種判別することができる。
【0034】
実施の形態2.
以下、この発明の実施の形態2を図を用いて説明する。前述の実施の形態1と同様に、本実施の形態の概略構成を示すブロック図は図1である。
【0035】
本実施の形態の動作を図1及び図5〜図7を用いて説明する。図5は本実施の形態の動作の流れを示すフローチャートである。図6は画像入力手段により入力された入力画像であり、水平線に対して角度α斜めに進入して来た車両の前面を撮像したものである。図7は入力画像からエッジ検出を行って作成したエッジ画像である。
【0036】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、実施の形態1のステップS1〜S2と同様に、画像入力し(ステップT1)、構成要素を検出して(ステップT2)、車両の画像から構成要素を検出する。
【0037】
その後、構成要素決定手段5は、検出対象の構成要素のうち、あらかじめ基準構成要素と定めておいた構成要素の位置を基準として車両中心線を求める(ステップT3)。本実施の形態では、ヘッドライトを基準構成要素とする。図6の入力画像から作成したエッジ画像が図7であり、21と22がステップT2において構成要素検出手段3の検出したヘッドライトである。構成要素決定手段5は、ヘッドライト21、22の位置を基準として、入力画像における車両中心線を求める。図7の23が構成要素決定手段5で求めた車両中心線である。
【0038】
次に構成要素決定手段5は、車両中心線23の位置と角度に従って、構成要素検出手段3で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する(ステップT4)。本ステップの動作は実施の形態1のステップS3とほぼ同じであるが、本実施の形態では、構成要素配置辞書4の格納項目の一つにペア線対称フラグがあるものとする。ペア線対称フラグとは、当該構成要素が一つの車両に対して2個存在し、それが車両中心線に関して線対称の位置関係にあることを示すものである。例えば、ヘッドライト、ウインカー、ドアミラーが該当する。構成要素決定手段5は、ペア線対称フラグの付いている構成要素に対して、車両中心線に関して線対称の位置関係にあることも決定条件とする。また、入力画像における構成要素間の距離や方向は、車両中心線の方向が垂直になるように回転補正を行って求める。
【0039】
その後、実施の形態1と同様に、車種判別手段7が構成要素決定手段5の出力と車両辞書6とを照合して撮像車両の種別を判別し(ステップT5)、車種判別の動作を終了する。
【0040】
以上のように、本実施の形態に係る車種判別装置によれば、前述の効果に加え、車両の中心線を求めて、その車両中心線の位置と角度に従って車両の構成要素の種類を決定することにより、例えば、斜めに進入して来た車両を撮像し、画像に歪みがある場合でも精度良く車種判別できる。
【0041】
すなわち、例えば、車両中心線に関する位置関係を構成要素の決定条件に加えることにより、ウインカーなどのように車両中心に関して対称な構成要素の検出精度を向上することができると共に、車両中心線に基づいて回転補正を行って入力画像における構成要素間の距離を求めることにより、さらに車両の構成要素の検出精度を向上することができ、画像に歪みがある場合でも精度良く車種判別することができる。
【0042】
なお、実施の形態2では、車両中心線を用いて判定する構成要素を、ウインカーのように一つの車両に2個存在し、それが車両中心線に対して線対称の位置関係にあるものとしたが、これに限定されるものではなく、車両中心線に対して線対称の位置関係にあるものであれば良い。例えば、フロントグリルのように、一つの車両に1個しかなく自らが車両中心線に対して線対称のものを含めても良い。
【0043】
また、実施の形態1のように様々な形態に変形してもよく、変形に応じて各々前述の効果を得られる。例えば、入力画像として複数の画像を用いても良く、この場合、車種判別の処理時間は増加する可能性があるが、本実施の形態の効果に加え、さらに車種判別の精度が向上するという効果を得られる。
【0044】
実施の形態3.
以下、この発明の実施の形態3を図を用いて説明する。図8は本実施の形態の概略構成を示すブロック図である。図8において前述の実施の形態と同一のものは、同一符号を付して説明を省略する。24は画像入力手段1に記憶された入力画像からナンバープレートを認識するナンバープレート認識手段である。
【0045】
次に動作を図8〜図10を用いて説明する。図9は本実施の形態の動作の流れを示すフローチャートである。図10はナンバープレートの種類を示す略線図である。
【0046】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、実施の形態1のステップS1と同様に、画像を入力する(ステップU1)。
【0047】
次にナンバープレート認識手段24は、画像入力手段1に記憶された入力画像からナンバープレートを検出してナンバープレートの属性と文字を認識する(ステップU2)。ナンバープレートの検出と認識については、例えば「ナンバープレート認識装置の開発」(信学技報PRMU96−46、pp.65〜72)に記載の手法を用いる。ナンバープレートには、図10に示すように、大型車両用の大型プレートと、中型車両用の中型プレートがある。またナンバープレートの右上の数字は車種を示す車種コードである。ナンバープレート認識手段24は、ナンバープレートを検出し、ナンバープレートの属性(例えば、中型/大型プレートのどちらか)と車種コードの認識結果を出力する。
【0048】
次に構成要素検出手段3は、ナンバープレート認識手段24の認識結果に基づいて、構成要素辞書2を参照して撮像車両の構成要素を検出する(ステップU3)。本実施の形態では、構成要素辞書2の内容はナンバープレート属性及び車種コードに対応づけて格納されているものとする。例えば、中型で車種1桁目が3か5か7の構成要素、大型で車種1桁目が1か2の構成要素、というような構成で格納されているとする。構成要素検出手段3は、ナンバープレート認識手段24で認識したナンバープレートの属性と車種コードに合致する範囲に限定して構成要素辞書2を参照して撮像車両の構成要素の候補領域を検出する。それ以外は、実施の形態1のステップS2と同じである。
【0049】
次に構成要素決定手段5は、ナンバープレート認識手段24の認識結果に基づいて、構成要素配置辞書4を参照して構成要素検出手段3で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する(ステップU4)。本実施の形態では、構成要素配置辞書4も、構成要素辞書2と同様に、内容はナンバープレート属性及び車種コードに対応づけて格納されているものとする。構成要素決定手段5は、ナンバープレート認識手段24で認識したナンバープレートの属性と車種コードに合致する範囲に限定して構成要素配置辞書4を参照して車両構成要素の種類を決定する。それ以外は、実施の形態1のステップS3と同じである。
【0050】
その後、実施の形態1と同様の手順で、車種判別手段7が構成要素決定手段5で決定した撮像車両の構成要素と車両辞書6とを照合して撮像車両の種別を判別し(ステップU5)、車種判別の動作を終了する。
【0051】
以上のように、本実施の形態に係る車種判別装置によれば、前述の効果に加え、ナンバープレートの属性や車種コードの認識結果に基づいて構成要素辞書や構成要素配置辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【0052】
なお、実施の形態3では、ナンバープレートの属性と車種コードの認識結果に基づいて各辞書の参照範囲を限定する場合について説明したが、辞書の参照範囲を限定するものであればよく、これに限定されるものではない。例えば、ナンバープレートの属性のみで辞書の参照範囲を限定しても良い。この場合、車種コードを認識する必要がないので、より簡単な装置で、かつ、より高速に車種判別を実現できる。また、例えば、ナンバープレートの属性、車種コード及び色に基づいて辞書の参照範囲を限定しても良い。この場合、参照範囲をより狭く限定することができるため、さらに誤判別を低減することができる。
【0053】
また、構成要素辞書と構成要素配置辞書の参照範囲を限定する場合について説明したが、これに限定されるものではない。例えば、構成要素辞書のみの参照範囲を限定するようにしても良いし、車両辞書のみの参照範囲を限定するようにしても良い。また、全ての辞書の参照範囲を限定するようにしても良い。
【0054】
また、前述の実施の形態のように様々な形態に変形してもよく、変形に応じて各々前述の効果を得られる。例えば、入力画像として複数の画像を用いても良く、この場合、車種判別の処理時間は増加する可能性があるが、本実施の形態の効果に加え、さらに車種判別の精度が向上するという効果を得られる。
【0055】
実施の形態4.
以下、この発明の実施の形態4を図を用いて説明する。図11は本実施の形態の概略構成を示すブロック図である。図11において前述の実施の形態と同一のものは、同一符号を付して説明を省略する。25は画像入力手段1に記憶された入力画像から車体上のマークや文字を認識するマーク認識手段である。
【0056】
次に動作を図11〜図13を用いて説明する。図12は本実施の形態の動作の流れを示すフローチャートである。図13は車体上のマークや文字を示す略線図である。
【0057】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、実施の形態1のステップS1と同様に、画像を入力する(ステップV1)。
【0058】
次にマーク認識手段25は、画像入力手段1に記憶された入力画像から車体上のマークや文字を認識する(ステップV2)。図13においては、26が車体上のマーク、27が車体上の文字であるが、以降両者を含めてマークと呼ぶ。また、マークは一つであっても複数であっても良い。マークの認識については、例えば「情景画像からの文字パターン抽出と認識」(電子情報通信学会論文誌D、Vol.J71−D、No.6、pp.1037〜1047)に記載の文字抽出/認識法を用いる。マーク認識手段25は、入力画像から車体上のマークを検出し、マークの認識結果を出力する。
【0059】
次に構成要素検出手段3は、マーク認識手段25の認識結果に基づいて、構成要素辞書2を参照して撮像車両の構成要素を検出する(ステップV3)。本実施の形態では、構成要素辞書2の内容はマークと対応づけて格納されているものとする。構成要素検出手段3は、マーク認識手段25で認識したマークに合致する範囲に限定して構成要素辞書2を参照して撮像車両の構成要素の候補領域を検出する。それ以外は、実施の形態1のステップS2と同じである。
【0060】
次に構成要素決定手段5は、マーク認識手段25の認識結果に基づいて、構成要素配置辞書4を参照して構成要素検出手段3で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する(ステップV4)。本実施の形態では、構成要素配置辞書4も、構成要素辞書2と同様に、内容はマークに対応づけて格納されているものとする。構成要素決定手段5は、マーク認識手段25で認識したマークに合致する範囲に限定して構成要素配置辞書4を参照して撮像車両の構成要素の種類を決定する。それ以外は、実施の形態1のステップS3と同じである。
【0061】
その後、実施の形態1と同様の手順で、車種判別手段7が構成要素決定手段5で決定した車両構成要素と車両辞書6とを照合して撮像車両の種別を判別し(ステップV5)、車種判別の動作を終了する。
【0062】
以上のように、本実施の形態に係る車種判別装置によれば、前述の効果に加え、車体上のマークの認識結果に基づいて構成要素辞書や構成要素配置辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【0063】
なお、実施の形態4では、構成要素辞書と構成要素配置辞書の参照範囲を限定する場合について説明したが、これに限定されるものではない。例えば、構成要素辞書のみの参照範囲を限定するようにしても良いし、車両辞書のみの参照範囲を限定するようにしても良い。また、全ての辞書の参照範囲を限定するようにしても良い。
【0064】
また、前述の実施の形態のように様々な形態に変形してもよく、変形に応じて各々前述の効果を得られる。例えば、入力画像として複数の画像を用いても良く、この場合、車種判別の処理時間は増加する可能性があるが、本実施の形態の効果に加え、さらに車種判別の精度が向上するという効果を得られる。
【0065】
実施の形態5.
以下、この発明の実施の形態5を図を用いて説明する。図14は本実施の形態の概略構成を示すブロック図である。図14において前述の実施の形態と同一のものは、同一符号を付して説明を省略する。
【0066】
次に、動作を図14、図15を用いて説明する。図15は本実施の形態の動作の流れを示すフローチャートである。
【0067】
車種判別装置は、例えば、車両がカメラの撮像範囲内に到来したことを感知して動作がスタートする。まず、実施の形態1のステップS1と同様に、画像を入力する(ステップW1)。
【0068】
次にナンバープレート認識手段24が、実施の形態3と同様の手順でナンバープレートを検出して認識し(ステップW2)し、認識結果としてナンバープレートの属性と車種コードを出力する。また、マーク認識手段25が、実施の形態4と同様の手順で車体上のマークを検出して認識し(ステップW3)、車体上のマークを出力する。
【0069】
次に構成要素検出手段3は、ナンバープレート認識手段24及びマーク認識手段25の認識結果に基づいて、構成要素辞書2を参照して撮像車両の構成要素を検出する(ステップW4)。本実施の形態では、構成要素辞書2の内容はナンバープレート属性、車種コード及びマークと対応づけて格納されているものとする。構成要素検出手段3は、ナンバープレート認識手段24で認識した属性、車種コード及びマーク認識手段25で認識したマークに合致する範囲に限定して構成要素辞書2を参照して撮像車両の構成要素の候補領域を検出する。それ以外は、実施の形態1のステップS2と同じである。
【0070】
次に構成要素決定手段5は、ナンバープレート認識手段24及びマーク認識手段25の認識結果に基づいて、構成要素配置辞書4を参照して構成要素検出手段3で検出された構成要素の候補領域から撮像車両の構成要素の種類を決定する(ステップW5)。本実施の形態では、構成要素配置辞書4も、構成要素辞書2と同様に、内容はナンバープレート属性、車種コード及びマークに対応づけて格納されているものとする。構成要素決定手段5は、ナンバープレート認識手段24で認識した属性、車種コード及びマーク認識手段25で認識したマークに合致する範囲に限定して構成要素配置辞書4を参照して撮像車両の構成要素の種類を決定する。それ以外は、実施の形態1のステップS3と同じである。
【0071】
その後、実施の形態1と同様の手順で、車種判別手段7が構成要素決定手段5で決定した撮像車両の構成要素と車両辞書6とを照合して入力画像中の車両の種別を判別し(ステップW6)、車種判別の動作を終了する。
【0072】
以上のように、本実施の形態に係る車種判別装置によれば、前述の効果に加え、ナンバープレートの属性の認識結果、車種コードの認識結果及び車体上のマークの認識結果に基づいて構成要素辞書や構成要素配置辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別をさらに低減させることができる。また、車種判別の処理をさらに高速化することができる。
【0073】
なお、実施の形態5では、ナンバープレート認識手段がナンバープレートの属性と車種コードを認識する場合について説明したが、これに限定されるものではない。例えば、ナンバープレートの属性のみを認識しても良い。この場合、車種コードを認識する必要がないので、より簡単な装置で、かつ、より高速に車種判別を実現できる。また、例えば、ナンバープレートの属性、車種コード及び色を認識しても良い。この場合、参照範囲をより狭く限定することができるため、さらに誤判別を低減することができる。
【0074】
また、構成要素辞書と構成要素配置辞書の参照範囲を限定する場合について説明したが、これに限定されるものではない。例えば、構成要素辞書のみの参照範囲を限定するようにしても良いし、車両辞書のみの参照範囲を限定するようにしても良い。また、全ての辞書の参照範囲を限定するようにしても良い。
【0075】
また、前述の実施の形態のように様々な形態に変形してもよく、変形に応じて各々前述の効果を得られる。例えば、入力画像として複数の画像を用いても良く、この場合、車種判別の処理時間は増加する可能性があるが、本実施の形態の効果に加え、さらに車種判別の精度が向上するという効果を得られる。
【0076】
【発明の効果】
以上のように、この発明の車種判別装置によれば、車両の複数の構成要素の候補領域を検出し、それらの位置関係の情報に基づいて種類を決定した構成要素を用いて車種を判別することにより、車両の各構成要素を正しく検出でき、安価な装置で精度良く車種判別することができる。また、全く検出できない構成要素があったとしても、他の構成要素の情報から精度良く車種判別することができる。
【0077】
また、次の発明の車種判別装置によれば、前述の効果に加え、撮像車両の構成要素の種類を決定する際に、車両中心線を求め、その車両中心線を用いることにより、例えば、斜めに進入して来た車両を撮像し、画像に歪みがある場合でも精度良く車種判別できる。
【0078】
また、次の発明の車種判別装置によれば、前述の効果に加え、ナンバープレートを認識した認識結果に基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【0079】
さらにまた、次の発明の車種判別装置によれば、前述の効果に加え、ナンバープレートの属性を認識した認識結果に基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【0080】
さらにまた、次の発明の車種判別装置によれば、前述の効果に加え、ナンバープレートの車種コードを認識した認識結果に基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【0081】
また、次の発明の車種判別装置によれば、前述の効果に加え、車体上のマークや文字を認識した認識結果に基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【0082】
また、次の発明の車種判別装置によれば、前述の効果に加え、ナンバープレートを認識した認識結果と、車体上のマークや文字を認識した認識結果とに基づいて構成要素辞書、構成要素配置辞書及び又は車両辞書の参照範囲を限定することにより、実際とは異なる車種への誤判別を低減させることができる。また、車種判別の処理を高速化することができる。
【図面の簡単な説明】
【図1】 実施の形態1及び2の車種判別装置の概略構成を示すブロック図である。
【図2】 実施の形態1における動作の流れを示すフローチャートである。
【図3】 実施の形態1における入力画像を示す略線図である。
【図4】 実施の形態1におけるエッジ画像と構成要素の候補領域を示す略線図である。
【図5】 実施の形態2における動作の流れを示すフローチャートである。
【図6】 実施の形態2における入力画像を示す略線図である。
【図7】 実施の形態2におけるエッジ画像と基準構成要素と車両中心線を示す略線図である。
【図8】 実施の形態3の車種判別装置の概略構成を示すブロック図である。
【図9】 実施の形態3における動作の流れを示すフローチャートである。
【図10】 実施の形態3におけるナンバープレートの種別を説明するための略線図である。
【図11】 実施の形態4の車種判別装置の概略構成を示すブロック図である。
【図12】 実施の形態4における動作の流れを示すフローチャートである。
【図13】 実施の形態4におけるマークを説明するための略線図である。
【図14】 実施の形態5の車種判別装置の概略構成を示すブロック図である。
【図15】 実施の形態5における動作の流れを示すフローチャートである。
【図16】 従来の車種判別装置の概略構成を示すブロック図である。
【符号の説明】
1 画像入力手段 2 構成要素辞書
3 構成要素検出手段 4 構成要素配置辞書
5 構成要素決定手段 6 車両辞書
7 車種判別手段 24 ナンバープレート認識手段
25 マーク認識手段 101 ナンバープレート認識手段
102 車幅検知手段 103 車種判別手段
104 検索部
Claims (6)
- あらかじめ車両の構成要素の属性が格納された構成要素辞書と、当該構成要素辞書を参照して上記構成要素の属性に基づいて車両が撮像されている入力画像から撮像車両の構成要素を検出する構成要素検出手段と、あらかじめ上記車両の構成要素の位置関係が格納された構成要素配置辞書と、当該構成要素配置辞書を参照して上記構成要素の位置関係に基づいて上記構成要素検出手段が検出した上記撮像車両の構成要素の候補領域から当該構成要素の種類を決定する構成要素決定手段と、あらかじめ車種毎の上記構成要素を判別するための上記車両の車種毎の構成要素の関連情報が格納された車両辞書と、上記構成要素決定手段が決定した上記構成要素と上記車両辞書とを照合して上記車種毎の構成要素の関連情報に基づいて上記撮像車両の種別を判別する車種判別手段とを備え、
上記構成要素決定手段は、上記構成要素配置辞書を参照して上記構成要素の種類を決定する際に、あらかじめ基準構成要素として定めた上記構成要素の位置に基づいて車両中心線を求め当該車両中心線を用いることを特徴とする車種判別装置。 - 上記入力画像からナンバープレートを認識するナンバープレート認識手段を備え、当該ナンバープレート認識手段の認識結果に応じて上記構成要素辞書、上記構成要素配置辞書及び又は上記車両辞書の参照範囲を限定することを特徴とする請求項1記載の車種判別装置。
- 上記ナンバープレート認識手段は、ナンバープレートの属性を認識することを特徴とする請求項2記載の車種判別装置。
- 上記ナンバープレート認識手段は、ナンバープレートの車種コードを認識することを特徴とする請求項2記載の車種判別装置。
- 上記入力画像から車体上に付された標章であるマークの形状を認識するマーク認識手段を備え、当該マーク認識手段の認識結果に応じて上記構成要素辞書、上記構成要素配置辞書及び又は上記車両辞書の参照範囲を限定することを特徴とする請求項1記載の車種判別装置。
- 上記入力画像からナンバープレートを認識するナンバープレート認識手段と、上記入力画像から車体上に付された標章であるマークの形状を認識するマーク認識手段とを備え、上記ナンバープレート認識手段及び上記マーク認識手段の認識結果に応じて上記構成要素辞書、上記構成要素配置辞書及び又は上記車両辞書の参照範囲を限定することを特徴とする請求項1記載の車種判別装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01587198A JP3959537B2 (ja) | 1998-01-28 | 1998-01-28 | 車種判別装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP01587198A JP3959537B2 (ja) | 1998-01-28 | 1998-01-28 | 車種判別装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11213284A JPH11213284A (ja) | 1999-08-06 |
JP3959537B2 true JP3959537B2 (ja) | 2007-08-15 |
Family
ID=11900873
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP01587198A Expired - Fee Related JP3959537B2 (ja) | 1998-01-28 | 1998-01-28 | 車種判別装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3959537B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002269680A (ja) * | 2001-03-09 | 2002-09-20 | Mitsubishi Precision Co Ltd | 車両認識システム |
JP4855672B2 (ja) * | 2004-12-10 | 2012-01-18 | 富士通株式会社 | 特定部位抽出プログラム |
JP4268208B2 (ja) | 2005-02-03 | 2009-05-27 | 富士通株式会社 | 車両画像データ生成プログラムおよび車両画像データ生成装置 |
JP2007299144A (ja) * | 2006-04-28 | 2007-11-15 | Mitsubishi Heavy Ind Ltd | ロゴ判別装置および方法ならびにプログラム |
JP4895126B2 (ja) * | 2007-08-31 | 2012-03-14 | アイシン・エィ・ダブリュ株式会社 | 画像認識装置及びナビゲーション装置 |
JP5338255B2 (ja) * | 2008-10-23 | 2013-11-13 | オムロン株式会社 | 車両認識装置 |
JP5703864B2 (ja) * | 2011-03-14 | 2015-04-22 | 富士通株式会社 | 車両検出装置および車両検出方法並びに車両検出プログラム |
JP5835954B2 (ja) * | 2011-06-15 | 2015-12-24 | 三菱重工業株式会社 | 車両識別装置、車両識別方法、及びプログラム |
JP5974448B2 (ja) * | 2011-10-25 | 2016-08-23 | 富士通株式会社 | 車両情報登録方法、車両情報登録装置、及び車両情報登録プログラム |
US20180268252A1 (en) * | 2015-09-30 | 2018-09-20 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle model identification device, vehicle model identification system comprising same, and vehicle model identification method |
CN108885636A (zh) * | 2016-03-29 | 2018-11-23 | 松下知识产权经营株式会社 | 车型识别装置、车型识别系统以及车型识别方法 |
JP7298492B2 (ja) * | 2020-01-29 | 2023-06-27 | 株式会社Soken | 車両用処理装置 |
-
1998
- 1998-01-28 JP JP01587198A patent/JP3959537B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH11213284A (ja) | 1999-08-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8059868B2 (en) | License plate recognition apparatus, license plate recognition method, and computer-readable storage medium | |
US5805720A (en) | Facial image processing system | |
JP3959537B2 (ja) | 車種判別装置 | |
US9030558B2 (en) | Image processing method for a driver assistance system of a motor vehicle for detecting and classifying at least one portion of at least one predefined image element | |
US20050100192A1 (en) | Moving object detection using low illumination depth capable computer vision | |
US7561721B2 (en) | System and method for range measurement of a preceding vehicle | |
CN102956106A (zh) | 用于识别机动车辆以监测交通的方法与设备 | |
JP2006527427A (ja) | 車両から対象物を位置測定して追跡する方法および装置 | |
JP2013057992A (ja) | 車間距離算出装置およびそれを用いた車両制御システム | |
JP4864043B2 (ja) | 画像処理装置、方法及びプログラム | |
Maldonado-Bascon et al. | Traffic sign recognition system for inventory purposes | |
JP2010102466A (ja) | 車両認識装置 | |
JPH1186185A (ja) | 車種判別装置 | |
Nguwi et al. | Number plate recognition in noisy image | |
Chang et al. | Stereo-based object detection, classi? cation, and quantitative evaluation with automotive applications | |
JP2001256485A (ja) | 車種判別システム | |
JPH1166226A (ja) | 車両のナンバプレート認識装置 | |
JPS61176808A (ja) | 車輌識別装置 | |
JP2893814B2 (ja) | 車番自動読取装置におけるプレート切出し装置 | |
Huang et al. | A method of detecting and recognizing speed-limit signs | |
JP3777938B2 (ja) | 画像認識装置および画像認識方法 | |
JPH11353580A (ja) | 夜間における車種判別装置及び方法 | |
JPH08190690A (ja) | ナンバープレート決定方法 | |
CN113128264B (zh) | 一种车辆区域确定方法、装置及电子设备 | |
JP2910130B2 (ja) | 車番自動読取装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040621 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041224 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070301 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070430 |
|
LAPS | Cancellation because of no payment of annual fees |