JP3606076B2 - Vehicle imaging device - Google Patents

Vehicle imaging device Download PDF

Info

Publication number
JP3606076B2
JP3606076B2 JP35442898A JP35442898A JP3606076B2 JP 3606076 B2 JP3606076 B2 JP 3606076B2 JP 35442898 A JP35442898 A JP 35442898A JP 35442898 A JP35442898 A JP 35442898A JP 3606076 B2 JP3606076 B2 JP 3606076B2
Authority
JP
Japan
Prior art keywords
vehicle
image data
license plate
imaging
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP35442898A
Other languages
Japanese (ja)
Other versions
JP2000182182A (en
Inventor
丈嗣 内藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP35442898A priority Critical patent/JP3606076B2/en
Publication of JP2000182182A publication Critical patent/JP2000182182A/en
Application granted granted Critical
Publication of JP3606076B2 publication Critical patent/JP3606076B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Input (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、道路を走行する車両をその走行中に撮像する車両撮像装置にかかわり、特にはナンバープレートおよび運転者を含む範囲を確実に撮像できるようにする技術に関する。
【０００２】
【従来の技術】
従来より走行中の車両のナンバープレートを撮像する車両撮像装置が知られている。道路の上方または路側に設けたカメラを常時撮像状態にしておく。このカメラの視野内を通過する車両はカメラによって撮像されることになる。カメラによって撮像されたアナログの映像信号をＡ／Ｄ変換してデジタルの画像データとし、その画像データの１フレーム分をバッファメモリとしてのフレームメモリに格納する。フレームメモリをスキャンして水平走査方向の微分処理を行った後に２値化して垂直方向に沿ったエッジを検出する。水平走査方向での所定の幅内におけるエッジ数が所定範囲内のときにナンバープレート候補ラインとし、かつ、垂直走査方向でナンバープレート候補ラインが所定数連続するときにナンバープレート検出信号を出力する。ナンバープレート検出信号がないときは、その１フレーム分の画像データは使用せず、次の１フレーム分の画像データをフレームメモリに格納し、上記同様のエッジ検出からのナンバープレート認識処理を実行する。このような処理を繰り返し実行してゆく。ナンバープレート検出信号があったときは、そのタイミングでフレームメモリの画像データを通信回線を介してセンターに送信する。
【０００３】
ナンバープレートを認識するにはカメラによって撮像した画像データの分解能が一定以上に高くなっている必要がある。それに適したカメラの画角は一般的には比較的に狭いものであり、最終目的とするナンバープレートが映っている画像データは例えば図２１のようになり、ナンバープレートおよび運転者を含む範囲での撮像が行えない。
【０００４】
上記とは逆に、ナンバープレートおよび運転者を含む範囲を広角で車両を撮像する場合には、画像データの分解能が低くなりすぎるためにナンバープレート認識ができなくなってしまい、そうなると車両検出タイミングでの車両撮像という本来の目的そのものが達成できなくなる。すなわち、１台のカメラでナンバープレート認識することとナンバープレートおよび運転者を含む範囲で車両を撮像することとを両立させることができないのである。
【０００５】
近時においては運転者・ナンバープレートを一つにまとめた状態での撮像の実現が要望されるようになってきた。そこで、本発明者は当初、２台のカメラを用いることを考えた。以下、図１６を用いて説明する。車両１００のナンバープレート１０１の認識を目的とする分解能が高く画角が小さい車両番号認識用カメラ１と、ナンバープレート１０１および運転者２００を含む範囲で車両の正面部画像を撮像することを目的とする車両正面部撮像用カメラ２との２台のカメラを路上に配置する。車両正面部撮像用カメラ２はその目的から俯角が車両番号認識用カメラ１よりも浅くなるように設けられる。車両番号認識用カメラ１はナンバープレートを認識するものであり、車両正面部撮像用カメラ２はそれが撮像する車両１００の正面部画像にナンバープレート１０１も含むものであるので、両カメラ１，２の視野はナンバープレート１０１の位置を基準に重なるようにする。車両番号認識用カメラ１は常時撮像状態にあるのに対して車両正面部撮像用カメラ２は常時は非撮像のインアクティブ状態にある。車両番号認識用カメラ１で撮像した画像データに基づいてナンバープレート認識を行い、ナンバープレート検出信号が出力されたタイミングで車両正面部撮像用カメラ２のシャッタを切って車両の正面部画像を撮像し、その画像データをセンターに送信する。本発明者は、これによって、運転者・ナンバープレートを一つにまとめた状態の車両の正面部画像を取得することができるはずであると考えたのである。
【０００６】
【発明が解決しようとする課題】
しかし、さらに深く検討すると、上記した先行提案の技術には次のような問題点があることが判明した。車両番号認識用カメラ１と車両正面部撮像用カメラ２との間に同期がとられていない。したがって、全く同じ仕様の車両撮像装置であっても装置ごとに正面部画像の撮像条件が異なってしまったり、同じ装置であっても時間経過とともに正面部画像の撮像条件が異なってしまう。このことを図１７、図１８、図１９を用いて説明する。
【０００７】
図１７（ａ）は車両番号認識用カメラ１で撮像されＡ／Ｄ変換された画像データを示す。Ｖｓｙｎｃ１ は垂直同期信号、ＤＶａ（ｔ０）やＤＶａ（ｔ１）はそれぞれ時刻ｔ０，ｔ１における１フレーム分の画像データ、Ｖｎ（ｔ０）は画像データＤＶａ（ｔ０）に含まれておりエッジ検出からのナンバープレート認識処理により認識されたナンバープレート画像データ領域である。ナンバープレート認識がなされると次の垂直同期信号Ｖｓｙｎｃ１ の直前にナンバープレート検出信号をトリガ信号（シャッタ信号）として車両正面部撮像用カメラ２に送出する。
【０００８】
図１７（ｂ），（ｃ），（ｄ）は車両正面部撮像用カメラ２で撮像した映像信号を示す。図１７（ｂ）はその垂直同期信号Ｖｓｙｎｃ２ が偶然に車両番号認識用カメラ１の垂直同期信号Ｖｓｙｎｃ１ と同じタイミングとなっている場合を示す。ナンバープレート検出信号をシャッタ信号として入力した車両正面部撮像用カメラ２は１フレーム周期での時刻ｔ０の次の時刻ｔ１において画像データＶＤｂ（ｔ１）を取得する。
【０００９】
図１８は車両１００と車両番号認識用カメラ１の視野Ｙａと車両正面部撮像用カメラ２の視野Ｙｂとの関係を模擬的に示している。この図の見方は次のとおりである。二点鎖線で表す車両番号認識用カメラ１による視野Ｙａにおいて時刻ｔ０にナンバープレート１０１が視野Ｙａ（ｔ０）の所定の位置（画面の上から１／３当たりの部位）に来たときにナンバープレート検出信号が出力される。このときのナンバープレート１０１は図１７（ａ）におけるナンバープレート画像データ領域Ｖｎ（ｔ０）に対応している。同じ時刻ｔ０における車両正面部撮像用カメラ２の視野Ｙｂ（ｔ０）を太い破線で表している。もっともこの時刻ｔ０では車両正面部撮像用カメラ２はまだナンバープレート検出信号を受け取っていないので撮像は行われない。太い実線で示す視野Ｙｂ（ｔ１）は１フレーム周期での時刻ｔ０の次の時刻ｔ１における車両１００に対する相対的な車両正面部撮像用カメラ２の視野を表している。実際には視野Ｙｂが破線状態から実線状態へ変位することはないのであるが、車両１００が仮に動かないとした場合の車両１００に対する視野Ｙｂの相対的な動きを示している。
【００１０】
図１８において時刻ｔ１の太い実線で示す視野Ｙｂ（ｔ１）で車両正面部撮像用カメラ２は入力したナンバープレート検出信号に基づいて撮像を行う。この視野Ｙｂ（ｔ１）で撮像された１フレーム分の画像データＶＤｂ（ｔ１）には、ナンバープレート１０１および運転者２００を含む範囲が撮像されており、バンパー・ボンネット・ヘッドライト・外郭形状なども映っていることから車種まで分かるようになっている。すなわち、車両正面部撮像用カメラ２による時刻ｔ１での視野Ｙｂ（ｔ１）は運転者・ナンバープレートを一つにまとめた状態での理想的な撮像状態を具現するためにちょうど良いタイミングに対応させて定めてある。この時刻ｔ１での視野Ｙｂ（ｔ１）の撮像状況を取り出して図１９（ａ）に示す。
【００１１】
図１７（ｂ）においは車両番号認識用カメラ１の垂直同期信号Ｖｓｙｎｃ１ と車両正面部撮像用カメラ２の垂直同期信号Ｖｓｙｎｃ２ とが偶然に同期しタイミングがジャストに一致しているものとみなしている。１フレームは１秒間に３０枚相当であるから、ビデオレートである垂直周期τｖは３３．３ｍｓｅｃとなる。したがって、図１８において１フレーム周期での時刻ｔ０での視野Ｙｂ（ｔ０）と時刻ｔ１での視野Ｙｂ（ｔ１）との間には時間間隔で１垂直周期分τｖ＝３３．３ｍｓｅｃの差がある。標準走行速度を６０ｋｍ／ｈとすると、秒速では１６．７ｍ／ｓｅｃであり、３３．３ｍｓｅｃ間には５５．６ｃｍだけ車両１００が前進していることに相当する。図１７（ｂ）の画像データＶＤｂ（ｔ１）にハッチングを施してあるのはそれが撮像され送信されることを意味している。この画像データＶＤｂ（ｔ１）は時刻ｔ０での車両番号認識用カメラ１による画像データＶＤａ（ｔ０）より１垂直周期分τｖ＝３３．３ｍｓｅｃだけ遅れている。
【００１２】
図１７（ｃ）は車両正面部撮像用カメラ２の垂直同期信号Ｖｓｙｎｃ２ が車両番号認識用カメラ１の垂直同期信号Ｖｓｙｎｃ１ のちょうど中間のタイミングとなっている場合を示す。つまり垂直周期τｖ＝３３．３ｍｓｅｃの２分の１の１６．７ｍｓｅｃのずれをもっている場合を示す。ハッチングを施した１フレーム周期での時刻ｔ１′での画像データＶＤｂ（ｔ１′）は時刻ｔ０での車両番号認識用カメラ１による画像データＶＤａ（ｔ０）に対して５０ｍｓｅｃ（＝３３．３ｍｓｅｃ＋１６．７ｍｓｅｃ）だけ遅れている。これに対応した撮像状況を図１９（ｂ）に示す。標準走行速度６０ｋｍ／ｈ（＝１６．７ｍ／ｓｅｃ）では時刻ｔ０より８３．５ｃｍだけ車両が前進していることに相当し、これは図１９（ａ）に対して２７．９ｃｍ（＝８３．５−５５．６）だけ車両が前進していることを意味している。図１９（ｂ）の撮像状態は図１９（ａ）の撮像状態に比べて車両の像が少し大きくなっている。この撮像状態でもナンバープレート１０１および運転者２００を含む範囲が撮像されている。
【００１３】
図１７（ｄ）は車両正面部撮像用カメラ２の垂直同期信号Ｖｓｙｎｃ２ が車両番号認識用カメラ１の垂直同期信号Ｖｓｙｎｃ１ よりわずかに前側にずれている場合を示す。そのずれを１ｍｓｅｃとする。後ろ側に対しては３２．３ｍｓｅｃ（＝３３．３−１ｍｓｅｃ）ずれている。時刻ｔ０″での画像データＶＤｂ（ｔ０″） の垂直同期信号Ｖｓｙｎｃ２ は車両番号認識用カメラ１による時刻ｔ０での画像データＶＤａ（ｔ０）の終端の垂直同期信号Ｖｓｙｎｃ１ よりも前にある。このとき車両正面部撮像用カメラ２はまだナンバープレート検出信号を受け取っていないためにこの画像データＶＤｂ（ｔ０″） は撮像されない。１フレーム分次のハッチングを施した時刻ｔ１″での画像データＶＤｂ（ｔ１″） が撮像され送信される。この時刻ｔ１″での画像データＶＤｂ（ｔ１″） は時刻ｔ０での車両番号認識用カメラ１による画像データＶＤａ（ｔ０）に対して６５．６ｍｓｅｃ（＝３３．３ｍｓｅｃ×２−１ｍｓｅｃ）だけ遅れている。これに対応した撮像状況を図１９（ｃ）に示す。標準走行速度６０ｋｍ／ｈ（＝１６．７ｍ／ｓｅｃ）では時刻ｔ０より１０９．５ｃｍだけ車両が前進していることに相当し、これは図１９（ａ）に対して５３．９ｃｍ（＝１０９．５−５５．６）だけ車両が前進していることを意味している。図１９（ｃ）の撮像状態は図１９（ａ）の撮像状態に比べて車両の像がかなり大きくなっているが、この撮像状態でも一応ナンバープレート１０１および運転者２００を含む範囲が撮像されている。
【００１４】
以上のように、標準走行速度（時速６０ｋｍ）での撮像では、２つのカメラの垂直同期信号Ｖｓｙｎｃ１ ，Ｖｓｙｎｃ２ のタイミングのずれによって、ナンバープレート検出信号をトリガ信号として車両正面部撮像用カメラ２によって得られた車両正面部画像のタイミングはまちまちとなるが、走行速度が比較的低速であるために、そのタイミングのずれは比較的に小さくなっている。
【００１５】
しかしながら、車両１００の走行速度が速くなるに従って車両正面部画像の不適格性が増大していく。これを図２０を用いて説明する。走行速度が１２０ｋｍ／ｈ（＝３３．３ｍ／ｓｅｃ）であるとする。図２０（ａ）は図１９（ａ）と同じ条件としている。これは図１７（ｂ）に対応している。２つのカメラの垂直同期信号Ｖｓｙｎｃ１ ，Ｖｓｙｎｃ２ が偶然にタイミングが一致している場合である。
【００１６】
図２０（ｂ）は図１７（ｃ）に対応している。垂直同期信号Ｖｓｙｎｃ２ は垂直同期信号Ｖｓｙｎｃ１ より１６．７ｍｓｅｃずれている。図２０（ａ）に対して５５．６ｃｍだけ車両が前進している。走行速度が速すぎるため、この撮像状態ではすでにナンバープレート１０１が欠けている。
【００１７】
図２０（ｃ）は図１７（ｄ）に対応している。垂直同期信号Ｖｓｙｎｃ２ は垂直同期信号Ｖｓｙｎｃ１ より３２．３ｍｓｅｃずれ、撮像タイミングは６５．６ｍｓｅｃ（＝３３．３＋３２．３）だけずれている。図２０（ａ）に対して１０７．５ｃｍだけ車両が前進している。走行速度が速いので前進量も多くなっている。車種についての情報が大幅に不足している。
【００１８】
本発明は上記した課題の解決を図ることを目的としている。
【００１９】
【課題を解決するための手段】
本発明にかかわる請求項１の車両撮像装置は、常時撮像状態でありプログレッシブ方式で道路を走行する車両のナンバープレートを撮像するために必要な解像度と画角を備えて設置される車両番号認識用撮像手段と、
この車両番号認識用撮像手段と視野が一部重なる状態で、プログレッシブ方式で運転者とナンバープレートとを含む車両の正面部を撮像するために必要な解像度と画角を備えて設置される車両正面部撮像手段と、 前記車両番号認識用撮像手段による画像データからナンバープレートを検出する手段と、ナンバープレート検出信号の入力のたびに前記車両正面部撮像手段を駆動する手段と、前記車両番号認識用撮像手段と車両正面部撮像手段とに対して共通の同期信号を与えるタイミング手段とを備え、さらに前記車両正面部撮像手段を駆動して得られた車両正面部画像データを順次に格納する一時記憶手段と、ナンバープレート検出信号がなくなることに基づく車両通過済み信号を入力したときに前記一時記憶手段から所要の車両正面部画像データを出力する画像出力手段とを備えている。ナンバープレート検出信号がなくなることに基づく車両通過済み信号のタイミングは共通の同期信号に対して常に一定の関係をもつから、車両走行速度のいかんにかかわらず使用することとなる出力すべき画像データのタイミングが常に一定となり、ナンバープレートおよび運転者を含む範囲での車両の撮像を確実なものとする。
【００２１】
本発明にかかわる請求項２の車両撮像装置は、上記請求項１において、画像出力手段は車両通過済み信号を入力したタイミングの直前の車両正面部画像データを出力するものに構成されている。車両走行速度のいかんにかかわらず出力すべき画像データのタイミングが常に一定となり、ナンバープレートおよび運転者を含む範囲での車両の撮像を確実なものとする。
【００２２】
本発明にかかわる請求項３の車両撮像装置は、上記請求項１において、画像出力手段は一時記憶手段における最新と最古の間の中位の車両正面部画像データを出力するものに構成されている。同様に、車両走行速度のいかんにかかわらず出力すべき画像データのタイミングが常に一定となり、ナンバープレートおよび運転者を含む範囲での車両の撮像を確実なものとする。
【００２３】
本発明にかかわる請求項４の車両撮像装置は、上記請求項１において、画像出力手段が一時記憶手段における車両正面部画像データにおいて画面の下辺部の路面を検出する手段を有し、検出した路面領域面積が所定面積範囲にあるときの車両正面部画像データを出力するものに構成されている。同様に、車両走行速度のいかんにかかわらず出力すべき画像データのタイミングが常に一定となり、ナンバープレートおよび運転者を含む範囲での車両の撮像を確実なものとする。出力すべき画像データにおいて車両の手前下方に路面があるので、ナンバープレートおよび運転者を含む範囲での車両の撮像が人間の目視確認にとって好都合なレイアウトとなる。
【００２４】
本発明にかかわる請求項５の車両撮像装置は、上記請求項１〜４において、ナンバープレートの検出に基づいて車両番号認識用撮像手段による画像データから車両番号データを抽出する手段と、その車両番号データを格納する手段と、出力すべき画像データに車両番号データを重畳する手段とを備えている。出力すべき画像データに文字データとしての車両番号データが重畳されているので、後処理に便利である。
【００２５】
【発明の実施の形態】
以下、本発明にかかわる車両撮像装置の実施の形態を図面に基づいて詳細に説明する。
【００２６】
〔実施の形態１〕
図１は実施の形態１の車両撮像装置の電気的構成を示すブロック図である。図１において符号の１１は車両番号認識用撮像手段としての車両番号認識用カメラ、１２は第１のＡ／Ｄ変換器、１３は第１のビデオコントローラ、１４は一時記憶手段としての第１のＶＲＡＭ（ビデオＲＡＭ）、１５は第１の演算処理手段としての第１のマイクロプロセッサ、２１は車両正面部撮像手段としての車両正面部撮像用カメラ、２２は第２のＡ／Ｄ変換器、２３は第２のビデオコントローラ、２４は一時記憶手段としての第２のＶＲＡＭ、２８は第２の演算処理手段としての第２のマイクロプロセッサ、３１はタイミング手段としてのタイミング信号発生回路、４１は出力用の第３のビデオコントローラ、４２は画像合成回路、４３は画像圧縮回路、４４はＤ／Ａ変換器、４５は変調回路、４６は送信回路である。これら各構成要素は図示のとおり結線されている。車両番号認識用カメラ１１は高解像度で画角の狭いプログレッシブ（ノンインターレース（順次走査））方式のモノクロカメラであり、道路の上方または路側において進行してくる車両の正面（前面）のナンバープレートを撮像するのに適した俯角で設置され、常時撮像状態におかれるものである。第１のＡ／Ｄ変換器１２は車両番号認識用カメラ１１によって撮像されたアナログの映像信号をデジタルの画像データに変換するものである。第１のビデオコントローラ１３は第１のＡ／Ｄ変換器１２から入力した１フレーム分の画像データを第１のマイクロプロセッサ１５の制御のもとで第１のＶＲＡＭ１４に対して書き込みを行ったり、データの消去を行ったりするものである。第１のマイクロプロセッサ１５は主として車両のナンバープレートの検出を行うものであり、第１のＶＲＡＭ１４に格納された１フレーム分の画像データを順次にスキャンして水平走査方向の微分処理を行った後に２値化して垂直方向に沿ったエッジを検出し、水平走査方向での所定の幅内におけるエッジ数が所定範囲内のときにナンバープレート候補ラインとし、かつ、垂直走査方向でナンバープレート候補ラインが所定数連続するときにナンバープレート検出信号Ｓｎを第２のマイクロプロセッサ２８に対して出力するとともに、その検出したナンバープレート領域の画像データに対する文字認識を行って車両番号データＤｎを内部のＲＡＭ（ランダムアクセスメモリ）に格納するようになっている。車両正面部撮像用カメラ２１は車両番号認識用カメラ１１に比べて解像度は低いが画角がより広くて運転者・ナンバープレートを一つにまとめた状態での車両のカラー撮像が可能なプログレッシブ方式のカラーカメラであり、道路の上方または路側において進行してくる車両の正面部を撮像するのに適した俯角で設置されている。その俯角は車両番号認識用カメラ１１よりも浅くなっている。車両正面部撮像用カメラ２１の視野は車両番号認識用カメラ１１の視野と一部重なっている。この車両正面部撮像用カメラ２１は第１のマイクロプロセッサ１５からのナンバープレート検出信号Ｓｎに基づいた第２のマイクロプロセッサ２８からの撮像開始指令であるトリガ信号Ｓｔｒｇ によって撮像開始状態にされるものである。第２のＡ／Ｄ変換器２２はＲ，Ｇ，Ｂの３つのＡ／Ｄ変換器２２ａ，２２ｂ，２２ｃからなり、それぞれは車両正面部撮像用カメラ２１によって撮像されたＲ，Ｇ，Ｂのアナログの映像信号を個別にデジタルの画像データに変換するものである。第２のビデオコントローラ２３は第２のＡ／Ｄ変換器２２から入力した１フレーム分のＲ，Ｇ，Ｂの画像データを第２のマイクロプロセッサ２８の制御のもとで第２のＶＲＡＭ２４に対して書き込みを行うものである。第２のＶＲＡＭ２４はＲ，Ｇ，Ｂ用の３つのリングバッファメモリ２５，２６，２７を備えており、各リングバッファメモリ２５，２６，２７はそれぞれ、＃１から＃８までの８つの１フレーム分のフレームバッファメモリ２５（＃１）〜２５（＃８），２６（＃１）〜２６（＃８），２７（＃１）〜２７（＃８）からなっている。出力用の第３のビデオコントローラ４１は第１および第２のマイクロプロセッサ１５，２８によって制御され、第１のマイクロプロセッサ１５のＲＡＭからの車両番号データＤｎの読み出しとリングバッファメモリ２５，２６，２７における各８つのうちのいずれか１つのフレームバッファメモリ２５＃（＃ｉ），２６（＃ｉ），２７（＃ｉ）からのナンバープレートおよび運転者を含む範囲のＲ，Ｇ，Ｂ各１フレーム分の画像データＤｒ，Ｄｇ，Ｄｂの読み出しの制御を行うものである。画像合成回路４２はフレームバッファメモリ２５（＃ｉ），２６（＃ｉ），２７（＃ｉ）からのＲ，Ｇ，Ｂ各１フレーム分の画像データを合成してカラー画像データを生成するとともに第１のマイクロプロセッサ１５から読み出した車両番号データＤｎをスーパーインポーズするものである。このように合成された画像データは運転者・ナンバープレート・車両番号を一つにまとめた状態の画像データとなっている。画像圧縮回路４３はＭＰＥＧ等の手法による画像圧縮を行うものであり、Ｄ／Ａ変換器４４は画像圧縮された画像データをアナログ映像信号に変換するものであり、変調回路４５はアナログ映像信号を所要の搬送周波数で変調するものであり、送信回路４６は変調信号を電話回線などの通信回線４７を介してセンターに送信するものである。
【００２７】
車両番号認識用カメラ１１の垂直走査周波数と車両正面部撮像用カメラ２１の垂直走査周波数とは同じであり、プログレッシブスキャンで３０Ｈｚとする。この場合のビデオレートは３３．３ｍｓｅｃとなる（１０００÷３０≒３３．３）。タイミング信号発生回路３１は車両番号認識用カメラ１１と車両正面部撮像用カメラ２１との２つのカメラを外部同期させるものであり、両カメラ１１，２１に対して共通のタイミング信号Ｓｔを送出し、それら両カメラ１１，２１を同期制御する。共通のタイミング信号Ｓｔは水平駆動信号ＨＤと垂直駆動信号ＶＤと水平帰線消去信号ＨＢＬと垂直帰線消去信号ＶＢＬと水平同期信号ＨＳと垂直同期信号ＶＳとバーストフラグＢＦなどである。
【００２８】
次に、上記のように構成された実施の形態１の車両撮像装置の動作を説明する。車両番号認識用カメラ１１および第１のＡ／Ｄ変換器１２は常時動作状態にあり、車両番号認識用カメラ１１で撮像して得られた道路状況のアナログ映像信号が第１のＡ／Ｄ変換器１２によりデジタルの画像データに変換される。１フレーム分の画像データが第１のマイクロプロセッサ１５により制御された第１のビデオコントローラ１３によって第１のＶＲＡＭ１４に書き込まれる。第１のマイクロプロセッサ１５は第１のＶＲＡＭ１４に格納された１フレーム分の画像データを順次にスキャンして水平走査方向の微分処理を行った後に２値化して垂直方向に沿ったエッジを検出し、水平走査方向での所定の幅内におけるエッジ数が所定範囲内のときにナンバープレート候補ラインとし、かつ、垂直走査方向でナンバープレート候補ラインが所定数連続するときにナンバープレート検出信号Ｓｎを第２のマイクロプロセッサ２８に対して出力する。また第１のマイクロプロセッサ１５は検出したナンバープレート領域の画像データに対する文字認識を行って車両番号データＤｎを取得し、これを内部のＲＡＭに格納する。
【００２９】
カラーの車両正面部撮像用カメラ２１は常時撮像状態にあるが第２のＡ／Ｄ変換器２２、第２のビデオコントローラ２３は常時はインアクティブ状態にある。第２のマイクロプロセッサ２８は第１のマイクロプロセッサ１５からナンバープレート検出信号Ｓｎを入力すると、車両正面部撮像用カメラ２１と第２のＡ／Ｄ変換器２２と第２のビデオコントローラ２３とに対してナンバープレート検出ありを意味するトリガ信号Ｓｔｒｇ を与える。これにより、Ｒ，Ｇ，ＢそれぞれのＡ／Ｄ変換器２２ａ，２２ｂ，２２ｃが車両正面部撮像用カメラ２１からのＲ，Ｇ，Ｂの映像信号に対するＡ／Ｄ変換を開始する。このＡ／Ｄ変換の対象となる映像信号はナンバープレートを含む車両正面部の映像信号であり、このときなるべくナンバープレートおよび運転者を含む範囲の映像信号となるように車両正面部撮像用カメラ２１の設置条件（高さ、画角、俯角など）が定められている。Ａ／Ｄ変換された１フレーム分のＲ，Ｇ，Ｂの各デジタルの画像データが第２のマイクロプロセッサ２８により制御された第２のビデオコントローラ２３によって第２のＶＲＡＭ２４におけるリングバッファメモリ２５，２６，２７におけるいずれか１つの同一順位のフレームバッファメモリ２５（＃ｉ），２６（＃ｉ），２７（＃ｉ）に書き込まれる。
【００３０】
タイミング信号発生回路３１は車両番号認識用カメラ１１と車両正面部撮像用カメラ２１に対して共通の垂直同期信号・水平同期信号を含むタイミング信号Ｓｔを与える。同様に、第１のＡ／Ｄ変換器１２と第２のＡ／Ｄ変換器２２（Ａ／Ｄ変換器２２ａ，２２ｂ，２２ｃ）に対しても共通のタイミング信号Ｓｔを与え、第１のビデオコントローラ１３と第２のビデオコントローラ２３に対しても共通のタイミング信号Ｓｔを与える。さらに、第１のマイクロプロセッサ１５と第２のマイクロプロセッサ２８に対しても共通の基準のクロック信号を与える。第１のＶＲＡＭ１４に格納される画像データと第２のＶＲＡＭ２４に格納される画像データはジャストに同期することになる。その様子を図２に示す。
【００３１】
図２（ａ）は車両番号認識用カメラ１１で撮像されＡ／Ｄ変換された画像データを示す。Ｖｓｙｎｃ１ はタイミング信号発生回路３１から与えられた垂直同期信号、ＤＶａ（ｔ０），ＤＶａ（ｔ１）…はそれぞれ１フレーム周期での時刻ｔ０，ｔ１…における１フレーム分の画像データである。Ｖｎ（ｔ０），Ｖｎ（ｔ１）…は画像データＤＶａ（ｔ０），ＤＶａ（ｔ１）…に含まれておりエッジ検出からのナンバープレート認識処理により認識されたナンバープレート画像データ領域である。１フレーム周期での時刻ｔ０の画像データＤＶａ（ｔ０）において初めてナンバープレート画像データ領域Ｖｎ（ｔ０）が含まれるようになったとする。ナンバープレート認識がなされると次の垂直同期信号Ｖｓｙｎｃ１ の直前に、図２（ｂ）に示すようにナンバープレート検出信号Ｓｎ（ｔ０）が第１のマイクロプロセッサ１５から第２のマイクロプロセッサ２８に出力される。これに基づいて第２のマイクロプロセッサ２８は図２（ｄ）に示す次のフレームのためのトリガ信号Ｓｔｒｇ（ｔ１） を出力する。
【００３２】
図２（ｅ）は車両正面部撮像用カメラ２１で撮像されトリガ信号Ｓｔｒｇ（ｔ１） ，Ｓｔｒｇ （ｔ２）…の入力によって駆動された第２のＡ／Ｄ変換器２２によってＡ／Ｄ変換された画像データを示す。Ｖｓｙｎｃ２ は垂直同期信号、ＤＶｂ（ｔ１），ＤＶｂ（ｔ２）…はそれぞれ時刻ｔ１，ｔ２…における１フレーム分の画像データである。車両正面部撮像用カメラ２１の垂直同期信号Ｖｓｙｎｃ２ はタイミング信号発生回路３１から与えられたものであって車両番号認識用カメラ１１の垂直同期信号Ｖｓｙｎｃ１ と全く同じものである。両垂直同期信号Ｖｓｙｎｃ１ ，Ｖｓｙｎｃ２ はタイミング信号発生回路３１における発生源が同一であり、常に完全にジャストに同期している。全く同じものであことから、Ｖｓｙｎｃ０と共通の符号を用い、共通垂直同期信号Ｖｓｙｎｃ０と記載する。Ａ／Ｄ変換され第２のＶＲＡＭ２４に格納される画像データＤＶｂ（ｔ１），ＤＶｂ（ｔ２）…はナンバープレートおよび運転者を含む範囲の車両正面部画像となる。車両番号認識用カメラ１１による時刻ｔ０の画像データＤＶａ（ｔ０）にナンバープレート画像データ領域Ｖｎ（ｔ０）が含まれていることからナンバープレート検出信号Ｓｎ（ｔ０）が出力され、これに対応して発生されたトリガ信号Ｓｔｒｇ（ｔ１） により車両正面部撮像用カメラ２１による１フレーム周期あとの時刻ｔ１の画像データＤＶｂ（ｔ１）が第２のＶＲＡＭ２４にメモリ順位＃１に格納される。
【００３３】
図３は第２のＶＲＡＭ２４を構成する３つのリングバッファメモリ２５，２６，２７に対する画像データの格納の様子を示す。すなわち、Ｒの画像データＤｒ（ｔ１）がリングバッファメモリ２５のフレームバッファメモリ２５（＃１）に格納され、Ｇの画像データＤｇ（ｔ１）がリングバッファメモリ２６のフレームバッファメモリ２６（＃１）に格納され、Ｂの画像データＤｂ（ｔ１）がリングバッファメモリ２７のフレームバッファメモリ２７（＃１）に格納される。なお、第１のマイクロプロセッサ１５のＲＡＭに車両番号データＤｎが格納される。また、車両番号認識用カメラ１１による時刻ｔ１の画像データＤＶａ（ｔ１）にナンバープレート画像データ領域Ｖｎ（ｔ１）が含まれていることからナンバープレート検出信号Ｓｎ（ｔ１）が出力され、これに対応して発生されたトリガ信号Ｓｔｒｇ（ｔ２） により車両正面部撮像用カメラ２１による１フレーム周期あとの時刻ｔ２の画像データＤＶｂ（ｔ２）が第２のＶＲＡＭ２４にメモリ順位＃２に格納される。すなわち、Ｒの画像データＤｒ（ｔ２）がメモリ順位＃２のフレームバッファメモリ２５（＃２）に格納され、Ｇの画像データＤｇ（ｔ２）がフレームバッファメモリ２６（＃２）に格納され、Ｂの画像データＤｂ（ｔ２）がフレームバッファメモリ２７（＃２）に格納される。
【００３４】
このように車両番号認識用カメラ１１による時刻ｔｉ−１ の画像データＤＶａ（ｔｉ−１）にナンバープレート画像データ領域Ｖｎ（ｔｉ−１）が含まれている限りにおいて車両正面部撮像用カメラ２１による１フレーム周期あとの時刻ｔｉの画像データＤＶｂ（ｔｉ）が第２のＶＲＡＭ２４にメモリ順位＃ｉに格納される。すなわち、Ｒの画像データＤｒ（ｔｉ）がメモリ順位＃ｉのフレームバッファメモリ２５（＃ｉ）に格納され、Ｇの画像データＤｇ（ｔｉ）がフレームバッファメモリ２６（＃ｉ）に格納され、Ｂの画像データＤｂ（ｔｉ）がフレームバッファメモリ２７（＃ｉ）に格納される。８番目のフレームバッファメモリ２５（＃８），２６（＃８），２７（＃８）までの格納がなされると、次のフレームの画像データは１番目のフレームバッファメモリ２５（＃１），２６（＃１），２７（＃１）において上書きが行われる。以下、順次サイクリックに格納されてゆく。
【００３５】
図２に示すように、車両番号認識用カメラ１１による１フレーム周期での時刻ｔｊ−１ の画像データＤＶａ（ｔｊ−１）にナンバープレート画像データ領域が含まれなくなったときに第１のマイクロプロセッサ１５は車両通過済み信号Ｓｐを第２のマイクロプロセッサ２８に出力する。車両通過済み信号Ｓｐを受け取った第２のマイクロプロセッサ２８はトリガ信号Ｓｔｒｇ の出力はせず、したがってＡ／Ｄ変換器２２ａ，２２ｂ，２２ｃ、第２のビデオコントローラ２３はインアクティブ状態に戻り、その次の１フレーム周期での時刻ｔｊ での画像データのリングバッファメモリ２５への取り込みは行わない。その時刻ｔｊ の一つ前の時刻ｔｊ−１ に対応するフレームバッファメモリ２５（＃ｊ−１），２６（＃ｊ−１），２７（＃ｊ−１）のメモリ順位＃ｊ−１ を確定し、確定信号Ｓｄを生成して第１のマイクロプロセッサ１５に送出する。そして、第２のマイクロプロセッサ２８は確定したメモリ順位＃ｊ−１のＲ，Ｇ，Ｂの３つのフレームバッファメモリ２５（＃ｊ−１），２６（＃ｊ−１），２７（＃ｊ−１）からそれぞれ画像データを画像合成回路４２に送出する処理へと進む。確定信号Ｓｄを受け取った第１のマイクロプロセッサ１５はそのＲＡＭに格納している車両番号データＤｎを画像合成回路４２に送出する処理へと進む。すなわち第２のマイクロプロセッサ２８は確定信号Ｓｄの生成送出直後に出力用の第３のビデオコントローラ４１にリードイネーブル信号Ｓｒ２ を送出し、第１のマイクロプロセッサ１５は確定信号Ｓｄの入力直後に第３のビデオコントローラ４１にリードイネーブル信号Ｓｒ１ を送出する。第３のビデオコントローラ４１は両方のリードイネーブル信号Ｓｒ１ ，Ｓｒ２ を入力すると、第２のＶＲＡＭ２４すなわちＲ，Ｇ，Ｂのリングバッファメモリ２５，２６，２７の確定したメモリ順位＃ｊ−１ のフレームバッファメモリ２５（＃ｊ−１），２６（＃ｊ−１），２７（＃ｊ−１）を順次にアクセスして画像データＤｒ（ｔｊ−１），Ｄｇ（ｔｊ−１），Ｄｂ（ｔｊ−１）を順次的に読み出して合成する。この合成された画像データはカラーデータであり、運転者・ナンバープレートを一つにまとめた状態となっている。次いで、第３のビデオコントローラ４１は第１のマイクロプロセッサ１５のＲＡＭをアクセスして文字データである車両番号データＤｎを読み出し、前記のカラー合成画像データにスーパーインポーズする。画像圧縮回路４３は運転者・ナンバープレート・車両番号を一つにまとめた状態のカラー画像データをデータ圧縮し、Ｄ／Ａ変換器４４によってアナログの映像信号に変換し、変調回路４５で変調し、送信回路４６より通信回線４７を介してセンターに送信する。
【００３６】
次に、第１および第２のマイクロプロセッサ１５，２８のシーケンシャル動作を論理的に説明する。まず、車両番号認識用カメラ１１に対応する第１のマイクロプロセッサ１５のシーケンシャル動作を図４のフローチャートに基づいて説明する。第１のマイクロプロセッサ１５におけるＭＰＵはステップＳ１においてタイミング信号発生回路３１からのタイミング信号Ｓｔの入力を待ってステップＳ２に進み、第１のビデオコントローラ１３を介して１フレーム分の画像データＶＤａを第１のＶＲＡＭ１４に上書きによって格納する。ステップＳ３において第１のＶＲＡＭ１４をスキャンしてエッジ抽出を行い、ステップＳ４において抽出したエッジデータをＲＡＭに格納し、ステップＳ５においてナンバープレート抽出を行い、ステップＳ６においてナンバープレートが抽出できたか否かを判断する。車両が車両番号認識用カメラ１１の視野内の所定位置までまだ達していないときはナンバープレートは抽出されない。ナンバープレートが抽出されなかった判断したときはステップＳ７に進んでナンバープレートを検出したことを示すフラグＦｎが立っているか否か（Ｆｎ＝１？）を判断する。この場合はフラグＦｎはまだ立っていないのでステップＳ８に進み、ＲＡＭからエッジデータをクリアし、次いでステップＳ１に戻る。ステップＳ６においてナンバープレートが抽出できたと判断したときはステップＳ９に進んでナンバープレート検出信号Ｓｎを生成し第２のマイクロプロセッサ２８に送出する。ステップＳ１０においてナンバープレートを検出したことを示すフラグＦｎが立っているか否かを判断する。最初はフラグＦｎは立っていないのでステップＳ１１に進み、ＲＡＭのエッジデータに対して文字認識を実行して車両番号データＤｎを抽出し、ステップＳ１２においてその抽出した車両番号データＤｎをＲＡＭにストアし、ステップＳ１３においてナンバープレートを検出したことを示すフラグＦｎを立て（Ｆｎ←１）、次いでステップＳ１に戻る。一般に一度ナンバープレートが検出されると、何フレーム分かは同様にナンバープレートが検出される状態が続く。すなわち、ステップＳ１〜Ｓ１０と進む。こんどはステップＳ１０の判断では肯定的となり、ステップＳ１１，Ｓ１２，Ｓ１３をスキップしてステップＳ１に戻る。この間、ＲＡＭには同一の車両番号データＤｎが保持されている。一旦ナンバープレートを検出したあとのステップＳ６においてナンバープレートの検出がなかったときは、ステップＳ７に進んでナンバープレートを検出したことを示すフラグＦｎが立っているか否かの判断を行い、この場合はフラグＦｎが立っているのでステップＳ１４に進み、車両通過済み信号Ｓｐを生成して第２のマイクロプロセッサ２８に送出し、ステップＳ１５においてナンバープレートを検出したことを示すフラグＦｎをゼロクリアする（Ｆｎ←０）。後述するもう１つの第２のマイクロプロセッサ２８のシーケンシャル動作（図５）でのステップＴ１８で第１のマイクロプロセッサ１５に対して確定信号Ｓｄが送出されるが、第２のマイクロプロセッサ２８はステップＳ１６において確定信号Ｓｄの入力を待ってステップＳ１７に進み、出力用の第３のビデオコントローラ４１に対してリードイネーブル信号Ｓｒ１ を送出する。ステップＳ１８において第３のビデオコントローラ４１からのアクセスを待ってステップＳ１９においてＲＡＭから車両番号データＤｎを画像合成回路４２に送出し、ステップＳ２０において第３のビデオコントローラ４１からの読み出し終了信号Ｓｅｎｄ１の入力を待ってステップＳ２１に進み、ＲＡＭからエッジデータと車両番号データＤｎをクリアし、ステップＳ１に戻る。
【００３７】
次に、車両正面部撮像用カメラ２１に対応する第２のマイクロプロセッサ２８のシーケンシャル動作を図５のフローチャートに基づいて説明する。第２のマイクロプロセッサ２８におけるＭＰＵはステップＴ１において第１のマイクロプロセッサ１５からのナンバープレート検出信号Ｓｎの入力を待つ。入力がないときはステップＴ２に進んでタイマーをスタートさせたことを示すフラグＦｔが立っているか否か（Ｆｔ＝１？）を判断するが、ここでは立っていないのでステップＴ１に戻る。ステップＴ１の判断が肯定的となったときはステップＴ３に進んで車両正面部撮像用カメラ２１と第２のＡ／Ｄ変換器２２（Ａ／Ｄ変換器２２ａ，２２ｂ，２２ｃ）と第２のビデオコントローラ２３に対してナンバープレート検出ありのトリガ信号Ｓｔｒｇ を出力する。ステップＴ４においてタイミング信号発生回路３１からのタイミング信号Ｓｔの入力を待ってステップＴ５に進み、タイマーをスタートさせ、ステップＴ６においてタイマーをスタートさせたことを示すフラグＦｔを立て（Ｆｔ←１）、ステップＴ７において第２のビデオコントローラ２３を介して１フレーム分の画像データＶＤｂを取り込む。この画像データＶＤｂはすなわち車両正面部撮像用カメラ２１によって撮像され、Ａ／Ｄ変換器２２ａ，２２ｂ，２２ｃによってデジタルに変換されたＲ，Ｇ，Ｂの画像データＤｒ，Ｄｇ，Ｄｂである。ステップＴ８においてｉをサフィックス用変数ｉとして、リングバッファメモリ２５，２６，２７のメモリ順位＃ｉのフレームバッファメモリ２５（＃ｉ），２６（＃ｉ），２７（＃ｉ）にそれぞれ取り込んだ１フレーム分のＲ，Ｇ，Ｂの画像データＤｒ，Ｄｇ，Ｄｂを書き込む。メモリ順位＃ｉへの書き込みが行われたので、ステップＴ９において次にはメモリ順位＃ｉ＋１ に書き込む準備としてサフィックス用変数ｉをインクリメントする（ｉ←ｉ＋１）。リングバッファメモリのサイクリックな使用を補償にするために、ステップＴ１０においてインクリメント後のサフィックス用変数ｉが“９”以上となったか否かを判断し、“８”以下のときはそのままとするが、“９”以上となったときはステップＴ１１に進んでサフィックス用変数ｉを“１”に戻す（ｉ←１）。つまりメモリ順位＃８ の次にはメモリ順位＃１ をセットするのである。このように調整してからステップＴ１に戻る。
【００３８】
ナンバープレート検出信号Ｓｎが第１のマイクロプロセッサ１５から送られてくる限りにおいてステップＴ１〜Ｔ１１を繰り返し実行する。この繰り返しにより、ナンバープレート検出信号Ｓｎがある限りにおいてリングバッファメモリ２５，２６，２７では１フレーム分の画像データＤｒ，Ｄｇ，Ｄｂを順次メモリ順位＃ｉをインクリメントしつつ対応するフレームバッファメモリ２５（＃１），２６（＃１），２７（＃１）に書き込んでゆく。この繰り返しにおいてステップＴ５のタイマースタートは最初からのリスタートになる。この繰り返しにおいては次のようなルーチンを通る。ステップＴ１においてナンバープレート検出信号Ｓｎの入力がないタイミングではステップＴ２に進む。ステップＴ２においてタイマーをスタートさせたことを示すフラグＦｔが立っているか否かを判断するが、すでに立っているのでステップＴ１２に進む。ステップＴ１２においてタイムアップしたか否かを判断する。このタイムアップの所定時間Ｔｏについては図２に示すようにビデオレートの３３．３ｍｓｅｃを少しオーバーする時間である。つまり次の垂直同期信号Ｖｓｙｎｃ１ （共通垂直同期信号Ｖｓｙｎｃ０）のタイミングを経過してもナンバープレート検出信号Ｓｎの入力がないことを判断するのである。タイムアップするまではステップＴ１に戻るが、タイムアップしたときは、車両番号認識用カメラ１１による撮像画面から車両のナンバープレート候補画像領域が通り抜けたことと捉えてステップＴ１３に進んでフラグＦｔをゼロクリアし（Ｆｔ←０）、ステップＴ１４において第１のマイクロプロセッサ１５からの車両通過済み信号Ｓｐの入力を待ってステップＴ１５に進む。ステップＴ１５においてサフィックス用変数ｉが“１”か否かを判断し、“１”でないときはステップＴ１６に進んでサフィックス用変数ｉをデクリメントし（ｉ←ｉ−１）、ステップＴ１５の判断でｉ＝１となっているときはステップＴ１７に進んでサフィックス用変数ｉに“８”をセットする。
【００３９】
このステップＴ１５〜Ｔ１７の意味は次のとおりである。すでに図２で説明したように、車両番号認識用カメラ１１による１フレーム周期での時刻ｔｊ−１ の画像データＤＶａ（ｔｊ−１）にナンバープレート画像データ領域が含まれなくなったときにはナンバープレート検出信号Ｓｎは出力されず、代わりに車両通過済み信号Ｓｐが出力され、その次の１フレーム周期での時刻ｔｊ での画像データのリングバッファメモリ２５，２６，２７への書き込みは行われず、その時刻ｔｊ の一つ前の時刻ｔｊ−１ に対応するフレームバッファメモリ２５（＃ｊ−１），２６（＃ｊ−１），２７（＃ｊ−１）からＲ，Ｇ，Ｂの画像データＤｒ，Ｄｇ，Ｄｂを読み出そうとしている。その読み出しのメモリ順位＃ｊ−１ を確定するために上記のステップＴ１５〜Ｔ１７を実行しているのである。サフィックス用変数ｉが“１”でなく“２”〜“８”のいずれかであればそれぞれの一つ若いメモリ順位とするためにステップＴ１６を行う。サフィックス用変数ｉが“１”のときにはそれより一つ若いメモリ順位は最後の“８”とするのである。
【００４０】
ステップＴ１８において第２のマイクロプロセッサ２８はリングバッファメモリ２５，２６，２７のうちで読み出すべき画像データを格納しているメモリ順位＃ｉを確定したことを意味する確定信号Ｓｄを生成して第１のマイクロプロセッサ１５に送出する。そして、確定したメモリ順位＃ｉのＲ，Ｇ，Ｂの３つのフレームバッファメモリ２５（＃ｉ），２６（＃ｉ），２７（＃ｉ）の画像データＤｒ，Ｄｇ，Ｄｂを画像合成回路４２に送出する処理へと進む。すなわち、ステップＴ１９において出力用の第３のビデオコントローラ４１に対してリードイネーブル信号Ｓｒ２ に送出する。ステップＴ２０において第３のビデオコントローラ４１からのアクセスを待ってステップＴ２１において確定したメモリ順位＃ｉのフレームバッファメモリ２５（＃ｉ），２６（＃ｉ），２７（＃ｉ）から画像データＤｒ，Ｄｇ，Ｄｂを読み出して画像合成回路４２に送出し、ステップＴ２２において第３のビデオコントローラ４１からの読み出し終了信号Ｓｅｎｄ２の入力を待ってステップＴ２３に進み、通り過ぎた車両についての画像データをオールクリアするためにリングバッファメモリ２５，２６，２７をオールクリアし、ステップＴ２４においてサフィックス用変数ｉを“１”にイニシャルセットし（ｉ←１）、ステップＴ１に戻る。オールクリアするのは次の車両の撮像のときに誤って別の車両の画像データが送信されないよう信頼性を担保するためである。このような誤動作が起こらないようにした機種においては、ステップＴ２３，Ｔ２４は省略してもよい。
【００４１】
以上の処理によって、リングバッファメモリ２５，２６，２７から読み出され画像合成回路４２によって合成されたカラー合成画像は運転者・ナンバープレートを一つにまとめた状態の画像データとなっている。さらに、これに第１のマイクロプロセッサ１５から読み出された車両番号がスーパーインポーズされ、運転者・ナンバープレート・車両番号を一つにまとめた状態の画像データとなっている。
【００４２】
そのようにして最終的に取得された画像データの様子を図６、図７に示してみる。図６は時速６０ｋｍの場合であり、図７は時速１２０ｋｍの場合である。タイミング信号発生回路３１から出力される各種のタイミング信号Ｓｔによって、車両番号認識用カメラ１１と車両正面部撮像用カメラ２１とは、また第１のＡ／Ｄ変換器１２と第２のＡ／Ｄ変換器２２とは、また第１のビデオコントローラ１３と第２のビデオコントローラ２３とはそれぞれ完全なジャストの同期がとられている。したがって、従来技術（先行提案技術）の図１９の車両走行速度が６０ｋｍ／ｈの場合と比較すると、ジャストの同期であるので図１９（ｂ），（ｃ）のような状況は起こり得ず、図１９（ａ）のみに対応したものとなる。それを図６（ｂ）に示す。
【００４３】
図６（ａ）は走行速度が６０ｋｍ／ｈの場合に車両番号認識用カメラ１１が撮像した画像データに基づいてナンバープレートの認識処理がなされる最初のタイミングを示している。図６（ｂ）は図６（ａ）から１フレーム周期あとのタイミングを示しており、この画像データがリングバッファメモリ２５，２６，２７に書き込まれる。図６（ｂ）を見ると、ナンバープレート１０１および運転者２００を含む範囲が映し込まれている。タイヤ１０２もルーフ１０３も確実に映し込まれている。バンパー１０４、ヘッドライト１０５、ラジエータグリル１０６、ボンネット１０７、サイドミラー１０８、フロントガラス１０９、車両外郭形状１１０など車種を特定する上で主要な車両正面部の要素がすべて映し込まれている。図６（ｃ）は図６（ｂ）から１フレーム周期あとのタイミングを示している。この場合は、タイヤ１０２は一部欠けているが、前記同様にルーフ１０３、バンパー１０４、ヘッドライト１０５、ラジエータグリル１０６、ボンネット１０７、サイドミラー１０８、フロントガラス１０９、車両外郭形状１１０など車種を特定する上で主要な車両正面部の要素がすべて映し込まれ、かつナンバープレート１０１および運転者２００を含む範囲が映し込まれている。この場合の画像データもリングバッファメモリ２５，２６，２７に書き込まれている。図６（ｄ）は図６（ｃ）からさらに１フレーム周期あとのタイミングを示している。この場合は、ナンバープレート１０１の領域が画面から外れており、リングバッファメモリ２５，２６，２７への画像データの書き込みは行われない。したがって、送信される画像データはその直前（１フレーム前）の図６（ｃ）の画像データであり、この画像データには車両番号１５０もスーパーインポーズされることになる。
【００４４】
図７（ａ）は走行速度が１２０ｋｍ／ｈの場合に車両番号認識用カメラ１１が撮像した画像データに基づいてナンバープレートの認識処理がなされる最初のタイミングを示している。図７（ｂ）は図７（ａ）から１フレーム周期あとのタイミングを示しており、この画像データがリングバッファメモリ２５，２６，２７に書き込まれる。図７（ｂ）は図２０（ａ）に対応している。この場合も、ナンバープレート１０１および運転者２００を含む範囲が映し込まれ、かつタイヤ１０２、ルーフ１０３、バンパー１０４、ヘッドライト１０５、ラジエータグリル１０６、ボンネット１０７、サイドミラー１０８、フロントガラス１０９、車両外郭形状１１０など車種を特定する上で主要な車両正面部の要素がすべて映し込まれている。図７（ｃ）は図７（ｂ）から１フレーム周期あとのタイミングを示している。この場合は、ナンバープレート１０１の領域が 画面ら外れており、リングバッファメモリ２５，２６，２７への画像データの書き込みは行われない。したがって、送信される画像データはその直前（１フレーム前）の図７（ｂ）の画像データであり、この画像データには車両番号１５０もスーパーインポーズされることになる。
【００４５】
〔実施の形態２〕
実施の形態２は車両通過済み信号Ｓｐを入力したときに、１フレーム前の画像データを採用することに代えて、リングバッファメモリ２５，２６，２７に対する画像データの書き込みの行われている複数のフレームバッファメモリのうちの最新と最古の間の中位のフレームバッファメモリの画像データを採用するものである。図５のステップＴ２４でサフィックス用変数ｉを“１”にイニシャルセットしたので、ステップＴ８で最初に画像データが書き込まれるメモリ順位＃ｉは必ず＃１となる。すなわち、車両の画像データを取り込むときは必ずメモリ順位＃１のフレームバッファメモリ２５（＃１），２６（＃１），２７（＃１）から書き込みを始めることになる。実施の形態２の場合のフローチャートを図１０、図１１に示す。ステップＴ８−１においてカウンタ変数ｎをインクリメントする（ｎ←ｎ＋１）。前提としてステップＴ２４−１においてカウンタ変数ｎをイニシャルクリアしておく（ｎ←０）。したがって、最初にナンバープレート検出信号Ｓｎを入力し１フレーム分の画像データをメモリ順位＃１のフレームバッファメモリ２５（＃１），２６（＃１），２７（＃１）に格納したときには、ｎ＝１となっている。車両通過済み信号Ｓｐを入力するまでに使用されるフレームバッファメモリ２５（＃ｉ），２６（＃ｉ），２７（＃ｉ）の個数は車両の走行速度によってまちまちとなる。ただし、使用されるフレームバッファメモリの個数は最大で８個である。走行速度が低い場合には、リングバッファメモリ２５，２６，２７のサイクリックな使用が行われる。渋滞しておればその頻度が高くなる。
【００４６】
カウンタ変数ｎの値の変化に対応するリングバッファメモリ２５の使用のされ方の関係を図８に示す。他のリングバッファメモリ２６，２７についても同様である。リングバッファメモリ２５に対する画像データの書き込みの行われている複数のフレームバッファメモリのうちの最新と最古の間の中位のフレームバッファメモリの画像データを採用するものとする。黒点はそれぞれの場合に採用したいメモリ順位を指している。ｎ＝８のときに８つのフレームバッファメモリ（＃１）〜（＃８）がすべて使われるようになる。ｎ≧９のときにサイクリックな使われ方になる。
【００４７】
図９は図８を基にして、カウンタ変数ｎの値と採用したいサフィックス用変数ｉの値との関係を示すものである。ｎ≧８のときは比較的単純な規則性が認められる。１≦ｎ≦７のときは平均的な関係に近い。この点を踏まえて、図１０のフローチャートにおいては図５のフローチャートにおけるステップＴ１５〜Ｔ１７に代えて、ステップＴ１５ａをプログラミングしてある。このステップＴ１５ａは採用すべきフレームバッファメモリを決めるサフィックス用変数ｉの確定処理についてのものであり、その具体的な内容を図１１のステップＴ１５−１〜Ｔ１５−１１に示している。以下、説明する。
【００４８】
ステップＴ１５−１において第２のマイクロプロセッサ２８におけるＭＰＵはカウンタ変数ｎについてｎ≦７か否かを判断し、肯定的のときはステップＴ１５−２に進んで平均値変数ａを演算する。ａ＝（１＋ｎ）／２である。ステップＴ１５−３において平均値変数ａが整数か否かを判断し、整数のときはステップＴ１５−４に進んでサフィックス用変数ｉに平均値変数ａの内容をセットし（ｉ←ａ）、次いでステップＴ１８に進む。整数でないときはステップＴ１５−５に進んで平均値変数ａに０．５を足した結果をサフィックス用変数ｉにセットし（ｉ←ａ＋０．５）、次いでステップＴ１８に進む。例えば、ｎ＝６のときは、ａ＝３．５となり、ｉ＝３．５＋０．５＝４とする。これは図９に沿ったものとなっている。また、ｎ＝７のときは、ａ＝４となり、ｉ＝４とする。これは図９に沿ったものとなっている。
【００４９】
ステップＴ１５−１の判断で否定的のときはステップＴ１５−６に進んで、８≦ｎ≦１１の判断を行い、肯定的のときはステップＴ１５−７に進んでカウンタ変数ｎから３を減じた結果をサフィックス用変数ｉにセットし（ｉ←ｎ−３）、次いでステップＴ１８に進む。これは図９のｎ＝８〜１１に対応している。ステップＴ１５−６の判断が否定的であってｎ≧１２のときはステップＴ１５−８に進み、カウンタ変数ｎから１２を減じた結果を新たにカウンタ変数ｎにセットする（ｎ←ｎ−１２）。次に、ステップＴ１５−９においてｎ≦７か否かを判断し、否定的のときはステップＴ１５−１０に進んでカウンタ変数ｎから８を減じた結果を新たにカウンタ変数ｎにセットし、再びステップＴ１５−９に戻る。つまり、結果が７以下となるまでｎから８を減算する処理を繰り返すのである。ステップＴ１５−９のｎ≦７の判断が肯定的となったときはステップＴ１５−１１に進んでカウンタ変数ｎに１を足した結果をサフィックス用変数ｉにセットし（ｉ←ｎ＋１）、次いでステップＴ１８に進む。
【００５０】
例えば図９でのｎ＝１６の場合についてみると、ステップＴ１５−８で−１２されて４となり、ステップＴ１５−６で＋１されて所期通りの５となる。また例えば図９でのｎ＝２０の場合についてみると、ステップＴ１５−８で−１２されて８となり、さらにステップＴ１５−１０で−８されて０となり、ステップＴ１５−６で＋１されて所期通りの１となる。また例えば図９でのｎ＝２５の場合についてみると、ステップＴ１５−８で−１２されて１３となり、さらにステップＴ１５−１０で−８されて５となり、ステップＴ１５−６で＋１されて所期通りの６となる。
【００５１】
以上のようにして本実施の形態２においては、車両の走行速度が比較的に遅いとき、とりわけ渋滞が生じているときに、Ｒ，Ｇ，Ｂのリングバッファメモリ２５，２６，２７のそれぞれにおいて画像データの書き込みの行われている複数のフレームバッファメモリ２５（＃１）〜２５（＃８），２６（＃１）〜２６（＃８），２７（＃１）〜２７（＃８）のうちの最新と最古の間の中位のフレームバッファメモリの画像データを採用することができ、運転者・ナンバープレート・車両番号を一つにまとめた状態の最適な画像データを採用することができる。
【００５２】
〔実施の形態３〕
実施の形態３は複数のフレームバッファメモリに格納されている各１フレーム分の複数の画像データのうち最終的に採用すべき画像データの決定の仕方の変形にかかわるものである。すなわち、画像データ上で画面の下辺部に路面が所定面積範囲で映り込んでいる画像データを採用すべき画像データとして決定するものである。
【００５３】
図１２（ａ），（ｂ），（ｃ）に示す３つの画像データはいずれもナンバープレート１０１および運転者２００を含む範囲が映し込まれている。タイヤ１０２、ルーフ１０３、バンパー１０４、ヘッドライト１０５、ラジエータグリル１０６、ボンネット１０７、サイドミラー１０８、フロントガラス１０９、車両外郭形状１１０など車種を特定する上で主要な車両正面部の要素がすべて映し込まれている。リングバッファメモリにこれら（ａ），（ｂ），（ｃ）の３つの画像データがすべて格納されているとき、いずれを採用すべき画像データとして決定するかが問題となる。本実施の形態では画面上で車両の下方手前の箇所に路面が所定面積範囲で映り込んでいることを条件として決定する。図で網点を施した部分が車両下方の路面領域３００である。３つのうちで図１２（ｂ）が最も好ましいレイアウトである。図１２（ａ），（ｃ）の場合はレイアウト上で図１２（ｂ）よりも劣るものであり、前者の路面領域３００の面積は所定面積範囲の上限を超えており、後者の路面領域３００の面積は所定面積範囲の下限を下回っている。
【００５４】
図１３で原理を説明する。１フレーム分の画像データＶＤｂ（＃ｊ）においてナンバープレート画像データ領域Ｖｎ（＃ｊ）の下方の領域で座標（ｘ，ｙ）を基準とする検索用単位面積ウインドウＡｘｙを開く。この検索用単位面積ウインドウＡｘｙ内での輝度値の平均値μｘｙと標準偏差σｘｙを求める。輝度値の平均値μｘｙが路面を示す基準平均輝度値範囲μｄ 〜μｕ 内にあり、かつ輝度値の標準偏差σｘｙが路面を示す基準輝度標準偏差範囲σｄ 〜σｕ 内にあるとき、その検索用単位面積ウインドウＡｘｙを有意としてカウントアップする。検索用単位面積ウインドウＡｘｙをまず水平方向にスキャンし、ｘ方向の終端に達すると、今度は垂直方向にスキャンする。このような繰り返しにおいて、有意にカウントアップされた路面領域面積が所定面積範囲に入っているものを候補としてピックアップする。そして、候補のうち、路面領域面積が最適値に最も近いものを最終候補とする。
【００５５】
以下、実施の形態３の動作を図１４、図１５のフローチャートに基づいて説明する。図１４のフローチャートにおいては図５のフローチャートにおけるステップＴ１５〜Ｔ１７に代えて、ステップＴ１６ａをプログラミングしてある。このステップＴ１６ａは採用すべきフレームバッファメモリを決めるサフィックス用変数ｉの確定処理についてのものであり、その具体的な内容を図１５のステップＴ１６−１〜Ｔ１６−２０に示している。以下、説明する。
【００５６】
ステップＴ１６−１において第２のマイクロプロセッサ２８におけるＭＰＵはメモリ順位＃ｊのフレームバッファメモリ２５（＃ｊ），２６（＃ｊ），２７（＃ｊ）の画像データＤｒ，Ｄｇ，Ｄｂを合成してなる画像データＶＤｂ（＃ｊ）のうちのナンバープレート画像データ領域Ｖｎ（＃ｊ）を割り出す。ステップＴ１６−２において画像データＶＤｂ（＃ｊ）のうちナンバープレート画像データ領域Ｖｎ（＃ｊ）よりも下方の画像領域を検索対象領域として設定し、この検索対象領域において検索用単位面積ウインドウＡｘｙを設定する。なお、初回はメモリ順位＃ｊは＃１であり、検索用単位面積ウインドウＡｘｙにおける座標（ｘ，ｙ）は検索対象領域の左上隅を原点とする座標である。ステップＴ１６−３において検索用単位面積ウインドウＡｘｙでの輝度値の平均値μｘｙを求め、ステップＴ１６−４において同じウインドウＡｘｙでの輝度値の標準偏差σｘｙを求める。ステップＴ１６−５において平均値μｘｙが基準平均輝度値範囲μｄ 〜μｕ 内にあるか否かを判定する（μｄ ≦μｘｙ≦μｕ ）。ステップＴ１６−６において標準偏差σｘｙが基準輝度標準偏差範囲σｄ 〜σｕ 内にあるか否かを判定する（σｄ ≦σｘｙ≦σｕ ）。両方が成立しているときはステップＴ１６−７に進んで路面領域面積変数ｑｊ をインクリメントする（ｑｊ ←ｑｊ ＋１）。路面領域面積変数ｑｊ はステップＴ１６−２０によって初期値は０である。いずれか片方が成立していないときはステップＴ１６−７をスキップする。ステップＴ１６−８においてｘ座標をインクリメントし、ステップＴ１６−９でｘ座標が終端か否かを判断し、終端でなければステップＴ１６−１に戻る。ステップＴ１６−８，Ｔ１６−９によりウインドウＡｘｙの水平方向走査が行われる。ｘ座標が終端に達したときはステップＴ１６−１０に進んでｘ座標を初期値に戻し、ステップＴ１６−１１においてｙ座標をインクリメントし、ステップＴ１６−１２でｙ座標が終端か否かを判断し、終端でなければステップＴ１６−１に戻る。ステップＴ１６−１１，Ｔ１６−１２によりウインドウＡｘｙの垂直方向走査が行われる。ｙ座標が終端に達するまで上記のルーチンを繰り返すことにより、有意となる場合にステップＴ１６−７で路面領域面積変数ｑｊ をインクリメントしてゆく。ｙ座標が終端に達したときはステップＴ１６−１３に進んでｙ座標を初期値に戻し、ステップＴ１６−１４においてメモリ順位＃ｊを指定するサフィックス用変数ｊがすべてトライされたか否かを判断し、全トライが未完了のときはステップＴ１６−１５に進んでサフィックス用変数ｊをインクリメントし（ｊ←ｊ＋１）、ステップＴ１６−１に戻る。これで次の１フレーム分の画像データＶＤｂ（＃ｊ）について同様の路面領域面積変数ｑｊ のインクリメントが行われる。サフィックス用変数ｊがすべてトライされたときはステップＴ１６−１６に進んで複数のサフィックス用変数ｊについての路面領域面積変数ｑｊ のうちで所定面積範囲ｑｄ 〜ｑｕ に入っているものを候補として抽出し、ステップＴ１６−１７において抽出された候補のなかで路面領域面積変数ｑｊ が最適値ｑｂｅｓｔにもっとも近いものを最終候補として選択し、ステップＴ１６−１８においてその最適値ｑｂｅｓｔに対応する路面領域面積変数ｑｊ のメモリ順位＃ｊについてのサフィックス用変数ｊを確定する。そして、ステップＴ１６−１９においてサフィックス用変数ｉにサフィックス用変数ｊの内容をセットし、ステップＴ１６−２０で路面領域面積変数ｑｊ をゼロクリアし（ｑｊ ←０）、次いでステップＴ１８に進む。
【００５７】
以上のようにして本実施の形態３においては、Ｒ，Ｇ，Ｂのリングバッファメモリ２５，２６，２７のそれぞれにおいて画像データの書き込みの行われている複数のフレームバッファメモリ２５（＃１）〜２５（＃８），２６（＃１）〜２６（＃８），２７（＃１）〜２７（＃８）のうち運転者・ナンバープレート・車両番号を一つにまとめ、かつ車両の下方手前の箇所に路面が適度に現れる状態の最適な画像データを採用することができる。
【００５８】
以上、３つの実施の形態について説明してきたが、本発明は次のように構成したものも含むものである。
【００５９】
（１）上記の実施の形態では車両正面部撮像用カメラ２１をカラーカメラとしたが、これに代えてモノクロカメラとしてもよい。この場合、図１において、第２のＡ／Ｄ変換器２２は単一のＡ／Ｄ変換器でよく、第２のＶＲＡＭ２４は単一のリングバッファメモリを有しておればよい。
【００６０】
（２）上記の実施の形態ではマイクロプロセッサを２つ用いたが、１つのマイクロプロセッサにまとめてもよい。
【００６１】
（３）上記の実施の形態ではエッジデータから車両番号データＤｎを抽出し、これをスーパーインポーズしたが、車両番号データの抽出は省略してもよい。この場合において、（２）のように車両正面部撮像用カメラ２１をモノクロカメラとするときは、画像合成回路４２を省略するものとする。
【００６２】
（４）上記の実施の形態ではビデオレートを３３．３ｍｓｅｃとしたが、これに代えて２倍速の１６．７ｍｓｅｃとしても、あるいは他のビデオレートとしてもよい。
【００６３】
（５）リングバッファメモリを構成するフレームバッファメモリの個数を８つとしたが、これは一例であることはいうまでもなく、カメラの性能、画角、深く、焦点深度、車両の制限速度等々の条件に応じて適当に定めればよい。ビデオレートが高速であるほどフレームバッファメモリの個数は少なくてよい。最小は２つであると考えられる。
【００６４】
（６）なお、本発明の趣旨から外れるが、ビデオレートが１６．７ｍｓｅｃ等高速であるときには非同期タイプとすることも許容される可能性がある。
【００６５】
（７）２つのカメラの解像度は同一であってもよい。
【００６６】
【発明の効果】
車両撮像装置についての本発明によれば、ナンバープレート検出信号がなくなることに基づく車両通過済み信号タイミングは共通の同期信号となるので、車両走行速度のいかんにかかわらず使用することとなる出力すべき画像データのタイミングが常に一定となり、ナンバープレートおよび運転者を含む範囲での車両の撮像を確実なものとなる。また、画面の下辺部に路面領域の面積を適度に確保した状態で出力すべき画像データを出力することにより、ナンバープレートおよび運転者を含む範囲での車両画像が人間の目視確認にとって好都合なレイアウトとなる。また、車両番号データを重畳することにより、後処理を便利にできる。
【図面の簡単な説明】
【図１】本発明の実施の形態１の車両撮像装置の電気的構成を示すブロック図
【図２】実施の形態１の場合の画像データのタイミングチャート
【図３】実施の形態１の場合のリングバッファメモリの説明図
【図４】実施の形態１の第１のマイクロプロセッサの動作を示すフローチャート
【図５】実施の形態１の第２のマイクロプロセッサの動作を示すフローチャート
【図６】実施の形態１において車両走行速度が比較的遅い場合の画像データの説明図
【図７】実施の形態１において車両走行速度が比較的速い場合の画像データの説明図
【図８】実施の形態２の技術的根拠を説明するリングバッファメモリの使われ方の説明図
【図９】図８を基にしたカウンタ変数の値と採用したいサフィックス用変数の値との関係図
【図１０】実施の形態２の第２のマイクロプロセッサの動作を示すフローチャート
【図１１】実施の形態２の第２のマイクロプロセッサの動作を示すフローチャート（図１０の要部）
【図１２】実施の形態３の技術的背景の説明図
【図１３】実施の形態３の原理の説明図
【図１４】実施の形態３の第２のマイクロプロセッサの動作を示すフローチャート
【図１５】実施の形態３の第２のマイクロプロセッサの動作を示すフローチャート（図１４の要部）
【図１６】本発明者による先行提案技術の２台のカメラを用いる場合の撮像の様子の説明図
【図１７】先行提案技術の場合の画像データのタイミングチャート
【図１８】先行提案技術の場合の２台のカメラの視野の相互関係図
【図１９】先行提案技術の場合において車両走行速度が比較的遅い場合の同期ずれを示す説明図
【図２０】先行提案技術の場合において車両走行速度が比較的速い場合の同期ずれによる不都合の説明図
【図２１】従来の技術において車両のナンバープレートを撮像する様子の説明図
【符号の説明】
１１……車両番号認識用カメラ、１３……第１のビデオコントローラ、１４……第１のＶＲＡＭ、１５……第１のマイクロプロセッサ、２１……車両正面部撮像用カメラ、２３……第２のビデオコントローラ、２４……第２のＶＲＡＭ、２５……Ｒ（赤）用のリングバッファメモリ、２６……Ｇ（緑）用のリングバッファメモリ、２７……Ｂ（青）用のリングバッファメモリ、２８……第２のマイクロプロセッサ、３１……タイミング信号発生回路、４１……第３のビデオコントローラ、４２……画像合成回路、４３……画像圧縮回路、４５……変調回路、４６……送信回路、４７……通信回線、１００……車両、１０１……ナンバープレート、１０２……タイヤ、１０３……ルーフ、１０４……バンパー、１０５……ヘッドライト、１０６……ラジエータグリル、１０７……ボンネット、１０８……サイドミラー、１０９……フロントガラス、１１０……車両外郭形状、１５０……車両番号、２００……運転者、３００……路面領域、Ｓｎ……ナンバープレート検出信号、Ｓｔ……タイミング信号、Ｓｔｒｇ ……トリガ信号、Ｓｐ……車両通過済み信号、Ｓｄ……確定信号、Ｓｒ１ ，Ｓｒ２ ……リードイネーブル信号、ＤＶａ……車両番号認識用カメラによる画像データ、ＤＶｂ……車両正面部撮像用カメラによる画像データ、Ｖｎ……ナンバープレート画像データ領域、Ｖｓｙｎｃ０ ……共通垂直同期信号、Ｖｓｙｎｃ１ ……車両番号認識用カメラの垂直同期信号、Ｖｓｙｎｃ２ ……車両正面部撮像用カメラの垂直同期信号[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle image pickup apparatus that picks up images of a vehicle traveling on a road while the vehicle is traveling, and more particularly to a technique that can reliably image a range including a license plate and a driver.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, a vehicle imaging device that images a license plate of a running vehicle is known. A camera provided above or on the road side is always in an imaging state. A vehicle passing through the field of view of the camera is imaged by the camera. An analog video signal captured by the camera is A / D converted into digital image data, and one frame of the image data is stored in a frame memory as a buffer memory. After the frame memory is scanned and differential processing in the horizontal scanning direction is performed, binarization is performed to detect edges along the vertical direction. A license plate candidate line is output when the number of edges within a predetermined width in the horizontal scanning direction is within a predetermined range, and a license plate detection signal is output when a predetermined number of license plate candidate lines continue in the vertical scanning direction. When there is no license plate detection signal, the image data for one frame is not used, the image data for the next frame is stored in the frame memory, and the license plate recognition process from the edge detection similar to the above is executed. . Such processing is repeatedly executed. When there is a license plate detection signal, the image data in the frame memory is transmitted to the center via the communication line at that timing.
[0003]
In order to recognize the license plate, the resolution of image data captured by the camera needs to be higher than a certain level. The angle of view of a camera suitable for this is generally relatively narrow, and the image data in which the final target license plate is shown is, for example, as shown in FIG. 21, and within a range including the license plate and the driver. Cannot be captured.
[0004]
Contrary to the above, when the vehicle is imaged at a wide angle including the license plate and the driver, the resolution of the image data becomes too low to make the license plate recognition impossible. The original purpose of vehicle imaging itself cannot be achieved. That is, it is not possible to achieve both recognition of a license plate with one camera and imaging of a vehicle within a range including the license plate and the driver.
[0005]
Recently, there has been a demand for realization of imaging in a state in which a driver and a license plate are combined. Therefore, the present inventor initially considered using two cameras. Hereinafter, a description will be given with reference to FIG. It is intended to capture a front image of a vehicle in a range including the vehicle number recognition camera 1 having a high resolution and a small angle of view for recognition of the license plate 101 of the vehicle 100, and the license plate 101 and the driver 200. Two cameras including a vehicle front-side imaging camera 2 to be arranged are arranged on the road. The vehicle front surface imaging camera 2 is provided so that the depression angle is shallower than the vehicle number recognition camera 1 for that purpose. The vehicle number recognition camera 1 recognizes a license plate, and the vehicle front image capturing camera 2 includes a license plate 101 in the front image of the vehicle 100 captured by the vehicle front image capturing camera 2. Is overlapped with the position of the license plate 101 as a reference. While the vehicle number recognition camera 1 is always in an imaging state, the vehicle front surface imaging camera 2 is always in a non-imaging inactive state. License plate recognition is performed based on the image data captured by the vehicle number recognition camera 1, and at the timing when the license plate detection signal is output, the shutter of the vehicle front image capturing camera 2 is released to capture the front image of the vehicle. The image data is transmitted to the center. The inventor of the present invention thought that it should be possible to acquire a front image of the vehicle in a state where the driver / number plate is combined into one.
[0006]
[Problems to be solved by the invention]
However, a deeper examination revealed that the above-mentioned prior art has the following problems. There is no synchronization between the vehicle number recognition camera 1 and the vehicle front portion imaging camera 2. Therefore, even if it is a vehicle imaging device of the completely same specification, the imaging conditions of a front part image differ for every apparatus, or even if it is the same apparatus, the imaging conditions of a front part image will change with progress of time. This will be described with reference to FIG. 17, FIG. 18, and FIG.
[0007]
FIG. 17A shows image data captured and A / D converted by the vehicle number recognition camera 1. Vsync1 is a vertical synchronization signal, DVa (t0) and DVa (t1) are image data for one frame at times t0 and t1, respectively, and Vn (t0) is included in the image data DVa (t0) and is a number from edge detection. It is a license plate image data area recognized by plate recognition processing. When the license plate is recognized, a license plate detection signal is sent to the vehicle front-side imaging camera 2 as a trigger signal (shutter signal) immediately before the next vertical synchronization signal Vsync1.
[0008]
FIGS. 17B, 17C, and 17D show video signals captured by the vehicle front surface imaging camera 2. FIG. FIG. 17B shows a case where the vertical synchronization signal Vsync2 coincides with the vertical synchronization signal Vsync1 of the vehicle number recognition camera 1 by chance. The vehicle front-side imaging camera 2 that has input the license plate detection signal as a shutter signal acquires image data VDb (t1) at time t1 following time t0 in one frame cycle.
[0009]
FIG. 18 schematically shows the relationship between the field of view Ya of the vehicle 100 and the vehicle number recognition camera 1 and the field of view Yb of the vehicle front portion imaging camera 2. The view of this figure is as follows. When the license plate 101 comes to a predetermined position of the field of view Ya (t0) at a time point t0 (part corresponding to 1/3 from the top of the screen) in the field of view Ya of the vehicle number recognition camera 1 represented by a two-dot chain line. A detection signal is output. The license plate 101 at this time corresponds to the license plate image data area Vn (t0) in FIG. The field of view Yb (t0) of the vehicle front surface imaging camera 2 at the same time t0 is represented by a thick broken line. However, at this time t0, since the vehicle front surface imaging camera 2 has not yet received a license plate detection signal, imaging is not performed. A visual field Yb (t1) indicated by a thick solid line represents a visual field of the vehicle front-side imaging camera 2 relative to the vehicle 100 at time t1 next to time t0 in one frame period. Although the visual field Yb is not actually displaced from the broken line state to the solid line state, the relative movement of the visual field Yb with respect to the vehicle 100 when the vehicle 100 does not move is shown.
[0010]
In FIG. 18, the vehicle front surface imaging camera 2 performs imaging based on the input license plate detection signal in the visual field Yb (t1) indicated by the thick solid line at time t1. A range including the license plate 101 and the driver 200 is captured in one frame of image data VDb (t1) captured in the field of view Yb (t1), and a bumper, a bonnet, a headlight, an outer shape, etc. From the fact that it is reflected, you can understand even the car model. In other words, the field of view Yb (t1) at time t1 by the vehicle front-side imaging camera 2 corresponds to the right timing in order to realize an ideal imaging state with the driver and the license plate combined. It is determined. The imaging state of the visual field Yb (t1) at time t1 is extracted and shown in FIG.
[0011]
In FIG. 17B, it is assumed that the vertical synchronization signal Vsync1 of the vehicle number recognition camera 1 and the vertical synchronization signal Vsync2 of the vehicle front image capturing camera 2 are coincidentally synchronized and the timing is justified. . Since one frame corresponds to 30 frames per second, the vertical period τv that is a video rate is 33.3 msec. Therefore, in FIG. 18, there is a difference of τv = 33.3 msec for one vertical period in the time interval between the visual field Yb (t0) at time t0 and the visual field Yb (t1) at time t1 in one frame period. . If the standard traveling speed is 60 km / h, the speed per second is 16.7 m / sec, which corresponds to the vehicle 100 moving forward by 55.6 cm during 33.3 msec. The hatching of the image data VDb (t1) in FIG. 17B means that it is captured and transmitted. This image data VDb (t1) is delayed by one vertical period τv = 33.3 msec from the image data VDa (t0) obtained by the vehicle number recognition camera 1 at time t0.
[0012]
FIG. 17C shows a case in which the vertical synchronization signal Vsync2 of the vehicle front image pickup camera 2 is just in the middle of the vertical synchronization signal Vsync1 of the vehicle number recognition camera 1. That is, a case where there is a shift of 16.7 msec, which is a half of the vertical period τv = 33.3 msec, is shown. The image data VDb (t1 ′) at time t1 ′ in one frame period subjected to hatching is 50 msec (= 33.3 msec + 16.7 msec) with respect to the image data VDa (t0) by the vehicle number recognition camera 1 at time t0. ) Only late. The imaging situation corresponding to this is shown in FIG. At the standard traveling speed of 60 km / h (= 16.7 m / sec), this corresponds to the vehicle moving forward by 83.5 cm from the time t0, which corresponds to 27.9 cm (= 83. This means that the vehicle is moving forward by 5-55.6). In the imaging state of FIG. 19B, the vehicle image is slightly larger than the imaging state of FIG. Even in this imaging state, the range including the license plate 101 and the driver 200 is imaged.
[0013]
FIG. 17D shows a case where the vertical synchronization signal Vsync2 of the vehicle front image pickup camera 2 is slightly shifted to the front side from the vertical synchronization signal Vsync1 of the vehicle number recognition camera 1. The deviation is 1 msec. It is shifted by 32.3 msec (= 33.3-1 msec) with respect to the rear side. The vertical synchronization signal Vsync2 of the image data VDb (t0 ″) at time t0 ″ is before the vertical synchronization signal Vsync1 at the end of the image data VDa (t0) at time t0 by the vehicle number recognition camera 1. At this time, the image data VDb (t0 ″) is not imaged since the vehicle front surface imaging camera 2 has not yet received the license plate detection signal. The image data VDb at time t1 ″ when the next hatching is performed for one frame. (T1 ″) is imaged and transmitted. The image data VDb (t1 ″) at time t1 ″ is 65.6 msec (= the image data VDa (t0) from the vehicle number recognition camera 1 at time t0. 19 (c) shows the imaging situation corresponding to this, and at a standard traveling speed of 60 km / h (= 16.7 m / sec), only 109.5 cm from time t0. This corresponds to the vehicle moving forward, which is that the vehicle is moving forward by 53.9 cm (= 109.5-55.6) with respect to FIG. 19 (c), the image of the vehicle is considerably larger than that in FIG. 19 (a), but the number plate 101 and the driver 200 are temporarily displayed even in this imaging state. The range to be included is imaged.
[0014]
As described above, in imaging at the standard traveling speed (60 km / h), the license plate detection signal is used as a trigger signal by the vehicle front-side imaging camera 2 due to the timing difference between the vertical synchronization signals Vsync1 and Vsync2 of the two cameras. Although the timing of the obtained vehicle front portion image varies, since the traveling speed is relatively low, the timing deviation is relatively small.
[0015]
However, the disqualification of the vehicle front image increases as the traveling speed of the vehicle 100 increases. This will be described with reference to FIG. It is assumed that the traveling speed is 120 km / h (= 33.3 m / sec). FIG. 20A shows the same conditions as FIG. This corresponds to FIG. This is a case where the timings of the vertical synchronization signals Vsync1 and Vsync2 of the two cameras coincide.
[0016]
FIG. 20B corresponds to FIG. The vertical synchronization signal Vsync2 is shifted by 16.7 msec from the vertical synchronization signal Vsync1. The vehicle is moving forward by 55.6 cm with respect to FIG. Since the traveling speed is too high, the number plate 101 is already missing in this imaging state.
[0017]
FIG. 20C corresponds to FIG. The vertical synchronization signal Vsync2 is shifted by 32.3 msec from the vertical synchronization signal Vsync1, and the imaging timing is shifted by 65.6 msec (= 33.3 + 32.3). The vehicle is moving forward by 107.5 cm with respect to FIG. Since the running speed is fast, the amount of advance is also increasing. There is a significant lack of information about vehicle types.
[0018]
The object of the present invention is to solve the above-mentioned problems.
[0019]
[Means for Solving the Problems]
The vehicle imaging device according to claim 1 according to the present invention includes:Always in the imaging state and progressiveImage license plates of vehicles traveling on the roadInstalled with the necessary resolution and angle of viewVehicle number recognition imaging means;
In a state where the field of view overlaps with this vehicle number recognition imaging means,Including progressive and driver and license plateImaging the front of the vehicleInstalled with the necessary resolution and angle of viewVehicle front-side imaging means, means for detecting a license plate from image data by the vehicle number recognition imaging means, and means for driving the vehicle front-side imaging means each time a license plate detection signal is inputTiming means for providing a common synchronizing signal to the vehicle number recognition imaging means and the vehicle front surface imaging meansThe vehicle front portion imaging meansTemporary storage means for sequentially storing the vehicle front portion image data obtained by driving the vehicle, and a required vehicle front portion from the temporary storage means when a vehicle passing signal based on the fact that the license plate detection signal is lost is input. Image output means for outputting image data;It has.The timing of the signal that has passed the vehicle based on the absence of the license plate detection signal always has a fixed relationship with the common synchronization signal. The timing is always constant, and imaging of the vehicle in a range including the license plate and the driver is ensured.
[0021]
Claims related to the present invention2The vehicle imaging device is the above claim.1The image output means is configured to output the vehicle front portion image data immediately before the timing when the vehicle passing signal is input. Regardless of the vehicle traveling speed, the timing of the image data to be output is always constant, and imaging of the vehicle in a range including the license plate and the driver is ensured.
[0022]
Claims related to the present invention3The vehicle imaging device is the above claim.1The image output means is configured to output intermediate vehicle front image data between the latest and oldest in the temporary storage means. Similarly, the timing of the image data to be output is always constant regardless of the vehicle traveling speed, and the imaging of the vehicle in the range including the license plate and the driver is ensured.
[0023]
Claims related to the present invention4The vehicle imaging device is the above claim.1The image output means has means for detecting the road surface of the lower side of the screen in the vehicle front part image data in the temporary storage means, and outputs the vehicle front part image data when the detected road surface area is within a predetermined area range It is configured to do. Similarly, the timing of the image data to be output is always constant regardless of the vehicle traveling speed, and the imaging of the vehicle in the range including the license plate and the driver is ensured. In the image data to be output, there is a road surface in front of and under the vehicle, so that the image of the vehicle in a range including the license plate and the driver is a layout that is convenient for human visual confirmation.
[0024]
Claims related to the present invention5The vehicle imaging device according to claim 1.4The vehicle number data is extracted from the image data by the vehicle number recognition imaging means based on the detection of the license plate, the vehicle number data is stored, and the vehicle number data is superimposed on the image data to be output. Means. Since vehicle number data as character data is superimposed on image data to be output, it is convenient for post-processing.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of a vehicle image pickup apparatus according to the present invention will be described below in detail with reference to the drawings.
[0026]
[Embodiment 1]
FIG. 1 is a block diagram showing an electrical configuration of the vehicle imaging apparatus according to the first embodiment. In FIG. 1, reference numeral 11 denotes a vehicle number recognition camera as vehicle number recognition imaging means, 12 denotes a first A / D converter, 13 denotes a first video controller, and 14 denotes a first storage means as temporary storage means. VRAM (video RAM), 15 is a first microprocessor as first arithmetic processing means, 21 is a vehicle front-side imaging camera as vehicle front-side imaging means, 22 is a second A / D converter, 23 Is a second video controller, 24 is a second VRAM as temporary storage means, 28 is a second microprocessor as second arithmetic processing means, 31 is a timing signal generating circuit as timing means, and 41 is for output The third video controller, 42 is an image synthesis circuit, 43 is an image compression circuit, 44 is a D / A converter, 45 is a modulation circuit, and 46 is a transmission circuit. Each of these components is connected as shown in the figure. The vehicle number recognition camera 11 is a progressive (non-interlaced (sequential scanning)) monochrome camera with a high resolution and a narrow angle of view, and a license plate on the front (front) of the vehicle traveling on the road side or on the road side. It is installed at a depression angle suitable for imaging and is always in an imaging state. The first A / D converter 12 converts an analog video signal imaged by the vehicle number recognition camera 11 into digital image data. The first video controller 13 writes the image data for one frame input from the first A / D converter 12 to the first VRAM 14 under the control of the first microprocessor 15, Data is erased. The first microprocessor 15 mainly detects the license plate of the vehicle, and after sequentially scanning the image data for one frame stored in the first VRAM 14 and performing differential processing in the horizontal scanning direction. Binary detection is performed to detect edges along the vertical direction. When the number of edges within a predetermined width in the horizontal scanning direction is within a predetermined range, a license plate candidate line is detected. When a predetermined number continues, a license plate detection signal Sn is output to the second microprocessor 28, and character recognition is performed on the detected image data in the license plate area to store the vehicle number data Dn in an internal RAM (randomly). (Access memory). The vehicle front image pickup camera 21 has a lower resolution than the vehicle number recognition camera 11 but has a wider angle of view, and is a progressive method capable of color image pickup of the vehicle in a state where the driver and the license plate are combined. This color camera is installed at a depression angle suitable for imaging the front part of the vehicle traveling on the road side or on the road side. The depression angle is shallower than the vehicle number recognition camera 11. The field of view of the vehicle front portion imaging camera 21 partially overlaps the field of view of the vehicle number recognition camera 11. The vehicle front surface imaging camera 21 is set in an imaging start state by a trigger signal Strg which is an imaging start command from the second microprocessor 28 based on the license plate detection signal Sn from the first microprocessor 15. is there. The second A / D converter 22 includes three A / D converters 22a, 22b, and 22c of R, G, and B, each of R, G, and B captured by the vehicle front-side imaging camera 21. An analog video signal is individually converted into digital image data. The second video controller 23 sends R, G, B image data for one frame input from the second A / D converter 22 to the second VRAM 24 under the control of the second microprocessor 28. Write. The second VRAM 24 includes three ring buffer memories 25, 26, and 27 for R, G, and B, and each of the ring buffer memories 25, 26, and 27 has eight frames from # 1 to # 8, respectively. Frame buffer memory 25 (# 1) to 25 (# 8), 26 (# 1) to 26 (# 8), 27 (# 1) to 27 (# 8). The third video controller 41 for output is controlled by the first and second microprocessors 15 and 28, reads the vehicle number data Dn from the RAM of the first microprocessor 15, and the ring buffer memories 25, 26 and 27. One frame buffer memory 25 # (#i), 26 (#i), and 27 (#i) from each of the 8 in the range including the license plate and the driver 1 each frame of R, G, B The image data Dr, Dg, and Db are read out. The image composition circuit 42 synthesizes image data for one frame each of R, G, and B from the frame buffer memories 25 (#i), 26 (#i), and 27 (#i) to generate color image data. The vehicle number data Dn read from the first microprocessor 15 is superimposed. The image data synthesized in this way is image data in a state in which the driver, the license plate, and the vehicle number are combined into one. The image compression circuit 43 performs image compression by a technique such as MPEG, the D / A converter 44 converts image data that has been compressed into an analog video signal, and the modulation circuit 45 converts the analog video signal. The transmitter 46 modulates at a required carrier frequency, and the transmitter circuit 46 transmits a modulated signal to the center via a communication line 47 such as a telephone line.
[0027]
The vertical scanning frequency of the vehicle number recognition camera 11 and the vertical scanning frequency of the vehicle front image capturing camera 21 are the same, and are set to 30 Hz in progressive scanning. In this case, the video rate is 33.3 msec (1000 ÷ 30≈33.3). The timing signal generation circuit 31 externally synchronizes the two cameras, the vehicle number recognition camera 11 and the vehicle front-side imaging camera 21, and sends a common timing signal St to both the cameras 11 and 21. The two cameras 11 and 21 are synchronously controlled. The common timing signal St includes a horizontal drive signal HD, a vertical drive signal VD, a horizontal blanking signal HBL, a vertical blanking signal VBL, a horizontal synchronizing signal HS, a vertical synchronizing signal VS, and a burst flag BF.
[0028]
Next, the operation of the vehicle imaging device of the first embodiment configured as described above will be described. The vehicle number recognition camera 11 and the first A / D converter 12 are always in an operating state, and an analog video signal of a road condition obtained by imaging with the vehicle number recognition camera 11 is a first A / D conversion. The digital image data is converted by the device 12. One frame of image data is written into the first VRAM 14 by the first video controller 13 controlled by the first microprocessor 15. The first microprocessor 15 sequentially scans the image data for one frame stored in the first VRAM 14 to perform differential processing in the horizontal scanning direction, and then binarizes it to detect edges along the vertical direction. When the number of edges within a predetermined width in the horizontal scanning direction is within a predetermined range, a license plate candidate line is selected, and when a predetermined number of license plate candidate lines continue in the vertical scanning direction, the license plate detection signal Sn is Output to the second microprocessor 28. The first microprocessor 15 performs character recognition on the detected image data in the license plate area to obtain the vehicle number data Dn, and stores it in the internal RAM.
[0029]
The color vehicle front surface imaging camera 21 is always in an imaging state, but the second A / D converter 22 and the second video controller 23 are always in an inactive state. When the second microprocessor 28 receives the license plate detection signal Sn from the first microprocessor 15, the second microprocessor 28 receives the vehicle front image pickup camera 21, the second A / D converter 22, and the second video controller 23. Then, a trigger signal Strg indicating that a license plate is detected is given. Thereby, the A / D converters 22a, 22b, and 22c of R, G, and B respectively start A / D conversion for the R, G, and B video signals from the vehicle front-side imaging camera 21. The video signal to be subjected to A / D conversion is a video signal of the front part of the vehicle including the license plate. At this time, the camera 21 for imaging the front part of the vehicle so as to be a video signal in a range including the license plate and the driver as much as possible. Installation conditions (height, angle of view, depression angle, etc.) are defined. The R / G / B digital image data for one frame subjected to A / D conversion is subjected to ring buffer memories 25 and 26 in the second VRAM 24 by the second video controller 23 controlled by the second microprocessor 28. , 27 are written in the frame buffer memory 25 (#i), 26 (#i), 27 (#i) of the same order.
[0030]
The timing signal generation circuit 31 provides a timing signal St including a common vertical synchronization signal / horizontal synchronization signal to the vehicle number recognition camera 11 and the vehicle front surface imaging camera 21. Similarly, a common timing signal St is given to the first A / D converter 12 and the second A / D converter 22 (A / D converters 22a, 22b, and 22c), and the first video is output. A common timing signal St is also given to the controller 13 and the second video controller 23. Further, a common reference clock signal is supplied to the first microprocessor 15 and the second microprocessor 28. The image data stored in the first VRAM 14 and the image data stored in the second VRAM 24 are synchronized with just. This is shown in FIG.
[0031]
FIG. 2A shows image data captured by the vehicle number recognition camera 11 and A / D converted. Vsync1 is a vertical synchronizing signal given from the timing signal generation circuit 31, and DVa (t0), DVa (t1)... Are image data for one frame at times t0, t1. Vn (t0), Vn (t1)... Are license plate image data areas that are included in the image data DVa (t0), DVa (t1)... And are recognized by license plate recognition processing from edge detection. It is assumed that the license plate image data area Vn (t0) is included for the first time in the image data DVa (t0) at time t0 in one frame period. When the license plate is recognized, the license plate detection signal Sn (t0) is output from the first microprocessor 15 to the second microprocessor 28 immediately before the next vertical synchronization signal Vsync1, as shown in FIG. Is done. Based on this, the second microprocessor 28 outputs the trigger signal Strg (t1) for the next frame shown in FIG.
[0032]
FIG. 2 (e) is imaged by the vehicle front-side imaging camera 21 and A / D converted by the second A / D converter 22 driven by the input of trigger signals Strg (t1), Strg (t2). Image data is shown. Vsync2 is a vertical synchronizing signal, and DVb (t1), DVb (t2)... Are image data for one frame at times t1, t2,. The vertical synchronization signal Vsync2 of the vehicle front image pickup camera 21 is supplied from the timing signal generation circuit 31 and is exactly the same as the vertical synchronization signal Vsync1 of the vehicle number recognition camera 11. Both vertical synchronization signals Vsync1 and Vsync2 have the same generation source in the timing signal generation circuit 31, and are always perfectly synchronized. Since they are exactly the same, they are denoted as a common vertical synchronization signal Vsync0 by using a common code with Vsync0. The image data DVb (t1), DVb (t2)... A / D converted and stored in the second VRAM 24 is a vehicle front image in a range including the license plate and the driver. Since the license plate image data area Vn (t0) is included in the image data DVa (t0) at time t0 by the vehicle number recognition camera 11, a license plate detection signal Sn (t0) is output. Based on the generated trigger signal Strg (t1), the image data DVb (t1) at time t1 after one frame period by the vehicle front-side imaging camera 21 is stored in the second VRAM 24 in the memory rank # 1.
[0033]
FIG. 3 shows how image data is stored in the three ring buffer memories 25, 26, and 27 constituting the second VRAM 24. That is, R image data Dr (t1) is stored in the frame buffer memory 25 (# 1) of the ring buffer memory 25, and G image data Dg (t1) is stored in the frame buffer memory 26 (# 1) of the ring buffer memory 26. The B image data Db (t1) is stored in the frame buffer memory 27 (# 1) of the ring buffer memory 27. The vehicle number data Dn is stored in the RAM of the first microprocessor 15. In addition, since the license plate image data area Vn (t1) is included in the image data DVa (t1) at the time t1 by the vehicle number recognition camera 11, the license plate detection signal Sn (t1) is output. In response to the trigger signal Strg (t2) generated in this manner, the image data DVb (t2) at time t2 after one frame period by the vehicle front-side imaging camera 21 is stored in the second VRAM 24 in the memory rank # 2. That is, the R image data Dr (t2) is stored in the frame buffer memory 25 (# 2) with the memory rank # 2, the G image data Dg (t2) is stored in the frame buffer memory 26 (# 2), and the B Image data Db (t2) is stored in the frame buffer memory 27 (# 2).
[0034]
Thus, as long as the license plate image data area Vn (ti-1) is included in the image data DVa (ti-1) at time ti-1 by the vehicle number recognition camera 11, it is determined by the vehicle front-side imaging camera 21. Image data DVb (ti) at time ti after one frame period is stored in the second VRAM 24 in memory order #i. That is, the R image data Dr (ti) is stored in the frame buffer memory 25 (#i) having the memory order #i, the G image data Dg (ti) is stored in the frame buffer memory 26 (#i), and B Image data Db (ti) is stored in the frame buffer memory 27 (#i). When the storage up to the eighth frame buffer memory 25 (# 8), 26 (# 8), 27 (# 8) is performed, the image data of the next frame is stored in the first frame buffer memory 25 (# 1), Overwriting is performed at 26 (# 1) and 27 (# 1). Thereafter, the data are sequentially stored in a cyclic manner.
[0035]
As shown in FIG. 2, when the license plate image data area is not included in the image data DVa (tj-1) at time tj-1 in one frame period by the vehicle number recognition camera 11, the first microprocessor is used. 15 outputs the vehicle passing signal Sp to the second microprocessor 28. The second microprocessor 28 that has received the vehicle passing signal Sp does not output the trigger signal Strg. Therefore, the A / D converters 22a, 22b, and 22c and the second video controller 23 are returned to the inactive state. The image data is not taken into the ring buffer memory 25 at time tj in the next one frame cycle. The memory rank # j-1 of the frame buffer memory 25 (# j-1), 26 (# j-1), 27 (# j-1) corresponding to the time tj-1 immediately before the time tj is determined. Then, a confirmation signal Sd is generated and sent to the first microprocessor 15. The second microprocessor 28 then determines the three frame buffer memories 25 (# j-1), 26 (# j-1), and 27 (# j-) of R, G, and B in the determined memory order # j-1. The process proceeds from 1) to the process of sending the image data to the image composition circuit 42, respectively. The first microprocessor 15 that has received the confirmation signal Sd proceeds to a process of sending the vehicle number data Dn stored in the RAM to the image composition circuit 42. In other words, the second microprocessor 28 sends the read enable signal Sr2 to the third video controller 41 for output immediately after the generation and transmission of the confirmation signal Sd, and the first microprocessor 15 sends the third enable signal immediately after the input of the confirmation signal Sd. The read enable signal Sr1 is sent to the video controller 41. When the third video controller 41 receives both read enable signals Sr1 and Sr2, the second VRAM 24, that is, the frame buffer of the determined memory rank # j-1 in the R, G, and B ring buffer memories 25, 26, and 27 The memories 25 (# j-1), 26 (# j-1), 27 (# j-1) are sequentially accessed to obtain image data Dr (tj-1), Dg (tj-1), Db (tj- 1) are sequentially read and combined. The synthesized image data is color data, and the driver and number plate are combined into one. Next, the third video controller 41 accesses the RAM of the first microprocessor 15 to read the vehicle number data Dn, which is character data, and superimposes it on the color composite image data. The image compression circuit 43 compresses the color image data in a state where the driver, the license plate, and the vehicle number are combined into one, converts it to an analog video signal by the D / A converter 44, and modulates it by the modulation circuit 45. Then, the signal is transmitted from the transmission circuit 46 to the center via the communication line 47.
[0036]
Next, the sequential operation of the first and second microprocessors 15 and 28 will be logically described. First, the sequential operation of the first microprocessor 15 corresponding to the vehicle number recognition camera 11 will be described based on the flowchart of FIG. The MPU in the first microprocessor 15 waits for the input of the timing signal St from the timing signal generation circuit 31 in step S1 and proceeds to step S2, and receives the image data VDa for one frame via the first video controller 13. 1 is stored in the VRAM 14 by overwriting. In step S3, the first VRAM 14 is scanned to perform edge extraction, the edge data extracted in step S4 is stored in the RAM, license plate extraction is performed in step S5, and whether or not the license plate can be extracted in step S6. to decide. When the vehicle has not yet reached the predetermined position in the field of view of the vehicle number recognition camera 11, the license plate is not extracted. If it is determined that the license plate has not been extracted, the process proceeds to step S7 to determine whether or not the flag Fn indicating that the license plate has been detected is set (Fn = 1?). In this case, since the flag Fn has not been set yet, the process proceeds to step S8, the edge data is cleared from the RAM, and then the process returns to step S1. When it is determined in step S6 that the license plate has been extracted, the process proceeds to step S9 where a license plate detection signal Sn is generated and sent to the second microprocessor 28. In step S10, it is determined whether or not a flag Fn indicating that a license plate has been detected is set. At first, since the flag Fn is not set, the process proceeds to step S11, character recognition is executed for the edge data in the RAM to extract the vehicle number data Dn, and the extracted vehicle number data Dn is stored in the RAM in step S12. In step S13, a flag Fn indicating that a license plate has been detected is set (Fn ← 1), and then the process returns to step S1. In general, once a license plate is detected, the number plate is similarly detected for several frames. That is, the process proceeds with steps S1 to S10. This is affirmative in step S10, skipping steps S11, S12, and S13 and returning to step S1. During this time, the same vehicle number data Dn is held in the RAM. If the license plate is not detected in step S6 after detecting the license plate, the process proceeds to step S7 to determine whether or not the flag Fn indicating that the license plate has been detected is set. Since the flag Fn is set, the process proceeds to step S14, a vehicle passing signal Sp is generated and sent to the second microprocessor 28, and the flag Fn indicating that the license plate has been detected is cleared to zero in step S15 (Fn ← 0). The confirmation signal Sd is sent to the first microprocessor 15 at step T18 in the sequential operation (FIG. 5) of another second microprocessor 28, which will be described later. In step S17, the process waits for the input of the confirmation signal Sd and proceeds to step S17 to send the read enable signal Sr1 to the third video controller 41 for output. In step S18, the access from the third video controller 41 is awaited. In step S19, the vehicle number data Dn is sent from the RAM to the image composition circuit 42. In step S20, the read end signal Send1 is input from the third video controller 41. In step S21, the edge data and the vehicle number data Dn are cleared from the RAM, and the process returns to step S1.
[0037]
Next, the sequential operation of the second microprocessor 28 corresponding to the vehicle front surface imaging camera 21 will be described based on the flowchart of FIG. The MPU in the second microprocessor 28 waits for the input of the license plate detection signal Sn from the first microprocessor 15 in step T1. If there is no input, the process proceeds to step T2 to determine whether or not the flag Ft indicating that the timer has been started is set (Ft = 1?). However, since it is not set here, the process returns to step T1. If the determination in step T1 is affirmative, the process proceeds to step T3, in which the vehicle front image capturing camera 21, the second A / D converter 22 (A / D converters 22a, 22b, 22c) and the second A trigger signal Strg with license plate detection is output to the video controller 23. In step T4, the input of the timing signal St from the timing signal generation circuit 31 is waited for, and the process proceeds to step T5, where a timer is started, and in step T6, a flag Ft indicating that the timer has been started is set (Ft ← 1). At T7, the image data VDb for one frame is taken in via the second video controller 23. That is, the image data VDb is R, G, and B image data Dr, Dg, and Db captured by the vehicle front-side imaging camera 21 and digitally converted by the A / D converters 22a, 22b, and 22c. At step T8, i is taken as a suffix variable i, and the frame buffer memories 25 (#i), 26 (#i), and 27 (#i) having the memory rank #i of the ring buffer memories 25, 26, and 27 are loaded. Write R, G, B image data Dr, Dg, Db for the frame. Since writing to the memory rank #i has been performed, the suffix variable i is incremented (i ← i + 1) in preparation for writing to the memory rank # i + 1 in step T9. In order to compensate for the cyclic use of the ring buffer memory, it is determined whether or not the suffix variable i after the increment is “9” or more in step T10, and if it is “8” or less, it is left as it is. When the value is "9" or more, the process proceeds to step T11, and the suffix variable i is returned to "1" (i ← 1). That is, the memory rank # 1 is set after the memory rank # 8. After making such adjustments, the process returns to step T1.
[0038]
As long as the license plate detection signal Sn is sent from the first microprocessor 15, steps T1 to T11 are repeatedly executed. As a result of this repetition, as long as the license plate detection signal Sn is present, the ring buffer memories 25, 26 and 27 sequentially add the image data Dr, Dg and Db for one frame to the corresponding frame buffer memory 25 ( Write to # 1), 26 (# 1), 27 (# 1). In this repetition, the timer start in step T5 is restarted from the beginning. In this repetition, the following routine is passed. If no license plate detection signal Sn is input in step T1, the process proceeds to step T2. In step T2, it is determined whether or not the flag Ft indicating that the timer has been started is set. However, since it is already set, the process proceeds to step T12. In step T12, it is determined whether or not the time is up. The predetermined time To for the time up is a time slightly exceeding the video rate of 33.3 msec as shown in FIG. That is, it is determined that the license plate detection signal Sn is not input even after the timing of the next vertical synchronization signal Vsync1 (common vertical synchronization signal Vsync0) has elapsed. The process returns to step T1 until the time is up, but when the time is up, it is assumed that the license plate candidate image area of the vehicle has passed through the imaging screen of the vehicle number recognition camera 11, and the process proceeds to step T13 to clear the flag Ft to zero. (Ft ← 0), the process waits for the input of the vehicle passing signal Sp from the first microprocessor 15 in step T14, and proceeds to step T15. In step T15, it is determined whether or not the suffix variable i is “1”. If it is not “1”, the process proceeds to step T16 to decrement the suffix variable i (i ← i−1). When = 1, the process proceeds to step T17 to set "8" to the suffix variable i.
[0039]
The meanings of steps T15 to T17 are as follows. As already described in FIG. 2, when the license plate image data area no longer is included in the image data DVa (tj-1) at time tj-1 in one frame period by the vehicle number recognition camera 11, the license plate detection signal Sn is not output, but the vehicle passing signal Sp is output instead, and the image data is not written to the ring buffer memories 25, 26, and 27 at the time tj in the next one frame period, and the time tj Image data Dr, Dg of R, G, B from frame buffer memory 25 (# j-1), 26 (# j-1), 27 (# j-1) corresponding to time tj-1 immediately before , Db. The above steps T15 to T17 are executed to determine the memory order # j-1 for the reading. If the suffix variable i is not “1” but any one of “2” to “8”, step T16 is performed in order to set each one to a younger memory rank. When the suffix variable i is “1”, the memory order that is one younger than that is the last “8”.
[0040]
In step T18, the second microprocessor 28 generates a determination signal Sd which means that the memory order #i storing the image data to be read out of the ring buffer memories 25, 26 and 27 has been determined. To the microprocessor 15. Then, the image data Dr, Dg, Db of the three frame buffer memories 25 (#i), 26 (#i), 27 (#i) of R, G, B of the determined memory order #i are converted into an image composition circuit 42. Proceed to the process of sending to That is, in step T19, the read enable signal Sr2 is sent to the third video controller 41 for output. Waiting for access from the third video controller 41 in step T20, the image data Dr, from the frame buffer memories 25 (#i), 26 (#i), 27 (#i) of the memory rank #i determined in step T21 Dg and Db are read out and sent to the image composition circuit 42. In step T22, the process waits for the input of the read end signal Send2 from the third video controller 41 and then proceeds to step T23, where all the image data about the vehicle that has passed is cleared. Therefore, the ring buffer memories 25, 26, and 27 are all cleared, the suffix variable i is initially set to “1” in step T24 (i ← 1), and the process returns to step T1. The reason for clearing all is to ensure reliability so that image data of another vehicle is not erroneously transmitted when the next vehicle is imaged. In a model in which such a malfunction does not occur, steps T23 and T24 may be omitted.
[0041]
Through the above processing, the color composite image read from the ring buffer memories 25, 26, and 27 and combined by the image combining circuit 42 is image data in a state in which the driver / number plate is combined into one. Further, the vehicle number read from the first microprocessor 15 is superimposed on the image data, and the image data is in a state in which the driver, the license plate, and the vehicle number are combined into one.
[0042]
The state of the image data finally obtained in this way is shown in FIGS. FIG. 6 shows the case of 60 km / h, and FIG. 7 shows the case of 120 km / h. By the various timing signals St output from the timing signal generation circuit 31, the vehicle number recognition camera 11 and the vehicle front surface imaging camera 21 are also connected to the first A / D converter 12 and the second A / D. The converter 22 and the first video controller 13 and the second video controller 23 are perfectly synchronized with each other. Therefore, compared with the case where the vehicle traveling speed of FIG. 19 of the conventional technique (prior art proposal) is 60 km / h, the situation shown in FIGS. 19B and 19C cannot occur because it is just synchronization. This corresponds only to FIG. This is shown in FIG.
[0043]
FIG. 6A shows an initial timing at which a license plate recognition process is performed based on image data captured by the vehicle number recognition camera 11 when the traveling speed is 60 km / h. FIG. 6B shows the timing after one frame period from FIG. 6A, and this image data is written in the ring buffer memories 25, 26, and 27. 6B, a range including the license plate 101 and the driver 200 is reflected. Both the tire 102 and the roof 103 are reliably reflected. All the elements of the main front part of the vehicle such as the bumper 104, the headlight 105, the radiator grill 106, the bonnet 107, the side mirror 108, the windshield 109, and the vehicle outer shape 110 are reflected. FIG. 6C shows the timing one frame period after FIG. 6B. In this case, although the tire 102 is partially missing, the vehicle type such as the roof 103, the bumper 104, the headlight 105, the radiator grill 106, the bonnet 107, the side mirror 108, the windshield 109, and the vehicle outer shape 110 is specified as described above. Therefore, all the elements of the front part of the main vehicle are reflected, and the range including the license plate 101 and the driver 200 is reflected. The image data in this case is also written in the ring buffer memories 25, 26, and 27. FIG. 6D shows the timing one frame period after FIG. 6C. In this case, the area of the license plate 101 is out of the screen, and image data is not written to the ring buffer memories 25, 26, and 27. Therefore, the transmitted image data is the image data in FIG. 6C immediately before (one frame before), and the vehicle number 150 is also superimposed on this image data.
[0044]
FIG. 7A shows the initial timing when the license plate recognition process is performed based on the image data captured by the vehicle number recognition camera 11 when the traveling speed is 120 km / h. FIG. 7B shows the timing after one frame period from FIG. 7A, and this image data is written in the ring buffer memories 25, 26 and 27. FIG. 7B corresponds to FIG. Also in this case, a range including the license plate 101 and the driver 200 is reflected, and the tire 102, the roof 103, the bumper 104, the headlight 105, the radiator grill 106, the bonnet 107, the side mirror 108, the windshield 109, the vehicle outer shell. All the elements of the front part of the main vehicle for reflecting the vehicle type such as the shape 110 are reflected. FIG. 7C shows the timing one frame period after FIG. 7B. In this case, the area of the license plate 101 is off the screen, and image data is not written to the ring buffer memories 25, 26, and 27. Therefore, the transmitted image data is the image data in FIG. 7B immediately before (one frame before), and the vehicle number 150 is also superimposed on this image data.
[0045]
[Embodiment 2]
In the second embodiment, when the vehicle passing signal Sp is input, a plurality of pieces of image data are written to the ring buffer memories 25, 26, and 27 instead of adopting the image data of the previous frame. The image data of the middle frame buffer memory between the latest and the oldest of the frame buffer memories is employed. Since the suffix variable i is initially set to “1” in step T24 of FIG. 5, the memory order #i in which the image data is first written in step T8 is always # 1. That is, when capturing the image data of the vehicle, writing is always started from the frame buffer memory 25 (# 1), 26 (# 1), 27 (# 1) of the memory rank # 1. A flowchart in the case of the second embodiment is shown in FIGS. In step T8-1, the counter variable n is incremented (n ← n + 1). As a premise, the counter variable n is initially cleared in step T24-1 (n ← 0). Therefore, when the license plate detection signal Sn is first input and image data for one frame is stored in the frame buffer memory 25 (# 1), 26 (# 1), 27 (# 1) of the memory rank # 1, n = 1. The number of frame buffer memories 25 (#i), 26 (#i), and 27 (#i) used until the vehicle passing signal Sp is input varies depending on the traveling speed of the vehicle. However, the maximum number of frame buffer memories used is eight. When the traveling speed is low, the ring buffer memories 25, 26, and 27 are cyclically used. The frequency increases if there is traffic.
[0046]
FIG. 8 shows the relationship of how the ring buffer memory 25 is used corresponding to the change in the value of the counter variable n. The same applies to the other ring buffer memories 26 and 27. It is assumed that image data in the middle frame buffer memory between the latest and the oldest among the plurality of frame buffer memories in which image data is written to the ring buffer memory 25 is employed. The black dots indicate the memory order that you want to use in each case. When n = 8, all eight frame buffer memories (# 1) to (# 8) are used. When n ≧ 9, it is used cyclically.
[0047]
FIG. 9 shows the relationship between the value of the counter variable n and the value of the suffix variable i to be adopted, based on FIG. When n ≧ 8, a relatively simple regularity is recognized. When 1 ≦ n ≦ 7, it is close to an average relationship. In consideration of this point, in the flowchart of FIG. 10, step T15a is programmed instead of steps T15 to T17 in the flowchart of FIG. This step T15a relates to the process of determining the suffix variable i that determines the frame buffer memory to be adopted, and its specific contents are shown in steps T15-1 to T15-11 in FIG. This will be described below.
[0048]
In step T15-1, the MPU in the second microprocessor 28 determines whether or not n ≦ 7 for the counter variable n. If the result is affirmative, the process proceeds to step T15-2 to calculate the average value variable a. a = (1 + n) / 2. In step T15-3, it is determined whether or not the average value variable a is an integer. When the average value variable a is an integer, the process proceeds to step T15-4 and the content of the average value variable a is set in the suffix variable i (i ← a), and then Proceed to step T18. If it is not an integer, the process proceeds to step T15-5, and the result obtained by adding 0.5 to the average value variable a is set in the suffix variable i (i ← a + 0.5), and then the process proceeds to step T18. For example, when n = 6, a = 3.5 and i = 3.5 + 0.5 = 4. This is in line with FIG. When n = 7, a = 4 and i = 4. This is in line with FIG.
[0049]
If the determination in step T15-1 is negative, the process proceeds to step T15-6, and a determination of 8 ≦ n ≦ 11 is performed. If the determination is affirmative, the process proceeds to step T15-7 and 3 is subtracted from the counter variable n. The result is set in the suffix variable i (i ← n−3), and then the process proceeds to step T18. This corresponds to n = 8 to 11 in FIG. If the determination in step T15-6 is negative and n ≧ 12, the process proceeds to step T15-8, and the result obtained by subtracting 12 from the counter variable n is newly set in the counter variable n (n ← n−12). . Next, in step T15-9, it is determined whether n ≦ 7. If negative, the process proceeds to step T15-10, and the result obtained by subtracting 8 from the counter variable n is newly set in the counter variable n, and again. It returns to step T15-9. That is, the process of subtracting 8 from n is repeated until the result becomes 7 or less. When the determination of n ≦ 7 in step T15-9 becomes affirmative, the process proceeds to step T15-11, and the result obtained by adding 1 to the counter variable n is set to the suffix variable i (i ← n + 1), and then the step Proceed to T18.
[0050]
For example, in the case of n = 16 in FIG. 9, it is −12 at step T15-8 and becomes 4 and is incremented by 1 at step T15-6 and becomes 5 as expected. Further, for example, in the case of n = 20 in FIG. 9, it is −12 at step T15-8 and becomes 8, then it is −8 and becomes 0 at step T15-10, and is incremented by 1 at step T15-6. It becomes street one. Further, for example, in the case of n = 25 in FIG. 9, in step T15-8, it is -12 and becomes 13, and in step T15-10 it is -8 and becomes 5, and in step T15-6 it is incremented by 1 and is expected. It becomes 6 of the street.
[0051]
As described above, in the second embodiment, when the traveling speed of the vehicle is relatively slow, especially when there is a traffic jam, in each of the R, G, B ring buffer memories 25, 26, 27. A plurality of frame buffer memories 25 (# 1) to 25 (# 8), 26 (# 1) to 26 (# 8), and 27 (# 1) to 27 (# 8) in which image data is written The most recent and oldest middle frame buffer memory image data can be used, and the optimal image data with the driver, license plate, and vehicle number combined can be adopted. it can.
[0052]
[Embodiment 3]
The third embodiment relates to a modification of a method of determining image data to be finally adopted among a plurality of image data for one frame stored in a plurality of frame buffer memories. That is, the image data in which the road surface is reflected in the lower area of the screen in the predetermined area range on the image data is determined as the image data to be adopted.
[0053]
The three image data shown in FIGS. 12A, 12 </ b> B, and 12 </ b> C reflect the range including the license plate 101 and the driver 200. Tire 102, roof 103, bumper 104, headlight 105, radiator grill 106, bonnet 107, side mirror 108, windshield 109, vehicle outer shape 110, etc. It is rare. When all of these three image data (a), (b), and (c) are stored in the ring buffer memory, it becomes a problem which one is determined as the image data to be adopted. In the present embodiment, the determination is made on the condition that the road surface is reflected in a predetermined area range at a position in front of the vehicle on the screen. In the figure, a halftone dot is a road surface area 300 below the vehicle. Of the three, FIG. 12B is the most preferable layout. In the case of FIGS. 12A and 12C, the layout is inferior to that of FIG. 12B, and the area of the former road surface area 300 exceeds the upper limit of the predetermined area range. The area is less than the lower limit of the predetermined area range.
[0054]
The principle will be described with reference to FIG. In the image data VDb (#j) for one frame, a search unit area window Axy based on coordinates (x, y) is opened in a region below the license plate image data region Vn (#j). An average value μxy and a standard deviation σxy of luminance values in the search unit area window Axy are obtained. When the average value μxy of the luminance values is in the reference average luminance value range μd to μu indicating the road surface, and the standard deviation σxy of the luminance value is in the reference luminance standard deviation range σd to σu indicating the road surface, the search unit The area window Axy is counted up as significant. The search unit area window Axy is first scanned in the horizontal direction, and when it reaches the end in the x direction, it is scanned in the vertical direction. In such repetition, a road surface area that is significantly counted up is included in a predetermined area range as a candidate. Of the candidates, the one whose road surface area is closest to the optimum value is set as the final candidate.
[0055]
The operation of the third embodiment will be described below based on the flowcharts of FIGS. In the flowchart of FIG. 14, step T16a is programmed instead of steps T15 to T17 in the flowchart of FIG. This step T16a relates to the process of determining the suffix variable i that determines the frame buffer memory to be adopted, and its specific contents are shown in steps T16-1 to T16-20 in FIG. This will be described below.
[0056]
In step T16-1, the MPU in the second microprocessor 28 synthesizes the image data Dr, Dg, Db of the frame buffer memory 25 (#j), 26 (#j), 27 (#j) of the memory rank #j. The license plate image data area Vn (#j) of the image data VDb (#j) is determined. In step T16-2, an image area below the license plate image data area Vn (#j) in the image data VDb (#j) is set as a search target area, and a search unit area window Axy is set in the search target area. Set. Note that the memory ranking #j is # 1 for the first time, and the coordinates (x, y) in the search unit area window Axy are coordinates with the upper left corner of the search target area as the origin. In step T16-3, an average value μxy of luminance values in the search unit area window Axy is obtained, and in step T16-4, a standard deviation σxy of luminance values in the same window Axy is obtained. In step T16-5, it is determined whether or not the average value μxy is within the reference average luminance value range μd to μu (μd ≦ μxy ≦ μu). In step T16-6, it is determined whether or not the standard deviation σxy is within the standard luminance standard deviation range σd to σu (σd ≦ σxy ≦ σu). When both are satisfied, the process proceeds to step T16-7, and the road surface area variable qj is incremented (qj ← qj + 1). The initial value of the road surface area variable qj is 0 at step T16-20. When either one is not established, Step T16-7 is skipped. In step T16-8, the x coordinate is incremented, and in step T16-9, it is determined whether or not the x coordinate is the end. If not, the process returns to step T16-1. The window Axy is scanned in the horizontal direction in steps T16-8 and T16-9. When the x coordinate reaches the end, the process proceeds to step T16-10 to return the x coordinate to the initial value, the y coordinate is incremented at step T16-11, and it is determined whether the y coordinate is the end at step T16-12. If it is not the termination, the process returns to step T16-1. In steps T16-11 and T16-12, the vertical scanning of the window Axy is performed. By repeating the above routine until the y coordinate reaches the end, if it becomes significant, the road surface area variable qj is incremented in step T16-7. When the y coordinate reaches the end, the process proceeds to step T16-13 to return the y coordinate to the initial value, and in step T16-14, it is determined whether all the suffix variables j specifying the memory rank #j have been tried. When all the tries have not been completed, the process proceeds to step T16-15 to increment the suffix variable j (j ← j + 1), and returns to step T16-1. Thus, the same road surface area variable qj is incremented for the image data VDb (#j) for the next one frame. When all the suffix variables j have been tried, the process proceeds to step T16-16, and the road surface area variables qj for a plurality of suffix variables j are extracted as candidates within the predetermined area range qd to qu. Among the candidates extracted in step T16-17, the road surface area variable qj closest to the optimum value qbest is selected as the final candidate, and in step T16-18, the road area variable qj corresponding to the optimum value qbest is selected. The suffix variable j for the memory rank #j is determined. In step T16-19, the contents of the suffix variable j are set in the suffix variable i. In step T16-20, the road surface area variable qj is cleared to zero (qj ← 0), and then the process proceeds to step T18.
[0057]
As described above, in the third embodiment, a plurality of frame buffer memories 25 (# 1) to 25 are written with image data in each of the R, G, and B ring buffer memories 25, 26, and 27. 25 (# 8), 26 (# 1) to 26 (# 8), 27 (# 1) to 27 (# 8), the driver, the license plate, and the vehicle number are combined into one, and the lower side of the vehicle It is possible to employ optimal image data in a state in which the road surface appears moderately at the location.
[0058]
Although three embodiments have been described above, the present invention includes the following configurations.
[0059]
(1) In the above-described embodiment, the vehicle front-side imaging camera 21 is a color camera, but it may be a monochrome camera instead. In this case, in FIG. 1, the second A / D converter 22 may be a single A / D converter, and the second VRAM 24 only needs to have a single ring buffer memory.
[0060]
(2) Although two microprocessors are used in the above embodiment, they may be combined into one microprocessor.
[0061]
(3) Although the vehicle number data Dn is extracted from the edge data and superimposed on it in the above embodiment, the extraction of the vehicle number data may be omitted. In this case, when the vehicle front-side imaging camera 21 is a monochrome camera as in (2), the image composition circuit 42 is omitted.
[0062]
(4) In the above embodiment, the video rate is 33.3 msec. However, it may be 16.7 msec of double speed or another video rate instead.
[0063]
(5) Although the number of frame buffer memories constituting the ring buffer memory is eight, it goes without saying that this is only an example, such as camera performance, angle of view, deep, depth of focus, vehicle speed limit, etc. What is necessary is just to determine suitably according to conditions. The higher the video rate, the smaller the number of frame buffer memories. The minimum is considered to be two.
[0064]
(6) Although not within the spirit of the present invention, when the video rate is as high as 16.7 msec, the asynchronous type may be allowed.
[0065]
(7) The resolutions of the two cameras may be the same.
[0066]
【The invention's effect】
According to the present invention for a vehicle imaging device,Since the vehicle passing signal timing based on the absence of the license plate detection signal is a common synchronization signal, the timing of the image data to be output is always constant regardless of the vehicle traveling speed, and the license plate And imaging of the vehicle in the range including the driver is ensured.In addition, by outputting image data to be output in a state in which the area of the road surface area is appropriately secured on the lower side of the screen, a vehicle image in a range including a license plate and a driver is convenient for human visual confirmation. It becomes. Moreover, post-processing can be conveniently performed by superimposing the vehicle number data.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an electrical configuration of a vehicle imaging device according to a first embodiment of the present invention.
FIG. 2 is a timing chart of image data in the first embodiment.
3 is an explanatory diagram of a ring buffer memory in the case of Embodiment 1. FIG.
FIG. 4 is a flowchart showing the operation of the first microprocessor according to the first embodiment;
FIG. 5 is a flowchart showing the operation of the second microprocessor according to the first embodiment;
6 is an explanatory diagram of image data when the vehicle traveling speed is relatively low in Embodiment 1. FIG.
7 is an explanatory diagram of image data when the vehicle traveling speed is relatively high in the first embodiment. FIG.
FIG. 8 is an explanatory diagram of how the ring buffer memory is used to explain the technical basis of the second embodiment;
FIG. 9 is a relationship diagram of counter variable values based on FIG. 8 and suffix variable values to be adopted.
FIG. 10 is a flowchart showing the operation of the second microprocessor according to the second embodiment;
FIG. 11 is a flowchart showing the operation of the second microprocessor of the second embodiment (main part of FIG. 10).
FIG. 12 is an explanatory diagram of the technical background of the third embodiment.
FIG. 13 is a diagram for explaining the principle of the third embodiment.
FIG. 14 is a flowchart showing the operation of the second microprocessor according to the third embodiment;
FIG. 15 is a flowchart showing the operation of the second microprocessor of the third embodiment (main part of FIG. 14).
FIG. 16 is an explanatory diagram of an imaging state when two cameras according to the prior art proposed by the present inventor are used.
FIG. 17 is a timing chart of image data in the case of the prior proposal technique.
FIG. 18 is an interrelation diagram of the field of view of two cameras in the case of the prior proposed technique.
FIG. 19 is an explanatory diagram showing a synchronization shift when the vehicle traveling speed is relatively low in the case of the prior proposed technique.
FIG. 20 is an explanatory diagram of inconvenience due to a synchronization shift when the vehicle traveling speed is relatively high in the case of the prior proposed technique.
FIG. 21 is an explanatory diagram showing a state in which a vehicle license plate is imaged in the prior art.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 11 ... Camera for vehicle number recognition, 13 ... 1st video controller, 14 ... 1st VRAM, 15 ... 1st microprocessor, 21 ... Camera for imaging a vehicle front part, 23 ... 2nd Video controller, 24... Second VRAM, 25... R (red) ring buffer memory, 26... G (green) ring buffer memory, and 27... B (blue) ring buffer memory. , 28... Second microprocessor, 31... Timing signal generation circuit, 41... Third video controller, 42... Image synthesis circuit, 43. Transmission circuit 47 .. communication line 100... Vehicle 101. License plate 102. Tire 103 103 roof 104 bumper 105 headlight 106 ... radiator grill, 107 ... bonnet, 108 ... side mirror, 109 ... windshield, 110 ... vehicle outer shape, 150 ... vehicle number, 200 ... driver, 300 ... road surface area, Sn ... number Plate detection signal, St... Timing signal, Strg... Trigger signal, Sp .. Vehicle passing signal, Sd... Confirmation signal, Sr1, Sr2. , DVb... Image data from the vehicle front image pickup camera, Vn... License plate image data area, Vsync0... Common vertical synchronization signal, Vsync1. Vertical synchronization signal for imaging camera

Claims (5)

常時撮像状態でありプログレッシブ方式で道路を走行する車両のナンバープレートを撮像するために必要な解像度と画角を備えて設置される車両番号認識用撮像手段と、
この車両番号認識用撮像手段と視野が一部重なる状態で、プログレッシブ方式で運転者とナンバープレートとを含む車両の正面部を撮像するために必要な解像度と画角を備えて設置される車両正面部撮像手段と、
前記車両番号認識用撮像手段による画像データからナンバープレートを検出する手段と、
ナンバープレート検出信号の入力のたびに前記車両正面部撮像手段を駆動する手段と、
前記車両番号認識用撮像手段と車両正面部撮像手段とに対して共通の同期信号を与えるタイミング手段とを備え、
さらに前記車両正面部撮像手段を駆動して得られた車両正面部画像データを順次に格納する一時記憶手段と、
ナンバープレート検出信号がなくなることに基づく車両通過済み信号を入力したときに前記一時記憶手段から所要の車両正面部画像データを出力する画像出力手段と、を備えている車両撮像装置。Vehicle number recognition imaging means installed with the resolution and angle of view necessary for imaging a license plate of a vehicle that is always in an imaging state and traveling on a road in a progressive manner ;
The front of the vehicle is installed with the resolution and angle of view necessary for imaging the front of the vehicle including the driver and the license plate in a progressive manner, with the vehicle number recognition imaging means partially overlapping the field of view. Imaging means,
Means for detecting a license plate from image data by the vehicle number recognition imaging means;
Means for driving the vehicle front image pickup means each time a license plate detection signal is input ;
Timing means for providing a common synchronization signal to the vehicle number recognition imaging means and the vehicle front-side imaging means ,
Further, temporary storage means for sequentially storing vehicle front part image data obtained by driving the vehicle front part imaging means ,
A vehicle imaging apparatus comprising: image output means for outputting required vehicle front image data from the temporary storage means when a vehicle passing signal based on the absence of a license plate detection signal is input . 画像出力手段は車両通過済み信号を入力したタイミングの直前の車両正面部画像データを出力するものである請求項１に記載の車両撮像装置。The vehicle imaging apparatus according to claim 1 , wherein the image output means outputs vehicle front portion image data immediately before the timing when the vehicle passing signal is input . 画像出力手段は一時記憶手段における最新と最古の間の中位の車両正面部画像データを出力するものである請求項１に記載の車両撮像装置。2. The vehicle imaging apparatus according to claim 1 , wherein the image output means outputs intermediate vehicle front image data between the latest and oldest in the temporary storage means . 画像出力手段は一時記憶手段における車両正面部画像データにおいて画面の下辺部の路面を検出する手段を有し、検出した路面領域面積が所定面積範囲にあるときの車両正面部画像データを出力ものである請求項１に記載の車両撮像装置。The image output means has means for detecting the road surface of the lower side of the screen in the vehicle front part image data in the temporary storage means, and outputs the vehicle front part image data when the detected road surface area is within a predetermined area range. The vehicle imaging device according to claim 1 . ナンバープレートの検出に基づいて車両番号認識用撮像手段による画像データから車両番号データを抽出する手段と、その車両番号データを格納する手段と、出力すべき画像データに車両番号データを重畳する手段とを備えている請求項１から請求項４までのいずれかに記載の車両撮像装置。 Means for extracting the vehicle number data from the image data by the vehicle number recognition imaging means based on the detection of the license plate, means for storing the vehicle number data, and means for superimposing the vehicle number data on the image data to be output; The vehicle imaging device according to any one of claims 1 to 4, further comprising:
JP35442898A 1998-12-14 1998-12-14 Vehicle imaging device Expired - Fee Related JP3606076B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35442898A JP3606076B2 (en) 1998-12-14 1998-12-14 Vehicle imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35442898A JP3606076B2 (en) 1998-12-14 1998-12-14 Vehicle imaging device

Publications (2)

Publication Number Publication Date
JP2000182182A JP2000182182A (en) 2000-06-30
JP3606076B2 true JP3606076B2 (en) 2005-01-05

Family

ID=18437502

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35442898A Expired - Fee Related JP3606076B2 (en) 1998-12-14 1998-12-14 Vehicle imaging device

Country Status (1)

Country Link
JP (1) JP3606076B2 (en)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4820334B2 (en) * 2007-06-28 2011-11-24 三菱電機株式会社 Roadside machine and traffic information providing system using the same
JP5258601B2 (en) * 2009-01-29 2013-08-07 三菱電機株式会社 License plate reader and license plate reading system
JP6093517B2 (en) * 2012-07-10 2017-03-08 三菱重工メカトロシステムズ株式会社 Imaging device adjustment method, imaging device, and program
JP6757258B2 (en) * 2015-01-08 2020-09-16 ソニーセミコンダクタソリューションズ株式会社 Image processing device, imaging device and image processing method
JP2020135406A (en) * 2019-02-20 2020-08-31 沖電気工業株式会社 Recording image data generation device, recording image data generation method and program
JPWO2023053664A1 (en) * 2021-10-01 2023-04-06

Also Published As

Publication number Publication date
JP2000182182A (en) 2000-06-30

Similar Documents

Publication Publication Date Title
CN102387344B (en) Imaging device, imaging system and formation method
US6876380B2 (en) Electronic endoscopic apparatus connectable with electronic endoscope having different number of pixels
KR101132099B1 (en) Vehicle environment monitoring device and car environment monitoring method
US8149229B2 (en) Image apparatus for processing 3D images and method of controlling the same
JP7151234B2 (en) Camera system and event recording system
JP2009206747A (en) Ambient condition monitoring system for vehicle, and video display method
JP3606076B2 (en) Vehicle imaging device
US10672276B2 (en) Image display system and riding device
US20060088188A1 (en) Method for the detection of an obstacle
JP2010028537A (en) Image processing apparatus and recording device
JP2004048455A (en) Image pickup system
JP2004048456A (en) Image pickup system
JPH1132253A (en) Image-processing unit
US20220155459A1 (en) Distance measuring sensor, signal processing method, and distance measuring module
JPH08172620A (en) Image input means for vehicle
JP2004048345A (en) Imaging systems
US20050078185A1 (en) Apparatus for converting images of vehicle surroundings
US5841445A (en) Image displaying apparatus
KR100579029B1 (en) Digital camera
JP3113415B2 (en) Image processing method for in-vehicle imaging device
JP7384343B2 (en) Image processing device, image processing program
US6262774B1 (en) Method and circuit configuration for producing a sequence of progressive images
JP7231092B2 (en) event recording system
JP2003250153A (en) Image synthesizing apparatus
JPH10173973A (en) Image pickup device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040511

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040914

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040927

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071015

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081015

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091015

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101015

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111015

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121015

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees