JP4511750B2 - 車両監視システム - Google Patents
車両監視システム Download PDFInfo
- Publication number
- JP4511750B2 JP4511750B2 JP2001053064A JP2001053064A JP4511750B2 JP 4511750 B2 JP4511750 B2 JP 4511750B2 JP 2001053064 A JP2001053064 A JP 2001053064A JP 2001053064 A JP2001053064 A JP 2001053064A JP 4511750 B2 JP4511750 B2 JP 4511750B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- monitoring range
- unit
- monitoring system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012544 monitoring process Methods 0.000 title claims description 131
- 238000005286 illumination Methods 0.000 claims description 30
- 238000003384 imaging method Methods 0.000 claims description 28
- 230000035945 sensitivity Effects 0.000 claims description 23
- 238000000034 method Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 8
- 238000010191 image analysis Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 239000013307 optical fiber Substances 0.000 description 8
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 6
- 235000016496 Panda oleosa Nutrition 0.000 description 5
- 240000000220 Panda oleosa Species 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Traffic Control Systems (AREA)
- Stroboscope Apparatuses (AREA)
- Cameras In General (AREA)
- Cameras Adapted For Combination With Other Photographic Or Optical Apparatuses (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、高速道路上などを走行している車両のナンバーなどを認識して、車両を監視する車両監視システムに関する。
【０００２】
【従来の技術】
現在、高速道路などでは、ＩＴＳ化により、料金ゲートなどに、車両番号認識装置などを設置し、料金ゲートなどを通過する車両のナンバープレートを撮影させるともに、撮影動作で得られた画像を処理させて、ナンバープレートに刻印されている漢字、仮名、数字を読み取らせるシステムが実用化されている。
【０００３】
【発明が解決しようとする課題】
ところで、近年、このような料金ゲートのみならず、高速道路上の各車線を走行している各車両のナンバーを読み取って、各車両の通行状況をリアルタイムで把握することができるシステムの開発が強く望まれている。
【０００４】
そこで、料金ゲートなどに設けられる車両番号認識装置を使用して、このようなシステムを構築することも試みられているが、このような車両番号認識装置を使用した場合、図１２に示す如く各車両の通行状況を監視するのに必要な視野範囲が狭いのみならず、ナンバー認識可能な最高車両速度が遅すぎて、これをそのまま使用することができないという問題点があった。
【０００５】
ここで、ＥＣＳなどで使用されている車両番号認識装置を使用することも考えられるが、このような車両番号認識装置では、図１２に示す如くアルファベットと、数字しか認識することができないことから、高速道路で、これを使用しても、高速道路上を走行する各車両のナンバーを正確に読み取ることができないという問題点があった。
【０００６】
また、このようなＥＣＳなど使用されている照明装置では、大電流を必要とするキセノン管を使用して、車両をストロボ照明するようにしているので、車両が連続して、通過したとき、充電回路の充電が間に合わなくなり、何台かの車両を照明することができなくなってしまうという問題があった。なお、ＥＣＳでは不正車両のみを撮像しており、本発明では、全通行車両の撮像が要求される。
【０００７】
本発明は、上記に鑑みてなされたものであり、第１に、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、これを検知させて、車両を撮影させ、これら車両のナンバーを認識させることができる車両監視システムを提供することを目的とする。
【０００８】
また、第２に、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、これを確実に検知させて、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる車両監視システムを提供することを目的とする。
【０００９】
また、第３に、車両を運転する運転者などの運転を妨げないようにしながら、霧などにより、監視範囲内の視界が悪い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１０】
また、第４に、夕暮れ時などのように、監視範囲内が暗い場合でも、また監視範囲を照らす照明装置の照度が低い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、高い感度で、この各車両を撮影させて、ナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１１】
また、第５に、撮影装置の部品点数を少なくさせて、自体の価格を低く抑えさせながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１２】
また、第６に、撮影装置自体を小型化、低価格化させながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１３】
また、第７に、夕暮れ時、夜間などのように、監視範囲内が暗い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、短い照明周期で、監視範囲を照明させながら、各車両を撮影させ、ナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するためになされたものであり、請求項１にかかる発明では、車両監視システムは、カメラ装置によって得られた画像を処理して、車両を監視する車両監視システムにおいて、道路上に設けられた監視範囲内を撮影し、この撮影動作で得られた画像信号を処理し、車両の画像が検知されたとき、車両検知信号を生成する車両追跡センサ部と、この車両追跡センサ部から車両検知信号が出力されたとき、前記監視範囲内を撮影して、画像信号を生成するナンバー撮影部と、このナンバー撮影部から出力される画像信号を画像処理して、前記監視範囲内を通過する車両のナンバープレート文字を認識する画像解析装置と、一つの撮像素子の動作モードを切り替えて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子の機能を持たせるプロセッサと、を備え、前記動作モードは、高速フレームレート、遅いシャッター速度で撮像素子を制御し、且つ撮像素子において複数の受光セルを一つの画素として読み出すことにより、車両の検出・追跡を行う追跡モードと、低速フレームレート、速いシャッター速度で撮像素子を制御し、且つ撮像素子において各受光セルをそれぞれ一つの画素として読み出すことにより、車両のナンバープレートを撮影するナンバー撮影モードと、を有することを特徴としている。
【００１５】
上記によれば、カメラ装置によって得られた画像を処理して、車両を監視する車両監視システムにおいて、車両追跡センサ部によって、道路上に設けられた監視範囲内を撮影させ、この撮影動作で得られた画像信号を処理させて、車両の画像が検知されたとき、ナンバー撮影部によって、前記監視範囲内を撮影させて、画像信号を生成させるとともに、画像解析装置によって、前記ナンバー撮影部から出力される画像信号を画像処理させて、前記監視範囲内を通過する車両のナンバープレート文字を認識させることにより、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、これを検知させて、車両を撮影させ、これら車両のナンバーを認識させる。
【００１６】
また、上記の車両監視システムにおいて、前記車両追跡センサ部を構成する撮像素子を高速フレームレート、遅いシャッター速度で動作させ、前記ナンバー撮影部を構成する撮像素子を低速フレームレート、速いシャッター速度で動作させることを特徴としている。
【００１７】
これによれば、前記車両追跡センサ部を構成する撮像素子を高速フレームレート、遅いシャッター速度で動作させ、前記ナンバー撮影部を構成する撮像素子を低速フレームレート、早いシャッター速度で動作させることにより、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、これを確実に検知させて、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させる。
【００１８】
また、上記の車両監視システムにおいて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、近赤外波長域に高い感度を持つ撮像素子を使用させるものとすることができる。
【００１９】
これによれば、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、近赤外波長域に高い感度を持つ撮像素子を使用させることにより、車両を運転する運転者などの運転を妨げないようにしながら、霧などにより、監視範囲内の視界が悪い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させる。
【００２０】
また、上記の車両監視システムにおいて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、広い受光面積を持つ受光セルを使用させるものとすることができる。
【００２１】
これによれば、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、広い受光面積を持つ受光セルを使用させることにより、夕暮れ時などのように、監視範囲内が暗い場合でも、また監視範囲を照らす照明装置の照度が低い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、高い感度で、この各車両を撮影させて、ナンバーを認識させる。
【００２３】
上記発明によれば、一つの撮像素子の動作モードを切り替えて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子の機能を持たせることにより、撮影装置の部品点数を少なくさせて、自体の価格を低く抑えさせながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させる。
【００２４】
また、上記の車両監視システムにおいて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、ライン型撮像素子を使用させるものとすることができる。
【００２５】
これによれば、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、ライン型撮像素子を使用させることにより、撮影装置自体を小型化、低価格化させながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させる。
【００２６】
また、上記の車両監視システムにおいて、前記ナンバー撮影部によって前記監視範囲を撮影するとき、多数のＬＥＤを瞬間的に発光させて得られたストロボ光で、前記監視範囲を照明するＬＥＤ照明装置を備えたものとすることができる。
【００２７】
これによれば、前記ナンバー撮影部によって前記監視範囲を撮影するとき、ＬＥＤ照明装置によって、多数のＬＥＤを瞬間的に発光させて得られたストロボ光で、前記監視範囲を照明させることにより、夕暮れ時、夜間などのように、監視範囲内が暗い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、短い照明周期で、監視範囲を照明させながら、各車両を撮影させ、ナンバーを認識させる。
【００２８】
【発明の実施の形態】
以下、この発明にかかる車両監視システムの実施の形態を、添付図面を参照して詳細に説明する。
【００２９】
（実施の形態１）
図１は、本発明による車両監視システムのうち、請求項１、２、３、４、７に対応する車両監視システムの一実施の形態を示す構成図である。この図に示す車両監視システム１は、高速道路２の各車線３を跨ぐように配置されるガントリ４と、このガントリ４の上部に配置され、高速道路２の各車線３を走行する各車両がガントリ４から所定距離だけ離れた監視範囲５を通過する際、これを検知して、各車両を撮影するカメラ装置６と、ガントリ４の上部に、カメラ装置６と並んで配置され、監視範囲５内を通過中の各車両を照明する照明装置７と、カメラ装置６から出力される送信信号（画像信号を含む信号）を監視室などに導く光ファイバーケーブル８と、図２に示す如く監視室などに配置され、光ファイバーケーブル８を介して供給された送信信号を画像処理して、監視範囲５内を通過する各車両のナンバーを解析する画像解析装置９とを備えており、高速道路２の各車線３を通過する各車両が監視範囲５内を通過するとき、これを検知して、各車両を照明しながら、各車両を撮影するとともに、これによって得られた送信信号を監視室などに配置された画像解析装置９で画像処理させて、各車両のナンバーを解析させる。
【００３０】
カメラ装置６は、図２に示す如く予め設定された所定画角、たとえば約２５度の画角で、高速道路２上に設けられた監視範囲５内の光像を集める大口径レンズ１０と、図３に示す如く既存のＣＣＤ素子を構成する各受光セル１００のサイズ“５．６μｍ×５．６μｍ”より大きめのサイズ、たとえば“１７μｍ×１７μｍ”に形成された受光セル１１を所定数、たとえば図４に示す如く“４００×３００”個だけ、マトリックス状に並べた受光部１２、この受光部１２を構成する各受光セル１１によって得られた電荷を順次、シフトさせて得られた電荷列をデジタル信号に変換する多数のＡ／Ｄ変換素子１３などによって構成され、大口径レンズ１０によって集められた光像の各画素を電気信号（画像信号）に変換する撮像素子１４（たとえば、ＣＭＯＳ撮像素子）とを備えている。
【００３１】
さらに、この撮像素子１４を制御して、所定のフレームレート、所定のシャッター速度、たとえば図７に示す如く高いフレームレート、“１／１００秒”程度のシャッター速度で、光像を構成する各画素を電気信号に変換させ、この変換処理で得られた画像信号を取り込むとともに、２値化画像処理、微分処理などの高速アルゴリズムで、画像信号を処理して、監視範囲５内を通過する車両があるとき、これを検知し、車両検知信号を生成するカメラ画像入力基板１５と、装置全体の動作を制御しながら、カメラ画像入力基板１５から車両検知信号が出力される毎に、撮影トリガー信号を生成する並列処理プロセッサ１６とを備えている。
【００３２】
また、カメラ装置６は、予め設定された所定画角、たとえば約２５度の画角で、高速道路２上に設けられた監視範囲５内の光像を集める大口径レンズ１７と、図５に示す如く既存のＣＣＤ素子を構成する各受光セル１００のサイズ“５．６μｍ×５．６μｍ”より大きめのサイズ、たとえば“１７μｍ×１７μｍ”に形成された受光セル１８を所定数、たとえば図６に示す如く“２０００×１５００”個だけ、マトリックス状に並べた受光部１９、この受光部１９を構成する各受光セル１８によって得られた電荷を順次、シフトさせて得られた電荷列をデジタル信号に変換する多数のＡ／Ｄ変換素子２０などによって構成されている。
【００３３】
さらに、大口径レンズ１７によって集められた光像の各画素を電気信号（画像信号）に変換する撮像素子２１と、並列処理プロセッサ１６から撮影トリガー信号が出力される毎に、ストロボ照明指示信号を生成し、これを照明装置７に供給しながら、撮像素子２１を制御して、所定のフレームレート、所定のシャッター速度、たとえば図７に示す如く低いフレームレート、“１／４０００秒”程度のシャッター速度で、光像の各画素を電気信号に変換させ、この変換処理で得られた画像信号を取り込んで、所定フォーマットの送信信号に変換し、光ファイバーケーブル８上に送出するカメラ画像入力基板２２とを備えている。
【００３４】
そして、ナンバー撮影部２４によって、照明装置７を制御させて、弱い常時光を出射させ、監視範囲５内を通過する各車両を照明させながら、大口径レンズ１０、撮像素子１４、カメラ画像入力基板１５により構成される車両追跡センサ部２３によって、監視範囲５内を撮影させて、車両通過有無を監視させ、監視範囲５内を車両が通過するとき、これを検知させて、車両検知信号を生成させ、並列処理プロセッサ１６から撮影トリガー信号を出力させるとともに、大口径レンズ１７、撮像素子２１、カメラ画像入力基板２２により構成されるナンバー撮影部２４によって、照明装置７を制御させて、強いストロボ照明光を出射させ、監視範囲５内を通過する各車両を強く照明させながら、各車両を撮影させ、これによって得られた画像信号（送信信号）を光ファイバーケーブル８上に送出させて、画像解析装置９に供給させる。
【００３５】
また、照明装置７は、常時、小さい値の駆動電流を生成しながら、カメラ装置６のカメラ画像入力基板２２からストロボ照明指示信号が出力される毎に、予め設定された所定期間だけ、大きな値の駆動電流を生成する駆動基板と、この駆動基板から小さい値の駆動電流が出力されているとき、通常強度の照明光（通常照明光）を発し、また駆動基板から大きな値の駆動電流が出力されたとき、強いストロボ照明光を発する多数のＬＥＤと、これら各ＬＥＤによって生成された通常照明光、ストロボ照明光を集光して、高速道路２上の監視範囲５内を通過する各車両を照明するレンズとを備えており、通常照明光を生成し、高速道路２上の監視範囲５内を通過する各車両を照明しながら、カメラ装置６のカメラ画像入力基板２２からストロボ照明指示信号が出力される毎に、ストロボ照明光を生成し、高速道路２上の監視範囲５内を通過する各車両を強く照明する。
【００３６】
画像解析装置９は、ＯＳ、画像処理プログラムなどのインストール場所、画像信号の格納場所などとして使用されるハードディスク２５と、光ファイバーケーブル８を介して供給される送信信号（画像信号を含む信号）を取り込んで、画像信号を再生するとともに、再生処理で得られた画像信号をシステムバス２６上に送出し、ハードディスク２５に蓄積させる画像入力基板２７と、システムバス２６を介して、ハードディスク２５にインストールされている画像処理プログラムを読み出しながら、ハードディスク２５に格納されている画像信号（画像入力基板２７で再生された画像信号）を取り込んで、各車両のナンバープレート部分を抽出する画像切り出し処理、この画像切り出し処理で得られた画像信号を画像処理して、各車両のナンバーとなる漢字、仮名、数字を認識する認識処理などを行うＣＰＵ基板２８とを備えている。
【００３７】
そして、光ファイバーケーブル８を介して供給される送信信号（画像信号を含む信号）を取り込んで、各車両のナンバープレート部分を切り出すとともに、この切り出し処理で得られた画像信号を画像処理して、各車両のナンバーとなる漢字、仮名、数字を認識し、これを記憶するとともに、表示装置（図示は省略する）に表示させる。
【００３８】
このように、この実施の形態では、照明装置７から常時照明光を出射させて、高速道路２上の監視範囲５内を照明させながら、高速道路２上を走行する各車両が監視範囲５内を通過するとき、カメラ装置６の車両追跡センサ部２３によって、これを検知させて、並列処理プロセッサ１６から撮影トリガー信号を出力させ、ナンバー撮影部２４を起動させるとともに、このナンバー撮影部２４によって、照明装置７を制御させて、監視範囲５内を通過する各車両をストロボ照明させながら、各車両を撮影させ、これによって得られた画像信号（送信信号）を光ファイバーケーブル８上に送出させて、画像解析装置９に供給させ、各車両のナンバーを構成する漢字、仮名、数字を認識させるようにしているので、図８に示す如く各車両が高速道路２上を１２０ｋｍ／ｈ程度の速度で走行していても、車両追跡センサ部２３によって、各車両を短い撮影周期、高感度で、これを撮影させて、車両通過を確実に検知させることができるとともに、ナンバー撮影部２４によって、各車両の映像を高解像度、高感度で、撮影させて、画像解析装置９に、ナンバープレート上の漢字、仮名、数字を認識させることができる（請求項１にかかる効果）。
【００３９】
また、この実施の形態では、図７に示す如く車両追跡センサ部２３のカメラ画像入力基板１５によって、撮像素子１４を制御させて、速いフレームレート、１／１００秒程度の遅いシャッター速度で、監視範囲５を撮影させるようにしているので、各車両が高速道路２上を“１２０ｋｍ／ｈ”以上の速度で、走行していても、これを確実に、検知させることができるとともに、ナンバー撮影部２４のカメラ画像入力基板２２によって、撮像素子２１を制御させて、遅いフレームレート、速いシャッター速度で、監視範囲５を撮影させるようにしているので、各車両が高速道路２上を高速で、走行していても、高解像度、高感度で、車両を撮影させることができ、これによってぶれの無い鮮明な画像を解析させて、ナンバーの誤認識を防止させることができる（請求項２にかかる効果）。
【００４０】
また、この実施の形態では、車両追跡センサ部２３、ナンバー撮影部２４を構成する各撮像素子として、撮像素子１４、２１を使用させるようにしているので、撮像素子の感度特性を利用させて、図９に示す如く既存のＣＣＤ撮像素子の分光感度より、近赤外波長域に高い感度を持たせることができ、これによって霧などにより、車両を運転する運転者などの運転を妨げないようにしながら、監視範囲５内の視界が悪い場合でも、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、この各車両が高速で走行していても、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる（請求項３にかかる効果）。
【００４１】
また、この実施の形態では、車両追跡センサ部２３、ナンバー撮影部２４を構成する各撮像素子として、既存のＣＣＤ撮像素子を構成する各受光セル１００のサイズ“５．６μｍ×５．６μｍ”より大きい、“１７μｍ×１７μｍ”の受光セル１１、１８によって構成される撮像素子１４、２１を使用させるようにしているので、各受光セル１１、１８の受光面積を広くした分だけ、感度をアップさせることができ、これによって夕暮れ時などのように、監視範囲５内が暗い場合でも、また監視範囲５を照らす照明装置７のカンデラ値が低い場合でも、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、高い感度で、この各車両を撮影させて、ナンバーを認識させることができる（請求項４にかかる効果）。
【００４２】
また、この実施の形態では、照明装置７の発光源として、“２０００×１５００”個のＬＥＤを使用させ、充電動作が必要な大電流生成回路を設けることなく、常時照明光、強いストロボ照明光のいずれかを生成させるようにしているので、夕暮れ時、夜間などのように、監視範囲５内が暗い場合でも、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、短い照明周期で、監視範囲５を強く照明させながら、各車両を撮影させて、ナンバーを認識させることができる（請求項７にかかる効果）。
【００４３】
（実施の形態２）
また、上述した実施の形態１では、カメラ装置６内に車両追跡センサ部２３、ナンバー撮影部２４という、２系統の撮像部を設けるようにしているが、図１０に示す如く１系統しか撮影部を持たないカメラ装置３１を使用し、このカメラ装置３１の動作を切り替えて、車両追跡センサ部２３の機能（追跡機能）と、ナンバー撮影部２４の機能（ナンバー撮影機能）とを持たせるようにしても良い。
【００４４】
この場合、カメラ装置３１は、予め設定された所定画角、たとえば約２５度の画角で、高速道路２上の監視範囲５内の光像を集める大口径レンズ３２と、この大口径レンズ３２で集められた光像の各画素を“１７μｍ×１７μｍ”程度の大きさに形成された“２０００×１５００”個の受光セルで受光して、電荷を生成、蓄積させるとともに、これら各受光セルに蓄積された電荷を順次、シフトさせながら、多数のＡ／Ｄ変換素子によって、デジタル信号（画像信号）に変換させる撮像素子３３とを備えている。
【００４５】
さらに、撮影トリガー信号が供給されいないとき、追跡モードになって、撮像素子３３を制御し、“４００×３００個”程度の画素数、“１２８ｆｐｓ”程度のフレームレート、“１／１００秒”程度のシャッター速度で、光像を構成する各画素を電気信号に変換させるとともに、これによって得られた画像信号を画像処理し、車両が検知されたとき、車両検知信号を生成し、また撮影トリガー信号が供給されたとき、ナンバー撮影モードになって、ストロボ照明指示信号を照明装置７に供給しながら、撮像素子３３を制御し、“２０００×１５００個”程度の画素数、“８ｆｐｓ”程度のフレームレート、“１／４０００秒”程度のシャッター速度で、光像の各画素を電気信号に変換させるとともに、これによって得られた画像信号を所定フォーマットの送信信号に変換し、光ファイバーケーブル８上に送出するカメラ画像入力基板３４と、装置全体の動作を制御しながら、カメラ画像入力基板３４から車両検知信号が出力される毎に、撮影トリガー信号を生成し、これをカメラ画像入力基板３４に供給する並列処理プロセッサ３５とを備えている。
【００４６】
そして、図１１に示す如く並列処理プロセッサ３５によって、カメラ画像入力基板３４を追跡モードにさせ、照明装置７から常時照明光を出射させながら、“４００×３００個”程度の画素数、“１２８ｆｐｓ”程度のフレームレート、“１／１００秒”程度のシャッター速度で、高速道路２の監視範囲５を撮影させるとともに、この撮影動作で得られた画像信号を画像処理させ、車両が検知されたとき、カメラ画像入力基板３４をナンバー撮影モードに切り替えさせて、照明装置７からストロボ照明光を出射させながら、“２０００×１５００個”程度の画素数、“８ｆｐｓ”程度のフレームレート、“１／４０００秒”程度のシャッター速度で、高速道路２の監視範囲５を撮影させ、これによって得られた画像信号（送信信号）を光ファイバーケーブル８上に送出させて、画像解析装置９で、監視範囲５を通過する各車両のナンバーを解析させる。
【００４７】
すなわち、読み出し感度を向上させるときは、２０００×１５００個のセルのうち、５×５のセルを一つの画素としてこれら２５個のセルを同時に読み出す。これにより、複数セルを同時に読み出すことで高フレームレートを実現できるため、移動体である車両の検出・追跡を有効に行える。一方、高解像度の画像を得るときは、２０００×２０００個のセルひとつひとつを一画素として撮影する。これにより、車両のナンバーを読み取るのに十分な解像度を持つ画像を得ることができる。
【００４８】
このように、この車両監視システム３０では、並列処理プロセッサ３５によって、カメラ画像入力基板３４の動作モードを切り替えさせて、車両追跡センサ部２３の機能と、ナンバー撮影部２４の機能とを持たせるようにしているので、カメラ装置３１の部品点数を少なくさせて、自体の価格を低く抑えさせながら、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、この各車両を撮影させ、ナンバーを認識させることができる（請求項５にかかる効果）。
【００４９】
また、上述した各実施の形態では、撮像素子１４、２１、３３として、“２０００×１５００”個の受光セルをマトリックス状に配置したものを使用するようにしているが、“２０００”個の受光セルをライン状に配置したライン型の撮像素子を使用させるようにしても良い。
【００５０】
これにより、カメラ装置自体をさらに小型化、低価格化させながら、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる（請求項６にかかる効果）。
【００５１】
【発明の効果】
以上説明したように本発明によれば、請求項１にかかる車両監視システムでは、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、これを検知させて、車両を撮影させ、これら車両のナンバーを認識させることができる。
【００５２】
また、請求項２にかかる車両監視システムでは、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、これを確実に検知させて、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる。
【００５３】
また、請求項３にかかる車両監視システムでは、車両を運転する運転者などの運転を妨げないようにしながら、霧などにより、監視範囲内の視界が悪い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる。
【００５４】
また、請求項４にかかる車両監視システムでは、夕暮れ時などのように、監視範囲内が暗い場合でも、また監視範囲を照らす照明装置の照度が低い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、高い感度で、この各車両を撮影させて、ナンバーを認識させることができる。
【００５５】
また、請求項５にかかる車両監視システムでは、撮影装置の部品点数を少なくさせて、自体の価格を低く抑えさせながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる。
【００５６】
また、請求項６にかかる車両監視システムでは、撮影装置自体を小型化、低価格化させながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる。
【００５７】
また、請求項７にかかる車両監視システムでは、夕暮れ時、夜間などのように、監視範囲内が暗い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、短い照明周期で、監視範囲を照明させながら、各車両を撮影させ、ナンバーを認識させることができる。
【図面の簡単な説明】
【図１】本発明による車両監視システムのうち、請求項１、２、３、４、７に対応する車両監視システムの一実施の形態を示す構成図である。
【図２】図１に示した車両監視システムの回路構成例を示すブロック図である。
【図３】図２に示した車両追跡センサ部を構成する撮像素子の各受光セルサイズ例を示す模式図である。
【図４】図２に示した車両追跡センサ部を構成する撮像素子の回路構成例を示すブロック図である。
【図５】図２に示したナンバー撮影部を構成する撮像素子の各受光セルサイズ例を示す模式図である。
【図６】図２に示したナンバー撮影部を構成する撮像素子の回路構成例を示すブロック図である。
【図７】図２に示した車両追跡センサ部、ナンバー撮影部の撮影動作例を示す図である。
【図８】図１に示した車両監視システムの動作特性例を示す図である。
【図９】図２に示した撮像素子の分光感度特性例を示す図である。
【図１０】本発明による車両監視システムのうち、請求項６に対応する車両監視システムの一実施の形態を示すブロック図である。
【図１１】図１０に示した車両監視システムの動作タイミング例を示すタイミングチャートである。
【図１２】従来から知られている車両監視システムの動作特性例を示す図である。
【符号の説明】
１ 車両監視システム
２ 高速道路
３ 車線
４ ガントリ
５ 監視範囲
６ カメラ装置
７ 照明装置（ＬＥＤ照明装置）
８ 光ファイバーケーブル
９ 画像解析装置
１０ 大口径レンズ
１１ 受光セル
１２ 受光部
１３ Ａ／Ｄ変換素子
１４ 撮像素子
１５ カメラ画像入力基板
１６ 並列処理プロセッサ
１７ 大口径レンズ
１８ 受光セル
１９ 受光部
２０ Ａ／Ｄ変換素子
２１ 撮像素子
２２ カメラ画像入力基板
２３ 車両追跡センサ部
２４ ナンバー撮影部
２５ ハードディスク
２６ システムバス
２７ 画像入力基板
２８ ＣＰＵ基板
３０ 車両監視システム
３１ カメラ装置
３２ 大口径レンズ
３３ 撮像素子
３４ カメラ画像入力基板
３５ 並列処理プロセッサ
【発明の属する技術分野】
本発明は、高速道路上などを走行している車両のナンバーなどを認識して、車両を監視する車両監視システムに関する。
【０００２】
【従来の技術】
現在、高速道路などでは、ＩＴＳ化により、料金ゲートなどに、車両番号認識装置などを設置し、料金ゲートなどを通過する車両のナンバープレートを撮影させるともに、撮影動作で得られた画像を処理させて、ナンバープレートに刻印されている漢字、仮名、数字を読み取らせるシステムが実用化されている。
【０００３】
【発明が解決しようとする課題】
ところで、近年、このような料金ゲートのみならず、高速道路上の各車線を走行している各車両のナンバーを読み取って、各車両の通行状況をリアルタイムで把握することができるシステムの開発が強く望まれている。
【０００４】
そこで、料金ゲートなどに設けられる車両番号認識装置を使用して、このようなシステムを構築することも試みられているが、このような車両番号認識装置を使用した場合、図１２に示す如く各車両の通行状況を監視するのに必要な視野範囲が狭いのみならず、ナンバー認識可能な最高車両速度が遅すぎて、これをそのまま使用することができないという問題点があった。
【０００５】
ここで、ＥＣＳなどで使用されている車両番号認識装置を使用することも考えられるが、このような車両番号認識装置では、図１２に示す如くアルファベットと、数字しか認識することができないことから、高速道路で、これを使用しても、高速道路上を走行する各車両のナンバーを正確に読み取ることができないという問題点があった。
【０００６】
また、このようなＥＣＳなど使用されている照明装置では、大電流を必要とするキセノン管を使用して、車両をストロボ照明するようにしているので、車両が連続して、通過したとき、充電回路の充電が間に合わなくなり、何台かの車両を照明することができなくなってしまうという問題があった。なお、ＥＣＳでは不正車両のみを撮像しており、本発明では、全通行車両の撮像が要求される。
【０００７】
本発明は、上記に鑑みてなされたものであり、第１に、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、これを検知させて、車両を撮影させ、これら車両のナンバーを認識させることができる車両監視システムを提供することを目的とする。
【０００８】
また、第２に、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、これを確実に検知させて、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる車両監視システムを提供することを目的とする。
【０００９】
また、第３に、車両を運転する運転者などの運転を妨げないようにしながら、霧などにより、監視範囲内の視界が悪い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１０】
また、第４に、夕暮れ時などのように、監視範囲内が暗い場合でも、また監視範囲を照らす照明装置の照度が低い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、高い感度で、この各車両を撮影させて、ナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１１】
また、第５に、撮影装置の部品点数を少なくさせて、自体の価格を低く抑えさせながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１２】
また、第６に、撮影装置自体を小型化、低価格化させながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１３】
また、第７に、夕暮れ時、夜間などのように、監視範囲内が暗い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、短い照明周期で、監視範囲を照明させながら、各車両を撮影させ、ナンバーを認識させることができる車両監視システムを提供することを目的とする。
【００１４】
【課題を解決するための手段】
上記の目的を達成するためになされたものであり、請求項１にかかる発明では、車両監視システムは、カメラ装置によって得られた画像を処理して、車両を監視する車両監視システムにおいて、道路上に設けられた監視範囲内を撮影し、この撮影動作で得られた画像信号を処理し、車両の画像が検知されたとき、車両検知信号を生成する車両追跡センサ部と、この車両追跡センサ部から車両検知信号が出力されたとき、前記監視範囲内を撮影して、画像信号を生成するナンバー撮影部と、このナンバー撮影部から出力される画像信号を画像処理して、前記監視範囲内を通過する車両のナンバープレート文字を認識する画像解析装置と、一つの撮像素子の動作モードを切り替えて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子の機能を持たせるプロセッサと、を備え、前記動作モードは、高速フレームレート、遅いシャッター速度で撮像素子を制御し、且つ撮像素子において複数の受光セルを一つの画素として読み出すことにより、車両の検出・追跡を行う追跡モードと、低速フレームレート、速いシャッター速度で撮像素子を制御し、且つ撮像素子において各受光セルをそれぞれ一つの画素として読み出すことにより、車両のナンバープレートを撮影するナンバー撮影モードと、を有することを特徴としている。
【００１５】
上記によれば、カメラ装置によって得られた画像を処理して、車両を監視する車両監視システムにおいて、車両追跡センサ部によって、道路上に設けられた監視範囲内を撮影させ、この撮影動作で得られた画像信号を処理させて、車両の画像が検知されたとき、ナンバー撮影部によって、前記監視範囲内を撮影させて、画像信号を生成させるとともに、画像解析装置によって、前記ナンバー撮影部から出力される画像信号を画像処理させて、前記監視範囲内を通過する車両のナンバープレート文字を認識させることにより、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、これを検知させて、車両を撮影させ、これら車両のナンバーを認識させる。
【００１６】
また、上記の車両監視システムにおいて、前記車両追跡センサ部を構成する撮像素子を高速フレームレート、遅いシャッター速度で動作させ、前記ナンバー撮影部を構成する撮像素子を低速フレームレート、速いシャッター速度で動作させることを特徴としている。
【００１７】
これによれば、前記車両追跡センサ部を構成する撮像素子を高速フレームレート、遅いシャッター速度で動作させ、前記ナンバー撮影部を構成する撮像素子を低速フレームレート、早いシャッター速度で動作させることにより、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、これを確実に検知させて、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させる。
【００１８】
また、上記の車両監視システムにおいて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、近赤外波長域に高い感度を持つ撮像素子を使用させるものとすることができる。
【００１９】
これによれば、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、近赤外波長域に高い感度を持つ撮像素子を使用させることにより、車両を運転する運転者などの運転を妨げないようにしながら、霧などにより、監視範囲内の視界が悪い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させる。
【００２０】
また、上記の車両監視システムにおいて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、広い受光面積を持つ受光セルを使用させるものとすることができる。
【００２１】
これによれば、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、広い受光面積を持つ受光セルを使用させることにより、夕暮れ時などのように、監視範囲内が暗い場合でも、また監視範囲を照らす照明装置の照度が低い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、高い感度で、この各車両を撮影させて、ナンバーを認識させる。
【００２３】
上記発明によれば、一つの撮像素子の動作モードを切り替えて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子の機能を持たせることにより、撮影装置の部品点数を少なくさせて、自体の価格を低く抑えさせながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させる。
【００２４】
また、上記の車両監視システムにおいて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、ライン型撮像素子を使用させるものとすることができる。
【００２５】
これによれば、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、ライン型撮像素子を使用させることにより、撮影装置自体を小型化、低価格化させながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させる。
【００２６】
また、上記の車両監視システムにおいて、前記ナンバー撮影部によって前記監視範囲を撮影するとき、多数のＬＥＤを瞬間的に発光させて得られたストロボ光で、前記監視範囲を照明するＬＥＤ照明装置を備えたものとすることができる。
【００２７】
これによれば、前記ナンバー撮影部によって前記監視範囲を撮影するとき、ＬＥＤ照明装置によって、多数のＬＥＤを瞬間的に発光させて得られたストロボ光で、前記監視範囲を照明させることにより、夕暮れ時、夜間などのように、監視範囲内が暗い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、短い照明周期で、監視範囲を照明させながら、各車両を撮影させ、ナンバーを認識させる。
【００２８】
【発明の実施の形態】
以下、この発明にかかる車両監視システムの実施の形態を、添付図面を参照して詳細に説明する。
【００２９】
（実施の形態１）
図１は、本発明による車両監視システムのうち、請求項１、２、３、４、７に対応する車両監視システムの一実施の形態を示す構成図である。この図に示す車両監視システム１は、高速道路２の各車線３を跨ぐように配置されるガントリ４と、このガントリ４の上部に配置され、高速道路２の各車線３を走行する各車両がガントリ４から所定距離だけ離れた監視範囲５を通過する際、これを検知して、各車両を撮影するカメラ装置６と、ガントリ４の上部に、カメラ装置６と並んで配置され、監視範囲５内を通過中の各車両を照明する照明装置７と、カメラ装置６から出力される送信信号（画像信号を含む信号）を監視室などに導く光ファイバーケーブル８と、図２に示す如く監視室などに配置され、光ファイバーケーブル８を介して供給された送信信号を画像処理して、監視範囲５内を通過する各車両のナンバーを解析する画像解析装置９とを備えており、高速道路２の各車線３を通過する各車両が監視範囲５内を通過するとき、これを検知して、各車両を照明しながら、各車両を撮影するとともに、これによって得られた送信信号を監視室などに配置された画像解析装置９で画像処理させて、各車両のナンバーを解析させる。
【００３０】
カメラ装置６は、図２に示す如く予め設定された所定画角、たとえば約２５度の画角で、高速道路２上に設けられた監視範囲５内の光像を集める大口径レンズ１０と、図３に示す如く既存のＣＣＤ素子を構成する各受光セル１００のサイズ“５．６μｍ×５．６μｍ”より大きめのサイズ、たとえば“１７μｍ×１７μｍ”に形成された受光セル１１を所定数、たとえば図４に示す如く“４００×３００”個だけ、マトリックス状に並べた受光部１２、この受光部１２を構成する各受光セル１１によって得られた電荷を順次、シフトさせて得られた電荷列をデジタル信号に変換する多数のＡ／Ｄ変換素子１３などによって構成され、大口径レンズ１０によって集められた光像の各画素を電気信号（画像信号）に変換する撮像素子１４（たとえば、ＣＭＯＳ撮像素子）とを備えている。
【００３１】
さらに、この撮像素子１４を制御して、所定のフレームレート、所定のシャッター速度、たとえば図７に示す如く高いフレームレート、“１／１００秒”程度のシャッター速度で、光像を構成する各画素を電気信号に変換させ、この変換処理で得られた画像信号を取り込むとともに、２値化画像処理、微分処理などの高速アルゴリズムで、画像信号を処理して、監視範囲５内を通過する車両があるとき、これを検知し、車両検知信号を生成するカメラ画像入力基板１５と、装置全体の動作を制御しながら、カメラ画像入力基板１５から車両検知信号が出力される毎に、撮影トリガー信号を生成する並列処理プロセッサ１６とを備えている。
【００３２】
また、カメラ装置６は、予め設定された所定画角、たとえば約２５度の画角で、高速道路２上に設けられた監視範囲５内の光像を集める大口径レンズ１７と、図５に示す如く既存のＣＣＤ素子を構成する各受光セル１００のサイズ“５．６μｍ×５．６μｍ”より大きめのサイズ、たとえば“１７μｍ×１７μｍ”に形成された受光セル１８を所定数、たとえば図６に示す如く“２０００×１５００”個だけ、マトリックス状に並べた受光部１９、この受光部１９を構成する各受光セル１８によって得られた電荷を順次、シフトさせて得られた電荷列をデジタル信号に変換する多数のＡ／Ｄ変換素子２０などによって構成されている。
【００３３】
さらに、大口径レンズ１７によって集められた光像の各画素を電気信号（画像信号）に変換する撮像素子２１と、並列処理プロセッサ１６から撮影トリガー信号が出力される毎に、ストロボ照明指示信号を生成し、これを照明装置７に供給しながら、撮像素子２１を制御して、所定のフレームレート、所定のシャッター速度、たとえば図７に示す如く低いフレームレート、“１／４０００秒”程度のシャッター速度で、光像の各画素を電気信号に変換させ、この変換処理で得られた画像信号を取り込んで、所定フォーマットの送信信号に変換し、光ファイバーケーブル８上に送出するカメラ画像入力基板２２とを備えている。
【００３４】
そして、ナンバー撮影部２４によって、照明装置７を制御させて、弱い常時光を出射させ、監視範囲５内を通過する各車両を照明させながら、大口径レンズ１０、撮像素子１４、カメラ画像入力基板１５により構成される車両追跡センサ部２３によって、監視範囲５内を撮影させて、車両通過有無を監視させ、監視範囲５内を車両が通過するとき、これを検知させて、車両検知信号を生成させ、並列処理プロセッサ１６から撮影トリガー信号を出力させるとともに、大口径レンズ１７、撮像素子２１、カメラ画像入力基板２２により構成されるナンバー撮影部２４によって、照明装置７を制御させて、強いストロボ照明光を出射させ、監視範囲５内を通過する各車両を強く照明させながら、各車両を撮影させ、これによって得られた画像信号（送信信号）を光ファイバーケーブル８上に送出させて、画像解析装置９に供給させる。
【００３５】
また、照明装置７は、常時、小さい値の駆動電流を生成しながら、カメラ装置６のカメラ画像入力基板２２からストロボ照明指示信号が出力される毎に、予め設定された所定期間だけ、大きな値の駆動電流を生成する駆動基板と、この駆動基板から小さい値の駆動電流が出力されているとき、通常強度の照明光（通常照明光）を発し、また駆動基板から大きな値の駆動電流が出力されたとき、強いストロボ照明光を発する多数のＬＥＤと、これら各ＬＥＤによって生成された通常照明光、ストロボ照明光を集光して、高速道路２上の監視範囲５内を通過する各車両を照明するレンズとを備えており、通常照明光を生成し、高速道路２上の監視範囲５内を通過する各車両を照明しながら、カメラ装置６のカメラ画像入力基板２２からストロボ照明指示信号が出力される毎に、ストロボ照明光を生成し、高速道路２上の監視範囲５内を通過する各車両を強く照明する。
【００３６】
画像解析装置９は、ＯＳ、画像処理プログラムなどのインストール場所、画像信号の格納場所などとして使用されるハードディスク２５と、光ファイバーケーブル８を介して供給される送信信号（画像信号を含む信号）を取り込んで、画像信号を再生するとともに、再生処理で得られた画像信号をシステムバス２６上に送出し、ハードディスク２５に蓄積させる画像入力基板２７と、システムバス２６を介して、ハードディスク２５にインストールされている画像処理プログラムを読み出しながら、ハードディスク２５に格納されている画像信号（画像入力基板２７で再生された画像信号）を取り込んで、各車両のナンバープレート部分を抽出する画像切り出し処理、この画像切り出し処理で得られた画像信号を画像処理して、各車両のナンバーとなる漢字、仮名、数字を認識する認識処理などを行うＣＰＵ基板２８とを備えている。
【００３７】
そして、光ファイバーケーブル８を介して供給される送信信号（画像信号を含む信号）を取り込んで、各車両のナンバープレート部分を切り出すとともに、この切り出し処理で得られた画像信号を画像処理して、各車両のナンバーとなる漢字、仮名、数字を認識し、これを記憶するとともに、表示装置（図示は省略する）に表示させる。
【００３８】
このように、この実施の形態では、照明装置７から常時照明光を出射させて、高速道路２上の監視範囲５内を照明させながら、高速道路２上を走行する各車両が監視範囲５内を通過するとき、カメラ装置６の車両追跡センサ部２３によって、これを検知させて、並列処理プロセッサ１６から撮影トリガー信号を出力させ、ナンバー撮影部２４を起動させるとともに、このナンバー撮影部２４によって、照明装置７を制御させて、監視範囲５内を通過する各車両をストロボ照明させながら、各車両を撮影させ、これによって得られた画像信号（送信信号）を光ファイバーケーブル８上に送出させて、画像解析装置９に供給させ、各車両のナンバーを構成する漢字、仮名、数字を認識させるようにしているので、図８に示す如く各車両が高速道路２上を１２０ｋｍ／ｈ程度の速度で走行していても、車両追跡センサ部２３によって、各車両を短い撮影周期、高感度で、これを撮影させて、車両通過を確実に検知させることができるとともに、ナンバー撮影部２４によって、各車両の映像を高解像度、高感度で、撮影させて、画像解析装置９に、ナンバープレート上の漢字、仮名、数字を認識させることができる（請求項１にかかる効果）。
【００３９】
また、この実施の形態では、図７に示す如く車両追跡センサ部２３のカメラ画像入力基板１５によって、撮像素子１４を制御させて、速いフレームレート、１／１００秒程度の遅いシャッター速度で、監視範囲５を撮影させるようにしているので、各車両が高速道路２上を“１２０ｋｍ／ｈ”以上の速度で、走行していても、これを確実に、検知させることができるとともに、ナンバー撮影部２４のカメラ画像入力基板２２によって、撮像素子２１を制御させて、遅いフレームレート、速いシャッター速度で、監視範囲５を撮影させるようにしているので、各車両が高速道路２上を高速で、走行していても、高解像度、高感度で、車両を撮影させることができ、これによってぶれの無い鮮明な画像を解析させて、ナンバーの誤認識を防止させることができる（請求項２にかかる効果）。
【００４０】
また、この実施の形態では、車両追跡センサ部２３、ナンバー撮影部２４を構成する各撮像素子として、撮像素子１４、２１を使用させるようにしているので、撮像素子の感度特性を利用させて、図９に示す如く既存のＣＣＤ撮像素子の分光感度より、近赤外波長域に高い感度を持たせることができ、これによって霧などにより、車両を運転する運転者などの運転を妨げないようにしながら、監視範囲５内の視界が悪い場合でも、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、この各車両が高速で走行していても、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる（請求項３にかかる効果）。
【００４１】
また、この実施の形態では、車両追跡センサ部２３、ナンバー撮影部２４を構成する各撮像素子として、既存のＣＣＤ撮像素子を構成する各受光セル１００のサイズ“５．６μｍ×５．６μｍ”より大きい、“１７μｍ×１７μｍ”の受光セル１１、１８によって構成される撮像素子１４、２１を使用させるようにしているので、各受光セル１１、１８の受光面積を広くした分だけ、感度をアップさせることができ、これによって夕暮れ時などのように、監視範囲５内が暗い場合でも、また監視範囲５を照らす照明装置７のカンデラ値が低い場合でも、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、高い感度で、この各車両を撮影させて、ナンバーを認識させることができる（請求項４にかかる効果）。
【００４２】
また、この実施の形態では、照明装置７の発光源として、“２０００×１５００”個のＬＥＤを使用させ、充電動作が必要な大電流生成回路を設けることなく、常時照明光、強いストロボ照明光のいずれかを生成させるようにしているので、夕暮れ時、夜間などのように、監視範囲５内が暗い場合でも、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、短い照明周期で、監視範囲５を強く照明させながら、各車両を撮影させて、ナンバーを認識させることができる（請求項７にかかる効果）。
【００４３】
（実施の形態２）
また、上述した実施の形態１では、カメラ装置６内に車両追跡センサ部２３、ナンバー撮影部２４という、２系統の撮像部を設けるようにしているが、図１０に示す如く１系統しか撮影部を持たないカメラ装置３１を使用し、このカメラ装置３１の動作を切り替えて、車両追跡センサ部２３の機能（追跡機能）と、ナンバー撮影部２４の機能（ナンバー撮影機能）とを持たせるようにしても良い。
【００４４】
この場合、カメラ装置３１は、予め設定された所定画角、たとえば約２５度の画角で、高速道路２上の監視範囲５内の光像を集める大口径レンズ３２と、この大口径レンズ３２で集められた光像の各画素を“１７μｍ×１７μｍ”程度の大きさに形成された“２０００×１５００”個の受光セルで受光して、電荷を生成、蓄積させるとともに、これら各受光セルに蓄積された電荷を順次、シフトさせながら、多数のＡ／Ｄ変換素子によって、デジタル信号（画像信号）に変換させる撮像素子３３とを備えている。
【００４５】
さらに、撮影トリガー信号が供給されいないとき、追跡モードになって、撮像素子３３を制御し、“４００×３００個”程度の画素数、“１２８ｆｐｓ”程度のフレームレート、“１／１００秒”程度のシャッター速度で、光像を構成する各画素を電気信号に変換させるとともに、これによって得られた画像信号を画像処理し、車両が検知されたとき、車両検知信号を生成し、また撮影トリガー信号が供給されたとき、ナンバー撮影モードになって、ストロボ照明指示信号を照明装置７に供給しながら、撮像素子３３を制御し、“２０００×１５００個”程度の画素数、“８ｆｐｓ”程度のフレームレート、“１／４０００秒”程度のシャッター速度で、光像の各画素を電気信号に変換させるとともに、これによって得られた画像信号を所定フォーマットの送信信号に変換し、光ファイバーケーブル８上に送出するカメラ画像入力基板３４と、装置全体の動作を制御しながら、カメラ画像入力基板３４から車両検知信号が出力される毎に、撮影トリガー信号を生成し、これをカメラ画像入力基板３４に供給する並列処理プロセッサ３５とを備えている。
【００４６】
そして、図１１に示す如く並列処理プロセッサ３５によって、カメラ画像入力基板３４を追跡モードにさせ、照明装置７から常時照明光を出射させながら、“４００×３００個”程度の画素数、“１２８ｆｐｓ”程度のフレームレート、“１／１００秒”程度のシャッター速度で、高速道路２の監視範囲５を撮影させるとともに、この撮影動作で得られた画像信号を画像処理させ、車両が検知されたとき、カメラ画像入力基板３４をナンバー撮影モードに切り替えさせて、照明装置７からストロボ照明光を出射させながら、“２０００×１５００個”程度の画素数、“８ｆｐｓ”程度のフレームレート、“１／４０００秒”程度のシャッター速度で、高速道路２の監視範囲５を撮影させ、これによって得られた画像信号（送信信号）を光ファイバーケーブル８上に送出させて、画像解析装置９で、監視範囲５を通過する各車両のナンバーを解析させる。
【００４７】
すなわち、読み出し感度を向上させるときは、２０００×１５００個のセルのうち、５×５のセルを一つの画素としてこれら２５個のセルを同時に読み出す。これにより、複数セルを同時に読み出すことで高フレームレートを実現できるため、移動体である車両の検出・追跡を有効に行える。一方、高解像度の画像を得るときは、２０００×２０００個のセルひとつひとつを一画素として撮影する。これにより、車両のナンバーを読み取るのに十分な解像度を持つ画像を得ることができる。
【００４８】
このように、この車両監視システム３０では、並列処理プロセッサ３５によって、カメラ画像入力基板３４の動作モードを切り替えさせて、車両追跡センサ部２３の機能と、ナンバー撮影部２４の機能とを持たせるようにしているので、カメラ装置３１の部品点数を少なくさせて、自体の価格を低く抑えさせながら、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、この各車両を撮影させ、ナンバーを認識させることができる（請求項５にかかる効果）。
【００４９】
また、上述した各実施の形態では、撮像素子１４、２１、３３として、“２０００×１５００”個の受光セルをマトリックス状に配置したものを使用するようにしているが、“２０００”個の受光セルをライン状に配置したライン型の撮像素子を使用させるようにしても良い。
【００５０】
これにより、カメラ装置自体をさらに小型化、低価格化させながら、高速道路２の各車線３などを走行する各車両が監視範囲５を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる（請求項６にかかる効果）。
【００５１】
【発明の効果】
以上説明したように本発明によれば、請求項１にかかる車両監視システムでは、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、これを検知させて、車両を撮影させ、これら車両のナンバーを認識させることができる。
【００５２】
また、請求項２にかかる車両監視システムでは、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、これを確実に検知させて、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる。
【００５３】
また、請求項３にかかる車両監視システムでは、車両を運転する運転者などの運転を妨げないようにしながら、霧などにより、監視範囲内の視界が悪い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両が高速で走行していても、高解像度、高感度で、車両を撮影させ、これら車両のナンバーを認識させることができる。
【００５４】
また、請求項４にかかる車両監視システムでは、夕暮れ時などのように、監視範囲内が暗い場合でも、また監視範囲を照らす照明装置の照度が低い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、高い感度で、この各車両を撮影させて、ナンバーを認識させることができる。
【００５５】
また、請求項５にかかる車両監視システムでは、撮影装置の部品点数を少なくさせて、自体の価格を低く抑えさせながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる。
【００５６】
また、請求項６にかかる車両監視システムでは、撮影装置自体を小型化、低価格化させながら、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、この各車両を撮影させて、ナンバーを認識させることができる。
【００５７】
また、請求項７にかかる車両監視システムでは、夕暮れ時、夜間などのように、監視範囲内が暗い場合でも、高速道路の各車線などを走行する各車両が監視範囲を通過するとき、短い照明周期で、監視範囲を照明させながら、各車両を撮影させ、ナンバーを認識させることができる。
【図面の簡単な説明】
【図１】本発明による車両監視システムのうち、請求項１、２、３、４、７に対応する車両監視システムの一実施の形態を示す構成図である。
【図２】図１に示した車両監視システムの回路構成例を示すブロック図である。
【図３】図２に示した車両追跡センサ部を構成する撮像素子の各受光セルサイズ例を示す模式図である。
【図４】図２に示した車両追跡センサ部を構成する撮像素子の回路構成例を示すブロック図である。
【図５】図２に示したナンバー撮影部を構成する撮像素子の各受光セルサイズ例を示す模式図である。
【図６】図２に示したナンバー撮影部を構成する撮像素子の回路構成例を示すブロック図である。
【図７】図２に示した車両追跡センサ部、ナンバー撮影部の撮影動作例を示す図である。
【図８】図１に示した車両監視システムの動作特性例を示す図である。
【図９】図２に示した撮像素子の分光感度特性例を示す図である。
【図１０】本発明による車両監視システムのうち、請求項６に対応する車両監視システムの一実施の形態を示すブロック図である。
【図１１】図１０に示した車両監視システムの動作タイミング例を示すタイミングチャートである。
【図１２】従来から知られている車両監視システムの動作特性例を示す図である。
【符号の説明】
１ 車両監視システム
２ 高速道路
３ 車線
４ ガントリ
５ 監視範囲
６ カメラ装置
７ 照明装置（ＬＥＤ照明装置）
８ 光ファイバーケーブル
９ 画像解析装置
１０ 大口径レンズ
１１ 受光セル
１２ 受光部
１３ Ａ／Ｄ変換素子
１４ 撮像素子
１５ カメラ画像入力基板
１６ 並列処理プロセッサ
１７ 大口径レンズ
１８ 受光セル
１９ 受光部
２０ Ａ／Ｄ変換素子
２１ 撮像素子
２２ カメラ画像入力基板
２３ 車両追跡センサ部
２４ ナンバー撮影部
２５ ハードディスク
２６ システムバス
２７ 画像入力基板
２８ ＣＰＵ基板
３０ 車両監視システム
３１ カメラ装置
３２ 大口径レンズ
３３ 撮像素子
３４ カメラ画像入力基板
３５ 並列処理プロセッサ
Claims (5)
- カメラ装置によって得られた画像を処理して、車両を監視する車両監視システムにおいて、
道路上に設けられた監視範囲内を撮影し、この撮影動作で得られた画像信号を処理し、車両の画像が検知されたとき、車両検知信号を生成する車両追跡センサ部と、
この車両追跡センサ部から車両検知信号が出力されたとき、前記監視範囲内を撮影して、画像信号を生成するナンバー撮影部と、
このナンバー撮影部から出力される画像信号を画像処理して、前記監視範囲内を通過する車両のナンバープレート文字を認識する画像解析装置と、
一つの撮像素子の動作モードを切り替えて、前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子の機能を持たせるプロセッサと、
を備え、
前記動作モードは、
高速フレームレート、遅いシャッター速度で撮像素子を制御し、且つ撮像素子において複数の受光セルを一つの画素として読み出すことにより、車両の検出・追跡を行う追跡モードと、
低速フレームレート、速いシャッター速度で撮像素子を制御し、且つ撮像素子において各受光セルをそれぞれ一つの画素として読み出すことにより、車両のナンバープレートを撮影するナンバー撮影モードと、
を有することを特徴とする車両監視システム。 - 前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、近赤外波長域に高い感度を持つ撮像素子を使用させることを特徴とする請求項１に記載の車両監視システム。
- 前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、広い受光面積を持つ受光セルを使用させることを特徴とする請求項１又は２に記載の車両監視システム。
- 前記車両追跡センサ部を構成する撮像素子、前記ナンバー撮影部を構成する撮像素子として、ライン型撮像素子を使用させることを特徴とする請求項１〜３のいずれか１項に記載の車両監視システム。
- 前記ナンバー撮影部によって前記監視範囲を撮影するとき、多数のＬＥＤを瞬間的に発光させて得られたストロボ光で、前記監視範囲を照明するＬＥＤ照明装置を備えたことを特徴とする請求項１〜４のいずれか１項に記載の車両監視システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001053064A JP4511750B2 (ja) | 2001-02-27 | 2001-02-27 | 車両監視システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001053064A JP4511750B2 (ja) | 2001-02-27 | 2001-02-27 | 車両監視システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002260165A JP2002260165A (ja) | 2002-09-13 |
| JP4511750B2 true JP4511750B2 (ja) | 2010-07-28 |
Family
ID=18913589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001053064A Expired - Lifetime JP4511750B2 (ja) | 2001-02-27 | 2001-02-27 | 車両監視システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4511750B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364479A (zh) * | 2017-04-13 | 2018-08-03 | 合肥圣博瑞科技有限公司 | 电子警察智能补光的系统 |
| CN108932852A (zh) * | 2018-06-22 | 2018-12-04 | 安徽科力信息产业有限责任公司 | 一种记录机动车违法占用应急车道行为的方法及装置 |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101305398B (zh) * | 2005-10-12 | 2013-03-27 | 银冠投资控股有限公司 | 基于多个图像帧形成合成图像的方法 |
| WO2009066364A1 (ja) * | 2007-11-19 | 2009-05-28 | Fujitsu Limited | 撮像装置、撮像方法および撮像プログラム |
| KR100942189B1 (ko) * | 2009-08-24 | 2010-02-11 | 주식회사 엘리소프트 | 외부 펄스 트리거를 활용한 엘이디 조명 장치 |
| KR101252671B1 (ko) | 2011-04-29 | 2013-04-09 | 주식회사 디아이랩 | 차량 촬상 시스템 및 그를 위한 광량 제어 방법 |
| JP5547257B2 (ja) * | 2012-09-28 | 2014-07-09 | 株式会社東芝 | カメラシステム |
| JP6300019B2 (ja) | 2014-05-27 | 2018-03-28 | 三菱重工機械システム株式会社 | 照明装置調整システム、照明装置調整方法及びプログラム |
| CN105389989A (zh) * | 2015-11-13 | 2016-03-09 | 合肥安奎思成套设备有限公司 | 一种运输安全在线监控系统 |
| JP6828719B2 (ja) | 2018-06-27 | 2021-02-10 | トヨタ自動車株式会社 | 車載装置および制御方法 |
| CN113364989B (zh) * | 2020-03-06 | 2023-04-07 | 浙江宇视科技有限公司 | 一种相机频闪的控制方法、装置、电子设备和存储介质 |
| CN112489442B (zh) * | 2020-12-10 | 2021-12-07 | 青岛民航凯亚系统集成有限公司 | 一种智慧交通的路况传输系统及方法 |
| KR102590274B1 (ko) * | 2021-09-14 | 2023-10-17 | (주)에프엠이엔지 | 양방향 차량 속도 검출 및 도로관제모드와 번호인식모드 자동 전환 cctv 시스템 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0883391A (ja) * | 1994-09-14 | 1996-03-26 | Hitachi Ltd | 車番認識装置 |
| JPH11225326A (ja) * | 1998-02-05 | 1999-08-17 | Toshiba Corp | 画像監視装置 |
| JP2000011157A (ja) * | 1998-06-25 | 2000-01-14 | Nec Corp | 撮像装置 |
| JP2000115759A (ja) * | 1998-10-05 | 2000-04-21 | Sony Corp | 撮像表示装置 |
| JP2000251191A (ja) * | 1999-02-26 | 2000-09-14 | Mitsubishi Electric Corp | ナンバ読取装置 |
| JP2000322686A (ja) * | 1999-05-13 | 2000-11-24 | Toshiba Corp | 車両のナンバプレート認識装置 |
-
2001
- 2001-02-27 JP JP2001053064A patent/JP4511750B2/ja not_active Expired - Lifetime
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0883391A (ja) * | 1994-09-14 | 1996-03-26 | Hitachi Ltd | 車番認識装置 |
| JPH11225326A (ja) * | 1998-02-05 | 1999-08-17 | Toshiba Corp | 画像監視装置 |
| JP2000011157A (ja) * | 1998-06-25 | 2000-01-14 | Nec Corp | 撮像装置 |
| JP2000115759A (ja) * | 1998-10-05 | 2000-04-21 | Sony Corp | 撮像表示装置 |
| JP2000251191A (ja) * | 1999-02-26 | 2000-09-14 | Mitsubishi Electric Corp | ナンバ読取装置 |
| JP2000322686A (ja) * | 1999-05-13 | 2000-11-24 | Toshiba Corp | 車両のナンバプレート認識装置 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108364479A (zh) * | 2017-04-13 | 2018-08-03 | 合肥圣博瑞科技有限公司 | 电子警察智能补光的系统 |
| CN108932852A (zh) * | 2018-06-22 | 2018-12-04 | 安徽科力信息产业有限责任公司 | 一种记录机动车违法占用应急车道行为的方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002260165A (ja) | 2002-09-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4511750B2 (ja) | 車両監視システム | |
| CN100507970C (zh) | 基于数字摄像机的闯红灯检测系统及方法 | |
| US7825829B2 (en) | Modulated light trigger for license plate recognition cameras | |
| AU2009338673B2 (en) | Method and system for conclusively capturing a violation of the speed limit on a section of a road | |
| CN104134352B (zh) | 基于长短曝光结合的视频车辆特征检测系统及其检测方法 | |
| CN101373517A (zh) | 一种车牌识别方法及系统 | |
| CN1725266A (zh) | 基于视频触发和测速的车辆智能监测记录系统和方法 | |
| CN102971776B (zh) | 障碍物检测系统以及方法、障碍物检测装置 | |
| KR101625538B1 (ko) | 도시방범이 가능한 다차선 자동차 번호판 인식시스템 | |
| JP2006190198A (ja) | ポータブル型車両番号認識装置およびポータブル型車両番号認識装置による車両番号認識方法 | |
| CN101388146B (zh) | 图像获取和处理装置及方法、车辆监测和记录系统 | |
| JP2007161189A (ja) | 車載カメラ及びドライブレコーダ | |
| CN105185114A (zh) | 一种车辆违章变道行为取证装置及方法 | |
| CN110536814B (zh) | 摄像机装置及与周围环境相适应地检测车辆周围环境区域的方法 | |
| CN110070724A (zh) | 一种视频监控方法、装置、摄像机及图像信息监管系统 | |
| KR101625571B1 (ko) | 영상감시시스템을 이용한 차량번호인식 제어시스템 및 그 제어방법 | |
| JP4064556B2 (ja) | 降雨雪状況検出方法およびその装置 | |
| KR20160054183A (ko) | 노측 설치식 다차로 구간 정보 수집 장치 및 방법 | |
| KR101146585B1 (ko) | 차량검지를 통한 증거사진 촬영방법 및 이를 이용한 차량방범 시스템 | |
| KR102459091B1 (ko) | 과속 단속 장치 | |
| JP2003209742A (ja) | 赤外線照明付撮影装置 | |
| JP5193016B2 (ja) | 車両撮影装置 | |
| JP3224875B2 (ja) | 画像式信号無視車検出方法 | |
| JPH07121794A (ja) | 車両登録番号認識装置 | |
| KR102590274B1 (ko) | 양방향 차량 속도 검출 및 도로관제모드와 번호인식모드 자동 전환 cctv 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061228 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090521 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090602 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090716 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100202 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100329 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100420 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100507 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4511750 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130514 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140514 Year of fee payment: 4 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term |