JP4485477B2 - 検出デバイス - Google Patents

検出デバイス Download PDF

Info

Publication number
JP4485477B2
JP4485477B2 JP2006027970A JP2006027970A JP4485477B2 JP 4485477 B2 JP4485477 B2 JP 4485477B2 JP 2006027970 A JP2006027970 A JP 2006027970A JP 2006027970 A JP2006027970 A JP 2006027970A JP 4485477 B2 JP4485477 B2 JP 4485477B2
Authority
JP
Japan
Prior art keywords
region
sub
detection device
optical
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006027970A
Other languages
English (en)
Other versions
JP2006139808A (ja
Inventor
ネレオ・パッラロ
ピエルマリオ・レペット
フィリッポ・ヴィシンタイネル
マルコ・ダリン
ルカ・リオッティ
エミリオ・モスカ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Centro Ricerche Fiat SCpA
Original Assignee
Centro Ricerche Fiat SCpA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Centro Ricerche Fiat SCpA filed Critical Centro Ricerche Fiat SCpA
Publication of JP2006139808A publication Critical patent/JP2006139808A/ja
Application granted granted Critical
Publication of JP4485477B2 publication Critical patent/JP4485477B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00Photometry, e.g. photographic exposure meter
    • G01J1/42Photometry, e.g. photographic exposure meter using electric radiation detectors
    • G01J1/4228Photometry, e.g. photographic exposure meter using electric radiation detectors arrangements with two or more detectors, e.g. for sensitivity compensation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47Scattering, i.e. diffuse reflection
    • G01N21/49Scattering, i.e. diffuse reflection within a body or fluid
    • G01N21/53Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke
    • G01N21/538Scattering, i.e. diffuse reflection within a body or fluid within a flowing fluid, e.g. smoke for determining atmospheric attenuation and visibility
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/04Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/096758Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where no selection takes place on the transmitted or the received information
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Eye Examination Apparatus (AREA)
  • Investigating Or Analyzing Materials By The Use Of Fluid Adsorption Or Reactions (AREA)
  • Measurement Of Radiation (AREA)
  • Materials For Photolithography (AREA)

Description

本発明は、環境状況を検出して、必要に応じて、環境状況を記録するために、及び、交通を監視し且つ管制するために、道路に配置される据え付けの検出デバイスの分野に関する。
環境状況や大気状況(照明、ミスト/霧、氷)を監視すること、交通(道路網のいくつかの部分での移動車両の数)を監視すること、及び交通(渋滞の列、事故、障害、違反)を管制すること、によって、すでに従来、町や都市の内外で及び高速道路で道路の安全性を改善することが必要であると思われていた。
ユーザおよびオペレータに信頼性が高くてリアルタイムの情報を提供するように、前記機能を自動的且つ効率的に行うことは、望ましいことである。信頼性が高くてリアルタイムの情報は、彼らの運転の仕方(速度、照明、その他)、または彼らのルート(ルートまたはレーンを帰ること)、及び関係した設置(照明、道路標識、その他)を修正することを担当したボディ(body)を特にドライバが修正することを可能にする。そして、必要であれば同じくあとの調査のための場面を記録することと同様に、高速道路のオペレータ(交通偏り、援助)の直接の介入を提供する。
霧の場合には、可変の周波数や光度を持った間欠非常灯が使用される。そして、それらは道路上にまたは交通分離帯(divider)に配置される。しかしながら、非常灯の周波数および強度は、効果的信号を得るとともに、幻惑現象を同時に避けるように、外部照明(昼間、夜間、夕暮れ)および視界(visibility)状況に依存して調整されなければならない。
本出願人は、上述した分野での従来の解決策について知らない。そして、本出願人は、いくつかの機能をその高感度領域に一体化されている道路用の視覚センサを提供する。
逆に、次の解決方法については承知している。視界(visibility)を測定するためのセンサについては、特許文献1乃至12、交通管制のための静置位置については特許文献13乃至17にそれぞれ記載されている。
米国特許第4931767号(US4931767) 欧州特許第0635731号(EP0635731B1) 英国特許第2224175号(GB2224175A) 独国特許第19749397号(DE19749397) 欧州特許第0691534号(EP0691534) 米国特許第5118180号(US5118180) 米国特許第5206698号(US5206698) 国際公開第89/09015号(WO8909015A1) 米国特許第5987152号(US5987152) 独国特許第29811086号(DE29811086) 米国特許第4502782号(US4502782) 仏国特許第2745 915号(FR2745 915) 米国特許第57771484号(US57771484) 英国特許第2288900号(GB2288900) 伊国特許第MI93A001604号(IT MI93A001604) 欧州特許第1176 570号(EP1176 570) 仏国特許第2771363号(FR2771363)
したがって、本発明の主な目的は、交通を監視および管制するための、及び、霧/視界(visibility)を検出するための多機能の視覚センサに基づく、道路または高速道路上(たとえば入口の上)に設置される、検出デバイスを提案することである。そして、その検出デバイスは、簡単でコンパクトで安価で非常に信頼性が高い。
本発明の更なる目的は、上述したようなシステムを提示することである。そして、そのシステムは、高速道路上での環境状況および交通状況を動的に監視するために、標準車(control vehicle)(たとえば安全車)に使うこともできる。
前記目的を達成することに照らして、本発明の目的は、請求項1に記載されている特性を有する検出デバイスである。
本発明の好ましい実施形態に関する更なる有利な特徴は、従属クレームに記載されている。
本発明の好ましい実施形態において、上述した機能は、その高感度領域を分割することによって、CCD又はCMOSのマトリックスに一体化(integrated)されている。
視界(visibility)検出は、能動的な技術(間接的で局所的で正確な測定)を受動的な技術(直接的で拡張されて自己保証された(self-assured)測定)と結合することによって、非常に「より強く」なる。
能動的な技術を有する視界検出は、間接的な測定に基づいている。すなわち、検出されるものは、関係した体積での霧密度に結合された後方散乱放射(radiation)である。これは、簡単で正確で広く試験された方法である。しかしながら、それは若干の不利な点を特徴としている。すなわち、それは局所的な測定(センサに近いところの霧密度を評価すること)であり、間接的な測定(霧密度と半ば経験式による視界(visibility)との間の相関関係)である。
逆に、受動的な技術を有する視界検出は、拡張した領域(光の強度及び/又はコントラストの測定によって、センサ前のスペースまたは場面での霧評価)にわたる視界(visibility)の直接の測定に基づいており、センサから所定距離(最高で50乃至100m)で始まっている霧峰(fog bank)(例えば煙のような視界(visibility)を備えた他のあらゆる粒子の浮遊)の存在を検出することを可能にする。
適切なデータ融合アルゴリズムで、両方の技術によって集められた信号間の比較および、必要に応じて環境照明、湿度および温度のデータの使用に基づいて、両方の技術の利点を発揮することができ、視界(visibility)の正確で自己保証された評価を得ることが可能である。その評価は、検出状況(昼間/夜間)を考慮に入れており、必要に応じて、霧の形成及び/又は希薄化を予測することができる。
受動的な霧検出に専用のマトリックスの高感度領域の部分は、交通の監視および管制の機能を発揮する。
デバイスは温度及び湿度のセンサを一体化している。温度及び湿度のセンサから、露点温度を得ることが可能である。霧形成の可能性を予測するための数学モデルの使用の場合には、そのパラメータが役立つ。
前記照明を車両にかなりよく見えるようにするもののドライバが幻惑する危険な現象を避けるために、関係する道路部上の非常灯の強度を調整するために及び/又は周波数を調整するために、視界(visibility)評価と共に照明検出が必要になる。
したがって、この種の方法によって提供される効果は、次のものである。
1.適用事情に必要ないくつかの機能(function)の統合
2.霧形成可能性、霧峰の存在、および自己保証された視界検出に関する予測
3.コンパクトで簡単なシステム、コストダウン
本発明は、単なる非制限実施形態として与えられた添付図面を参照しながら、詳述される。
道路用の一体化視覚システムは、
ミストまたは霧の存在に関連した視界(visibility)レベル(メートルで)の検出と、
霧峰の検出と、
環境照明レベル(ルクスで)の検出と、
内外温度の検出と、
外側の相対湿度の検出と、
交通監視と、
交通管制と、
部分的に汚れた(dirty)光学窓、センサ温度変化およびエミッタの出力の減少に起因した自動調整、
光学窓の自己洗浄または窓の清掃と、
同一機能又は低機能センサ間のブリッジ接続を有する無線データ伝送と、
自己診断と、
いう機能(function)またはその一部を特徴としている。
システムの構造は、
CCDまたはCMOSの視覚センサ(ピクセルレベルが前処理された標準又は専用のもの)と、
温度センサと、
相対湿度センサと、
受動的な技術(passive technique)で視界(visibility)を検出するためのエミッタ(emitter)と、
(放射光の収集のための)光学受け取りおよび異なるマトリックス領域への合焦および(放射光束を成形するための)送出のシステムと、
光学システムを整列させるとともに異なる機能に専用の領域を分離する機械式システムと、
画像を得て処理すること、エミッタ制御、温湿度信号の獲得、無線トランスミッション、及び自己診断のための電子システムと、からなる。
関連した道路部を監視するように、システムは、たとえば高速道路に存在する入口上に設置される。
添付図面の図1は、デバイスの外殻2の実施形態を示す。外殻2は領域1を持った前面を有する。領域1において、真の検出システム(以下に詳述する)が配置されており、光学窓3によって保護されている。
本発明は、イタリア特許出願TO2002A000950号(2002年5月11日に出願されて、本発明の優先日には公開されていない)の請求項1の目的を構成している提案を導き出している。上述した特許出願の全内容は、参照文献として本願明細書に含まれる。しかしながら、上述した発明は、非据え置きの視覚システムに関し、非静止の視覚システムが、車両に設置されて、サブ領域に分割された高感度領域を有するCCDまたはCMOSのマトリックスからなり、場面監視のときに又は環境パラメータの検出のときに特定の機能を発揮するように各サブ領域が設計されており、前記分割は光学システム(結像系)によって得られ、前記サブ領域の視野及び/又は光学分離モードの異なる指示(direction)及び/又は分野を有することは、指摘されるべきである。
図2から分かるように、本発明に係る新しいシステムのマトリックス4の高感度領域がサブ領域に分けられている。その数、位置およびサイズは、前出の特許出願の内容と異なっている。図2の配列において、マトリックス4は、以下の機能に専用された特定のサブ領域に分割されたその高感度領域(sensitive area)を有する。
1.交通監視および管制、視界(受動的な技術)、霧峰
2.視界(能動的な技術)(active technique)
3.環境照明
さらに、以下の機能(function)を備えることができる。
4.光学窓のよごれ(dirt)(能動的又は受動的な技術)
5.エミッタの光強度の操作(operation)/監視
霧が環境コントラストおよび可視できる距離を時々数メートルまで減じるので、霧は視界(visibility)を低下させる。基本的には、遠近感の低下を原因として視界(visibility)がさらに悪化する。そして、遠近感は、間隙を介して物体の位置をチェックして評価するために不可欠である。
視界機能(visibility function)は、二つのサブ領域を結合することによって実行される。第一のサブ領域において、霧(それは視界レベルに関する)の存在下で発生する後方散乱放射光は、能動的な技術(すなわちエミッタ(たとえばLEDまたはレーザーダイオード))で測定される。第二のサブ領域(それは、交通監視及び管制に専用であるサブ領域と一致する)において、道路または高速道路の場面が受動的な技術によって得られる。そして、異なるタイプのアルゴリズムおよび複雑さ(complexity)(例えば、コントラスト分析、パラメータ(例えば陰影、水平線に対する比率、重なり、視差、その他)によって、霧峰の存在が検出される。このようにして、非局所的な視界(visibility)の評価が得られる。
図3は、能動的な技術を有する霧検出の原理を模式的に示す。この図において、数字5および6は、それぞれ、エミッタおよびレシーバを示している。
可能性のある(possible)配置において、交通監視に専用の領域が、道路網の幾つかの部分において移動車両の数を越えて、正確な画像処理解析のおかげで、流れ(トラックの代わりに車、渋滞列の場合には移動車両の平均速度)のタイプを与える。一方、例えば、交通管制に役立つパラメータ(速度(車およびトラックの両方)、安全距離、占められた緊急レーン、渋滞の列、事故)が測定される。
環境照明の機能は、マトリックスの特定のサブ領域によって、または交通監視に専用のものに含まれるサブ領域によって実行される。
光学窓の汚れの機能は、能動的な技術によって、すなわちエミッタによって実行されるとともに、受動的な技術によって、すなわちエミッタなしによって実行される。汚れの機能は、CMOSマトリックスのサブ領域または別々の受け取りモジュールを高感度領域として使用できる。
可能性のある(possible)配置において、本システムは、光学窓上の汚れの機能を能動的な方法で実行するために、(センサに組み込まれるが)視覚マトリックスから分離された電気光学の送出−受け取りのモジュールを備えている。
本発明の更に好ましい特徴によれば、光学窓の汚れの機能は、能動的な方法(すなわちエミッタ)で実行される、しかし、レシーバは、前記機能に専用のサブ領域を持った、または、上述した機能のうちの1つに専用のものに含まれるサブ領域を持った、前記視覚マトリックスである。
本発明の好ましい特徴によれば、光学窓の汚れの機能は、前記機能に専用のマトリックス・サブ領域の、または上述した機能のうちの1つに専用のものに含まれるサブ領域(たとえば場面監視に専用のサブ領域)の受動的な技術(たとえば画像分析)により実行される。
放射された光強度の監視は、前記機能に専用のサブ領域を通じて、またはマトリックスから分離される感光性の検出器によって、または電子回路の監視制御電流および環境温度によって、実行される。
可能性のある(possible)配置において、システムは、温度が出力として絶対値を必要としているそれらの機能で変動するときにマトリックス応答を補償するために、カメラ温度を測定するためのセンサ(たとえば熱電対またはPCB温度センサ)を更に備えている。
可能性のある(possible)配置において、システムは露点温度を得るために、外部温度(たとえば熱電対)および外部の相対湿度を測定するためのセンサを更に備えている。これらのパラメータは、霧形成の予測を可能にする。
交通監視、照明および同じCMOSマトリックス上へ霧機能の一体化を可能にする光学システムは、二つの異なる配置に従って実行される。
1.標準光学素子との提携(arrangement)(図6)
図6に示された実施形態を参照する。場面監視機能は、適切な焦点距離(たとえばf=6mm)を有し、道路部を構成するための道路面に関して傾斜し、マトリックス中心に関してシフトされて、マトリックス平面に直交した光軸を有する対物レンズ30(たとえば、おおよそ、直径が12mmで長さが20mmの、マイクロビデオレンズ)を含む。不透明な領域17および開口部18を有して、その保護ガラス16を有するマトリックス4は、対物レンズの背後に配置される(図5を見ること)。
受動的な技術の霧機能に対して、場面監視のものと同じ対物レンズが使われる。
好ましい特徴によれば、場面監視および受動的な霧検出を実行するための画像光学システムは、マイクロ光部品をベースとした専用システムからなる。
能動的な技術の霧機能(active technique fog function)に対して、ガラスまたはプラスチック光ファイバ9(図4を見ること)が用いられる。光ファイバ9は、ボールレンズ15またはGRIN(屈折率分布型)レンズ15を備えているか又は全てでレンズのない(11のように)、マトリックス4の近くの端部を有し、GRINレンズ13またはマイクロ光部品を備えているか又は全てでレンズのない(10のように)、正面端部を有する。光ファイバ9の正面端部は、ハイパス(800ナノメートルより上の波長で透明な)/干渉フィルタ8に関係している。干渉フィルタ8は無くてもよい。光ファイバ9の正面端部は、集光レンズ7に関係している。集光レンズ7はフィルタなしのものあってもよい。集光レンズ7は干渉コーティングを有するハイパス材料を有するものであってもよい。
光ファイバは、マトリックスに直交する方向に関して視野(field of view)の方向を修正するための安価でコンパクトな解決策である。実は、後方散乱技術において障害の存在が測定している視界(visibility)の正当性を損なってしまうので、好ましくは、レシーバの視野は、地平線の方向にまたはある程度上方に向けられなければならない。
集光レンズ7は、7乃至8°の視野の範囲内で、入射光を光ファイバに合焦させることを目指している。好ましくは、多層反射防止コーティングは、集光レンズ上に形成されなければならない。
ハイパス/干渉のフィルタ8は、環境光による妨害を制限することを目指している。そして、エミッタ(800乃至900ナノメートル)の波長に合った帯域に放射光構成要素だけをフィルタ処理することを目指している。
好ましい特徴によれば、集光レンズ7は、光学バンドパスフィルタとして作用できる。そして、集光レンズ7は、ハイパス材料から出来ている。スペクトル通過窓がエミッタの波長に合うように、適切な干渉コーティングが形成されている。
光ファイバからマイクロレンズまたはGRINレンズの上流または下流への使用は、光ファイバー結合効率とCMOSマトリックスへの合焦とをそれぞれ改良することができる。後者の場合、強度増加があるだけでなく、マトリックス上への放射光スポットが低減される。
エミッタ(図6の31で参照される)の信号をフィルタ処理することの他の解決策は、エミッタの周波数で所与の周波数および電子バンドパス・フィルタ処理システムに調整されたLEDをエミッタとして使用することである。この解決策は、光学的フィルタの用途の代替のまたは相補的なものである。
エミッタ31の信号をフィルタ処理することの更なる解決策は、バックグラウンド強度を算出するために環境照明信号を使用して、霧検出器の信号から後者を減ずることである。この解決策は、すでに記載されているフィルタ処理システムの代替のものである。
照明機能のために、受動的な技術の霧機能の場合として、光を集めるためのプラスチックまたはガラスでできている光ファイバ32が、用いられる。しかしながら、検出信号が充分な強度を有するので、集光レンズが用いられるべきではない。
照明機能は、交通監視専用の領域または受動的な霧検出専用の領域上の平均入射強度を算出することにより実行される。このような場合、これらの機能と同じ機能の光部品が、用いられることが可能である。
能動的な技術の汚染機能(active technique dirtying function)に対して、能動的な技術の霧機能(active technique fog function)のものとしての光学システムが、使われる。しかしながら、このような場合、エミッタおよびレシーバの視野は、少ないボリュームで重なり、光学窓の一部を含む。この機能に関連した光学システムは、能動的な技術の霧機能(active technique fog function)のためにリストされたそれらの中の一つ以上の構成要素を利用できる。放射光が電子的にフィルタ処理される場合、好ましくは、霧機能のために使用されるものと異なっている変調周波数が使われなければならない。
受動的な技術の汚染機能(passive technique dirtying function)に対して、場面監視に対するものと同じ対物レンズ(objective)が、使われる。
図6において、番号30a、7a、31a、32aは、それぞれ、対物レンズ30の視野(field of view)、レンズ7の視野、エミッタ31の視野、光ファイバ32の視野を指している。
2.マイクロ光部品との提携(図7,8)
図7,8に示された第二の実施形態の場合、前の機能のための集光構成要素は、マイクロレンズまたはマイクロレンズ−プリズム−マイクロレンズを含むシステムである。
システムはマイクロレンズの一つ以上のマトリックスを備え、当該マトリックスはCMOSマトリックス前に配置される。一つ以上のマイクロレンズは、各マトリックスに存在していてもよい。示された場合(図8を見ること)において、センサ4の近くのマイクロ光部品のマトリックス21およびデバイスの外側の方に配置されたマイクロ光部品のマトリックス20が設けられている。
各機能に対して、光学システムは、異なるマトリックスに配置された一つ以上のマイクロレンズから成る。
光軸の方向を含む課題は、二つの方法で解決される。
1.マイクロミラーまたはマイクロプリズム(くさびタイプまたは全反射)の使用
2.マイクロレンズの軸のシフトまたは傾斜
広範囲な(global)光学チェーン(chain)は、マイクロフィルタのマトリックス、または干渉コーティングで部分的に覆われた光学窓だけ(simply)を含むことができる。
各機能に対して光学システムのダイアフラム(diaphragm)を隔離(insulate)して、調整するために、吸収材料(好ましくは、孔あきの)からなる一つ以上の基板が、使用される。光学チェーン(chain)でのそれらの位置に依存して(マイクロレンズ・マトリックスの前か後に)、これらの基板は、開口絞りとして、迷光バッフルとして、または視野絞りとして、作用することができる。後者の場合、独立型の基板でなく吸収コーティングを使用することが、好ましい。そして、CMOSマトリックスの光学保護窓上に置かれる。示された場合(図8を見ること)において、それは開口絞りを有して二つのマイクロ光学的マトリックスの間に配置された光学的隔離要素22と、視野絞りとして作用する、センサ4の近くの要素23と、が設けられる。
各機能に関連した光学チェーンにおいて、プリズムは光軸を偏移させる(能動的な霧機能(active fog function)および照明機能が上向きである場合)が、マイクロレンズは送出された光学的信号を合焦させる。
本発明によれば、センサは、ガラス又は透明なプラスチック材料からなる保護窓16を備えている。そして、保護窓16は、(標準光学素子との提携に対する)光ファイバに対する支持体として作用する。センサは、必要に応じて、プリズムを備えている。これらの光部品は、前記ウインドウの中に作られた孔に挿通される。
好ましい特徴によれば、保護窓は、感光性領域の近くのマイクロレンズ・マトリックスが設置される基板と一致する。
図7を参照すると、後者は、光線整形レンズ33が関連するエミッタとして作用する二つのLED31を示す。参照符号31a、L、F、Tは、それぞれ、LED31の放射の突出部(lobe)、照明機能のための視野、能動的な技術の霧機能(active technique fog function)のための視野、交通監視および管制のための視野を示している。
本発明の更なる特徴によれば、光学的隔離システムは、様々な機能に専用のCMOSマトリックスの領域に配置される。そのシステムは、マトリックスの側に、たとえばセリグラフィ(serigraphy)または熱蒸発によって、吸収または反射の材料の層で、マトリックス保護窓の表面を部分的にコーティングすることを含んでいる。プリズムが用いられた場合には、プリズム面は、たとえばセリグラフィ(serigraphy)または熱蒸発によって、吸収または反射の材料の層で部分的にコーティングされなければならない。
マイクロレンズとの提携(arrangement)において、光学保護窓は、吸収コーティングを設置することに関する限定なしで、マイクロレンズマトリックスである。
視覚センサは、実行された機能の数に応じて、及び、交通監視および管制のために設計された視野に応じて、異なるサイズの、CCDまたはCMOSセンサであってもよい。
好ましい特徴によれば、CMOSセンサは、ピクセル光強度に依存する視界(visibility)の線形の進行(development)(メートルで)および100mを超える視界レベルの高解像度を有するように対数応答を有する。
好ましい特徴によれば、カラーCMOSセンサは、視界評価アルゴリズムの強さを改善することができる。霧の場合でのRGBレベルは飽和する。このように、画像を鮮やかにしないで、白色になる傾向がある。
画像獲得は、全マトリックスで(CCDの場合には)完全になるか、または(CMOSの場合には)マトリックス・サブ領域に限られる。第二のオプションは、各サブ領域に対する異なるパラメータおよび獲得スピードを使用することを可能にする。
能動的な霧機能(active fog function)において、光学的信号フィルタを越える、更なるフィルタ処理システムがある。フィルタ処理システムは、(たとえば窓(windowing)モードで、専用のサブ領域から生じている信号は、放射光線源の周波数の少なく二倍のフレーム速度で得られる)エミッタと一緒に得られる信号に基づき、及び適切なディジタルフィルタの使用に基づく。
デバイスは、信号の獲得および処理のための一体化された電子モジュールと、他の同一又は低機能のセンサと通信するための無線データ送受信モジュールと、を更に備えている。
適切なアルゴリズムによって正確で自己保証された視界(visibility)の信号を出力として与えるように、能動的で受動的な技術で測定する視界機能(visibility function)に対して、電子モジュールが測定の両タイプに関係する信号を比較するとともに、必要に応じて環境照明信号を付加して使用することができる。
更なる好ましい特徴によれば、電子モジュールは、前のアルゴリズムに関して改良されたデータ融合アルゴリズムで視界(visibility)を評価すること、必要であれば霧の形成及び希薄化を予測することのために温度及び湿度の信号を使用する。
電気通信分野での適用からみて、以下のことが可能であろう。
1)あるセンサから他のセンサにデータを送信するためのブリッジ(bridge)として各センサを使用すること。各センサは、前のセンサからデータを受け取って、それらを次のセンサに送信する。また、この逆のことが行われる。この送信は、基地局のところまで進み続く。基地局は、警告メッセージを処理するために受け取った情報を使用する。警察を呼ぶために別のルートを使用する。
2)近づいてくる車両に指示−情報を送信するためにセンサの全部または一部を使用すること。
基地局は、所与の道路部に関するデータをアップロードするために、及び、車両を走らせるために送信される情報をダウンロードするために、GSM/GPRS/UMTSによって中央データベースに同時接続できる。
デバイスの図である。光学窓上に大気の作用物質(agents)の影響を低減するために、多機能センサが、翼を有する密封ボックスに一体化されている。 本発明のセンサマトリックスの第一実施形態の模式図である。それは上述したいくつかの機能を実行する。 能動的な霧検出の原理図である。 霧検出の光学的受け取りシステムの実施可能な変形例を示す。 それに関連する保護窓を有する本発明のセンサマトリックスを含むアセンブリの斜視図を示す。 本発明のデバイスの第一実施形態を構成する様々な構成要素の概略斜視図である。 構成要素が、カメラ高感度領域、視野絞り、マイクロレンズ・マトリックス、光学分離(insulation)、マイクロレンズ・マトリックスであるマイクロ光学システムに基づく、本発明のデバイスの第二の実施形態を構成する様々な構成要素の概略斜視図を示す。 図7の詳細な分解拡大斜視図を示す。
符号の説明
1 領域
2 外殻
3 光学窓
4 マトリックス(センサ)
5 エミッタ
6 レシーバ
7 集光レンズ
8 ハイパス/干渉フィルタ
9 光ファイバ
13 GRINレンズ
15 ボールレンズ
16 保護ガラス
17 不透明な領域
18 開口部

Claims (6)

  1. 道路または高速道路にまたは交通分離帯に設置される検出デバイスであって、
    当該検出デバイスは、光検出領域を有するCCD又はCMOSのマトリックスを含むセンサ手段と、異なる方向及び/又は視野を持った複数の光学システムと、を備え、
    前記CCD又はCMOSのマトリックスは、前記光学システムによって複数のサブ領域に分割された前記光検出領域を含み、
    前記複数のサブ領域は、異なった特定の機能を実行するように構成されていて、
    前記光検出領域の前記複数のサブ領域は、
    霧を検出するための第一のサブ領域を形成する、前記光検出領域の上部にある第一セクションと
    照明状態を検出するための、第二のサブ領域を形成する、前記光検出領域の上部にある第二セクションと、
    道路網のいくつかの部分での移動車両の数を観察するとともに、交通渋滞や事故や障害物や違反を観察することによって交通を監視するための、前記第一のサブ領域及び第二のサブ領域から分離されていて第三のサブ領域を形成する、前記光検出領域の下部にある第三セクションと、を少なくとも含み、
    第一の光学システムは、前記第一のサブ領域に光学信号を送るために設けられていて、検出デバイスから前方に光を放射する光エミッタと、前記検出デバイスの前面にある霧によって反射されたあらゆる光を受け取って前記CCD又はCMOSのマトリックスの光検出領域の第一のサブ領域だけに受けとった光を導くレシーバと、を含み、
    第二の光学システム及び第三の光学システムは、第二のサブ領域及び第三のサブ領域に光学信号を導くためにそれぞれ設けられていて、
    前記CCD又はCMOSのマトリックスは、光学システムから来る光を、異なった機能のために専用に設けられた光検出領域の様々なサブ領域に導くための集光手段を備えていて、当該集光手段がマイクロレンズからなるシステムを含んでいることを特徴とする検出デバイス。
  2. 前記集光手段は、マイクロレンズからなる二つの並行で離間したマトリックスを備えていることを特徴とする、請求項1記載の検出デバイス。
  3. 前記集光手段は、マイクロフィルタ、又は干渉コーティングで部分的に覆われた光学窓を備えていることを特徴とする、請求項2記載の検出デバイス。
  4. 前記集光手段は、吸収材料からなる一つ以上の有孔基板を備えていることを特徴とする、請求項1記載の検出デバイス。
  5. 前記CCD又はCMOSのマトリックスは、保護透明窓を有することを特徴とする、請求項4記載の検出デバイス。
  6. 前記センサ手段は、無線データ送受信モジュールをさらに備えていることを特徴とする、請求項1記載の検出デバイス。
JP2006027970A 2003-10-02 2006-02-06 検出デバイス Expired - Fee Related JP4485477B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
IT000770A ITTO20030770A1 (it) 2003-10-02 2003-10-02 Dispositivo di rilevamento installabile lungo una

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004262206A Division JP4234655B2 (ja) 2003-10-02 2004-09-09 環境状況を検出して交通を監視し且つ管制するために道路上に設置される検出デバイス

Publications (2)

Publication Number Publication Date
JP2006139808A JP2006139808A (ja) 2006-06-01
JP4485477B2 true JP4485477B2 (ja) 2010-06-23

Family

ID=34308163

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2004262206A Expired - Fee Related JP4234655B2 (ja) 2003-10-02 2004-09-09 環境状況を検出して交通を監視し且つ管制するために道路上に設置される検出デバイス
JP2006027970A Expired - Fee Related JP4485477B2 (ja) 2003-10-02 2006-02-06 検出デバイス

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2004262206A Expired - Fee Related JP4234655B2 (ja) 2003-10-02 2004-09-09 環境状況を検出して交通を監視し且つ管制するために道路上に設置される検出デバイス

Country Status (8)

Country Link
US (1) US7817183B2 (ja)
EP (2) EP1603095B1 (ja)
JP (2) JP4234655B2 (ja)
CN (2) CN1603792B (ja)
AT (2) ATE355578T1 (ja)
DE (2) DE602004005012T2 (ja)
ES (2) ES2268549T3 (ja)
IT (1) ITTO20030770A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMN20050049A1 (it) * 2005-07-18 2007-01-19 Balzanelli Sonia Dispositivo visivo per veicoli in condizioni climatico-ambientali difficili
ATE385044T1 (de) 2005-09-19 2008-02-15 Fiat Ricerche Multifunktioneller optischer sensor mit einer an mikrolinsen gekoppelten matrix von photodetektoren
WO2008154736A1 (en) 2007-06-18 2008-12-24 Leddartech Inc. Lighting system with driver assistance capabilities
US8242476B2 (en) 2005-12-19 2012-08-14 Leddartech Inc. LED object detection system and method combining complete reflection traces from individual narrow field-of-view channels
US8436748B2 (en) 2007-06-18 2013-05-07 Leddartech Inc. Lighting system with traffic management capabilities
CA2857826C (en) 2007-12-21 2015-03-17 Leddartech Inc. Detection and ranging methods and systems
EP2232462B1 (en) 2007-12-21 2015-12-16 Leddartech Inc. Parking management system and method using lighting system
KR101013578B1 (ko) 2009-02-18 2011-02-14 김종헌 엘이디를 이용한 안개주의등 작동시스템
TWM368888U (en) * 2009-04-24 2009-11-11 Cai Shuei Tian Outdoor switch device for rain/frost detection
US8416300B2 (en) * 2009-05-20 2013-04-09 International Business Machines Corporation Traffic system for enhancing driver visibility
CA2782180C (en) 2009-12-22 2015-05-05 Leddartech Inc. Active 3d monitoring system for traffic detection
US8386156B2 (en) * 2010-08-02 2013-02-26 Siemens Industry, Inc. System and method for lane-specific vehicle detection and control
PT2450865E (pt) * 2010-11-04 2013-04-18 Kapsch Trafficcom Ag Dispositivos e métodos de controlo móveis para veículos
US8908159B2 (en) 2011-05-11 2014-12-09 Leddartech Inc. Multiple-field-of-view scannerless optical rangefinder in high ambient background light
CA2839194C (en) 2011-06-17 2017-04-18 Leddartech Inc. System and method for traffic side detection and characterization
DE102011086512B4 (de) * 2011-11-16 2022-12-01 Bayerische Motoren Werke Aktiengesellschaft Nebeldetektion
CN102539383B (zh) * 2012-01-09 2013-07-10 北京大学 散射式能见度仪中能见度测量方法
EP2820632B8 (en) 2012-03-02 2017-07-26 Leddartech Inc. System and method for multipurpose traffic detection and characterization
CN103235088B (zh) * 2013-04-17 2015-05-06 北方工业大学 实时评价机动车尾气对大气污染程度的系统及其运行方法
ITRM20130274A1 (it) * 2013-05-08 2014-11-09 Smart I S R L Sistema di sensori ottici distribuiti ed intelligenti per il controllo adattivo, predittivo ed on-demand dell'illuminazione pubblica
CN105324661B (zh) * 2013-06-26 2019-07-05 飞利浦灯具控股公司 采用基于传感器的照明器探测能见度降低的区域及其移动方向的装置和方法
CN103606282A (zh) * 2013-11-06 2014-02-26 江苏省交通科学研究院股份有限公司 结冰预警视频检测系统
DE102013018782A1 (de) 2013-11-08 2015-05-13 Audi Ag Verfahren zum Betreiben eines Kommunikationssystems für Kraftfahrzeuge
CN105206074B (zh) * 2014-06-16 2019-11-15 东阳市天杨建筑工程设计有限公司 公路交通引导方法及公路交通引导系统
US20170276658A1 (en) * 2014-08-20 2017-09-28 Airtraff Di Mauro Zilio Station for the integrated monitoring of environment and traffic
US10488492B2 (en) 2014-09-09 2019-11-26 Leddarttech Inc. Discretization of detection zone
CN104700629B (zh) * 2014-11-04 2017-08-04 南通大学 一种高速公路团雾的监测预警系统及方法
US10274599B2 (en) * 2016-06-01 2019-04-30 Toyota Motor Engineering & Manufacturing North America, Inc. LIDAR systems with expanded fields of view on a planar substrate
CN106023616A (zh) * 2016-07-26 2016-10-12 马忠杰 一种防雾红绿灯
CN107139870A (zh) * 2017-05-22 2017-09-08 六六房车有限公司 一种基于房车环境检测的房车安全保护方法
FR3079614B1 (fr) * 2018-03-30 2024-04-12 Syscience Procede et dispositif de mesure des conditions de visibilite
CN111274911B (zh) * 2020-01-17 2020-12-01 河海大学 基于无线微波衰减特征迁移学习的浓雾监测方法
CN112686105B (zh) * 2020-12-18 2021-11-02 云南省交通规划设计研究院有限公司 一种基于视频图像多特征融合的雾浓度等级识别方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2849701A (en) * 1954-04-23 1958-08-26 Tele Dynamics Inc Highway condition indicating system
IT1013280B (it) * 1974-05-28 1977-03-30 Autostrade Concess Const Sistema perfezionato per il control lo elettronico del traffico in tempo reale e per trasmissioni bidirezionali in codice e fonia fra centrale operativa e mezzi mobili
DE3537220A1 (de) * 1985-10-16 1987-04-16 Joerg Prof Dr Ing Albertz Optoelektronische kamera
AU2268088A (en) * 1987-08-25 1989-03-31 Elin-Union Aktiengesellschaft Fur Elektrische Industrie Improved road traffic-control system
DE4200057A1 (de) * 1992-01-03 1993-07-08 Josef Dipl Ing Zink Lasermesssystem zur messung physikalischer messgroessen
FR2689072A1 (fr) * 1992-03-31 1993-10-01 Valeo Vision Dispositif d'éclairage et/ou de signalisation utilisé en situation de brouillard.
US6396397B1 (en) * 1993-02-26 2002-05-28 Donnelly Corporation Vehicle imaging system with stereo imaging
JPH07318650A (ja) 1994-05-24 1995-12-08 Mitsubishi Electric Corp 障害物検知装置
EP0879158B1 (de) * 1996-02-13 1999-07-28 Marquardt GmbH Optischer sensor
GB9606477D0 (en) * 1996-03-27 1996-06-05 Rover Group A sensing system for a vehicle
US6611610B1 (en) * 1997-04-02 2003-08-26 Gentex Corporation Vehicle lamp control
DE19730341A1 (de) * 1997-07-15 1999-01-21 Sick Ag Verfahren zum Betrieb einer opto-elektronischen Sensoranordnung
DE19755008B4 (de) * 1997-12-11 2007-01-04 Conti Temic Microelectronic Gmbh Verfahren zum Betreiben eines Multifunktionalen Innenspiegels
DE19909986C2 (de) * 1999-03-06 2002-08-29 Kostal Leopold Gmbh & Co Kg Optoelektronische Überwachungseinrichtung für ein Kraftfahrzeug
US6189808B1 (en) * 1999-04-15 2001-02-20 Mccord Winn Textron Inc. Automatically controlled washer system for headlamps
AU6727200A (en) * 1999-08-24 2001-03-19 Sekisui Jushi Kabushiki Kaisha Road traffic weather observation system and self-emission road sign system
US6422062B1 (en) * 2000-08-29 2002-07-23 Delphi Technologies, Inc. Integrated glass fog sensor unit
US6662099B2 (en) * 2001-05-22 2003-12-09 Massachusetts Institute Of Technology Wireless roadway monitoring system
ITTO20020950A1 (it) * 2002-11-05 2004-05-06 Fiat Ricerche Sistema di visione integrato multifunzionale, con matrice

Also Published As

Publication number Publication date
EP1603095A2 (en) 2005-12-07
DE602004005012D1 (de) 2007-04-12
EP1603095B1 (en) 2007-02-28
CN1818613B (zh) 2012-01-11
DE602004001375T2 (de) 2007-05-03
EP1521226A1 (en) 2005-04-06
CN1603792A (zh) 2005-04-06
JP2005117639A (ja) 2005-04-28
ES2268549T3 (es) 2007-03-16
DE602004005012T2 (de) 2007-11-15
US7817183B2 (en) 2010-10-19
CN1603792B (zh) 2010-11-17
EP1603095A3 (en) 2006-01-04
US20050072907A1 (en) 2005-04-07
ATE331999T1 (de) 2006-07-15
DE602004001375D1 (de) 2006-08-10
CN1818613A (zh) 2006-08-16
JP2006139808A (ja) 2006-06-01
JP4234655B2 (ja) 2009-03-04
ATE355578T1 (de) 2006-03-15
ES2281884T3 (es) 2007-10-01
EP1521226B1 (en) 2006-06-28
ITTO20030770A1 (it) 2005-04-03

Similar Documents

Publication Publication Date Title
JP4485477B2 (ja) 検出デバイス
US7460161B2 (en) Multifunctional integrated visual system with CMOS or CCD technology matrix
KR101903981B1 (ko) 카메라와 라이트를 사용하여 창에 떨어지는 빗방울 감지
JP3163889U (ja) 運転における補助のための、及び/又は自動車に設けられたシステムを自動的に作動させるための、自動車に搭載される光センサデバイス
US6596978B2 (en) Stereo imaging rain sensor
CN102472840B (zh) 用于同时聚焦到两个视野范围的光学模块
EP3225020A1 (en) Imaging device, object detector and mobile device control system
US20120026318A1 (en) Camera system for detecting a state of a vehicle window pane
JP6333238B2 (ja) カメラ及び照明を用いたガラス面の雨滴検出
KR20050113608A (ko) 자동 차량 외부광 제어 장치
US20150070499A1 (en) Camera system, in particular for a vehicle
JP2005195601A (ja) 自動車のための運転条件を検出するシステムおよび方法
US9676329B2 (en) Camera system and method for operating a camera system for a motor vehicle
JP2022003344A (ja) 3dライダセンサ
WO2016084359A1 (en) Imaging device, object detector and mobile device control system
CN104768809B (zh) 用于借助摄像装置探测窗玻璃上雨滴的照明装置
JP4281177B2 (ja) 車載用撮像装置
JPH0712938A (ja) 車両用レーザーレーダー装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20060208

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061130

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20061130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090413

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100309

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100324

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees