JP4295560B2 - 車両内部または外部を監視する方法、及び監視カメラを備えた車両 - Google Patents

車両内部または外部を監視する方法、及び監視カメラを備えた車両 Download PDF

Info

Publication number
JP4295560B2
JP4295560B2 JP2003167814A JP2003167814A JP4295560B2 JP 4295560 B2 JP4295560 B2 JP 4295560B2 JP 2003167814 A JP2003167814 A JP 2003167814A JP 2003167814 A JP2003167814 A JP 2003167814A JP 4295560 B2 JP4295560 B2 JP 4295560B2
Authority
JP
Japan
Prior art keywords
sensor
vehicle
evaluation
camera
monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003167814A
Other languages
English (en)
Other versions
JP2004026144A (ja
Inventor
ウーヴェ・フランケ
ステファン・ゲーリッヒ
ファレリー・メンヨン
フリットヨフ・シュタイン
アレクサンダー・ヴェルツ−ヴェッセル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Publication of JP2004026144A publication Critical patent/JP2004026144A/ja
Application granted granted Critical
Publication of JP4295560B2 publication Critical patent/JP4295560B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/008Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles allowing the driver to see passengers, e.g. for busses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8006Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo
    • B60R2300/8013Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying scenes of vehicle interior, e.g. for monitoring passengers or cargo for child monitoring
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8073Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle security, e.g. parked vehicle surveillance, burglar detection
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • G07C5/0875Registering performance data using magnetic data carriers
    • G07C5/0891Video recorder in combination with video camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Air Bags (AREA)
  • Traffic Control Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両内部または外部を監視する方法、及び少なくとも一つの監視カメラを車両内部に備えた車両に関する。
【0002】
【従来の技術】
車両内部にカメラを備えるモータビークルは既知であり、例えば、外の視野を備えた個別カメラが車両の窓ガラスを通して前部空間、側部空間または後部空間を監視するために使用される。車両内部の部分を観察するためのカメラは既に提案されており、例えば、特許文献1では、車両運転者の警戒状態を光学的に測定する機器が示されている。
【0003】
出願人によって以前に出願され、未公開のドイツ国特許出願である公式ファイル文献第101 58 415.6号は、少なくとも一つのカメラを使用して車両内部を光学的に監視する方法を開示している。この場合、外部の感知もまた、少なくとも1個のカメラによって実行される。ここに記載された手順では、画像データの複雑な評価が必要とされ、評価されたデータの有用性は必ずしも十分ではない。
【0004】
【特許文献1】
独国特許出願公開第19803158A号明細書
【0005】
【特許文献2】
国際公開第WO99/30197号パンフレット
【0006】
【特許文献3】
国際公開第WO99/45422号パンフレット
【0007】
【特許文献4】
国際公開第WO97/43854号パンフレット
【0008】
【発明が解決しようとする課題】
本発明の目的は、車両内部または外部を監視する方法、および適切な信頼性を備えた詳細情報を使用可能にする方法を実行するセンサ装置を備えた車両を提供することである。
【0009】
【課題を解決するための手段】
この目的は、少なくとも一つの監視カメラから形成される第1センサを有し、内部または外部が前記監視カメラによって感知され、画像データが評価される車両内部または外部を監視する方法であって、前記評価は少なくとも一つの領域を選択するために使用され、前記領域は限定された空間的感知範囲を備えた第2の目標合わせ可能なセンサを用いて感知され、前記第2センサによって記録されたデータが評価を受ける監視方法によって達成される。また、この目的は、少なくとも一つの監視カメラによって形成され、その視野が少なくとも部分的に前記車両内部または外部をカバーする第1センサを有する車両であって、限定された空間的感知範囲を有し、その目標合わせが前記第1センサの関数として制御される第2センサを設ける車両によって達成される。
【0010】
本発明の有利な改良は、従属請求項、および発明の実施の形態の記載により明らかとなる。
【0011】
本発明によれば、車両内部および外部は共に、少なくとも一つの監視カメラによって観察されるが、これは、好適な実施形態において、通常のデジタルカメラ、特にCCDカメラと、そのカメラから離れてセットされ、かつまたカメラによって観察される、例えば、球形状にまたは放物面状に凸形の鏡と、からなる。一体形ハウジング内の監視カメラも又さらに示される。監視カメラは、例えば、特許文献1、特許文献2および特許文献3に記載され、例えば、監視目的およびロボットナビゲーションの場合に使用される。それらは一般的には、魚眼カメラと同様に360度のパノラマ画像を作り出す。撮影水平線、即ち最大180度の撮影方位角の端において詳細をもはやほとんど認識されることがない魚眼カメラとは異なり、監視カメラは画像の端部領域において詳細を再現し、それによって、適当であれば、180度よりも大きい方位角の撮影範囲をも許容する。
【0012】
監視カメラの適当な配置が、特に内側鏡の領域内で、与えられれば、車両内部、および車両外部の大部分を、同時に感知することができる。車両内部で車両の屋根に凸面鏡を配置することが効果的であることが示されているが、その結果として、その下側に位置する全半球、即ち事実上車両内部全体、および側部の窓ガラスを通して感知可能な外部もまた写すことが出来る。
【0013】
さらに、特にそれが主として車両内部の前部領域であり、かつ監視すべき車両の前にある領域であるときに、凸面鏡またはカメラそれ自体をダッシュボードと一体化することが効果的である。監視カメラによって記録された画像データは、さらに詳しく評価する目的で当該領域を選択するために使用することができ、空間的に限定された感知範囲によって識別され、かつ関心度によって区分された領域に目標合わせ可能に構成されている第2のセンサをより詳しく評価する目的で活用することができる。第2のセンサによって記録されたデータは、監視カメラのみによる、一般に許容されるよりもより詳しい、選択領域に関する情報を提供する評価を受ける。
【0014】
本発明は、車両外部あるいは内部に関する選択された領域について、信頼性のある情報を使用可能にする方法を提供する。監視カメラの画像データの広範囲に亘る記録は、運転上の決断に重要な個々の領域を見過ごさず、または考慮して、関連のある領域、または特に当該の領域を高い信頼性で感知し選択することを可能とする。信頼性のある運転上の決断を可能とするために、本発明による方法または本発明による車両は、特に当該の領域を選択し、それらを第2のセンサ、特に特別な特性を有するセンサによる、より詳細な感知に導くことによって使用される。従って、評価の信頼性、よってまた安全運転性は、実質的に向上される。
【0015】
記録され評価された画像データを基にして、運転者が初期段階で警告を受ける一方、車両における積極的な介入によって事故を防止する対策を実行させることが可能となり、あるいは、例えば、エアバックなどを早期に起動せしめて、事故結果の重大性を制限する対策を実行せしめることが可能となる。
【0016】
本発明の特に好適な実施形態によれば、少なくともデジタルカメラ、赤外線カメラ、レーザポイントセンサ、レーダーセンサまたはこれらの組合せから第2センサが構成される。その結果、レーザポイントセンサまたはレーダーセンサは、車両に関する第2センサの感知領域つまり選択領域の相対挙動の高信頼性評価を特に生み出す。特に、相対速度、あるいは車両からの距離が感知され、評価されて、車両におけるさらなる処理のために使用可能とされる。まさに、感知領域における物体の相対速度を正確に感知することが可能なセンサタイプを第2センサとして使用することで、事故を防止し、または事故の結果を限定するために非常に重要な情報が得られ、これは、車両自体の運転安全性に利益をもたらすばかりでなく、交通全体における運転安全性、特に歩行者の安全性に利益をもたらすものである。しかしながら、比較的大きい倍率ファクターを有する、特にズーム機能を備えた赤外線カメラまたはデジタルカメラは、監視カメラによって得られる情報に関連して、特に霧、たそがれまたは夜間のような不利な状態の下で、詳細な情報をさらに実質的に入手可能にするので非常に有用であることがわかる。このさらなる情報は、車両に対して、それ自体であるいは第1センサからのデータと組み合わされて使用可能となり、車両はそれに対応して、交通上の安全性を高めるように制御される。
【0017】
第2センサの目標合わせは、第2センサが、モータによって枢動され、それによって限定された感知範囲を監視カメラの感知範囲の別な領域に旋回移動することによるか、あるいは電子的に、例えば、変動駆動またはフェーズドアレイのレーダーアンテナの場合に、作動されて枢動されるという事実に基づいて、第1センサの画像データの自動評価に基づいて行われるのが好ましい。後者の場合、1個で同一のレーダーアンテナは、機械的に即ちモータによってセンサに対してアンテナを枢動させる必要性なく、微分駆動によって異なる指向特性を実現する。機械的に枢動可能なセンサは車両における連続揺動および振動によって非常に影響を受けやすいので、第2センサのそのような電子的目標合わせは、非常に有利であることがわかる。
【0018】
第2センサの目標合わせは、好ましくは画像データの自動的評価や、特に画像データの評価のために実験される動作、輪郭または色の解析方法に基づいて行われる。第1センサの画像データのこの評価は、特に当該のある領域の自動的な選択をもたらし、これは引き続いて第2のセンサによる徹底的により詳しい観察を受ける。この場合において、例えば、光束を使用することにより、第1センサの画像内における動作評価を用いて、当該領域の選択を行うことが特に効果的であることが示され、そして、歩行者およびサイクリストとの衝突を制限し、または防止するための装置と組み合わせて本発明を使用する場合に、これは特に効果的であることがわかる。
【0019】
少なくとも一つの監視カメラによって得られる画像は、かなり歪んでおり、曲線状の「ワールド座標」の形で存在し、1つ以上の歪んでいない部分画像が、カメラの画像を円筒座標または平面座標に変換することによって得られる。カメラ画像の曲線状座標系と目標の円筒または平面座標系との関係は、鏡の幾何学的形状とカメラにより、または監視カメラの構造によって確定される。変換において、輝度の値と、もし適切であれば、カメラ画像の各画像点の色が、その座標が例えば球形鏡の場合に三角法の関係によって得られる円筒座標系または平面座標系における点に割り付けられる。
【0020】
対応する計算が、車両の計算機内において実質的にリアルタイムで行われ、しかしながら計算機能力を節約するために、上述の割付は実際には、カメラの校正の間に作製され、そして車載計算機またはハードウェアに組み込まれた電子画像修正装置においてカメラ操作の間に使用する目的で、格納された1つ以上の変換表を用いて行われる。
【0021】
これは、車両内部の1つ以上の部分画像を導出するが、その場合実質的に1個の一次元歪みのみが存在し(円筒座標への変換の場合)、あるいは(平面座標に変換する場合に)もはやいかなる歪みも存在せず、したがって直線は本質的に直線として再現される。円筒座標または平面座標におけるそのような画像は、それから非常に簡単な要領で電子的にさらに処理され、特に非常に簡単に評価することが出来る。これは、単純なさらなる処理を可能とし、車両内での発明の費用効果的な実行を可能とする。特に、選択段階を用いて第2センサによる詳しい評価のために特に当該領域を評価し、選択することは、実質的により容易になされる。さらに、この変換によって車両用監視装置のモジュール化を達成することが可能であり、これは当該領域を選択することで大部分同一の次の画像処理および評価と共に車両のそれぞれの状態への連続変換に少なくとも一つの監視カメラを簡単に置換することを可能とする。これによって、車両内部および外部を監視するかかる装置のコストをかなり低減することが可能であり、これによって、評価の信頼性における認識可能な損失なくして、使用者への受入を高めることが可能となる。
【0022】
本発明の別の構成は、車両内部の少なくとも一つの監視カメラによって形成され、その視野が車両内部または外部を少なくとも部分的にカバーする第1センサを備えた車両に関連している。第1センサは、限定空間の感知領域を有し、目標合わせが第1センサの関数として制御可能な第2センサが付与されている。このケースにおいて、目標合わせは好ましくは、第1センサの画像データの自動評価に基づいて制御することの出来る制御装置を介して実施され、その評価は好ましくは、第1センサの可視領域の特に関心があるか、または問題として分類された選択領域が、第2センサによって明確に感知され、完全に評価されるように画像評価装置によって行われる。この場合において、第2センサの目標合わせは、第2センサを好ましくはモータによって枢動するか、あるいは電子的な方法で対応して、その目標合わせを調整する制御装置を用いて行われる。この結果として、第1センサに付与されている対応制御装置に組み合わされた選択段階による選択を用いて車両外部または内部の関連情報は、好ましくは自動的に記録されることとなり、そしてそれによって信頼性の高い操作モードが車両内外部の監視方法のために提供される。
【0023】
各ケースにおいて第1または第2のセンサをそれ自体で使用することも、車両内部または外部の立体的感知装置として一緒に使用することも共に特に有用であることが判明している。結果として、2個の個別センサによって少なくとも形成される各センサの記録情報は、例えば、2個の監視カメラによりあるいは2個のデジタルカメラ、2個の赤外線カメラ、2個のレーザ位置センサまたは2個のレーダーセンサ、または感知領域の立体的評価が2個の個別センサを用いて可能であるような2個の個別センサの組合せから形成される。この立体的評価の過程において、特に感知領域の物体の深さ目盛に関する情報、特に距離あるいは距離の変化、即ち相対速度に関する情報を記録し評価することが可能である。この立体的な情報は、警告機能を特に明確な形で起動すること、または防護手段、所謂衝突前手段、を早期に作動することにより、あるいは車両の運転動作への介入に関し、例えば独立し自律した車両の制動作用または回避作用により、事故の影響を防止しまたは制限するための防護方策の起動を可能とする。特にこれにより、制御の基盤を形成するものが車両、特に前部領域の外部の空間的細分化に関する情報となる。
【0024】
赤外線カメラ、レーザポイントセンサまたはレーダーセンサを使用すると、専ら可視周波数領域で実質的に作動するカメラの情報コンテンツを介して、非常に信頼性のある要領で車両内部または外部における感知可能環境の情報コンテンツの拡張がもたらされる。これによって、周囲領域に関する情報の実質的に識別化された表現がそれによって可能となり、そして後刻の車両評価のために使用可能となる。
【0025】
特に、第2センサにズーム機能を持たせることが効果的であることが判っている。この場合、ズーム機能は、ズーム係数が特に遠くに離れている物体の場合に大きく選択され、そしてズーム係数が近接ゾーンの物体の場合に小さく選択されるように特に選択領域における物体の距離の関数として制御される。このようにして、選択された領域の物体に関する情報は、確実に、かつ全表面を実質的にカバーする詳しい態様で得ることが常に可能となる。この構成の結果として、部分の不適切な選択による不要な情報が記録と評価から実質的になくなり、これにより評価が単純化され、かつ通常評価も加速化される。
【0026】
1個、または2個、またはそれ以上の監視カメラを含む第1センサを屋根面に、特に内側鏡の領域内に配置するのが特に効果的であることがわかり、これによって第1センサの特に効果的に構成された感知領域が生じる。特に、車両側部領域、および前部領域が、ここでは車両の窓ガラスを通して非常に効果的に感知され、しかしながら内部、特に前部座席の領域が、窓ガラスを通して非常に効果的に感知され、従って、選択された領域に関して非常に容易に評価される。
【0027】
さらに、第2センサをダッシュボードの領域に配置するのが特に効果的であることがわかり、これは、車両の前方領域、車両の直前部空間または車両の側部空間、特に横断補助としての使用に関して交差信号灯の検出、または車両検出、またはレーン検出を特定の範囲まで支援し、かつ可能とする。この配置によって第1センサおよび第2センサによって記録された情報の共同評価をある程度まで行うことが可能である。特にこれは感知領域の立体的評価を可能とし、その結果として、共同感知領域の空間的細分化が記録されることが出来、あるいは、曖昧事象(多くの前提)の発生が防止されあるいは制限される。曖昧事象の防止または制限は、その記録情報が三眼顕微鏡的立体評価において一緒に評価される複数の個別センサの使用により、特に、3個以上の個別センサにより所定範囲まで、達成することが出来る。損傷または汚染の特定の防護は、車両内部におけるセンサの配置によって生じ、これはまたセンサのデータの質に正の影響を及ぼす。
【0028】
さらに、側部窓ガラスの障害無しに、外側領域の直接感知が可能であり、このようにして外側の選択領域を直接感知することが可能であるから、バンパ、前照灯、または車両の屋根の端部領域の領域内に少なくとも部分的に第2センサを配置することが特に効果的であることがわかる。このようにして、より詳しくそして誤りの少ない、外側選択領域に関する情報が得られる。レーダーセンサのこのような配置は、その使用がレーダーセンサによってなされるところでは、所定の範囲において、効果的であることがわかる。
【0029】
他の通常型の車両用光学センサ装置に比べると、限定された視野の第2の中心合わせ可能なセンサに少なくとも一つの監視カメラを組み合わせることは、内部または外部の情報を記録するに際し、多数の仕事を実施するために必要とされるカメラの数を削減することを可能といる。
【0030】
交通信号灯の検知、交通信号を検知するための補助装置、交通渋滞の追跡、レーン検知、左右状況の検知、例えば、サイクリストのような近接領域における物体検知方法、あるいは交差点における状態の感知と評価の方法に関する本発明の前述の可能性ある使用に加えて、盗難防止警備の、または特に事故に関連した交通状態を記録化するための内部監視のような他の適用を実行することも可能である。本発明に関連して使用されるようなアプリケーションおよび画像評価装置は、校正装置を必要とせず;校正されない装置を使用することも可能である。この場合もやはり、自動車ではなく、特に飛行機または船における他の乗り物において、例えば、業務を監視するために本発明を適用することも可能である。
【0031】
【発明の実施の形態】
本発明の更なる特徴および利点は、図面を用いた好適な実施形態の以下の説明から明らかになる。
【0032】
図1は、2個の監視カメラを備え、車両内部または外部を監視する本発明による装置の構成例が示されている。
【0033】
第1監視カメラは、球体状または放物面状の凸面鏡1と、CCDカメラを構成するデジタルカメラ2から構成される。第2監視カメラは対応して、球体状または放物面状の凸面鏡3として構成された第2鏡3と、CCDカメラ4とから構成されている。2個の鏡1、3は、内部において車両屋根に配置されている。2個のカメラ2、4は2個の鏡1、3の下方に配置され、特にカメラ2、4の基本的な視野を構成するその視野内に2個の鏡1、3を備えている。そのような監視カメラは、例えば前述の文献、特許文献1、特許文献2および特許文献3に記載されている。凸面鏡1は、この例では、前部座席間領域の上方の屋根に、反射面を下方に向けて取り付けられ、割り当てられたカメラ2は、2個の前部座席の間に視線を鏡1の方向に上向けて締結されている。第2凸面鏡3は車両の屋根の中央部に配置されている。その反射面は同様に下を向いている。カメラ4は、鏡3の下方で、後部車室内の車両の足置き場内に、変速機トンネルの領域に鏡3に整列するように配置されている。
【0034】
この配置の場合には、カメラ2または4は、割り当てられた凸面鏡1、3の中で図2に例として図式的に示された、車両屋根の下方の半球画像を観る。ここで、それが自身を写そうとする機械的または電子的にマスクされた中央領域を除いて、画像は前述の半球を示す。図2からわかるように、カメラは、座席を備えた内部および乗車者を感知するばかりでなく、それはフロントガラスを通して外部領域を感知することが出来るが、外部の詳細は複雑になるために図2には示されていない。図は明確さを向上させるために窓ガラスを再現することに限定されており、したがって外部は再現されていない。
【0035】
カメラ2、4は、鏡の形状に依存して、球座標または他の曲線座標で周囲を写しているので、それらによって供給されるデジタル画像データは、大きく歪んでいる。カメラ2、4の各画像は修正装置5へ供給され、ここで画像の1つ以上の部分が平面座標に変換される。運転者側部の代表的な変換画像が、図3に示されている。図示された画像は比較的歪んでいない像を示しており、そこでは直線は実質的な直線として再現されている。
【0036】
変換画像データは選択段階6へ供給され、これは、変換され、修正された画像データに基づいて簡単な要領で、例えば光束の概念を用いて輪郭、色および動きを分析することにより、次にカメラ2、4によって記録された画像の当該部分の選択を可能とする。
【0037】
装置が、歩行者監視装置のケースで内部または外部を監視するために使用される場合は、選択段階を動作解析と共に使用するのが好ましいが、一方交通信号灯または交通信号補助としての適用の場合には、輪郭または色による分析が適用される。もし、自動処理において、選択段階が一つの領域を特に問題があると決定し、それによってこの領域を選択すれば、この選択領域を表す情報のアイテムが、選択段階6によって制御装置7に報告され、これはそれから目標合わせ装置8を使用して、ズーム機能を備えたCCDカメラを含む第2センサ9を、第2センサ9の視野がこの選択領域をカバーするように枢動する。ここで、第2センサ9の倍率ファクター(ズーム係数)は、選択領域の物体が詳細に感知できるように制御装置7によって設定される。ズーム係数はここでは、立体的計測によって測定される選択領域または選択領域内の物体の距離に従って選択される。
【0038】
立体的計測は、この場合では、一緒になって立体的監視カメラを形成する2個の監視カメラ1、2/3、4によって行われる。立体的評価はここでは、制御装置7の距離情報を使用可能とする選択段階6によって行われ、これは結果的に第2センサ9のズームを制御する。
【0039】
第2センサ9および2個の監視カメラ1、2/3、4によって記録された画像データは、画像評価装置10に供給され、これは全感知装置の画像データ、一例として2個のセンサ、即ち第1監視カメラ1、2,第2監視カメラ3、4およびズームカメラ9の画像データの全体的な評価を可能とする。全体的な評価の過程において、特に曖昧事象を解明し、そして感知された外部または内部の空間細分化の非常に明確な評価をすることが可能である。その結果、個別に感知された物体の距離または位置を測定するのが特に可能である。さらに、感知物体の相対速度は、車両に関して、またはセンサ装置に関して計算できる。全ての画像情報の代表的な全体的評価によって、車両外部または内部を理解するために非常に役に立ちそして信頼性のある情報を得ることが正に可能である。この確実で信頼性のある情報によって、車両の他の構成要素は必要な手段、例えば運転者または交替運転者に対する警告、あるいは運転者または交替運転者のためのさらなる情報に対する手段を使用可能とし、または、例えば、エアバックの早期起動または車両に歩行者が衝突する前のエンジンカバーの早期傾斜のような事故の影響を低減する手段、または自動的ブレーキ作動または車両の加速、あるいは接触防止のための手段を開始する。この目的に関して、画像評価装置の必要な情報は、インターフェース11を介して車両のこれらの他構成要素に使用可能とされる。
【0040】
本発明による方法は、車両における使用、特に盗難防止装置あるいは画像データを伝送する装置と組み合わせた使用に対して特に適している。特に、警報装置または盗難防止装置が作動すると直ちに、人、例えば車両所有者に、携帯無線電話を介して伝えられる。
【0041】
さらに、本発明は、車両内外での事故と同時に運転状況を感知して保存する記録装置と協働するために特に向いており、その結果、事故の後の分析が可能となる。あるときはパノラマセンサ(監視カメラ)として、あるときは特に関連領域のための選択センサ(第2センサ)としての2個のセンサの協働作用による、事故状況、例えば、全体観察のために特に重要である情報が、正に非常に有用であることを示すばかりでなく、特別な領域も明確に感知されて記録化される。
【0042】
本発明による方法は、乗車者の位置、特に乗車者の頭の位置または並びを感知することができ、対応して、特に、エアバックの起動の瞬間および不起動に至るまでの起動速度の低下に関連して、エアバックを起動するための適当な手段を制御することができ、状況に適応した要領で、明確にそのように制御することができるため、エアバック起動装置と組み合わせた使用に対して特別の強みを呈する。これは、車両の乗車者が、エアバックが格納されているダッシュボードに足をおいて望ましくない態様でゆったりと座っているような状況で、エアバックの起動を防止する。乗車者がこの位置にいる場合、エアバックが起動して重大な損傷が乗車者の足の領域だけでなく、頭の領域でも引き起こされる。このようなことはエアバックの起動無くして生ずることがない。最終的に、車両の他の構成部品と協働して、本発明は運転手または車両の他の乗車者の安全を向上させ、他方において他の道路使用者に対する安全を向上させる。
【図面の簡単な説明】
【図1】 本発明による車両内部または外部を監視する装置の原理の概略図を示す。
【図2】 監視カメラの画像の概略図を示す。
【図3】 図2の修正部分画像を示す。
【符号の説明】
1 凸面鏡
2 カメラ
3 凸面鏡
4 カメラ
5 修正装置
6 選択段階
7 制御装置
8 目標合わせ装置
9 第2センサ
10 画像評価装置
11 インターフェース
1、2;3、4 第1センサ

Claims (14)

  1. 車両内部の少なくとも一つの監視カメラから形成される第1センサを有し、車両内部および外部が前記監視カメラによって感知され、画像データが評価される車両内部および外部を監視する方法であって、前記評価は少なくとも一つの領域を選択するために使用され、前記領域は限定された空間的感知範囲を備えた第2の目標合わせ可能なセンサを用いて感知され、前記第2センサによって記録されたデータが評価を受け、この評価に基づく情報が前記車両の他の構成要素に使用可能とされる、監視方法。
  2. 前記第2センサ(9)の目標合わせが、前記第1センサ(1、2;3、4)の画像データの自動評価に基づいて、モータまたは電子的に制御装置(7)により実施される、請求項1に記載の監視方法。
  3. 前記第1センサ(1、2;3、4)の画像データの評価が、動作、輪郭または色の分析に基づいて実施される、請求項2に記載の監視方法。
  4. 前記第2センサ(9)のデータの評価が、感知領域における物体の位置または相対速度に関する、請求項1〜3のいずれか一項に記載の監視方法。
  5. 前記第2センサ(9)の画像データの評価が、円筒座標または平面座標内における曲線座標を用いた画像の変換の後になされる、請求項1〜4のいずれか一項に記載の監視方法。
  6. 車両内部の少なくとも一つの監視カメラによって形成され、少なくとも部分的に前記車両内部および外部をカバーする視野をもつ第1センサを有する車両であって、限定された空間的感知範囲を有しその目標合わせが前記第1センサ(1、2;3、4)の関数として制御される第2センサ(9)を設け、前記第2センサによって感知され記録されたデータが評価を受け、この評価に基づく情報が前記車両の他の構成要素に使用可能とされる、車両。
  7. 前記第2センサ(9)を目標合わせするために、選択段階(6)による前記第1センサ(1、2;3、4)の画像データの自動評価に基づいて制御装置(7)により駆動可能な電気駆動装置またはモータ駆動装置(8)が設けられている、請求項6に記載の車両。
  8. 前記第1センサ(1、2;3、4)が、内側鏡の領域内に配置されている、請求項6あるいは7に記載の車両。
  9. 前記第1センサは、立体画像カメラを連帯形成する2個の監視カメラ(1、2;3、4)を有する、請求項6〜8のいずれか一項に記載の車両。
  10. 前記第2センサ(9)は、少なくともデジタルカメラ、赤外線カメラ、レーザポイントセンサまたはレーダーセンサを有する、請求項6〜9のいずれか一項に記載の車両。
  11. 前記第2センサ(9)はズーム機能を有し、前記センサの前記ズーム機能を特に距離の関数として調節可能である、請求項6〜10のいずれか一項に記載の車両。
  12. 前記第2センサは、立体的感知に適して構成されている、請求項6〜11のいずれか一項に記載の車両。
  13. 前記第2センサは、ダッシュボードの領域内に少なくとも部分的に配置されている、請求項6〜12のいずれか一項に記載の車両。
  14. 前記第2センサは、バンパ、前照灯または車両の屋根の端部領域の領域内に少なくとも部分的に配置されている、請求項6〜13のいずれか一項に記載の車両。
JP2003167814A 2002-06-18 2003-06-12 車両内部または外部を監視する方法、及び監視カメラを備えた車両 Expired - Fee Related JP4295560B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE10227221A DE10227221A1 (de) 2002-06-18 2002-06-18 Verfahren zur Überwachung des Innen- bzw. Außenraums eines Fahrzeugs sowie ein Fahrzeug mit wenigstens einer Rundsichtkamera

Publications (2)

Publication Number Publication Date
JP2004026144A JP2004026144A (ja) 2004-01-29
JP4295560B2 true JP4295560B2 (ja) 2009-07-15

Family

ID=29716533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003167814A Expired - Fee Related JP4295560B2 (ja) 2002-06-18 2003-06-12 車両内部または外部を監視する方法、及び監視カメラを備えた車両

Country Status (4)

Country Link
US (1) US20040032493A1 (ja)
EP (1) EP1375253B1 (ja)
JP (1) JP4295560B2 (ja)
DE (2) DE10227221A1 (ja)

Families Citing this family (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10312249A1 (de) * 2003-03-19 2004-09-30 Ibeo Automobile Sensor Gmbh Verfahren zur gemeinsamen Verarbeitung von tiefenaufgelösten Bildern und Videobildern
JP4160848B2 (ja) * 2003-03-20 2008-10-08 本田技研工業株式会社 車両用衝突物保護装置
DE10321228B4 (de) * 2003-04-22 2007-01-11 Valeo Schalter Und Sensoren Gmbh Optisches Erfassungssystem für Fahrzeuge
US7667731B2 (en) 2003-09-30 2010-02-23 At&T Intellectual Property I, L.P. Video recorder
US7003384B2 (en) * 2003-10-24 2006-02-21 Trw Automotive U.S. Llc Method and apparatus for self-diagnostics of a vision system
DE102004038495A1 (de) * 2004-08-07 2006-03-16 Robert Bosch Gmbh Bildaufnahmesystem
US7557849B2 (en) * 2004-10-11 2009-07-07 Mediatek Usa Inc Processor-controlled timing generator for multiple image sensors
US10878646B2 (en) * 2005-12-08 2020-12-29 Smartdrive Systems, Inc. Vehicle event recorder systems
DE102006006850B4 (de) * 2006-02-15 2022-12-29 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Ausrichtung eines verschwenkbaren Fahrzeugsensors
US8996240B2 (en) 2006-03-16 2015-03-31 Smartdrive Systems, Inc. Vehicle event recorders with integrated web server
JP4677364B2 (ja) * 2006-05-23 2011-04-27 株式会社村上開明堂 車両監視装置
DE102006035207B4 (de) 2006-07-29 2022-06-09 Volkswagen Ag Fahrzeug-Objekterfassungsvorrichtung
JP5159070B2 (ja) * 2006-08-31 2013-03-06 アルパイン株式会社 車両周辺画像表示装置及び表示方法
DE102006052085B4 (de) * 2006-11-04 2010-11-11 Iav Gmbh Ingenieurgesellschaft Auto Und Verkehr Verfahren und Vorrichtung Umfeldüberwachung
US8649933B2 (en) 2006-11-07 2014-02-11 Smartdrive Systems Inc. Power management systems for automotive video event recorders
US8989959B2 (en) 2006-11-07 2015-03-24 Smartdrive Systems, Inc. Vehicle operator performance history recording, scoring and reporting systems
US8868288B2 (en) 2006-11-09 2014-10-21 Smartdrive Systems, Inc. Vehicle exception event management systems
US20100019927A1 (en) * 2007-03-14 2010-01-28 Seth Cirker Privacy ensuring mobile awareness system
US8749343B2 (en) * 2007-03-14 2014-06-10 Seth Cirker Selectively enabled threat based information system
US9135807B2 (en) * 2007-03-14 2015-09-15 Seth Cirker Mobile wireless device with location-dependent capability
US8239092B2 (en) 2007-05-08 2012-08-07 Smartdrive Systems Inc. Distributed vehicle event recorder systems having a portable memory data transfer system
GB2449303A (en) * 2007-05-18 2008-11-19 Mark Mercer Electronics Ltd Apparatus for CCTV System having unidirectional and panoramic imaging devices
US8123419B2 (en) 2007-09-21 2012-02-28 Seth Cirker Privacy ensuring covert camera
US8174562B2 (en) * 2007-11-09 2012-05-08 Honeywell International Inc. Stereo camera having 360 degree field of view
DE102010041490A1 (de) 2010-09-27 2012-03-29 Carl Zeiss Microimaging Gmbh Optisches Instrument und Verfahren zur optischen Überwachung
EP3654627A3 (en) * 2011-06-28 2020-08-05 NCR Corporation Image processing to prevent access to private information
DE102011086402A1 (de) * 2011-11-15 2013-05-16 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur Erfassung einer Fahrzeugumgebung
US9128354B2 (en) 2012-11-29 2015-09-08 Bendix Commercial Vehicle Systems Llc Driver view adapter for forward looking camera
DE102012023867A1 (de) 2012-12-06 2014-06-12 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Verkehrsampelerkennung
US20150009327A1 (en) * 2013-07-02 2015-01-08 Verizon Patent And Licensing Inc. Image capture device for moving vehicles
DE102013217648A1 (de) 2013-09-04 2015-03-05 Conti Temic Microelectronic Gmbh Kamera-basierte erkennung eines an einem fahrzeug montierbaren trägersystems
US9501878B2 (en) 2013-10-16 2016-11-22 Smartdrive Systems, Inc. Vehicle event playback apparatus and methods
US9610955B2 (en) 2013-11-11 2017-04-04 Smartdrive Systems, Inc. Vehicle fuel consumption monitor and feedback systems
DE102013019226A1 (de) 2013-11-16 2015-05-21 Daimler Ag Vorrichtung zur kamerabasierten Umgebungserfassung für ein Fahrzeug
US9365214B2 (en) 2014-01-30 2016-06-14 Mobileye Vision Technologies Ltd. Systems and methods for determining the status of a turn lane traffic light
US10852428B2 (en) 2014-02-21 2020-12-01 FLIR Belgium BVBA 3D scene annotation and enhancement systems and methods
WO2016073060A2 (en) 2014-09-02 2016-05-12 Flir Systems, Inc. Augmented reality sonar imagery systems and methods
US8892310B1 (en) 2014-02-21 2014-11-18 Smartdrive Systems, Inc. System and method to detect execution of driving maneuvers
DE102014003952A1 (de) 2014-03-20 2015-09-24 Man Truck & Bus Ag Verfahren zur Überwachung des Fahrzeuginnenraums und des Fahrzeugaußenraums
US10802141B2 (en) 2014-05-30 2020-10-13 FLIR Belgium BVBA Water temperature overlay systems and methods
DE102014008283A1 (de) 2014-06-03 2015-12-03 Man Truck & Bus Ag Verfahren und Anordnung zur Warnung von Verkehrsteilnehmern, die ein stillstehendes Fahrzeug passieren
US11181637B2 (en) 2014-09-02 2021-11-23 FLIR Belgium BVBA Three dimensional target selection systems and methods
US10677921B2 (en) 2014-09-02 2020-06-09 FLIR Belgium BVBA Casting guidance systems and methods
US10931934B2 (en) * 2014-09-02 2021-02-23 FLIR Belgium BVBA Watercraft thermal monitoring systems and methods
US10444349B2 (en) 2014-09-02 2019-10-15 FLIR Belgium BVBA Waypoint sharing systems and methods
US11069257B2 (en) 2014-11-13 2021-07-20 Smartdrive Systems, Inc. System and method for detecting a vehicle event and generating review criteria
US9908482B1 (en) * 2015-03-27 2018-03-06 EVOX Productions, LLC Method and apparatus for creation of three-dimensional photography of automotive vehicle interiors for use with a virtual reality display
US9679420B2 (en) 2015-04-01 2017-06-13 Smartdrive Systems, Inc. Vehicle event recording system and method
KR20170135946A (ko) 2015-04-10 2017-12-08 로베르트 보쉬 게엠베하 차량 내부 카메라에 의한 탑승자 크기 및 자세 검출
KR102463722B1 (ko) * 2018-02-20 2022-11-07 현대자동차주식회사 차량의 속도 설정 장치 및 방법
JP7331483B2 (ja) * 2019-06-18 2023-08-23 株式会社アイシン 撮像制御装置
US20220164958A1 (en) * 2020-11-24 2022-05-26 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Method Of Using Camera For Both Internal And External Monitoring Of A Vehicle
CN112954211B (zh) * 2021-02-08 2022-09-06 维沃移动通信有限公司 对焦方法、装置、电子设备及可读存储介质
DE102021003560A1 (de) 2021-07-12 2023-01-12 Mercedes-Benz Group AG Erkennungseinrichtung zur Erkennung von Vibrationen eines Objekts und Verfahren

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5027200A (en) * 1990-07-10 1991-06-25 Edward Petrossian Enhanced viewing at side and rear of motor vehicles
US6822563B2 (en) * 1997-09-22 2004-11-23 Donnelly Corporation Vehicle imaging system with accessory control
JP3522317B2 (ja) * 1993-12-27 2004-04-26 富士重工業株式会社 車輌用走行案内装置
JPH0995194A (ja) * 1995-09-29 1997-04-08 Aisin Seiki Co Ltd 車両前方の物体検出装置
DE19801884A1 (de) * 1998-01-20 1999-07-22 Mannesmann Vdo Ag Überwachungssystem für Fahrzeuge
DE19803158C1 (de) * 1998-01-28 1999-05-06 Daimler Chrysler Ag Vorrichtung zur Vigilanzzustandsbestimmung
US6184781B1 (en) * 1999-02-02 2001-02-06 Intel Corporation Rear looking vision system
US6333759B1 (en) * 1999-03-16 2001-12-25 Joseph J. Mazzilli 360 ° automobile video camera system
EP1049046A1 (de) * 1999-04-23 2000-11-02 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Ermittlung der Position eines Objektes innerhalb einer Szene
US6580450B1 (en) * 2000-03-22 2003-06-17 Accurate Automation Corporation Vehicle internal image surveillance, recording and selective transmission to an active communications satellite
JP3627914B2 (ja) * 2000-05-23 2005-03-09 シャープ株式会社 車両の周囲監視システム
SE520042C2 (sv) * 2000-10-26 2003-05-13 Autoliv Dev Anordning för förbättring av mörkersikten hos ett fordon såsom en bil
DE10059313A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zur Überwachung des Umfelds eines Fahrzeugs
DE10059315A1 (de) * 2000-11-29 2002-06-13 Bosch Gmbh Robert Anordnung und Verfahren zum Überwachen des Umfeldes eines Fahrzeugs
JP2002359839A (ja) * 2001-03-29 2002-12-13 Matsushita Electric Ind Co Ltd リアビューカメラの画像表示方法及びその装置
DE10158415C2 (de) * 2001-11-29 2003-10-02 Daimler Chrysler Ag Verfahren zur Überwachung des Innenraums eines Fahrzeugs, sowie ein Fahrzeug mit mindestens einer Kamera im Fahrzeuginnenraum
US6967569B2 (en) * 2003-10-27 2005-11-22 Ford Global Technologies Llc Active night vision with adaptive imaging

Also Published As

Publication number Publication date
EP1375253A3 (de) 2005-04-13
JP2004026144A (ja) 2004-01-29
US20040032493A1 (en) 2004-02-19
DE10227221A1 (de) 2004-01-15
DE50304428D1 (de) 2006-09-14
EP1375253B1 (de) 2006-08-02
EP1375253A2 (de) 2004-01-02

Similar Documents

Publication Publication Date Title
JP4295560B2 (ja) 車両内部または外部を監視する方法、及び監視カメラを備えた車両
US8880296B2 (en) Techniques for improving safe operation of a vehicle
JP4883977B2 (ja) 車両用画像表示装置
CN104163133B (zh) 使用后视镜位置的后视摄像机系统
US7049945B2 (en) Vehicular blind spot identification and monitoring system
JP4593070B2 (ja) 車両の画像処理装置
JP4364471B2 (ja) 車両の画像処理装置
US7190259B2 (en) Surrounding surveillance apparatus and mobile body
CN101474981B (zh) 换道控制系统
US20150109444A1 (en) Vision-based object sensing and highlighting in vehicle image display systems
US20060151223A1 (en) Device and method for improving visibility in a motor vehicle
US20120013742A1 (en) Vision system and method for displaying a field of view dependent upon detecting an object
JP7159802B2 (ja) 車両用電子ミラーシステム
JP2010183170A (ja) 車両用表示装置
WO2005084027A1 (ja) 画像生成装置、画像生成プログラム、及び画像生成方法
JP3876761B2 (ja) 車両用周辺監視装置
KR101552444B1 (ko) 시각 시스템
US20100289631A1 (en) Dual-mode vehicle rear vision system
JP5708669B2 (ja) 車両用表示装置
US20130021453A1 (en) Autostereoscopic rear-view display system for vehicles
JP4552525B2 (ja) 車両の画像処理装置
US20040212676A1 (en) Optical detection system for vehicles
JP2009073250A (ja) 車両後方表示装置
JP3655119B2 (ja) 状況情報提供装置及びその方法
JP2007302238A (ja) 車両の画像処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20070720

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080305

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080318

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080530

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080604

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20080714

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20080717

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080904

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080930

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090123

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090331

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090410

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120417

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130417

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees