JP3839350B2 - 車両における視界を改善する方法および装置 - Google Patents

車両における視界を改善する方法および装置 Download PDF

Info

Publication number
JP3839350B2
JP3839350B2 JP2002143269A JP2002143269A JP3839350B2 JP 3839350 B2 JP3839350 B2 JP 3839350B2 JP 2002143269 A JP2002143269 A JP 2002143269A JP 2002143269 A JP2002143269 A JP 2002143269A JP 3839350 B2 JP3839350 B2 JP 3839350B2
Authority
JP
Japan
Prior art keywords
vehicle
color
camera
image
type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002143269A
Other languages
English (en)
Other versions
JP2003078908A (ja
Inventor
グローガー ヨアヒム
リッター ヴェルナー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
DaimlerChrysler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by DaimlerChrysler AG filed Critical DaimlerChrysler AG
Publication of JP2003078908A publication Critical patent/JP2003078908A/ja
Application granted granted Critical
Publication of JP3839350B2 publication Critical patent/JP3839350B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Instrument Panels (AREA)
  • Studio Devices (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は、目下のトラフィックシーンの画像を、可視スペクトルの範囲外で反応するカメラによって撮影し、この画像を車内の光学系表示装置を用いて可視スペクトルで再現する形式の、特に夜間や悪天候または霧等の時の、車両における視界を改善する方法および装置に関する。
【０００２】
【従来の技術】
ＤＥ４００７６４６から、通常のヘッドライトの他に２つの赤外線照射装置を付加的に有する車両用オプトエレクトロニクスシステムが公知である。この赤外線照射装置は、近赤外線で発光するレーザーダイオードを光源として用いる。目下のトラフィックシーンのビデオ画像を撮影するためのＣＣＤカメラは、車両のルーフ領域に配置されている。このビデオ画像は、液晶ディスプレイでドライバに表示されるか、またはフロントガラスに投影される。これらの表示画像には、付加的な情報が含まれているが、それらの情報は、特に夜間や悪天候および霧の場合にはドライバ自身の肉眼のみでは視認できないか、またはかろうじて視認できても過度な疲労を伴う。
【０００３】
このＣＣＤカメラは通常、専らもしくはほとんど赤外線で反応し、画像を伝送する。この画像内で複数の対象が、赤外線におけるその輝度によってあらわれ、それらの輝度は遠赤外線または近赤外線での撮影に応じて、多かれ少なかれこれらの対象の温度に依存する。ドライバがそれらの対象を相互により良く区別することができるように、異なる輝度に異なる色を割り当て、それをカラーモニタに表示することができる。このような技術は、例えばＪＰ０８１２７２８６Ａ１から公知である。この種の「熱画像」は、実質的に不変のスペクトル分布で可視スペクトルにシフトされた、赤外線画像シーンに相当する。
【０００４】
ＪＰ０６１２１３２５Ａ１では、種々異なる多数のスペクトル領域で反応するカメラが用いられている。各スペクトル領域には、それぞれの色が割り当てられ、相応する画像部分がその色でカラーモニタに表示される。
【０００５】
しかし全ての公知システムでは、ドライバはトラフィックシーンを疑似輝度ないしは疑似カラーでしか視認できない。このような表示方法には一般的に慣れていなく、馴染みが薄い。とりわけ遠赤外線での撮影画像には馴染んでいない。このシステムに慣れているドライバさえも、疑似輝度ないしは疑似カラーで表示された情報を処理するのには、可視スペクトル領域で得られた画像情報を処理するのよりも労力を要する。
【０００６】
【発明が解決しようとする課題】
本発明の課題は、可視スペクトルの範囲外で撮影されたトラフィックシーンの画像をドライバがより良く認知できるように改善することである。
【０００７】
【課題を解決するための手段】
前記の課題は、カメラによって撮影されたトラフィックシーンに含まれる対象のタイプを自動的に識別し、タイプに応じて識別された対象を、該対象が昼光下で有している典型的な輝度および／または色に相応する、輝度および／または色で前記光学系表示装置に表示することによって、またそれに対応する装置によって解決される。
【０００８】
【発明の実施の形態】
本発明により改善された画像は夜間、トンネル内または霧等の悪天候等の太陽光が少ない、または太陽光が無い状況でドライバを支援する。この画像は、ドライバに価値の高い情報をドライバの慣れ親しんだ形態で与える。
【０００９】
【実施例】
本発明の別の特徴部分および利点を、以下で図面に基づき詳細に説明する。図面には、車両における視界を改善する装置の主要な構成素子が示されている。
【００１０】
装置は画像センサとしてカメラ２を有している。このカメラは車両のルーフ領域に、走行方向に展開するトラフィックシーンを撮影するように配置されている。カメラ２は可視スペクトルの領域外で反応する。すなわち、車両固有の赤外線照射装置によって近赤外線もしくは、残光の有効利用による遠赤外線で反応するか、または車両固有の紫外線照射装置によって生成される紫外線光に対して反応する。
【００１１】
カメラ２によって送出されたビデオ画像は、この実施例では「白黒」である。すなわちこれは反応スペクトルに亘って加算、または平均化された輝度値を有する撮影画像である。
【００１２】
カメラ２のビデオ信号は、色発生器４に供給される。この色発生器４は従来技術ではビデオ画像の異なる輝度値に、車内の光学系表示装置６を駆動制御する所定のＲＧＢ値を割り当てる。この表示装置はビデオ画像をドライバに疑似カラーで示す。
【００１３】
当該明細書で示すように、少なくともビデオ画像の部分でのＲＧＢ値の割り当ては、画像輝度のみに依存して行われるのではなく、付加的にまたは専ら、画像内の対象のタイプに依存する。これはカメラ２のビデオ信号が、識別およびクラス分け装置８にも供給されることで行われる。この装置は、予め定められた出現パターンに相応する対象を追ってトラフィックシーンをサーチする。本発明の適用分野において重要な対象とは、例えば車両、人、動物、道、森、草地等である。識別およびクラス分けを行う上で基準になる情報は、例えば輪郭や、相対的な輝度および構造である。
【００１４】
この種の対象が識別された場合、識別およびクラス分け装置８は、対象に関する情報、殊にそのタイプ、輪郭およびビデオ画像内での位置を色整合装置１０に供給する。色整合装置１０は対象に、メモリ１２に記憶されているコンテキスト情報に基づき、対象が昼光下で有している典型的な色を割り当てる。さらに色整合装置１０は色発生器４を制御して、対象を典型的な色で、かつ適切な相対輝度で光学系表示装置６に再現する。記憶されているコンテクキスト情報は例えば、「草地は夏には緑色である」とか「路面の舗装は通常は灰色である」等である。一般的に当てはまる法則がない場合、例えば車両の色や人の服装の色等の場合には任意の色を選択し、事前に設定することができる。人の場合には、有利には肌色とコントラストを成す色が設定される。
【００１５】
識別、クラス分け、色整合に、センサ１４または別の情報源から供給される、さらに別の情報を使用することができる。これらの情報源は、外気温度計、時計、雨滴センサ等の、いずれにせよ車両に存在する可能性の高いものである。例えば、雨滴センサが雨が降っていることを示すと、路面は光学系表示装置６で乾燥時より暗く表示され、よりリアルになる。また車両用ナビゲーションシステムが、現在、ほぼ森の領域を通過しているという情報を供給すると、このような情報によって相応の画像領域のリアルなクラス分け、および再現が容易に行われる。
【００１６】
簡易な「白黒」カメラ２の変わりに「多色性の」ＩＲカメラ（赤外線カメラ）を使用することによって、識別の正確性を高め、よりリアルにすることができる。このＩＲカメラは、各画素毎に異なる波長の強度を供給する。すなわち多かれ少なかれ、より詳細になされたスペクトル分布が得られる。識別された対象の、所定の日中時刻と天候でのもとで測定されたスペクトル分布がその後、色整合装置１０によって、記憶された経験値に基づいて昼光スペクトルに換算し直される。すなわち対象が、昼光下での輝度と色にできるだけ近い輝度および色を有するスペクトルに換算し直される。
【００１７】
撮影された画像内の相対的な全ての対象を相応に処理することによって、ドライバは夜間でも、周辺状況を慣れている形式で光学系表示装置６に見ることができる。しかもこの画像には与えられた状況では、全く識別することができないか、またはそれ自体の識別すら困難であるような詳細さえも含まれる。
【００１８】
光学系表示装置６は、計器盤上方のディスプレイで合っても、またヘッドアップディスプレの様式に応じてフロントガラス領域に画像を写すためのプロジェクタであってもよい。
【００１９】
光学系表示装置６は、必ずしもカラーでなくともよく、白黒の光学系表示装置を上述の、赤外線画像を太陽光の下での画像のように再現する原理に従って駆動制御することもできる。これは対象の再現輝度だけを適切に変化させることで行われる。
【００２０】
幅広く展開されたフラットディスプレイをさらに使用できる場合には、フロントガラスを完全にディスプレイによって光学系表示装置６として使用することもできる。これはスイッチオフされた状態では透明でなくてはならない。フロントガラスを完全に光学系表示装置として使用する場合、周辺状況は、夜間には１対１でフロントガラス全体のディスプレイに表示される。その結果、ドライバは日中に走行しているような印象を受ける。前述した赤外線画像中の対象の識別、クラス分け、および色整合は、このような使用を可能にするのに充分に正確で、かつリアルなものとみなされる。
【図面の簡単な説明】
【図１】車両でのシーンを改善する装置の主要な構成
【符号の説明】
２ カメラ
４ 色発生器
６ 光学系表示装置
８ 識別およびクラス分け装置
１０ 色整合装置
１２ メモリ
１４ センサ

Claims (2)

  1. 目下のトラフィックシーンの画像を、可視スペクトルの範囲外で反応するカメラによって撮影し、
    前記画像を車内の光学系表示装置を用いて可視スペクトルで再現する形式の、特に夜間や悪天候または霧等の時の、車両における視界を改善する方法において、
    カメラ（２）によって撮影されたトラフィックシーンに含まれる対象のタイプを自動的に識別し、
    タイプに応じて識別された対象を、該対象が昼光下で有している典型的な輝度および／または色に相応する、輝度および／または色で前記光学系表示装置（６）に表示することを特徴とする、車両における視界を改善する方法。
  2. 目下のトラフィックシーンの画像を撮影する、可視スペクトルの範囲外で反応するカメラと、
    前記撮影画像を可視スペクトルで再現する、車内の光学系表示装置と、を有する形式の、特に夜間や悪天候または霧等の時の、車両における視界を改善する装置において、
    カメラ（２）によって撮影されたトラフィックシーンに含まれている対象のタイプを識別する装置（８）と、
    タイプに応じて識別された対象を、該対象が昼光の下で有している典型的な輝度および／または色に相応する、輝度および／または色で光学系表示装置（６）に再現する装置（１０，４）とを有することを特徴とする、車両における視界を改善する装置。
JP2002143269A 2001-05-17 2002-05-17 車両における視界を改善する方法および装置 Expired - Fee Related JP3839350B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE10124005A DE10124005A1 (de) 2001-05-17 2001-05-17 Verfahren und Vorrichtung zur Verbesserung der Sicht in Fahrzeugen
DE10124005.8 2001-05-17

Publications (2)

Publication Number Publication Date
JP2003078908A JP2003078908A (ja) 2003-03-14
JP3839350B2 true JP3839350B2 (ja) 2006-11-01

Family

ID=7685119

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002143269A Expired - Fee Related JP3839350B2 (ja) 2001-05-17 2002-05-17 車両における視界を改善する方法および装置

Country Status (5)

Country Link
US (1) US6996253B2 (ja)
EP (1) EP1260411B1 (ja)
JP (1) JP3839350B2 (ja)
AT (1) ATE345238T1 (ja)
DE (2) DE10124005A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7406214B2 (en) * 1999-05-19 2008-07-29 Digimarc Corporation Methods and devices employing optical sensors and/or steganography
DE10303044A1 (de) * 2003-01-24 2004-08-12 Daimlerchrysler Ag Vorrichtung und Verfahren zur Verbesserung der Sicht in Kraftfahrzeugen
DE10307607A1 (de) * 2003-02-22 2004-09-09 Daimlerchrysler Ag Verteiltes Bildverarbeitungssystem für Kraftfahrzeuge
DE10348109A1 (de) 2003-10-16 2005-05-19 Bayerische Motoren Werke Ag Verfahren und Vorrichtung zur Sichtbarmachung einer Fahrzeugumgebung
WO2005090124A1 (de) 2004-02-20 2005-09-29 Daimlerchrysler Ag Bildverarbeitungssystem für kraftfahrzeuge
DE102004020682A1 (de) * 2004-04-28 2005-11-24 Robert Bosch Gmbh Bildaufnahmesystem
US20060034535A1 (en) * 2004-08-10 2006-02-16 Koch Roger D Method and apparatus for enhancing visibility to a machine operator
JP4678172B2 (ja) * 2004-11-22 2011-04-27 株式会社豊田中央研究所 撮像装置
DE102004060776A1 (de) * 2004-12-17 2006-07-06 Audi Ag Vorrichtung zur Aufnahme und Wiedergabe einer Bilddarstellung eines neben oder hinter einem Fahrzeug liegenden Verkehrsraumes
DE102006053109B3 (de) * 2006-11-10 2008-06-12 Audi Ag Verfahren zur bildhaften Darstellung einer Fahrzeugumgebung und Bilderfassungssystem
JP5874116B2 (ja) 2009-07-30 2016-03-02 国立研究開発法人産業技術総合研究所 画像撮影装置および画像撮影方法
DE102010026223A1 (de) * 2010-07-06 2011-05-12 Daimler Ag Fahrzeug mit mehreren Bilderfassungseinheiten zur Erfassung eines seitlich neben und seitlich hinter dem Fahrzeug befindlichen Bereichs
DE102011083786A1 (de) * 2011-09-29 2013-04-04 Robert Bosch Gmbh Fahrzeug-Kamerasystem mit automatischem Farbabgleich
CN104760541B (zh) * 2015-04-20 2023-07-25 洪莲 一种实现非透明驾驶的汽车
EP3553695A1 (en) * 2018-04-13 2019-10-16 Alpine Electronics, Inc. Method and system for displaying image data from at least one night vision camera of a vehicle
DE102019200800A1 (de) * 2019-01-23 2020-07-23 Robert Bosch Gmbh Gestreamte Wiedergabe monochrom aufgenommener Bilder in Farbe
US11062104B2 (en) * 2019-07-08 2021-07-13 Zebra Technologies Corporation Object recognition system with invisible or nearly invisible lighting

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5001558A (en) * 1985-06-11 1991-03-19 General Motors Corporation Night vision system with color video camera
DE4007646C2 (de) 1990-03-10 2003-08-07 Daimler Chrysler Ag Anordnung zur Verbesserung der Sicht in Fahrzeugen
SE468414B (sv) * 1991-05-14 1993-01-11 Sune Svanberg Faergbildsregistrering i svagt ljus
DE9201038U1 (ja) * 1992-01-29 1992-04-02 Leube, Karl-Heinz, 5820 Gevelsberg, De
US6150930A (en) * 1992-08-14 2000-11-21 Texas Instruments Incorporated Video equipment and method to assist motor vehicle operators
US5619036A (en) * 1994-04-12 1997-04-08 Hughes Electronics Low cost night vision camera for vehicles and mounting thereof
DE19514893C1 (de) * 1995-04-22 1996-08-14 Grundig Emv Verfahren und Einrichtung zur Aufbereitung von Wettersatellitenbildern
US6792136B1 (en) * 2000-11-07 2004-09-14 Trw Inc. True color infrared photography and video
US20020130953A1 (en) * 2001-03-13 2002-09-19 John Riconda Enhanced display of environmental navigation features to vehicle operator

Also Published As

Publication number Publication date
ATE345238T1 (de) 2006-12-15
EP1260411A3 (de) 2003-05-02
US20020172400A1 (en) 2002-11-21
DE10124005A1 (de) 2002-12-05
DE50208677D1 (de) 2006-12-28
EP1260411B1 (de) 2006-11-15
US6996253B2 (en) 2006-02-07
JP2003078908A (ja) 2003-03-14
EP1260411A2 (de) 2002-11-27

Similar Documents

Publication Publication Date Title
JP3839350B2 (ja) 車両における視界を改善する方法および装置
JP4512595B2 (ja) 車両周辺部を可視化するための方法及び装置
JP4491453B2 (ja) 赤外画像と視覚画像を周辺部に依存して融合させることにより車両の周辺部を可視化するための方法及び装置
CN108460734A (zh) 车辆驾驶员辅助模块进行图像呈现的系统和方法
US7015944B2 (en) Device for improving visibility in vehicles
JPS6249319A (ja) 夜間視力増進装置
JP2006516507A5 (ja)
CN108027238A (zh) 成像装置
US20090102858A1 (en) Virtual spotlight for distinguishing objects of interest in image data
US20060151223A1 (en) Device and method for improving visibility in a motor vehicle
US7358496B2 (en) Infrared night vision system, in colour
JP2005509129A5 (ja)
WO2021060120A1 (ja) 撮像装置
US7372030B2 (en) Method for representing a front field of vision from a motor vehicle
JP6533050B2 (ja) 車載カメラシステム
JP2016196233A (ja) 車両用道路標識認識装置
US20210004990A1 (en) Image processing device, image processing method, image processing program, and mobile body
JP2005223605A (ja) 画像処理方法、画像処理システムおよび画像処理装置
CN109698904A (zh) 摄像机成像器合并技术
US20040161159A1 (en) Device and method for enhancing vision in motor vehicles
US7024292B2 (en) Active night vision control system
WO2022230760A1 (ja) ゲーティングカメラ、センシングシステム、車両用灯具
JP3019309B2 (ja) 撮像装置
KR20170056753A (ko) 헤드업 디스플레이를 이용한 주행 보조정보 표시 장치 및 방법
KR101827707B1 (ko) 차량용 카메라 장치, 그를 포함하는 차량 및 차량용 카메라의 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060802

R150 Certificate of patent or registration of utility model

Ref document number: 3839350

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090811

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100811

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110811

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120811

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130811

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees