JP4314103B2 - Car camera - Google Patents

Car camera Download PDF

Info

Publication number
JP4314103B2
JP4314103B2 JP2003398214A JP2003398214A JP4314103B2 JP 4314103 B2 JP4314103 B2 JP 4314103B2 JP 2003398214 A JP2003398214 A JP 2003398214A JP 2003398214 A JP2003398214 A JP 2003398214A JP 4314103 B2 JP4314103 B2 JP 4314103B2
Authority
JP
Japan
Prior art keywords
light
detecting
vehicle
amount
white balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003398214A
Other languages
Japanese (ja)
Other versions
JP2005159918A (en
Inventor
禎一 寺井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2003398214A priority Critical patent/JP4314103B2/en
Publication of JP2005159918A publication Critical patent/JP2005159918A/en
Application granted granted Critical
Publication of JP4314103B2 publication Critical patent/JP4314103B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Image Signal Generators (AREA)

Description

本発明は、車載カメラの露出制御又はホワイトバランス補正制御に関するものである。   The present invention relates to exposure control or white balance correction control of an in-vehicle camera.

近年、車両に車載カメラを搭載して、各種の安全システムを構築する技術が注目されている。これら技術は、例えば車載カメラで車両の周囲における道路の形状や障害物を撮影し、その撮影像を車両内に設置する液晶等の表示装置に出力して、運転手に走行中の危険を報知させるものである。   2. Description of the Related Art In recent years, attention has been focused on technologies for constructing various safety systems by mounting a vehicle-mounted camera on a vehicle. These technologies, for example, capture the road shape and obstacles around the vehicle with an in-vehicle camera, and output the captured image to a display device such as a liquid crystal installed in the vehicle to inform the driver of the danger during driving. It is something to be made.

これら車載カメラに関する技術として特許文献1が提案されている。   Patent Document 1 has been proposed as a technique related to these in-vehicle cameras.

特許文献1には、夜間において、車両の周囲を表示装置に表示させるため、車載カメラに補助光を搭載した技術が開示されている。   Patent Document 1 discloses a technique in which auxiliary light is mounted on a vehicle-mounted camera in order to display a vehicle periphery on a display device at night.

この補助光を搭載した車載カメラは、光を撮像信号に光電変換して出力する撮像素子と、この撮像素子の受光面に入射する光の光量を制御する露出制御部と、撮像信号に所定の信号処理を施すとともに、標準規格の画像データに変換して表示装置に出力する信号処理部と、前記画像データをホワイトバランス補正制御するホワイトバランス制御部と、夜間等の暗い環境において撮影対象物に光を照射する補助光とから構成されている。   An in-vehicle camera equipped with this auxiliary light has an image sensor that photoelectrically converts light into an image signal and outputs it, an exposure control unit that controls the amount of light incident on the light receiving surface of the image sensor, and a predetermined image signal. A signal processing unit that performs signal processing, converts the image data into standard image data, and outputs the image data to a display device; a white balance control unit that performs white balance correction control on the image data; and an object to be photographed in a dark environment such as at night And auxiliary light for irradiating light.

したがって、夜間等の暗い環境において、撮影対象物を表示装置に表示できるように、補助光を用いて撮影対象物に照射し、露出制御部にて撮像素子の受光面に入射される光の光量を制御し、これにより撮像素子から出力された撮像信号を信号処理部にて信号処理して画像データに変換し、この画像データをホワイトバランス制御部にてホワイトバランス補正制御を行って表示装置に出力して撮影像を表示させる。   Therefore, in a dark environment such as at night, the amount of light incident on the light receiving surface of the image sensor by the exposure control unit so that the subject can be displayed on the display device using auxiliary light. Thus, the image signal output from the image sensor is signal-processed by the signal processing unit and converted into image data, and the white balance control unit performs white balance correction control on the image data to the display device. Output and display the captured image.

このように、暗い環境においては、補助光を用いて撮影を行い、上記した露出制御やホワイトバランス補正制御等の制御を経ることで、撮影対象物が暗くならずに明瞭に表示装置に表示することができる。

特開2003−127771号公報
In this way, in a dark environment, shooting is performed using auxiliary light, and the subject to be photographed is clearly displayed on the display device without being darkened through the above-described control such as exposure control and white balance correction control. be able to.

JP 2003-127771 A

しかしながら、上記の車載カメラにおいては、車両に備えたヘッドライト、バックライト、方向指示器及び停止ランプ等の特定光源の光が撮影対象物に照射された場合の撮影については十分に考察されておらず、特定光源の光が照射された撮影対象物の撮影を行うと、表示装置に表示された撮影対象物の撮影像は、特定光源の光の照射された撮影対象物と比較して白みがかるとともに、赤色又は青色がかってしまう問題が発生し、撮影対象物を表示装置に明瞭に表示させる撮影を行うことができない。   However, in the above-mentioned in-vehicle camera, sufficient consideration has not been given to shooting when light of a specific light source such as a headlight, a backlight, a direction indicator, and a stop lamp provided in a vehicle is irradiated on an object. First, when a subject to be illuminated with light of a specific light source is photographed, the photographed image of the subject to be photographed displayed on the display device is whiter compared to the subject to be illuminated with light of the particular light source. In addition, the problem of red or blue occurs, and it is not possible to perform photographing that clearly displays the photographing target on the display device.

本発明は叙上を鑑みてなされたものであり、特定光源の光の色温度の違いによるホワイトバランス補正制御や特定光源の発光の種類に対応して露出制御を行い、撮影対象物を最適な撮影像で表示装置に表示することのできる車載カメラを提供することを目的とするものである。   The present invention has been made in view of the above, and performs white balance correction control based on the difference in color temperature of light of a specific light source and exposure control corresponding to the type of light emission of the specific light source, so that the object to be photographed is optimal. An object of the present invention is to provide a vehicle-mounted camera that can display a captured image on a display device.

本発明の車載カメラは、車両の光源の点灯を検出する検出手段と、入射光を撮像信号に光電変換する撮像手段と、前記撮像信号をホワイトバランス調整するホワイトバランス制御手段と、前記光源に対応した補正データを記憶する記憶手段と、を備え、前記検出手段により車両の光源の点灯を検出した場合、前記補正データを用いてホワイトバランス調整を行うことを特徴とする。   The in-vehicle camera of the present invention corresponds to a detection unit that detects lighting of a light source of a vehicle, an imaging unit that photoelectrically converts incident light into an imaging signal, a white balance control unit that adjusts a white balance of the imaging signal, and the light source Storage means for storing the corrected data, and when the lighting of the light source of the vehicle is detected by the detecting means, white balance adjustment is performed using the correction data.

なお、検出手段は車両に搭載されたヘッドライトやフォグランプ、ウィンカー等の複数の光源がそれぞれ点灯されたかを検出するものを含むものである。   The detecting means includes a means for detecting whether a plurality of light sources such as a headlight, a fog lamp, and a winker mounted on the vehicle are respectively turned on.

本発明の他の車載カメラは、前記記憶手段は、複数の補正データを記憶するものであり、前記複数の補正データから任意の補正データを選択する選択手段を更に備え、前記検出手段により車両の光源の点灯を検出した場合、前記選択手段で選択した前記補正データを用いてホワイトバランス調整を行うことを特徴とする。   In another vehicle-mounted camera according to the present invention, the storage means stores a plurality of correction data, and further includes a selection means for selecting arbitrary correction data from the plurality of correction data, and the detection means detects the vehicle. When lighting of a light source is detected, white balance adjustment is performed using the correction data selected by the selection means.

本発明の他の車載カメラは、前記検出手段は、車両の複数の光源の点灯を検出するものであり、前記記憶手段は、前記複数の光源それぞれに対応する補正データを記憶するものであって、前記検出手段により車両の複数の光源のいずれかの点灯を検出した場合、点灯を検出した光源に対応する前記補正データを用いてホワイトバランス調整を行うことを特徴とする。   In another on-vehicle camera of the present invention, the detecting means detects lighting of a plurality of light sources of a vehicle, and the storage means stores correction data corresponding to each of the plurality of light sources. When the lighting of any one of the plurality of light sources of the vehicle is detected by the detecting means, white balance adjustment is performed using the correction data corresponding to the light source that has detected the lighting.

本発明の他の車載カメラは、前記撮像手段の受光面上の複数の領域毎の受光量を検出する光量検出手段と、該複数の領域において所定値以上の受光量を有する領域の存在を検出する手段と、を更に備え、前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の受光量を有する領域が存在することを検出した場合に、前記補正データを用いてホワイトバランス調整を行うことを特徴とする。   Another vehicle-mounted camera according to the present invention detects a light amount detecting means for detecting a received light amount for each of a plurality of areas on the light receiving surface of the image pickup means, and detects the presence of an area having a received light quantity greater than or equal to a predetermined value in the plurality of areas. And a white balance using the correction data when it is detected that the light source of the vehicle is turned on by the detecting means and that there is a region having a light receiving amount of a predetermined value or more. Adjustment is performed.

本発明の他の車載カメラは、前記撮像手段の入射光量を制御する露出制御手段と、を更に備え、前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の受光量を有する領域が存在することを検出した場合に、前記所定値以上の受光量を有する領域の平均受光量に基づいて前記露出制御を行うことを特徴とする。   Another vehicle-mounted camera according to the present invention further includes an exposure control unit that controls the amount of incident light of the imaging unit, and has a light reception amount that is equal to or greater than a predetermined value when the detection unit detects lighting of a vehicle light source. When it is detected that a region exists, the exposure control is performed based on an average received light amount of a region having a received light amount equal to or greater than the predetermined value.

本発明の他の車載カメラは、前記撮像手段の受光面上の複数の領域毎の受光量を検出する光量検出手段と、該複数の領域において隣接した他の領域と比較し所定値以上の光量差を有する領域の有無を検出する手段とを更に備え、前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の光量差を有する領域が存在することを検出した場合に、前記補正データを用いてホワイトバランス調整を行うことを特徴とする。   Another vehicle-mounted camera according to the present invention includes a light amount detection unit that detects a light reception amount for each of a plurality of regions on the light receiving surface of the imaging unit, and a light amount that is equal to or greater than a predetermined value in comparison with other adjacent regions in the plurality of regions. Means for detecting the presence or absence of a region having a difference, and when detecting the lighting of a light source of a vehicle by the detection unit and detecting that there is a region having a light amount difference of a predetermined value or more, The white balance adjustment is performed using the correction data.

本発明の他の車載カメラは、前記撮像手段の入射光量を制御する露出制御手段と、を更に備え、前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の光量差を有する領域が存在することを検出した場合に、前記所定値以上の光量差を有する領域の平均受光量に基づいて前記露出制御を行うことを特徴とする。   Another vehicle-mounted camera according to the present invention further includes an exposure control unit that controls an incident light amount of the imaging unit, and has a light amount difference equal to or greater than a predetermined value when the detection unit detects lighting of a light source of a vehicle. When it is detected that an area exists, the exposure control is performed based on an average received light amount of an area having a light amount difference equal to or greater than the predetermined value.

本発明の他の車載カメラは、前記撮像手段の受光面上の複数の領域毎の受光量を検出する光量検出手段と、該複数の領域において所定値以上の受光量を有する領域の存在を検出する手段と、該複数の領域において隣接した他の領域と比較し所定値以上の光量差を有する領域の有無を検出する手段と、前記撮像手段の入射光量を制御する露出制御手段とを更に備え、前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の光量差を有する領域が存在することを検出した場合に、前記所定値以上の受光量を有する領域の平均受光量に基づいて前記露出制御を行うことを特徴とする。   Another vehicle-mounted camera according to the present invention detects a light amount detecting means for detecting a received light amount for each of a plurality of areas on the light receiving surface of the image pickup means, and detects the presence of an area having a received light quantity greater than or equal to a predetermined value in the plurality of areas. Means for detecting the presence / absence of a region having a light amount difference of a predetermined value or more compared to other adjacent regions in the plurality of regions, and an exposure control unit for controlling an incident light amount of the imaging unit. When detecting that the light source of the vehicle is turned on by the detecting means and detecting that there is a region having a light amount difference of a predetermined value or more, the average received light amount of the region having the light reception amount of the predetermined value or more is set. The exposure control is performed based on the above.

本発明の他の車載カメラは、前記撮像手段の受光面上の複数の領域毎の受光量を検出する光量検出手段と、該複数の領域において所定値以下の受光量を有する領域の存在を検出する手段と、前記撮像手段の入射光量を制御する露出制御手段と、を備え、前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以下の受光量を有する領域が存在することを検出した場合に、前記所定値以下の受光量を有する領域以外の領域の平均受光量に基づいて前記露出制御を行うことを特徴とする。   Another vehicle-mounted camera according to the present invention detects a light amount detecting means for detecting a light receiving amount for each of a plurality of areas on the light receiving surface of the image pickup means, and detects the presence of a light receiving quantity equal to or less than a predetermined value in the plurality of areas. And an exposure control means for controlling the amount of incident light of the imaging means, and there is a region having a light reception amount equal to or less than a predetermined value when the detection means detects lighting of a light source of a vehicle. When detected, the exposure control is performed based on an average received light amount in a region other than a region having a received light amount equal to or less than the predetermined value.

かくして、本発明の車載カメラによれば、光源に対応して最適に撮影のできる車載カメラを提供できる。   Thus, according to the in-vehicle camera of the present invention, it is possible to provide an in-vehicle camera that can optimally capture images corresponding to the light source.

以下、図面を参照して、本発明の実施の形態について説明する。   Embodiments of the present invention will be described below with reference to the drawings.

図1は本発明の車載カメラの領域図であり、図2は車載カメラの制御動作のフローチャートである。   FIG. 1 is an area diagram of the in-vehicle camera of the present invention, and FIG. 2 is a flowchart of the control operation of the in-vehicle camera.

車載カメラ10は、図1に記載の如く、レンズ光学系1と、入射光量を調節するアイリス2と、レンズ光学系1からの光を撮像信号に光電変換して出力する撮像素子3と、アイリス2の光量の調節と撮像素子3の受光面に蓄積される光量を制御する露出制御部4と、前記撮像信号に所定の信号処理を施して画像信号を出力するとともに、前記撮像素子3の受光面に照射された光の光量に相当する光量データを出力する信号処理部5と、前記画像データをホワイトバランス補正制御するホワイトバランス制御部6と、少なくとも1以上のスイッチ9(図1ではスイッチを便宜上1つ記載)と、このスイッチ9と接続するとともに、スイッチ9のON又はOFFを検出して検出信号を出力する検出部7と、後述する露出やホワイトバランスの設定等を記憶する記憶部11と、制御部8とから構成されている。この制御部8は、検出部7と信号処理部5と、に接続するとともに、信号処理部5から出力された光量データに基づいて露出制御設定データを記憶部11から読み出すとともに、露出制御部4に出力し、検出部7の検出に応じて前記記憶部11から補正データを読み出すとともに、補正データをホワイトバランス制御部6に出力する。   As shown in FIG. 1, the in-vehicle camera 10 includes a lens optical system 1, an iris 2 that adjusts the amount of incident light, an image sensor 3 that photoelectrically converts light from the lens optical system 1 into an image signal, and an iris. The exposure control unit 4 controls the amount of light 2 and controls the amount of light accumulated on the light receiving surface of the image pickup device 3, performs predetermined signal processing on the image pickup signal and outputs an image signal, and receives light from the image pickup device 3. A signal processing unit 5 that outputs light amount data corresponding to the amount of light emitted to the surface, a white balance control unit 6 that performs white balance correction control on the image data, and at least one switch 9 (in FIG. 1 is described for convenience), a detection unit 7 that is connected to the switch 9 and detects the ON or OFF of the switch 9 and outputs a detection signal, and setting of exposure and white balance, which will be described later. A storage unit 11 for storing to, and a control unit 8. The control unit 8 is connected to the detection unit 7 and the signal processing unit 5, reads out exposure control setting data from the storage unit 11 based on the light amount data output from the signal processing unit 5, and also controls the exposure control unit 4. In response to detection by the detection unit 7, the correction data is read from the storage unit 11 and the correction data is output to the white balance control unit 6.

なお、スイッチ9は特定光源の種類(種類とは車両のヘッドライト、フォグランプ、ウィンカー、ハイビーム、オービーム等を示す)を検出するようにすることもできる。このように光源の種類を検出するようにできることで、特定光源を交換する際に、使用していた特定光源と交換する特定光源の光特性等が変更されても、車載カメラ10の露出制御の設定やホワイトバランス補正制御の設定をユーザによって変更することなく、制御部8によって切り替えすることができる。   Note that the switch 9 may detect the type of the specific light source (the type indicates a vehicle headlight, fog lamp, blinker, high beam, or over beam, etc.). Since the type of the light source can be detected in this way, when the specific light source is exchanged, the exposure control of the in-vehicle camera 10 can be performed even if the light characteristic of the specific light source exchanged with the specific light source used is changed. The setting and white balance correction control setting can be switched by the control unit 8 without changing by the user.

特定光源の種類の検出方法としては、特定光源に任意の形状のコネクタを設け、車両側に複数の特定光源のコネクタと接続可能な形状のコネクタを設け、車両側のコネクタと特定光源側のコネクタとを接続した際に、特定光源側のコネクタの形状を車両側のコネクタに設けたコネクタ形状検出手段を用いて検出し、特定光源の種類を特定する方法がある。   As a method of detecting the type of specific light source, a connector having an arbitrary shape is provided for the specific light source, a connector having a shape connectable to a plurality of specific light source connectors is provided on the vehicle side, and the connector on the vehicle side and the connector on the specific light source side are provided. There is a method of detecting the shape of the connector on the specific light source side using a connector shape detecting means provided on the connector on the vehicle side and specifying the type of the specific light source.

また、特定光源のコネクタの形状でもって、特定光源の種類を特定する方法に代えて、特定光源側のコネクタと車両側のコネクタを接続した際の、電圧の変化量を検出して特定光源を検出してもよい。   Also, instead of the method of specifying the type of the specific light source with the shape of the connector of the specific light source, the specific light source is detected by detecting the amount of change in voltage when the connector on the specific light source side and the connector on the vehicle side are connected. It may be detected.

ここで、記憶部11の記憶データについて説明する。   Here, data stored in the storage unit 11 will be described.

記憶部11は、制御部8が車載カメラの撮影する環境が昼間か夜間かを光量データと比較して判断できるように、ユーザによって設定可能なしきい値データや、スイッチ9に対応する補正データ(スイッチが複数の場合にはそれぞれのスイッチに対応する補正データ)等を保存している。   The storage unit 11 includes threshold data that can be set by the user and correction data (corresponding to the switch 9) so that the control unit 8 can determine whether the environment in which the in-vehicle camera captures is daytime or nighttime by comparing the light amount data. When there are a plurality of switches, correction data corresponding to each switch is stored.

補正データは、特定光源を車両に設置して点灯させ、車載カメラ10にて撮影を行って撮影対象物と表示装置に表示される撮影像とを比較し、この比較から撮影対象物と撮影像の色温度や明るさ等のデータを算出し、この算出されたデータに基づいて算出される。   The correction data is obtained by installing a specific light source on a vehicle, lighting the vehicle, photographing with the in-vehicle camera 10 and comparing the object to be photographed with the photographed image displayed on the display device. Data such as color temperature and brightness are calculated and calculated based on the calculated data.

したがって、補正データを記憶部11に保存することで、スイッチ9をONするのみで、特に複雑な計算等をせずとも制御部8によって、スイッチ9に接続された特定光源に対応してホワイトバランス補正制御を行うことができ、補正データの算出作業が必要ないので、撮影対象物の撮影から表示装置に撮影像を表示するまでに時間を要せず明瞭に表示することができる。   Therefore, by storing the correction data in the storage unit 11, only the switch 9 is turned on, and the white balance corresponding to the specific light source connected to the switch 9 can be obtained by the control unit 8 without performing complicated calculations. Since correction control can be performed and correction data calculation work is not required, it is possible to display clearly without taking time from shooting of a shooting target to display of a shot image on a display device.

なお、上述のしきい値データは設定することが可能であり、その設定方法は、表示装置に何らかの設定画面を表示させ、スイッチ9又は表示装置に備えるタッチパネルや操作ボタンによって既知の方法等により設定する。   The above threshold value data can be set. The setting method is to display a certain setting screen on the display device, and set by a known method or the like using the touch panel or operation buttons provided on the switch 9 or the display device. To do.

ここで、スイッチ9と補正データの出力について説明する。   Here, the output of the switch 9 and correction data will be described.

例えば、3つのスイッチ9にヘッドライト、方向指示器用のランプ、停止ランプがあって、このそれぞれに補正データが前記記憶部11に記憶されているとすると、ヘッドライトのスイッチ9のみONとしその他のスイッチをOFFにしたとすると、制御部8は記憶部11からヘッドランプに対応する補正データを読み出して、ホワイトバランス制御部6に出力し、ホワイバランス制御部6にてホワイトバランス補正制御が行われる。   For example, if the three switches 9 have a headlight, a direction indicator lamp, and a stop lamp, and correction data is stored in the storage unit 11 for each of them, only the headlight switch 9 is turned ON and the other If the switch is turned OFF, the control unit 8 reads correction data corresponding to the headlamp from the storage unit 11 and outputs the correction data to the white balance control unit 6, and white balance correction control is performed by the whiy balance control unit 6. .

次に、ヘッドライト、方向指示器、停止ランプそれぞれのスイッチ9がONしたとすると、制御部10は光量の高いヘッドライトを他に優先して、ヘッドライトの補正データを記憶部11から読み出し、ホワイトバランス制御部6に出力し、ホワイバランス制御部6にてホワイトバランス補正制御が行われる。   Next, assuming that the switches 9 for the headlight, the direction indicator, and the stop lamp are turned on, the control unit 10 reads the headlight correction data from the storage unit 11 with priority given to the headlight with a higher light amount. The white balance control unit 6 outputs the white balance and the white balance control unit 6 performs white balance correction control.

または、光量の高いヘッドライトを他に優先することに代えて、制御部10はヘッドライト、方向指示器、停止ランプそれぞれの補正データを記憶部11から読み出し、ホワイトバランス制御部6に出力し、ホワイバランス制御部6にてホワイトバランス補正制御が行われる。   Alternatively, instead of giving higher priority to the headlight with a higher light amount, the control unit 10 reads the correction data of the headlight, the direction indicator, and the stop lamp from the storage unit 11, and outputs them to the white balance control unit 6, White balance correction control is performed by the white balance control unit 6.

さらにまたは、ヘッドライト、方向指示器、停止ランプそれぞれの補正データを記憶部11から読み出すことに代えて、スイッチ9がONになった組み合わせのパターン(ヘッドライトと停止ランプ、方向指示器と停止ランプ、ヘッドライトと方向指示器、ヘッドライトと方向指示器と停止ランプ、の組み合わせパターン)における補正データを記憶部11に記憶させ、制御部10は、それぞれのパターンに対する補正データを読み出し、ホワイトバランス制御部6に出力し、ホワイバランス制御部6にてホワイトバランス補正制御が行われる。   In addition, instead of reading the correction data of the headlight, the direction indicator, and the stop lamp from the storage unit 11, a combination pattern in which the switch 9 is turned on (headlight and stop lamp, direction indicator and stop lamp) , Headlight and direction indicator, combination pattern of headlight and direction indicator and stop lamp) are stored in the storage unit 11, and the control unit 10 reads the correction data for each pattern and performs white balance control. The white balance correction control is performed by the whi balance control unit 6.

次に、図2を参照して、車載カメラ10の動作について詳述する。   Next, the operation of the in-vehicle camera 10 will be described in detail with reference to FIG.

まず、車載カメラ10に備える制御部8はスイッチ9のON又はOFFを検出部7からの検出信号入力によって判断する(ステップ1)。   First, the control unit 8 provided in the in-vehicle camera 10 determines whether the switch 9 is ON or OFF based on a detection signal input from the detection unit 7 (step 1).

スイッチ9がONであれば制御部8は、特定光源の光によって車載カメラ10の撮影範囲を照射していると判断し、スイッチ9がOFFであれば制御部8は、太陽光等の自然光によって車載カメラ10の撮影範囲を照射していると判断する。   If the switch 9 is ON, the control unit 8 determines that the shooting range of the in-vehicle camera 10 is illuminated by the light from the specific light source. If the switch 9 is OFF, the control unit 8 is detected by natural light such as sunlight. It is determined that the shooting range of the in-vehicle camera 10 is being irradiated.

制御部8によってスイッチ9がOFFと検出されると、制御部8は後述する通常露出制御設定データを露出制御部4に出力するとともに、後述する通常ホワイトバランス補正設定データをホワイトバランス制御部6に出力(ステップ3)し、露出制御部4は通常露出制御設定データに対応して露出制御を行い、ホワイトバランス制御部6はホワイトバランス補正設定に対応してホワイトバランス制御を行う(ステップ4)。   When the control unit 8 detects that the switch 9 is OFF, the control unit 8 outputs normal exposure control setting data, which will be described later, to the exposure control unit 4, and normal white balance correction setting data, which will be described later, to the white balance control unit 6. The exposure control unit 4 performs exposure control corresponding to the normal exposure control setting data, and the white balance control unit 6 performs white balance control corresponding to the white balance correction setting (step 4).

また、ステップ1に戻って説明すると、制御部8によってスイッチ9がONと検出されると、制御部8は撮像素子3に入射される光が太陽光等の自然光又は特定光源の光を判断するために、撮像素子3の受光面を複数の領域に分割し、任意の領域の光量を信号処理部5の光量データに基づいて検出するとともに、この任意の領域と隣合う領域の光量を比較して光量差を検出し、その各領域間の光量差の大きさに応じて、自然光又は特定光源の光を判断する(ステップ2)。   Returning to Step 1, when the switch 9 is detected as ON by the control unit 8, the control unit 8 determines whether the light incident on the image sensor 3 is natural light such as sunlight or light of a specific light source. Therefore, the light receiving surface of the image pickup device 3 is divided into a plurality of areas, and the light quantity of an arbitrary area is detected based on the light quantity data of the signal processing unit 5, and the light quantity of an area adjacent to the arbitrary area is compared. The light quantity difference is detected, and natural light or light from a specific light source is determined according to the magnitude of the light quantity difference between the areas (step 2).

ステップ2にて、制御部8が各領域間の光量差が所定値(しきい値データ)より小さいとして太陽光等の自然光と判断すると、制御部8は後述する通常露出制御設定データを露出制御部4に出力するとともに、後述する通常ホワイトバランス補正設定データをホワイトバランス制御部6に出力(ステップ3)し、露出制御部4は通常露出制御設定データに対応して露出制御を行い、ホワイトバランス制御部6はホワイトバランス補正設定データに対応してホワイトバランス制御を行う(ステップ4)。   When the control unit 8 determines that the light amount difference between the areas is smaller than a predetermined value (threshold value data) in step 2 and natural light such as sunlight, the control unit 8 controls normal exposure control setting data, which will be described later, for exposure control. And outputs normal white balance correction setting data, which will be described later, to the white balance control unit 6 (step 3). The exposure control unit 4 performs exposure control in accordance with the normal exposure control setting data, and performs white balance. The controller 6 performs white balance control corresponding to the white balance correction setting data (step 4).

光量差が所定値より小さいとして太陽光等の自然光と判断する理由は、太陽光等の自然光と特定光源用の光とを、光の光量と光の照射範囲の点で比較すると、太陽光等の自然光は特定光源の光に比べて光量が大きく、光の照射範囲は太陽光等の自然光のほうが特定光源の光に比べて大きいので、特定光源の光は太陽光等の自然光によってかき消されると考えられるからである。   The reason for determining the natural light such as sunlight as the difference in light amount is smaller than the predetermined value is that the natural light such as sunlight and the light for the specific light source are compared in terms of the light amount and the light irradiation range. Natural light has a larger amount of light than the light of a specific light source, and the light irradiation range is larger for natural light such as sunlight than that of a specific light source, so if the light of a specific light source is extinguished by natural light such as sunlight It is possible.

すなわち、太陽光等の自然光を受光した場合は、撮像素子3の受光面の範囲一杯に光が入射され、光量差が小さくなり、制御部8は光量差が小さいとして太陽光等の自然光と判断し、上述の如く露出制御部4は、通常露出制御設定データに対応して露出制御を行い、ホワイトバランス制御部6はホワイトバランス補正設定データに対応してホワイトバランス制御を行う。   That is, when natural light such as sunlight is received, light enters the entire light receiving surface of the image sensor 3 to reduce the light amount difference, and the control unit 8 determines that the light amount difference is small and natural light such as sunlight. As described above, the exposure control unit 4 performs exposure control corresponding to the normal exposure control setting data, and the white balance control unit 6 performs white balance control corresponding to the white balance correction setting data.

これにより、図示しない表示装置に明瞭な撮影像を表示させることができる。   Thereby, a clear photographed image can be displayed on a display device (not shown).

また、ステップ2に戻って説明すると、制御部8が領域間の光量差が所定値(しきい値データ)以上として特定光源の光として判断すると、制御部8は検出部7の検出信号に基づいて特定光源を特定するとともに記憶部11から検出信号(スイッチ9)に対応して特定光源用色補正設定データ(補正データ)を読み込み、後述する特定光源用露出制御設定データを露出制御部4に出力し、特定光源用色補正設定データ(補正データ)をホワイトバランス制御部6に出力し(ステップ5)、露出制御部4は特定光源用露出制御設定データに対応して露出制御を行い、ホワイトバランス制御部6は特定光源用色補正設定データ(補正データ)に対応してホワイトバランス補正制御を行う(ステップ4)。   Returning to Step 2, when the control unit 8 determines that the light amount difference between the regions is equal to or greater than a predetermined value (threshold value data) as light of the specific light source, the control unit 8 is based on the detection signal of the detection unit 7. The specific light source is specified, and the color correction setting data (correction data) for specific light source is read from the storage unit 11 corresponding to the detection signal (switch 9), and the exposure control setting data for specific light source, which will be described later, is read into the exposure control unit 4. The specific light source color correction setting data (correction data) is output to the white balance control unit 6 (step 5), and the exposure control unit 4 performs exposure control in accordance with the specific light source exposure control setting data to obtain white. The balance control unit 6 performs white balance correction control corresponding to the specific light source color correction setting data (correction data) (step 4).

光量差が大きいとして特定光源と判断する理由は、特定光源は上述したように太陽光等の自然光に比べて光量が大きく、光の照射範囲も特定光源の光に比べて大きいので、特定光源の光は太陽光等の自然光によってかき消されると考えられるが、太陽光等の自然光がない場合は、特定光源の光の照射範囲は太陽光等の自然光に比べて小さくなるので、特定光源に光がスポット的になり照射される範囲が限定され、光の照射される範囲と光の照射されない範囲が明瞭になると考えるからである。   The reason for determining the specific light source as having a large light amount difference is that the specific light source has a larger light amount than natural light such as sunlight as described above, and the light irradiation range is also larger than the light of the specific light source. Light is thought to be drowned out by natural light such as sunlight, but when there is no natural light such as sunlight, the light irradiation range of a specific light source is smaller than that of natural light such as sunlight. This is because the range that is spot-irradiated is limited, and the range where light is irradiated and the range where light is not irradiated become clear.

すなわち、撮像対象物を特定光源で照射して撮影を行った場合は、撮像素子3の受光面を分割した複数の領域の中で、光量の大きい領域と光量の小さい領域ができて領域間の光量差が大きくなり、制御部8は領域間の光量差が大きいとして特定光源の光が撮影対象物に照射されていると判断し、上述の如く露出制御部4は、特定光源用露出制御設定データに対応して露出制御を行い、ホワイトバランス制御部6は特定光源用色補正設定データ(補正データ)に対応してホワイトバランス補正制御を行う。   That is, when shooting is performed by irradiating the imaging object with a specific light source, a region with a large amount of light and a region with a small amount of light are formed among a plurality of regions obtained by dividing the light receiving surface of the imaging element 3. The light amount difference becomes large, and the control unit 8 determines that the light of the specific light source is irradiated on the object to be photographed because the light amount difference between the regions is large. As described above, the exposure control unit 4 sets the exposure control setting for the specific light source. Exposure control is performed corresponding to the data, and the white balance control unit 6 performs white balance correction control corresponding to the specific light source color correction setting data (correction data).

これにより、図示しない表示装置に明瞭な撮影像を表示させることができる。   Thereby, a clear photographed image can be displayed on a display device (not shown).

上述の如く、太陽光等の自然光や特定光源用の光に応じて、露出制御やホワイトバランス補正制御を行うことで、最適に撮影した撮影像を図示しない表示装置に表示することができる。   As described above, by performing exposure control and white balance correction control according to natural light such as sunlight or light for a specific light source, an optimally captured image can be displayed on a display device (not shown).

なお、上記ステップ2の光量差の基準については、都心部や郊外の地域によって太陽光等の自然光の照射に違いがあるので、制御部8に保存されているしきい値データの設定を変えることで、領域間の光量差の基準を変更でき、地域や環境に応じて適切な露出制御やホワイトバランス制御を行うことができる。   In addition, about the reference | standard of the light quantity difference of the said step 2, since there is a difference in irradiation of natural light, such as sunlight, according to a downtown area or a suburb area, the setting of the threshold value data preserve | saved at the control part 8 is changed. Thus, it is possible to change the reference of the light amount difference between regions, and to perform appropriate exposure control and white balance control according to the region and environment.

ここで、上記制御フローにて説明されていない、スイッチ9をOFFで、かつ、撮像素子3の受光面の前記複数の領域間の光量差の大きさが、大きい場合の露出制御の露出設定やホワイトバランス補正制御のホワイトバランス補正設定について説明する。   Here, the exposure setting for exposure control when the switch 9 is OFF and the magnitude of the light amount difference between the plurality of regions on the light receiving surface of the image sensor 3 is large, which is not explained in the control flow, The white balance correction setting of the white balance correction control will be described.

スイッチ9をOFFで、かつ、領域間の光量差が所定値(しきい値データ)以上の場合は、露出制御部4にて通常の露出制御設定に基づいて露出制御を行い、ホワイトバランス制御部6にて通常ホワイトバランス補正制御が行われる。   When the switch 9 is OFF and the light amount difference between the areas is equal to or greater than a predetermined value (threshold data), the exposure control unit 4 performs exposure control based on the normal exposure control setting, and the white balance control unit In step 6, normal white balance correction control is performed.

スイッチ9をOFFということは、特定光源は光を照射していないので、特定光源用の露出制御及び色補正制御(上記フローのステップ5に相当)を特段に行う必要はない(街灯等の外部環境による特定光源についてはこの限りでなく後述する)。   When the switch 9 is OFF, the specific light source does not irradiate light, so there is no need to perform exposure control and color correction control for the specific light source (corresponding to step 5 in the above flow) (external to street lights, etc.) The specific light source according to the environment is not limited to this and will be described later).

また、光量差が大きくなる理由としては、例えば、自身の運転する車両の前方を走行する他の車両を撮影対象物とし、太陽光等の自然光が他の車両に照射している場合に、走行中に建物や樹木等により太陽光等の自然光が遮られることが考えられる。   The reason why the difference in the amount of light is large is that, for example, when another vehicle traveling in front of the vehicle being driven is taken as an object to be photographed and the other vehicle is irradiated with natural light such as sunlight. Natural light such as sunlight may be blocked by buildings and trees.

したがって、建物や樹木等により太陽光等の自然光が遮られて光量差が所定値以上になることは、走行中の一瞬であり撮影に影響するほど大きいものでないので、露出制御部4にて通常露出制御設定に基づいて露出制御し、ホワイトバランス制御部6にて通常ホワイトバランス補正制御設定に基づいてホワイトバランス補正制御を行えばよい。   Therefore, the fact that natural light such as sunlight is blocked by buildings, trees, etc. and the difference in the amount of light exceeds a predetermined value is a moment during traveling and is not so large as to affect photographing. Exposure control is performed based on the exposure control setting, and the white balance control unit 6 may perform white balance correction control based on the normal white balance correction control setting.

次に、本願の露出制御設定について詳述する。   Next, the exposure control setting of the present application will be described in detail.

通常露出制御設定データにおける露出制御とは、上述の撮像素子3の光の受光面の光量に基づいて露出制御するものである。   The exposure control in the normal exposure control setting data is to perform exposure control based on the light amount of the light receiving surface of the image sensor 3 described above.

このように、太陽光等の自然光の照射や特定光源の光を照射しない場合に受光面の光量に基づいて露出制御することで、領域全体の広い範囲に露出制御をすることで、撮影範囲一杯について最適に表示装置等に表示させることができる。   In this way, exposure control is performed based on the amount of light on the light receiving surface when natural light such as sunlight is not irradiated or light from a specific light source is used, so that exposure control is performed over a wide range of the entire region, so that the shooting range is full. Can be optimally displayed on a display device or the like.

また、特定光源露出設定における露出制御とは、上述の撮像素子3の光の受光面を複数の領域に分割し、この分割した領域のうち、所定値以上の光量の領域の平均受光量に基づいて露出制御を行うものである。   Further, the exposure control in the specific light source exposure setting is based on the average received light amount of a region having a light amount greater than or equal to a predetermined value among the divided regions by dividing the light receiving surface of the image sensor 3 described above into a plurality of regions. Exposure control.

そして、好ましくは、分割した領域と領域との境界を明確にするため、光量の大きい領域の光量の下限値(しきい値データ)を設定し、この下限値より上の光量をもつ領域について、露出制御を行われるようにする。   And preferably, in order to clarify the boundary between the divided areas, the lower limit value (threshold value data) of the light quantity area is set, and the area having the light quantity above the lower limit value is set. Make exposure control possible.

これは、一番光量の領域と一番光量の小さい領域との光量差は所定値以上であるが、隣接する領域間の光量差が所定値に比べて比較的小さい場合に、特定光源の照射範囲が分かりにくくなるので、その照射範囲を明確にするために光量の下限値を設定する。この下限値は上述の如くユーザにより設定可能である。   This is because when the light amount difference between the region with the smallest amount of light and the region with the smallest amount of light is greater than or equal to a predetermined value, the light amount difference between adjacent regions is relatively small compared to the predetermined value. Since the range becomes difficult to understand, a lower limit value of the light amount is set in order to clarify the irradiation range. This lower limit value can be set by the user as described above.

このように、光量の大きい領域の光量に基づいて露出制御を行うことで、例えば任意の撮影対象物を撮影し、その撮影対象物の撮影像を表示装置に明瞭に表示することができる。   In this way, by performing exposure control based on the amount of light in a region with a large amount of light, for example, an arbitrary photographing object can be photographed, and a photographed image of the photographing object can be clearly displayed on the display device.

特定光源の照射範囲は、一般的に撮影対象物に照射されることが前提であるので、特定光源の光に対応して露出制御を行うことで撮影対象物を明瞭に撮影することができる。   Since the irradiation range of the specific light source is generally based on the premise that the object to be imaged is irradiated, the object to be imaged can be clearly imaged by performing exposure control corresponding to the light of the specific light source.

次に、本願の色補正設定について詳細に説明する。   Next, the color correction setting of the present application will be described in detail.

通常ホワイトバランス補正設定データにおけるホワイトバランス補正制御については、撮像対象物の白い部位を白く表示するようにホワイトバランス補正制御するものである。   Regarding the white balance correction control in the normal white balance correction setting data, the white balance correction control is performed so that the white part of the imaging target is displayed white.

このように、太陽光等の自然光の照射や特定光源の光を照射しない場合に、撮像素子3の受光面の領域をホワイトバランス補正制御することで、領域全体の広い範囲で明瞭に表示装置等に表示させることができる。   In this way, when the natural light such as sunlight or the light of the specific light source is not irradiated, the white balance correction control is performed on the area of the light receiving surface of the image sensor 3, so that the display device can be clearly displayed over a wide range of the entire area. Can be displayed.

また、特定光源用色補正設定データ(補正データ)とは、方向指示器やバックランプを点灯させるようなスイッチの種類に応じて、その光の色が異なるが、スイッチの種類に応じて色の重み付けを変更させるものである。   The color correction setting data for specific light source (correction data) differs depending on the type of switch that turns on the direction indicator or the back lamp, but the color of the light depends on the type of switch. The weight is changed.

ホワイトバランスは通常緑色の波長を基準として、赤色と青色を制御して白色を白く見えるように撮影像を表示装置に表示するが、車載カメラ10により赤色の被写体を撮影している場合に、通常ホワイトバランス補正設定データでホワイトバランス補正制御を行うと、表示装置に表示される被写体は、ホワイトバランス補正制御により被写体赤色が赤色に表示装置に表示されず青色がかった赤色になる。   The white balance is normally displayed on the display device so that the white color looks white by controlling the red and blue colors with reference to the green wavelength. When white balance correction control is performed using the white balance correction setting data, the subject displayed on the display device is not displayed on the display device by the white balance correction control, but is changed to a bluish red.

例えば、具体的に特定光源を赤色のブレーキランプとする場合で説明すると、運転手がブレーキペダル等を踏むことで、ブレーキランプ(スイッチ9)を点灯させて車両後方を撮影して撮影対象物を表示装置に表示させると、通常ホワイトバランス補正設定データでのホワイトバランス補正制御では、撮影対象物が赤色のランプで照射されているのでにもかかわらず表示装置に表示した撮影対象物は青みがかった赤色に表示される。   For example, in the case where the specific light source is a red brake lamp, the driver depresses the brake pedal or the like, so that the brake lamp (switch 9) is turned on and the rear side of the vehicle is photographed to photograph the object to be photographed. When displayed on the display device, in the white balance correction control using the normal white balance correction setting data, the shooting object displayed on the display device is bluish red even though the shooting object is illuminated by a red lamp. Is displayed.

これは、ホワイトバランス補正制御が、緑色を基準として赤色と青色の色の重みを均一になるように制御しているため、表示装置に表示した撮影対象物は青みがかった赤色に表示される。   This is because white balance correction control is performed so that the weights of red and blue colors are uniform with respect to green, and thus the object to be photographed displayed on the display device is displayed in bluish red.

よって、ホワイトバランス制御部6により、特定光源用色補正設定データ(補正データ)でのホワイトバランス補正制御で青色の重みを小さくし、撮影対象物と同様に赤色がかって表示装置に表示させる制御を行い、撮影対象物と撮影された撮影像との色温度等の異なりを小さくできる。   Therefore, the white balance control unit 6 performs control for reducing the blue weight by the white balance correction control using the color correction setting data (correction data) for the specific light source and causing the display device to display a reddish color similar to the object to be photographed. This makes it possible to reduce the difference in color temperature between the object to be imaged and the captured image.

したがって、特定光源の光の色に応じて、実際に撮影される撮像対象物と、撮影されて表示装置に表示された撮影像との間に色温度の違いを小さくすることができる。   Therefore, according to the color of the light of the specific light source, the difference in color temperature can be reduced between the imaging object actually captured and the captured image captured and displayed on the display device.

ここで図2のフローに対応させつつ、図3を参照して、具体的に撮影のシチュエーションに応じた露出設定やホワイトバランス設定の適応について説明する。   Here, the adaptation of the exposure setting and the white balance setting according to the shooting situation will be described specifically with reference to FIG. 3 while corresponding to the flow of FIG.

図3(a)は車載カメラの撮影で、撮影像を表示装置に表示したものであり、太陽光等の自然光が任意の物体A及びその周辺に万遍なく光が照射された撮影像である。   FIG. 3A shows an image taken by an in-vehicle camera, in which a photographed image is displayed on a display device, and is a photographed image in which natural light such as sunlight is uniformly radiated to an arbitrary object A and its surroundings. .

撮影像を16領域に分割しているが、撮像素子3の光の受光面を16の領域に分割しているのと同等である。   Although the photographed image is divided into 16 areas, it is equivalent to dividing the light receiving surface of the image sensor 3 into 16 areas.

また、表示装置に表示された像と撮像素子3の光の受光面の範囲を便宜上同一として説明する。   Further, the description will be made assuming that the image displayed on the display device and the range of the light receiving surface of the image sensor 3 are the same for convenience.

太陽光等の自然光が任意の物体A及びその周辺に万遍なく光が照射された場合のフローは、ステップ1にてスイッチ9のON又はOFFを制御部8によって判断し、スイッチのOFF、又は、スイッチONと判断された後ステップ2にて領域間の光量差が所定値(しきい値データ)より小さいと判断され、ステップ3にて通常露出制御設定データ、通常ホワイトバランス設定を制御部8から露出制御部4、ホワイトバランス制御部6に出力し、ステップ4にて通常露出制御設定データ、通常ホワイトバランス設定に対応して露出制御、ホワイトバランス制御されるフローである。   The flow when natural light such as sunlight is uniformly applied to an arbitrary object A and its surroundings is determined by the control unit 8 in step 1 by determining whether the switch 9 is turned on or off. After determining that the switch is ON, it is determined in step 2 that the light amount difference between the areas is smaller than a predetermined value (threshold value data). In step 3, the normal exposure control setting data and the normal white balance setting are set to the control unit 8. Is output to the exposure control unit 4 and the white balance control unit 6, and the exposure control and white balance control are performed in step 4 in accordance with the normal exposure control setting data and the normal white balance setting.

本例では、分割された16の領域を1領域として、露出制御、ホワイトバランス制御が行われる。   In this example, exposure control and white balance control are performed with the 16 divided areas as one area.

したがって、任意の物体Aを撮影しようとした場合に、任意の物体Aとその周辺部を含む撮影範囲全体が露出制御されるので、任意の物体Aとその周辺部とを最適に露出制御することができ、撮影範囲全体の撮影像を明瞭に表示装置に表示することができる。   Therefore, when an arbitrary object A is to be photographed, the entire photographing range including the arbitrary object A and its peripheral part is controlled to be exposed, so that the arbitrary object A and its peripheral part are optimally controlled. Thus, the captured image of the entire imaging range can be clearly displayed on the display device.

図3(b)は車載カメラの撮影で、撮影像を表示装置に表示したものであり、特定光源の光を任意の物体Aに照射した撮影像である。   FIG. 3B is a photographed image obtained by irradiating an arbitrary object A with light of a specific light source, in which a photographed image is displayed on a display device by photographing with a vehicle-mounted camera.

撮影像を16の領域に分割しているが、撮像素子3の光の受光面を16領域に分割しているのと同等である。   The captured image is divided into 16 areas, which is equivalent to dividing the light receiving surface of the image sensor 3 into 16 areas.

また、表示装置に表示された像と撮像素子3の光の受光面の範囲を便宜上同一として説明する。   Further, the description will be made assuming that the image displayed on the display device and the range of the light receiving surface of the image sensor 3 are the same for convenience.

特定光源の光を任意の物体Aに照射した場合は、ステップ1にてスイッチ9のONを制御部8によって判断し、ステップ2にて領域間の光量差が所定値(しきい値データ)以上と判断され、ステップ5にて特定光源用露出制御設定データ、特定光源用色補正設定データを制御部8から露出制御部4、ホワイトバランス制御部6に出力し、ステップ4にて通常露出制御設定データ、特定光源用色補正設定データに対応して露出制御、ホワイトバランス補正制御されるフローである。   When light of a specific light source is irradiated to an arbitrary object A, the control unit 8 determines that the switch 9 is turned on in Step 1 and the light amount difference between regions is a predetermined value (threshold data) or more in Step 2 In step 5, the specific light source exposure control setting data and the specific light source color correction setting data are output from the control unit 8 to the exposure control unit 4 and the white balance control unit 6. In step 4, the normal exposure control setting is performed. This is a flow in which exposure control and white balance correction control are performed in accordance with data and color correction setting data for a specific light source.

なお、ホワイトバランス補正制御は、制御部8が検出部7の検出信号に基づいて記憶部11より補正データを読み込むとともにホワイトバランス制御部6に出力を行い、この補正データに基づいてホワイトバランス補正制御を行う。   In the white balance correction control, the control unit 8 reads the correction data from the storage unit 11 based on the detection signal of the detection unit 7 and outputs the correction data to the white balance control unit 6, and the white balance correction control is performed based on the correction data. I do.

具体的に本例では、制御部8は16の分割された領域の隣合う領域間の光量差を比較して、光量差が大きく且つ光量の大きい4つの領域の範囲に限定し、この限定された範囲の光量を平均化して露出制御を行い、特定光源(ONしたスイッチの種類)に対応してホワイトバランス制御を行う。   Specifically, in this example, the control unit 8 compares the light amount difference between adjacent regions of the 16 divided regions, and limits the range to four regions where the light amount difference is large and the light amount is large. The exposure control is performed by averaging the amount of light in the selected range, and the white balance control is performed corresponding to the specific light source (the type of the switch that is turned on).

したがって、光量の大きな領域の範囲についてのみ露出制御をすることで、ライトの照射された任意の物体Aを最適に撮影することができ、図示しない表示装置に明瞭に表示することができる。   Therefore, by performing exposure control only for the range of the region with a large amount of light, an arbitrary object A irradiated with light can be optimally photographed and can be clearly displayed on a display device (not shown).

また、撮影範囲全体を露出制御した場合におけるライトの照射部とその周辺部との光量差の違いによって、撮影範囲全体として露出は小さくなり、これにより任意の物体Aの暗い撮影像を防止することができる。   Further, when the exposure range of the entire shooting range is controlled, the exposure is reduced as a whole shooting range due to the difference in the amount of light between the light irradiating portion and its peripheral portion, thereby preventing a dark shooting image of an arbitrary object A. Can do.

図3(c)は車載カメラの撮影で、撮影像を表示装置に表示したものであり、光が照射されておらず、全体的に暗い状態の撮影像である。   FIG. 3C is a photograph of an in-vehicle camera, where a photographed image is displayed on a display device, and is a photographed image that is not irradiated with light and is entirely dark.

撮影像を16の領域に分割しているが、撮像素子3の光の受光面を16の領域に分割しているのと同等である。   The photographed image is divided into 16 areas, which is equivalent to dividing the light receiving surface of the image sensor 3 into 16 areas.

また、表示装置に表示された像と撮像素子3の光の受光面の範囲を便宜上同一として説明する。   Further, the description will be made assuming that the image displayed on the display device and the range of the light receiving surface of the image sensor 3 are the same for convenience.

光が照射されず全体的に暗い場合のフローは、ステップ1にてスイッチ9のOFFを制御部8によって判断し、ステップ3にて通常露出制御設定データ、通常ホワイトバランス設定を制御部8から露出制御部4、ホワイトバランス制御部6に出力し、ステップ4にて通常露出制御設定データ、通常ホワイトバランス設定に対応して露出制御、ホワイトバランス制御されるフローである。   In the flow when light is not irradiated and the entire screen is dark, the control unit 8 determines that the switch 9 is turned off in step 1, and the normal exposure control setting data and the normal white balance setting are exposed from the control unit 8 in step 3. This is a flow for outputting to the control unit 4 and the white balance control unit 6 and performing exposure control and white balance control corresponding to the normal exposure control setting data and the normal white balance setting in step 4.

本例では、分割された16の領域を1の領域として露出制御、ホワイトバランス制御が行われる。   In this example, exposure control and white balance control are performed with the 16 divided areas as one area.

したがって、任意の物体Aを撮影しようとした場合に、撮影範囲全体に露出制御するので、任意の物体Aとその周辺部の光量を向上させるように露出制御やホワイトバランス制御が行われ、任意の物体Aが最適に撮影される。   Therefore, when an arbitrary object A is to be photographed, exposure control is performed over the entire photographing range, so exposure control and white balance control are performed so as to improve the light quantity of the arbitrary object A and its peripheral part. Object A is photographed optimally.

これにより、暗い場所においても任意の物体Aが明瞭に図示しない表示装置に表示することができる。   Thereby, an arbitrary object A can be clearly displayed on a display device (not shown) even in a dark place.

図3(d)は車載カメラの撮影で、撮影像を表示装置に表示したものであり、街灯を特定光源の光として検出し、道路の白線を撮影対象物とした撮影像である。   FIG. 3D shows an image taken by the in-vehicle camera, in which a photographed image is displayed on a display device, and is a photographed image in which a streetlight is detected as light of a specific light source and a white line on a road is taken as an object to be photographed.

フローについては図3(b)の説明の際のフローと同様であるが、撮像素子3の光の受光面を64の分割している点で異なる。   The flow is similar to the flow in the description of FIG. 3B, but differs in that the light receiving surface of the image sensor 3 is divided into 64 parts.

また、分割された撮影像の街灯の光を入射した領域は光量が高く、その他は光量が低くなっているが、制御部8は分割された画面上に一定の間隔で、かつ、特定の範囲で光の光量が高いものを検出したと判断し街灯であると判断する。   Moreover, although the area | region which injected the light of the streetlight of the divided | segmented picked-up image has a high light quantity, others have a low light quantity, the control part 8 is a fixed space | interval on a divided screen, and a specific range. It is determined that a light having a high amount of light has been detected, and it is determined that the light is a streetlight.

したがって、制御部8は撮影対象物である白線に街灯の光が照射されていると判断され、特定光源用露出制御設定データを露出制御部4に出力し、露出制御部4により露出制御が行われる。   Therefore, the control unit 8 determines that the white light that is the object to be photographed is illuminated by street light, outputs the exposure control setting data for the specific light source to the exposure control unit 4, and the exposure control unit 4 performs the exposure control. Is called.

したがって、白線は明確になり、最適に撮影することができる。   Therefore, the white line becomes clear and the image can be photographed optimally.

かくして、本発明の車載カメラにおいては、従来の昼間や夜間、都市部や郊外部等の車両の外の環境に応じて露出制御やホワイトバランス補正制御を行っていなかったことによって撮影像が表示装置に不明瞭に表示されていたが、撮影の際に撮影対象物が太陽光等の自然光の光や特定光源の光を判断することで、露出範囲を設定できるとともに、光の種類に応じてホワイトバランス補正制御を行い、撮影対象物を良好に撮影することができる。   Thus, in the in-vehicle camera of the present invention, the captured image is displayed by the conventional daytime and nighttime, and the exposure control and the white balance correction control are not performed according to the environment outside the vehicle such as an urban area or a suburban area. However, when the subject is shot, the exposure range can be set by judging the natural light such as sunlight or the light of a specific light source. Balance correction control is performed, and the object to be photographed can be photographed satisfactorily.

特に、光源の種類に応じて露出範囲設定や色補設定をしているので、従来のように光源の種類に応じて、露出が強すぎて明るく表示装置に表示されたり、撮影対象物の色と表示装置に表示された撮影像の色に違いが見られる等の不具合を解消することができる。   In particular, because the exposure range and color compensation are set according to the type of light source, the exposure is too strong and brightly displayed on the display device according to the type of light source as before, or the color of the object being shot And the like such as a difference in the color of the captured image displayed on the display device can be solved.

また、記憶部に予め補正データを記憶して、特定光源の点灯によって、その特定光源に対応するホワイトバランス補正制御を行っているので、特定光源に対応して制御部にて補正データを特殊な計算により算出することがなく、撮影から撮影像の表示まで短時間で行うことができる。   Further, since correction data is stored in advance in the storage unit and white balance correction control corresponding to the specific light source is performed by turning on the specific light source, the correction data is stored in the control unit corresponding to the specific light source. Without calculation, it is possible to perform from shooting to display of a shot image in a short time.

ここで、車載用カメラを車に搭載した際のカメラの動作タイミングについて説明する。   Here, the operation timing of the camera when the vehicle-mounted camera is mounted on a car will be described.

車載カメラは、必ずしも車両の電源ONと同時に動作させる必要ない。必要となった際に撮影動作させることで車載カメラの劣化を防止し、無駄な電力を抑えるものである。   The in-vehicle camera does not necessarily need to be operated at the same time as turning on the vehicle. By performing a photographing operation when necessary, it is possible to prevent the in-vehicle camera from being deteriorated and to reduce wasteful power.

例えば、車のギアの入り方に応じて車載カメラを動作させるとよい。   For example, the in-vehicle camera may be operated according to how the car gears are engaged.

具体的には、車両を前方に走らせるギアにユーザがセットした場合には、車両の前方を撮影するように前方に配置された車載カメラを動作させるか、もしくは、全方位撮影できるような回動式の車載カメラを車両に搭載させ、前方を回動して撮影する構成としてもよい。   Specifically, when the user sets the gear to run the vehicle forward, the vehicle-mounted camera arranged in the front is operated so as to photograph the front of the vehicle, or a rotation that allows photographing in all directions is performed. It is good also as a structure which mounts a dynamic vehicle-mounted camera in a vehicle, and rotates the front and image | photographs.

また、車両を後方に走らせる場合も同様に、後方に配置した車載カメラを動作させるか、車載カメラを回動して車両の後方を撮影する構成としてもよい。   Similarly, when the vehicle is driven backward, the vehicle-mounted camera disposed at the rear may be operated or the vehicle-mounted camera may be rotated to capture the rear of the vehicle.

なお、上記実施の形態例に限定されず本発明の要旨を逸脱しない範囲内であれば種々の改良を行ってもよい。   It should be noted that the present invention is not limited to the above embodiment, and various improvements may be made as long as they do not depart from the gist of the present invention.

例えば、車両の外部の光を検出する外光検出部やタイマーを設けて、昼間や夜間を判断するようにしてもよい。   For example, an external light detection unit or a timer that detects light outside the vehicle may be provided to determine daytime or nighttime.

この構成によれば、制御部8がスイッチ9のONを判断し、ステップ2にて領域間の光量差が小さい場合で、かつ、外光検出部やタイマーによって、夜間と判断した場合に、特定光源の光が特定光源の故障によって照射されない場合に、特定光源を交換する等の警告を車両内の表示装置に表示やスピーカ等による警告音、ハンドルの振動により警告してもよい。   According to this configuration, when the control unit 8 determines that the switch 9 is ON and the difference in the amount of light between the areas is small in step 2 and when it is determined by the outside light detection unit or the timer that it is nighttime, it is specified. When the light of the light source is not irradiated due to the failure of the specific light source, a warning such as replacement of the specific light source may be warned by a display device in the vehicle, a warning sound by a speaker or the like, or a vibration of the handle.

また、上記実施の形態例において光量を撮像素子3からの撮像信号により信号処理部5にて出力していたが、これに限定せず別途光検出手段を設けて、光量を検出するようにしてもよい。   Further, in the above embodiment, the light amount is output by the signal processing unit 5 based on the image pickup signal from the image pickup device 3. However, the present invention is not limited to this, and a separate light detection means is provided to detect the light amount. Also good.

さらにまた、特定光源用露出制御設定データは撮像素子3の受光面に入射される光の光量によって制御部8により出力されていたが、スイッチ9のON又はOFFの検出によって特定光源用露出制御設定データを出力するようにしてもよい。   Furthermore, the specific light source exposure control setting data is output by the control unit 8 according to the amount of light incident on the light receiving surface of the image sensor 3, but the specific light source exposure control setting is detected by detecting whether the switch 9 is ON or OFF. Data may be output.

すなわち、スイッチ9に接続される光源が予め特定されており、その光源の色温度や光の照射範囲も特定できる。   That is, the light source connected to the switch 9 is specified in advance, and the color temperature of the light source and the light irradiation range can also be specified.

したがって、特定された光源の色温度や光の照射範囲に対応した露出設定を記憶部11に記憶しておけば、制御部8はスイッチ9のON又はOFFを検出して露出制御部4に露出設定を出力することができ、高精度な露出制御を行うことができる。   Therefore, if the exposure setting corresponding to the specified color temperature of the light source or the light irradiation range is stored in the storage unit 11, the control unit 8 detects ON or OFF of the switch 9 and exposes to the exposure control unit 4. Settings can be output, and high-precision exposure control can be performed.

本発明の車載カメラの領域図である。It is an area | region figure of the vehicle-mounted camera of this invention. 車載カメラの制御動作のフローチャートである。It is a flowchart of control operation of a vehicle-mounted camera. 車載カメラの撮影で、撮影像を表示装置に表示した説明図であり、(a)は太陽光等の自然光が任意の物体A及びその周辺に万遍なく光が照射された撮影像である。(b)は定用光源の光を任意の物体Aに照射した撮影像である。(c)は光が照射されておらず、全体的に暗い状態の撮影像である。(d)は街灯を特定光源の光として検出し、道路の白線を撮影対象物とした撮影像である。It is explanatory drawing which displayed the picked-up image on the display apparatus by image | photographing with a vehicle-mounted camera, (a) is a picked-up image by which natural light, such as sunlight, was uniformly irradiated to the arbitrary object A and its periphery. (B) is a photographed image obtained by irradiating an arbitrary object A with light from a regular light source. (C) is a photographed image that is not irradiated with light and is entirely dark. (D) is a photographic image in which a streetlight is detected as light of a specific light source and a white line on a road is taken as an object to be photographed.

符号の説明Explanation of symbols

1・・・レンズ光学系
2・・・アイリス
3・・・撮像素子
4・・・露出制御部
5・・・信号処理部
6・・・ホワイトバランス制御部
7・・・検出部
8・・・制御部
9・・・スイッチ
10・・・車載カメラ
11・・・記憶部
DESCRIPTION OF SYMBOLS 1 ... Lens optical system 2 ... Iris 3 ... Imaging device 4 ... Exposure control part 5 ... Signal processing part 6 ... White balance control part 7 ... Detection part 8 ... Control unit 9 ... switch 10 ... vehicle-mounted camera 11 ... storage unit

Claims (9)

車両の光源の点灯を検出する検出手段と、
入射光を撮像信号に光電変換する撮像手段と、
前記撮像信号をホワイトバランス調整するホワイトバランス制御手段と、
前記光源に対応した補正データを記憶する記憶手段と、を備え
前記検出手段により車両の光源の点灯を検出した場合、前記補正データを用いてホワイトバランス調整を行うことを特徴とする車載カメラ。
Detecting means for detecting lighting of the light source of the vehicle;
Imaging means for photoelectrically converting incident light into an imaging signal;
White balance control means for adjusting white balance of the imaging signal;
And a storage unit that stores correction data corresponding to the light source. When the detection unit detects lighting of a light source of a vehicle, white balance adjustment is performed using the correction data.
前記記憶手段は、複数の補正データを記憶するものであり、
前記複数の補正データから任意の補正データを選択する選択手段を更に備え、
前記検出手段により車両の光源の点灯を検出した場合、前記選択手段で選択した前記補正データを用いてホワイトバランス調整を行うことを特徴とする請求項記載の車載カメラ。
The storage means stores a plurality of correction data,
A selection means for selecting arbitrary correction data from the plurality of correction data;
When detecting the lighting of the vehicle of the light source by the detector, the vehicle-mounted camera according to claim 1, characterized in that the white balance adjustment is performed using the correction data selected by said selecting means.
前記検出手段は、車両の複数の光源の点灯を検出するものであり、
前記記憶手段は、前記複数の光源それぞれに対応する補正データを記憶するものであって、
前記検出手段により車両の複数の光源のいずれかの点灯を検出した場合、点灯を検出した光源に対応する前記補正データを用いてホワイトバランス調整を行うことを特徴とする請求項又は請求項に記載の車載カメラ。
The detection means detects lighting of a plurality of light sources of a vehicle,
The storage means stores correction data corresponding to each of the plurality of light sources,
When detecting the lighting of one of the plurality of light sources of the vehicle by the detection unit, and performs white balance adjustment by using the correction data corresponding to the detected lighting source according to claim 1 or claim 2 The in-vehicle camera described in 1.
前記撮像手段の受光面上の複数の領域毎の受光量を検出する光量検出手段と、該複数の領域において所定値以上の受光量を有する領域の存在を検出する手段と、を更に備え、
前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の受光量を有する領域が存在することを検出した場合に、前記補正データを用いてホワイトバランス調整を行うことを特徴とする請求項1乃至3の何れかに記載の車載カメラ。
A light amount detecting means for detecting the amount of received light for each of a plurality of areas on the light receiving surface of the imaging means, and a means for detecting the presence of an area having a light receiving amount of a predetermined value or more in the plurality of areas,
When the lighting of the light source of the vehicle is detected by the detecting means and when it is detected that there is a region having a light receiving amount of a predetermined value or more, white balance adjustment is performed using the correction data. The in-vehicle camera according to any one of claims 1 to 3.
前記撮像手段の入射光量を制御する露出制御手段と、を更に備え、
前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の受光量を有する領域が存在することを検出した場合に、前記所定値以上の受光量を有する領域の平均受光量に基づいて前記露出制御手段にて入射光量を制御することを特徴とする請求項4に記載の車載カメラ。
Exposure control means for controlling the amount of incident light of the imaging means,
Based on the average received light amount of the region having the received light amount equal to or greater than the predetermined value when the detection unit detects the lighting of the light source of the vehicle and detects that the region having the received light amount equal to or greater than the predetermined value exists. The in-vehicle camera according to claim 4, wherein the amount of incident light is controlled by the exposure control means.
前記撮像手段の受光面上の複数の領域毎の受光量を検出する光量検出手段と、該複数の領域において隣接した他の領域と比較し所定値以上の光量差を有する領域の有無を検出する手段とを更に備え、
前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の光量差を有する領域が存在することを検出した場合に、前記補正データを用いてホワイトバランス調整を行うことを特徴とする請求項1乃至3の何れかに記載の車載カメラ。
The light amount detecting means for detecting the received light amount for each of a plurality of areas on the light receiving surface of the imaging means, and detecting the presence or absence of an area having a light amount difference of a predetermined value or more compared to other adjacent areas in the plurality of areas. And further comprising means
When the lighting means of the vehicle light source is detected by the detecting means and when it is detected that there is a region having a light amount difference of a predetermined value or more, white balance adjustment is performed using the correction data. The in-vehicle camera according to any one of claims 1 to 3.
前記撮像手段の入射光量を制御する露出制御手段と、を更に備え、
前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の光量差を有する領域が存在することを検出した場合に、前記所定値以上の光量差を有する領域の平均受光量に基づいて前記露出制御を行うことを特徴とする請求項6に記載の車載カメラ。
Exposure control means for controlling the amount of incident light of the imaging means,
When detecting the lighting of the light source of the vehicle by the detecting means and detecting that there is a region having a light amount difference of a predetermined value or more, based on the average received light amount of the region having the light amount difference of the predetermined value or more. The in-vehicle camera according to claim 6, wherein the exposure control is performed.
前記撮像手段の受光面上の複数の領域毎の受光量を検出する光量検出手段と、該複数の領域において所定値以上の受光量を有する領域の存在を検出する手段と、該複数の領域において隣接した他の領域と比較し所定値以上の光量差を有する領域の有無を検出する手段と、前記撮像手段の入射光量を制御する露出制御手段とを更に備え、
前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以上の光量差を有する領域が存在することを検出した場合に、前記所定値以上の受光量を有する領域の平均受光量に基づいて前記露出制御を行うことを特徴とする請求項1乃至3の何れかに記載の車載カメラ。
A light amount detecting means for detecting a received light amount for each of a plurality of areas on the light receiving surface of the imaging means; a means for detecting the presence of a light receiving quantity of a predetermined value or more in the plurality of areas; and A means for detecting the presence or absence of a region having a light amount difference of a predetermined value or more compared with other adjacent regions, and an exposure control unit for controlling the incident light amount of the imaging unit;
Based on the average received light amount of the region having the received light amount equal to or greater than the predetermined value when the detection unit detects lighting of the light source of the vehicle and detects that there is a region having a light amount difference greater than or equal to the predetermined value. The in-vehicle camera according to claim 1, wherein the exposure control is performed.
前記撮像手段の受光面上の複数の領域毎の受光量を検出する光量検出手段と、該複数の領域において所定値以下の受光量を有する領域の存在を検出する手段と、前記撮像手段の入射光量を制御する露出制御手段と、を備え、
前記検出手段により車両の光源の点灯を検出した場合で且つ所定値以下の受光量を有する領域が存在することを検出した場合に、前記所定値以下の受光量を有する領域以外の領域の平均受光量に基づいて前記露出制御を行うことを特徴とする請求項1乃至3の何れかに記載の車載カメラ。
A light amount detecting means for detecting the amount of received light for each of a plurality of areas on the light receiving surface of the imaging means, a means for detecting the presence of a region having a light receiving amount equal to or less than a predetermined value in the plurality of areas, and incidence of the imaging means Exposure control means for controlling the amount of light,
When detecting the lighting of the light source of the vehicle by the detecting means and detecting that there is a region having a light reception amount equal to or less than a predetermined value, the average light reception of regions other than the region having the light reception amount equal to or less than the predetermined value The in-vehicle camera according to any one of claims 1 to 3, wherein the exposure control is performed based on a quantity.
JP2003398214A 2003-11-27 2003-11-27 Car camera Expired - Fee Related JP4314103B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003398214A JP4314103B2 (en) 2003-11-27 2003-11-27 Car camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003398214A JP4314103B2 (en) 2003-11-27 2003-11-27 Car camera

Publications (2)

Publication Number Publication Date
JP2005159918A JP2005159918A (en) 2005-06-16
JP4314103B2 true JP4314103B2 (en) 2009-08-12

Family

ID=34723124

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003398214A Expired - Fee Related JP4314103B2 (en) 2003-11-27 2003-11-27 Car camera

Country Status (1)

Country Link
JP (1) JP4314103B2 (en)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009218909A (en) 2008-03-11 2009-09-24 Ricoh Co Ltd Image pickup device
JP5181937B2 (en) * 2008-09-02 2013-04-10 株式会社デンソー Vehicle peripheral image display device
JP5464342B2 (en) * 2009-12-24 2014-04-09 京セラ株式会社 In-vehicle imaging device
JP5513190B2 (en) * 2010-03-19 2014-06-04 パナソニック株式会社 Vehicle rear monitoring device and vehicle rear monitoring method
JP2011250276A (en) * 2010-05-28 2011-12-08 Ricoh Co Ltd Image processing device, image processing method, and imaging apparatus
JP5680896B2 (en) * 2010-07-30 2015-03-04 矢崎エナジーシステム株式会社 Drive recorder
JP6322723B2 (en) * 2014-11-27 2018-05-09 京セラ株式会社 Imaging apparatus and vehicle

Also Published As

Publication number Publication date
JP2005159918A (en) 2005-06-16

Similar Documents

Publication Publication Date Title
US7050089B2 (en) On-vehicle video camera
JP5348100B2 (en) Headlamp device, brightness control method
JP4927647B2 (en) Vehicle periphery monitoring device
EP3076655B1 (en) Imaging settings changing device, imaging system, and imaging settings changing method
JP2007022454A (en) Camera system
JP5152019B2 (en) Vehicle control device
JP2007091186A (en) Photographing/display method of peripheral state of vehicle and photographing/display system
JP2004314860A (en) Indicating device
JP4314103B2 (en) Car camera
US7656423B2 (en) Imaging device and visual recognition support system employing imaging device
JP4731177B2 (en) Infrared imaging display device and infrared imaging display method for vehicle
JP5179428B2 (en) Vehicle periphery monitoring device
JP5712821B2 (en) Shooting display control system
KR101601324B1 (en) Image acquiring method of vehicle camera system
JP2011008459A (en) In-vehicle camera device
JP2017192115A (en) Visible recognition apparatus for vehicle
JP2005033709A (en) Vehicle perimeter monitoring apparatus
JP2017193277A (en) Visually recognizing device for vehicle
JP2004123061A (en) Photographing system
JP7009334B2 (en) Image display device, image display system
JP4734727B2 (en) Video camera
JP2009065624A (en) Multi-directional imaging camera
JP2006137383A (en) Photographing device for vehicle
JP2006281946A (en) Infrared light source control device
JP2022097022A (en) Periphery monitoring device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061109

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090203

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090424

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090518

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120522

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130522

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140522

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees