JP4620640B2 - Headlight module - Google Patents

Headlight module Download PDF

Info

Publication number
JP4620640B2
JP4620640B2 JP2006201839A JP2006201839A JP4620640B2 JP 4620640 B2 JP4620640 B2 JP 4620640B2 JP 2006201839 A JP2006201839 A JP 2006201839A JP 2006201839 A JP2006201839 A JP 2006201839A JP 4620640 B2 JP4620640 B2 JP 4620640B2
Authority
JP
Japan
Prior art keywords
light
infrared light
unit
infrared
solid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006201839A
Other languages
Japanese (ja)
Other versions
JP2008024252A (en
Inventor
和利 小野澤
大助 上田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2006201839A priority Critical patent/JP4620640B2/en
Priority to US11/774,088 priority patent/US7579593B2/en
Publication of JP2008024252A publication Critical patent/JP2008024252A/en
Application granted granted Critical
Publication of JP4620640B2 publication Critical patent/JP4620640B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S41/00—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps
    • F21S41/10—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source
    • F21S41/12—Illuminating devices specially adapted for vehicle exteriors, e.g. headlamps characterised by the light source characterised by the type of emitted light
    • F21S41/13—Ultraviolet light; Infrared light

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Description

本発明は、ヘッドライトモジュールに関し、特に、赤外光を発光する赤外ＬＥＤと、赤外光カメラを備えるヘッドライトモジュールに関する。   The present invention relates to a headlight module, and more particularly to an infrared LED that emits infrared light and a headlight module including an infrared light camera.

夜間の車の運転は視界が悪く、ドライバーを悩ませる危険な状況である。夜間走行での事故発生率は、良好な視界の得られる日中走行の事故発生率よりも格段に高い。   Driving a car at night has a low visibility and is a dangerous situation that bothers the driver. The accident rate for night driving is much higher than the daytime driving rate for good visibility.

例えば、相互通行時にはロービームの視距離が小さく、多くのドライバーが目測を誤ってしまう。このため、照明されていない障害物、歩行者、無灯火の自転車および動物などの認識が遅れ、事故につながる。さらに、雨、霧および雪等の悪天候時には視界特性はさらに低下する。   For example, the low beam viewing distance is small when passing each other, and many drivers mistakenly measure their eyes. This delays recognition of unlit obstacles, pedestrians, unlit bicycles, and animals, leading to accidents. Furthermore, the visibility characteristics further deteriorate during bad weather such as rain, fog and snow.

従来から、夜間走行時に用いる車両用前照灯の配光は、対向車への眩惑を考慮して、いわゆるロービームで路面を照明し、遠方を見たい走行状況のときにはロービームからハイビームへの切り換えを行うようにしている。しかしながら、そのロービームとハイビームとの切り換えは面倒である。また、ハイビームへ切り替えた場合には歩行者および対向車の乗員に眩惑を与えることがある。   Conventionally, the light distribution of the vehicle headlamps used during night driving takes into account the dazzling of oncoming vehicles, illuminates the road surface with a so-called low beam, and switches from the low beam to the high beam when you want to see far away. Like to do. However, switching between the low beam and the high beam is troublesome. In addition, when switching to a high beam, pedestrians and oncoming passengers may be dazzled.

これに対し、人および動物が発生する遠赤外光を遠赤外光カメラで捕捉して、これを画像化して表示する車両用暗視装置が提案されている。しかしながら、遠赤外光を捕捉できる遠赤外光カメラは大変高価であり、また、日中走行の画像を撮ることができない。   On the other hand, a night-vision device for vehicles has been proposed in which far-infrared light generated by humans and animals is captured by a far-infrared light camera and imaged and displayed. However, far-infrared light cameras that can capture far-infrared light are very expensive and cannot capture images of daytime running.

また、車両前方に波長が１μｍ付近の近赤外光の光束を照射して、車両前方の物体により反射された反射光束をカメラで撮像して画像化する車両用暗視装置が提案されている。   Further, a vehicle night vision apparatus has been proposed in which a near-infrared light beam having a wavelength of about 1 μm is irradiated in front of the vehicle, and a reflected light beam reflected by an object in front of the vehicle is imaged by a camera. .

例えば、車両前方の物体により反射された反射光束をカメラで撮像して画像化する車両用暗視装置として、先行技術が開示されている（例えば、特許文献１参照。）。   For example, the prior art is disclosed as a night vision device for a vehicle that captures and images a reflected light beam reflected by an object in front of the vehicle with a camera (see, for example, Patent Document 1).

特許文献１に記載のヘッドライトの先行技術として、独国特許出願公開第４００７６４６号公報（特許文献２）が記載されている。その構成は、通常のヘッドライトに加えて、近赤外で発光するレーザーダイオードを光源とした２つの近赤外光ヘッドライトを有している。特許文献２記載のヘッドライトにおいて、撮像用のＣＣＤカメラは、車両のルーフ領域に搭載されている。ハロゲンランプなどの可視光源は、数１００ｎｍ幅の広いスペクトル幅を有する。   As a prior art of the headlight described in Patent Document 1, German Patent Application Publication No. 4007646 (Patent Document 2) is described. The configuration has two near-infrared light headlights that use a laser diode that emits light in the near infrared as a light source in addition to a normal headlight. In the headlight described in Patent Document 2, an imaging CCD camera is mounted on a roof region of a vehicle. Visible light sources such as halogen lamps have a wide spectral width of several 100 nm.

このような、カメラを備えたヘッドライトでは、対向車両の光の影響を取り除く必要がある。特許文献２記載のヘッドライトでは、カメラの対物レンズ前方には光学バンドパスフィルタが配置されている。狭い透過帯域の光学バンドパスフィルタを用いることで、対向車両の可視光源は大きく減衰することができる。また、レーザ光は数ｎｍのスペクトル幅しか有していないので、狭い透過帯域の光学バンドパスフィルタをほとんど透過する。さらに、従来のヘッドライトは、レーザーダイオードをパルス駆動し、レーザと同期した電子ロックを備えたビデオカメラを使用し、対向車両の光をさらに低減している。
特開２００３―４５２１０号公報 独国特許出願公開第４００７６４６号公報 In such a headlight equipped with a camera, it is necessary to remove the influence of light from oncoming vehicles. In the headlight described in Patent Document 2, an optical bandpass filter is disposed in front of the objective lens of the camera. By using an optical bandpass filter with a narrow transmission band, the visible light source of the oncoming vehicle can be greatly attenuated. Further, since the laser beam has a spectral width of only a few nm, it almost passes through the optical bandpass filter having a narrow transmission band. Further, the conventional headlight uses a video camera equipped with an electronic lock synchronized with the laser by driving the laser diode in a pulsed manner to further reduce the light of the oncoming vehicle.
Japanese Patent Laid-Open No. 2003-45210 German Patent Application Publication No. 4007646

しかしながら、従来のカメラを備えたヘッドライトは、光学フィルタにより、対向車両の光の影響を低減しているので、対向車両のヘッドライトが同じ構造の場合（同じスペクトル幅のレーザを用い、同じ帯域の光学フィルタを用いている場合）は、対向車両の光（近赤外光）の影響を低減することができない。また、この対向車両の光の影響を低減するためには、レーザのスペクトル幅および光学フィルタの帯域を、車両毎に変更しなくてはならず、実施が困難である。   However, since the headlight equipped with the conventional camera reduces the influence of the light of the oncoming vehicle by the optical filter, when the headlight of the oncoming vehicle has the same structure (using a laser with the same spectral width, the same band) If the optical filter is used), the influence of oncoming vehicle light (near infrared light) cannot be reduced. Further, in order to reduce the influence of the light of the oncoming vehicle, the spectral width of the laser and the band of the optical filter must be changed for each vehicle, which is difficult to implement.

本発明は、上記課題に鑑みてなされたものであり、カメラに対する対向車両の光の影響を容易に低減することができるヘッドライトモジュールを提供することを目的とする。   The present invention has been made in view of the above problems, and an object of the present invention is to provide a headlight module that can easily reduce the influence of oncoming vehicle light on the camera.

上記目的を達成するために、本発明に係るヘッドライトモジュールは、赤外光を発光する赤外ＬＥＤと、赤外光を信号に変換する固体撮像素子と、前記赤外ＬＥＤに、時間的に擬似ランダムに変調した赤外光を発光させる発光制御手段と、前記変調に合わせて前記信号を抽出する抽出手段とを備える。   In order to achieve the above object, a headlight module according to the present invention includes an infrared LED that emits infrared light, a solid-state imaging device that converts infrared light into a signal, and the infrared LED in terms of time. Emission control means for emitting pseudo-randomly modulated infrared light and extraction means for extracting the signal in accordance with the modulation.

この構成によれば、本発明に係るヘッドライトモジュールは、照射する赤外光を時間的に擬似ランダムに変調し、変調に合せて信号を抽出する。よって、各車両における赤外光のパターンは一致しないので、自身の車両が照射した赤外光のみを抽出することができる。これにより、対向車両の光の影響を低減することができる。また、赤外光を発光する赤外ＬＥＤと、白色光を発光する白色ＬＥＤと、固体撮像素子とを一つのモジュールに集積していることにより、ヘッドライトモジュールの小型化および低コスト化を実現できる。また、ＬＥＤを用いているため、歩行者などの人間の目に入った場合でも、失明の恐れがない。   According to this configuration, the headlight module according to the present invention modulates the irradiated infrared light in a pseudo-random manner in time, and extracts a signal in accordance with the modulation. Therefore, since the pattern of the infrared light in each vehicle does not match, it is possible to extract only the infrared light irradiated by its own vehicle. Thereby, the influence of the light of an oncoming vehicle can be reduced. In addition, by integrating an infrared LED that emits infrared light, a white LED that emits white light, and a solid-state imaging device into a single module, the headlight module can be reduced in size and cost. it can. Moreover, since the LED is used, there is no fear of blindness even if it enters the eyes of a human such as a pedestrian.

また、前記発光制御手段は、前記赤外ＬＥＤにスペクトラム拡散方式により時間的に擬似ランダムに変調した赤外光を発光させてもよい。   Further, the light emission control means may cause the infrared LED to emit infrared light modulated in a pseudo-random manner with a spread spectrum method.

この構成によれば、本発明に係るヘッドライトモジュールは、スペクトラム拡散した赤外光を照射し、対象物に反射したスペクトラム拡散した赤外光を受光する。スペクトラム拡散により、赤外光は広帯域に拡散されているので、狭帯域の対向車のヘッドライト光を容易に分離することができる。よって、本発明に係るヘッドライトモジュールは、対向車両の光の影響を容易に低減することができる。さらに、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。   According to this configuration, the headlight module according to the present invention irradiates the spread spectrum infrared light and receives the spread spectrum infrared light reflected on the object. Due to the spread spectrum, the infrared light is diffused in a wide band, so that it is possible to easily separate the headlight light of the narrow-band oncoming vehicle. Therefore, the headlight module according to the present invention can easily reduce the influence of light from the oncoming vehicle. Furthermore, by using light modulated by the spread spectrum method, it is possible to measure the relative position of the moving object based on the arrival time difference of light.

また、前記ヘッドライトモジュールは、さらに、前記信号が、所定の強度以上であるかを検出する検出手段と、前記検出手段が所定の強度以上であると検出した場合、前記固体撮像素子が撮像する赤外光を減光する減光手段とを備えてもよい。   Further, the headlight module is further configured to detect whether the signal has a predetermined intensity or more, and when the detection means detects that the signal has a predetermined intensity or more, the solid-state imaging device picks up an image. A dimming means for dimming infrared light may be provided.

この構成によれば、対向車両のヘッドライト光等により、固体撮像素子が撮像した信号が飽和した場合には、固体撮像素子が撮像する光を減光することができる。よって、対向車両のヘッドライト光の影響を除去し、対象物に反射した赤外光のみを抽出することができる。   According to this configuration, when the signal captured by the solid-state image sensor is saturated by headlight light or the like of the oncoming vehicle, the light captured by the solid-state image sensor can be reduced. Therefore, the influence of the headlight light of the oncoming vehicle can be removed, and only the infrared light reflected on the object can be extracted.

また、前記固体撮像素子は、前記赤外光の波長帯に感度を有する第１の画素と、可視光の波長帯に感度を有する第２の画素とを備えてもよい。   The solid-state imaging device may include a first pixel having sensitivity in the wavelength band of infrared light and a second pixel having sensitivity in the wavelength band of visible light.

この構成によれば、可視光に感度を有する画素と、赤外光に感度を有する画素を備えることで、昼間の画像（可視光画像）と、赤外光画像とを撮影することができる。さらに、赤外光画像と、可視光画像を容易に合成することができる。   According to this configuration, it is possible to capture a daytime image (visible light image) and an infrared light image by providing pixels having sensitivity to visible light and pixels having sensitivity to infrared light. Furthermore, an infrared light image and a visible light image can be easily synthesized.

また、前記固体撮像素子は、前記赤外光の波長帯に感度を有する第１の画素と、赤色光の波長帯に感度を有する第２の画素と、緑色光の波長帯に感度を有する第３の画素と、青色光の波長帯に感度を有する第４の画素とを備えてもよい。   The solid-state imaging device includes a first pixel having sensitivity in the infrared light wavelength band, a second pixel having sensitivity in the red light wavelength band, and a first pixel having sensitivity in the green light wavelength band. 3 pixels and a fourth pixel having sensitivity in the wavelength band of blue light.

この構成によれば、カラーの可視光画像と、赤外光画像とを撮影することができる。さらに、カラーの可視光画像と、赤外光画像とを容易に合成することができる。   According to this configuration, a color visible light image and an infrared light image can be taken. Furthermore, a color visible light image and an infrared light image can be easily combined.

また、前記赤外ＬＥＤは、ハイビーム用光源として用いられてもよい。   The infrared LED may be used as a high beam light source.

この構成によれば、夜間の走行において、遠方まで安定して撮像することができる。また、ハイビームとして用いた場合でも、赤外光が擬似ランダムに変調されているため、対向車両の邪魔にならない。   According to this configuration, it is possible to stably capture images far away during night driving. Even when used as a high beam, infrared light is pseudo-randomly modulated, so that it does not interfere with oncoming vehicles.

また、前記ヘッドライトモジュールは、さらに、白色光を発光する白色ＬＥＤを備え、前記赤外ＬＥＤは、前記白色ＬＥＤが点灯しているときは、点灯してもよい。   The headlight module may further include a white LED that emits white light, and the infrared LED may be turned on when the white LED is turned on.

この構成によれば、ユーザは、従来と同様にヘッドライトの点灯（白色光の点灯）の操作を行うだけで、ヘッドライトの点灯および赤外光による映像の表示を同時に行うことができる。よって、ユーザの利便性を向上させることができる。   According to this configuration, the user can simultaneously turn on the headlight and display an image using infrared light simply by performing the operation of turning on the headlight (turning on white light) as in the conventional case. Therefore, user convenience can be improved.

また、前記固体撮像素子は、複数の画素を備え、前記各画素は、赤外光および可視光のうち少なくとも一方を受光する受光素子と、前記受光素子の上方に形成される屈折率分布を構成する光透過膜とを備えてもよい。   The solid-state imaging device includes a plurality of pixels, and each pixel includes a light receiving element that receives at least one of infrared light and visible light, and a refractive index distribution formed above the light receiving element. A light transmissive film may be provided.

この構成によれば、固体撮像素子のマイクロレンズを無機物で構成することができる。これにより、ヘッドライトモジュールの耐光性および耐熱性が向上する。   According to this structure, the microlens of a solid-state image sensor can be comprised with an inorganic substance. Thereby, the light resistance and heat resistance of the headlight module are improved.

また、本発明に係るヘッドライトモジュールの制御方法は、赤外光を発光する赤外ＬＥＤと、赤外光を信号に変換する固体撮像素子とを備えるヘッドライトモジュールの制御方法であって、前記赤外ＬＥＤに時間的に擬似ランダムに変調した赤外光を発光させる発光ステップと、前記変調に合わせて前記信号を抽出する抽出ステップとを含む。   A headlight module control method according to the present invention is a headlight module control method including an infrared LED that emits infrared light and a solid-state imaging device that converts infrared light into a signal. A light emission step of causing the infrared LED to emit infrared light modulated pseudo-randomly in time, and an extraction step of extracting the signal in accordance with the modulation.

これによれば、照射する赤外光を時間的に擬似ランダムに変調し、変調に合せて信号を抽出する。よって、各車両における赤外光のパターンは一致しないので、自身の車両が照射した赤外光のみを抽出することができる。これにより、対向車両の光の影響を低減することができる。   According to this, the infrared light to be irradiated is modulated pseudo-randomly in time, and a signal is extracted in accordance with the modulation. Therefore, since the pattern of the infrared light in each vehicle does not match, it is possible to extract only the infrared light irradiated by its own vehicle. Thereby, the influence of the light of an oncoming vehicle can be reduced.

本発明は、カメラに対する対向車両の光の影響を低減するヘッドライトモジュールを提供することができる。   The present invention can provide a headlight module that reduces the influence of oncoming vehicle light on the camera.

以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。   Hereinafter, embodiments according to the present invention will be described in detail with reference to the drawings.

（実施の形態１）
本発明の実施の形態１に係るヘッドライトモジュールは、照射する赤外光を時間的に擬似ランダムに変調し、変調に合せて信号を取り込む。よって、各車両における赤外光の照射パターンは一致しないので、自身の車両が照射した赤外光のみを抽出することができる。これにより、対向車両の光の影響を低減することができる。 (Embodiment 1)
The headlight module according to Embodiment 1 of the present invention modulates irradiating infrared light in a pseudo-random manner in time, and takes in a signal in accordance with the modulation. Therefore, since the irradiation pattern of the infrared light in each vehicle does not correspond, only the infrared light irradiated by the own vehicle can be extracted. Thereby, the influence of the light of an oncoming vehicle can be reduced.

まず、本発明の実施の形態１に係るヘッドライトモジュールの構成を説明する。   First, the configuration of the headlight module according to Embodiment 1 of the present invention will be described.

図１は、本発明の実施の形態１に係るヘッドライトモジュールの概略構成を示す図である。図１に示すヘッドライトモジュール１００は、カメラユニット１と、赤外ＬＥＤランプユニット２と、白色ＬＥＤランプユニット３とを備える。   FIG. 1 is a diagram showing a schematic configuration of a headlight module according to Embodiment 1 of the present invention. A headlight module 100 shown in FIG. 1 includes a camera unit 1, an infrared LED lamp unit 2, and a white LED lamp unit 3.

カメラユニット１は、赤外ＬＥＤランプユニット２が照射し、車両前方の物体により反射された反射光束を撮像し、画像化する。また、カメラユニット１は、可視光を撮像し、画像化する。   The camera unit 1 captures an image of the reflected light beam irradiated by the infrared LED lamp unit 2 and reflected by an object in front of the vehicle, and images it. The camera unit 1 captures visible light and images it.

赤外ＬＥＤランプユニット２は、ハイビームとして用いられる近赤外光を発光する。   The infrared LED lamp unit 2 emits near infrared light used as a high beam.

白色ＬＥＤランプユニット３は、ロービームとして用いられる白色光を発光する。また、白色ＬＥＤランプユニット３は、白色光を照射する角度を変更することでハイビームとして用いられる。また、赤外ＬＥＤランプユニット２は、白色ＬＥＤランプユニット３が点灯しているときは、常に点灯する。すなわち、ユーザの操作により、白色光が照射されている間は、赤外光も照射され、赤外光による映像がユーザに表示される。これにより、ユーザは、従来と同様にヘッドライトの点灯の操作を行うだけで、ヘッドライトの点灯および赤外光による映像の表示を同時に行うことができる。よって、ユーザの利便性を向上させることができる。   The white LED lamp unit 3 emits white light used as a low beam. Further, the white LED lamp unit 3 is used as a high beam by changing the angle of irradiating white light. The infrared LED lamp unit 2 is always lit when the white LED lamp unit 3 is lit. That is, by the user's operation, while the white light is irradiated, infrared light is also irradiated, and an image by the infrared light is displayed to the user. As a result, the user can simultaneously turn on the headlight and display an image with infrared light simply by operating the headlight to turn on as in the conventional case. Therefore, user convenience can be improved.

なお、図１において、図の上方より、カメラユニット１、赤外ＬＥＤランプユニット２および白色ＬＥＤランプユニット３の順に配置されているが、各ユニットの配置順序および配置位置は、任意でよい。   In FIG. 1, the camera unit 1, the infrared LED lamp unit 2, and the white LED lamp unit 3 are arranged in this order from the top of the figure, but the arrangement order and arrangement position of each unit may be arbitrary.

図２は、本発明の実施の形態に係るヘッドライトモジュール１００を自動車に搭載した場合の搭載例を示す図である。図２は、ヘッドライトモジュール１００から、白色光のロービームおよび近赤外光のハイビームが照射されている様子を示す図である。また、カメラユニット１は、車両の前方を撮像している。なお、本発明の実施の形態に係るヘッドライトモジュール１００は、自動車、バスおよびトラック等の車に搭載することができる。   FIG. 2 is a diagram showing a mounting example when the headlight module 100 according to the embodiment of the present invention is mounted on an automobile. FIG. 2 is a diagram illustrating a state in which a low beam of white light and a high beam of near infrared light are emitted from the headlight module 100. Moreover, the camera unit 1 images the front of the vehicle. The headlight module 100 according to the embodiment of the present invention can be mounted on vehicles such as automobiles, buses, and trucks.

図３は、赤外ＬＥＤランプユニット２の構成を示すブロック図である。図３に示す赤外ＬＥＤランプユニット２は、赤外ＬＥＤ２０１と、パルス発生部２０２と、発光制御部２０３とを備える。   FIG. 3 is a block diagram showing the configuration of the infrared LED lamp unit 2. The infrared LED lamp unit 2 shown in FIG. 3 includes an infrared LED 201, a pulse generation unit 202, and a light emission control unit 203.

赤外ＬＥＤ２０１は、発光制御部２０３の制御により、近赤外光を発光するＬＥＤである。   The infrared LED 201 is an LED that emits near infrared light under the control of the light emission control unit 203.

パルス発生部２０２は、時間的に擬似ランダムに変調したパルス信号２０４を発生する。パルス発生部２０２が発生したパルス信号２０４は、発光制御部２０３およびカメラユニット１に出力される。   The pulse generator 202 generates a pulse signal 204 that is temporally pseudo-randomly modulated. A pulse signal 204 generated by the pulse generator 202 is output to the light emission controller 203 and the camera unit 1.

発光制御部２０３は、ハルス発生部２０２が発生したパルス信号２０４のタイミングにあわせ、赤外ＬＥＤ２０３に時間的に擬似ランダムに変調した赤外光を発光させる制御を行う。   The light emission control unit 203 performs control for causing the infrared LED 203 to emit infrared light modulated in a pseudo-random manner with respect to the timing of the pulse signal 204 generated by the Hals generation unit 202.

図４は、カメラユニット１の構成を示すブロック図である。図４に示すカメラユニット１は、固体撮像素子１０と、Ａ／Ｄ変換部１０１と、フレームメモリ１０２と、検出部１０４と、減光部１０５と、フレームメモリ１０６と、画像合成部１０７と、画像出力部１０８とを備える。   FIG. 4 is a block diagram showing the configuration of the camera unit 1. The camera unit 1 shown in FIG. 4 includes a solid-state imaging device 10, an A / D conversion unit 101, a frame memory 102, a detection unit 104, a light reduction unit 105, a frame memory 106, an image composition unit 107, And an image output unit 108.

固体撮像素子１０は、赤外ＬＥＤランプユニット２が照射し、対象物に反射した赤外光および可視光をアナログ信号に光電変換し、出力する。   The solid-state imaging device 10 irradiates the infrared LED lamp unit 2 and photoelectrically converts infrared light and visible light reflected by the object into analog signals and outputs the analog signals.

Ａ／Ｄ変換部１０１は、固体撮像素子１０が出力するアナログ信号をデジタル信号に変換する。   The A / D conversion unit 101 converts an analog signal output from the solid-state imaging device 10 into a digital signal.

フレームメモリ１０２は、Ａ／Ｄ変換部１０１が出力するデジタル信号を保持する。   The frame memory 102 holds a digital signal output from the A / D conversion unit 101.

検出部１０４は、フレームメモリ１０２に保持されている信号を赤外ＬＥＤランプユニット２のパルス発生部２０２が発生したパルス信号２０４のタイミングで抽出する。また、検出部１０４は、フレームメモリ１０２に保持されている信号の対向車両のヘッドライトの影響等を除去する。検出部１０４は、ＤＣ検出部１０９と、ＡＣ検出部１１０と、抽出部１１１とを備える。   The detection unit 104 extracts the signal held in the frame memory 102 at the timing of the pulse signal 204 generated by the pulse generation unit 202 of the infrared LED lamp unit 2. In addition, the detection unit 104 removes the influence of the headlight of the oncoming vehicle of the signal held in the frame memory 102. The detection unit 104 includes a DC detection unit 109, an AC detection unit 110, and an extraction unit 111.

ＤＣ検出部１０９は、固体撮像素子１０が撮像しフレームメモリ１０２に保持されている信号の対向車両のヘッドライト等によるＤＣ成分の信号を検出する。また、ＤＣ検出部１０９は、固体撮像素子が撮像しフレームメモリ１０２に保持されている信号が、所定の強度以上であるかを検出する。   The DC detection unit 109 detects a signal of a DC component from a headlight of an oncoming vehicle of a signal captured by the solid-state imaging device 10 and held in the frame memory 102. In addition, the DC detection unit 109 detects whether a signal captured by the solid-state image sensor and held in the frame memory 102 is equal to or higher than a predetermined intensity.

減光部１０５は、ＤＣ検出部１０９が所定の強度以上であると検出した場合、固体撮像素子１０に入射する光の減光を行う。   The light reduction unit 105 reduces light incident on the solid-state imaging device 10 when the DC detection unit 109 detects that the intensity is higher than a predetermined intensity.

ＡＣ検出部１１０は、フレームメモリ１０２に保持されている信号、または、減光部１０５が減光した信号に対して、パルス信号２０４のタイミング（周波数特性）と異なる成分の信号を検出する。   The AC detection unit 110 detects a signal having a component different from the timing (frequency characteristic) of the pulse signal 204 with respect to the signal held in the frame memory 102 or the signal dimmed by the dimming unit 105.

抽出部１１１は、フレームメモリ１０２に保持されている信号、または、減光部１０５が減光した信号をパルス信号２０４のタイミングで抽出する。すなわち、抽出部１１１は、赤外ＬＥＤランプユニット２が照射した赤外光の時間的な擬似ランダムな変調に合せて固体撮像素子１０が撮像した信号を抽出する。また、抽出部１１１は、フレームメモリ１０２に保持されている信号、または、減光部１０５が減光した信号から、ＤＣ検出部１０９およびＡＣ検出部１１０が検出した対向車両のヘッドライト等による信号を差分することで、自車両が照射した赤外光の信号を抽出する。   The extraction unit 111 extracts the signal held in the frame memory 102 or the signal dimmed by the dimming unit 105 at the timing of the pulse signal 204. That is, the extraction unit 111 extracts a signal imaged by the solid-state imaging device 10 in accordance with temporal pseudo-random modulation of infrared light irradiated by the infrared LED lamp unit 2. The extraction unit 111 also detects signals from headlights of oncoming vehicles detected by the DC detection unit 109 and the AC detection unit 110 from signals held in the frame memory 102 or signals attenuated by the dimming unit 105. Is extracted, the signal of the infrared light irradiated by the host vehicle is extracted.

フレームメモリ１０６は、抽出部１１１が抽出した自車両が照射した赤外光の信号を保持する。   The frame memory 106 holds the infrared light signal emitted by the vehicle extracted by the extraction unit 111.

画像合成部１０７は、フレームメモリ１０６に保持されている信号に対して、赤外光が照射されていない期間（フレーム）の画像を補正する。   The image composition unit 107 corrects an image in a period (frame) in which infrared light is not irradiated with respect to the signal held in the frame memory 106.

画像出力部１０８は、画像出力部１０７が補正した画像を出力する。画像出力部１０８が出力する画像は、例えば、自車の車内に設置された表示部（ディスプレイ）等に表示される。   The image output unit 108 outputs the image corrected by the image output unit 107. The image output by the image output unit 108 is displayed on, for example, a display unit (display) installed in the vehicle.

図５は、カメラユニット１が備える固体撮像素子１０の概略構成および固体撮像素子１０の画素配置を示す図である。固体撮像素子１０は、デジタルカメラおよびカメラ付携帯電話などに適用されている撮像素子であり、撮像領域１１において単位画素（例えば、画素サイズ□５．６μｍ）が２次元状に配置されている。撮像領域１１に配置される単位画素は、赤外光のみを透過し、赤外光の波長帯のみに感度を有する単位画素１２と、可視光および赤外光が透過し、可視光および赤外光の波長帯に感度を有する単位画素１３とを含む。撮像領域１１において、赤外光のみを透過する単位画素１２と、可視光および赤外光が透過する単位画素１３とは千鳥配置される。単位画素１２および１３を配置することにより、可視光画像と赤外画像の両方を撮像することができる。さらに、単位画素１２および１３は１画素おきの千鳥配置であるので、可視光画像と赤外画像の合成が容易である。なお、単位画素の配列はストライプ状であってもよい。図６は、単位画素を横ストライプ状に配置した単位画素の配列を示す図である。図６に示すように、単位画素を横ストライプ状に配置した場合も、可視光画像と赤外画像との合成が容易である。   FIG. 5 is a diagram illustrating a schematic configuration of the solid-state imaging device 10 included in the camera unit 1 and a pixel arrangement of the solid-state imaging device 10. The solid-state imaging device 10 is an imaging device applied to a digital camera, a camera-equipped mobile phone, and the like, and unit pixels (for example, pixel size □ 5.6 μm) are two-dimensionally arranged in the imaging region 11. The unit pixel arranged in the imaging region 11 transmits only infrared light, transmits unit light 12 having sensitivity only in the wavelength band of infrared light, visible light and infrared light, visible light and infrared light. And a unit pixel 13 having sensitivity in the wavelength band of light. In the imaging region 11, the unit pixels 12 that transmit only infrared light and the unit pixels 13 that transmit visible light and infrared light are staggered. By arranging the unit pixels 12 and 13, both a visible light image and an infrared image can be taken. Furthermore, since the unit pixels 12 and 13 are staggered every other pixel, it is easy to synthesize a visible light image and an infrared image. Note that the arrangement of unit pixels may be a stripe. FIG. 6 is a diagram illustrating an arrangement of unit pixels in which unit pixels are arranged in a horizontal stripe shape. As shown in FIG. 6, even when the unit pixels are arranged in a horizontal stripe shape, it is easy to combine the visible light image and the infrared image.

図７は、赤外光のみを透過する単位画素１２と、可視光および赤外光が透過する単位画素１３との断面構造を示す図である。   FIG. 7 is a diagram showing a cross-sectional structure of the unit pixel 12 that transmits only infrared light and the unit pixel 13 that transmits visible light and infrared light.

図７に示すように、固体撮像素子１０の可視光と赤外光が透過する単位画素１３は、マイクロレンズ２１と、可視光および赤外光を受光する受光素子（Ｓｉフォトダイオード）２３と、配線２２と、Ｓｉ基板２４とを備える。固体撮像素子１０の赤外光のみを透過する単位画素１２は、単位画素１３の構成に加え、さらに可視光カットフィルタ２６を備える。可視光カットフィルタ２６は、可視光の帯域の光を遮断するフィルタであり、例えば、ＴｉＯ2膜とＳｉＯ2膜とを交互に積層した積層膜で構成される。 As shown in FIG. 7, the unit pixel 13 that transmits visible light and infrared light of the solid-state imaging device 10 includes a microlens 21, a light receiving element (Si photodiode) 23 that receives visible light and infrared light, Wiring 22 and Si substrate 24 are provided. The unit pixel 12 that transmits only infrared light of the solid-state imaging device 10 further includes a visible light cut filter 26 in addition to the configuration of the unit pixel 13. The visible light cut filter 26 is a filter that blocks light in the visible light band, and is formed of, for example, a laminated film in which TiO 2 films and SiO 2 films are alternately laminated.

次に、本発明の実施の形態１に係るヘッドライトモジュールの動作について説明する。   Next, the operation of the headlight module according to Embodiment 1 of the present invention will be described.

図８は、固体撮像素子の一般的なタイミングチャートである。図８において、期間Ｔ１は、信号の取り込みを行わないブランキング期間であり、期間Ｔ２は、信号の取り込みを行う撮像期間（１フレーム）である。一般的なタイミングチャートでは、ブランキング期間Ｔ１は、それぞれ同じ長さの期間であり、撮像期間Ｔ２はそれぞれ同じ長さの期間である。   FIG. 8 is a general timing chart of the solid-state imaging device. In FIG. 8, a period T1 is a blanking period during which no signal is captured, and a period T2 is an imaging period (one frame) during which a signal is captured. In a general timing chart, the blanking period T1 is a period having the same length, and the imaging period T2 is a period having the same length.

図９は、本実施の形態に係るヘッドライトモジュールにおける赤外ＬＥＤランプユニット２の点灯および消灯のタイミングを示す図である。本実施の形態では、赤外ＬＥＤランプユニット２が発光する赤外光は、擬似ランダムに時間的に変調される。これにより、対向車のヘッドライト光の影響を除去することができる。図９に示すように、赤外ＬＥＤランプユニット２は、赤外光を照射するフレームと、照射しないフレームとを擬似ランダムに選択する。例えば、赤外ＬＥＤランプユニット２は、パルス発生部２０２が発生するパルス信号２０４のタイミングに合せて、赤外光を照射する。   FIG. 9 is a diagram showing the timing of turning on and off the infrared LED lamp unit 2 in the headlight module according to the present embodiment. In the present embodiment, the infrared light emitted from the infrared LED lamp unit 2 is temporally modulated pseudo-randomly. Thereby, the influence of the headlight light of an oncoming vehicle can be removed. As shown in FIG. 9, the infrared LED lamp unit 2 selects a frame that irradiates infrared light and a frame that does not irradiate in a pseudo-random manner. For example, the infrared LED lamp unit 2 irradiates infrared light in accordance with the timing of the pulse signal 204 generated by the pulse generator 202.

図１０は、本実施の形態に係るヘッドライトモジュール１００のカメラユニット１の動作を示すフローチャートである。   FIG. 10 is a flowchart showing the operation of the camera unit 1 of the headlight module 100 according to the present embodiment.

まず、固体撮像素子１０は、赤外ＬＥＤランプユニット２が照射し、対象物に反射した赤外光を撮像する（Ｓ１０１）。   First, the solid-state imaging device 10 images the infrared light irradiated by the infrared LED lamp unit 2 and reflected from the object (S101).

図１１は、図９に示すタイミングで点灯される擬似ランダムの赤外光が照射されたときの固体撮像素子１０の赤外光のみを透過する単位画素１２からの出力信号を示す図である。図１１に示すように、単位画素１２からの出力信号は、赤外光の照射されるタイミングにあわせて擬似ランダムに時間的に変調されている。ここで、対向車両の照射するヘッドライト光は、図９および図１１に示すタイミングとは、異なるパターンに変調されている。よって、自身が照射した赤外光のタイミングに合せて画像撮像素子１０が出力する信号を取り込むことで、対向車両のヘッドライト光の影響を容易に除外し、自身が照射した赤外光のみを抽出することができる。具体的には、固体撮像素子１０は、図１１に示す出力信号を出力し、Ａ／Ｄ変換部１０１は、固体撮像素子１０が出力したアナログ信号をデジタル信号に変換する（Ｓ１０２）。フレームメモリ１０２は、Ａ／Ｄ変換部１０１がＡ／Ｄ変換した信号を保持する。検出部１０４のＤＣ検出部１０９は、フレームメモリ１０２に保持されている信号が、対向車両のヘッドライト光等により、飽和しているか否かを検出する（Ｓ１０３）。すなわち、ＤＣ検出部１０９は、固体撮像素子１０が撮像した信号の信号レベルが所定のレベル以上であるかを検出する。   FIG. 11 is a diagram illustrating an output signal from the unit pixel 12 that transmits only the infrared light of the solid-state imaging device 10 when the pseudo-random infrared light that is turned on at the timing illustrated in FIG. 9 is irradiated. As shown in FIG. 11, the output signal from the unit pixel 12 is temporally modulated in a pseudo-random manner in accordance with the irradiation timing of infrared light. Here, the headlight light emitted by the oncoming vehicle is modulated in a pattern different from the timing shown in FIGS. Therefore, by capturing the signal output from the image pickup device 10 in accordance with the timing of the infrared light emitted by itself, the influence of the headlight light of the oncoming vehicle can be easily excluded, and only the infrared light emitted by itself is emitted. Can be extracted. Specifically, the solid-state image sensor 10 outputs the output signal shown in FIG. 11, and the A / D converter 101 converts the analog signal output from the solid-state image sensor 10 into a digital signal (S102). The frame memory 102 holds the signal A / D converted by the A / D conversion unit 101. The DC detection unit 109 of the detection unit 104 detects whether or not the signal held in the frame memory 102 is saturated by the headlight light of the oncoming vehicle (S103). That is, the DC detection unit 109 detects whether the signal level of the signal imaged by the solid-state imaging device 10 is equal to or higher than a predetermined level.

図１２は、固体撮像素子１０の出力が飽和した場合の出力信号の一例を示す図である。図１２に示すように、出力信号が飽和している場合には（Ｓ１０３でＹｅｓ）、減光部１０５は、フレームメモリ１０２が保持している信号を減光する（Ｓ１０４）。例えば、減光部１０５は、光学絞り、または、ＮＤ（Neutral Density）フィルタ等により、減光を行う。図１３は、図１２に示す飽和した信号に対して、減光部１０５が絞りを行った後の信号を示す図である。図１３に示すように減光を行うことで、対向車両のヘッドライト光の影響により、信号が飽和した場合でも、信号の抽出を行うことが可能となる。   FIG. 12 is a diagram illustrating an example of an output signal when the output of the solid-state imaging device 10 is saturated. As shown in FIG. 12, when the output signal is saturated (Yes in S103), the dimming unit 105 dims the signal held in the frame memory 102 (S104). For example, the dimming unit 105 performs dimming using an optical diaphragm, an ND (Neutral Density) filter, or the like. FIG. 13 is a diagram illustrating a signal after the light reduction unit 105 performs the diaphragm on the saturated signal illustrated in FIG. By performing dimming as shown in FIG. 13, it is possible to extract a signal even when the signal is saturated due to the influence of headlight light from an oncoming vehicle.

ＤＣ検出部１０９が信号が飽和していないと判定した場合（Ｓ１０３でＮｏ）、または、減光（Ｓ１０４）後に、ＤＣ検出部１０９は、対向車両のヘッドライト等の影響によるＤＣ成分の信号を検出する（Ｓ１０５）。例えば、ＤＣ検出部１０９は、赤外ＬＥＤランプユニット２が赤外光を発光していない期間の信号レベルを検出することで、対向車両のヘッドライト等の影響によるＤＣ成分の信号を検出する。   When the DC detection unit 109 determines that the signal is not saturated (No in S103) or after dimming (S104), the DC detection unit 109 outputs a signal of a DC component due to the influence of a headlight or the like of the oncoming vehicle. It detects (S105). For example, the DC detection unit 109 detects a signal of a DC component due to the influence of a headlight or the like of the oncoming vehicle by detecting a signal level during a period when the infrared LED lamp unit 2 does not emit infrared light.

次に、ＡＣ検出部１１０は、パルス信号２０４に基づき、赤外ＬＥＤランプユニット２が照射した赤外光と周波数成分の異なる信号を検出する（Ｓ１０６）。なお、ＤＣ検出（ステップＳ１０５）およびＡＣ検出（ステップＳ１０６）の順序は任意でよい。例えば、ＡＣ検出の後に、ＤＣ検出をおこなってもよいし、同時におこなってもよい。   Next, the AC detection unit 110 detects a signal having a frequency component different from that of the infrared light irradiated by the infrared LED lamp unit 2 based on the pulse signal 204 (S106). Note that the order of DC detection (step S105) and AC detection (step S106) may be arbitrary. For example, DC detection may be performed after AC detection, or may be performed simultaneously.

抽出部１１１は、ステップＳ１０５において、ＤＣ検出部１０９が検出した対向車両のヘッドライト光によるＤＣ成分の信号、および、ＡＣ検出部１０９が検出した対向車両のヘッドライト光によるＡＣ成分の信号をフレームメモリ１０２が保持している信号から除去し、赤外ＬＥＤランプユニット２が照射した赤外光のみを抽出する（Ｓ１０７）。フレームメモリ１０６は、抽出部１１１が抽出した赤外ＬＥＤランプユニット２が照射した赤外光に対応する信号を保持する。   In step S <b> 105, the extraction unit 111 frames the DC component signal detected by the headlight of the oncoming vehicle detected by the DC detection unit 109 and the AC component signal detected by the headlight of the oncoming vehicle detected by the AC detection unit 109. It removes from the signal held in the memory 102, and extracts only the infrared light irradiated by the infrared LED lamp unit 2 (S107). The frame memory 106 holds a signal corresponding to the infrared light emitted by the infrared LED lamp unit 2 extracted by the extraction unit 111.

画像合成部１０７は、フレームメモリ１０６が保持する信号に対して、赤外光が照射されていないフレームの画像を合成する（Ｓ１０８）。例えば、画像出力部１０７は、赤外光が照射されていないフレームに対して、直前の赤外光が照射されたフレームで得られた画像を挿入する。画像合成部１０７による画像合成により、人間の目に違和感のない画像が形成される。   The image synthesis unit 107 synthesizes an image of a frame that is not irradiated with infrared light with the signal held by the frame memory 106 (S108). For example, the image output unit 107 inserts an image obtained from a frame irradiated with the immediately preceding infrared light into a frame not irradiated with infrared light. By the image composition by the image composition unit 107, an image without a sense of incongruity to human eyes is formed.

画像出力部１０８は、画像合成部１０７が画像合成した画像を出力する（Ｓ１０９）。例えば、画像出力部１０８が出力する画像は、車内に設置された表示部（ディスプレイ）等に送られ、表示部は、赤外光画像をユーザ（ドライバー）に表示する。   The image output unit 108 outputs the image synthesized by the image synthesis unit 107 (S109). For example, the image output from the image output unit 108 is sent to a display unit (display) installed in the vehicle, and the display unit displays an infrared light image to the user (driver).

図１４は、図９に示すタイミングで点灯される擬似ランダムの赤外光が照射されたときの固体撮像素子１０の可視光および赤外光を透過する単位画素１３からの出力信号を示す図である。図１４に示すように、単位画素１３からの出力信号は、可視光等の影響を受けているが、赤外光と同様に擬似ランダムに時間的に変調される。よって、単位画素１２の場合と同様に、擬似ランダムの変調に合わせてこの信号を取り出すことにより、対向車のヘッドライト光が固体撮像素子１０に入射したとしても分離することができる。   FIG. 14 is a diagram illustrating an output signal from the unit pixel 13 that transmits visible light and infrared light of the solid-state imaging device 10 when irradiated with pseudo-random infrared light that is turned on at the timing illustrated in FIG. 9. is there. As shown in FIG. 14, the output signal from the unit pixel 13 is influenced by visible light or the like, but is temporally modulated in a pseudo-random manner like infrared light. Therefore, as in the case of the unit pixel 12, by extracting this signal in accordance with pseudo-random modulation, it is possible to separate even if headlight light from the oncoming vehicle enters the solid-state imaging device 10.

なお、単位画素１３からの出力信号と、擬似ランダムの変調に合わせて読み出した単位画素１２からの出力信号とを合成して、対向車のヘッドライト光を分離してもよい。   Note that the headlight light of the oncoming vehicle may be separated by combining the output signal from the unit pixel 13 and the output signal from the unit pixel 12 read in accordance with pseudo-random modulation.

ここで、固体撮像装置１０には、ＣＣＤまたはＭＯＳセンサを用いることができる。なお、固体撮像素子１０は、擬似ランダムに高速で信号を読み出すので、ＭＯＳセンサを用いることが好ましい。   Here, a CCD or MOS sensor can be used for the solid-state imaging device 10. Note that the solid-state imaging device 10 preferably uses a MOS sensor because it reads signals at a high speed in a pseudo-random manner.

以上より、本発明の実施の形態１に係るヘッドライトモジュール１００は、赤外ＬＥＤランプユニット２が擬似ランダムに時間的に変調した赤外光を発光する。これにより、自身が照射する赤外光は、対向車両のヘッドライトのタイミングと異なるので、対向車両の影響を容易に除外し、自身が照射した赤外光のみを抽出することができる。さらに、カメラユニット１に、対向車両のヘッドライトの光を除去する光学フィルタ等を形成する必要がないので、カメラユニット１の小型化および低コスト化を実現することができる。よって、ヘッドライトモジュール１００の小型化および低コスト化を実現することができる。   As described above, the headlight module 100 according to Embodiment 1 of the present invention emits infrared light that is temporally modulated by the infrared LED lamp unit 2 in a pseudo-random manner. Thereby, since the infrared light irradiated by itself is different from the timing of the headlight of the oncoming vehicle, it is possible to easily exclude the influence of the oncoming vehicle and extract only the infrared light irradiated by itself. Furthermore, since it is not necessary to form an optical filter or the like for removing the light from the headlights of the oncoming vehicle on the camera unit 1, the camera unit 1 can be reduced in size and cost. Therefore, the headlight module 100 can be reduced in size and cost.

また、本発明の実施の形態１に係るヘッドライトモジュール１００のカメラユニット１は、赤外光のみを透過する画素１２と、可視光と赤外光とを透過する画素１３とを備える。カメラユニット１は、可視光と赤外光とを透過する画素１３を備えることで、昼間の画像（可視光画像）を撮影することができる。さらに、赤外光のみを透過する画素１２と、可視光と赤外光とを透過する画素１３とは、千鳥配置またはストライプ状の配置である。これにより、赤外光画像と、可視光画像を容易に合成することができる。   The camera unit 1 of the headlight module 100 according to Embodiment 1 of the present invention includes a pixel 12 that transmits only infrared light and a pixel 13 that transmits visible light and infrared light. The camera unit 1 can capture a daytime image (visible light image) by including the pixels 13 that transmit visible light and infrared light. Furthermore, the pixels 12 that transmit only infrared light and the pixels 13 that transmit visible light and infrared light have a staggered arrangement or a stripe arrangement. Thereby, an infrared light image and a visible light image can be easily synthesized.

また、可視光と赤外光とを透過する画素１３は、可視光と擬似ランダムに変調された赤外光とを受光するので、画素１３が出力する信号も、擬似ランダムに変調される。これにより、対向車両の影響を容易に除外し、自身が照射した赤外光のみを抽出することができる。   Further, since the pixel 13 that transmits visible light and infrared light receives the visible light and infrared light modulated pseudo-randomly, the signal output from the pixel 13 is also modulated pseudo-randomly. Thereby, the influence of an oncoming vehicle can be easily excluded and only the infrared light irradiated by itself can be extracted.

また、赤外ＬＥＤランプユニット２は、白色ＬＥＤランプユニット３が白色光を照射している期間は、常に赤外光を照射する。すなわち、ユーザの操作により、白色光が照射されている間は、赤外光も照射され、赤外光による映像がユーザに表示される。これにより、ユーザは、従来と同様にヘッドライトの点灯の操作を行うだけで、ヘッドライトの点灯および赤外光による映像の表示を同時に行うことができる。よって、ユーザの利便性を向上させることができる。   Moreover, the infrared LED lamp unit 2 always irradiates infrared light while the white LED lamp unit 3 irradiates white light. That is, by the user's operation, while the white light is irradiated, infrared light is also irradiated, and an image by the infrared light is displayed to the user. As a result, the user can simultaneously turn on the headlight and display an image with infrared light simply by operating the headlight to turn on as in the conventional case. Therefore, user convenience can be improved.

また、赤外ＬＥＤは、ハイビーム用光源として用いられる。これにより、夜間の走行において、遠方まで安定して撮像することができる。また、ハイビームとして用いた場合でも、赤外光が擬似ランダムに変調されているため、対向車両の邪魔にならない。   The infrared LED is used as a high beam light source. Thereby, in night driving, it is possible to stably capture images far away. Even when used as a high beam, infrared light is pseudo-randomly modulated, so that it does not interfere with oncoming vehicles.

また、本発明に係るヘッドライトモジュール１００は、赤外ＬＥＤ、白色ＬＥＤおよび固体撮像素子を一つのモジュールに集積している。これにより、ヘッドライトモジュール１００の小型化および低コスト化を実現できる。   Further, the headlight module 100 according to the present invention integrates an infrared LED, a white LED, and a solid-state imaging device in one module. Thereby, size reduction and cost reduction of the headlight module 100 are realizable.

また、本発明に係るヘッドライトモジュール１００は、レーザではなくＬＥＤを用いているので、歩行者等の人間の目に入った場合でも、失明の恐れがない。   In addition, since the headlight module 100 according to the present invention uses an LED instead of a laser, there is no risk of blindness even if it enters the eyes of a human such as a pedestrian.

なお、上記説明において、図４に示すように、カメラユニット１は、固体撮像素子１０と、Ａ／Ｄ変換部１０１と、フレームメモリ１０２と、検出部１０４と、減光部１０５と、フレームメモリ１０６と、画像合成部１０６と、画像出力部１０８とを備えるとしたが、検出部１０４、減光部１０５、フレームメモリ１０６、画像合成部１０６および画像出力部１０８の全てまたはいくつかを、自車両内の、任意の位置に設置してもよい。   In the above description, as shown in FIG. 4, the camera unit 1 includes a solid-state imaging device 10, an A / D conversion unit 101, a frame memory 102, a detection unit 104, a dimming unit 105, and a frame memory. 106, an image synthesis unit 106, and an image output unit 108. However, all or some of the detection unit 104, the dimming unit 105, the frame memory 106, the image synthesis unit 106, and the image output unit 108 are automatically You may install in arbitrary positions in a vehicle.

また、上記説明において、赤外ＬＥＤランプユニット２が、パルス発生部２０２を備えるとしたが、カメラユニット１がパルス発生部を備え、発生したパルス信号を赤外ＬＥＤランプユニット２に送ってもよい。さらに、カメラユニット１および赤外ＬＥＤランプユニット２が、互いに同期した同じパターンのパルス信号を発生するパルス発生部を備えてもよい。   In the above description, the infrared LED lamp unit 2 includes the pulse generation unit 202. However, the camera unit 1 includes the pulse generation unit, and the generated pulse signal may be sent to the infrared LED lamp unit 2. . Furthermore, the camera unit 1 and the infrared LED lamp unit 2 may include a pulse generator that generates pulse signals having the same pattern synchronized with each other.

（実施の形態２）
実施の形態１では、可視光および赤外光を撮像するカメラユニットを備えるヘッドライトモジュールについて説明した。本発明の実施の形態２では、カラーの可視光および赤外光を撮像するカメラユニットを備えるヘッドライトモジュールについて説明する。 (Embodiment 2)
In the first embodiment, the headlight module including the camera unit that captures visible light and infrared light has been described. In Embodiment 2 of the present invention, a headlight module including a camera unit that captures color visible light and infrared light will be described.

まず、本発明の実施の形態２に係るヘッドライトモジュールの構成を説明する。   First, the configuration of the headlight module according to Embodiment 2 of the present invention will be described.

実施の形態２に係るヘッドライトモジュールの概略構成は、図１と同様であり、説明は省略する。また、カメラユニット１および赤外ＬＥＤランプユニット２の構成は、図４および図３と同様である。   The schematic configuration of the headlight module according to Embodiment 2 is the same as that shown in FIG. Moreover, the structure of the camera unit 1 and the infrared LED lamp unit 2 is the same as that of FIG. 4 and FIG.

図１５は、実施の形態２におけるカメラユニット１が備える固体撮像素子１０の概略構成および固体撮像素子１０の画素配置を示す図である。図１５に示す固体撮像素子１０は、実施の形態１と同様に、撮像領域１１に単位画素（画素サイズ□５．６μｍ）が２次元状に配置されている。撮像領域１１に配置される単位画素は、赤外光のみを透過し、赤外光の波長帯のみに感度を有する単位画素１２と、赤色光および赤外光を透過し、赤色光および赤外光の波長帯に感度を有する単位画素１４と、緑色光および赤外光を透過し、緑色光および赤外光の波長帯に感度を有する単位画素１５と、青色光および赤外光を透過し、青色光および赤外光の波長帯に感度を有する単位画素１６とを含む。また、撮像領域１１において単位画素１２、１４、１５および１６の４画素が一組となって正方に配置される。このように単位画素１２、１４、１５および１６を配置することにより、カラーの可視光画像と赤外光画像との両方を撮像することができる。さらに、単位画素１２、１４、１５および１６の４画素が正方配置であるので、カラーの可視光画像と赤外光画像の合成を容易に行うことができる。   FIG. 15 is a diagram illustrating a schematic configuration of the solid-state image sensor 10 included in the camera unit 1 according to the second embodiment and a pixel arrangement of the solid-state image sensor 10. In the solid-state imaging device 10 shown in FIG. 15, unit pixels (pixel size □ 5.6 μm) are two-dimensionally arranged in the imaging region 11 as in the first embodiment. The unit pixel disposed in the imaging region 11 transmits only infrared light, transmits unity pixels 12 having sensitivity only in the wavelength band of infrared light, transmits red light and infrared light, and transmits red light and infrared light. Unit pixel 14 having sensitivity in the wavelength band of light and green light and infrared light are transmitted, unit pixel 15 having sensitivity in the wavelength band of green light and infrared light, and blue light and infrared light are transmitted. And unit pixels 16 having sensitivity in the wavelength band of blue light and infrared light. In the imaging region 11, the four pixels of the unit pixels 12, 14, 15 and 16 are arranged in a square as a set. By arranging the unit pixels 12, 14, 15, and 16 in this way, it is possible to capture both a color visible light image and an infrared light image. Furthermore, since the four pixels of the unit pixels 12, 14, 15 and 16 are squarely arranged, the color visible light image and the infrared light image can be easily synthesized.

図１６は、単位画素１２、１４、１５および１６の断面構造を模式的に示す図である。図１６（ａ）は、単位画素１４および１５の断面構造を模式的に示す図である。図１６（ｂ）は、単位画素１２および１６の断面構造を模式的に示す図である。なお、図７と同様の要素には同一の符号を付しており、詳細な説明は省略する。   FIG. 16 is a diagram schematically showing a cross-sectional structure of the unit pixels 12, 14, 15 and 16. FIG. 16A is a diagram schematically showing a cross-sectional structure of the unit pixels 14 and 15. FIG. 16B is a diagram schematically showing a cross-sectional structure of the unit pixels 12 and 16. In addition, the same code | symbol is attached | subjected to the element similar to FIG. 7, and detailed description is abbreviate | omitted.

図１６に示すように、赤外光のみを透過する単位画素１２の構成は、実施の形態１と同様ある。単位画素１２は、マイクロレンズ２１と、配線２２と、受光素子２３と、Ｓｉ基板２４と、可視光カットフィルタ２６とを備える。   As shown in FIG. 16, the configuration of the unit pixel 12 that transmits only infrared light is the same as that of the first embodiment. The unit pixel 12 includes a microlens 21, a wiring 22, a light receiving element 23, a Si substrate 24, and a visible light cut filter 26.

可視光カットフィルタ２６は、例えば、ＴｉＯ2膜とＳｉＯ2膜とを交互に積層した積層
膜で構成される。 The visible light cut filter 26 is composed of, for example, a laminated film in which TiO 2 films and SiO 2 films are alternately laminated.

赤色光および赤外光を透過する単位画素１４は、単位画素１２の構成に対して、可視光カットフィルタ２６の代わりに、カラーフィルタ２７を備える。カラーフィルタ２７は、赤色光および赤外光を透過し、緑色光および青色光を遮断するフィルタである。   The unit pixel 14 that transmits red light and infrared light includes a color filter 27 instead of the visible light cut filter 26 with respect to the configuration of the unit pixel 12. The color filter 27 is a filter that transmits red light and infrared light and blocks green light and blue light.

緑色光および赤外光を透過する単位画素１５は、単位画素１２の構成に対して、可視光カットフィルタ２６の代わりに、カラーフィルタ２８を備える。カラーフィルタ２８は、緑色光および赤外光を透過し、赤色光および青色光を遮断するフィルタである。   The unit pixel 15 that transmits green light and infrared light includes a color filter 28 instead of the visible light cut filter 26 with respect to the configuration of the unit pixel 12. The color filter 28 is a filter that transmits green light and infrared light and blocks red light and blue light.

青色光および赤外光を透過する単位画素１６は、単位画素１２の構成に対して、可視光カットフィルタ２６の代わりに、カラーフィルタ２９を備える。カラーフィルタ２９は、青色光および赤外光を透過し、赤色光および緑色光を遮断するフィルタである。   The unit pixel 16 that transmits blue light and infrared light includes a color filter 29 instead of the visible light cut filter 26 with respect to the configuration of the unit pixel 12. The color filter 29 is a filter that transmits blue light and infrared light and blocks red light and green light.

次に、本発明の実施の形態２に係るヘッドライトモジュールの動作を説明する。   Next, the operation of the headlight module according to Embodiment 2 of the present invention will be described.

実施の形態１と同様に、赤外ＬＥＤランプユニット２が発光する赤外光は、擬似ランダムに時間的に変調される。例えば、図９に示すタイミングで、赤外光が照射される。これにより、対向車のヘッドライト光の影響を除去することができる。   As in the first embodiment, the infrared light emitted from the infrared LED lamp unit 2 is temporally modulated pseudo-randomly. For example, infrared light is irradiated at the timing shown in FIG. Thereby, the influence of the headlight light of an oncoming vehicle can be removed.

また、実施の形態１と同様に、図９に示すタイミングで点灯される擬似ランダムの赤外光が照射されたときの赤外光のみを透過する単位画素１２からの出力信号は、図１１に示すように、時間的に擬似ランダムに変調される。よって、自身が照射した赤外光のタイミングに合せて画像撮像素子１０で信号を読み出すことで、対向車両の影響を容易に除外し、自身が照射した赤外光のみを抽出することができる。   Similarly to the first embodiment, the output signal from the unit pixel 12 that transmits only infrared light when irradiated with pseudo-random infrared light that is turned on at the timing shown in FIG. As shown, it is pseudo-randomly modulated in time. Therefore, by reading out the signal with the image pickup device 10 in accordance with the timing of the infrared light irradiated by itself, it is possible to easily exclude the influence of the oncoming vehicle and extract only the infrared light irradiated by itself.

また、図９に示すタイミングで点灯される擬似ランダムの赤外光が照射されたときの赤色光、緑色光または青色光の可視光と、赤外光とを透過する単位画素１４、１５および１６からの出力信号は、図１４と同様である。すなわち、単位画素１４、１５および１６からの出力信号は、可視光等の影響を受けているが、赤外光と同様に擬似ランダムに時間的に変調される。よって、擬似ランダムの変調に合わせてこの信号を読み出すことにより、対向車のヘッドライト光が固体撮像素子１０に入射したとしても分離することができる。   Further, the unit pixels 14, 15, and 16 that transmit visible light of red light, green light, or blue light and infrared light when the pseudo-random infrared light that is turned on at the timing illustrated in FIG. 9 is irradiated. The output signal from is the same as in FIG. That is, the output signals from the unit pixels 14, 15 and 16 are influenced by visible light or the like, but are temporally modulated in a pseudo-random manner like infrared light. Therefore, by reading out this signal in accordance with the pseudo-random modulation, it is possible to separate the headlight light from the oncoming vehicle even if it is incident on the solid-state imaging device 10.

なお、単位画素１４、１５および１６からの出力信号と、擬似ランダムな時間変調に合わせて読み出した単位画素１２からの出力信号とを合成して、対向車のヘッドライト光を分離してもよい。   The headlight light of the oncoming vehicle may be separated by synthesizing the output signals from the unit pixels 14, 15 and 16 and the output signals from the unit pixels 12 read in accordance with pseudo-random time modulation. .

以上より、本発明の実施の形態２に係るヘッドライトモジュールは、実施の形態１に係るヘッドライトモジュールの効果に加え、固体撮像素子１０が、赤外光のみを透過する単位画素１２と、赤色光および赤外光を透過する単位画素１４と、緑色光および赤外光を透過する単位画素１５と、青色光および赤外光を透過する単位画素１６と含むことで、カラーの可視光画像と、赤外光画像とを撮影することができる。さらに、赤外光のみを透過する単位画素１２と、赤色光および赤外光を透過する単位画素１４と、緑色光および赤外光を透過する単位画素１５と、青色光および赤外光を透過する単位画素１６とが正方配置であるので、カラーの可視光画像と赤外光画像の合成を容易に行うことができる。   As described above, in the headlight module according to the second embodiment of the present invention, in addition to the effects of the headlight module according to the first embodiment, the solid-state imaging device 10 includes the unit pixel 12 that transmits only infrared light, and the red color. By including a unit pixel 14 that transmits light and infrared light, a unit pixel 15 that transmits green light and infrared light, and a unit pixel 16 that transmits blue light and infrared light, a color visible light image and Infrared light images can be taken. Furthermore, the unit pixel 12 which transmits only infrared light, the unit pixel 14 which transmits red light and infrared light, the unit pixel 15 which transmits green light and infrared light, and blue light and infrared light are transmitted. Since the unit pixels 16 to be arranged are square, it is possible to easily synthesize a color visible light image and an infrared light image.

（実施の形態３）
実施の形態３では、スペクトラム拡散方式により変調された赤外光を照射するヘッドライトモジュールについて説明する。 (Embodiment 3)
In Embodiment 3, a headlight module that irradiates infrared light modulated by a spread spectrum method will be described.

実施の形態３に係るヘッドライトモジュールの概略構成は、図１と同様であり、説明は省略する。また、カメラユニット１および赤外ＬＥＤランプユニット２の構成は、図４および図３と同様である。   The schematic configuration of the headlight module according to Embodiment 3 is the same as that shown in FIG. Moreover, the structure of the camera unit 1 and the infrared LED lamp unit 2 is the same as that of FIG. 4 and FIG.

図１７は、実施の形態３におけるヘッドライトモジュールにおける赤外ＬＥＤランプユニット２の照射する赤外光のタイミングを示す図である。図１８は、図１７の破線枠５０の拡大図である。図１７に示すように赤外ＬＥＤランプユニット２は、スペクトラム拡散方式により時間的に擬似ランダムに変調された赤外光を照射する。   FIG. 17 is a diagram illustrating the timing of the infrared light irradiated by the infrared LED lamp unit 2 in the headlight module according to the third embodiment. FIG. 18 is an enlarged view of the broken line frame 50 of FIG. As shown in FIG. 17, the infrared LED lamp unit 2 irradiates infrared light modulated in a pseudo-random manner in time by a spread spectrum method.

スペクトラム拡散方式に用いられる拡散符号系列は、データのビットレートを十分に上回る速度の符号で、帯域内で一様なスペクトルを持つことが望まれる。また復調の容易さから周期性を持つことが望まれる。こうした要求に応えるのが、疑似ランダム系列(ＰＮ系列)である。ＰＮ系列はシフトレジスタおよびフィードバックを用いた回路によって人工的にある規則に基づいて生成される。最も良く知られたＰＮ系列は、Ｍ系列(maximal-length sequences)で、優れた相関特性を持つ。Ｍ系列は、ある長さのシフトレジスタおよびフィードバックによって生成される符号系列のうち、その周期が最長になる系列である。ｎをシフトレジスタの段数とすると、Ｌ＝２ｎ−１がＭ系列のビット長となる。   A spread code sequence used in the spread spectrum system is a code having a speed sufficiently higher than the bit rate of data, and is desired to have a uniform spectrum in the band. In addition, it is desirable to have periodicity for ease of demodulation. A pseudo-random sequence (PN sequence) meets this requirement. The PN sequence is artificially generated based on a certain rule by a circuit using a shift register and feedback. The most well-known PN sequence is an M-sequence (maximal-length sequences) and has excellent correlation characteristics. The M sequence is a sequence having the longest period among code sequences generated by a shift register having a certain length and feedback. If n is the number of stages in the shift register, L = 2n−1 is the bit length of the M sequence.

実施の形態３におけるヘッドライトモジュールは、パルス発生部２０２がＭ系列信号発生器を備える。   In the headlight module according to Embodiment 3, the pulse generator 202 includes an M-sequence signal generator.

図１９は、パルス発生部２０２が備える信号発生器の回路構成を示す図である。図１９に示す信号発生器は、「１００１０１１」の信号列を形成する。図１９に示す信号発生器は、３つのシフトレジスタＤ１〜Ｄ３と、ＥＸＯＲ３０とを備える。シフトレジスタＤ１〜Ｄ３は、それぞれ１ビット遅延素子である。シフトレジスタＤ１およびＤ２の初期値を「０」とし、シフトレジスタＤ３の初期値を「１」とすることで、Ｌ＝２3−１＝７ビットの「１００１０１１」の信号列を生成することができる。 FIG. 19 is a diagram illustrating a circuit configuration of a signal generator included in the pulse generator 202. The signal generator shown in FIG. 19 forms a signal string “1001011”. The signal generator shown in FIG. 19 includes three shift registers D1 to D3 and EXOR30. Each of the shift registers D1 to D3 is a 1-bit delay element. By setting the initial value of the shift registers D1 and D2 to “0” and the initial value of the shift register D3 to “1”, a signal sequence of “1001011” with L = 2 3 −1 = 7 bits can be generated. it can.

発光制御部２０３は、パルス発生部２０２が出力するスペクトラム拡散方式により時間的に擬似ランダムに変調されたパルス信号２０４のタイミングで、赤外ＬＥＤ２０１を発光させる。すなわち、発光制御部２０３は、赤外ＬＥＤ２０１にスペクトラム拡散方式により時間的に擬似ランダムに変調した赤外光を発光させる。   The light emission control unit 203 causes the infrared LED 201 to emit light at the timing of the pulse signal 204 that is temporally pseudo-randomly modulated by the spread spectrum method output from the pulse generation unit 202. That is, the light emission control unit 203 causes the infrared LED 201 to emit infrared light that is temporally pseudo-randomly modulated by the spread spectrum method.

また、固体撮像素子１０は、赤外ＬＥＤランプユニット２が照射し、対象物に反射した赤外光を撮像する。検出部１０４は、固体撮像素子１０が撮像した信号を、パルス発生部２０２が出力するスペクトラム拡散方式により時間的に擬似ランダムに変調されたパルス信号２０４のタイミングで取り込むことで、自身が照射した赤外光のみを抽出することができる。   Moreover, the solid-state image sensor 10 images the infrared light which the infrared LED lamp unit 2 irradiated and reflected on the target object. The detection unit 104 captures the signal imaged by the solid-state imaging device 10 at the timing of the pulse signal 204 that is temporally pseudo-randomly modulated by the spread spectrum method output by the pulse generation unit 202, thereby irradiating the red Only external light can be extracted.

なお、ＰＮ系列は、Ｇｏｌｄ系列などを用いてもよい。さらに、符号訂正として、リードソロモン符号などを用いてもよい。   Note that a Gold sequence or the like may be used as the PN sequence. Furthermore, Reed-Solomon code or the like may be used as code correction.

図２０は、図１８に示すタイミングで点灯される擬似ランダムの赤外光が照射されたときの固体撮像素子１０の赤外光のみを透過する単位画素１２からの出力信号を示す図である。図２０に示すように、単位画素１２からの出力信号は、赤外光の照射されるタイミングにあわせて擬似ランダムに時間的に変調されている。よって、自身が照射した赤外光のタイミングに合せて画像撮像素子１０が出力する信号を取り込むことで、対向車両のヘッドライト光の影響を容易に除外し、自身が照射した赤外光のみを抽出することができる。   FIG. 20 is a diagram illustrating an output signal from the unit pixel 12 that transmits only the infrared light of the solid-state imaging device 10 when the pseudo-random infrared light that is turned on at the timing illustrated in FIG. 18 is irradiated. As shown in FIG. 20, the output signal from the unit pixel 12 is temporally modulated in a pseudo-random manner in accordance with the irradiation timing of infrared light. Therefore, by capturing the signal output from the image pickup device 10 in accordance with the timing of the infrared light emitted by itself, the influence of the headlight light of the oncoming vehicle can be easily excluded, and only the infrared light emitted by itself is emitted. Can be extracted.

図２１は、図１８に示すタイミングで点灯される擬似ランダムの赤外光が照射されたときの固体撮像素子１０の可視光および赤外光を透過する単位画素１３からの出力信号を示す図である。図２１に示すように、単位画素１３からの出力信号は、可視光等の影響を受けているが、赤外光と同様に擬似ランダムに時間的に変調される。よって、単位画素１２の場合と同様に、擬似ランダムの変調に合わせてこの信号を取り出すことにより、対向車のヘッドライト光が固体撮像素子１０に入射したとしても分離することができる。   FIG. 21 is a diagram illustrating an output signal from the unit pixel 13 that transmits visible light and infrared light of the solid-state imaging device 10 when irradiated with pseudo-random infrared light that is turned on at the timing illustrated in FIG. 18. is there. As shown in FIG. 21, the output signal from the unit pixel 13 is influenced by visible light or the like, but is temporally modulated in a pseudo-random manner like infrared light. Therefore, as in the case of the unit pixel 12, by extracting this signal in accordance with pseudo-random modulation, it is possible to separate even if headlight light from the oncoming vehicle enters the solid-state imaging device 10.

以上より、本発明の実施の形態３に係るヘッドライトモジュールは、スペクトラム拡散した赤外光を照射し、対象物に反射した赤外光を受光する。受光した信号をスペクトラム拡散のタイミングで取り込むことで、自ら照射した赤外光の信号のみを読み出すことができる。   As described above, the headlight module according to Embodiment 3 of the present invention irradiates spectrum-spread infrared light and receives the infrared light reflected on the object. By capturing the received signal at the timing of spread spectrum, it is possible to read out only the infrared light signal irradiated by itself.

また、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。   Further, by using light modulated by the spread spectrum method, the relative position of the moving object can be measured by the difference in the arrival time of the light.

なお、上記説明では、検出部１０４は、パルス信号２０４のタイミングで、信号を取り込むとしたが、固体撮像素子１０が撮像した信号を逆拡散してもよい。この場合、信号を逆拡散して取り込んでいるため、妨害波や干渉波に強く、Ｓ／Ｎ比を大きくすることができる。   In the above description, the detection unit 104 captures a signal at the timing of the pulse signal 204. However, the signal captured by the solid-state imaging device 10 may be despread. In this case, since the signal is despread and taken in, it is strong against interference waves and interference waves, and the S / N ratio can be increased.

（実施の形態４）
本発明の実施の形態４では、上述した実施の形態１〜３のヘッドライトモジュールの変形例であり、固体撮像素子１０に含まれる単位画素のマイクロレンズとして、屈折率分布を構成する光透過膜を用いたヘッドライトモジュールについて説明する。 (Embodiment 4)
The fourth embodiment of the present invention is a modification of the above-described headlight module of the first to third embodiments, and a light transmission film constituting a refractive index distribution as a microlens of a unit pixel included in the solid-state imaging device 10. A headlight module using the above will be described.

図２２は、実施の形態４に係るヘッドライトモジュールの固体撮像素子１０に含まれる赤外光のみを透過する単位画素１２および可視光と赤外光が透過する単位画素１３の断面構造を模式的に示す図である。なお、図７と同様の要素には同一の符号を付しており、詳細な説明は省略する。   FIG. 22 schematically illustrates a cross-sectional structure of the unit pixel 12 that transmits only infrared light and the unit pixel 13 that transmits visible light and infrared light included in the solid-state imaging device 10 of the headlight module according to Embodiment 4. FIG. In addition, the same code | symbol is attached | subjected to the element similar to FIG. 7, and detailed description is abbreviate | omitted.

図２２に示す単位画素１３は、屈折率分布を構成する光透過膜３１と、配線２２と、受光素子（Ｓｉフォトダイオード）２３と、Ｓｉ基板２４とを備える。単位画素１２は、単位画素１３の構成に加えて、可視光カットフィルタ２６を備える。可視光カットフィルタ２６は、ＴｉＯ2膜とＳｉＯ2膜を交互に積層した積層膜で構成される。光透過膜３１は、受光素子の上方に形成される。 The unit pixel 13 shown in FIG. 22 includes a light transmission film 31 that constitutes a refractive index distribution, a wiring 22, a light receiving element (Si photodiode) 23, and a Si substrate 24. The unit pixel 12 includes a visible light cut filter 26 in addition to the configuration of the unit pixel 13. The visible light cut filter 26 is composed of a laminated film in which TiO 2 films and SiO 2 films are alternately laminated. The light transmission film 31 is formed above the light receiving element.

図２３は、屈折率分布を構成する光透過膜３１の上面図である。図２４は、図２３に示す屈折率分布を構成する光透過膜３１のＡ１−Ａ２における断面構造を示す図である。   FIG. 23 is a top view of the light transmission film 31 constituting the refractive index distribution. FIG. 24 is a diagram showing a cross-sectional structure at A1-A2 of the light transmission film 31 constituting the refractive index distribution shown in FIG.

図２３および図２４に示すように、光透過膜３１は、高屈折率材料４２と、低屈折率材料４３とを含む。高屈折率材料４２と、低屈折率材料４３とは同心円状の構造を形成する。例えば、高屈折率材料４２は、ＳｉＯ2（ｎ＝１．４５）であり、低屈折率材料４３は、空気（ｎ＝１．０）である。隣り合う円型光透過膜の外周の半径差４４は、例えば、２００ｎｍである。また、光透過膜３１の膜厚は、例えば、１．２μｍである。また、同心円状の高屈折率材料４２の線幅４５は、円中心部分が最も大きく、外側のリングになるに従って、順に小さくなっていく。周期が入射光の波長と同程度または波長より小さいときには、光が感じる有効屈折率は、高屈折率材料４２と低屈折率材料４３の体積比によって算出できる。このような構造の最大の特長は、線幅（円周幅）４５を変えるだけで、屈折率分布を自由自在に制御できることである。 As shown in FIGS. 23 and 24, the light transmission film 31 includes a high refractive index material 42 and a low refractive index material 43. The high refractive index material 42 and the low refractive index material 43 form a concentric structure. For example, the high refractive index material 42 is SiO 2 (n = 1.45), and the low refractive index material 43 is air (n = 1.0). The radius difference 44 between the outer circumferences of adjacent circular light-transmitting films is, for example, 200 nm. The film thickness of the light transmission film 31 is, for example, 1.2 μm. The line width 45 of the concentric high refractive index material 42 is the largest at the center of the circle and gradually decreases as the outer ring is formed. When the period is the same as or smaller than the wavelength of the incident light, the effective refractive index felt by the light can be calculated by the volume ratio of the high refractive index material 42 and the low refractive index material 43. The greatest feature of such a structure is that the refractive index distribution can be freely controlled simply by changing the line width (circumferential width) 45.

なお、上記説明では、実施の形態１と同様に、固体撮像素子が、赤外光のみを透過する単位画素１２および可視光と赤外光が透過する単位画素１３を含む場合について説明したが、実施の形態２のように、固体撮像素子が、赤外光のみを透過する単位画素１２と、赤色光および赤外光を透過する単位画素１４と、緑色光および赤外光を透過する単位画素１５と、青色光および赤外光を透過する単位画素１６とを含む場合にも、マイクロレンズに屈折率分布を構成する光透過膜３１を用いてもよい。   In the above description, as in the first embodiment, the case where the solid-state imaging device includes the unit pixel 12 that transmits only infrared light and the unit pixel 13 that transmits visible light and infrared light has been described. As in the second embodiment, the solid-state imaging device includes unit pixels 12 that transmit only infrared light, unit pixels 14 that transmit red light and infrared light, and unit pixels that transmit green light and infrared light. 15 and the unit pixel 16 that transmits blue light and infrared light may also include the light transmission film 31 that forms the refractive index distribution in the microlens.

さらに、図１６に示す単位画素１４、１５および１６のカラーフィルタ２７、２８および２９の代わりに、干渉型カラーフィルタを用いてもよい。図２５は、屈折率分布を構成する光透過膜３１および干渉型カラーフィルタを用いた単位画素１２、１４、１５および１６の断面構造を模式的に示す図である。図２５に示すように、赤色光および赤外光を透過する単位画素１４は、干渉型カラーフィルタ３２を備え、緑色光および赤外光を透過する単位画素１５は、干渉型カラーフィルタ３３を備え、青色光および赤外光を透過する単位画素１６は、干渉型カラーフィルタ３４を備える。干渉型カラーフィルタ３２〜３４は、ＴｉＯ2膜とＳｉＯ2膜とを交互に積層したカラーフィルタである。干渉型カラーフィルタ３２〜３４は、受光する色ごとに膜の構成が異なる。例えば、緑色光および赤外光を透過する単位画素１５の干渉型カラーフィルタ３３は、ＴｉＯ2膜が３層とＳｉＯ2膜が２層とで構成される。 Furthermore, instead of the color filters 27, 28 and 29 of the unit pixels 14, 15 and 16 shown in FIG. 16, an interference color filter may be used. FIG. 25 is a diagram schematically showing a cross-sectional structure of the unit pixels 12, 14, 15 and 16 using the light transmission film 31 and the interference color filter constituting the refractive index distribution. As shown in FIG. 25, the unit pixel 14 that transmits red light and infrared light includes an interference color filter 32, and the unit pixel 15 that transmits green light and infrared light includes an interference color filter 33. The unit pixel 16 that transmits blue light and infrared light includes an interference type color filter 34. The interference type color filters 32 to 34 are color filters in which TiO 2 films and SiO 2 films are alternately stacked. The interference type color filters 32 to 34 have different film configurations for each color to be received. For example, the interference color filter 33 of the unit pixel 15 that transmits green light and infrared light includes three layers of TiO 2 films and two layers of SiO 2 films.

赤色光および赤外光を透過する単位画素１４の干渉型カラーフィルタ３２は、ＴｉＯ2膜が４層とＳｉＯ2膜が３層とで構成される。青色光および赤外光を透過する単位画素１６は、干渉型カラーフィルタ３４は、ＴｉＯ2膜が４層とＳｉＯ2膜が３層とで構成され、中心にあるＳｉＯ2膜の膜厚が干渉型カラーフィルタ３２と異なる。 The interference type color filter 32 of the unit pixel 14 that transmits red light and infrared light is composed of four TiO 2 films and three SiO 2 films. Unit pixels 16 which transmits blue light and infrared light, the interference color filter 34, TiO 2 film is a quadruple-layer SiO 2 film is composed of a three-layer, the film thickness of the SiO 2 film in the center interference Different from the mold color filter 32.

以上より、本発明の実施の形態４に係るヘッドライトモジュールは、固体撮像素子のマイクロレンズおよびカラーフィルタを無機物で構成することにより、耐光性および耐熱性が格段に向上する。すなわち、自動車に搭載するヘッドライトモジュール用として最適である。   As described above, in the headlight module according to Embodiment 4 of the present invention, the light resistance and heat resistance are remarkably improved by configuring the microlens and the color filter of the solid-state imaging device with inorganic materials. That is, it is most suitable for a headlight module mounted on an automobile.

なお、上記説明（実施の形態１〜４）において、赤外光の擬似ランダムな変調は、擬似ランダムに赤外光を照射するフレームと照射しないフレームを選択することでおこなっているがこれに限定されるものではない。例えば、各フレームにおいて、撮像期間Ｔ２の長さを擬似ランダムに変更してもよい。また撮像期間Ｔ２は同一とし、各フレームにおける赤外光の照射時間を変更してもよい。さらに、１フレーム内の信号の強度を時間的に擬似ランダムに変調してもよい。図２６は、１フレーム内の信号の強度を時間的に擬似ランダムに変調した赤外光の照射のタイミングの一例を示す図である。例えば、図２６に示すように、１フレーム内の信号の強度を時間的に擬似ランダムに変調してもよい。   In the above description (Embodiments 1 to 4), pseudo-random modulation of infrared light is performed by selecting a frame that irradiates infrared light and a frame that does not irradiate infrared light in a pseudo-random manner. Is not to be done. For example, in each frame, the length of the imaging period T2 may be changed pseudo-randomly. The imaging period T2 may be the same, and the irradiation time of infrared light in each frame may be changed. Furthermore, the intensity of the signal in one frame may be modulated pseudorandomly in time. FIG. 26 is a diagram illustrating an example of the irradiation timing of infrared light in which the intensity of a signal in one frame is temporally pseudo-randomly modulated. For example, as shown in FIG. 26, the intensity of a signal in one frame may be modulated pseudorandomly in time.

本発明は、ヘッドライトモジュールに適用でき、自動車等に搭載する車両用暗視機能を有するヘッドライトモジュールに適用できる。   The present invention can be applied to a headlight module, and can be applied to a headlight module having a night vision function for a vehicle mounted on an automobile or the like.

実施の形態１に係るヘッドライトモジュールの概略構成を示す図である。1 is a diagram illustrating a schematic configuration of a headlight module according to Embodiment 1. FIG. 実施の形態１に係るヘッドライトモジュールの自動車への搭載例を示す図である。It is a figure which shows the example of mounting to the motor vehicle of the headlight module which concerns on Embodiment 1. FIG. 赤外ＬＥＤランプユニットの概略構成を示す図である。It is a figure which shows schematic structure of an infrared LED lamp unit. カメラユニットの概略構成を示す図である。It is a figure which shows schematic structure of a camera unit. 実施の形態１に係る固体撮像素子の概略構成を示す図である。1 is a diagram illustrating a schematic configuration of a solid-state imaging element according to Embodiment 1. FIG. 実施の形態１に係る固体撮像素子の概略構成の変形例を示す図である。FIG. 6 is a diagram showing a modification of the schematic configuration of the solid-state imaging device according to the first embodiment. 実施の形態１に係る固体撮像素子の断面構造を示す図である。1 is a diagram illustrating a cross-sectional structure of a solid-state imaging element according to Embodiment 1. FIG. 固体撮像素子の一般的なタイミングチャートである。It is a general timing chart of a solid-state image sensor. 実施の形態１に係る赤外ＬＥＤの点灯と消灯のタイミングを示す図である。It is a figure which shows the timing of lighting of the infrared LED which concerns on Embodiment 1, and light extinction. 実施の形態１に係るカメラユニットの処理の流れを示すフローチャートである。4 is a flowchart showing a flow of processing of the camera unit according to Embodiment 1. 実施の形態１に係る固体撮像素子の赤外光のみを透過する単位画素からの出力信号の一例を示す図である。4 is a diagram illustrating an example of an output signal from a unit pixel that transmits only infrared light of the solid-state imaging device according to Embodiment 1. FIG. 固体撮像素子からの出力信号が飽和した状態の一例を示す図である。It is a figure which shows an example in the state where the output signal from a solid-state image sensor was saturated. 減光後の固体撮像素子からの出力信号を示す図である。It is a figure which shows the output signal from the solid-state image sensor after light reduction. 実施の形態１に係る固体撮像素子の可視光と赤外光が透過する単位画素からの出力信号を示す図である。FIG. 3 is a diagram illustrating an output signal from a unit pixel through which visible light and infrared light are transmitted by the solid-state imaging device according to the first embodiment. 実施の形態２に係る固体撮像素子の概略構成を示す図である。6 is a diagram illustrating a schematic configuration of a solid-state imaging element according to Embodiment 2. FIG. 実施の形態２に係る固体撮像素子の断面構造を示す図である。6 is a diagram illustrating a cross-sectional structure of a solid-state imaging device according to Embodiment 2. FIG. 実施の形態３に係る赤外ＬＥＤの点灯と消灯のタイミングを示す図である。It is a figure which shows the timing of lighting of the infrared LED which concerns on Embodiment 3, and light extinction. 実施の形態３に係る赤外ＬＥＤの点灯と消灯のタイミングを示す図である。It is a figure which shows the timing of lighting of the infrared LED which concerns on Embodiment 3, and light extinction. M系列発生器の回路構成を示す図である。It is a figure which shows the circuit structure of an M series generator. 実施の形態３に係る固体撮像素子の赤外光のみを透過する単位画素からの出力信号の一例を示す図である。It is a figure which shows an example of the output signal from the unit pixel which permeate | transmits only the infrared light of the solid-state image sensor which concerns on Embodiment 3. FIG. 実施の形態３に係る固体撮像素子の可視光と赤外光が透過する単位画素からの出力信号を示す図である。It is a figure which shows the output signal from the unit pixel which visible light and infrared light permeate | transmit the solid-state image sensor which concerns on Embodiment 3. FIG. 実施の形態４に係る固体撮像素子の断面構造を示す図である。It is a figure which shows the cross-section of the solid-state image sensor which concerns on Embodiment 4. FIG. 実施の形態４に係る固体撮像素子上の屈折率分布を構成する光透過膜の上面図である。6 is a top view of a light transmission film constituting a refractive index distribution on a solid-state imaging device according to Embodiment 4. FIG. 実施の形態４に係る固体撮像素子上の屈折率分布を構成する光透過膜の断面構造を示す図である。It is a figure which shows the cross-section of the light transmissive film | membrane which comprises the refractive index distribution on the solid-state image sensor which concerns on Embodiment 4. FIG. 実施の形態４に係る固体撮像素子の断面構造を示す図である。It is a figure which shows the cross-section of the solid-state image sensor which concerns on Embodiment 4. FIG. 本発明の変形例における赤外ＬＥＤが発行する赤外光を示す図である。It is a figure which shows the infrared light which infrared LED in the modification of this invention issues.

符号の説明Explanation of symbols

１ カメラユニット
２ 赤外ＬＥＤランプユニット
３ 白色ＬＥＤランプユニット
１０ 固体撮像素子
１１ 撮像領域（画素）
１２ 赤外光のみを透過する単位画素
１３ 可視光および赤外光を透過する単位画素
１４ 赤色光および赤外光を透過する単位画素
１５ 緑色光および赤外光を透過する単位画素
１６ 青色光および赤外光を透過する単位画素
２１ マイクロレンズ
２２ 配線
２３ 受光素子
２４ Ｓｉ基板
２６ 可視光カットフィルタ
２７、２８、２９ カラーフィルタ
３０ ＥＸＯＲ
３１ 屈折率分布を構成する光透過膜
３２、３３、３４ 干渉型カラーフィルタ
４２ 高屈折率材料
４３ 低屈折率材料
４４ 隣り合う円型光透過膜の外周の半径差（ピッチ）
４５ 線幅（円周幅）
１００ ヘッドライトモジュール
１０１ Ａ／Ｄ変換部
１０２、１０６ フレームメモリ
１０４ 検出部
１０５ 減光部
１０７ 画像合成部
１０８ 画像出力部
１０９ ＤＣ検出部
１１０ ＡＣ検出部
１１１ 抽出部
２０１ 赤外ＬＥＤ
２０２ パルス発生部
２０３ 発光制御部
２０４ パルス信号
Ｔ１ ブランキング期間
Ｔ２ 撮像期間

DESCRIPTION OF SYMBOLS 1 Camera unit 2 Infrared LED lamp unit 3 White LED lamp unit 10 Solid-state image sensor 11 Imaging area (pixel)
12 Unit pixels that transmit only infrared light 13 Unit pixels that transmit visible light and infrared light 14 Unit pixels that transmit red light and infrared light 15 Unit pixels that transmit green light and infrared light 16 Blue light and Unit pixel that transmits infrared light 21 Micro lens 22 Wiring 23 Light receiving element 24 Si substrate 26 Visible light cut filter 27, 28, 29 Color filter 30 EXOR
31 Light transmission film constituting refractive index distribution 32, 33, 34 Interference type color filter 42 High refractive index material 43 Low refractive index material 44 Radial difference (pitch) between outer circumferences of adjacent circular light transmission films
45 Line width (circumferential width)
DESCRIPTION OF SYMBOLS 100 Headlight module 101 A / D conversion part 102, 106 Frame memory 104 Detection part 105 Dimming part 107 Image composition part 108 Image output part 109 DC detection part 110 AC detection part 111 Extraction part 201 Infrared LED
202 Pulse generator 203 Light emission controller 204 Pulse signal T1 Blanking period T2 Imaging period

Claims (5)

赤外光を発光する赤外ＬＥＤと、白色光を発光する白色ＬＥＤと、固体撮像素子とを備えたヘッドライトモジュールであって、
前記固体撮像素子は、
前記赤外光の波長帯に感度を有する第１の画素と、
前記白色光の波長帯と前記赤外光の波長帯の双方に感度を有する第２の画素とを含み、
前記第１の画素及び前記第２の画素は、２次元的に配置されており、
前記ヘッドライトモジュールは、さらに、
前記赤外ＬＥＤに、前記固体撮像素子のフレーム時間をパルス幅とし、時間的に擬似ランダムにパルス変調した赤外光を発光させる発光制御手段と、
前記固体撮像素子により出力される信号から、前記パルス変調に合わせて赤外光の画像信号を抽出する抽出手段とを備える
ことを特徴とするヘッドライトモジュール。 A headlight module including an infrared LED that emits infrared light, a white LED that emits white light, and a solid-state imaging device,
The solid-state imaging device is
A first pixel having sensitivity in the wavelength band of the infrared light;
A second pixel having sensitivity to both the white light wavelength band and the infrared light wavelength band;
The first pixel and the second pixel are two-dimensionally arranged,
The headlight module further includes:
Light emission control means for causing the infrared LED to emit infrared light that is pulse- modulated temporally in a pseudo-random manner with a frame time of the solid-state imaging device as a pulse width ;
A headlight module comprising: extraction means for extracting an image signal of infrared light in accordance with the pulse modulation from a signal output from the solid-state imaging device . 前記発光制御手段は、前記赤外ＬＥＤにスペクトラム拡散方式により時間的に擬似ランダムにパルス変調した赤外光を発光させる
ことを特徴とする請求項１記載のヘッドライトモジュール。 2. The headlight module according to claim 1, wherein the light emission control unit causes the infrared LED to emit infrared light that is temporally pseudo-randomly pulse- modulated by a spread spectrum method. 3. 前記ヘッドライトモジュールは、さらに、
前記固体撮像素子により出力される前記信号が、所定の強度以上であるかを検出する検出手段と、
前記検出手段が所定の強度以上であると検出した場合、前記固体撮像素子が撮像する赤外光を減光する減光手段とを備える
ことを特徴とする請求項１または２記載のヘッドライトモジュール。 The headlight module further includes:
Detecting means for detecting whether the signal output by the solid-state imaging device is equal to or higher than a predetermined intensity;
3. The headlight module according to claim 1, further comprising: a dimming unit configured to diminish infrared light captured by the solid-state imaging device when the detection unit detects that the intensity is equal to or higher than a predetermined intensity. . 前記第２の画素は、赤色光の波長帯と前記赤外光の波長帯の双方に感度を有し、
前記固体撮像素子は、さらに、
緑色光の波長帯と前記赤外光の波長帯の双方に感度を有する第３の画素と、
青色光の波長帯と前記赤外光の波長帯の双方に感度を有する第４の画素とを備える
ことを特徴とする請求項１、２または３記載のヘッドライトモジュール。 The second pixel is sensitive to both the wavelength band of red light and the wavelength band of infrared light,
The solid-state imaging device further includes:
A third pixel having sensitivity in both the green light wavelength band and the infrared light wavelength band ;
4. The headlight module according to claim 1, comprising a fourth pixel having sensitivity in both a blue light wavelength band and the infrared light wavelength band . 5. 前記赤外ＬＥＤは、前記白色ＬＥＤが点灯しているときは常時点灯し、ハイビーム用光源として用いられる
ことを特徴とする請求項１〜４のいずれか１項に記載のヘッドライトモジュール。 The headlight module according to any one of claims 1 to 4 , wherein the infrared LED is always lit when the white LED is lit, and is used as a high beam light source.
JP2006201839A 2006-07-25 2006-07-25 Headlight module Active JP4620640B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006201839A JP4620640B2 (en) 2006-07-25 2006-07-25 Headlight module
US11/774,088 US7579593B2 (en) 2006-07-25 2007-07-06 Night-vision imaging apparatus, control method of the same, and headlight module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006201839A JP4620640B2 (en) 2006-07-25 2006-07-25 Headlight module

Publications (2)

Publication Number Publication Date
JP2008024252A JP2008024252A (en) 2008-02-07
JP4620640B2 true JP4620640B2 (en) 2011-01-26

Family

ID=39115325

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006201839A Active JP4620640B2 (en) 2006-07-25 2006-07-25 Headlight module

Country Status (1)

Country Link
JP (1) JP4620640B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5485004B2 (en) * 2010-04-23 2014-05-07 パナソニック株式会社 Imaging device

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154211A (en) * 1994-11-28 1996-06-11 Kubota Corp Image pickup device
JP2001060403A (en) * 1999-08-20 2001-03-06 Stanley Electric Co Ltd Head lamp using visible light cutting shade and night vision device for vehicle using head lamp as lighting source
JP2001253309A (en) * 2000-01-18 2001-09-18 Daimlerchrysler Ag Device for improving visibility in vehicle
JP2004086364A (en) * 2002-08-23 2004-03-18 Sony Corp Real world indicating device
WO2005101067A1 (en) * 2004-04-13 2005-10-27 Matsushita Electric Industrial Co., Ltd. Condensing element and solid state imaging device
JP2006143114A (en) * 2004-11-24 2006-06-08 Koito Mfg Co Ltd Lamp unit and headlight for vehicle
JP2006177712A (en) * 2004-12-21 2006-07-06 Canon Inc Semiconductor device and its manufacturing method

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08154211A (en) * 1994-11-28 1996-06-11 Kubota Corp Image pickup device
JP2001060403A (en) * 1999-08-20 2001-03-06 Stanley Electric Co Ltd Head lamp using visible light cutting shade and night vision device for vehicle using head lamp as lighting source
JP2001253309A (en) * 2000-01-18 2001-09-18 Daimlerchrysler Ag Device for improving visibility in vehicle
JP2004086364A (en) * 2002-08-23 2004-03-18 Sony Corp Real world indicating device
WO2005101067A1 (en) * 2004-04-13 2005-10-27 Matsushita Electric Industrial Co., Ltd. Condensing element and solid state imaging device
JP2006143114A (en) * 2004-11-24 2006-06-08 Koito Mfg Co Ltd Lamp unit and headlight for vehicle
JP2006177712A (en) * 2004-12-21 2006-07-06 Canon Inc Semiconductor device and its manufacturing method

Also Published As

Publication number Publication date
JP2008024252A (en) 2008-02-07

Similar Documents

Publication Publication Date Title
US7579593B2 (en) Night-vision imaging apparatus, control method of the same, and headlight module
US11165975B2 (en) Imaging system for vehicle
JP4204558B2 (en) Image forming apparatus and image forming method
JP6468482B2 (en) IMAGING DEVICE, OBJECT DETECTION DEVICE, AND MOBILE DEVICE CONTROL SYSTEM
JP4718614B2 (en) Headlight module with built-in optical rain sensor
CN106627586B (en) In-vehicle sensor, vehicle lamp, vehicle, and road surface condition sensor
JP4705923B2 (en) Night vision imaging apparatus, headlight module, vehicle, and method for controlling night vision imaging apparatus
JP4837610B2 (en) Night vision imaging device and headlight module
JP2003159996A (en) Apparatus for improving visibility in vehicle
JP2007158820A (en) Photographing control device
JP4594423B2 (en) Night vision equipment
JP2005136952A (en) Infrared night vision system in color
JP4927647B2 (en) Vehicle periphery monitoring device
JP4204557B2 (en) Image forming apparatus and image forming method
WO2021054198A1 (en) Imaging device, imaging system, and imaging method
JP5179428B2 (en) Vehicle periphery monitoring device
JP5862207B2 (en) Image processing system
JP2013095315A (en) Inside rear view mirror device with built-in imaging device, and vehicle equipped with the same
JP4620640B2 (en) Headlight module
JP6098575B2 (en) Imaging unit, image processing apparatus, and vehicle
JP2007221225A (en) Imaging apparatus
JP6536946B2 (en) Imaging device, imaging method, program, and mobile device control system
JP5891723B2 (en) Imaging method and imaging unit
JP2014232026A (en) Attachment detection device, moving body apparatus control system, and moving body
JP6566308B2 (en) Adhering matter detection apparatus, mobile device control system, adhering matter detection program, and adhering matter detection method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100913

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101028

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4620640

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150