JP3551831B2 - Vehicle camera - Google Patents
Vehicle camera Download PDFInfo
- Publication number
- JP3551831B2 JP3551831B2 JP12602799A JP12602799A JP3551831B2 JP 3551831 B2 JP3551831 B2 JP 3551831B2 JP 12602799 A JP12602799 A JP 12602799A JP 12602799 A JP12602799 A JP 12602799A JP 3551831 B2 JP3551831 B2 JP 3551831B2
- Authority
- JP
- Japan
- Prior art keywords
- light receiving
- vehicle
- sensor
- sensor array
- receiving sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Geophysics And Detection Of Objects (AREA)
- Emergency Alarm Devices (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、車両の周囲の状況を検出するのに使用される車両用カメラに関し、特に、撮像方向によって撮像範囲が異なる視野を有する車両用カメラに関する。
【0002】
【従来の技術】
従来、車両用カメラを用いて自車両の左側方を撮像し、自車両が左折する場合に、自車両の左側方を走行する二輪車を巻き込まないために、自車両が左ウインカーを動作させたときに、撮像画像から判別した二輪車との相対距離が所定距離内であったときには、警報を行う技術が知られている。
【0003】
このような場合に、自車両の左側方を走行する二輪車は、自車両から離れている状態や、自車両に極めて近接した状態においても、この二輪車を確実に車両用カメラで検出するためには、車両用カメラの撮像範囲を大きくする必要があり、撮像範囲は広角かつ遠方まで設定している。
【0004】
【発明が解決しようとする課題】
しかしながら、従来の車両用カメラにおいては、撮像範囲を広角で遠方まで検出するようにしているので、例えば歩道の向う側に存在する建物までも撮像してしまい、その多量の背景画像の中から自車両の接近する二輪車を判別することは、非常に時間が掛ってしまい、また時間を短くするためには高性能な演算装置が必要となってしまい、高コストとなってしまう。
【0005】
本発明は、上記を鑑みてなされたもので、その目的としては、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することのできる車両用カメラを提供することにある。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1記載の本発明は、複数の受光センサから構成されるセンサアレイおよび結像光学系を有し、車両側方から車両後側方にかけての背景画像を撮像する車両用カメラであって、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの撮像距離よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの撮像距離を大きくするように構成することを要旨とする。
【0007】
また、請求項2記載の本発明は、請求項1記載の本発明において、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの感度よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの感度を高くするように構成されていることを要旨とする。
【0008】
更に、請求項3記載の本発明は、請求項2記載の本発明において、前記複数の受光センサの各々は、入射光エネルギを熱に変換し、この変換された熱によって変化する物性の温度を検出する熱型赤外線センサで構成され、この熱型赤外線センサにおいて温度によって物性が変化する感熱部と該感熱部以外の部分との熱抵抗が、車両側方を撮像方向とする前記センサアレイ内の存在部位の前記熱型赤外線センサよりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の前記熱型赤外線センサの方が低くするように構成されていることを要旨とする。
【0009】
請求項4記載の本発明は、請求項3記載の本発明において、前記熱型赤外線センサは、感熱部と該感熱部以外の部分が梁で接続されている熱分離構造を有し、車両側方を撮像方向とする前記センサアレイ内の存在部位の前記熱型赤外線センサの梁の熱抵抗よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の前記熱型赤外線センサの梁の熱抵抗の方が低くするように梁が構成されていることを要旨とする。
【0010】
また、請求項5記載の本発明は、請求項2記載の本発明において、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの入射光強度に対する吸収効率よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの入射光強度に対する吸収効率を高くするように構成されていることを要旨とする。
【0011】
更に、請求項6記載の本発明は、請求項5記載の本発明において、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの光の吸収効率よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの光の吸収効率を高くするように構成されていることを要旨とする。
【0012】
請求項7記載の本発明は、請求項5記載の本発明において、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの受光領域を覆うように配設されている透過膜の透過率よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの受光領域を覆うように配設されている透過膜の透過率を高くするように構成されていることを要旨とする。
【0013】
また、請求項8記載の本発明は、請求項1記載の本発明において、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの内部雑音よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの内部雑音を低くするように構成されていることを要旨とする。
【0014】
更に、請求項9記載の本発明は、請求項8記載の本発明において、前記複数の受光センサの各々は、出力に直列に接続された抵抗を有し、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサに接続された抵抗値よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサに接続された抵抗値を低くするように構成されていることを要旨とする。
【0015】
また、請求項10記載の本発明は、請求項1記載の本発明において、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサを構成する画素サイズまたは受光センサ内に存在する光検出領域の占有領域よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサを構成する画素サイズまたは受光センサ内に存在する光検出領域の占有領域を小さくするように構成されていることを要旨とする。
【0016】
更に、請求項11記載の本発明は、請求項1記載の本発明において、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサよりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサを撮像方向に繰り出すように構成されていることを要旨とする。
【0017】
請求項12記載の本発明は、請求項11記載の本発明において、前記複数の受光センサの各々は、受光センサまたは受光センサの受光領域に接続された微小変位手段を有し、該微小変位手段によって、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサよりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサを撮像方向に繰り出すように構成されていることを要旨とする。
【0018】
また、請求項13記載の本発明は、請求項12記載の本発明において、前記微小変位手段は、外部から印加される入力信号によって、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサよりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサを撮像方向に繰り出すように構成されていることを要旨とする。
【0019】
【発明の効果】
請求項1記載の本発明によれば、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサの撮像距離を大きくするように構成しているので、検出方向毎に検出距離を変えることにより、不要な背景画像を撮像することなくなる。この結果、例えば車両側方に近接してきた二輪車等の他の車両や、車両後側方の離れた位置から接近しようとする二輪車等の他の車両を検出すべき被写体として適確に判別することができる。
【0020】
また、請求項2記載の本発明によれば、車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサの感度よりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサの感度を高くするように構成されているので、各受光センサの検出方向毎に感度を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0021】
更に、請求項3記載の本発明によれば、受光センサの各々は熱型赤外線センサで構成され、熱型赤外線センサにおいて温度によって物性が変化する感熱部と該感熱部以外の部分との熱抵抗が、車両側方を撮像方向とするセンサアレイ内の存在部位の熱型赤外線センサよりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の熱型赤外線センサの方が低くするように構成されているので、各受光センサの検出方向毎に熱抵抗を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0022】
請求項4記載の本発明によれば、熱型赤外線センサは感熱部とそれ以外の部分が梁で接続され、車両側方を撮像方向とするセンサアレイ内の存在部位の熱型赤外線センサの梁の熱抵抗よりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の熱型赤外線センサの梁の熱抵抗の方が低くするように梁が構成されているので、各受光センサの検出方向毎の梁の構造を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0023】
また、請求項5記載の本発明によれば、車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサの入射光強度に対する吸収効率よりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサの入射光強度に対する吸収効率を高くするように構成されているので、各受光センサの検出方向毎に吸収効率を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0024】
更に、請求項6記載の本発明によれば、車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサの光の吸収効率よりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサの光の吸収効率を高くするように構成されているので、各受光センサの検出方向毎に光の吸収効率を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0025】
請求項7記載の本発明によれば、車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサの受光領域を覆うように配設されている透過膜の透過率よりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサの受光領域を覆うように配設されている透過膜の透過率を高くするように構成されているので、各受光センサの検出方向毎に透過膜の透過率を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0026】
また、請求項8記載の本発明によれば、車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサの内部雑音よりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサの内部雑音を低くするように構成されているので、各受光センサの検出方向毎に内部雑音を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0027】
更に、請求項9記載の本発明によれば、車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサに接続された抵抗値よりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサに接続された抵抗値を低くするように構成されているので、各受光センサの検出方向毎に出力直列抵抗を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0028】
また、請求項10記載の本発明によれば、車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサを構成する画素サイズまたは受光センサ内に存在する光検出領域の占有領域よりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサを構成する画素サイズまたは受光センサ内に存在する光検出領域の占有領域を小さくするように構成されているので、各受光センサの検出方向毎に光検出領域の占有領域を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0029】
更に、請求項11記載の本発明によれば、車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサよりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサを撮像方向に繰り出すように構成されているので、各受光センサの検出方向毎に繰り出し量を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0030】
請求項12記載の本発明によれば、受光センサの各々は微小変位手段によって車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサよりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサを撮像方向に繰り出すように構成されているので、各受光センサの検出方向毎に微小変位手段により繰り出し量を変えて検出距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0031】
また、請求項13記載の本発明によれば、微小変位手段は外部入力信号によって車両側方を撮像方向とするセンサアレイ内の存在部位の受光センサよりも、車両後側方を撮像方向とするセンサアレイ内の存在部位の受光センサを撮像方向に繰り出すことができるので、外部入力信号によって受光センサ毎に結像関係を可変して、車両の状態に応じて検出範囲を瞬時に変えることができる。
【0032】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して説明する。
【0033】
(第1の実施の形態)
図1は、本発明の第1の実施の形態に係わる車両用カメラの撮像範囲を示す説明図である。
【0034】
なお、同図に示すような撮像範囲を有する本実施の形態の車両用カメラは、例えば車両巻き込み防止装置に適用されれば、自車両の側方をかなり離れた後方の位置から走行してくる二輪車等を判別し得るとともに、自車両の側部に近接した二輪車等も適確に判別することができ、車両の巻き込みを適確に防止することができる。
【0035】
図1において、自車両101が走行している自車両走行車線102には自車両101の左側部に近接して二輪車109が走行しているとともに、自車両101からかなり離れた後方にも他の二輪車108が走行している。また、歩道103には歩行者107が歩いており、この歩道103の更に向こう側には建物104が建てられている。更に、自車両101の右側には少し遅れて他の車両110が並行している。
【0036】
このような状況において、本実施の形態の車両用カメラは、複数の受光センサから構成されるセンサアレイおよび被写体からの像をセンサアレイに入射させるように導く結像光学系を有し、自車両101の左側部のバックミラー近傍に取り付けられ、このバックミラー近傍を起点にして太い点線105で示す撮像範囲を有している。この撮像範囲105は自車両101の左側部に対しては近距離のみを撮像し得るように設定され、これにより左側部を近接して走行する二輪車109を適確に判別し得るようになっているとともに、更に自車両101の後側方に対して遠距離まで撮像し得るように設定され、これにより自車両101からかなり離れた後側方に存在する二輪車108も適確に判別し得るようになっている。
【0037】
上述した本実施の形態の撮像範囲105に対して、従来のカメラ装置等は、図1で一点鎖線で示すように広角かつ遠方まで検出し得る撮像範囲106を有しているものであるため、二輪車以外に建物104等の不要な背景の画像情報までも取り込まれ、判別したい物体である二輪車108,109を判別することが困難になっていた。すなわち、本実施の形態の車両用カメラは、太い点線で示す撮像範囲105を有しているため、建物104等の不要な背景の画像情報を取り込まず、撮像したい物体である二輪車108,109付近の画像情報のみを取り込んで適確に判別することができるようになっている。
【0038】
更に詳しくは、本実施の形態の車両用カメラの撮像範囲105は、従来の撮像範囲106と同程度に広角でありながらも、二輪車109を判別するための方向である自車両101の側部に近い側方の撮像方向に対しては撮像距離が短く設定され、これにより背景画像等の影響を受けずに二輪車109を適確に判別することができ、また自車両101にほぼ平行な後部に向かう後側方の撮像方向に対しては撮像距離が長く設定され、これにより後方の二輪車108を適確に判別することができるようになっている。すなわち、撮像方向によって撮像距離および撮像角度からなる撮像範囲が異なるように設定されている。
【0039】
このような撮像範囲105を構成する車両用カメラのセンサアレイは、自車両101の側部に対してほぼ直角な側方からほぼ平行な後側方までの広い角度にわたって撮像距離が短い受光センサから長い受光センサまでの多数の受光センサが連続的に配列されて構成されるものである。
【0040】
次に、このような撮像範囲105を有する車両用カメラについて詳細に説明する。
【0041】
一般に、車両用カメラの被写体との距離に対する信号対雑音比(以下、S/Nと略称する)、すなわち車両用カメラの距離に対する感度の変化率は、大気等の電送線路による減衰を無視すると、図2に示す関係にあり、被写体までの距離が臨界距離xに達するまでの小さい場合(領域A)は、S/Nが距離に依存せずに一定であるが、臨界距離xよりも大きくなる場合(領域B)は、距離の2乗で低下する。これは、カメラの空間解像度よりも被写体の大きさが小さくなる場合には、受光センサに入射するエネルギが減少することによるものである。なお、一般的には車両用カメラの光学系のレンズの空間解像度は受光センサの解像度よりも優れているため、レンズの解像度がカメラの解像度を制限することはなく、カメラの解像度はセンサの解像度によって決定される。
【0042】
本実施の形態の車両用カメラでは、臨界距離xを撮像方向によって変化させたり、S/Nを撮像方向や撮像距離によって変化させるように構成することにより撮像距離の方向依存性を実現している。
【0043】
すなわち、複数の受光センサからなるセンサアレイの中において遠方まで撮像したい受光センサは臨界距離xを大きくするように構成し、近傍のみを撮像したい受光センサは臨界距離xを小さくするように構成する。具体的には、撮像方向によってS/Nを変化させる方法、撮像方向によって空間解像度を変化させる方法、および撮像方向によって繰り出し量を変化させる方法等がある。
【0044】
まず、本発明の第1の実施の形態に係わる車両用カメラとして、センサアレイを構成している複数の受光センサのS/Nをそれぞれの受光センサの撮像方向によって変化させ、これにより遠距離まで撮像したい受光センサのS/Nは大きく設定し、近距離のみを撮像したい受光センサのS/Nは小さく設定するというように複数の受光センサのそれぞれのS/Nを構成するものである。
【0045】
更に詳しくは、図3に示すように、遠距離まで撮像したい受光センサ、すなわち撮像距離の大きい受光センサは、S/Nを大きく構成し、近距離のみを撮像したい受光センサ、すなわち撮像距離の小さい受光センサは、S/Nを小さく構成する。具体的には、遠方まで撮像したい例えば車両の後側方を検出する受光センサまたは受光センサを構成する画素のS/Nを大きくし、背景等の影響を受けたくない車両近傍の側方を撮像する受光センサまたは受光センサを構成する画素のS/Nは小さくするように設定する。なお、この構成は背景からの入射エネルギ密度が被写体のそれよりも小さい場合に有利である。
【0046】
S/Nは信号Sと雑音Nとの比であるので、本実施の形態のように受光センサのS/Nを変化させる構成には、信号Sを変化させる構成と雑音Nを変化させる構成がある。
【0047】
信号Sを変化させる構成について説明する。信号Sを変化させるには、受光センサの感度を変化させればよく、感度は入射光エネルギを電圧に変換する効率を示すものであるので、この入射光エネルギを電圧に変換する変換効率を受光センサまたは受光センサを構成する画素によって変化させればよい。
【0048】
なお、センサアレイを構成する複数の受光センサの各々は、1個の画素で構成されてもよいし、または複数の画素で構成されたものでもよいものであり、これにより本発明が限定されるものではないので、上述した受光センサまたは受光センサを構成する画素という記載を以下の説明では簡単化のため単に受光センサと記載する。
【0049】
この変換効率を変化させる構成として、第1の実施の形態では、受光センサが内部光電効果を利用した例えばフォトセンサ、フォトトランジスタ、光伝導素子等である場合には、光の吸収効率を変化させる構成により達成される。具体的には、図4に示すように、光の透過率が異なるフィルタ204を複数の受光センサを構成するセンサアレイ201の前に配置することにより構成される。
【0050】
すなわち、センサアレイ201の前に配設されているフィルタ204は厚さが図4において上側が厚く、下側が薄く構成されているが、このため上側に位置する受光センサにおいては、厚いフィルタ204で減衰した光が入射されるため、遠方の背景画像等の影響を受けずに近距離の画像情報のみが得られるのに対して、下側に位置する受光センサにおいては、薄いフィルタ204であまり減衰されていない光が入射され、遠方までの被写体を検出できる。
【0051】
このような構成のフィルタ204をセンサアレイ201の前に設けることにより、センサアレイ201は撮像範囲205を得ることになる。なお、図4において、202は光軸を示し、203は結像光学系を示している。
【0052】
ここで、第1の実施の形態に係る車両用カメラの作用及び効果を説明する。
【0053】
センサアレイを構成する複数の受光センサの各々の検出可能範囲を受光センサの存在部位によって異なるように構成しているので、撮像方向毎に撮像距離を変えることにより、不要な背景画像を撮像することがなくなる。この結果、図1に示すように、例えば車両側方に近接してきた二輪車109等の他の車両や、車両後側方の離れた位置から接近しようとする二輪車108等の他の車両を検出すべき被写体として適確に判別することができる。
【0054】
また、受光センサとしてフォトセンサ、フォトトランジスタ、光伝導素子等を用いれば、受光センサの各々は入射光強度に対する吸収効率がセンサアレイ内の存在部位によって異なるように構成されているので、各受光センサの検出方向毎に吸収効率を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0055】
さらに、受光センサとしてフォトセンサ、フォトトランジスタ、光伝導素子等を用いれば、受光センサの各々は受光領域における光の吸収効率がセンサアレイ内の存在部位によって異なるように構成されているので、各受光センサの検出方向毎に光の吸収効率を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0056】
また、複数の受光センサの各々は受光領域を覆うフィルタ204の透過率がセンサアレイ内の存在部位によって異なるように構成されているので、各受光センサの検出方向毎にフィルタ204の透過率を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0057】
(第2の実施の形態)
本発明の第2の実施の形態として、受光センサが内部光電効果を利用したものであり、キャリアを発生させる活性層の厚さを変化させることで、受光センサのS/Nの信号Sを変化させる方法について説明する。
【0058】
具体的には、図5に示すように、センサアレイ201の前に図4で示したフィルタ204の代わりに活性層206を配設し、この活性層206の厚さを変化させるものである。
【0059】
すなわち、センサアレイ201の前に配設されている活性層206は厚さが図5において上側が薄く、下側が厚く構成されているが、このため上側に位置する受光センサにおいては、薄い活性層によりキャリアの発生が少ないため、近距離の被写体のみを撮像できるのに対して、下側に位置する受光センサにおいては、厚い活性層によりキャリアの発生が多いため、遠方までの被写体を撮像できる。
【0060】
このような構成の活性層206をセンサアレイ201の前に設けることにより、図5のセンサアレイ201は撮像範囲205を得ることになる。
【0061】
ここで、第2の実施の形態に係る車両用カメラの作用及び効果を説明する。
【0062】
受光センサの各々は活性層206によりキャリアの発生がセンサアレイ201内の存在部位によって異なるように構成されているので、各受光センサの検出方向毎にキャリアの発生量を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0063】
(第3の実施の形態)
次に、本発明の第3の実施の形態として、センサアレイを構成する複数の受光センサが赤外線センサの中の光エネルギを熱エネルギに変換させる例えばサーモパイル、ポロメータ等の受光センサである場合において、感熱部とヒートシンクとの間の熱抵抗を変化させることで、S/Nのうち信号Sを変化させる方法について説明する。
【0064】
まず図6(a)、(b)を参照し、サーモパイル型の受光センサについて説明する。図6(a)と図6(b)で異なるのは、梁の形状のみであるため、その点については後述することとし、図6(a)を中心に説明する。
【0065】
208は低感度の受光センサであり、半導体基板上に空洞部を介して形成されたダイヤフラム上に温接点13と冷接点14を備えている。この温接点13と冷接点14とを梁16上に形成されたp型ポリシリコン6及びn型ポリシリコン7とによって交互に接続することによって、熱吸収膜4に入射された熱(光)を検出するものである。このとき、熱吸収膜4に入射された熟(光)は、梁16によって基板へと伝達される。従って、梁16の太さが太いとその分熱抵抗が大きくなり、熱吸収膜4に入射された熱を基板側へと伝え難い、すなわち検出された感度が低くなる。従って、図6(b)に示すように梁20の太さを図6(a)に示す梁16の太さよりも細くすると、熱抵抗が小さくなるので、熱が伝えやすくなり、従って検出感度が良くなる。
【0066】
このように梁16,20の幅を狭く形成したり、広く形成することにより温接点13と冷接点14との間の熱抵抗が可変し、これにより受光センサの検出感度を変化させることができる。このように複数の検出感度の異なる受光センサを所望の撮像方向に応じて組み合わせることにより、図1に示した撮像範囲105のように撮像方向によって異なる撮像距離を有するセンサアレイを構成することができる。
【0067】
図7は、図6(a),(b)で説明したように撮像距離の異なる複数の受光センサを組み合わせて構成されるセンサアレイ201とその撮像範囲205を示す図である。図7において、センサアレイ201は受光センサ207a,207b,208a,208bを複数有して構成され、受光センサ207aが最も高い感度を有して撮像距離が長く、その次の受光センサ207bが次に高い感度を有して撮像距離が次に長いというように撮像距離が順次低下していき、受光センサ208bが最も低い感度を有して撮像距離が最も短く設定されている。
【0068】
ここで、第3の実施の形態に係る車両用カメラの作用及び効果を説明する。
【0069】
受光センサの各々はセンサアレイ201内の存在部位によって感度が異なるように構成されているので、各受光センサの検出方向毎に感度を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0070】
また、受光センサの各々はサーモパイル型赤外線センサで構成され、このサーモパイル型赤外線センサの感熱部とそれ以外の部分との熱抵抗がセンサの存在部位によって異なるように構成されているので、各受光センサの検出方向毎に熱抵抗を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0071】
さらに、サーモパイル型赤外線センサは感熱部とそれ以外の部分が梁16,20で接続され、この梁の熱抵抗がセンサの存在部位によって異なるように梁が構成されているので、各受光センサの検出方向毎の梁の構造を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0072】
(第4の実施の形態)
次に、本発明の第4の実施の形態として、S/Nのうちの雑音Nを変化させる構成について図8を参照して説明する。
【0073】
図8は、複数の受光センサの出力にシャント抵抗214a,214b,214c,214dを接続して構成されるセンサアレイ201とその撮像範囲205を示している。シャント抵抗214aの抵抗値が最も大きく、次にシャント抵抗214bの抵抗値が大きいというように順に抵抗値を小さくし、シャント抵抗214dの抵抗値が最も小さいというように受光センサによってシャント抵抗214の抵抗値が異なるように構成されている。
【0074】
このような構成では、抵抗値が最も大きいシャント抵抗214aの熱雑音が最も大きくなるため、このシャント抵抗214aの接続された受光センサのS/Nは最も小さくなり、撮像距離が短くなる。また、抵抗値の最も小さいシャント抵抗214dの熱雑音は最も小さいため、その受光センサのS/Nは最も大きくなり、このように構成されるセンサアレイの撮像範囲205は図8に示すようになる。なお、図8において、シャント抵抗214a〜214dは可変抵抗の回路記号で図示されているが、固定抵抗でもよいものである。
【0075】
ここで、第4の実施の形態に係る車両用カメラの作用及び効果を説明する。
【0076】
受光センサの各々は、熱雑音がセンサアレイ201内の存在部位によって異なるように構成されているので、各受光センサの検出方向毎に熱雑音を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0077】
また、受光センサの各々は出力に直列に接続されたシャント抵抗がセンサアレイ201内の存在部位によって異なるように構成されているので、各受光センサの検出方向毎に出力直列抵抗を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0078】
(第5の実施の形態)
また、本発明の第5の実施の形態として、S/Nのうち雑音Nを変化させるために、受光センサの温度を増加させる構成について説明する。
【0079】
アレイ状に配置された受光センサの近傍に発熱体を配置する。このとき、例えば受光センサが3つでセンサアレイを構成している場合に、この各受光センサに加わる熱が異なるように発熱体を配置する。
【0080】
この発熱体は半導体で構成した抵抗に電流を流すことなどで構成する。よって、発熱体に最も近い受光センサは最も発熱体による熱を受けるために、熱雑音が大きくなる。逆に発熱体に最も遠い受光センサは発熱体による熱を受け難いために、熱雑音が小さくなる。従って、発熱体に最も近い受光センサの撮像距離は小さく、発熱体に最も遠い受光センサの撮像距離は大きくなる。
【0081】
ここで、第5の実施の形態に係る車両用カメラの作用及び効果を説明する。
【0082】
受光センサの各々は、発熱体によって加熱される受光領域の温度が存在部位によって異なるように構成されているので、各受光センサの検出方向毎の受光領域の温度を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0083】
(第6の実施の形態)
次に、本発明の第6の実施の形態として、空間解像度を変化させる構成について図9を参照して説明する。これは、受光センサの画素サイズまたは開口率を変化させることにより画素毎、すなわち受光センサを構成する画素毎に臨界距離xを変えるものである。
【0084】
画素サイズが大きい受光センサの作る像は被写体面で大きなものとなる。従って、近距離において受光センサの解像度が被写体のサイズと同等となるため、臨界距離xは図9の臨界距離x2のように短くなり、逆に画素サイズが小さい受光センサでは、臨界距離xは図9の臨界距離x1のように長くなる。
【0085】
すなわち、各受光センサを構成する画素サイズを異なるようにセンサアレイを構成することにより画素サイズが小さい受光センサの撮像距離は大きく設定され、画素サイズが大きい受光センサの撮像距離は小さく設定されることになる。
【0086】
また、正味の受光領域(内部光電効果を利用した受光センサではpn接合領域や開口部に相当し、熱型赤外線センサでは吸収膜に相当する)のセンササイズに対する比を開口率という。開口率の小さい受光センサも画素サイズ依存性と同じ理由により臨界距離xが長くなるため、同じ画素サイズの受光センサを2次元的に並べたセンサアレイでは、開口率を変化させることにより撮像距離を変えることができる。すなわち、各受光センサの開口率を異なるようにセンサアレイを構成することにより開口率が小さい受光センサの撮像距離は大きく設定され、開口率が大きい受光センサの撮像距離は小さく設定される。
【0087】
ここで、第6の実施の形態に係る車両用カメラの作用及び効果を説明する。
【0088】
受光センサの各々は光検出領域として占有される開口領域がセンサアレイ内の存在部位によって異なるように構成されているので、各受光センサの検出方向毎に光検出領域として占有される開口領域を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0089】
(第7の実施の形態)
次に、本発明の第7の実施の形態として、繰り出し量を変えて焦点をずらし、各受光センサ毎の合焦の度合いを変化させてS/Nを変化させる構成について図10および図11を参照して説明する。
【0090】
有限の距離にある被写体の像を受光センサに結像させるためには、周知のようにニュートン結像の公式等で表される関係を満たすことが必要であり、この関係を満たしていない場合には、所謂ボケた状態、すなわち入射エネルギが広い範囲に拡散する状態になり、所定の画素に入射するエネルギ密度は低くなるため、S/Nが減少する。
【0091】
従って、このような状態を利用することにより、受光センサを構成する画素毎に合焦の度合いを変化させ、これにより撮像距離を変化させることが可能となる。
【0092】
図10において、被写体224が結像光学系203によって像225を作るとき、同図に示すような結像関係が得られる。なお、220は前側焦点であり、221は後側焦点である。
【0093】
被写体224の先端から放射された光は、ニュートン結像公式を満たす距離では収差を無視すると一点に集光してボケのない像が得られ、非常に高い入射密度の光が受光センサに入射することになる。
【0094】
しかしながら、光軸202で前後にずれると結像関係を満たさなくなるため、一点に集光せずに、ある面積に拡散することになる。光軸方向の正の向きにずれた場合は、いわゆる前ピン222の状態になり、また負の向きにずれた場合には、後ピン223の状態になる。
【0095】
上述したように、受光センサを構成する画素毎に合焦の度合いを変化させるには、画素の光軸方向での位置を変化させることになる。具体的には、図11に示すように、複数の受光センサからなるセンサアレイ201を光軸202に対して垂直から傾けることである。このように傾けたセンサアレイ201において図11で下側の受光センサはニュートン結像公式を満たす位置209にあるため、合焦状態にあり、撮像距離が大きいが、上側の受光センサは距離211の分だけ前側に繰り出され、前ピン位置210にあるため、合焦状態になく、撮像距離は短くなっている。この結果、センサアレイ全体では、図11において205で示すような撮像範囲が形成される。
【0096】
ここで、第7の実施の形態に係る車両用カメラの作用及び効果を説明する。
【0097】
受光センサの各々または結像光学系は繰り出し量がセンサアレイ201内のセンサの存在部位によって異なるように構成されているので、各受光センサの検出方向毎に繰り出し量を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0098】
(第8の実施の形態)
また、本発明の第8の実施の形態として、マイクロマシン技術を用いて、画素毎に繰り出し量を変え焦点をずらし、各受光センサ毎の合焦の度合いを変化させてS/Nを変化させる構成について図12を参照して説明する。
【0099】
すなわち、図12に示すように、センサアレイ201の主表面上に各受光センサ毎に微小変位手段であるピエゾ素子213を設け、このピエゾ素子213を介して受光センサ212を配設する。
【0100】
このような構成において、ピエゾ素子213は、外部から印加される電圧信号に応じて逆圧電効果により伸縮するため、この伸縮によって受光センサ毎に繰り出し量を変化させることができる。そして、本来の結像位置209に近い図12で下側の受光センサ212はほぼ合焦状態にあり、撮像距離は大きくなり、また結像光学系203寄りに繰り出している上側の受光センサは合焦状態になく、撮像距離は短くなっている。
【0101】
この結果、センサアレイ全体では、図12において205で示すような撮像範囲が形成される。
【0102】
ここで、第8の実施の形態に係る車両用カメラの作用及び効果を説明する。
【0103】
受光センサ212の各々は微小変位手段によって繰り出し量がセンサアレイ201内の存在部位によって異なるように構成されているので、各受光センサの検出方向毎に微小変位手段により繰り出し量を変えて撮像距離を変えることができ、不要な背景画像を撮像することなく、検出すべき被写体を適確に判別することができる。
【0104】
また、微小変位手段は外部入力信号によって繰り出し量を可変することができるので、外部入力信号によって受光センサ毎に結像関係を可変して、車両の状態に応じて検出範囲を瞬時に変えることができる。
【0105】
なお、図12においては、受光センサ212およびピエゾ素子213は図面の簡単化のため2つのみ図示されているだけであるが、複数の受光センサおよびピエゾ素子が設けられていることは勿論のことである。
【0106】
また、上記実施の形態では、受光センサ毎に繰り出し量を変化させる微小変位手段としてピエゾ素子213を使用しているが、ピエゾ素子213に限定されるものでなく、例えば静電引力を用いた素子等も使用し得るものである。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係わる車両用カメラの撮像範囲を示す説明図である。
【図2】一般的なカメラと被写体との間の距離と受光センサのS/Nとの関係を示す図である。
【図3】第1の実施の形態における原理を説明するための車両用カメラと被写体との間の距離と受光センサのS/Nとの関係を示す図である。
【図4】第1の実施の形態において光透過率の異なるフィルタを有するセンサアレイとその撮像範囲を示す図である。
【図5】本発明の第2の実施の形態において厚さの異なる活性層を有するセンサアレイとその撮像範囲を示す図である。
【図6】本発明の第3の実施の形態において受光センサを構成するサーモパイルの構成を示す図である。
【図7】図6に示したサーモパイルからなる受光センサを組み合わせて構成されるセンサアレイとその撮像範囲を示す図である。
【図8】本発明の第4の実施の形態において各出力にシャント抵抗が接続された受光センサからなるセンサアレイとその撮像範囲を示す図である。
【図9】本発明の第6の実施の形態において受光センサの画素サイズまたは開口率を変化させることにより受光センサを構成する画素毎に臨界距離xを変える原理を説明するための図である。
【図10】本発明の第7の実施の形態において繰り出し量を変えて焦点をずらし、各受光センサ毎の合焦の度合いを変化させてS/Nを変化させる構成の原理を説明するための図である。
【図11】図10に示す第7の実施の形態において繰り出し量を変えるために傾けて配設されたセンサアレイとその撮像範囲を示す図である。
【図12】本発明の第8の実施の形態において繰り出し量を変えるために各受光センサにピエゾ素子を設けたセンサアレイとその撮像範囲を示す図である。
【符号の説明】
13 温接点
14 冷接点
16 梁
101 自車両
105,205 撮像範囲
201 センサアレイ
204 フィルタ
206 活性層
212 受光センサ
213 ピエゾ素子
214 シャント抵抗[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicular camera used for detecting a situation around a vehicle, and more particularly to a vehicular camera having a visual field whose imaging range varies depending on an imaging direction.
[0002]
[Prior art]
Conventionally, when an image of the left side of the own vehicle is taken using a vehicle camera, and the own vehicle turns left, the own vehicle operates a left turn signal so as not to be involved in a motorcycle traveling on the left side of the own vehicle. In addition, there is known a technology for issuing an alarm when a relative distance to a motorcycle determined from a captured image is within a predetermined distance.
[0003]
In such a case, the two-wheeled vehicle traveling on the left side of the own vehicle, even in a state far from the own vehicle or in a state very close to the own vehicle, in order to reliably detect the two-wheeled vehicle with the vehicle camera, In addition, it is necessary to increase the imaging range of the vehicle camera, and the imaging range is set to be wide-angle and far.
[0004]
[Problems to be solved by the invention]
However, in the conventional vehicle camera, since the imaging range is detected at a wide angle and far, for example, an image of a building existing on the side opposite the sidewalk is also taken, and the vehicle image is taken out of the large amount of background images. It takes a very long time to determine the approaching two-wheeled vehicle, and in order to shorten the time, a high-performance arithmetic unit is required, resulting in high cost.
[0005]
The present invention has been made in view of the above, and an object of the present invention is to provide a vehicular camera that can accurately determine a subject to be detected without capturing an unnecessary background image. .
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the present invention according to claim 1 has a sensor array including a plurality of light receiving sensors and an imaging optical system, and is provided from the side of the vehicle. To the rear side of the vehicle A vehicle camera for capturing a background image, wherein an image of a light receiving sensor of an existing portion in the sensor array is taken with a vehicle side being an image capturing direction. distance than, Behind the vehicle Imaging of a light receiving sensor at an existing position in the sensor array, where distance The gist is to configure so as to increase.
[0007]
Further, the present invention described in claim 2 is the present invention according to claim 1, The sensitivity of the light receiving sensor at the existing part in the sensor array having the imaging direction on the rear side of the vehicle is higher than the sensitivity of the light receiving sensor at the existing part in the sensor array having the imaging direction on the side of the vehicle. The gist of the present invention is as follows.
[0008]
Further, according to a third aspect of the present invention, in the second aspect of the present invention, each of the plurality of light-receiving sensors converts incident light energy into heat, and sets a temperature of a physical property changed by the converted heat. It is composed of a thermal infrared sensor to detect, and in this thermal infrared sensor, the thermal resistance between the heat-sensitive part whose physical properties change according to the temperature and the part other than the heat-sensitive part, The thermal infrared sensor of the existing portion in the sensor array whose image capturing direction is on the rear side of the vehicle is lower than the thermal infrared sensor of the existing portion in the sensor array whose image capturing direction is on the side of the vehicle. Do The gist of the present invention is as follows.
[0009]
According to a fourth aspect of the present invention, in the third aspect of the present invention, the thermal infrared sensor has a thermal isolation structure in which a heat-sensitive portion and a portion other than the heat-sensitive portion are connected by a beam, Than the thermal resistance of the beam of the thermal type infrared sensor of the existing portion in the sensor array whose image capturing direction is on the side of the vehicle, the existence portion of the sensor array whose image capturing direction is on the rear side of the vehicle. Of the thermal infrared sensor So that the thermal resistance of the beam is lower The gist is that a beam is configured.
[0010]
The invention according to claim 5 is the invention according to claim 2, Incident light of the light-receiving sensor at the existing position in the sensor array with the imaging direction on the rear side of the vehicle, rather than the absorption efficiency of the light-receiving sensor at the existing position in the sensor array with the imaging direction on the side of the vehicle. Increase absorption efficiency for strength The gist of the present invention is as follows.
[0011]
Further, the present invention according to
[0012]
The invention according to
[0013]
The present invention described in
[0014]
Further, according to a ninth aspect of the present invention, in the invention according to the eighth aspect, each of the plurality of light receiving sensors has a resistor connected in series to an output, Rather than the resistance value connected to the light receiving sensor of the existing portion in the sensor array having the vehicle side as the imaging direction, the resistance value was connected to the light receiving sensor of the existing portion in the sensor array having the vehicle rear side as the imaging direction. Lower resistance The gist of the present invention is as follows.
[0015]
The invention according to
[0016]
Further, the present invention described in claim 11 is the present invention according to claim 1, wherein The light receiving sensor of the existing part in the sensor array whose image capturing direction is on the rear side of the vehicle is extended in the image capturing direction, rather than the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the side of the vehicle. The gist of the present invention is as follows.
[0017]
According to a twelfth aspect of the present invention, in the invention of the eleventh aspect, each of the plurality of light receiving sensors has a light displacement sensor connected to a light receiving sensor or a light receiving area of the light receiving sensor. By The light receiving sensor of the existing part in the sensor array whose image capturing direction is on the rear side of the vehicle is extended in the image capturing direction, rather than the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the side of the vehicle. The gist of the present invention is as follows.
[0018]
According to a thirteenth aspect of the present invention, in the twelfth aspect of the present invention, the minute displacement means is provided by an input signal applied from the outside. The light receiving sensor of the existing part in the sensor array whose image capturing direction is on the rear side of the vehicle is extended in the image capturing direction, rather than the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the side of the vehicle. The gist of the present invention is as follows.
[0019]
【The invention's effect】
According to the first aspect of the present invention, Increasing the imaging distance of the light receiving sensor at the existing location in the sensor array with the imaging direction being the rear side of the vehicle With such a configuration, by changing the detection distance for each detection direction, unnecessary background images are not captured. As a result, for example, another vehicle such as a motorcycle approaching the side of the vehicle or another vehicle such as a motorcycle approaching from a remote position on the rear side of the vehicle can be accurately determined as a subject to be detected. Can be.
[0020]
According to the present invention described in claim 2, The sensitivity of the light receiving sensor of the existing portion in the sensor array having the image capturing direction on the rear side of the vehicle is higher than the sensitivity of the light receiving sensor of the existing portion in the sensor array having the image capturing direction on the side of the vehicle. With such a configuration, the detection distance can be changed by changing the sensitivity for each detection direction of each light receiving sensor, and the subject to be detected can be accurately determined without capturing an unnecessary background image. it can.
[0021]
According to the third aspect of the present invention, each of the light receiving sensors is constituted by a thermal infrared sensor. In the thermal infrared sensor, the thermal resistance between a heat-sensitive portion whose physical properties change with temperature and a portion other than the heat-sensitive portion is changed. But, The thermal infrared sensor at the existing portion in the sensor array having the imaging direction on the rear side of the vehicle is lower than the thermal infrared sensor at the existing portion in the sensor array having the imaging direction on the side of the vehicle. With such a configuration, the detection distance can be changed by changing the thermal resistance for each detection direction of each light receiving sensor, and the object to be detected can be accurately determined without capturing an unnecessary background image. Can be.
[0022]
According to the fourth aspect of the present invention, in the thermal infrared sensor, the heat-sensitive portion and other portions are connected by beams, The thermal resistance of the beam of the thermal infrared sensor in the sensor array where the imaging direction is on the side of the vehicle is smaller than the thermal resistance of the beam of the thermal infrared sensor in the sensor array where the imaging direction is on the rear side of the vehicle. Thermal type infrared sensor Lower the thermal resistance of the beam Since the beams are configured as described above, the detection distance can be changed by changing the structure of the beams in each detection direction of each light receiving sensor, and the subject to be detected can be accurately detected without capturing unnecessary background images. Can be determined.
[0023]
According to the fifth aspect of the present invention, The absorption efficiency with respect to the incident light intensity of the light receiving sensor at the existing position in the sensor array having the image pickup direction on the side of the vehicle is smaller than the absorption efficiency with respect to the incident light intensity of the light receiving sensor at the existing position within the sensor array having the image pickup direction on the rear side of the vehicle. Increase absorption efficiency With this configuration, it is possible to change the detection distance by changing the absorption efficiency for each detection direction of each light receiving sensor, and to accurately determine the subject to be detected without capturing unnecessary background images. Can be.
[0024]
Further, according to the present invention described in
[0025]
According to the present invention described in
[0026]
According to the present invention described in
[0027]
Further, according to the present invention described in claim 9, The resistance value connected to the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the rear side of the vehicle, rather than the resistance value connected to the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the side of the vehicle Lower With such a configuration, the detection distance can be changed by changing the output series resistance for each detection direction of each light receiving sensor, and the subject to be detected can be accurately determined without capturing an unnecessary background image. be able to.
[0028]
According to the present invention described in
[0029]
Further, according to the present invention described in claim 11, Extend the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the rear side of the vehicle in the imaging direction, rather than the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the side of the vehicle. With such a configuration, the detection distance can be changed by changing the feeding amount for each detection direction of each light receiving sensor, and the object to be detected can be accurately determined without capturing an unnecessary background image. Can be.
[0030]
According to the twelfth aspect of the present invention, each of the light receiving sensors is controlled by the minute displacement means. Extend the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the rear side of the vehicle in the imaging direction, rather than the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the side of the vehicle. With this configuration, the detection distance can be changed by changing the extension amount by the minute displacement means for each detection direction of each light receiving sensor, and the subject to be detected can be accurately detected without capturing unnecessary background images. Can be determined.
[0031]
According to the thirteenth aspect of the present invention, the minute displacement means is provided by an external input signal. The light receiving sensor of the existing part in the sensor array whose image capturing direction is on the rear side of the vehicle can be extended in the image capturing direction more than the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the side of the vehicle. Since the image forming relationship can be varied for each light receiving sensor by an external input signal, the detection range can be instantaneously changed according to the state of the vehicle.
[0032]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0033]
(First Embodiment)
FIG. 1 is an explanatory diagram showing an imaging range of the vehicle camera according to the first embodiment of the present invention.
[0034]
Note that the vehicle camera of the present embodiment having an imaging range as shown in the figure, for example, when applied to a vehicle entanglement prevention device, travels from a position far behind a side of the host vehicle. A motorcycle and the like can be distinguished, and a motorcycle and the like close to the side of the own vehicle can also be accurately distinguished, so that the involvement of the vehicle can be properly prevented.
[0035]
In FIG. 1, a
[0036]
In such a situation, the vehicular camera according to the present embodiment includes a sensor array including a plurality of light receiving sensors and an imaging optical system that guides an image from a subject to enter the sensor array. It is attached near the rear-view mirror on the left side of 101 and has an imaging range indicated by a thick dotted line 105 starting from the vicinity of the rear-view mirror. The imaging range 105 is set so as to be able to image only a short distance with respect to the left side of the host vehicle 101, so that the
[0037]
In contrast to the above-described imaging range 105 of the present embodiment, the conventional camera device and the like have an
[0038]
More specifically, the imaging range 105 of the vehicle camera according to the present embodiment is as wide as the
[0039]
The sensor array of the vehicular camera constituting such an imaging range 105 is formed by a light receiving sensor having a short imaging distance over a wide angle from a side substantially perpendicular to the side of the vehicle 101 to a rear side substantially parallel thereto. A large number of light receiving sensors up to a long light receiving sensor are arranged continuously.
[0040]
Next, a vehicle camera having such an imaging range 105 will be described in detail.
[0041]
Generally, a signal-to-noise ratio (hereinafter abbreviated as S / N) of a vehicle camera with respect to a distance to a subject, that is, a rate of change of sensitivity of the vehicle camera with respect to the distance, is neglecting attenuation due to a transmission line such as the atmosphere. In the relationship shown in FIG. 2, when the distance to the subject is small until reaching the critical distance x (region A), the S / N is constant without depending on the distance, but becomes larger than the critical distance x. In the case (region B), it decreases with the square of the distance. This is because when the size of the subject is smaller than the spatial resolution of the camera, the energy incident on the light receiving sensor decreases. In general, since the spatial resolution of the lens of the optical system of the vehicle camera is superior to the resolution of the light receiving sensor, the resolution of the lens does not limit the resolution of the camera. Is determined by
[0042]
In the vehicle camera according to the present embodiment, the directional dependency of the imaging distance is realized by changing the critical distance x according to the imaging direction and changing the S / N according to the imaging direction and the imaging distance. .
[0043]
That is, in a sensor array composed of a plurality of light receiving sensors, a light receiving sensor that desires to image far away is configured to increase the critical distance x, and a light receiving sensor that desires to image only the vicinity is configured to decrease the critical distance x. Specifically, there are a method of changing the S / N according to the imaging direction, a method of changing the spatial resolution according to the imaging direction, a method of changing the payout amount according to the imaging direction, and the like.
[0044]
First, as a vehicular camera according to the first embodiment of the present invention, the S / N of a plurality of light receiving sensors constituting a sensor array is changed depending on the imaging direction of each light receiving sensor, thereby increasing the distance to a long distance. The S / N of each of the plurality of light receiving sensors is configured such that the S / N of the light receiving sensor that is to be imaged is set to be large, and the S / N of the light receiving sensor that is to be imaged only at a short distance is set to be small.
[0045]
More specifically, as shown in FIG. 3, a light-receiving sensor that wants to image a long distance, that is, a light-receiving sensor with a long imaging distance has a large S / N, and a light-receiving sensor that wants to image only a short distance, that is, a small light-receiving distance. The light receiving sensor has a low S / N. More specifically, for example, by increasing the S / N ratio of a light-receiving sensor that detects the rear side of the vehicle or the pixels that constitute the light-receiving sensor that wants to image far away, and imaging the side near the vehicle that is not affected by the background or the like. The S / N of the light receiving sensor or the pixels constituting the light receiving sensor is set to be small. This configuration is advantageous when the incident energy density from the background is smaller than that of the subject.
[0046]
Since S / N is the ratio of the signal S to the noise N, the configuration for changing the S / N of the light receiving sensor as in this embodiment includes a configuration for changing the signal S and a configuration for changing the noise N. is there.
[0047]
A configuration for changing the signal S will be described. To change the signal S, it is sufficient to change the sensitivity of the light receiving sensor. Since the sensitivity indicates the efficiency of converting incident light energy to voltage, the conversion efficiency of converting the incident light energy to voltage is detected. What is necessary is just to change by the pixel which comprises a sensor or a light receiving sensor.
[0048]
In addition, each of the plurality of light receiving sensors forming the sensor array may be formed of one pixel or may be formed of a plurality of pixels, which limits the present invention. Therefore, in the following description, the light receiving sensor or the pixel constituting the light receiving sensor will be simply described as a light receiving sensor for simplification.
[0049]
As a configuration for changing the conversion efficiency, in the first embodiment, when the light receiving sensor is, for example, a photosensor, a phototransistor, or a photoconductive element using the internal photoelectric effect, the light absorption efficiency is changed. Achieved by configuration. Specifically, as shown in FIG. 4, the filter 204 is configured by disposing filters 204 having different light transmittances in front of the
[0050]
That is, the filter 204 provided in front of the
[0051]
By providing the filter 204 having such a configuration in front of the
[0052]
Here, the operation and effects of the vehicle camera according to the first embodiment will be described.
[0053]
Since the detectable range of each of the plurality of light receiving sensors constituting the sensor array is configured to be different depending on the location of the light receiving sensor, an unnecessary background image can be captured by changing an imaging distance for each imaging direction. Disappears. As a result, as shown in FIG. 1, for example, another vehicle such as the
[0054]
If a photosensor, a phototransistor, a photoconductive element, or the like is used as the light receiving sensor, each of the light receiving sensors is configured such that the absorption efficiency with respect to the intensity of the incident light is different depending on the location in the sensor array. The imaging distance can be changed by changing the absorption efficiency for each detection direction, and the subject to be detected can be accurately determined without capturing unnecessary background images.
[0055]
Furthermore, if a photosensor, a phototransistor, a photoconductive element, or the like is used as the light receiving sensor, each of the light receiving sensors is configured such that the light absorption efficiency in the light receiving region differs depending on the existing portion in the sensor array. The imaging distance can be changed by changing the light absorption efficiency for each detection direction of the sensor, and the subject to be detected can be accurately determined without capturing unnecessary background images.
[0056]
In addition, since each of the plurality of light receiving sensors is configured such that the transmittance of the filter 204 covering the light receiving area differs depending on the existing portion in the sensor array, the transmittance of the filter 204 is changed for each detection direction of each light receiving sensor. Thus, the subject to be detected can be accurately determined without capturing an unnecessary background image.
[0057]
(Second embodiment)
As a second embodiment of the present invention, the light receiving sensor utilizes the internal photoelectric effect, and changes the S / N signal S of the light receiving sensor by changing the thickness of the active layer for generating carriers. A method for causing the error will be described.
[0058]
Specifically, as shown in FIG. 5, an active layer 206 is provided in front of the
[0059]
In other words, the active layer 206 disposed in front of the
[0060]
By providing the active layer 206 having such a configuration before the
[0061]
Here, the operation and effects of the vehicle camera according to the second embodiment will be described.
[0062]
Since each of the light receiving sensors is configured so that the generation of carriers by the active layer 206 is different depending on the existence site in the
[0063]
(Third embodiment)
Next, as a third embodiment of the present invention, in the case where the plurality of light receiving sensors constituting the sensor array are light receiving sensors such as thermopiles and porometers for converting light energy in infrared sensors into heat energy, A method of changing the signal S in the S / N by changing the thermal resistance between the heat sensing part and the heat sink will be described.
[0064]
First, a thermopile type light receiving sensor will be described with reference to FIGS. 6 (a) and FIG. 6 (b) are different only in the shape of the beam, and this point will be described later, and the description will be made mainly with reference to FIG. 6 (a).
[0065]
Reference numeral 208 denotes a low-sensitivity light receiving sensor, which has a
[0066]
By making the widths of the
[0067]
FIG. 7 is a diagram illustrating a
[0068]
Here, the operation and effects of the vehicle camera according to the third embodiment will be described.
[0069]
Since each of the light receiving sensors is configured to have different sensitivity depending on the location in the
[0070]
Further, each of the light receiving sensors is constituted by a thermopile type infrared sensor, and the heat resistance of the thermosensitive part and the other part of the thermopile type infrared sensor is configured to be different depending on the location of the sensor. The imaging distance can be changed by changing the thermal resistance for each of the detection directions, and the object to be detected can be accurately determined without capturing unnecessary background images.
[0071]
Further, the thermopile type infrared sensor is configured such that the heat-sensitive part and the other part are connected by
[0072]
(Fourth embodiment)
Next, as a fourth embodiment of the present invention, a configuration for changing noise N of S / N will be described with reference to FIG.
[0073]
FIG. 8 shows a
[0074]
In such a configuration, since the thermal noise of the
[0075]
Here, the operation and effect of the vehicle camera according to the fourth embodiment will be described.
[0076]
Since each of the light receiving sensors is configured such that thermal noise is different depending on the location in the
[0077]
In addition, since each of the light receiving sensors is configured such that the shunt resistance connected in series to the output is different depending on the location in the
[0078]
(Fifth embodiment)
Further, as a fifth embodiment of the present invention, a configuration in which the temperature of the light receiving sensor is increased in order to change the noise N out of the S / N will be described.
[0079]
A heating element is arranged near the light receiving sensors arranged in an array. At this time, for example, when a sensor array is configured with three light receiving sensors, the heating elements are arranged so that heat applied to each light receiving sensor is different.
[0080]
This heating element is formed by passing a current through a resistor formed of a semiconductor. Therefore, the light receiving sensor closest to the heating element receives the heat from the heating element most, so that thermal noise increases. Conversely, the light-receiving sensor farthest from the heating element is less likely to receive heat from the heating element, so that thermal noise is reduced. Therefore, the imaging distance of the light receiving sensor closest to the heating element is short, and the imaging distance of the light receiving sensor furthest to the heating element is long.
[0081]
Here, the operation and effects of the vehicle camera according to the fifth embodiment will be described.
[0082]
Since each of the light receiving sensors is configured such that the temperature of the light receiving region heated by the heating element differs depending on the existing portion, it is possible to change the imaging distance by changing the temperature of the light receiving region for each detection direction of each light receiving sensor. The subject to be detected can be accurately determined without capturing unnecessary background images.
[0083]
(Sixth embodiment)
Next, as a sixth embodiment of the present invention, a configuration for changing the spatial resolution will be described with reference to FIG. This is to change the critical distance x for each pixel, that is, for each pixel constituting the light receiving sensor by changing the pixel size or the aperture ratio of the light receiving sensor.
[0084]
The image formed by the light receiving sensor having a large pixel size is large on the subject surface. Therefore, since the resolution of the light receiving sensor is equivalent to the size of the subject at a short distance, the critical distance x is shortened as in the critical distance x2 in FIG. 9 as the critical distance x1.
[0085]
That is, by configuring the sensor array so that the pixel size of each light receiving sensor is different, the imaging distance of the light receiving sensor having a small pixel size is set to be large, and the imaging distance of the light receiving sensor having a large pixel size is set to be small. become.
[0086]
The ratio of the net light receiving area (corresponding to a pn junction region or an opening in a light receiving sensor utilizing the internal photoelectric effect and corresponding to an absorption film in a thermal infrared sensor) to the sensor size is referred to as an aperture ratio. The critical distance x is long for a light receiving sensor having a small aperture ratio for the same reason as the pixel size dependency. Therefore, in a sensor array in which light receiving sensors of the same pixel size are arranged two-dimensionally, the imaging distance is changed by changing the aperture ratio. Can be changed. That is, by configuring the sensor array so that the aperture ratio of each light receiving sensor is different, the imaging distance of the light receiving sensor having a small aperture ratio is set large, and the imaging distance of the light receiving sensor having a large aperture ratio is set small.
[0087]
Here, the operation and effect of the vehicle camera according to the sixth embodiment will be described.
[0088]
Each of the light receiving sensors is configured such that the opening area occupied as the light detecting area is different depending on the existing portion in the sensor array. Therefore, the opening area occupied as the light detecting area is changed for each detecting direction of each light receiving sensor. Thus, the subject to be detected can be accurately determined without capturing an unnecessary background image.
[0089]
(Seventh embodiment)
Next, as a seventh embodiment of the present invention, FIG. 10 and FIG. 11 show a configuration in which the focus is shifted by changing the feeding amount and the S / N is changed by changing the degree of focusing for each light receiving sensor. It will be described with reference to FIG.
[0090]
In order to form an image of a subject at a finite distance on the light receiving sensor, it is necessary to satisfy a relationship represented by a Newton imaging formula or the like as is well known, and if this relationship is not satisfied, Is in a so-called blurred state, that is, a state in which the incident energy is diffused in a wide range, and the energy density incident on a predetermined pixel is reduced, so that the S / N is reduced.
[0091]
Therefore, by utilizing such a state, it is possible to change the degree of focusing for each pixel constituting the light receiving sensor, thereby changing the imaging distance.
[0092]
In FIG. 10, when the subject 224 forms an
[0093]
The light emitted from the tip of the subject 224 is condensed at one point if the aberration is ignored at a distance that satisfies the Newton imaging formula, and an image without blur is obtained. Light having a very high incident density enters the light receiving sensor. Will be.
[0094]
However, if the
[0095]
As described above, in order to change the degree of focusing for each pixel constituting the light receiving sensor, the position of the pixel in the optical axis direction is changed. Specifically, as shown in FIG. 11, the
[0096]
Here, the operation and effect of the vehicle camera according to the seventh embodiment will be described.
[0097]
Since each of the light receiving sensors or the imaging optical system is configured so that the extension amount differs depending on the location of the sensor in the
[0098]
(Eighth embodiment)
Further, as an eighth embodiment of the present invention, the S / N is changed by changing the extension amount for each pixel to shift the focus and changing the degree of focusing for each light receiving sensor by using micromachine technology. Will be described with reference to FIG.
[0099]
That is, as shown in FIG. 12, a
[0100]
In such a configuration, the
[0101]
As a result, an imaging range as indicated by 205 in FIG. 12 is formed in the entire sensor array.
[0102]
Here, the operation and effect of the vehicle camera according to the eighth embodiment will be described.
[0103]
Since each of the
[0104]
In addition, since the minute displacement means can vary the extension amount by an external input signal, the imaging relationship can be varied for each light receiving sensor by the external input signal, and the detection range can be instantaneously changed according to the state of the vehicle. it can.
[0105]
Although only two
[0106]
Further, in the above embodiment, the
[Brief description of the drawings]
FIG. 1 is an explanatory diagram showing an imaging range of a vehicle camera according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a relationship between a general distance between a camera and a subject and S / N of a light receiving sensor.
FIG. 3 is a diagram illustrating a relationship between a distance between a vehicle camera and a subject and an S / N ratio of a light receiving sensor for explaining a principle according to the first embodiment.
FIG. 4 is a diagram illustrating a sensor array having filters having different light transmittances and an imaging range of the sensor array in the first embodiment.
FIG. 5 is a diagram showing a sensor array having active layers having different thicknesses in a second embodiment of the present invention and an imaging range of the sensor array.
FIG. 6 is a diagram showing a configuration of a thermopile forming a light receiving sensor according to a third embodiment of the present invention.
FIG. 7 is a diagram showing a sensor array formed by combining the light receiving sensors made of the thermopile shown in FIG. 6 and an imaging range thereof.
FIG. 8 is a diagram illustrating a sensor array including a light receiving sensor in which a shunt resistor is connected to each output and an imaging range of the sensor array according to the fourth embodiment of the present invention.
FIG. 9 is a diagram for explaining a principle of changing a critical distance x for each pixel constituting a light receiving sensor by changing a pixel size or an aperture ratio of the light receiving sensor in a sixth embodiment of the present invention.
FIG. 10 is a view for explaining the principle of a configuration in which the S / N is changed by changing the amount of extension to shift the focus and changing the degree of focusing for each light receiving sensor in the seventh embodiment of the present invention. FIG.
FIG. 11 is a diagram showing a sensor array which is arranged to be inclined in order to change a feeding amount in the seventh embodiment shown in FIG. 10 and an imaging range thereof;
FIG. 12 is a diagram showing a sensor array in which a piezo element is provided for each light receiving sensor in order to change a feeding amount in the eighth embodiment of the present invention, and an imaging range thereof.
[Explanation of symbols]
13 Hot junction
14 Cold junction
16 beams
101 Own vehicle
105, 205 imaging range
201 Sensor array
204 Filter
206 Active layer
212 light receiving sensor
213 Piezo element
214 shunt resistor
Claims (13)
車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの撮像距離よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサの撮像距離を大きくするように構成することを特徴とする車両用カメラ。A vehicle camera that has a sensor array and an imaging optical system composed of a plurality of light receiving sensors and captures a background image from the side of the vehicle to the rear side of the vehicle,
Than the imaging distance of the light receiving sensor of the present site of the sensor array to the side of the vehicle and the imaging direction, so as to increase the imaging distance of the light receiving sensor of the present site of the sensor array to the vehicle rear side to the imaging direction A vehicle camera characterized in that:
この熱型赤外線センサにおいて温度によって物性が変化する感熱部と該感熱部以外の部分との熱抵抗が、車両側方を撮像方向とする前記センサアレイ内の存在部位の前記熱型赤外線センサよりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の前記熱型赤外線センサの方が低くするように構成されていることを特徴とする請求項2記載の車両用カメラ。Each of the plurality of light receiving sensors is configured by a thermal infrared sensor that converts incident light energy into heat and detects a temperature of a physical property that is changed by the converted heat,
In this thermal infrared sensor, the thermal resistance of the heat-sensitive part whose physical properties change depending on the temperature and the part other than the heat-sensitive part is higher than that of the thermal infrared sensor in the existing area in the sensor array with the vehicle side being the imaging direction 3. The vehicular camera according to claim 2 , wherein the thermal infrared sensor at an existing position in the sensor array whose rearward direction is the imaging direction is lower .
車両側方を撮像方向とする前記センサアレイ内の存在部位の前記熱型赤外線センサの梁の熱抵抗よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の前記熱型赤外線センサの梁の熱抵抗の方が低くするように構成されていることを特徴とする請求項3記載の車両用カメラ。The thermal infrared sensor has a thermal isolation structure in which a heat-sensitive portion and a portion other than the heat-sensitive portion are connected by a beam,
The thermal infrared of the existing portion of the sensor array whose image capturing direction is on the rear side of the vehicle, than the thermal resistance of the beam of the thermal infrared sensor at the existing portion of the sensor array whose image capture direction is on the side of the vehicle. The vehicle camera according to claim 3, wherein a thermal resistance of a beam of the sensor is configured to be lower .
車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサに接続された抵抗値よりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサに接続された抵抗値を低くするように構成されていることを特徴とする請求項8記載の車両用カメラ。Each of the plurality of light receiving sensors has a resistor connected in series to the output,
Rather than the resistance value connected to the light receiving sensor of the existing portion in the sensor array whose image capturing direction is on the side of the vehicle, the resistance value is connected to the light receiving sensor of the existing portion in the sensor array whose image capturing direction is on the rear side of the vehicle. 9. The vehicular camera according to claim 8, wherein the resistance value is reduced .
該微小変位手段によって、車両側方を撮像方向とする前記センサアレイ内の存在部位の受光センサよりも、車両後側方を撮像方向とする前記センサアレイ内の存在部位の受光センサを撮像方向に繰り出すように構成されていることを特徴とする請求項11記載の車両用カメラ。Each of the plurality of light receiving sensors has a light receiving sensor or a minute displacement means connected to a light receiving area of the light receiving sensor,
By the minute displacement means, the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the rear side of the vehicle in the image capturing direction, rather than the light receiving sensor of the existing part in the sensor array whose image capturing direction is on the side of the vehicle. The vehicle camera according to claim 11, wherein the vehicle camera is configured to be extended .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12602799A JP3551831B2 (en) | 1999-05-06 | 1999-05-06 | Vehicle camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP12602799A JP3551831B2 (en) | 1999-05-06 | 1999-05-06 | Vehicle camera |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000314620A JP2000314620A (en) | 2000-11-14 |
JP3551831B2 true JP3551831B2 (en) | 2004-08-11 |
Family
ID=14924892
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP12602799A Expired - Fee Related JP3551831B2 (en) | 1999-05-06 | 1999-05-06 | Vehicle camera |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3551831B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4661339B2 (en) * | 2005-05-11 | 2011-03-30 | マツダ株式会社 | Moving object detection device for vehicle |
JP6291280B2 (en) * | 2014-02-19 | 2018-03-14 | 株式会社豊田中央研究所 | Object detection device and distance measurement device |
US11333743B2 (en) | 2017-07-24 | 2022-05-17 | Koito Manufacturing Co., Ltd. | Lamp device, sensor system, and sensor device |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2638249B2 (en) * | 1990-03-17 | 1997-08-06 | トヨタ自動車株式会社 | Vehicle distance detection device |
JP3387168B2 (en) * | 1993-09-10 | 2003-03-17 | 株式会社デンソー | Optical position detector |
JPH07115643A (en) * | 1993-10-19 | 1995-05-02 | Toyota Motor Corp | On-vehicle image pickup device |
-
1999
- 1999-05-06 JP JP12602799A patent/JP3551831B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000314620A (en) | 2000-11-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102444733B1 (en) | Imaging devices and electronic devices | |
JP4946313B2 (en) | Imaging device | |
US6987258B2 (en) | Integrated circuit-based compound eye image sensor using a light pipe bundle | |
US8558940B2 (en) | Image sensor and image-capturing device | |
JP6957162B2 (en) | Distance measuring device and moving object | |
JP5737971B2 (en) | Solid-state imaging device and camera | |
CN102396066B (en) | Solid-state image sensing apparatus | |
JP4983271B2 (en) | Imaging device | |
JPWO2017169479A1 (en) | IMAGING ELEMENT AND IMAGING DEVICE | |
WO2017150553A1 (en) | Image pickup device | |
JPH07504279A (en) | Combined array of photometric and distance measuring elements | |
CN101256261B (en) | Focus detecting device | |
JP3551831B2 (en) | Vehicle camera | |
JP2014239290A (en) | Focus detection apparatus, electronic apparatus, manufacturing apparatus, and manufacturing method | |
JP2022177056A5 (en) | Imaging element and imaging device | |
JP2008176114A (en) | Focus detecting device and imaging apparatus | |
JP4384288B2 (en) | Focus detection device | |
JP2005300992A (en) | Device for detecting focal point | |
US20160173834A1 (en) | Plasmonic polarization-sensitive image sensor | |
US20040190890A1 (en) | Photometer, image sensing device, photometric method, program and recording medium | |
JP5220375B2 (en) | Imaging apparatus and imaging apparatus having the same | |
EP1882966B1 (en) | Focus detection apparatus | |
JP2021001950A (en) | Imaging device and control method therefor, program, and storage medium | |
JP2014235237A (en) | Focus detection device and focus adjustment device | |
JP6724975B2 (en) | Imaging device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20031211 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040120 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040406 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040419 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090514 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100514 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |