JPH1075397A - 半導体イメージセンサ - Google Patents

半導体イメージセンサ

Info

Publication number
JPH1075397A
JPH1075397A JP8229643A JP22964396A JPH1075397A JP H1075397 A JPH1075397 A JP H1075397A JP 8229643 A JP8229643 A JP 8229643A JP 22964396 A JP22964396 A JP 22964396A JP H1075397 A JPH1075397 A JP H1075397A
Authority
JP
Japan
Prior art keywords
image sensor
resolution
vertical
semiconductor image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8229643A
Other languages
English (en)
Other versions
JP3832902B2 (ja
Inventor
Chiaki Aoyama
千秋 青山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP22964396A priority Critical patent/JP3832902B2/ja
Priority to US08/919,890 priority patent/US6320618B1/en
Publication of JPH1075397A publication Critical patent/JPH1075397A/ja
Application granted granted Critical
Publication of JP3832902B2 publication Critical patent/JP3832902B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14601Structural or functional details thereof
    • H01L27/14609Pixel-elements with integrated switching, control, storage or amplification elements
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures
    • H01L27/14643Photodiode arrays; MOS imagers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/533Control of the integration time by using differing integration times for different sensor regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/702SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/745Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/1506Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements
    • H04N3/1512Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation with addressing of the image-sensor elements for MOS image-sensors, e.g. MOS-CCD
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/14Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices
    • H04N3/15Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by means of electrically scanned solid-state devices for picture signal generation
    • H04N3/155Control of the image-sensor operation, e.g. image processing within the image-sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

(57)【要約】 【課題】 同一の基板上に形成された解像度の異なる領
域を有する半導体イメージセンサによって車両遠方から
車両近傍に至るまでの情景に対応して画像データを読み
取り、不必要な画像データの取り込みをなくして画像デ
ータ処理負担の軽減を図ると共に、効果的な車両前方監
視用の画像表示を可能とする安価な半導体イメージセン
サを実現することを目的とする。 【解決手段】 同一の基板上に多数の受光素子が二次元
的に配列され、一の受光素子からの出力を一の画素出力
として画像信号を形成するように構成されており、特に
基板上における受光素子の大きさ、配列密度を所定の部
分ごとに変えて同一平面上において異なる解像度領域を
有するように構成されている。特に車両前方監視用セン
サとして構成する場合には、解像度の異なる領域を水平
方向に分割し、車両フロントからの風景に対応して、遠
方情景に対応するセンサ画像上部を高解像度領域とし、
近傍情景に対応するセンサ画像下部ほど解像度を荒くし
て低解像度領域とした撮像デバイスにしている。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は多数の受光素子を
二次元的に配列して画像形成を行う半導体イメージセン
サに関し、さらに詳しくいえば、自動車等の車両に搭載
され、その車両の位置を基準として、車両前方の建造物
や先行車両等を含む前方環境を認識する車両前方監視用
半導体イメージセンサに関する。
【0002】
【従来の技術】車両前方監視センサは、これにより遠方
から近傍まで連続的に続く白線を検出して車両の操舵制
御を行ったり、道路構造物、先行車両等を含む前方環境
を認識して車両の制動制御を行う場合など、自動車の自
動運転システム等において使用される。この車両前方監
視センサによって、特に高速道路において障害物を監視
しようとした場合、車両の目前から二百数十メートル先
までの対象物を判定することができなくてはならない
が、そのためには非常に解像度の高い撮像素子を使った
カメラ等が必要であった。
【0003】このため、従来は二つの一般的なテレビカ
メラを用い、一方は遠方監視用として望遠レンズを使用
して遠方を細かく検知し、もう一方は近傍監視用として
通常レンズを用いたカメラを使用して広視野角で検知
し、二つのカメラの併用よって前方を監視するといった
方法や、ハイビジョン用カメラの高解像度を利用して遠
方及び近傍を同時に監視するといった方法等が採用され
ていた。
【0004】
【発明が解決しようとする課題】しかしながら、このよ
うな従来方法に使用されるカメラはいずれも極めて高価
であってハードウェアコストがかかりすぎるという問題
があり、また、ハイビジョン用カメラ等の高解像度を利
用して遠方及び近傍を同時に監視する方法にあっては、
遠方の監視には適しているが、車両近傍の物体について
は検索する領域も増えることで画像処理時間も増えるだ
けでなく、必要な画像形成を行う上において不必要なデ
ータも多量に取り込むこととなり、画像処理上、大きな
負担となるという問題があった。
【0005】ところで、監視する対象物によっては全て
を同じ解像度で画像形成する必要のないものもあるし、
特に解像度を高くして詳細な画像を必要とする場合もあ
る。例えば、車両のフロントに設置された車両用前方監
視カメラの場合には、図1に示すように、カメラにより
撮像される情景の画像上方部ほど道路の遠方に対応し、
カメラにより撮像される画像下方部ほど車両の目前の道
路等に対応している。従って、遠方情景に対応する画像
上方部を高解像度で撮像できるようにし、近傍情景に対
応する画像下方部を低解像度で撮像できるようにすれ
ば、必要な画像形成を行いつつ取り込むデータをより少
なくすることができ、画像処理負担を軽減することがで
きるだけでなく、より安価な前方監視用カメラを作成す
ることも可能である。
【0006】本発明はこのような観点よりなされたもの
であり、同一基板上に形成された解像度の異なる領域を
有する半導体イメージセンサによって、車両遠方から車
両近傍に至るまでの必要最小限の画像データを読み取
り、安価で効果的な車両前方監視用の画像表示を可能と
するとともに、不必要な画像データの取り込みをなくし
て画像データ処理負担の軽減された半導体イメージセン
サを実現することを目的とするものである。
【0007】
【課題を解決するための手段】この目的を達成するた
め、本発明に係る半導体イメージセンサは同一基板上に
異なる解像度を有する領域を設けて構成されている。特
にその構成例として第1の半導体イメージセンサは同一
の基板上に多数の受光素子が二次元的に配列され、一の
受光素子からの出力を一の画素出力として画像信号を形
成するように構成されており、基板上における受光素子
の大きさ、配列密度を所定の部分ごとに変えて同一平面
上において異なる解像度領域を有するように構成されて
いる。このような構成にすれば、例えば、画像中央部の
重要な部分は高解像度で表示し、その他はより低い解像
度で表示することができるなど、不必要な画像データの
取り込みを少なくした効果的な画像信号を得ることがで
きるだけでなく、全体として画像処理負担の軽減も図る
ことができる。
【0008】本発明に係る第2の半導体イメージセンサ
はその構成を第1の半導体イメージセンサと同じくする
が、解像度の異なるセンサ領域を水平方向に複数に分割
し、センサにより撮像される遠方画像に当たる部分(図
1の画像上方部)を高解像度領域とし、近景画像に当た
る部分(図1の画像下方部)ほど解像度を荒くしてい
き、低解像度領域としている。
【0009】このような構成とすれば、この半導体イメ
ージセンサを車両前部に配設し車両前方監視用センサに
使用した場合には、例えばセンサ上部(センサ下部でも
よい)を遠方用監視センサ領域として遠方に存在する小
さな対象物を高解像度で検知し、センサ中央部及びセン
サ下部(上部でもよい)においては前方数十メートルか
ら車両目前までの道路上の比較的大きな対象物を中度か
ら低度の解像度で検出して画像表示することができるた
め、センサが必要以上に多量のデータを取り込むことが
なくなり、画像処理負担の軽減を図りつつ必要な画像を
得ることができる。
【0010】本発明に係る第3の半導体イメージセンサ
は、前記第1及び第2の半導体イメージセンサにおい
て、異なる解像度領域ごとにそれぞれ独立したシャッタ
ースピードコントロール回路を設けて構成されている。
【0011】このような構成にすると、例えば、センサ
受光部の高解像度領域が遠方情景を監視するように設定
されている場合には、車両走行中の遠方情景はゆっくり
変化するため高解像度領域のシャッター時間を比較的長
く設定し、画素感度の低い遠方情景に対する感度を確保
することができ、一方、近傍の対象物ほど情景変化が速
いため低解像度領域のシャッタ時間を短くして、画像の
鮮明度を確保するなど、各解像度領域ごとにシャッター
速度を可変して露光時間を調節することができる。な
お、このような露光時間の調整は異なる解像度領域毎に
それぞれ独立したクロック発生回路を設けることにより
フレーム時間を調節することによっても達成することが
できる。
【0012】本発明に係る第4の半導体イメージセンサ
は、異なる解像度領域を有する第1から第3の半導体イ
メージセンサにおいて、少なくとも高解像度領域の画像
信号を形成する画素出力を部分的に取り出し可能な回路
を設けて構成されている。高解像度領域から読み出され
る画像情報(画素出力の集合)は、その情報量が極めて
大きくなるが、場合によっては、高解像度領域から得ら
れる画像情報の全てを使用して画像形成する必要がない
場合もある。このような構成にしておけば、適正な画素
出力だけを選択して画像データとし、部分的に画像表示
することができるとともに画像処理負担も同時に軽減す
ることができる。
【0013】本発明に係る第5の半導体イメージセンサ
は、異なる解像度領域を有する第1から第4の半導体イ
メージセンサにおいて、少なくとも高解像度領域におけ
る隣接した複数個の受光素子からの画素出力をまとめ
て、一の画素出力とする回路を設けて構成されている。
このような構成にすると、特に高解像度を必要としない
場合には、画像情報量を少なくすることができ、画像処
理負担を軽減させることができると共に、イメージセン
サ全体の画像を同一解像度の画像として表示させること
もできる。
【0014】
【発明の実施の形態】以下、本発明の実施の形態を図面
を用いて説明する。図2はMOS形撮像デバイスを用い
て構成した本発明に係る第1の半導体イメージセンサの
構成図である。無数の画素2が同一平面上に整然と配列
され、画素アレイ1が形成されている。画素アレイ1上
部(図面上部)は画素密度がアレイ下部より4倍ほど高
く、アレイ上部が高解像度領域101を形成し、アレイ
下部が低解像度領域103を形成している。そして、両
領域を含んで単一基板上に形成された半導体イメージセ
ンサの撮像デバイスを構成している。なお、画素2は画
素2を選択するための垂直選択線16と出力信号を取り
出す垂直信号線15に接続されている。
【0015】画素2は図3に示すようにフォトダイオー
ド21と垂直スイッチング用のMOSトランジスタ22
により構成されており、フォトダイオード21のアノー
ドが接地されるとともにそのカソードがMOSトランジ
スタ22のソースに接続され、MOSトランジスタ22
のドレインが出力としての垂直信号線15に接続されて
いる。そして、そのゲートが垂直選択線16に接続さ
れ、垂直選択線16を通して供給される選択パルスによ
り垂直スイッチング用のMOSトランジスタ22のチャ
ンネル開閉が制御される。
【0016】垂直信号線15の一端は水平スイッチング
用のMOSトランジスタ14のソースに接続され、MO
Sトランジスタ14のソース−ドレイン間を介して垂直
信号線15が映像出力線13に接続されている。水平ス
イッチング用のMOSトランジスタ14のゲートは水平
選択線17に接続されており、水平選択線17を通して
供給される走査パルスによりMOSトランジスタ14の
スイッチングが制御される。
【0017】画素2の数は表示しようとする画面の大き
さ、求める画像の解像度によっても異なるが通常、低解
像度であっても数百×数百の単位で構成される。従っ
て、画素選択のために配設される垂直選択線16、水平
選択線17の数は画素2と同じくそれぞれが数百本ずつ
必要とされる。この垂直選択線16及び水平選択線17
の選択のために供給されるパルスは二つのシフトレジス
タ(水平シフトレジスタ11、垂直シフトレジスタ1
2)から出力されるが、二つのシフトレジスタは共に連
関した二つのクロック(Hクロック、Vクロック)に同
期して作動するため、出力パルスは共にクロック同期し
たものである。
【0018】以上のように構成された半導体イメージセ
ンサの動作を以下に説明する。垂直シフトレジスタ12
は垂直スタートパルスが入力された後、Vクロックに同
期して選択パルス(データ読み込み用)を発生させ、こ
の選択パルスを画素アレイ1の各行(垂直選択線16)
に順番に印加(垂直走査)していく。
【0019】この選択パルスが垂直選択線16に接続さ
れる垂直スイッチング用のMOSトランジスタ22のゲ
ートに供給され、そのパルスが供給されている間、MO
Sトランジスタ22が導通し、対象物からの反射光を受
けてフォトダイオード21に蓄積されていた信号電荷が
垂直信号線15に送られる。なお、このとき垂直選択線
16の選択パルスが印加されていない画素2のフォトダ
イオード21はそのまま電荷の蓄積を続けている。
【0020】水平シフトレジスタ11は水平スタートパ
ルスが入力された後、Hクロックに同期して、走査パル
ス(データ読み出し用)を発生させ、この走査パルスを
水平スイッチング用のMOSトランジスタ14のゲート
に印加する。この走査パルスの印加により、水平スイッ
チング用のMOSトランジスタ14が順次、導通してい
くと、垂直信号線15に一時的に蓄えられていた信号電
荷が順次、映像出力線13に移り、映像出力線13の出
力端から時系列の映像信号として取り出される。
【0021】このような走査型の半導体イメージセンサ
では、一般に選択パルスが一つの垂直選択線16を選択
している間に、水平スイッチング用のMOSトランジス
タ14の全てが一度、走査パルスによって選択され、画
素アレイ1の一行の画素出力が垂直信号線15を介して
映像出力線13に出力される。選択パルスによって垂直
選択線16が垂直方向に垂直走査されていくに従い、一
画面の画像データを全て映像出力線13に出力する。
【0022】このとき、垂直信号線15に信号電荷が移
送された直後に映像出力線13に出力できるように走査
パルスと選択パルスがコントロールされているだけでな
く、低解像度領域103では、高解像度領域101の走
査パルス周期より2倍長い周期の走査パルス間隔となっ
て、一行(一つの選択線16)の選択時間中の走査パル
ス数を高解像度領域101における走査パルス数と同じ
くし、不必要な画像データの取り込みが行われないよう
に構成されている。
【0023】ところで、第4図に示すように異なる解像
度領域毎に、それぞれ異なる画像データの読み込み、読
み出しを行うコントロール回路(垂直シフトレジスタ1
1a、11b垂直シフトレジスタ12a,12b及び水
平スイッチング用MOSトランジスタ14a,14b
等)を設けて構成することも可能であり、このように構
成すれば、低解像度領域103における選択時間や走査
時間を高解像度領域101におけるそれらと同じく高速
にすることができ、画像データ収集の時間を短くするこ
とができる。
【0024】以上は撮像デバイスの画素アレイ1を水平
方向に2分割した場合について説明したが、本願発明は
水平方向の分割に限られるものではなく、また2分割の
場合に限らず多分割することも可能である。しかし、車
両搭載用の前方監視センサでは、高速道路等における監
視対象として図1に示すような情景が多く、このため本
発明にかかる第2の半導体イメージセンサでは図5に示
すごとく、画素アレイ1を水平方向に3分割し、画素ア
レイ1上部を遠方監視用として高解像度領域101と
し、前方数十メートル先を中近傍用の中解像度領域10
2とし、監視領域の広い車両目前を低解像度領域103
とし、全体として一つの撮像デバイスを構成している。
このように構成すると、画像表示の鮮明度を確保しつつ
画像処理負担の軽減を図る上から極めて効果的である。
【0025】第6図は本発明に係る第3の半導体イメー
ジセンサに関する実施の態様であり、異なる2つの解像
度領域を有する半導体イメージセンサの異なる解像度領
域毎にそれぞれ独立したシャッタースピードコントロー
ル回路を設けた場合の構成図である。これは水平シフト
レジスタ11の出力である水平選択線17と、水平スイ
ッチング用のMOSトランジスタ14aのゲートとの間
に、水平選択線17と同数の2入力オア回路32を設
け、オア回路32の一方の入力に水平選択線17を接続
し、他方の入力に信号電荷の放出時間を設定するシャッ
タスピード設定回路321の出力を接続して構成されて
いる。
【0026】また、画素アレイ1の垂直方向に関しても
同様に、垂直シフトレジスタ12の出力である垂直選択
線のうち高解像度領域101に対応する垂直選択線16
0と垂直スイッチング用MOSトランジスタ22(図3
参照)の間に、垂直選択線160の数と同数の2入力オ
ア回路32を設け、オア回路32の一方の入力に高解像
度領域101に対応する垂直選択線160を接続し、他
方の入力に前記シャッタースピード設定回路32の出力
を接続して構成されている。また、映像出力線13の出
力端にはアナログスイッチ131が設けられており、通
常は映像出力線13を出力端に導通させておき、シャッ
タスピードコントロール回路が作動されたときには、シ
ャッタスピード設定回路321の出力パルス(露光制御
パルス)に同期して、信号電荷の放出時間だけアナログ
スイッチ131がグランド側に接続される。
【0027】低解像度領域103についても全く同様な
構成でシャッタスピードコントロール回路が設けられて
おり、シャッタスピード設定回路321、オア回路33
及びアナログスイッチ132もそれぞれ異なる領域毎に
独立に設けられていることから、これらシャッタスピー
ドコントロール回路はそれぞれ異なる解像度領域毎に独
立して作動させることがが可能である。
【0028】このような構成にすると、垂直スイッチン
グ用のMOSトランジスタ22のゲート及び水平スイッ
チング用のMOSトランジスタ14のゲートにそれぞれ
供給される選択パルス及び走査パルスに代わって、露光
制御パルスをシャッタースピード設定回路321又は同
332から直接かつ同時に各ゲートに供給することがで
き、各画素2に蓄積されていた信号電荷を全て撮像デバ
イス外に放出させることができるため、新たな露光時間
を設定することができる。このため、走行中の画像変化
の相対速度に対応して、シャッター時間(すなわち露光
時間)を長くしたり短くしたりすることもでき、画素感
度を自由に変更することができる。
【0029】例えば、車両走行中に画素アレイ1の上部
高解像度領域101が遠方情景の監視用に設定されてい
る場合には、遠方情景は車両から見るとゆっくり変化す
るため、露光時間を長くし、画素感度が低下する高解像
度領域101の遠方情景に対するデータ取り込み感度を
確保したり、近傍情景は車両から見ると速く変化するた
め露光時間を短くして、画像の鮮明さを確保するしたり
することができる。
【0030】なお、このようなシャッタスピードコント
ロール回路は、前述のようなシャッタスピード設定回路
321、332や多数のオア回路32、33等を設ける
ことなく、他の方法によっても実現することができる。
例えば、第4図に示すように、異なる解像度毎にクロッ
ク発生回路18、19とこのクロック信号によってシフ
トレジスタを制御する制御回路30、31を設け、この
制御信号によって異なる解像度毎にフレーム時間を変更
してもよい。
【0031】第7図は画素アレイ1の高解像度領域10
1における画像信号を形成する画素出力を部分的に取り
出すことができるようにした本発明に係る第4の半導体
イメージセンサの実施例である。この実施例における画
像信号の部分取出回路は上述してきた半導体イメージセ
ンサに、水平シフトレジスタ選択回路41と映像出力線
13上に配設された出力選択回路42とを設けて構成さ
れている。
【0032】例えば、画像データを形成するデバイスで
ある画素アレイ1は垂直方向、水平方向共に数百単位の
画素数を有して構成されている場合が多いが、この場合
には画素列を選択する走査パルスを発生させる水平シフ
トレジスタ11は1つの選択時間(1つの垂直選択線が
選択されている時間)を数百に時分割して水平選択線1
7を選択する走査パルスを発生させる必要がある。この
場合、水平シフトレジスタ11を1つの連続した大レジ
スタとして構成するのではなく、例えば50進の小シフ
トレジスタを111から11nまで直列に接続して、通
常は全体として1つの水平シフトレジスタ11が形成さ
れるように構成しておく。
【0033】このように構成しておくと、高解像度領域
101の一部の画像のみを拡大表示させたいような場合
には、対応する画素アレイ1の水平選択線17に走査パ
ルスを供給する小シフトレジスタ(例えば112〜11
9までのシフトレジスタ)のみを水平シフトレジスタ選
択回路41によって選択し、この小シフトレジスタによ
って選択される垂直信号線15の画素出力信号のみを映
像出力線13に出力できるようにすることができる。
【0034】この場合、水平選択線17の全てを走査し
ながら、必要な小シフトレジスタ(例えば112〜11
9)によって選択される水平選択線17に対応した垂直
信号線15の画素出力信号のみを出力選択回路42によ
って選択して出力することもできるし、また、時間短縮
のために、水平シフトレジスタ選択回路41によって選
択された小シフトレジスタ(112〜119)の間での
み走査して部分画像データを形成する画素出力信号のみ
を映像出力線13に出力することもできる。
【0035】このように構成しておけば、例えばトンネ
ル内を走行している場合のように、情報量の大きい高解
像度領域101からの画素データ出力の全てを使用して
画像形成する必要がなく、必要な一部分の画像のみを表
示させたい場合においては、適正な画素データ出力のみ
を選択処理して映像出力線13に出力することができる
ため、画像処理負担の軽減を図ることができる。
【0036】第8図は、特に山道走行中であって、前方
に山が迫っている場合のように、特に高解像度を必要と
しない場合において、高解像度領域101の隣接した4
個の画素出力を一にまとめて1画素出力とすることがで
きるようにした本発明の係る第5の半導体イメージセン
サを示すものである。この半導体イメージセンサは水平
シフトレジスタ11の出力である隣接する2本の水平選
択線17と、それぞれの水平選択線17に対応する2つ
の水平スイッチング用のMOSトランジスタ14のゲー
トとの間に1つの水平選択線結合回路52を設け、全体
として水平選択線17の数の半数の水平選択線結合回路
52を配置して構成されている。
【0037】また、画素アレイ1の垂直方向に関しても
同様に、垂直シフトレジスタ12の出力である高解像度
領域101の隣接する2本の垂直選択線16と、それぞ
れの垂直選択線16に対応する2つの垂直スイッチング
用MOSトランジスタ22(図3参照)のゲートとの間
に1つの垂直選択線結合回路51を設け、全体として高
解像度領域101の垂直選択線16の数の半数の垂直選
択線結合回路51を垂直シフトレジスタ12に沿って配
置して構成されている。
【0038】一の垂直選択結合回路51の構成を第9図
に示す。垂直選択結合回路51は3つのオア回路と1つ
のアンド回路によって構成されている。垂直シフトレジ
スタ12の出力線である垂直選択線16のうち、隣接す
る2本の垂直選択線16a,16bがオア回路52の入
力に接続され、その出力がアンド回路53の一方の入力
に接続されている。アンド回路53の他方の入力には解
像度の変更を制御する解像度選択回路50からの制御信
号が入力される。そして、このアンド回路53の出力と
垂直選択線16aの選択パルスとの論理和(オア回路5
4)取られ、その出力が垂直選択線16aの代わりに新
たな垂直選択線16a’として元の垂直選択線16aに
対応した垂直スイッチング用MOSトランジスタ22の
ゲートに供給される。
【0039】さらに、アンド回路53の出力はオア回路
55の入力にも接続され、アンド回路53の出力と垂直
選択線16bの選択パルスとの論理和も取られ、その出
力が垂直選択線16bの代わりに新たな垂直選択線16
b’としてもとの垂直選択線16bに対応した垂直スイ
ッチング用MOSトランジスタ22のゲートに供給され
ている。水平選択線結合回路52も全く同様の構成であ
り、この回路52は水平シフトレジスタ11と水平スイ
ッチング用のMOSトランジスタ14のゲートとの間に
配設されて構成されている。
【0040】このように構成された選択線結合回路5
1、52の動作を説明する。通常通り、高解像度を選択
しておく場合には解像度選択回路50の出力は低レベル
のままであり、従って、アンド回路53の出力は常に低
レベルである。このため、垂直シフトレジスタ12から
垂直選択線16a、16bに供給される選択パルスは、
それぞれオア回路54、55を通って直接垂直スイッチ
ング用MOSトランジスタ22に供給される。
【0041】2つの選択パルスがそれぞれの選択線16
a、16bにシフトした状態で供給される場合には、こ
の2本の選択線によって映像出力線13に2つの画素デ
ータを含む出力が得られることになる。この動作は水平
シフトレジスタ11側においても同様であり、結局、互
いにシフトした2つの選択パルス及び走査パルスがそれ
ぞれの選択線16、17に供給される場合には、この4
本の選択線によって映像出力線13に4つの画素データ
を含む出力が得られることになる。
【0042】今、高解像度を必要としない場合には、解
像度選択回路50の出力をハイレベルにセットする。す
るとアンド回路53はゲートとして常に解放されたまま
となり、垂直選択線16aに生じた選択パルスは選択線
16aと16bを同時に選択することになる。また、時
間が経過して垂直シフトレジスタ12がシフトし、垂直
選択線16bに選択パルスが生じても同じく16aと1
6bを同時に選択することになる。従って、垂直信号線
15にはただ1つの画素データ信号のみが出力される。
【0043】この画素データ信号を映像出力線13に出
力するための水平選択線17に生じる走査パルスについ
ても同様であり、従って、隣接する4つの画素からはた
だ1つの画素データを含む出力が得られることになる。
なお、本実施例では隣接する4つの画素2から1つの画
素出力を得る場合について説明したが、4つとは限らず
9画素から1出力を得ることもでき、さらに任意に構成
することも可能である。
【0044】このような構成にすると、高解像度領域1
01の画素出力を隣接する画素ごとにまとめて出力する
ことができるため、特に高解像度の画像を必要としない
場合には、画像処理負担の軽減を図ることができる。ま
た、高解像度領域101を低解像度領域103の4倍の
解像度を有するように構成している場合には、4つの隣
接する画素をまとめて1つの画素出力が得られるように
すれば、半導体イメージセンサ全体の画像を同一解像度
の画像として表示することができる。
【0045】
【発明の効果】このように、同一基板上に解像度の異な
る領域を形成した半導体イメージセンサとすれば、不必
要な情報を除外しつつ、安価な構成で効果的な画像処理
が可能なイメージセンサを構成することができる。特に
本発明に係る半導体イメージセンサを車両前方監視セン
サとして使用する場合には、センサを道路遠方の景色等
に対応する部分と、車両目前の道路画像に対応する部分
とに分け、道路遠方部に対応する部分を高解像度領域と
し、目前の景色に対応する部分に行くに従って低解像度
領域となるようにすることにより、安価な構成で効果的
な画像表示を可能としたイメージセンサを提供すること
ができる。その結果、センサが必要以上に画像データを
取り込む必要がなくなり、画像処理負担の軽減されたイ
メージセンサとすることができる。
【図面の簡単な説明】
【図1】車両監視用センサが取り込む典型的な画像の一
例である。
【図2】本発明に係る第1の半導体イメージセンサの構
成図である。
【図3】MOS形半導体イメージセンサの一画素の構成
を示す拡大図である。
【図4】本発明のかかる第1の半導体イメージセンサの
他の構成を示す構成図である。
【図5】本発明に係る半導体イメージセンサの画素アレ
イを水平方向に3分割した場合の画像構成例である。
【図6】本発明に係る半導体イメージセンサにシャッタ
ースピードコントロール回路を設けた場合の構成図であ
る。
【図7】本発明に係る半導体イメージセンサに画像の部
分取出回路を設けた場合の構成図である。
【図8】複数の画素出力をまとめて一の画素出力とする
ことができる回路を設けた本発明に係る半導体イメージ
センサの構成図である。
【図9】一の選択線結合回路の構成例を示す図である。
【符号の説明】
1 画素アレイ 2 画素 11 水平シフトレジスタ 12 垂直シフトレジスタ 13 映像出力線 14 水平スイッチング用MOSトランジスタ 15 垂直信号線 16 垂直選択線 17 水平選択線 18、19 クロック発生回路 21 フォトダイオード 22 垂直スイッチング用MOSトランジスタ 101 高解像度領域 102 中解像度領域 103 低解像度領域

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 同一基板上において異なる解像度領域を
    設けたことを特徴とする半導体イメージセンサ。
  2. 【請求項2】 同一基板上に多数の受光素子を二次元的
    に配列し、前記一の受光素子からの出力を一の画素出力
    として画像信号を形成する半導体イメージセンサであっ
    て、前記同一基板上における前記受光素子の配列密度を
    変えることにより同一平面上において異なる解像度領域
    を有するように構成したことを特徴とする請求項1に記
    載の半導体イメージセンサ。
  3. 【請求項3】 水平方向に分割された前記異なる解像度
    領域を有し、遠方情景を撮像する受光部分を高解像度領
    域とするとともに、近傍情景を撮像する受光部分になる
    に従い低解像度領域にしていくことを特徴とする請求項
    1又は請求項2に記載の半導体イメージセンサ。
  4. 【請求項4】 前記異なる解像度領域毎にそれぞれ独立
    したシャッタースピードコントロール回路を設けたこと
    を特徴とする請求項1から請求項3のいずれかに記載の
    半導体イメージセンサ。
  5. 【請求項5】 前記異なる解像度領域毎にクロック発生
    回路を設けたことを特徴とする請求項1から請求項3の
    いずれかに記載の半導体イメージセンサ。
  6. 【請求項6】 少なくとも前記高解像度領域における画
    像信号を形成する画素出力を部分的に取り出すことので
    きる回路を設けたことを特徴とする請求項1から請求項
    5のいずれかに記載の半導体イメージセンサ。
  7. 【請求項7】 前記高解像度領域における隣接した前記
    受光素子からの出力を複数個まとめて一の画素出力とす
    る回路を設けたことを特徴とする請求項1から請求項6
    のいずれかに記載の半導体イメージセンサ。
JP22964396A 1996-08-30 1996-08-30 半導体イメージセンサ Expired - Fee Related JP3832902B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP22964396A JP3832902B2 (ja) 1996-08-30 1996-08-30 半導体イメージセンサ
US08/919,890 US6320618B1 (en) 1996-08-30 1997-08-28 Semiconductor image sensor with a plurality of different resolution areas

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22964396A JP3832902B2 (ja) 1996-08-30 1996-08-30 半導体イメージセンサ

Publications (2)

Publication Number Publication Date
JPH1075397A true JPH1075397A (ja) 1998-03-17
JP3832902B2 JP3832902B2 (ja) 2006-10-11

Family

ID=16895422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22964396A Expired - Fee Related JP3832902B2 (ja) 1996-08-30 1996-08-30 半導体イメージセンサ

Country Status (2)

Country Link
US (1) US6320618B1 (ja)
JP (1) JP3832902B2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006244218A (ja) * 2005-03-04 2006-09-14 Toshiba Matsushita Display Technology Co Ltd センサ内蔵表示装置
JP2006310489A (ja) * 2005-04-27 2006-11-09 Denso Corp 車載撮像モジュール
JP2007184814A (ja) * 2006-01-10 2007-07-19 Seiko Epson Corp 撮像素子及び撮像装置
JP2007538440A (ja) * 2004-05-25 2007-12-27 シーメンス アクチエンゲゼルシヤフト 自動車の監視ユニット並びに支援システム
JP2008172506A (ja) * 2007-01-11 2008-07-24 Nec Corp イメージセンサ
WO2009148054A1 (ja) * 2008-06-06 2009-12-10 浜松ホトニクス株式会社 固体撮像装置
JP2010183281A (ja) * 2009-02-04 2010-08-19 Sumitomo Electric Ind Ltd 車載用撮影装置及び車両の安全対策方法
JP2013098817A (ja) * 2011-11-02 2013-05-20 Ricoh Co Ltd 画像処理装置
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
JP2019032540A (ja) * 2016-08-12 2019-02-28 パナソニックIpマネジメント株式会社 撮像装置
JPWO2019123840A1 (ja) * 2017-12-19 2020-11-19 パナソニックIpマネジメント株式会社 撮像装置、撮像システム、および表示システム
WO2022075133A1 (ja) * 2020-10-08 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 撮像装置、情報処理装置、撮像システム及び撮像方法

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3918248B2 (ja) * 1997-09-26 2007-05-23 ソニー株式会社 固体撮像素子およびその駆動方法
US6580455B1 (en) * 1998-05-05 2003-06-17 Pixart Technology, Inc. High definition image sensor
TW475330B (en) * 1999-10-29 2002-02-01 Hewlett Packard Co Photosensor array with multiple different sensor areas
US7092021B2 (en) * 2000-02-22 2006-08-15 Micron Technology, Inc. Frame shuttering scheme for increased frame rate
US6639694B1 (en) * 2000-09-05 2003-10-28 Umax Data Systems Inc. Imaging apparatus with divers resolution
US7365779B2 (en) * 2000-09-14 2008-04-29 Fujitsu Ten Limited Image processing apparatus for selectively storing specific regions of an image
US6894812B1 (en) * 2000-10-31 2005-05-17 Hewlett-Packard Development Company, L.P. Photosensor assembly with shared structures
US7088394B2 (en) * 2001-07-09 2006-08-08 Micron Technology, Inc. Charge mode active pixel sensor read-out circuit
SE523681C2 (sv) 2002-04-05 2004-05-11 Integrated Vision Prod System och sensor för avbildning av egenskaper hos ett objekt
US6891146B2 (en) * 2002-07-30 2005-05-10 Hewlett-Packard Development Company, L.P. Photosensor assembly with shared charge transfer registers
US20040105011A1 (en) * 2002-12-02 2004-06-03 Yin-Chun Huang Photographic device with short total trace
US7339216B1 (en) 2003-01-31 2008-03-04 Foveon, Inc. Vertical color filter sensor group array with full-resolution top layer and lower-resolution lower layer
US7388693B2 (en) * 2003-02-28 2008-06-17 Lexmark International, Inc. System and methods for multiple imaging element scanning and copying
EP1751970A4 (en) * 2004-05-01 2010-04-21 Eliezer Jacob DIGITAL CAMERA WITH NON-UNIFORM IMAGE RESOLUTION
US7538794B2 (en) * 2005-01-31 2009-05-26 Hewlett-Packard Development Company, L.P. Method and apparatus for motion estimation in a digital imaging device
CN101151735B (zh) * 2005-11-22 2010-09-08 佛文恩股份有限公司 具有全分辨率顶层和较低分辨率下层的垂直滤色片传感器组阵列
KR100738551B1 (ko) * 2006-01-17 2007-07-11 삼성전자주식회사 화상형성기기의 히터롤러
US7679041B2 (en) * 2006-02-13 2010-03-16 Ge Inspection Technologies, Lp Electronic imaging device with photosensor arrays
WO2008036081A2 (en) * 2006-09-15 2008-03-27 Drs Data And Imaging Systems, Inc. High-speed camera
JP2008193163A (ja) * 2007-01-31 2008-08-21 Sanyo Electric Co Ltd 固体撮像装置
US20090129693A1 (en) * 2007-11-15 2009-05-21 Bloebaum L Scott System and method for generating a photograph with variable image quality
US8145004B2 (en) * 2008-05-27 2012-03-27 Sony Ericsson Mobile Communications Ab System and method for generating a photograph
US20090294243A1 (en) * 2008-05-30 2009-12-03 Harold Charych Currency Validator Video Graphic Display Bezel
US9030583B2 (en) 2011-09-21 2015-05-12 Semiconductor Components Industries, Llc Imaging system with foveated imaging capabilites
DE102014218459A1 (de) * 2014-09-15 2016-03-17 Conti Temic Microelectronic Gmbh Assistenzsystem eines Kraftfahrzeugs, mit einer einen Bildsensor aufweisenden Kamera sowie Bildsensor einer Kamera
FR3032082A1 (fr) * 2015-01-28 2016-07-29 Soc Francaise De Detecteurs Infrarouges - Sofradir Dispositif de detection ameliore.
DE102017208607A1 (de) * 2017-05-22 2018-11-22 Robert Bosch Gmbh Steuereinrichtung für eine Kameravorrichtung, Kameraanordnung und Verfahren zur stereoskopischen Aufnahme eines Überwachungsbereichs
DE102017213262B4 (de) * 2017-08-01 2022-09-22 Heidelberger Druckmaschinen Ag Bilderfassung mit bereichsweiser Bildauflösung
US11507097B2 (en) 2018-02-05 2022-11-22 Pixart Imaging Inc. Control apparatus for auto clean machine and auto clean machine control method
US10642049B2 (en) 2018-04-25 2020-05-05 Apple Inc. Head-mounted device with active optical foveation
US11310451B1 (en) 2019-09-05 2022-04-19 Waymo Llc Smart sensor with region of interest capabilities
JP7274392B2 (ja) * 2019-09-30 2023-05-16 京セラ株式会社 カメラ、ヘッドアップディスプレイシステム、及び移動体
US11252366B2 (en) 2019-11-19 2022-02-15 Waymo Llc Sensor read out mode for high resolution and low light imaging in-sync with LIDAR timing
US11428550B2 (en) 2020-03-03 2022-08-30 Waymo Llc Sensor region of interest selection based on multisensor data
US11756283B2 (en) 2020-12-16 2023-09-12 Waymo Llc Smart sensor implementations of region of interest operating modes

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4554585A (en) * 1983-08-12 1985-11-19 Rca Corporation Spatial prefilter for variable-resolution sampled imaging systems
JPS6434050A (en) * 1987-07-29 1989-02-03 Canon Kk Line sensor for reading color
US5075770A (en) * 1989-03-24 1991-12-24 Polaroid Corporation Color balanced image detector system
US5262871A (en) * 1989-11-13 1993-11-16 Rutgers, The State University Multiple resolution image sensor
US5489940A (en) * 1994-12-08 1996-02-06 Motorola, Inc. Electronic imaging system and sensor for correcting the distortion in a wide-angle lens

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007538440A (ja) * 2004-05-25 2007-12-27 シーメンス アクチエンゲゼルシヤフト 自動車の監視ユニット並びに支援システム
JP2006244218A (ja) * 2005-03-04 2006-09-14 Toshiba Matsushita Display Technology Co Ltd センサ内蔵表示装置
JP4604816B2 (ja) * 2005-04-27 2011-01-05 株式会社デンソー 車載撮像モジュール
JP2006310489A (ja) * 2005-04-27 2006-11-09 Denso Corp 車載撮像モジュール
JP2007184814A (ja) * 2006-01-10 2007-07-19 Seiko Epson Corp 撮像素子及び撮像装置
JP2008172506A (ja) * 2007-01-11 2008-07-24 Nec Corp イメージセンサ
WO2009148054A1 (ja) * 2008-06-06 2009-12-10 浜松ホトニクス株式会社 固体撮像装置
JP2010183281A (ja) * 2009-02-04 2010-08-19 Sumitomo Electric Ind Ltd 車載用撮影装置及び車両の安全対策方法
JP2013098817A (ja) * 2011-11-02 2013-05-20 Ricoh Co Ltd 画像処理装置
WO2017187811A1 (ja) * 2016-04-27 2017-11-02 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
JPWO2017187811A1 (ja) * 2016-04-27 2019-03-07 ソニー株式会社 撮像制御装置及び撮像制御方法、並びに撮像装置
US10868981B2 (en) 2016-04-27 2020-12-15 Sony Corporation Shooting control apparatus, shooting control method, and shooting apparatus
JP2019032540A (ja) * 2016-08-12 2019-02-28 パナソニックIpマネジメント株式会社 撮像装置
JPWO2019123840A1 (ja) * 2017-12-19 2020-11-19 パナソニックIpマネジメント株式会社 撮像装置、撮像システム、および表示システム
WO2022075133A1 (ja) * 2020-10-08 2022-04-14 ソニーセミコンダクタソリューションズ株式会社 撮像装置、情報処理装置、撮像システム及び撮像方法

Also Published As

Publication number Publication date
US6320618B1 (en) 2001-11-20
JP3832902B2 (ja) 2006-10-11

Similar Documents

Publication Publication Date Title
JP3832902B2 (ja) 半導体イメージセンサ
US5894325A (en) Solid image pickup unit and video camera employing same
JPH10229522A (ja) Ccd撮像デバイスにおけるモニタ方法およびディジタルスチルカメラ
CN111527741A (zh) 图像捕获装置和控制图像捕获元件的方法
JP2007288527A (ja) 撮像装置
JP3352096B2 (ja) 車両用車外監視装置
US5854656A (en) Non-uniform clocking system for area imaging device
Olson Image motion compensation with frame transfer CCDs
US9807321B2 (en) Imaging device
JP4862129B2 (ja) 車載カメラ装置を用いた運転支援装置
JPH07105352A (ja) 画像処理装置
JP2007267177A (ja) 撮像装置
US7092021B2 (en) Frame shuttering scheme for increased frame rate
JP2984437B2 (ja) 撮像装置
JPH0537861A (ja) 固体撮像装置
JP2021019287A (ja) 撮像装置およびその制御方法
JP7324866B2 (ja) 撮像装置
JPH07322121A (ja) 高画質画像入力装置
JPH118801A (ja) 撮像素子
JPH05276452A (ja) 撮像装置
JP2005124010A (ja) 撮像装置
JP2021027485A (ja) 撮像素子及びその制御方法、撮像装置
JP3224737B2 (ja) 映像判定装置
JPH06121324A (ja) 固体撮像装置
JPH0946565A (ja) 画像入力装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060714

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060718

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees