JP4175711B2 - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP4175711B2 JP4175711B2 JP37049198A JP37049198A JP4175711B2 JP 4175711 B2 JP4175711 B2 JP 4175711B2 JP 37049198 A JP37049198 A JP 37049198A JP 37049198 A JP37049198 A JP 37049198A JP 4175711 B2 JP4175711 B2 JP 4175711B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- imaging
- charge accumulation
- accumulation time
- predetermined period
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 130
- 238000009825 accumulation Methods 0.000 claims description 43
- 230000003111 delayed effect Effects 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 15
- 238000012937 correction Methods 0.000 description 39
- 238000012545 processing Methods 0.000 description 36
- 210000003127 knee Anatomy 0.000 description 32
- 230000002093 peripheral effect Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000000926 separation method Methods 0.000 description 12
- 230000000875 corresponding effect Effects 0.000 description 10
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 7
- 238000005286 illumination Methods 0.000 description 6
- 238000003780 insertion Methods 0.000 description 6
- 230000037431 insertion Effects 0.000 description 6
- 238000000034 method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000010422 painting Methods 0.000 description 5
- 238000012886 linear function Methods 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 230000008054 signal transmission Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 239000000835 fiber Substances 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010292 electrical insulation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Devices (AREA)
- Instruments For Viewing The Inside Of Hollow Bodies (AREA)
- Solid State Image Pick-Up Elements (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Endoscopes (AREA)
Description
【発明の属する技術分野】
本発明は撮像装置、更に詳しくは長時間露光モードの撮像信号処理部分に特徴のある撮像装置に関する。
【0002】
【従来の技術】
従来より、被写体像を光電変換し電気信号として出力する撮像素子を備えた撮像装置がTVカメラ、電子内視鏡等の分野で広く用いられている。このような撮像装置においては、撮像素子で電荷蓄積、転送を行うことにより被写体像を光電変換し、撮像を行うようになっている。
【0003】
前記撮像装置において、被写体像が暗い場合などに露光期間を変化させて感度を向上させ、良好な被写体像を得ることができるようにした感度向上手段を設けた装置が種々提案されている。
【0004】
例えば特開平6−326917号公報では、撮像素子駆動手段によって撮像素子の電荷蓄積期間を複数のフィールド期間に設定し、撮像素子から複数のフィールド期間毎に映像信号を読み出す際には、映像信号演算制御手段によって撮像素子から出力された映像信号及び映像信号記憶手段に記憶された映像信号を基に所定の演算を施して複数のフィールド期間より短い期間毎に出力することで、S/Nの劣化が少なく容易に感度を向上させることが可能で、感度を向上させた際にも動きのある被写体において映像信号における動きの不自然さのない良好な被写体画像を得ることが可能な撮像装置が提案されている。
【0005】
【発明が解決しようとする課題】
しかしながら、上記特開平6−326917号公報の撮像装置においては、被写体が暗くなった場合、ある明るさ画像になると通常露光モードから長時間露光モードになり、露光時間を1/60secから1/30secにして撮像するが、このように露光時間を1/60secから1/30secに2倍に変化させるため、得られる画像の明るさが急峻に変化し、不自然な画像となるといった問題がある。
【0006】
本発明は、上記事情に鑑みてなされたものであり、長時間露光モード撮像において明るさを連続的に可変し、違和感のない自然な画像を得ることのできる撮像装置を提供することを目的としている。
【0007】
【課題を解決するための手段】
本発明の撮像装置は、被写体像を光電変換し所定期間毎に撮像信号として出力する撮像素子と、前記撮像素子の電荷蓄積時間を変更可能に駆動する撮像素子駆動手段と、を備えた撮像装置において、
前記撮像素子からの撮像信号を前記所定期間分遅延させる遅延手段と、前記撮像素子からの前記所定期間における第1の撮像信号と、前記遅延手段により前記所定期間分遅延された第2の撮像信号とを加算する加算回路と、を有し、前記加算回路により加算された前記第1の撮像信号と前記第2の撮像信号との加算値を所定の映像出力信号として出力する映像出力信号生成手段と、前記撮像素子における所定期間の電荷蓄積時間を制御し当該電荷蓄積時間に基づいて前記撮像素子を駆動するよう前記撮像素子駆動手段を制御し、かつ、前記映像出力信号生成手段における前記遅延手段および前記加算回路の動作を制御する制御手段と、を具備し、
前記制御手段は、所定の第1の電荷蓄積時間により前記撮像素子を駆動して第1の電荷蓄積時間の前記映像出力信号を得る第1の撮影モードと、当該第1の電荷蓄積時間と同じまたは当該第1の電荷蓄積時間よりも短い第2の電荷蓄積時間により前記撮像素子を駆動し、前記加算回路において前記第1の撮像信号と前記第2の撮像信号とを加算することにより前記第1の電荷蓄積時間よりも長い電荷蓄積時間の第3の電荷蓄積時間の前記映像出力信号を得る第2の撮影モードとを切り換えて制御可能とし、前記2つの撮影モードのうち一方の撮影モードから他方の撮影モードへと切り換える際、前記撮像素子における前記所定期間の電荷蓄積時間を制御すると共に前記遅延手段および前記加算回路の動作を制御することにより、前記映像出力信号生成手段から出力される前記映像出力信号における明るさを徐々に変化させることを特徴とする。
【0009】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について述べる。
【0010】
図1ないし図5は本発明の第1の実施の形態に係わり、図1は内視鏡撮像装置の構成を示す構成図、図2は図1のCCUの構成を示す構成図、図3は図2の露光制御回路の構成を示す構成図、図4は図2のCCUの作用を説明するフローチャート、図5は図2のCCUの作用を説明するタイミング図である。
【0011】
(構成)
図1に示すように、本実施の形態の内視鏡撮像装置1は、撮像手段を内蔵したカメラヘッド2と、このカメラヘッド2が着脱自在に接続されるスコープ3と、このスコープ3に照明光を供給する光源装置4と、カメラヘッド2内に配設された撮像手段に対する信号処理を行うプロセッサ本体としてのカメラコントロールユニット(以下、CCUと略記する)5と、このCCU5により信号処理された標準的な映像信号を表示するTVモニタ6とを有して構成される。
【0012】
スコープ3は、例えば細長で可撓性を有し内視鏡像を伝送するイメージガイドファイバ(図示せず)を内挿する挿入部7を備えた光学式内視鏡であって、この挿入部7の基端に設けられた操作部8の接眼部にアダプタ2aを介してカメラヘッド2を着脱自在に接続することで、イメージガイドファイバ(図示せず)により操作部8の接眼部まで伝送されてきた内視鏡像をカメラヘッド2で撮像できるようになっている。
【0013】
また、スコープ3の操作部8からはライトガイドケーブル9が延出しており、ライトガイドケーブル9の先端を光源装置4に接続することにより、光源装置4から供給される照明光がライトガイドケーブル9及び挿入部7内を挿通するライトガイド(図示せず)によりスコープ3の先端から被写体(図示せず)に照射されるようになっている。
【0014】
つまり、内視鏡撮像装置1の使用時には、光源装置4にスコープ3のライトガイドケーブル9を装着することにより、図示はしないが、光源装置4内のランプの照明光が絞りを通り、レンズにより集光されて対向するライトガイドの端面に入射される。この照明光はライトガイドによってスコープ3へ伝送され、スコープ3内部を通りスコープ3先端から前方に出射され、患者の体腔内などの被写体を照明するようになっている。
【0015】
そして、照明光により照明された被写体の反射光がスコープ3により結像され、被写体像がスコープ3を通してカメラヘッド2内の撮像手段によって撮像されるようになっている。
【0016】
一方、カメラヘッド2内には、撮像レンズの焦点面に撮像手段としてのCCD11が配置されており(図2参照)、CCD11の撮像面に被写体像が結像して光電変換される。このCCD11は、CCD駆動信号伝送線及びCCD出力信号伝送線が内部に挿通されたカメラヘッド2から延出したカメラケーブル12を介してCCU5に接続されており、CCD11の出力信号がCCU5に送られて各種信号処理が行われるようになっている。CCU5から出力される映像信号はTVモニタ6に送られ、TVモニタ6上に被写体の観察画像が表示されるようになっている。
【0017】
図2に示すように、CCU5内には、CCD11を駆動制御するCCDドライバ13が設けられており、CCDドライバ13よりCCD駆動信号がカメラケーブル12内のCCD駆動信号伝送線を介してCCD11に供給され、CCD11に蓄積された信号電荷がCCD出力信号として読み出される。
【0018】
また、CCD11より読み出されたCCD出力信号は、プリアンプ14により増幅されて、カメラケーブル12内のCCD出力信号伝送線を介してCCU5に伝送され、CCU5内のプリプロセス回路15に入力される。
【0019】
プリプロセス回路15の後段にはA/D変換回路16、アイソレーション回路(以下、I.Lと略記)17及びY/C分離回路18が設けられており、プリプロセス回路15に入力されたCCD出力信号はCDS(相関二重サンプリング)やS/H(サンプルホールド)等の前処理が行われた後、A/D変換回路16に入力されてデジタル信号に変換された後、I.L17により電気的絶縁がなされてY/C分離回路18に入力される。
【0020】
Y/C分離回路18の後段には色差LPF(ロー・パス・フィルタ)19、線順次同時化回路20及びRGBマトリックスからなる色分離回路21が設けられており、Y/C分離回路18に入力されたデジタル信号は輝度信号Yとクロマ信号Cに分離され、クロマ信号Cは色差LPF19により疑色等が除去された後、線順次同時化回路20により線順次化されて、色分離回路21にY・CR ・CB の3系統のデジタル信号が入力され、色分離回路21によりRGBデジタル信号に変換される。
【0021】
色分離回路21の後段にはAGC&ペインティング回路22、露光制御回路24及びknee&γ補正回路23が設けられており、色分離回路21からのRGBデジタル信号は、AGC&ペインティング回路22によりゲイン調整及びペインティング処理が施された後、露光制御回路24により後述する露光制御処理がなされ、knee&γ補正回路23により高輝度部の情報の圧縮を行うknee処理及び非線形のγ補正処理が行われる。
【0022】
このknee&γ補正回路23におけるknee処理及びγ補正処理により、例えば11ビットのデータからなる前段のデジタル信号(入力)が8ビットのデジタル信号(出力)となる。
【0023】
knee&γ補正回路23の後段には、エンコーダ25が設けられており、エンコーダ25により標準的なTV信号、例えばNTSCに変換されて、75Ωドライバ26によりインピーダンス整合がとられてTVモニタ6に出力されるようになっている。
【0024】
また、CCU5には、基準信号発生回路(以下、SSGと略記)27が設けられており、I.L28を介して電気的絶縁がなされたSSG27から発生した基準クロック信号に基づきタイミング信号発生回路(以下、TGと略記)29が上記各種回路への各種タイミング信号を発生するようになっている。
【0025】
さらに、CCU5には、色分離回路21からのRGBデジタル信号から画像の明るさを検波する検波回路30が設けられており、この検波回路30の検波出力はCPU31に出力され、CPU31により画像の明るさが所定値以上かどうかを判断し、画像の明るさの値に基づいて周辺インターフェイス(以下、周辺I/F)32を制御し、周辺I/F32が設定信号及び制御信号を露光制御回路24及びCCDドライバ13に出力するようになっている。ここで、CCDドライバ13への周辺I/F32からの制御信号はI.L33により電気的絶縁がなされている。
【0026】
なお、I.L17、28、33は、内視鏡撮像装置1が医療用機器であることから、スコープ3側とCCU5側との電気的絶縁をはかることで、安全性を確保するために設けられている。
【0027】
露光制御回路24は、図3に示すように、TG29からのフィールド信号(H:Aフィード、L:Bフィールド)及びCPU31により制御された周辺I/F32からの設定信号とを入力し、フィールド信号のエッジにより1フィールド期間を判別して各1フィールド期間に同期して周辺I/F32からの設定信号に対応した以下の表1に示す係数信号を出力する第1係数レジスタ41及び第2係数レジスタ42と、AGC&ペインティング回路22を介した11ビットのRGBデジタル信号に対して第1係数レジスタ41からの係数信号を乗算する第1乗算器43と、AGC&ペインティング回路22を介したRGBデジタル信号を1フィールド期間遅延させるフィールドメモリからなる遅延回路44と、遅延回路44により1フィールド期間遅延されたRGBデジタル信号に対して第2係数レジスタ42からの係数信号を乗算する第2乗算器45とを備えて構成される。
【0028】
【表1】
さらに露光制御回路24は、第1乗算器43の出力と第2乗算器45の出力とを加算する加算器46と、加算器46の出力を1フィールド期間遅延させる遅延回路47と、遅延回路47の出力に対して補間処理を行う補間処理回路48とを備えている。
【0029】
(作用)
つぎに、このように構成された本実施の形態の作用について説明する。本実施の形態では、説明を簡略化するために、明るさが線形的に変化する例について説明する。
【0030】
スコープ3の挿入部7を体腔内に挿入し、光源装置4からスコープ3に照明光を供給して、接眼部に伝送された内視鏡像をカメラヘッド2のCCD11にて撮像する。CCU5は、この撮像信号を信号処理すると共に、検波回路30にて画像の明るさを検知する。
【0031】
図4に示すように、ステップS1でCPU31は検波回路30が検波した明るさ信号を入力し、ステップS2で明るさ信号が所定値より小さいかどうか判断し、等しいまたは大きい場合はステップS3の通常露光モードで撮像するために明るさ信号に応じて周辺I/F32に対してトリガ信号を出力して制御し、小さい場合はステップS4の長時間露光モードで撮像するために周辺I/F32を制御し、これらの処理を繰り返す。
【0032】
ステップS3の通常露光モードでの撮像では、図5に示すように、周辺I/F32は、露光制御回路24の第1係数レジスタ41及び第2係数レジスタ42に対して、第1係数レジスタ41には「0」を、第2係数レジスタ42には「1」を設定信号として出力すると共に、明るさ信号に応じて例えば1/60secの露光時間で露光して電荷蓄積した撮像信号を1/60sec周期で読み出すようにCCDドライバ13に制御信号を出力する。
【0033】
この場合の1フィールド期間の露光制御回路24の出力は、第1係数レジスタ41が係数信号「0」を第1乗算器43に出力し、第2係数レジスタ42が係数信号「1」を第2乗算器45に出力するので(表1参照)、1/60secの露光時間で露光して電荷蓄積した(遅延回路44により遅延された)撮像信号となる。
【0034】
また、明るさ信号が所定値より小さくなった際の通常露光モードから長時間露光モードへの切り替え時の直後の1フィールド期間においては、CPU31のトリガ信号の出力により周辺I/F32は、上記と同様な設定信号(第1係数レジスタ41には「0」を、第2係数レジスタ42には「1」)を露光制御回路24の第1係数レジスタ41及び第2係数レジスタ42に出力すると共に、1フィールド期間に高速シャッタ撮像である1/118secの露光時間で露光して電荷蓄積した撮像信号を1/60sec周期で読み出すようにCCDドライバ13に制御信号を出力する。
【0035】
この場合の1フィールド期間の露光制御回路24の出力も、第1係数レジスタ41が係数信号「0」を第1乗算器43に出力し、第2係数レジスタ42が係数信号「1」を第2乗算器45に出力するので(表1参照)、1/60secの露光時間で露光して電荷蓄積した(遅延回路44により遅延された)撮像信号となる。
【0036】
通常露光モードから長時間露光モードへの切り替え後のステップS4の長時間露光モードでの撮像では、周辺I/F32は、露光制御回路24の第1係数レジスタ41及び第2係数レジスタ42に対してそれぞれ「1」を設定信号として出力すると共に、このときの1フィールド期間に高速シャッタ撮像である1/118secの露光時間で露光して電荷蓄積した撮像信号を1/60sec周期で読み出すようにCCDドライバ13に制御信号を出力する。
【0037】
この結果、この時の1フィールド期間の露光制御回路24からの出力は、第1係数レジスタ41が係数信号「1」を第1乗算器43に出力し、第2係数レジスタ42が係数信号「1」を第2乗算器45に出力するので(表1参照)、このとき読み込んだ1/118secの露光時間で露光して電荷蓄積した撮像信号と、遅延回路44で1フィールド期間遅延させた1/118secの露光時間で露光して電荷蓄積した前フィールドの撮像信号とを加算器46で加算した、1/59secの露光時間で露光した明るさに相当する撮像信号となる。
【0038】
このステップS4の長時間露光モードでの撮像で、例えば明るさ信号が線形的に小さくなる場合には、周辺I/F32は、露光制御回路24の第1係数レジスタ41及び第2係数レジスタ42に対してそれぞれ「1」を設定信号として維持し出力する。
【0039】
この結果、第1係数レジスタ41が係数信号「1」を第1乗算器43に出力し、第2係数レジスタ42が係数信号「1」を第2乗算器45に出力する(表1参照)と共に、図5に示すように、2フィールド期間(すなわち、1フレーム期間)毎に1/118secから露光時間を順次長くするようにCCDドライバ13に制御信号を出力し、露光制御回路24からの出力が1/59secの露光時間で露光した明るさを有する撮像信号から1/30secの露光時間で露光した明るさを有する撮像信号に順次変化するように制御する。
【0040】
すなわち、CPU31の制御により周辺I/F32は、1/118secの露光時間で露光して電荷蓄積した後の2フィールド期間(すなわち、1フレーム期間)では、1/118secより長い1/116secの露光時間で露光して電荷蓄積した撮像信号を1/60sec周期で読み出すようにCCDドライバ13に制御信号を出力し、露光制御回路24からの出力をこの時の1フレーム期間の最初の1フィールド期間では1/59secの露光時間で露光した明るさに相当する撮像信号、次の1フィールド期間では1/58secの露光時間で露光した明るさに相当する撮像信号にする。
【0041】
また、CPU31の制御により周辺I/F32は、次の2フィールド期間(すなわち、1フレーム期間)では1/114secの露光時間で露光して電荷蓄積した撮像信号を1/60sec周期で読み出すようにCCDドライバ13に制御信号を出力し、露光制御回路24からの出力をこの時の1フレーム期間の最初の1フィールド期間の1/58secの露光時間で露光した明るさに相当する撮像信号、次の1フィールド期間では1/57secの露光時間で露光した明るさに相当する撮像信号にする。
【0042】
そして、最終的には、2フィールド期間(すなわち、1フレーム期間)において1/60secの露光時間で露光して電荷蓄積した撮像信号を1/60sec周期で読み出すようにCCDドライバ13に制御信号を出力し、露光制御回路24からの出力をこの時の1フレーム期間の最初の1フィールド期間の1/31secの露光時間で露光した明るさを有する撮像信号、次の1フィールド期間では1/30secの最長露光時間で露光した明るさに相当する撮像信号にする。
【0043】
また、例えば最も暗い状態から明るさ信号が線形的に大きくなり所定の明るさになるまでの間は、上記とは逆に、周辺I/F32は、2フィールド期間(すなわち、1フレーム期間)毎に高速シャッタ撮像の露光時間を順次短くするようにCCDドライバ13に制御信号を出力し、露光制御回路24からの出力が1/30secの露光時間で露光した明るさに相当する撮像信号から1/59secの露光時間で露光した明るさに相当する撮像信号に順次変化するように制御する。
【0044】
そして、明るさ信号が所定値になった際の長時間露光モードから通常露光モードへの切り替え時の直後の1フィールド期間においては、CPU31のトリガ信号の出力により周辺I/F32は、第1係数レジスタ41には「1」を、第2係数レジスタ42には「0」とした設定信号を露光制御回路24の第1係数レジスタ41及び第2係数レジスタ42に出力すると共に、1フィールド期間に1/60secの露光時間で露光して電荷蓄積した撮像信号を1/60sec周期で読み出すようにCCDドライバ13に制御信号を出力する。
【0045】
この場合の1フィールド期間の露光制御回路24の出力は、第1係数レジスタ41が係数信号「1」を第1乗算器43に出力し、第2係数レジスタ42が係数信号「0」を第2乗算器45に出力するので(表1参照)、このときの1/60secの露光時間で露光して電荷蓄積した撮像信号となる。
【0046】
長時間露光モードから通常露光モードへの切り替え後の通常露光モードでの撮像において、周辺I/F32は、露光制御回路24の第1係数レジスタ41及び第2係数レジスタ42に対して、第1係数レジスタ41には「0」を、第2係数レジスタ42には「1」を設定信号として出力すると共に、明るさ信号が所定値以上に変化した場合は、周辺I/F32は、2フィールド期間に1/61secの露光時間で露光して電荷蓄積した撮像信号を1/60sec周期で読み出すようにCCDドライバ13に制御信号を出力する。
【0047】
この結果、次の1フィールド期間の露光制御回路24からの出力は、第1係数レジスタ41が係数信号「0」を第1乗算器43に出力し、第2係数レジスタ42が係数信号「1」を第2乗算器45に出力するので(表1参照)、遅延回路44で1フィールド期間遅延させた1/61secの露光時間で露光して電荷蓄積した撮像信号となる。
【0048】
また、明るさ信号が、例えば線形的に順次大きくなる場合は、次の2フィールド期間での露光時間を1/62secへと短くし、さらに露光時間を順次短くすることで、露光時間が連続可変の高速シャッタ撮像がなされ、所定の明るさの撮像信号を得る。
【0049】
なお、上記の説明においては、説明を簡略化するために、明るさ信号が線形的に変化する場合を例に説明したが、実際には常に連続的に所定の明るさの撮像信号が得られるように(検波回路30が検波した明るさ信号が所定値になるように)、周辺I/F32での露光制御回路24の第1係数レジスタ41及び第2係数レジスタ42の設定信号及びCCDドライバ13の制御信号の出力をCPU31が制御している。
【0050】
(効果)
このように本実施の形態によれば、長時間露光モードにおいて、高速シャッタ撮像における露光時間で露光して電荷蓄積した撮像信号を用い、1フィールド遅延させた第1の高速シャッタ撮像における露光時間の撮像信号と、次の1フィールドの第2の高速シャッタ撮像における露光時間の撮像信号とを加算することにより、例えば1/60secよりも長い露光時間に相当する明るさの撮像信号を生成するので、明るさが可変する被写体に対して連続的に撮像信号を所定の明るさレベルに可変することができ、違和感のない自然な画像を得ることできる。
【0051】
なお、本実施の形態では、スコープ3をイメージガイドファイバを内蔵する挿入部7を備えた光学式内視鏡としたが、これに限らず、リレーレンズ等を像伝送手段とした硬性内視鏡や、また、カメラヘッド2を用いる必要のない挿入部先端部内に固体撮像素子を備えた電子内視鏡でもよく、同様な作用・効果が得られることは言うまでもない。
【0052】
また、本実施の形態では、露光制御回路24を非線形処理を行うknee&γ補正回路23の直前に配置するとしたが、これに限らず、非線形処理を行うknee&γ補正回路23の前段であれば、どこに配置してもよい。
【0053】
図6ないし図8は本発明の第2の実施の形態に係わり、図6はCCUの構成を示す構成図、図7は図6のknee&γ補正回路の作用を説明する説明図、図8は図6のknee&γ補正回路を構成するLUTのメモリ空間構造を説明する説明図である。
【0054】
第2の実施の形態は、第1の実施の形態とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。
【0055】
(構成・作用)
図6に示すように、本実施の形態では、非線形処理を行うknee&γ補正回路23の後段に露光制御回路24を配置した構成となっている。第1の実施の形態でも述べたように、knee&γ補正回路23でのknee処理及びγ補正処理を行うと、高輝度部の情報圧縮処理により例えば11ビットのデータからなる前段のデジタル信号(入力)が8ビットのデジタル信号(出力)となる。
【0056】
つまり、第1の実施の形態のようにknee&γ補正回路23の前段に露光制御回路24を配置すると、露光制御回路24では、2つの乗算器と加算器を用いるので、乗算及び加算処理でのビット数が多くなり回路規模が大きくなるが、本実施の形態のようにknee&γ補正回路23の後段に露光制御回路24を配置することで、乗算及び加算処理が11ビットから8ビットの演算となるため、第1の実施の形態と比較して露光制御回路24の回路規模を小さくできる。
【0057】
一般的に、knee&γ補正回路23は、非線形の処理でもあるためLUT(ルックアップテーブルROM)を用いており、図7に示すように、入力xに対してLUTにより出力yとしてknee&γ補正処理関数f(x)を出力する。
【0058】
本実施の形態のようにknee&γ補正回路23の後段に露光制御回路24を配置すると、このままでは、露光制御回路24は、長時間露光モードでもknee&γ補正処理関数、すなわち非線形型ガンマ補正関数f(x)に対して加算処理を実行するため、出力yは
y=f(x)+f(x)=2f(x)
となる。
【0059】
しかし、本来得たい長時間露光モードでの出力yは、第1の実施の形態のように、knee&γ補正回路23の前に露光制御回路24で加算した入力に対する出力であり、
y=f(x+x)=f(2x)
なる出力yである。
【0060】
そこで本実施の形態では、長時間露光モードでのknee&γ補正回路23における非線形型ガンマ補正関数をg(x)とした場合、
g(x)=f(2x)/2
となるようなデータをLUTに格納する。
【0061】
これにより長時間露光モードでの露光制御回路24の出力yは、
y=g(x)+g(x)==f(2x)/2+f(2x)/2=f(2x)
となり、本来得たい長時間露光モードでの出力yを得ることができる。
【0062】
具体的には、本実施の形態のknee&γ補正回路23は、11ビットの入力xに対して、図8に示すように、下位メモリ空間51上に通常露光モードでの非線形型ガンマ補正関数f(x)を格納し、上位メモリ空間52上に長時間露光モードでの非線形型ガンマ補正関数g(x)を格納したLUT53より構成される。
【0063】
このknee&γ補正回路23の下位メモリ空間51または上位メモリ空間52からの読み出し切り換えは、例えば露光制御回路24において第1係数レジスタ41の出力と第1係数レジスタ41の出力(表1参照)とをAND論理演算し、そのAND論理演算結果を空間切換信号としてknee&γ補正回路23に出力することで、knee&γ補正回路23において、この空間切換信号をLUT53に対する最上位アドレスビットとして入力し、下位メモリ空間51または上位メモリ空間52へのアクセス切り換えを行えばよい。
【0064】
なお、knee&γ補正回路23の下位メモリ空間51または上位メモリ空間52からの読み出し切り換えは、上記に限らず、CPU31や周辺I/F32から制御信号をknee&γ補正回路23に出力し、切り換えるようにしてもよい。
【0065】
そして、長時間露光モードでは、露光制御回路24によりknee&γ補正回路23から読み出された8ビットの非線形型ガンマ補正関数g(x)を遅延回路44により1フィールド遅延すると共に、表1に従ってこの1フィールド遅延させた8ビットの非線形型ガンマ補正関数g(x)と次段の1フィールドの8ビットの非線形型ガンマ補正関数g(x)を乗算及び加算することで、長時間露光モードでの露光制御を行う。詳細については、第1の実施の形態と同じであるので、説明は省略する。
【0066】
(効果)
このように本実施の形態では、第1の実施の形態の効果に加え、knee&γ補正回路23の後段に露光制御回路24を配置したので、乗算及び加算処理が例えば11ビットから8ビットの演算となるため、第1の実施の形態と比較して回路規模を小さくできる。
【0067】
[付記]
(付記項1) 被写体像を光電変換し1フィールド期間毎に撮像信号として出力する撮像素子と、露光時間を制御し前記撮像素子の電荷蓄積期間を変更可能に駆動し撮像信号を得る撮像素子駆動手段とを具備した撮像装置において、
前記撮像素子からの前記撮像信号を1フィールド遅延させるフィールド遅延手段と、
前記撮像素子からの1フィールドの撮像信号と前記フィールド遅延回路からの1フィールド遅延された撮像信号とから所定の明るさを有する映像信号を生成する映像信号生成手段と
を備えたことを特徴とする撮像装置。
【0068】
(付記項2) 被写体像を光電変換し1フィールド期間毎に撮像信号として出力する撮像素子と、露光時間を制御し前記撮像素子の電荷蓄積期間を変更可能に駆動し撮像信号を得る撮像素子駆動手段とを具備した撮像装置において、
前記撮像素子からの前記撮像信号を1フィールド遅延させるフィールド遅延手段と、
前記撮像素子からの1フィールドの撮像信号と前記フィールド遅延回路からの1フィールド遅延された撮像信号とから所定の明るさを有する映像信号を生成する映像信号生成手段と、
前記撮像素子からの1フィールドの撮像信号の明るさレベルを検知する明るさ検知手段と、
前記検知手段の検出結果に基づいて前記映像信号生成手段及び前記撮像素子駆動手段とを制御する制御手段と
を備え、
前記制御手段は、少なくとも、前記検知手段が検知した明るさが前記所定の明るさより小さいと判断した場合は長時間露光モードとして、前記検知手段が検知した明るさに基づき前記撮像素子駆動手段の前記電荷蓄積期間を制御する制御信号を出力する
とを特徴とする撮像装置。
【0069】
(付記項3) 前記映像信号生成手段は、前記撮像素子からの1フィールドの撮像信号に対して所定の非線形処理を行う非線形処理手段を有する
ことを特徴とする付記項2に記載の撮像装置。
【0070】
(付記項4) 前記1フィールド期間は、1/60secである
とを特徴とする付記項2に記載の撮像装置。
【0071】
(付記項5) 前記制御手段は、
前記長時間露光モードを検知した場合は、前記検知手段が検知した明るさに基づき前記映像信号生成手段を制御し、
前記映像信号生成手段は、
前記長時間露光モードにおいては1フィールド期間の前記撮像素子の第1の電荷蓄積期間における前記フィールド遅延回路で遅延させた撮像信号と、次段のフィールド期間の前記撮像素子の第2の電荷蓄積期間における撮像信号とを加算する加算手段を備え、
前記非線形処理手段は、
前記長時間露光モードにおいては前記加算手段により加算して得られた加算撮像信号に対して、前記所定の非線形処理を行う
ことを特徴とする付記項3に記載の撮像装置。
【0072】
(付記項6) 前記第1の電荷蓄積期間及び前記第2の電荷蓄積期間は、高速シャッタ時における電荷蓄積期間である
ことを特徴とする付記項5に記載の撮像装置。
【0073】
(付記項7) 前記非線形処理手段は、ルックアップテーブルROMである
ことを特徴とする付記項5に記載の撮像装置。
【0074】
(付記項8) 前記非線形処理手段は、少なくとも異なる2つの非線形関数により非線形処理を行い、
前記制御手段は、
前記長時間露光モードを検知した場合は、前記検知手段が検知した明るさに基づき前記映像信号生成手段を制御し、
前記映像信号生成手段は、
前記非線形処理手段において、前記長時間露光モードでは前記2つの非線形関数のうちの第1の非線形関数により非線形処理を行い、前記長時間露光モード以外では前記2つの非線形関数のうちの第2の非線形関数により非線形処理を行い、
前記フィールド遅延回路は、前記非線形処理手段を介した1フィールド期間の前記撮像素子の第1の電荷蓄積期間における撮像信号の非線形処理信号を遅延し、
前記長時間露光モードにおいては前記非線形処理手段を介した1フィールド期間の前記撮像素子の第1の電荷蓄積期間における前記フィールド遅延回路で遅延させた撮像信号の非線形処理信号と、前記非線形処理手段を介した次段の1フィールド期間の前記撮像素子の第2の電荷蓄積期間における撮像信号の非線形処理信号とを加算する加算手段
を備えたことを特徴とする付記項3に記載の撮像装置。
【0075】
(付記項9) 前記第1の電荷蓄積期間及び前記第2の電荷蓄積期間は、高速シャッタ時における電荷蓄積期間である
ことを特徴とする付記項8に記載の撮像装置。
【0076】
(付記項10) 前記非線形処理手段は、ルックアップテーブルROMである
ことを特徴とする付記項8に記載の撮像装置。
【0077】
(付記項11) 入力信号xに対する前記第2の非線形関数をf(x)とした場合、前記第1の非線形関するg(x)は
g(x)=f(2x)/2
である
ことを特徴とする付記項8に記載の撮像装置。
【0078】
【発明の効果】
以上説明したように本発明の撮像装置によれば、フィールド遅延手段が撮像素子からの前記撮像信号を1フィールド遅延させ、映像信号生成手段が撮像素子からの1フィールドの撮像信号とフィールド遅延回路からの1フィールド遅延された撮像信号とから所定の明るさを有する映像信号を生成するので、長時間露光モード撮像において明るさを連続的に可変し、違和感のない自然な画像を得るできるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態に係る内視鏡撮像装置の構成を示す構成図
【図2】図1のCCUの構成を示す構成図
【図3】図2の露光制御回路の構成を示す構成図
【図4】図2のCCUの作用を説明するフローチャート
【図5】図2のCCUの作用を説明するタイミング図
【図6】本発明の第2の実施の形態に係るCCUの構成を示す構成図
【図7】図6のknee&γ補正回路の作用を説明する説明図
【図8】図6のknee&γ補正回路を構成するLUTのメモリ空間構造を説明する説明図
【符号の説明】
1…内視鏡撮像装置
2…カメラヘッド
2a…アダプタ
3…スコープ
4…光源装置
5…CCU
6…TVモニタ
7…挿入部
8…操作部
9…ライトガイドケーブル
11…CCD
12…カメラケーブル
13…CCDドライバ
14…プリアンプ
15…プリプロセス回路
16…A/D変換回路
17、28、33…I.L
18…Y/C分離回路
19…色差LPF
20…線順次同時化回路
21…色分離回路
22…AGC&ペインティング回路
23…knee&γ補正回路
24…露光制御回路
25…エンコーダ
26…75Ωドライバ
27…SSG
29…TG
30…検波回路
31…CPU
32…周辺I/F
41…第1係数レジスタ
42…第2係数レジスタ
43…第1乗算器
44、47…遅延回路
45…第2乗算器
46…加算器
48…補間処理回路
Claims (4)
- 被写体像を光電変換し所定期間毎に撮像信号として出力する撮像素子と、
前記撮像素子の電荷蓄積時間を変更可能に駆動する撮像素子駆動手段と、
を備えた撮像装置において、
前記撮像素子からの撮像信号を前記所定期間分遅延させる遅延手段と、
前記撮像素子からの前記所定期間における第1の撮像信号と、前記遅延手段により前記所定期間分遅延された第2の撮像信号とを加算する加算回路と、
を有し、前記加算回路により加算された前記第1の撮像信号と前記第2の撮像信号との加算値を所定の映像出力信号として出力する映像出力信号生成手段と、
前記撮像素子における所定期間の電荷蓄積時間を制御し当該電荷蓄積時間に基づいて前記撮像素子を駆動するよう前記撮像素子駆動手段を制御し、かつ、前記映像出力信号生成手段における前記遅延手段および前記加算回路の動作を制御する制御手段と、
を具備し、
前記制御手段は、所定の第1の電荷蓄積時間により前記撮像素子を駆動して第1の電荷蓄積時間の前記映像出力信号を得る第1の撮影モードと、当該第1の電荷蓄積時間と同じまたは当該第1の電荷蓄積時間よりも短い第2の電荷蓄積時間により前記撮像素子を駆動し、前記加算回路において前記第1の撮像信号と前記第2の撮像信号とを加算することにより前記第1の電荷蓄積時間よりも長い電荷蓄積時間の第3の電荷蓄積時間の前記映像出力信号を得る第2の撮影モードとを切り換えて制御可能とし、前記2つの撮影モードのうち一方の撮影モードから他方の撮影モードへと切り換える際、前記撮像素子における前記所定期間の電荷蓄積時間を制御すると共に前記遅延手段および前記加算回路の動作を制御することにより、前記映像出力信号生成手段から出力される前記映像出力信号における明るさを徐々に変化させる
ことを特徴とする撮像装置。 - 前記制御手段は、前記第1の撮影モードから前記第2の撮影モードに切り換える際には、撮影モードが切り換わった後の前記所定期間における前記映像出力信号の出力値が、当該所定期間における映像出力信号の出力値よりも長い電荷蓄積時間で露光した明るさに相当する値になるよう、前記撮像素子における前記所定期間の電荷蓄積時間、前記遅延手段および前記加算回路の動作を制御する
ことを特徴とする請求項1に記載の撮像装置。 - 前記制御手段は、前記第2の撮影モードから前記第1の撮影モードに切り換える際には、撮影モードが切り換わった後の前記所定期間における前記映像出力信号の出力値が、当該所定期間における映像出力信号の出力値よりも短い電荷蓄積時間で露光した明るさに相当する値になるよう、前記撮像素子における前記所定期間の電荷蓄積時間、前記遅延手段および前記加算回路の動作を制御する
ことを特徴とする請求項1または2に記載の撮像装置。 - 前記撮像素子からの所定期間の撮像信号の明るさレベルを検知する検知手段をさらに備え、
前記制御手段は、前記検知手段の検出結果に基づいて当該検知手段が検知した明るさが所定の明るさより小さいと判断した場合は、前記第2の撮影モードにより前記撮像素子を駆動するよう制御する
ことを特徴とする請求項1−3のいずれか一項に記載の撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP37049198A JP4175711B2 (ja) | 1998-03-31 | 1998-12-25 | 撮像装置 |
US09/255,550 US6441845B1 (en) | 1998-03-31 | 1999-02-22 | Image pickup apparatus enlarging a dynamic range of an image pickup signal |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP8732598 | 1998-03-31 | ||
JP10-87325 | 1998-03-31 | ||
JP37049198A JP4175711B2 (ja) | 1998-03-31 | 1998-12-25 | 撮像装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11346327A JPH11346327A (ja) | 1999-12-14 |
JP4175711B2 true JP4175711B2 (ja) | 2008-11-05 |
Family
ID=26428612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP37049198A Expired - Fee Related JP4175711B2 (ja) | 1998-03-31 | 1998-12-25 | 撮像装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US6441845B1 (ja) |
JP (1) | JP4175711B2 (ja) |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040199052A1 (en) | 2003-04-01 | 2004-10-07 | Scimed Life Systems, Inc. | Endoscopic imaging system |
US7591783B2 (en) | 2003-04-01 | 2009-09-22 | Boston Scientific Scimed, Inc. | Articulation joint for video endoscope |
US7578786B2 (en) | 2003-04-01 | 2009-08-25 | Boston Scientific Scimed, Inc. | Video endoscope |
US8118732B2 (en) | 2003-04-01 | 2012-02-21 | Boston Scientific Scimed, Inc. | Force feedback control system for video endoscope |
US20050245789A1 (en) | 2003-04-01 | 2005-11-03 | Boston Scientific Scimed, Inc. | Fluid manifold for endoscope system |
US7340767B2 (en) * | 2003-06-26 | 2008-03-04 | Matsushita Electric Industrial Co, Ltd. | Camera apparatus, image server and image server system |
JP2005167974A (ja) * | 2003-11-10 | 2005-06-23 | Seiko Epson Corp | 画像処理方法及び画像処理装置、画像処理プログラム並びに半導体装置 |
US8497927B2 (en) * | 2004-07-01 | 2013-07-30 | Broadcom Corporation | Method for using wide dynamic range sensor in low light conditions |
EP1799094A2 (en) | 2004-09-30 | 2007-06-27 | Boston Scientific Scimed, Inc. | Multi-functional endoscopic system for use in electrosurgical applications |
US7241263B2 (en) | 2004-09-30 | 2007-07-10 | Scimed Life Systems, Inc. | Selectively rotatable shaft coupler |
US8353860B2 (en) | 2004-09-30 | 2013-01-15 | Boston Scientific Scimed, Inc. | Device for obstruction removal with specific tip structure |
US8199187B2 (en) | 2004-09-30 | 2012-06-12 | Boston Scientific Scimed, Inc. | Adapter for use with digital imaging medical device |
US7479106B2 (en) | 2004-09-30 | 2009-01-20 | Boston Scientific Scimed, Inc. | Automated control of irrigation and aspiration in a single-use endoscope |
US8083671B2 (en) | 2004-09-30 | 2011-12-27 | Boston Scientific Scimed, Inc. | Fluid delivery system for use with an endoscope |
US7846107B2 (en) | 2005-05-13 | 2010-12-07 | Boston Scientific Scimed, Inc. | Endoscopic apparatus with integrated multiple biopsy device |
US8097003B2 (en) | 2005-05-13 | 2012-01-17 | Boston Scientific Scimed, Inc. | Endoscopic apparatus with integrated variceal ligation device |
US8052597B2 (en) | 2005-08-30 | 2011-11-08 | Boston Scientific Scimed, Inc. | Method for forming an endoscope articulation joint |
US7967759B2 (en) | 2006-01-19 | 2011-06-28 | Boston Scientific Scimed, Inc. | Endoscopic system with integrated patient respiratory status indicator |
US8888684B2 (en) | 2006-03-27 | 2014-11-18 | Boston Scientific Scimed, Inc. | Medical devices with local drug delivery capabilities |
US7955255B2 (en) | 2006-04-20 | 2011-06-07 | Boston Scientific Scimed, Inc. | Imaging assembly with transparent distal cap |
US8202265B2 (en) | 2006-04-20 | 2012-06-19 | Boston Scientific Scimed, Inc. | Multiple lumen assembly for use in endoscopes or other medical devices |
JP2008067780A (ja) * | 2006-09-12 | 2008-03-27 | Olympus Medical Systems Corp | 内視鏡装置 |
CN101867727B (zh) | 2009-04-16 | 2011-12-07 | 华为技术有限公司 | 一种视频处理方法及装置 |
JP2018157918A (ja) * | 2017-03-22 | 2018-10-11 | ソニー株式会社 | 手術用制御装置、制御方法、手術システム、およびプログラム |
EP3417758A1 (en) * | 2017-06-19 | 2018-12-26 | Ambu A/S | A method for processing image data using a non-linear scaling model and a medical visual aid system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4631593A (en) * | 1982-12-14 | 1986-12-23 | Canon Kabushiki Kaisha | Still picture recording apparatus and a solid-state image pickup device suitable for this apparatus |
US4704633A (en) * | 1985-04-01 | 1987-11-03 | Fuji Photo Film Co., Ltd. | Method for reading out image information on an image having a wide dynamic range |
JPH0740739B2 (ja) * | 1985-12-06 | 1995-05-01 | オリンパス光学工業株式会社 | 内視鏡システム |
US5638118A (en) * | 1987-06-09 | 1997-06-10 | Canon Kabushiki Kaisha | Image sensing device with diverse storage times used in picture composition |
US4884134A (en) * | 1987-10-07 | 1989-11-28 | Olympus Optical Co., Ltd. | Video endoscope apparatus employing device shutter |
DE69232455T2 (de) * | 1991-08-21 | 2002-06-27 | Canon K.K., Tokio/Tokyo | Videokamera mit einer Mehrzahl von photographischen Betriebsarten |
JP3306166B2 (ja) | 1993-05-14 | 2002-07-24 | オリンパス光学工業株式会社 | 撮像装置 |
-
1998
- 1998-12-25 JP JP37049198A patent/JP4175711B2/ja not_active Expired - Fee Related
-
1999
- 1999-02-22 US US09/255,550 patent/US6441845B1/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JPH11346327A (ja) | 1999-12-14 |
US6441845B1 (en) | 2002-08-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4175711B2 (ja) | 撮像装置 | |
US7821529B2 (en) | Image pickup system | |
JP2821141B2 (ja) | 内視鏡用自動調光制御装置 | |
JP3271838B2 (ja) | 内視鏡用画像処理装置 | |
US20090213211A1 (en) | Method and Device for Reducing the Fixed Pattern Noise of a Digital Image | |
JP2000231062A (ja) | 内視鏡装置 | |
JP2002360510A (ja) | 内視鏡装置およびその制御方法 | |
JP3607816B2 (ja) | 電子内視鏡装置 | |
JP2003204932A (ja) | 内視鏡撮像システム | |
JP2000197604A (ja) | 内視鏡装置 | |
JPH11164195A (ja) | 撮像装置 | |
JP4033565B2 (ja) | 内視鏡装置 | |
JP2001145099A (ja) | 内視鏡装置及び内視鏡システム | |
JPH01212077A (ja) | 電子内視鏡用信号処理回路 | |
JP2003325443A (ja) | 電子内視鏡装置 | |
JP3655679B2 (ja) | 内視鏡装置 | |
JPH088904B2 (ja) | ビデオ内視鏡装置 | |
KR101976812B1 (ko) | 토탈 셔터 이미지 센서를 이용하는 스트로보스코프 | |
JP3917982B2 (ja) | 内視鏡装置 | |
JP3623372B2 (ja) | 撮像装置 | |
JPH11151203A (ja) | 内視鏡撮像装置 | |
JP2002291690A (ja) | 電子内視鏡装置および電子内視鏡システム | |
JP2944081B2 (ja) | 内視鏡システム | |
JPH1147089A (ja) | 内視鏡撮像装置 | |
JP4503931B2 (ja) | 電子内視鏡装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051011 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080421 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080520 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080718 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080812 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080819 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110829 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120829 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130829 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |