JP3131127B2 - 撮像装置の信号処理回路 - Google Patents

撮像装置の信号処理回路

Info

Publication number
JP3131127B2
JP3131127B2 JP07171462A JP17146295A JP3131127B2 JP 3131127 B2 JP3131127 B2 JP 3131127B2 JP 07171462 A JP07171462 A JP 07171462A JP 17146295 A JP17146295 A JP 17146295A JP 3131127 B2 JP3131127 B2 JP 3131127B2
Authority
JP
Japan
Prior art keywords
signal
horizontal scanning
circuit
signals
scanning signals
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP07171462A
Other languages
English (en)
Other versions
JPH08338954A (ja
Inventor
茂夫 鈴木
藤夫 岡田
Original Assignee
富士写真光機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士写真光機株式会社 filed Critical 富士写真光機株式会社
Priority to JP07171462A priority Critical patent/JP3131127B2/ja
Publication of JPH08338954A publication Critical patent/JPH08338954A/ja
Application granted granted Critical
Publication of JP3131127B2 publication Critical patent/JP3131127B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Instruments For Viewing The Inside Of Hollow Bodies (AREA)
  • Endoscopes (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は撮像装置の信号処理回
路、特に所定色のフィルタが画素単位で規則的に配列さ
れた撮像装置におけるビデオ信号の処理に関する。
【0002】
【従来の技術】固体撮像素子であるCCD(Charge Cou
pled Device )が用いられた撮像装置が周知であり、こ
の撮像装置としては、例えば電子内視鏡装置等がある。
この種の撮像装置では、例えば同時式電子内視鏡装置の
ように、画素単位で異なる色配置とされた色フィルタが
CCDに設けられており、この色フィルタを介して画素
信号が抽出され、この信号から色差信号、輝度信号、或
いはR(赤),G(緑),B(青)信号等のビデオ信号
が形成される。
【0003】図4(A)には、同時式電子内視鏡装置に
おけるCCD1の素子面に形成された色フィルタの配列
構成が示されており、この色フィルタは、図示のように
画素毎にCy(シアン),G(グリーン),Ye(イエ
ロー),Mg(マゼンタ)の4色が1組として配置され
たもので、この組毎の配置で色フィルタが撮像領域全面
に繰返し形成されている。そして、この色フィルタを介
してCCD1の各画素単位で得られる信号は、例えば図
4(B)に示されるように、奇数フィールドの最初の水
平走査ライン ODD1では、2列の上下の画素信号が加算
され、Mg+Cyの信号(MgとCyの色フィルタで得
られた混合信号),G+Yeの信号が繰り返し出力さ
れ、次の水平走査ライン ODD3においては次の2列の上
下の画素信号が加算され、G+Cyの信号,Ye+Mg
の信号が繰り返し出力され、その後も同様にして最下位
の水平走査ラインまで上記加算出力が順に出力される。
また、偶数フィールドにおいても、同様にして水平走査
ラインEVEN2として、G+Cy,Ye+Mgの信号が出
力され、EVEN4の信号としてMg+Cy,G+Yeの信
号が繰り返し出力される。
【0004】このようにして得られたCCD1の出力
は、色分離回路等の演算回路によって、例えば輝度
(Y)信号、色差信号であるR(赤)−Y信号、B
(青)−Y信号、或いはR(赤),G(緑),B(青)
の信号が演算され、これらの信号はエンコーダ等でコン
ポジットビデオ信号に変換された後にモニタへ出力され
ており、このようにしてモニタ上に被観察体内の画像が
表示される。
【0005】
【発明が解決しようとする課題】しかしながら、上記従
来の撮像装置では、色フィルタの各色の感度が異なるこ
とから、上記のCCD出力の飽和特性が相違し、少なく
とも一色が飽和するような条件では、画像に走査線が浮
き出し、画質が低下するという問題があった。即ち、図
5には赤色帯における上記CCD1の光電変換特性が示
されており、各色フィルタを用いてCCD1から出力さ
れた信号は、色フィルタYe、Mg、Cy、Gでの順で
飽和点VE1に達することになる。そして、上記の水平走
査ライン毎の加算信号では、図5の赤色帯の光電変換特
性に示されるように、Ye+Mgの信号(加算信号)、
G+Yeの信号、Mg+Cyの信号、G+Cyの信号の
順に飽和点VE2に達することになる。
【0006】このような光電変換特性によれば、図示の
入射光量P1 のときは、何れの色フィルタの信号も飽和
せず、問題ないが、図5の光量P2 を超え、光量P3 等
になると、図6の混合信号においても、入射光量P4 を
超えた領域に入り、各色信号がアンバランスとなり、ひ
いては原色成分であるR(赤),G(緑),B(青)の
信号がアンバランスとなる。
【0007】図7〜図9には、原色の被写体を撮影した
ときの上記加算信号のレベルが示され、図10には飽和
レベルにおいて上記の水平走査信号間で生じる原色信号
のレベル差が示されている。図7は、赤(R)色の被写
体を撮影したとき、図8は緑(G)色の被写体を撮影し
たとき、図9は青(B)色の被写体を撮影したときの混
合信号のレベルである。例えば、赤色が多い被写体を撮
影する電子内視鏡では、図7において、例えば飽和レベ
ルが0.008のレベルにあると仮定すると、混合信号
Ye+Mgは遥かに飽和レベルを超える。そして、図1
0の飽和レベル0.008の所を参照すると、Rの信号
が他の信号よりも遥かに高くなっている。即ち、赤色の
被写体を飽和レベルの入射光量で撮影した場合は、図4
のように、Mg+CyとG+Yeの色フィルタの組合せ
で得られる水平走査信号と、G+CyとYe+Mgの色
フィルタの組合せで得られる水平走査信号との間には、
R信号に対して大きな差が存在することになる。
【0008】図11には、飽和領域を有する場合のモニ
タ2の表示状態が示されており、上記のことから、モニ
タ2の画像内に飽和したハレーション100が存在する
場合は、その周囲に走査線101が浮き出す現象が生じ
ることになり、これによって画質が低下してしまう。例
えば、生体内部を観察する電子内視鏡装置では、赤味を
帯びた体腔内を近接撮影することから、図7に示される
状態となり、赤色成分を多く含むYe+Mgの信号が飽
和し、赤色の走査線が生じることになる。
【0009】本発明は上記問題点に鑑みてなされたもの
であり、その目的は、異なる色フィルタで生じる飽和特
性の相違による画質の低下を解消することができる撮像
装置の信号処理回路を提供することにある。
【0010】
【課題を解決するための手段】上記目的を達成するため
に、第1請求項記載の発明は、水平ライン毎に所定色を
異なる組合せで形成した色フィルタを有する撮像装置に
おいて、撮像素子から出力された水平走査信号につき、
異なる色フィルタの組合せの水平ライン毎に水平走査信
号を分離する分離回路と、この分離回路から出力された
複数組の水平走査信号について所定画素信号を抽出する
サンプリング回路と、このサンプリング回路から出力さ
れた、各組の水平走査信号の所定画素信号のレベルを比
較する比較器と、この比較器の出力に基づき、信号の飽
和状態を解消するためのゲインでいずれかの組の水平走
査信号を増幅処理するゲイン制御回路と、このゲイン制
御回路の出力と他方の水平走査信号とを合成する合成回
路と、を備えたことを特徴とする。第2請求項記載の発
明は、上記撮像素子が、第1組及び第2組の水平走査信
号を形成し、上記遅延回路は、上記第1水平走査信号を
1水平走査期間だけ遅延し、上記サンプリング回路は、
2n(n:整数)画素毎にビデオ信号をサンプリングす
ることをことを特徴とする。
【0011】
【作用】上記の構成によれば、例えばMg+Cy(1画
素分)、G+Ye(1画素分)の色フィルタで得られた
信号の繰返し信号が第1組水平走査信号として、G+C
y(1画素分)、Ye+Mg(1画素分)の色フィルタ
で得られた信号の繰返し信号が第2組水平走査信号とし
て得られる。この第1組及び第2組の水平走査信号は、
例えば2画素分がサンプリングされ、これらのレベルが
比較されることになり、その差の電圧に基づき、第2組
水平走査信号がゲイン制御される。従って、異なる色フ
ィルタ組合せで得られた第1組及び第2組水平走査信号
のレベルが同一となり、この結果何れかの色フィルタの
信号が飽和したときにおいて、内包する色成分のアンバ
ランスが解消されるので、走査線の浮き出しがなくな差
る。
【0012】なお、異なる色フィルタの組合せで得られ
る水平走査信号が上述のように2組である場合、上記画
素信号のサンプリングは、2n(n:整数)画素毎に行
えばよく、例えば4画素分をサンプリングし、そのレベ
ルを比較するようにしてもよい。また、色フィルタの異
なる組合せで得られる水平走査信号が3組である場合
は、3n(n:整数)画素毎に行えばよいことになる。
【0013】
【実施例】図1には、第1実施例に係る撮像装置の信号
処理回路の構成が示され、図2には実施例で得られる各
信号が示されている。図示のCCD10の受光面には、
上述の図4(A)で示した配列の色フィルタが設けられ
ており、Mg(マゼンタ),G(グリーン),Cy(シ
アン),Ye(イエロー)の色フィルタが画素に対応し
て配列される。そして、このCCD10には、タイミン
グジェネレータ12から駆動クロックが入力されること
によって、図4(B)の加算信号が順に出力される。
【0014】このCCD10には、アンプ13を介して
ライン分離回路14が設けられ、このライン分離回路1
4では、タイミングジェネレータ12から出力されたラ
イン識別信号により、第1組水平走査信号S1 と第2組
水平走査信号S2 が分離される。即ち、図2(A)に示
されるように、第1組水平走査信号S1 がMg+Cy
(MgとCyの色フィルタで得られた混合信号),G+
Yeの信号が繰り返される信号となり、第2組水平走査
信号S2 がG+Cy,Ye+Mgの信号が繰り返される
信号となる。
【0015】このライン分離回路14の後段には、上記
第1組水平走査信号S1 を1水平走査期間だけ遅延させ
る遅延回路、低域通過フィルタ16、2画素分の信号を
サンプルホールドするサンプルホールド回路17が設け
られる。また、上記第2組水平走査信号S2 を入力し、
ゲイン調整をする利得制御アンプ(GCA−Gain Contr
ol Amplifier)18、2画素分の信号をサンプルホール
ドするサンプルホールド回路19が設けられる。このサ
ンプルホールド回路17,19は、タイミングジェネレ
ータ12から2画素分をサンプリングするための画素サ
ンプリングクロック(2n)を入力することによって、
図2(C),(D)に示されるように、2画素分の信号
を抽出する。
【0016】上記サンプルホールド回路17,19の後
段には、上記の第1組水平走査信号S1 と第2組水平走
査信号S2 の2画素分の信号レベルを比較するコンパレ
ータ(差動増幅器)20が設けられており、このコンパ
レータ20の出力[図2(E)]は上記GCA18へフ
ィードバックされる。即ち、このコンパレータ20の出
力により決定されるゲインによって、GCA18では第
2組水平走査信号S2が増幅処理されることにより、こ
の信号を第1組水平走査信号S1 と同一レベルにするこ
とになる。
【0017】上記低域通過フィルタ16及びGCA18
の後段には、これらの出力信号をライン識別信号に基づ
いて、奇数及び偶数のフィールド信号として合成するラ
イン合成回路22が設けられ、このライン合成回路22
の後段には、その他の画像処理をする信号処理回路23
が配置される。
【0018】第1実施例は以上の構成からなり、以下に
その作用を説明する。まず、CCD10からは、図4
(B)に示されるように、奇数フィールドでは、 ODD1
のMg+Cy、G+Yeの信号が第1組水平走査信号S
1 [図2(A)]として、 ODD3のG+Cy、Ye+M
gの信号が第2組水平走査信号S2 [図2(B)]とし
て出力され、また偶数フィールドでは、EVEN2のG+C
y、Ye+Mgが第2組水平走査信号S2 として、EVEN
4のMg+Cy、G+Yeの信号が第1組水平走査信号
S1 として出力される。これらの水平走査信号S1 ,S
2 は、ライン分離回路14へ入力される。
【0019】このライン分離回路14では、ライン識別
信号に基づいて、上記第1組水平走査信号S1 と第2組
水平走査信号S2 が分離され、この第1組水平走査信号
S1は遅延回路15により、1水平走査期間だけ遅らさ
れ、低域通過フィルタ16を介してサンプルホールド1
7へ供給される。一方、第2組水平走査信号S2 はGC
A18を介してサンプルホールド19へ供給される。こ
れらのサンプルホールド17,19では、画素サンプリ
ングクロックにより、図2(C),(D)に示されるよ
うに、混合2画素分の信号が抽出され、これらの画素信
号はコンパレータ20へ出力される。
【0020】このコンパレータ20では、上記図2
(C),(D)の両者の信号レベルが比較され、図2
(E)に示されるような差信号がGCA18へ供給され
る。従って、このGCA18では、上記の差信号に基づ
いて、第2組水平走査信号S2 がゲイン調整されること
になり、最終的に図2(F)に示されるように、上記第
1組水平走査信号S1 のレベルと同一レベルの信号が得
られることになる。
【0021】その後、上記の第2組水平走査信号S2 は
ライン合成回路22に入力され、上記低域通過フィルタ
16から入力された第1組水平走査信号S1 と共に合成
され、フィールド情報として信号処理回路23へ供給さ
れる。この信号処理回路23では、ガンマ処理等の所定
の信号処理が行われ、この処理されたビデオ信号はモニ
タへ出力される。
【0022】上述のように、第1組水平走査信号S1 と
第2組水平走査信号S2 が同一レベルになるということ
は、Mg+Cy、G+Yeの2画素の平均値と、G+C
y、Ye+Mgの2画素の平均値のレベル差がないとい
うことであり、何れか1色の信号が飽和状態となって
も、その飽和状態が見掛け上ない状態となる。即ち、上
記図5では入射光量P2 以内の状態、図6では入射光量
P4 以内の状態の光電変換特性と同等の変換特性が得ら
れることになる。従って、特定色の信号の飽和状態が解
消され、図11で示した走査線の浮き出しも解消され
る。
【0023】図3には、第2実施例の構成が示されてお
り、この第2実施例は画像信号をデジタル処理するもの
である。即ち、図1のアンプ13の出力を入力するA/
D変換器25、上記第1組水平走査信号S1 と第2組水
平走査信号S2 とを分離するセレクタ26、この第1組
水平走査信号S1 を1水平走査期間だけ遅延させるライ
ンメモリ27、上記第2組水平走査信号S2 につきマル
チプレクサを用いてゲイン制御をする演算部28、2画
素分の信号を抽出する画素信号抽出回路29,30が設
けられる。また、この画素信号抽出回路29,30の後
段には、コンパレータ31が設けられ、このコンパレー
タ31の出力は上記演算部28に供給される。更に、ラ
イン合成回路としてのセレクタ32、各ライン間の位相
差を調整するラッチ回路33が設けられる。
【0024】上記の2実施例の構成によれば、セレクタ
26で分離された第1組水平走査信号S1 は、ラインメ
モリ27に1水平走査期間だけ遅延された後、画素信号
抽出回路29で図2(C)の2画素分の信号が得られ
る。一方、第2組水平走査信号S2 においても、図2
(D)の2画素分の信号が画素信号抽出回路30で抽出
され、これらの2画素分の両信号はコンパレータ31で
比較される。このコンパレータ31では、例えばG+C
y、Ye+Mgの2画素信号がMg+Cy、G+Yeの
2画素信号に対し、どの程度大きいか小さいかが判定さ
れ、この判定信号が演算部28へ供給される。
【0025】この演算部28では、判定信号に対応した
ゲイン係数がマルチプレクサで選択され、このゲイン係
数が第2組水平走査信号S2 に掛け算される。そして、
これらの水平走査信号S1 ,S2 は、セレクタ32及び
ラッチ回路33でライン識別信号に基づいて合成され、
フィールド信号として、図1と同様の信号処理回路へ供
給される。
【0026】このようにして、第2実施例で得られた第
1組水平走査信号S1 と第2組水平走査信号S2 の信号
は、Mg+Cy、G+Yeの2画素の平均値とG+C
y、Ye+Mgの2画素の平均値が同一レベルとなる信
号とされる。このような第2実施例のデジタル処理によ
れば、回路規模が小さくなる等の利点がある。
【0027】上記第1実施例では、第1組水平走査信号
S1 を遅延させる遅延回路15をサンプルホールド17
の前段に配置したが、この遅延回路15はサンプルホー
ルド17の後段に配置することもできる。また、上記第
1実施例のGCA18と第2実施例の演算部28は、第
2組水平走査信号S2 をゲイン調整するようにしたが、
第1組水平走査信号S1 の方をゲイン調整してもよい。
【0028】
【発明の効果】以上説明したように、本発明によれば、
所定複数色の色フィルタを有する撮像装置で、異なる色
フィルタの組合せの水平ライン毎に水平走査信号を分離
し、この分離された複数組の水平走査信号について、例
えば2画素分の画素信号を抽出して比較し、何れか一方
の組の水平走査信号を増幅処理することにより、飽和状
態を解消するようにしたので、異なる色フィルタの組合
せでの飽和特性の相違により生じる走査線の浮き出しが
低減され、画質の低下を解消することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1実施例に係る撮像装置の信号処理
回路の構成を示すブロック図である。
【図2】実施例の動作を示すための信号波形図である。
【図3】第2実施例に係る撮像装置の信号処理回路の構
成を示すブロック図である。
【図4】従来及び本発明における色フィルタの配列の一
例[図(A)]及び各水平走査ラインでの読出し状態
[図(B)]を示す図である。
【図5】従来の色フィルタの各色での飽和特性を示すグ
ラフ図である。
【図6】加算信号の飽和特性を示すグラフ図である。
【図7】赤色の被写体を撮影したときの混合信号の分光
分布特性図である。
【図8】緑色の被写体を撮影したときの混合信号の分光
分布特性図である。
【図9】青色の被写体を撮影したときの混合信号の分光
分布特性図である。
【図10】飽和レベルにおけるMg+Cy、G+Yeの
信号とG+Cy、Ye+Mgの信号間での原色成分の差
を示すグラフ図である。
【図11】従来の信号飽和による画質低下の状態を示す
図である。
【符号の説明】
1,10 … CCD、 14 … ライン分離回路、 15 … 遅延回路、 17,19 … サンプルホールド回路、 18 … 利得制御アンプ(GCA)、 20,31 … コンパレータ、 22 … ライン合成回路、 26,32 … セレクタ、 27 … ラインメモリ、 28 … 演算部、 29,30 … 画素信号抽出回路。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 9/04 - 9/11 H04N 9/64 - 9/78

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】 水平ライン毎に所定色を異なる組合せで
    形成した色フィルタを有する撮像装置において、 撮像素子から出力された水平走査信号につき、異なる色
    フィルタの組合せの水平ライン毎に水平走査信号を分離
    する分離回路と、 この分離回路から出力された複数組の水平走査信号につ
    いて所定画素信号を抽出するサンプリング回路と、 このサンプリング回路から出力された、各組の水平走査
    信号の所定画素信号のレベルを比較する比較器と、 この比較器の出力に基づき、信号の飽和状態を解消する
    ためのゲインでいずれかの組の水平走査信号を増幅処理
    するゲイン制御回路と、 このゲイン制御回路の出力と他方の水平走査信号とを合
    成する合成回路と、を備えたことを特徴とする撮像装置
    の信号処理回路。
  2. 【請求項2】 上記撮像素子は、第1組及び第2組の水
    平走査信号を形成し、上記遅延回路は、上記第1水平走
    査信号を1水平走査期間だけ遅延し、上記サンプリング
    回路は、2n(n:整数)画素毎にビデオ信号をサンプ
    リングすることを特徴とする上記第1請求項記載の撮像
    装置の信号処理回路。
JP07171462A 1995-06-13 1995-06-13 撮像装置の信号処理回路 Expired - Fee Related JP3131127B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP07171462A JP3131127B2 (ja) 1995-06-13 1995-06-13 撮像装置の信号処理回路

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP07171462A JP3131127B2 (ja) 1995-06-13 1995-06-13 撮像装置の信号処理回路

Publications (2)

Publication Number Publication Date
JPH08338954A JPH08338954A (ja) 1996-12-24
JP3131127B2 true JP3131127B2 (ja) 2001-01-31

Family

ID=15923564

Family Applications (1)

Application Number Title Priority Date Filing Date
JP07171462A Expired - Fee Related JP3131127B2 (ja) 1995-06-13 1995-06-13 撮像装置の信号処理回路

Country Status (1)

Country Link
JP (1) JP3131127B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102014011B1 (ko) * 2015-03-12 2019-08-23 탕트링 시팅 테크놀로지 아이엔씨. 시트의 요추 지지대의 점진적인 조절 장치 및 방법

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4554920B2 (ja) * 2003-12-24 2010-09-29 Hoya株式会社 電子内視鏡装置
JP2007117152A (ja) * 2005-10-25 2007-05-17 Pentax Corp 電子内視鏡システム
JP2007117153A (ja) * 2005-10-25 2007-05-17 Pentax Corp 電子内視鏡システム
JP5481248B2 (ja) * 2010-03-26 2014-04-23 Hoya株式会社 縞ノイズを除去するための電子内視鏡システムの作動方法および電子内視鏡システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102014011B1 (ko) * 2015-03-12 2019-08-23 탕트링 시팅 테크놀로지 아이엔씨. 시트의 요추 지지대의 점진적인 조절 장치 및 방법

Also Published As

Publication number Publication date
JPH08338954A (ja) 1996-12-24

Similar Documents

Publication Publication Date Title
JP3156503B2 (ja) 固体撮像装置の駆動方法及び固体撮像装置の信号処理回路
JP3035930B2 (ja) カラー固体撮像装置
JP2942903B2 (ja) ディジタル・カメラ信号処理装置
JPH06327628A (ja) 同時式電子内視鏡装置の信号処理回路
US20100194916A1 (en) Image capture apparatus, method of controlling the same, and program
JP3131127B2 (ja) 撮像装置の信号処理回路
US5801772A (en) Digital video camera apparatus and aspect ratio converting apparatus
JP2008199403A (ja) 撮像装置、撮像方法および集積回路
EP0082652A2 (en) Videosignal mixing circuit
JP2003101815A (ja) 信号処理装置及び信号処理方法
JP3123415B2 (ja) 単板カラー固体撮像装置
JP2922911B2 (ja) 固体カラーカメラ
JP3524118B2 (ja) 撮像装置
JP3443344B2 (ja) 画像データの処理方法及び画像データ処理装置
JP2890574B2 (ja) 撮像装置
JPH0515117B2 (ja)
JP3524211B2 (ja) 撮像装置
JP3335421B2 (ja) 電子内視鏡用固体撮像素子
JPH10108207A (ja) 撮像装置および縦縞除去方法
JP2890573B2 (ja) 撮像装置
JPH0583598A (ja) 非線形処理回路
KR0149522B1 (ko) 범용컴퓨터를 이용한 화상처리방법 및 그 장치
JP2002247608A (ja) テレビジョンカメラ装置およびテレビジョンシステム
JPH05914B2 (ja)
JPH02288576A (ja) 固体撮像装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313532

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071117

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081117

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091117

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101117

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111117

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121117

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131117

Year of fee payment: 13

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees