JP2873046B2 - 画像信号処理装置 - Google Patents
画像信号処理装置Info
- Publication number
- JP2873046B2 JP2873046B2 JP2115523A JP11552390A JP2873046B2 JP 2873046 B2 JP2873046 B2 JP 2873046B2 JP 2115523 A JP2115523 A JP 2115523A JP 11552390 A JP11552390 A JP 11552390A JP 2873046 B2 JP2873046 B2 JP 2873046B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- color
- ccd
- transferred
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 239000003086 colorant Substances 0.000 claims description 8
- 238000000034 method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 238000000926 separation method Methods 0.000 description 3
- 238000013329 compounding Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
- H01L27/14831—Area CCD imagers
- H01L27/1485—Frame transfer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
- H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
- H01L27/144—Devices controlled by radiation
- H01L27/146—Imager structures
- H01L27/148—Charge coupled imagers
- H01L27/14831—Area CCD imagers
- H01L27/14843—Interline transfer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Power Engineering (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Electromagnetism (AREA)
- Condensed Matter Physics & Semiconductors (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Microelectronics & Electronic Packaging (AREA)
- Color Television Image Signal Generators (AREA)
Description
【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は電子スチルカメラ等に適用され、撮像素子か
らの画像信号の転送制御を、その符号化に関連して改良
した画像信号処理装置に関する。
らの画像信号の転送制御を、その符号化に関連して改良
した画像信号処理装置に関する。
（従来の技術） 光学像を撮像素子によって画像信号に変換し、これを
ディジタルデータとして記憶装置に記憶させるものとし
て、例えばディジタル式の電子スチルカメラがある。こ
の電子スチルカメラでは、膨大な量のディジタル画像デ
ータを限られた容量の記憶装置内に記憶させるため、情
報圧縮が不可欠となる。この情報圧縮の手法はこれまで
種々の方法が提案されており、隣接画素間の相関性を利
用したDPCM方式や、画面内を、縦ｎ画素・横ｎ画素から
なるｎ×ｎ画素のエリア（ブロック）に区切り、各ブロ
ック毎にそのブロック内の相関性を利用するDCT方式等
が知られている。
ディジタルデータとして記憶装置に記憶させるものとし
て、例えばディジタル式の電子スチルカメラがある。こ
の電子スチルカメラでは、膨大な量のディジタル画像デ
ータを限られた容量の記憶装置内に記憶させるため、情
報圧縮が不可欠となる。この情報圧縮の手法はこれまで
種々の方法が提案されており、隣接画素間の相関性を利
用したDPCM方式や、画面内を、縦ｎ画素・横ｎ画素から
なるｎ×ｎ画素のエリア（ブロック）に区切り、各ブロ
ック毎にそのブロック内の相関性を利用するDCT方式等
が知られている。
第９図は上記DPCM方式を用いた電子スチルカメラの信
号処理例を表すブロック図であり、以下これについて説
明する。
号処理例を表すブロック図であり、以下これについて説
明する。
CCD等による撮像素子11から出力された画像信号は、
増幅器12で増幅され、色分離回路13により、例えば、
赤、緑、青（R,G,B）の３色にそれぞれ分離される。こ
の後、各色信号R,G,Bはそれぞれガンマ回路14およびホ
ワイトバランス回路15によって処理され、さらにA/D変
換回路16でディジタル信号に変換され、フィールドメモ
リ17に記憶される。このフィールドメモリ17は、DPCM符
号化回路18のためのバッファメモリとして用いられる。
増幅器12で増幅され、色分離回路13により、例えば、
赤、緑、青（R,G,B）の３色にそれぞれ分離される。こ
の後、各色信号R,G,Bはそれぞれガンマ回路14およびホ
ワイトバランス回路15によって処理され、さらにA/D変
換回路16でディジタル信号に変換され、フィールドメモ
リ17に記憶される。このフィールドメモリ17は、DPCM符
号化回路18のためのバッファメモリとして用いられる。
上記DPCM符号化回路18は、ディジタル信号に変換され
て、フィールドメモリ17から色面順次或いは色線順次に
読み出された画像データをそれぞれ符号化するもので、
第10図のように構成されている。すなわち、このDPCM符
号化回路18は、入力信号である、現時点のサンプル値x0
から、減算器81により、予測値０（現時点の値をこれ
以前の標本点から予測した値）を差し引き、その結果得
られる予測誤差信号ε０を、非線形変換器82により、非
線形変換し、出力するものである。上記予測値として
は、例えば、現時点より１画素手前の標本値を用いる方
法（以下前値予測という）等がある。
て、フィールドメモリ17から色面順次或いは色線順次に
読み出された画像データをそれぞれ符号化するもので、
第10図のように構成されている。すなわち、このDPCM符
号化回路18は、入力信号である、現時点のサンプル値x0
から、減算器81により、予測値０（現時点の値をこれ
以前の標本点から予測した値）を差し引き、その結果得
られる予測誤差信号ε０を、非線形変換器82により、非
線形変換し、出力するものである。上記予測値として
は、例えば、現時点より１画素手前の標本値を用いる方
法（以下前値予測という）等がある。
83は局部複合器となる部分で、複合時に発生する誤差
の累積を防ぐために設けられている。この部分は、前記
非線形変換器82の出力を逆変換する非線形逆変換器84を
有し、その出力である予測誤差信号と前記予測値とを、
加算器85によって加算し、予測器86に入力させるもので
ある。
の累積を防ぐために設けられている。この部分は、前記
非線形変換器82の出力を逆変換する非線形逆変換器84を
有し、その出力である予測誤差信号と前記予測値とを、
加算器85によって加算し、予測器86に入力させるもので
ある。
上記DPCM符号化回路18で符号化された画像データは、
バッファメモリ19を介して、メモリカード等の画像デー
タ記憶媒体20に書き込まれる。上記バッファメモリ19を
用いたのは、DPCM符号化回路18と画像データ記憶媒体20
との間のデータ転送スピードをコントロールして、最終
的に画像データを記憶媒体20aに書き込むためである。
バッファメモリ19を介して、メモリカード等の画像デー
タ記憶媒体20に書き込まれる。上記バッファメモリ19を
用いたのは、DPCM符号化回路18と画像データ記憶媒体20
との間のデータ転送スピードをコントロールして、最終
的に画像データを記憶媒体20aに書き込むためである。
なお、第９図において、21はCCD駆動回路で、撮像素
子11として用いられているCCDを動作させるものであ
る。また、22はタイミング発生回路で、システムコント
ロール回路23により制御され、前述した各種の回路13〜
21に対し、所定のタイミングで信号を発し、これらを動
作させる。
子11として用いられているCCDを動作させるものであ
る。また、22はタイミング発生回路で、システムコント
ロール回路23により制御され、前述した各種の回路13〜
21に対し、所定のタイミングで信号を発し、これらを動
作させる。
このような装置では、R,G,Bの各色信号毎に、ガンマ
回路14、ホワイトバランス回路15、A/D変換回路16がそ
れぞれ必要となる。また、色分離回路13からは、これに
よって分離された、上記R,G,Bの各色信号が全て同時に
出力されるので、フィールドメモリ17を持たない場合
は、DPCM符号化回路18がR,G,Bの各色信号毎に必要とな
る。しかし、このようなことは実際上困難であり、カメ
ラ内には必ず前記フィールドメモリ17や、フレームメモ
リ等の大容量なバッファメモリが必要となる。
回路14、ホワイトバランス回路15、A/D変換回路16がそ
れぞれ必要となる。また、色分離回路13からは、これに
よって分離された、上記R,G,Bの各色信号が全て同時に
出力されるので、フィールドメモリ17を持たない場合
は、DPCM符号化回路18がR,G,Bの各色信号毎に必要とな
る。しかし、このようなことは実際上困難であり、カメ
ラ内には必ず前記フィールドメモリ17や、フレームメモ
リ等の大容量なバッファメモリが必要となる。
（発明が解決しようとする課題） このように、画像信号用の各ガンマ回路14、ホワイト
バランス回路15、A/D変換回路16が各R,G,B分（３組分）
必要であったり、フィールドメモリ等の大容量なバッフ
ァメモリが必要である等、回路規模やコストの小形化お
よび低廉化を妨げていた。
バランス回路15、A/D変換回路16が各R,G,B分（３組分）
必要であったり、フィールドメモリ等の大容量なバッフ
ァメモリが必要である等、回路規模やコストの小形化お
よび低廉化を妨げていた。
本発明の目的は、回路構成を簡素化することにより、
全体の小形化、およびコストの大幅な低廉化を可能とし
た画像信号処理装置を提供することにある。
全体の小形化、およびコストの大幅な低廉化を可能とし
た画像信号処理装置を提供することにある。
（課題を解決するための手段） 本発明による画像信号処理装置は、画像信号として得
られた少なくとも３原色に関わる各色信号を蓄積し転送
するための垂直レジスタと、この垂直レジスタから転送
されて来る色信号を受ける水平レジスタCCDと、前記垂
直レジスタに対し、前記３原色に関わる１ライン分の同
一色を一連とした各色毎の色信号を、前記水平レジスタ
CCDに対して、水平ブランキング毎に一連づつ、順次転
送させると共に、水平レジスタCCDに転送された一連の
色信号を順次転送出力させる転送制御部とを備えたもの
である。
られた少なくとも３原色に関わる各色信号を蓄積し転送
するための垂直レジスタと、この垂直レジスタから転送
されて来る色信号を受ける水平レジスタCCDと、前記垂
直レジスタに対し、前記３原色に関わる１ライン分の同
一色を一連とした各色毎の色信号を、前記水平レジスタ
CCDに対して、水平ブランキング毎に一連づつ、順次転
送させると共に、水平レジスタCCDに転送された一連の
色信号を順次転送出力させる転送制御部とを備えたもの
である。
また、請求項２に記載の画像信号処理装置は、請求項
１の構成において、転送出力用のパルス周波数を、この
転送出力された信号を基に符号化する符号化回路の処理
速度と、この符号化された画像データを記憶する記憶媒
体の記憶速度との、遅い方の速度に対応させて設定した
ものである。
１の構成において、転送出力用のパルス周波数を、この
転送出力された信号を基に符号化する符号化回路の処理
速度と、この符号化された画像データを記憶する記憶媒
体の記憶速度との、遅い方の速度に対応させて設定した
ものである。
さらに、請求項３に記載の画像信号処理装置は、請求
項１または２の構成において、転送出力された色信号を
処理するホワイトバランス回路を有し、そのホワイトバ
ランス用の増幅率を、各一連の色信号の出力タイミング
に合わせて、対応する色信号のホワイトバランス処理に
適した増幅率に変化させるように構成したものである。
項１または２の構成において、転送出力された色信号を
処理するホワイトバランス回路を有し、そのホワイトバ
ランス用の増幅率を、各一連の色信号の出力タイミング
に合わせて、対応する色信号のホワイトバランス処理に
適した増幅率に変化させるように構成したものである。
（作用） 本発明では、画像信号として得られた各色信号を、各
色毎の一連づつ、水平レジスタCCDから順次転送出力さ
せるようにしたので、後続する各種の回路は１系統分だ
け設ければよく、回路規模が小形化し、コストが低廉化
する。
色毎の一連づつ、水平レジスタCCDから順次転送出力さ
せるようにしたので、後続する各種の回路は１系統分だ
け設ければよく、回路規模が小形化し、コストが低廉化
する。
また、請求項２の発明では、転送出力用のパルス周波
数を、符号化回路の処理速度もしくは記録媒体の記録速
度のうちの遅い方の速度に対応させて設定したので、大
容量のフィールドメモリやバッファメモリも不要とな
る。
数を、符号化回路の処理速度もしくは記録媒体の記録速
度のうちの遅い方の速度に対応させて設定したので、大
容量のフィールドメモリやバッファメモリも不要とな
る。
さらに、請求項３の発明では、増幅器の増幅率を、一
連の色信号の出力タイミングに合わせて、その増幅率
を、対応する色信号のホワイトバランス処理に適した増
幅率に変化させるので、各色に適応したホワイトバラン
ス処理を行うことができる。
連の色信号の出力タイミングに合わせて、その増幅率
を、対応する色信号のホワイトバランス処理に適した増
幅率に変化させるので、各色に適応したホワイトバラン
ス処理を行うことができる。
（実施例） 以下、本発明の一実施例を図面を参照して説明する。
第１図で示す本発明の画像信号処理装置も、第９図で
示した従来装置と同様に、撮像素子としてCCD11を有
し、このCCD11から出力された画像信号は増幅器12で増
幅されるが、第９図における色分離回路13は用いずに、
１系統分のガンマ回路14およびホワイトバランス回路15
によって処理され、さらにA/D変換回路16でディジタル
信号に変換される。ディジタル信号に変換された画像デ
ータは、第９図で示したフィールドメモリ17を介するこ
となく、直接DPCM符号化回路18に入力され、ここで符号
化された後、第９図で示したバッファメモリ19を介する
ことなく、記憶装置20のメモリカード等の画像データ記
憶媒体20aに書き込まれる。
示した従来装置と同様に、撮像素子としてCCD11を有
し、このCCD11から出力された画像信号は増幅器12で増
幅されるが、第９図における色分離回路13は用いずに、
１系統分のガンマ回路14およびホワイトバランス回路15
によって処理され、さらにA/D変換回路16でディジタル
信号に変換される。ディジタル信号に変換された画像デ
ータは、第９図で示したフィールドメモリ17を介するこ
となく、直接DPCM符号化回路18に入力され、ここで符号
化された後、第９図で示したバッファメモリ19を介する
ことなく、記憶装置20のメモリカード等の画像データ記
憶媒体20aに書き込まれる。
DPCM符号化回路18は、第２図で示すように構成されて
いる。この構成は基本的に第10図で説明したものと同様
のものであり、対応する部分には同一符号を付してあ
る。このDPCM符号化回路18は、前述した前置予測方式を
用いており、この前置予測では、予測値として１画素手
前の画素データを用いるので、予測器86として、ここで
は１画素遅延器を用いている。
いる。この構成は基本的に第10図で説明したものと同様
のものであり、対応する部分には同一符号を付してあ
る。このDPCM符号化回路18は、前述した前置予測方式を
用いており、この前置予測では、予測値として１画素手
前の画素データを用いるので、予測器86として、ここで
は１画素遅延器を用いている。
なお、CCD駆動回路21、タイミング発生回路22、シス
テムコントロール回路23も、第９図で示した従来装置と
同様に設けられており、従来と同様の機能を果たす。
テムコントロール回路23も、第９図で示した従来装置と
同様に設けられており、従来と同様の機能を果たす。
ここで本発明では、第１図で示したCCD11の一例とし
て、フレームトランスファ型CCDを用いている。このCCD
11は、第３図で示すように、図示しない被写体像が入射
される受光部111と、この受光部111に生じる信号電荷を
蓄積し転送するための垂直レジスタ112とを有し、フレ
ームトランスファ型CCDでは一般に蓄積部と称される。
また、この蓄積部112の図示下側には、トランスファゲ
ート113および水平レジスタCCD114が３原色R,G,B分（３
組）設けられている。
て、フレームトランスファ型CCDを用いている。このCCD
11は、第３図で示すように、図示しない被写体像が入射
される受光部111と、この受光部111に生じる信号電荷を
蓄積し転送するための垂直レジスタ112とを有し、フレ
ームトランスファ型CCDでは一般に蓄積部と称される。
また、この蓄積部112の図示下側には、トランスファゲ
ート113および水平レジスタCCD114が３原色R,G,B分（３
組）設けられている。
上記受光部111および蓄積部112には、それぞれ信号電
荷を垂直転送するためのクロックφPIおよびφPSが印加
される。また、CCD11のカラーフィルタには、第４図で
示すように、R,G,B縦ストライプフィルタが用いられて
おり、トランスファゲート113には、R,G,B各色毎の信号
電荷を、蓄積部112から対応する水平レジスタCCD114に
転送するためのクロックφＴが印加される。さらに、R,
G,B用の各水平レジスタCCD114には、信号電荷を図示左
方に向かって水平転送するためのクロックφS1、φS2,
φS3が印加される。これらの各クロックφPI,φPS,φT,
φS1,φS2,φS3は、第１図で示したシステムコントロー
ル回路23によって制御されるタイミング発生回路22から
のタイミング信号に基づき、CCD駆動回路21から出力さ
れる。すなわち、上記CCD駆動回路21は、CCD11の転送制
御部として機能する。
荷を垂直転送するためのクロックφPIおよびφPSが印加
される。また、CCD11のカラーフィルタには、第４図で
示すように、R,G,B縦ストライプフィルタが用いられて
おり、トランスファゲート113には、R,G,B各色毎の信号
電荷を、蓄積部112から対応する水平レジスタCCD114に
転送するためのクロックφＴが印加される。さらに、R,
G,B用の各水平レジスタCCD114には、信号電荷を図示左
方に向かって水平転送するためのクロックφS1、φS2,
φS3が印加される。これらの各クロックφPI,φPS,φT,
φS1,φS2,φS3は、第１図で示したシステムコントロー
ル回路23によって制御されるタイミング発生回路22から
のタイミング信号に基づき、CCD駆動回路21から出力さ
れる。すなわち、上記CCD駆動回路21は、CCD11の転送制
御部として機能する。
次に、本発明の動作説明に先立って、上記CCD11の一
般的な転送動作を、第５図を用いて説明する。
般的な転送動作を、第５図を用いて説明する。
通常のテレビレートにおいて、受光部111により1/60s
ec間、光電変換された信号電荷は、テレビ信号の垂直ブ
ランキング期間に、前記クロックφPIおよびφPSによっ
て蓄積部112に高速で転送される（第５図のＴ期間）。
この後、各水平ブランキング期間に、水平１ライン分の
信号電荷を、蓄積部112から水平レジスタCCD114に転送
する。この場合、トランスファーゲート113には、各水
平ブランキング期間毎にクロックφＴが３パルス印加さ
れるので、第４図で示すように、３本の水平レジスタCC
D114には、３色R,G,Bの信号電荷が分離されてこの順番
で転送される。すなわち、Ｒの信号電荷は、第１パルス
で図示した上の列のＢ用水平レジスタCCD114、第２パル
スで中の列のＧ用水平レジスタCCD114、第３パルスで下
の列のＲ用水平レジスタCCD114に、Ｇの信号電荷は、第
２パルスで上の列のＢ用水平レジスタCCD114、第３パル
スで中の列のＧ用水平レジスタCCD114、に、Ｂの信号電
荷は、第３パルスで上の列のＢ用水平レジスタCCD114に
各々順次転送される。そうして、第３パルス印加後で
は、１ライン分の信号電荷Ｒが下の列のＲ信号用の水平
レジスタCCD114に転送され、１ライン分の信号電荷Ｇは
中央の列のＧ信号用の水平レジスタCCD114に転送され、
１ライン分の信号電荷Ｂは上の列のＢ信号用の水平レジ
スタCCD114に転送される。このようにして、１回の水平
ブランキング期間に、水平１ライン分の各信号電荷R,G,
Bが、対応する水平レジスタCCD114に転送される。
ec間、光電変換された信号電荷は、テレビ信号の垂直ブ
ランキング期間に、前記クロックφPIおよびφPSによっ
て蓄積部112に高速で転送される（第５図のＴ期間）。
この後、各水平ブランキング期間に、水平１ライン分の
信号電荷を、蓄積部112から水平レジスタCCD114に転送
する。この場合、トランスファーゲート113には、各水
平ブランキング期間毎にクロックφＴが３パルス印加さ
れるので、第４図で示すように、３本の水平レジスタCC
D114には、３色R,G,Bの信号電荷が分離されてこの順番
で転送される。すなわち、Ｒの信号電荷は、第１パルス
で図示した上の列のＢ用水平レジスタCCD114、第２パル
スで中の列のＧ用水平レジスタCCD114、第３パルスで下
の列のＲ用水平レジスタCCD114に、Ｇの信号電荷は、第
２パルスで上の列のＢ用水平レジスタCCD114、第３パル
スで中の列のＧ用水平レジスタCCD114、に、Ｂの信号電
荷は、第３パルスで上の列のＢ用水平レジスタCCD114に
各々順次転送される。そうして、第３パルス印加後で
は、１ライン分の信号電荷Ｒが下の列のＲ信号用の水平
レジスタCCD114に転送され、１ライン分の信号電荷Ｇは
中央の列のＧ信号用の水平レジスタCCD114に転送され、
１ライン分の信号電荷Ｂは上の列のＢ信号用の水平レジ
スタCCD114に転送される。このようにして、１回の水平
ブランキング期間に、水平１ライン分の各信号電荷R,G,
Bが、対応する水平レジスタCCD114に転送される。
その後、各水平レジスタCCD114に水平転送用のクロッ
クφS1、φS2,φS3が印加されることにより、信号電荷
は転送され、図示左端に設けたアンプにはR,G,B信号が
同時に出力される。
クφS1、φS2,φS3が印加されることにより、信号電荷
は転送され、図示左端に設けたアンプにはR,G,B信号が
同時に出力される。
上記説明は、一般的な転送動作についてであるが、本
発明では、転送制御部であるCCD駆動回路21により、各
クロックを第７図で示すタイミングで与えている。ここ
で、本発明でも、テレビ信号の垂直ブランキング期間
に、光電変換された信号電荷は、クロックφPIおよびφ
PSによって受光部111から蓄積部112に高速で転送するこ
とは同じである。
発明では、転送制御部であるCCD駆動回路21により、各
クロックを第７図で示すタイミングで与えている。ここ
で、本発明でも、テレビ信号の垂直ブランキング期間
に、光電変換された信号電荷は、クロックφPIおよびφ
PSによって受光部111から蓄積部112に高速で転送するこ
とは同じである。
本発明では、水平ブランキング期間に１ライン分の信
号電荷を蓄積部112から水平レジスタCCD114に転送する
に際し、トランスファーゲート113に、クロックφＴを
１パルスだけ印加している。すなわち、第７図で示す水
平ブランキング期間内の時刻t1にクロックφＴが１パル
ス印加されると、第６図（ａ）で示すように、１ライン
分の同一色（この場合Ｒ）を一連とした、一連の色信号
（Ｒのストライプフィルタに対応する信号電荷）が蓄積
部112から水平レジスタCCD114に転送される。そして、
この後に続く水平転送用のクロックφS3により水平方向
に転送され、出力される。
号電荷を蓄積部112から水平レジスタCCD114に転送する
に際し、トランスファーゲート113に、クロックφＴを
１パルスだけ印加している。すなわち、第７図で示す水
平ブランキング期間内の時刻t1にクロックφＴが１パル
ス印加されると、第６図（ａ）で示すように、１ライン
分の同一色（この場合Ｒ）を一連とした、一連の色信号
（Ｒのストライプフィルタに対応する信号電荷）が蓄積
部112から水平レジスタCCD114に転送される。そして、
この後に続く水平転送用のクロックφS3により水平方向
に転送され、出力される。
また、次の水平ブランキング期間においても、その時
刻t2にクロックφＴが１パルス印加されると、第６図
（ｂ）で示すように、１ライン分の次の同一色（この場
合Ｇ）を一連とした、一連の色信号（Ｇのストライプフ
ィルタに対応する信号電荷）が、蓄積部112から水平レ
ジスタCCD114に転送される。そして、この後は、同様に
水平転送用のクロックφS3により水平方向に転送され、
出力される。
刻t2にクロックφＴが１パルス印加されると、第６図
（ｂ）で示すように、１ライン分の次の同一色（この場
合Ｇ）を一連とした、一連の色信号（Ｇのストライプフ
ィルタに対応する信号電荷）が、蓄積部112から水平レ
ジスタCCD114に転送される。そして、この後は、同様に
水平転送用のクロックφS3により水平方向に転送され、
出力される。
以下、同様にして、次の水平ブランキング期間には、
一連の色信号Ｂが水平レジスタCCD114に転送され、さら
に、クロックφS3により水平方向に転送出力される。
一連の色信号Ｂが水平レジスタCCD114に転送され、さら
に、クロックφS3により水平方向に転送出力される。
上記動作により、１水平走査期間の信号電荷全てが、
水平走査期間毎に、R,G,Bの各色順で、順次転送出力さ
れたこととなる（これを線内色順次信号と呼ぶ）。そし
て、この動作を繰り返すことにより、１画面全ての信号
電荷が線内色順次信号として転送出力される。したがっ
て、第１図で示したように、CCD11からA/D変換器16まで
の信号処理は、第９図で示した従来装置が３系統必要で
あったのに対し、本発明では１系統のみで実現すること
ができる。
水平走査期間毎に、R,G,Bの各色順で、順次転送出力さ
れたこととなる（これを線内色順次信号と呼ぶ）。そし
て、この動作を繰り返すことにより、１画面全ての信号
電荷が線内色順次信号として転送出力される。したがっ
て、第１図で示したように、CCD11からA/D変換器16まで
の信号処理は、第９図で示した従来装置が３系統必要で
あったのに対し、本発明では１系統のみで実現すること
ができる。
また、第７図で示したクロックφPS,φＴおよびφS3
の各パルス周期を調整することにより、前記線内順次信
号を任意のレートで読み出すことが可能である。
の各パルス周期を調整することにより、前記線内順次信
号を任意のレートで読み出すことが可能である。
例えば、DPCM符号化回路18の処理速度が１画素当り10
0nsecであり、また、記憶媒体20aへの書き込み速度は25
0nsec/8bitとする。DPCM符号化によって１画素１色8bit
データを4bitに非線形変換した場合、２画素の処理後に
8bitデータとして記憶媒体20aに書き込むものとする
と、１回の書き込みに対して、DPCM符号化回路18の処理
速度は２画素分、すなわち、200nsecとなる。この場
合、上記符号化のための処理速度（200nsec）よりも記
憶媒体20aへの書き込み速度（250nsec）の方が遅いの
で、上述したクロックφPS,φＴおよびφS3の各パルス
周波数（パルス周期）を、１画素の水平転送時間が、25
0/2nsec＝125nsec以内（ただし、符号化処理時間が100n
sec/画素のため100nsec以上）となるように設定する。
0nsecであり、また、記憶媒体20aへの書き込み速度は25
0nsec/8bitとする。DPCM符号化によって１画素１色8bit
データを4bitに非線形変換した場合、２画素の処理後に
8bitデータとして記憶媒体20aに書き込むものとする
と、１回の書き込みに対して、DPCM符号化回路18の処理
速度は２画素分、すなわち、200nsecとなる。この場
合、上記符号化のための処理速度（200nsec）よりも記
憶媒体20aへの書き込み速度（250nsec）の方が遅いの
で、上述したクロックφPS,φＴおよびφS3の各パルス
周波数（パルス周期）を、１画素の水平転送時間が、25
0/2nsec＝125nsec以内（ただし、符号化処理時間が100n
sec/画素のため100nsec以上）となるように設定する。
このようにすると、CCD11から出力された２画素分の
データは符号化され、記憶媒体20aに記録された後、次
の画素のデータが出力されることとなる。したがって、
第９図の従来装置にあるような大容量のフィールドメモ
リ17やバッファメモリ19は不要となる。
データは符号化され、記憶媒体20aに記録された後、次
の画素のデータが出力されることとなる。したがって、
第９図の従来装置にあるような大容量のフィールドメモ
リ17やバッファメモリ19は不要となる。
また、処理速度の遅いほうに合わせて電荷転送速度を
設定しているので、記録速度の異なる記憶媒体や、処理
速度の異なる符号化処理に対しても容易に適用できる。
設定しているので、記録速度の異なる記憶媒体や、処理
速度の異なる符号化処理に対しても容易に適用できる。
また、第１図において、各色信号が線内色順次にてCC
D11から出力されるが、これらの各色信号は１つのホワ
イトバランス回路15を通るため、各色信号が出力される
タイミング毎に、ホワイトバランス用増幅器の増幅率
を、対応する色信号のホワイトバランス処理に適した増
幅率に制御する必要がある。
D11から出力されるが、これらの各色信号は１つのホワ
イトバランス回路15を通るため、各色信号が出力される
タイミング毎に、ホワイトバランス用増幅器の増幅率
を、対応する色信号のホワイトバランス処理に適した増
幅率に制御する必要がある。
そこで、例えば、第８図（ａ）で示すように、ホワイ
トバランス用増幅器として、各色信号R,G,Bに対応した
増幅率G1,G2,G3が設定されている増幅器15R,15G,15Bを
用意し、その出力側に設けた切換スイッチ15Sを、第１
図のシステムコントロール回路23により制御されるタイ
ミング発生回路22からの制御信号で、一連の色信号が出
力されるタイミングに合せて、対応する増幅器（15R,15
G,15Bのいずれか）が選択されるように切換える。
トバランス用増幅器として、各色信号R,G,Bに対応した
増幅率G1,G2,G3が設定されている増幅器15R,15G,15Bを
用意し、その出力側に設けた切換スイッチ15Sを、第１
図のシステムコントロール回路23により制御されるタイ
ミング発生回路22からの制御信号で、一連の色信号が出
力されるタイミングに合せて、対応する増幅器（15R,15
G,15Bのいずれか）が選択されるように切換える。
或いは、第８図（ｂ）のように、ホワイトバランス用
増幅器として、AGC（オートマチックゲインコントロー
ル）回路15Aを用いてもよい。この場合、第１図のシス
テムコントロール回路23からの制御信号により、各一連
の色信号の出力タイミング毎に、対応する各色信号に合
せてホワイトバランス用のゲインを制御する。制御信号
としては、例えば、システムコントロール回路23からの
ディジタル信号を、D/A変換器を用いてアナログ信号と
し、AGC回路15Aを制御すればよい。
増幅器として、AGC（オートマチックゲインコントロー
ル）回路15Aを用いてもよい。この場合、第１図のシス
テムコントロール回路23からの制御信号により、各一連
の色信号の出力タイミング毎に、対応する各色信号に合
せてホワイトバランス用のゲインを制御する。制御信号
としては、例えば、システムコントロール回路23からの
ディジタル信号を、D/A変換器を用いてアナログ信号と
し、AGC回路15Aを制御すればよい。
このように構成すると、各色に適応した増幅率によ
り、適正なホワイトバランス処理を行うことができる。
り、適正なホワイトバランス処理を行うことができる。
次に、他の実施例として、CCD11に第11図に示すイン
ターライン型CCDを用いたものを説明する。一般にイン
ターライン型CCDにおいて垂直レジスタ112は垂直転送部
と称される。
ターライン型CCDを用いたものを説明する。一般にイン
ターライン型CCDにおいて垂直レジスタ112は垂直転送部
と称される。
このインターライン型CCDを利用する場合は、１水平
ラインの光学変換する受光部111の信号電荷のうち奇数
列の信号を、トランスファゲート111aおよびトランスフ
ァゲート113を介して、図示した上の段の水平レジスタC
CD114に、また偶数列の信号を、トランスファゲート111
aおよびトランスファゲート113を介して、下の段の水平
レジスタCCD114に、それぞれ転送されるように、水平転
送クロックのタイミングを合わせる。そして、第１の水
平ライン（R,G,R,G……）のうち、奇数列の信号電荷Ｒ
を、上の段の水平レジスタCCD114に転送し、偶数列の信
号電荷Ｇを、下の段の水平レジスタCCD114に転送し、そ
れぞれ出力させる。また、第２の水平ライン（G,B,G,B
……）のうち、奇数列の信号電荷Ｇを、上の段の水平レ
ジスタCCD114に転送し、偶数列の信号電荷Ｂを、下の段
の水平レジスタCCD114に転送し、それぞれ出力させ、第
３の水平ライン以降も、同様に行なうものである。
ラインの光学変換する受光部111の信号電荷のうち奇数
列の信号を、トランスファゲート111aおよびトランスフ
ァゲート113を介して、図示した上の段の水平レジスタC
CD114に、また偶数列の信号を、トランスファゲート111
aおよびトランスファゲート113を介して、下の段の水平
レジスタCCD114に、それぞれ転送されるように、水平転
送クロックのタイミングを合わせる。そして、第１の水
平ライン（R,G,R,G……）のうち、奇数列の信号電荷Ｒ
を、上の段の水平レジスタCCD114に転送し、偶数列の信
号電荷Ｇを、下の段の水平レジスタCCD114に転送し、そ
れぞれ出力させる。また、第２の水平ライン（G,B,G,B
……）のうち、奇数列の信号電荷Ｇを、上の段の水平レ
ジスタCCD114に転送し、偶数列の信号電荷Ｂを、下の段
の水平レジスタCCD114に転送し、それぞれ出力させ、第
３の水平ライン以降も、同様に行なうものである。
なお、上記説明は本発明を電子スチルカメラに応用し
た場合について行なったが、本発明はテレビ電話等の情
報通信分野にも利用できる。
た場合について行なったが、本発明はテレビ電話等の情
報通信分野にも利用できる。
以上のように本発明によれば、ガンマ回路、ホワイト
バランス回路等の信号プロセス回路およびA/D変換器は
１系統のみでよく、また、符号化のために大容量のフィ
ールドメモリやバッファメモリも不要となるので、装置
全体の大幅な小形化およびコストの低廉化が期待でき
る。そして、このための手法は、撮像素子の信号電荷転
送タイミングやスピードを制御することによっているた
め、部品の追加を要すること無く、容易に実現できる。
バランス回路等の信号プロセス回路およびA/D変換器は
１系統のみでよく、また、符号化のために大容量のフィ
ールドメモリやバッファメモリも不要となるので、装置
全体の大幅な小形化およびコストの低廉化が期待でき
る。そして、このための手法は、撮像素子の信号電荷転
送タイミングやスピードを制御することによっているた
め、部品の追加を要すること無く、容易に実現できる。
第１図は本発明による画像信号処理装置の一実施例を示
すブロック図、第２図は第１図で示した符号化回路の構
成例を示すブロック図、第３図は第１図で示した撮像素
子の構成を説明する正面図、第４図は第３図で説明した
撮像素子の一般的な信号電荷の転送動作を説明する正面
図、第５図は第４図の転送動作時に印加される各クロッ
クのタイミングを説明するタイムチャート、第６図
（ａ）（ｂ）は第３図で説明した撮像素子の本発明にお
ける信号電荷の転送動作を説明する正面図、第７図は第
６図の転送動作のために印加される各クロックのタイミ
ングを説明するタイムチャート、第８図（ａ）（ｂ）は
各色信号毎のホワイトバランス用増幅率を得るための回
路構成を示す回路図、第９図は従来装置を説明するため
のブロック図、第10図は第９図で示した符号化回路を示
すブロック図、第11図は他の実施例の信号電荷の転送動
作を説明する正面図である。 11……CCD、112……垂直レジスタ、114……水平レジス
タCCD、15……ホワイトバランス回路、18……符号化回
路、20a……記憶媒体、21……転送制御部として機能す
るCCD駆動回路。
すブロック図、第２図は第１図で示した符号化回路の構
成例を示すブロック図、第３図は第１図で示した撮像素
子の構成を説明する正面図、第４図は第３図で説明した
撮像素子の一般的な信号電荷の転送動作を説明する正面
図、第５図は第４図の転送動作時に印加される各クロッ
クのタイミングを説明するタイムチャート、第６図
（ａ）（ｂ）は第３図で説明した撮像素子の本発明にお
ける信号電荷の転送動作を説明する正面図、第７図は第
６図の転送動作のために印加される各クロックのタイミ
ングを説明するタイムチャート、第８図（ａ）（ｂ）は
各色信号毎のホワイトバランス用増幅率を得るための回
路構成を示す回路図、第９図は従来装置を説明するため
のブロック図、第10図は第９図で示した符号化回路を示
すブロック図、第11図は他の実施例の信号電荷の転送動
作を説明する正面図である。 11……CCD、112……垂直レジスタ、114……水平レジス
タCCD、15……ホワイトバランス回路、18……符号化回
路、20a……記憶媒体、21……転送制御部として機能す
るCCD駆動回路。
Claims (3)
- 【請求項１】画像信号として得られた少なくとも３原色
に関わる各色信号を蓄積し転送する垂直レジスタと、 この垂直レジスタから転送されて来る色信号を受ける水
平レジスタCCDと、 前記垂直レジスタに対し、前記３原色に関わる１ライン
分の同一色を一連とした各色毎の一連の色信号を、前記
水平レジスタCCDに対して、水平ブランキング毎に一連
づつ、順次転送させると共に、水平レジスタCCDに転送
された一連の色信号を順次転送出力させる転送制御部
と、 を備えたことを特徴とする画像信号処理装置。 - 【請求項２】転送出力用のパルス周波数を、この転送出
力された信号を基に符号化する符号化回路の処理速度
と、この符号化された画像データを記憶する記憶媒体の
記憶速度との、遅い方の速度に対応させて設定したこと
を特徴とする請求項１に記載の画像信号処理装置。 - 【請求項３】転送出力された色信号を処理するホワイト
バランス回路を有し、そのホワイトバランス用の増幅率
を、各一連の色信号の出力タイミングに合わせて、対応
する色信号のホワイトバランス処理に適した増幅率に変
化させるように構成したことを特徴とする請求項１又は
２に記載の画像信号処理装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2115523A JP2873046B2 (ja) | 1990-05-01 | 1990-05-01 | 画像信号処理装置 |
| US07/691,729 US5194944A (en) | 1990-05-01 | 1991-04-26 | Image signal processing apparatus for successively transferring a series of color signals obtained as image signals |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2115523A JP2873046B2 (ja) | 1990-05-01 | 1990-05-01 | 画像信号処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0413395A JPH0413395A (ja) | 1992-01-17 |
| JP2873046B2 true JP2873046B2 (ja) | 1999-03-24 |
Family
ID=14664638
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2115523A Expired - Lifetime JP2873046B2 (ja) | 1990-05-01 | 1990-05-01 | 画像信号処理装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5194944A (ja) |
| JP (1) | JP2873046B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0415756A3 (en) * | 1989-08-31 | 1991-12-27 | Canon Kabushiki Kaisha | Electronic still camera |
| US5309183A (en) * | 1989-09-28 | 1994-05-03 | Canon Kabushiki Kaisha | Image pickup apparatus having difference encoding and non-linear processing of image signals |
| US5343243A (en) * | 1992-01-07 | 1994-08-30 | Ricoh Company, Ltd. | Digital video camera |
| US5539536A (en) * | 1992-03-19 | 1996-07-23 | Sony Corporation | Linear imaging sensor having improved charged transfer circuitry |
| JP4164878B2 (ja) * | 1995-04-28 | 2008-10-15 | ソニー株式会社 | 撮像装置及びその制御方法 |
| GB9524337D0 (en) | 1995-11-29 | 1996-01-31 | Vlsi Vision Ltd | Shuffled read IC sensor |
| WO1998025402A1 (en) * | 1996-12-06 | 1998-06-11 | Flashpoint Technology, Inc. | A method and system for assisting in the manual capture of overlapping images for composite image generation in a digital camera |
| DE19702837C1 (de) * | 1997-01-27 | 1998-07-16 | Reimar Dr Lenz | Digitale Farbkamera für die elektronische Fotografie |
| US5973734A (en) | 1997-07-09 | 1999-10-26 | Flashpoint Technology, Inc. | Method and apparatus for correcting aspect ratio in a camera graphical user interface |
| US6317141B1 (en) | 1998-12-31 | 2001-11-13 | Flashpoint Technology, Inc. | Method and apparatus for editing heterogeneous media objects in a digital imaging device |
| US7230646B2 (en) * | 1999-12-22 | 2007-06-12 | Florida Atlantic University | Single sensor electronic video camera technique with diagonally coupled pixels |
| US7834927B2 (en) | 2001-08-22 | 2010-11-16 | Florida Atlantic University | Apparatus and method for producing video signals |
| US7408584B2 (en) | 2001-08-22 | 2008-08-05 | Florida Atlantic University | Producing video signals using sensor and lenticular lens pattern |
| CN1203665C (zh) * | 2002-03-25 | 2005-05-25 | 精工爱普生株式会社 | 固体摄像元件以及使用其的固体摄像装置 |
| US7692706B2 (en) * | 2006-07-20 | 2010-04-06 | Eastman Kodak Company | Charge summing in multiple output charge-coupled devices in an image sensor |
| US20080052026A1 (en) * | 2006-08-23 | 2008-02-28 | Qurio Holdings, Inc. | Configuring a content capture device for one or more service providers |
| US9224145B1 (en) | 2006-08-30 | 2015-12-29 | Qurio Holdings, Inc. | Venue based digital rights using capture device with digital watermarking capability |
| JP5539079B2 (ja) * | 2010-07-15 | 2014-07-02 | キヤノン株式会社 | 撮像装置、その制御方法及びプログラム |
| CN103053164B (zh) * | 2010-12-16 | 2015-06-17 | 松下电器产业株式会社 | 摄像装置及图像处理装置 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5970091A (ja) * | 1982-10-13 | 1984-04-20 | Nippon Kogaku Kk <Nikon> | 電子スチルカメラ |
| DE3344082A1 (de) * | 1982-12-07 | 1984-06-07 | Canon K.K., Tokio/Tokyo | Bildaufnahme-einrichtung |
| US4985758A (en) * | 1982-12-07 | 1991-01-15 | Canon Kabushiki Kaisha | Signal processing system having selected output from plural readout devices |
| US4870495A (en) * | 1985-02-22 | 1989-09-26 | Canon Kabushiki Kaisha | Image sensing element and image sensing apparatus for recording a still image |
| US4814861A (en) * | 1985-07-10 | 1989-03-21 | Canon Kabushiki Kaisha | Signal processing apparatus with independent gain control for chrominance and color signals |
| US5034804A (en) * | 1987-12-25 | 1991-07-23 | Kabushiki Kaisha Toshiba | Electronic still camera with various modes of data compression |
-
1990
- 1990-05-01 JP JP2115523A patent/JP2873046B2/ja not_active Expired - Lifetime
-
1991
- 1991-04-26 US US07/691,729 patent/US5194944A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0413395A (ja) | 1992-01-17 |
| US5194944A (en) | 1993-03-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2873046B2 (ja) | 画像信号処理装置 | |
| JP3438205B2 (ja) | デジタル電子カメラ装置 | |
| KR100462260B1 (ko) | 영상픽업장치 | |
| JP2009253667A (ja) | 動画処理装置及び動画処理方法、動画処理プログラム | |
| US7236194B2 (en) | Image signal processing apparatus | |
| EP0895412B1 (en) | Apparatus and method for enlarging or reducing of pictures | |
| US6339213B2 (en) | Solid state imaging device and method for driving the same | |
| JPH044675A (ja) | 電子カメラ | |
| JPH02268089A (ja) | 記録再生装置 | |
| US20030146996A1 (en) | Imaging apparatus | |
| JPH06339077A (ja) | 固体撮像装置 | |
| JP2666260B2 (ja) | 電子スチルカメラ | |
| JP2615572B2 (ja) | 電子スチルカメラ | |
| JP3083143B6 (ja) | 画像信号記録装置 | |
| JP3083143B2 (ja) | 画像信号記録装置 | |
| JPH07162874A (ja) | 単板式高感度カラーカメラ装置 | |
| JPH05167932A (ja) | 固体撮像装置 | |
| JP2580562B2 (ja) | 感度ムラ補正回路 | |
| JPH06189256A (ja) | 静止画記録ディジタルカメラ | |
| JP3059921B2 (ja) | 撮像装置 | |
| JPH09102906A (ja) | 撮像装置 | |
| JP2000261817A (ja) | 撮像装置 | |
| JPH09224194A (ja) | 撮影装置 | |
| JPH05268523A (ja) | ビデオカメラ | |
| JP3092229B2 (ja) | 映像再生システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110108 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110108 Year of fee payment: 12 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110108 Year of fee payment: 12 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110108 Year of fee payment: 12 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110108 Year of fee payment: 12 |