JP3083143B6

JP3083143B6 - 画像信号記録装置

Info

Publication number: JP3083143B6
Application number: JP1990163127A
Authority: JP
Inventors: 雅之内山; 久丹羽
Original assignee: チノン株式会社
Filing date: 1990-06-21
Publication date: 2008-10-08

Description

【０００１】
【産業上の利用分野】
本発明は、撮像素子からの画像信号を符号化して転送制御する画像信号記録装置に関する。
【０００２】
【従来の技術】
光学像を撮像素子によって画像信号に変換し、これをデジタルデータとして記憶装置に記憶させるものとして、たとえばデジタル式の電子スチルカメラがある。この電子スチルカメラでは、膨大な量のデジタル画像データを限られた容量の記憶装置内に記憶させるため、情報圧縮が不可欠となる。この情報圧縮の手法はこれまで種々の方法が提案されており、隣接画素間の相関性を利用したDPCM方式が知られている。
【０００３】
図11はDPCM方式を用いた電子スチルカメラの信号処理例を表すブロック図であり、以下これについて説明する。
【０００４】
撮像素子としてのCCD11から出力された画像信号はアンプなどの増幅器12で増幅され、色分離回路13によりたとえば赤、緑、青（R,G,B）の３色の色成分にそれぞれ分離される。この後、各色信号R,G,Bはそれぞれガンマ回路14およびホワイトバランス回路15によって処理され、さらにA/D変換回路16でデジタル信号に変換され、フィールドメモリ17に記憶される。このフィールドメモリ17は、DPCM符号化回路18のためのバッファメモリとして用いられる。
【０００５】
また、DPCM符号化回路18は、A/D変換回路16でデジタル信号に変換されてフィールドメモリ17から色面順次あるいは色線順次に読み出された画像データをそれぞれ符号化するもので、図12のように構成されている。すなわち、このDPCM符号化回路18は、入力信号である現時点のサンプル値x₀から、減算器81により予測値

（現時点の値をそれ以前の標本点から予測した値）を差し引き、その結果得られる予測誤差信号ε_０を非線形変換器82により非線形変換して出力する。このような予測値としては、たとえば現時点における注目する画素（予測対象の画素）近傍の複数の画素の標本値を用いる方法（以下２次元多点予測方法という）などがある。
【０００６】
図において、83は局部復号器で、この局部復号器83は復号時に発生する誤差の累積を防ぐために設けられ、非線形変換器82の出力を逆変換する非線形逆変換器84を有し、その出力である予測誤差信号と予測値とを加算器85によって加算し、予測器86に入力させる。
【０００７】
また、DPCM符号化回路18で符号化された画像データは、バッファメモリ19を介してメモリカードなどの画像データ記憶装置20に書き込まれ、バッファメモリ19を用いたのは、DPCM符号化回路18と画像データ記憶装置20との間のデータ転送スピードをコントロールして最終的に画像データを記憶媒体20aに書き込むためである。
【０００８】
なお、図11において、21はCCD駆動回路で、このCCD駆動回路21はCCD11を動作させる。また、22はタイミング発生回路で、このタイミング発生回路22はシステムコントロール回路23により制御され、色分離回路13、ガンマ回路14、ホワイトバランス回路15、A/D変換回路16、フィールドメモリ17、DPCM符号化回路18、バッファメモリ19、画像データ記憶装置20および色信号出力制御手段として機能するCCD駆動回路21に対し、所定のタイミングで信号を発し、これを動作させる。
【０００９】
このような装置では、R,G,Bの各色信号毎に、ガンマ回路14、ホワイトバランス回路15、A/D変換回路16がそれぞれ必要となる。また、色分離回路13からは、この色分離回路13によって分離されたR,G,Bの各色信号が全て同時に出力されるので、フィールドメモリ17を持たない場合は、DPCM符号化回路18がR,G,Bの各色信号毎に必要となる。
【００１０】
また、データ圧縮のために符号化する場合、予測データを得る手段として、前述のように、注目する画素近傍の複数の画素データを用いて予測する２次元多点予測方法がある。この予測方法は、高精度の予測値を得ることができるが、後述するように、１ライン前の画素データを保持する必要があり、回路要素が必要となる。このため、上述のように、フィールドメモリ17を持たない場合は、１ライン前の画素データを保持するための回路要素を必要とする符号化回路がR,G,Bの各信号ごとに必要となるため、装置構成は大幅に大型・複雑化してしまう。
【００１１】
したがって、カメラ内には必ずフィールドメモリ17や、フレームメモリなどの大容量なバッファメモリが必要となる。
【００１２】
【発明が解決しようとする課題】
このように、画像信号用の各ガンマ回路14、ホワイトバランス回路15、A/D変換回路16が各R,G,B分の３組分必要であるフィールドメモリなどの大容量なバッファメモリが必要であるなど、回路規模やコストの小形化および低廉化を妨げている。
【００１３】
本発明は、上記問題点に鑑みなされたもので、回路構成を簡素化することにより、全体の小形化、およびコストの大幅な低廉化を可能とし、しかもデータ圧縮のための符号化に、２次元多点予測方法を採用した画像信号記録装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明は、撮像素子により画像信号として得られた色成分の色信号を各色ごとに１ライン分づつ順次出力させる色信号出力制御手段と、この色信号出力制御手段で出力された各色を合計した１ライン分の色信号を記憶する容量で前記色信号出力制御手段で各色ごとに１ライン分づつ出力された各色ごとの色信号を各色ごとに順次記憶するラインメモリ、１画素遅延器、前記ラインメモリを通して得られる１ライン前の近傍の画素データのサンプル値および上記１画素遅延器により得られる同一ラインの近傍の画素データの値を所定の割合で合算して予測値を演算する演算手段を備え、データを圧縮する符号化回路と、この圧縮されたデータを記憶する記憶装置とを具備したものである。
【００１５】
【作用】
本発明は、色信号出力制御手段は画像信号として得られた各色信号を各色毎の１ラインづつ順次出力させ、ラインメモリには各色ごとの色信号に各色ごとに１ライン分づつまとめて順次記憶するため、１ライン分の色信号を記憶する容量の少ない容量でよいのみならず、色分離回路のように同時に色成分ごとの色信号が出力されないので、後続する各種の回路は１系統分だけ設ければよく、回路規模が小形化し、コストが低廉化し、データ圧縮のために符号化する場合、予測値を得る手法として、より高精度の値が得られる２次元多点予測方法ができる。
【００１６】
【実施例】
以下、本発明の画像信号記録装置の一実施例を図面を参照して説明する。
【００１７】
まず、図２により全体構成を従来例と対応する部分には同一の符号を付して説明する。図２で示す画像信号記録装置も、図11で示した従来例と同様に、撮像素子としてCCD11を有し、このCCD11から出力された画像信号はアンプなどの増幅器12で増幅されるが、図11における色分離回路13は用いずに、１系統分のガンマ回路14およびホワイトバランス回路15によって処理され、A/D変換回路16でデジタル信号に変換される。デジタル信号に変換された画像データは、図11で示したフィールドメモリ17に介することなく、直接DPCM符号化回路18に入力され、ここで符号化された後、図11で示したバッファメモリ19を介することなく、画像データ記憶装置20のメモリカードなどの記憶媒体20aに書き込まれる。
【００１８】
DPCM符号化回路18は、２次元多点予測方法を用いたもので、図１で示すように構成されている。
【００１９】
ここで、まず２次元多点予測方法を図８（図の例では２次元３点予測方法）により説明する。図において、注目する画素（予測しようとする画素）をx₀、その左の画素データをx₁、真上の画素データをx₂、右上の画素データをx₃とし
たとき、予測値

は次式から得られる。

したがって、DPCM符号化回路18は、従来と同様に、現時点のサンプル値（注目する画素の値）x₀から予測値

を差し引く減算器81、この減算器81によって得られる予測誤差信号ε_０を、たとえば８ビットデータから４ビットデータに非線形変換する非線形変換器82、この非線形変換器82の出力を４ビットデータから８ビットデータに逆変換する非線形逆変換器84および加算器85を有する。
【００２０】
図１で示す予測器86は、前述のように式（１）を満足するものであり、図８の左の画素データx₁を得るべく、入力信号を１画素遅延させるための１画素遅延器86aを有する。また、図８の右上の画素データx₃を得るべくラインメモリ86bを設ける。このラインメモリ86bは、水平１ライン分の画素数に対応した容量（１ライン画素数−１画素数）を有しており、このラインメモリ86bを通すことにより、１ライン前より１画素後の、図示右上の画素データx₃が得られる。さらに、図８における真上の画素データx₂を得るべく、ラインメモリ86bの出力側に１画素遅延器86cを設けている。すなわち、この１画素遅延器86cを通すことにより、ラインメモリ86bの出力より１画素前の画素データである真上の画素データx₂が得られる。
【００２１】
上記各画素データx₁,x₂,x₃に対し、それぞれ式（１）で示した割合1/2,1/4,1/4をかけるべく2/1乗算器86d、1/4乗算器86e,86fを設ける。そして、それらの出力を加算器86gで合算し、アナログスイッチ86hの端子ｂ側を経た後、予測値

として出力させる。
ここで、アナログスイッチ86hを設けたのは、最初の１ライン目の予測に当たっては１ライン前の画素データが存在しないためである。したがって、この場合のみアナログスイッチ86hを端子ａ側に切換え、１画素前の画素データx₁をそのまま予測値

として用い、２ライン目以降は端子ｂ側に切換える。このアナログスイッチ86hの切換えは、図２で示したタイミング発生回路22により制御する。
【００２２】
このように予測器86は、注目画素x₀に対して、同一ラインの近傍の画素データ、たとえばx₁を得るための１画素遅延器86aと、１ライン前の近傍の画素データ、たとえばx₂,x₃を得るためのラインメモリ86bとを基本構成として有する。
【００２３】
なお、CCD駆動回路21、タイミング発生回路22およびシステムコントロール回路23も、図11で示した従来例と同様に設けられており、従来と同様の機能を果たす。
【００２４】
ここで、図２で示したCCD11の一例として、フレームトランスファ型CCDを用いている。このCCD11は、図３で示すように、図示しない被写体像が入射される受光部111と、この受光部111に生じる信号電荷を蓄積するための蓄積部112とを有する。また、この蓄積部112の図示下側には、トランスファゲート113および水平レジスタCCD114が色成分である３原色R,G,B分（３組）設けられている。
【００２５】
また、受光部111および蓄積部112には、それぞれ信号電荷を垂直転送するためのクロックφ_PIおよびクロックφ_PSが印加される。また、CCD11のカラーフィルタには、図４で示すように、R,G,B縦ストライプフィルタが用いられており、トランスファゲート113には、R,G,B各色毎の信号電荷を蓄積部112から対応する水平レジスタCCD114に転送するためのクロックφ_Ｔが印加される。さらに、R,G,B用の各水平レジスタCCD114には、信号電荷を図示左方に向かって水平転送するためのクロックφ_S1,φ_S2,φ_S3が印加される。これらの各クロックφ_PI,φ_PS,φ_T,φ_S1,φ_S2,φ_S3は、図２で示したシステムコントロール回路23によって制御されるタイミング発生回路22からのタイミング信号に基づき、CCD駆動回路21から出力される。
【００２６】
次に、上記実施例の動作説明に先立って、CCD11の一般的な転送動作を図５を参照して説明する。
【００２７】
通常のテレビレートにおいて、受光部111により1/60sec間、光電変換された信号電荷はテレビ信号の垂直ブランキング期間にクロックφPIおよびクロックφ_PSによって蓄積部112に高速で転送される（図５のＴ期間）。この後、各水平ブランキング期間に、水平１ライン分の信号電荷を蓄積部112から水平レジスタCCD114に転送する。この場合、トランスファゲート113には各水平ブランキング期間毎にクロックφ_Ｔが３パルス印加されるので、図４に示すように、３本の水平レジスタCCD114には３色R,G,Bの信号電荷が分離されてこの順番で転送される。すなわち、Ｒの信号電荷は、第１パルスでＢ用水平レジスタCCD114、第２パルスでＧ用水平レジスタCCD114、第３パルスでＲ用水平レジスタCCD114に、Ｇの信号電荷は、第２パルスでＢ用水平レジスタCCD114、第３パルスでＧ用水平レジスタCCD114に、Ｂの信号電荷は、第３パルスでＢ用水平レジスタCCD114に各々順次転送される。そうして、第３パルス印加後では、１ライン分の信号電荷R,R,R……がＲ信号用の水平レジスタCCD114に転送され、１ライン分の信号電荷G,G,G……はＧ信号用の水平レジスタCCD114に転送され、１ライン分の信号電荷B,B,B……はＢ信号用の水平レジスタCCD114に転送される。このようにして、１回の水平ブランキング期間に、水平１ライン分の各信号電荷R,R,R……,G,G,G……,B,B,B……が、対応する水平レジスタCCD114に転送される。
【００２８】
その後、各水平レジスタCCD114に水平転送用のクロックφ_S1,φ_S2,φ_S3が印加されることにより信号電荷は転送され、図示左端に設けたアンプにはR,G,B信号が同時に出力される。
【００２９】
上記説明は、一般的な転送動作についてであるが、上記実施例ではCCD駆動回路21により、各クロックを図７で示すタイミングで与えている。ここで、テレビ信号の垂直ブランキング期間に、光電変換された信号電荷をクロックφ_PIおよびクロックφ_PSによって受光部111から蓄積部112に高速で転送することは同じである。
【００３０】
また、水平ブランキング期間に１ライン分の信号電荷を蓄積部112から水平レジスタCCD114に転送するに際し、トランスファゲート113にクロックφ_Ｔを１パルスだけ印加している。すなわち、図７で示す水平ブランキング期間内の時刻t1にクロックφ_Ｔが１パルス印加されると、図６（ａ）で示すように、１ライン分の同一色Ｒを一連とした、Ｒのストライプフィルタに対応する信号電荷である一連の色信号R,R,R……が蓄積部112から水平レジスタCCD114に転送される。そして、この後に続く水平転送用のクロックφ_S3により水平方向に転送され、出力される。
【００３１】
また、次の水平ブランキング期間においても、その時刻t2にクロックφ_Ｔが１パルス印加されると、図６（ｂ）で示すように、１ライン分の次の同一色Ｇを一連とした、Ｇのストライプフィルタに対応する信号電荷である一連の色信号G,G,G……が、蓄積部112から水平レジスタCCD114に転送される。そして、この後は、同様に水平転送用のクロックφ_S3により水平方向に転送され、出力される。
【００３２】
以下、同様にして、次の水平ブランキング期間には、一連の色信号B,B,B……が水平レジスタCCD114に転送され、クロックφ_S3により水平方向に転送出力される。
【００３３】
上記動作により、１水平走査期間の信号電荷全てが、水平走査期間毎に、R,R,R……,G,G,G……,B,B,B……の各色順で、同一色がまとまって順次転送出力されたこととなる（これを線内色順次信号と呼ぶ）。そして、この動作を繰り返すことにより、１画面全ての信号電荷が線内色順次信号として転送出力される。したがって、図２で示したように、CCD11からA/D変換回路16までの信号処理は図11で示した従来装置が３系統必要であったのに対し、上記実施例では１系統のみで実現できる。
【００３４】
このように、CCD11により画像信号として得られた３原色の色信号を、各色ごとに１ライン分づつ順次シリーズに出力させており、この動作は、CCD駆動回路21が各クロックを上述のようにコントロールするので、このCCD駆動回路21は色信号出力制御手段として機能する。
【００３５】
また、図７で示したクロックφ_PS,φ_Ｔおよびφ_S3の各パルス周期を調整することにより、線内順次信号を任意のレートで読み出すことが可能である。
【００３６】
たとえばDPCM符号化回路18の処理速度が１画素当り100nsecであり、また、記憶媒体20aへの書き込み速度は250nsec/8bitとする。DPCM符号化によって１画素１色8bitデータを4bitに非線形変換した場合、２画素の処理後に8bitデータとして記憶媒体20aに書き込むものとすると、１回の書き込みに対してDPCM符号化回路18の処理速度は２画素分、すなわち200nsecとなる。この場合、符号化のための処理速度（200nsec）よりも記憶媒体20aへの書き込み速度（250nsec）の方が遅いので、上述したクロックφ_PS,φ_Ｔおよびφ_S3の各パルス周波数（パルス周期）を、１画素の水平転送時間が250/2nsec＝125nsec以内（ただし、符号化処理時間が100nsec/画素のため100nsec以上）となるように設定する。
【００３７】
このようにすると、CCD11から出力された２画素分のデータは符号化され、記憶媒体20aに記録された後、次の画素のデータが出力されることとなる。したがって、図11の従来例にあるような大容量のフィールドメモリ17やバッファメモリ19は不要となる。
【００３８】
また、処理速度の遅いほうに合わせて電荷転送速度を設定しているので、記録速度の異なる記憶媒体や、処理速度の異なる符号化処理に対しても容易に適用できる。
【００３９】
次に、図１で示した予測器86による予測動作を説明する。まず、ラインメモリ86bを通り、１画素遅延器86c、1/4乗算器86fを通って加算器86gに入力されるデータは、トータルとして（１ライン画素数−１画素＋１画素）＝１ライン画素数分の時間、遅延されている。すなわち、ちょうど１ライン分遅れて、レベルが1/4となったデータとなり、これは図８における現時点の画素x₀の１ライン前である真上の画素データx₂の1/4である。また、ラインメモリ86b、1/4乗算器86eを通過するデータは、（１ライン画素数−１画素）分遅延している。すなわち、１ライン分の遅延に対して１画素分だけ遅延時間が短く、これは第８図における右上の画素データx₃の1/4である。さらに、１画素遅延器86a、1/2乗算器86dを通過するデータは、現時点の画素x₀に対し、１画素手前である図８の左の画素データx₁の1/2となる。そして、これらのデータは加算器86gで合算されるので、合算後における予測器86の出力は、式（１）で説明
した２次元３点予測値

となる。すなわち、あるラインでの色信号R,R,R……,G,G,G……,B,B,B……と、次のラインでの色信号R,R,R……,G,G,G……,B,B,B……とは対応するので、必ず同一色の間で予測できる。
【００４０】
なお、１画素遅延器86a,86cは、１画素分の時間のみデータを保持すればよいので、Ｄフリップ・フロップなどを用いたラッチ回路で容易に構成できる。また、ラインメモリ86bとしては、（１ライン画素数−１画素）分データを遅延させるので、たとえばFIFOメモリなどを用いればよい。
【００４１】
上記実施例では、予測器86による２次元多点予測方法として、図８で示した２次元３点予測方法を示したが、図10で示すように２次元４点予測方法を用いてもよい。この２次元４点予測方法は、図８で示した２次元３点予測方法における近傍画素データx₁,x₂,x₃に対し、注目画素x₀の左上の画素データx₄を加
え、式（２）により予測値

を求める。

上記予測を実行する予測器86の回路構成を図９により説明する。この図９の回路は、図１で説明したものに対し、画素データx₄を得るために、２画素遅延器86iをラインメモリ86bの出力側に新たに設けている。この画素データx₄は式（２）から1/8の割合がかけられるので、２画素遅延器86iの出力側には1/8乗算器86jを設けており、その出力は加算器86kにより1/4乗算器86fの出力に加算され、さらに加算器86gに入力される。
【００４２】
また、式（２）で示すように、画素データx₃には1/8の割合がかけられるので、図１の回路における1/4乗算器86eに代って1/8乗算器86lを設け、その出力は加算器86gに入力させる。加算器86gは、それぞれの割合がかけられた各画素データx₁,x₂,x₃,x₄を合算するので、その出力は、式（２）における予測値x₀となる。
【００４３】
上記実施例では、注目画素周辺の３画素あるいは４画素データにより予測値を算出しているが、もちろんより多くの画素データを用いて予測値を算出してもよい。すなわち、基本的構成として、１ライン前の近傍の画素データを得るラインメモリ86bと、同一ラインの近傍画素データを得る１画素遅延器86aを持っていれば、さらに１画素遅延器や２画素遅延器、これら近傍画素データに所定の割合をかけて合算する演算手段を必要に応じて設けることにより同様に構成できる。
【００４４】
予測式（１）、（２）における係数は、1/2,1/4,1/8に限らず、任意の係数を用いればよい。
【００４５】
【発明の効果】
本発明の画像信号記録装置によれば、色信号出力制御手段は画像信号として得られた各色信号を各色毎に１ラインづつ順次出力させ、ラインメモリには各色ごとの色信号を各色ごとに１ライン分づつまとめて順次記憶するため、１ライン分の色信号を記憶する容量の少ない容量でよいのみならず、色分離回路のように同時に色成分ごとに色信号が出力されないので、ガンマ回路、ホワイトバランス回路などの信号プロセス回路およびA/D変換回路は１系統のみでよく、また、符号化のために大容量のフィールドメモリやバッファメモリも不要となるので、データ圧縮のための符号化に、２次元多点予測方法を用いても、装置全体が著しく大型化することはなく、全体的にみて装置の小形化およびコストを低廉化できる。
【図面の簡単な説明】
【図１】本発明による画像信号記録装置の一実施例における要部構成を示すブロック図である。
【図２】同上画像信号記録装置の全体構成を示すブロック図である。
【図３】図２で示した撮像素子の構成を説明する正面図である。
【図４】図３で説明した撮像素子の一般的な信号電荷の転送動作を説明する正面図である。
【図５】図４の転送動作時に印加される各クロックのタイミングを説明するタイムチャートである。
【図６】（ａ）、（ｂ）は図３で説明した撮像素子の信号電荷の転送動作を説明する正面図である。
【図７】図６の転送動作のために印加される各クロックのタイミングを説明するタイムチャートである。
【図８】２次元多点予測方法を説明するための図である。
【図９】同上他の実施例における要部を示すブロック図である。
【図１０】図９で示した装置による２次元多点予測方法を説明するための図である。
【図１１】従来例を説明するためのブロック図である。
【図１２】図11で示した符号化回路を示すブロック図である。
【符号の説明】
11……撮像素子としてのCCD、
18……符号化回路、20……記憶装置、
21……色信号出力制御手段として機能するCCD駆動回路、
86……予測器、
86a……１画素遅延器、
86b……ラインメモリ、
86d,86e,86f,86j,86g,86h……演算手段となる乗算器および加算器

Claims

撮像素子により画像信号として得られた色成分の色信号を各色ごとに１ライン分づつ順次出力させる色信号出力制御手段と、
この色信号出力制御手段で出力された各色を合計した１ライン分の色信号を記憶する容量で前記色信号出力制御手段で各色ごとに１ライン分づつ出力された各色ごとの色信号を各色ごとに順次記憶するラインメモリ、１画素遅延器、前記ラインメモリを通して得られる１ライン前の近傍の画素データのサンプル値および上記１画素遅延器により得られる同一ラインの近傍の画素データの値を所定の割合で合算して予測値を演算する演算手段を備え、データを圧縮する符号化回路と、
この圧縮されたデータを記憶する記憶装置と
を具備したことを特徴とする画像信号記録装置。