JP4164161B2 - 画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体に関する。
【０００２】
【従来の技術】
従来より、カラー画像信号を取り扱う画像信号処理回路においては、画像圧縮を含む種々の画像信号処理を行っている。一般的に、上記画像信号処理を行う場合には、所定サイズのブロックごとに行っている。
【０００３】
上記所定サイズのブロックごとに行う画像信号処理の種類は種々であるが、例えば上記撮像素子から出力される各画素信号のパターンを比較して行う、コードブック方式の情報圧縮伸張処理を行う場合がある。
【０００４】
上記コードブック方式の情報圧縮伸張処理を行う場合には、各画素ブロックにおける画素信号の最大値、最小値、及び最大値と最小値との差値や、上記最大値又は最小値に対応する画素のアドレス等を算出する演算処理を行うようにすれば、パターン検出を行う精度の向上、及び信号処理速度の高速化を図ることが可能となる。
【０００５】
【発明が解決しようとする課題】
上述のような演算処理を行う場合、従来は撮像センサから出力される画素信号を後段の信号処理回路に入力して行っていた。したがって、例えば、ブロック単位で演算処理を行う場合には、各ブロックを構成する画素信号が全て撮像センサから出力されるまで待機しなければならなかった。
【０００６】
また、上記各画素信号の最大値、最小値、及び最大値と最小値との差値や、上記最大値又は最小値に対応する画素のアドレス等を算出する演算等を行う場合は、メモリ手段を用いて行う必要があったので、大きな容量のメモリが必要であった。
【０００７】
このため、従来の画像信号処理回路においては、種々の画像信号処理を行うようにするとコストパフォーマンスが悪いだけでなく、信号処理を行う速度が遅くなってしまう問題があった。
【０００８】
本発明は上述の問題点にかんがみ、撮像センサから出力される画像信号に種々の信号処理を施す画像信号処理回路の構成を簡素化できるようにするとともに、画像信号処理回路における処理速度を向上させることができるようにすることを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像信号処理方法は、複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズのブロック毎に最大値、最小値、最大値と最小値との差値、最大値又は最小値を出力する画素のアドレス値の内、少なくとも１つの値を算出する演算処理を行う撮像信号処理手段を有し、撮像センサから出力される画像信号を処理する方法であって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに上記撮像信号処理手段の出力を用いて画像信号の情報量を圧縮する処理を施す圧縮工程と、上記情報圧縮処理された画像信号に伸張処理を施す伸張工程とを行い、上記伸張工程が終了した後で上記色処理工程を行うことを特徴としている。
また、本発明の画像信号処理方法の他の特徴とするところは、上記撮像信号処理手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記撮像信号処理手段は、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うために適した所定サイズの画素ブロックごとに、上記演算処理を行うことを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記撮像信号処理手段は、上記所定サイズの画素ブロックごとに画素信号を出力する際に、各画素ブロック同志が重なるようにずらしながら出力することを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記圧縮工程及び伸張工程で処理される画像信号は、上記撮像信号処理手段で生成されて出力される疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）であることを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記圧縮工程及び伸張工程はコードブック方式により行われるベクトル量子化工程及びベクトル復号化工程であることを特徴としている。
また、本発明の画像信号処理方法のその他の特徴とするところは、上記圧縮工程及び伸張工程はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴としている。
【００１１】
本発明の画像信号処理システムは、複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズのブロック毎に最大値、最小値、最大値と最小値との差値、最大値又は最小値を出力する画素のアドレス値の内、少なくとも１つの値を算出する演算処理を行う撮像信号処理手段を有し、撮像センサから出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記撮像信号処理手段の出力を用いて上記画像信号に情報圧縮処理を施す圧縮手段が上記画像信号供給側に設けられ、上記情報圧縮された画像信号に情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴としている。
また、本発明の画像信号処理システムの他の特徴とするところは、上記撮像信号処理手段は、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うために適した所定サイズの画素ブロックごとに、上記演算処理を行うことを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記撮像信号処理手段は、上記所定サイズの画素ブロックごとに演算処理を行う際に、各画素ブロック同志が重なるようにずらしながら演算処理を行うことを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記圧縮手段及び伸張手段で処理される画像信号は、上記撮像信号処理手段で生成されて出力される疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）であることを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記圧縮手段及び伸張手段はコードブック方式により行われるベクトル量子化手段及びベクトル復号化手段であることを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記圧縮手段及び伸張手段はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴としている。
また、本発明の画像信号処理システムのその他の特徴とするところは、上記撮像信号処理手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴としている。
【００１２】
本発明の撮像装置は、複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズのブロック毎に最大値、最小値、最大値と最小値との差値、最大値又は最小値を出力する画素のアドレス値の内、少なくとも１つの値を算出する演算処理を行う撮像信号処理手段が設けられている撮像手段と、上記撮像手段から出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態で上記撮像信号処理手段の出力を用いて情報圧縮処理を施して圧縮画像信号を生成する圧縮手段とを有することを特徴としている。
また、本発明の撮像装置の他の特徴とするところは、上記撮像信号処理手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記圧縮手段から出力される圧縮画像信号を記憶媒体に書き込む書き込み手段を有することを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記記憶媒体に記憶した圧縮画像信号を読み出す読み出し手段と、上記読み出し手段によって読み出された圧縮画像信号に情報伸張処理を施す伸張手段と、上記伸張手段によって再生された画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正の何れか１つの処理を施す色処理手段とを具備することを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記圧縮手段及び伸張手段で処理される画像信号は、上記撮像信号処理手段で生成されて出力される疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）であることを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記圧縮手段及び伸張手段はコードブック方式により行われるベクトル量子化手段及びベクトル復号化手段であることを特徴としている。
また、本発明の撮像装置のその他の特徴とするところは、上記圧縮手段及び伸張手段はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴としている。
【００１３】
本発明の記憶媒体は、上記画像信号処理方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴としている。
また、本発明の記憶媒体の他の特徴とするところは、上記各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴としている。
【００１４】
【発明の実施の形態】
次に、本発明の画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体の構成例を説明する。
図１は、画像信号処理システムの構成例を示すブロック図である。図１に示したように、本実施の形態の画像信号処理システムは、撮像センサ（撮像部）１０、コードブロック抽出プリプロセス装置２０、コードブロック抽出メインプロセス装置３０により構成されている。上記コードブロック抽出プリプロセス装置２０及びコードブロック抽出メインプロセス装置３０によりコードブック方式（ベクトル量子化方式）の圧縮装置４０が構成されている。
【００１５】
上記撮像センサ１０は、撮像素子１１と撮像信号処理装置１２とにより構成されている。これらは同じＩＣチップ部上に構成されていて、上記撮像素子１１から出力される画素信号を撮像信号処理装置１２で演算処理し、疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）、画面サイズよりも小さいサイズのブロック毎の最大値、最小値、最大値と最小値との差値、及び最大値、最小値を出力する画素のアドレス等の信号を出力する。
【００１６】
上記撮像素子１１を構成する各画素センサのフォトダイオードには、例えばシアン、イエロー、マゼンダ、グリーンの３色の補色フィルタと１色の原色フィルタが配設されていて、原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒが撮像素子１１からシリアルで出力されるようになされている。
【００１７】
上述のように構成された本実施の形態の画像信号処理システムにおいては、上記撮像センサ１０から出力される画像信号は、コードブック方式圧縮装置４０に入力される。上記コードブック方式圧縮装置４０は、上述したように、撮像センサ１０から出力された画像信号の画面よりも小さいサイズである、例えば、３×３や、４×４画素ブロック毎のパターンと、コードブック記憶装置（図示せず）に予め記憶されている同じサイズの複数のコード（パターン）とを比較する。そして、比較したパターンの中で最も似通ったパターンを見つけ出し、そのパターンのコード番号を出力することにより、データ圧縮を行うものである。
【００１８】
本実施の形態においては、上述したように、コードブック方式圧縮装置４０をコードブロック抽出プリプロセス装置２０とコードブロック抽出メインプロセス装置３０とにより構成している。
【００１９】
そして、上記撮像センサ１０に設けられた撮像信号処理装置１２から出力される画像信号を上記コードブロック抽出プリプロセス装置２０において前処理し、コードブロック抽出メインプロセス装置３０で行うパターン比較処理を容易に、且つ高速に行うことができるようにしている。
【００２０】
図２は、上記コードブロック抽出プリプロセス装置２０において行われる信号処理の概要を示すフローチャートである。図２に示したように、撮像センサ１０からは上述した疑似Ｙ´信号、疑似Ｕ´信号、疑似Ｖ´信号、画面サイズよりも小さい所定サイズのブロック毎の画素信号の最大値、最小値、最大値と最小値との差値、最大値又は最小値に対応する画素信号のアドレス等の信号が入力されると、最初のステップＰ１において、所定のブロック内の輝度差、色信号の差が演算される。ここで、撮像信号処理装置におけるブロックサイズはコードブック方式圧縮装置４０におけるコードブロックサイズと同じであることが望ましい。
【００２１】
次に、ステップＰ２において、上記ステップＰ１において算出された輝度差、色差に基づいて、コードブックの中から該当する輝度差、色信号差を有するコードグループの絞り込み処理が行われる。
【００２２】
次に、ステップＰ３において、上記撮像センサ１０から出力された最大値アドレス、最小値アドレスから、圧縮ブロック内の輝度と色差のグラディエーション方向を算出する処理が行われる。
【００２３】
次に、ステップＰ４において、上記ステップＰ３で算出されたグラディエーション方向に基づいてステップＰ２で一旦絞り込まれたコードグループから更にグラディエーション方向が一致するコードグループの絞り込み処理が行われる。
【００２４】
このようにして、コードブックグループの絞り込み処理をコードブロック抽出プリプロセス装置２０において予め行うことにより、コードブロック抽出メインプロセス装置３０で行うパターンの数を大幅に減らすことができ、比較処理の速度及び精度を大幅に向上させることができる。なお、本発明はこれらの画素ブロック毎の特徴データを用いてホワイトバランスやγ補正前のデータを画素ブロック単位で効率的に圧縮できるものであり、ブロック毎の特徴データとしては、これらの全てを演算することなく１つだけでもよい。また、撮像素子と同一チップ上に、ブロック毎の特徴データを演算する手段を設けることで構成を簡素化できるが、同一チップ上に設けたもの以外のものも含む。
【００２５】
次に、図３を参照しながら、撮像信号処理装置１２において行われる画素信号の最大値、最小値、最大値と最小値との差値、これらの最大又は最小値に対応する画素信号のアドレス等の演算処理を行う演算処理手段の一例を説明する。
【００２６】
図３において、３０１は記憶部であり、この記憶部３０１にはN=nxm 個のアナログメモリセルが設けられていて、各メモリセルに１画面よりも小さい所定サイズ（この例では３×３）のブロック毎の各画素の信号が撮像素子からブロック単位で転送されて保持される。各アナログメモリセルからの画素信号は、N 個同時に最大値検出回路３０２及び最小値検出回路３０３に入力される。ここで、アナログメモリセルは光電変換画素の内の一部分として、例えば、３×３画素ブロックを直接読み出すものでもよいし、撮像素子と同一チップ上に設けたバッファ用のメモリでもよい。
【００２７】
最大値検出回路３０２からは、最大値の出力と最大値を示したアナログメモリセルのアドレスが出力され、最小値検出回路３０３からは、最小値の出力と最小値を示したアナログメモリセルのアドレスが出力される。なお、撮像素子からメモリセルへのブロック単位の転送は、例えば、撮像素子の所定の３×３画素ブロックの信号をメモリセルに転送した後、ブロック毎の特徴データを演算後、３画素分ずれた位置の３×３画素ブロックを読んでメモリに転送してもよいし、例えば、１画素分だけ水平又は垂直方向にずれた３×３画素ブロックを読んで転送してもよい。
【００２８】
また、最大値出力と最小値出力は、差動回路３０４に入力され、最大値と最小値との差信号が出力されるように構成されている。
【００２９】
図４は、最大値検出回路３０２の第１の実施の形態を示す回路図である。
図４に示したように、この最大値検出回路３０２は入力端子 1〜N が設けられていて、N=nxm 個のアナログメモリセルからの信号が入力されるようになされている。そして、最大値出力端子からは、N 個の入力の中から最大値信号が出力される。
【００３０】
また、各入力端子に対応して設けられているN 個のインバータの出力は、最大値を示したセルだけが“Ｈ”となり、残りのインバータの入力は“Ｌ”になるように構成されている。各インバータの出力は、デコーダブロック３０５に入力され、N 個の入力の最大値を示した信号のアドレス信号が出力される。
【００３１】
次に、最小値検出回路３０３の一例を図５に示す。この最小値検出回路３０３の動作は、最大と最小とが入れ替わるだけで、図４に示した最大値検出回路３０２と同様であり、デコーダ５０からは、N 個の入力の最小値を示した信号のアドレス信号が出力される。
【００３２】
図６は、最大値検出回路３０２の第２の例を示す回路図である。この回路における最大値を出力する動作は、図４の場合と同様であり、コンパレータ２１〜２Ｎの入力は、最大値を示す信号が入力されるセルだけが、最大値出力となり、残りの信号が入力されるセルは、ほぼ〔OV〕となる。リファレンス電圧Vrefをこの電圧の間に最適化することによって、最大値を示すセルのコンパレータの出力だけが“Ｈ”となる。
【００３３】
そして、各コンパレータ２１〜２Ｎの出力は、デコーダブロック３０５に入力される。そして、デコーダブロック３０５においては最大値を示すセルに対応する画素のアドレスが検出され、最大値のアドレス信号として出力される。
【００３４】
図７に、本発明の撮像信号処理装置１２の第２の実施の形態を示す。
図７に示したように、この撮像信号処理装置１２にはN=nxm 個のアナログメモリセルＭ１〜Ｍ９が設けられていて、各アナログメモリセルＭ１〜Ｍ９に、図３と同様にブロック単位に各画素の信号がそれぞれ保持される。
【００３５】
これらのアナログメモリセルＭ１〜Ｍ９からの信号は、読み出し回路７１を通してシリアルに出力され、最大値検出回路７２、最小値検出回路７３にそれぞれ入力される。
【００３６】
最大値検出回路７２からは、最大値の出力と最大値を示したアナログメモリセルのアドレスが出力される。また、最小値検出回路７３からは、最大値の出力と最小値を示したアナログメモリセルのアドレスが出力される。また、最大値出力と最小値出力は、差動回路７４に入力され、最大値と最小値との差値が差信号として出力される。
【００３７】
図８に、最小値検出回路の一例を示し、図８のブロック図の動作を説明する動作タイミングを図９に示す。
図８に示したように、入力端子にはN=nxm 個の画素信号がCLK 信号に同期してシリアルに入力される。
【００３８】
オペアンプ８１の出力端子は、最小値保持容量(C) の電圧よりも入力信号が小さい場合のみ“Ｈ”となり、保持容量(C) にチャージするためのMOS トランジスタがオンする。そして、上記MOS トランジスタは入力電圧と保持容量の電圧とがほぼ等しくなったところでオフする。
【００３９】
したがって、最小値保持容量(C) には最小値が常に保持されることになる。また、φREAD信号が“Ｈ”レベルのときに、オペアンプがバッファ動作し、最小値出力端子からは最小値が出力される。また、φSET 信号が“Ｈ”のときに最小値保持容量(C) に所定の大きさの電圧(V) がセットされる。
【００４０】
カウンター８２は、ST( スタートパルス信号) をトリガにして、クロックをカウントする。オペアンプの出力をトリガとして、カウンターの値をラッチ回路８３がラッチし、トリガが入るたびにラッチ回路８３の値は上書きされる。N 個の信号の入力が終わると同時に、ラッチした信号がデコーダ８４に送られ、最小値アドレスが出力される。
【００４１】
次に、本発明の第２の実施の形態を図１０のブロック図を参照しながら説明する。
図１０は、本発明の撮像センサ１０を用いて構成した画像信号処理システムの一例を示すブロック図である。図１０に示したように、この画像信号処理システムは、撮像センサ（撮像部）１０、コードブック方式圧縮装置４０、コード番号出力装置４１によって画像信号の出力側が構成されている。また、コード番号入力装置５０、コードブック方式伸張装置６０、色処理装置１００、画像表示または記憶装置９０によって画像信号の入力側が構成されている。
【００４２】
上記撮像センサ１０は撮像素子（受光素子）１１及び撮像信号処理装置１２を有し、上述したように、撮像センサ１０からは疑似Ｙ´信号、疑似Ｕ´信号、疑似Ｖ´信号、画素信号の最大値、最小値、最大値と最小値との差値、これらの最大又は最小値に対応する画素信号のアドレス等の撮像部出力信号Ｓ１０が出力される。
【００４３】
上記撮像センサ１０から出力される撮像部出力信号Ｓ１０は、コードブック方式圧縮装置４０に入力される。上記コードブック方式圧縮装置４０は、上述したように、撮像センサ１０から入力された所定の画素数分の撮像部出力信号Ｓ１０のパターンと、コードブック記憶装置（図示せず）に予め記憶されている複数のコード（パターン）とを比較する。
【００４４】
本実施の形態のコードブック記憶装置（図示せず）には、撮像センサ１０から出力される撮像部出力信号Ｓ１０に対応するパターンで複数のコードが記憶されており、コードブック方式圧縮装置４０はその中で最も似通ったパターンを見つけ出し、そのパターンのコード番号を出力する。そして、コードブック方式圧縮装置４０から出力されたコード番号は、コード番号出力装置４１により通信回線等の媒体を介してコード番号入力装置側に送信される。
【００４５】
通信回線を介して送られてきたコード番号は、コード番号入力装置５０によって入力されてコードブック方式伸張装置６０に供給される。コードブック方式伸張装置６０は、入力されたコード番号に対応するパターンをコードブック記憶装置（図示せず）から読みだして、コードブック方式圧縮装置４０によって圧縮した画像データを再生する。
【００４６】
コードブック方式伸張装置６０によって再生された撮像部出力信号Ｓ１０は、次に、色処理装置１００に与えられる。上記色処理装置１００は、入力された撮像部出力信号Ｓ１０中の色情報に関しホワイトバランス補正、γ補正等の色補正処理のように、良好な画質を得るために必要な種々の処理を行う色処理部８２を有している。
【００４７】
したがって、コードブック方式伸張装置６０から入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、この色処理装置１００において所定の色処理が施され、輝度信号Ｙ、及び色差信号ｕ、ｖが生成されて出力される。
【００４８】
色処理装置１００から出力された輝度信号Ｙ、及び色差信号ｕ、ｖは、画像表示または記憶装置９０に与えられ、画像表示されたり、記憶媒体に記憶されたりする。なお、本実施の形態においては、情報圧縮伸張方式としてコードブック方式を用いた例を示したが、ＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式を用いるようにしてもよい。
【００４９】
上述のように、本実施の形態の画像信号処理システムは、高品位の画質を得るために行う色補正処理を、情報圧縮処理の前に行わずに情報伸張処理の後で行っている。したがって、情報圧縮処理→情報伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることができ、回線を介して伝送する際の情報量を大幅に削減できるとともに、色処理後に画像信号が劣化しないようにすることができ、高品位の画質を得ることができる。
【００５０】
次に、図１１を参照しながら第３の実施の形態を説明する。上述した第１の使用例においては、圧縮処理を施した信号を通信回線等の媒体を介して外部に出力するようにした例を示したが、この例においては、圧縮後の信号を一旦記録媒体に記録し、これを再生するとともに、圧縮伸張処理の後で色処理を行う撮像装置に適用した例を示している。
【００５１】
すなわち、図１０と異なる構成は、コードブック方式圧縮装置４０とコードブック方式伸張装置６０との間に、書込装置１３０、記憶媒体１３１、読出装置１３２を設けている。
【００５２】
このように構成することにより、撮像センサ１０から出力される画像信号を記憶媒体１３１に記憶するために必要な記憶容量を格段と低減することができ、しかも記憶媒体１３１から読み出した画像信号をコードブック方式伸張装置６０で再生してから色処理装置１００内において色処理を行うので、画質の劣化が少なくて済み、高品質な画像を画像表示装置１３３に表示することができる。なお、本実施の形態撮像装置は媒体１３１までの構成にとどめることもできる。また、上記読出装置１３２、コードブック方式伸張装置６０、色処理装置１００、画像表示装置１３３は再生装置（例えば、パソコン）に含ませることもできる。
【００５３】
また、本実施の形態においては、情報圧縮伸張方式としてコードブック方式を用いた例を示したが、ＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式を用いるようにしてもよい。
【００５４】
なお、上述した実施の形態の各機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ、いずれも図示せず）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００５５】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００５６】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５７】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５８】
【発明の効果】
本発明は上述したように、画像信号処理に適した形式の画像信号を撮像センサから出力することができるので、画像信号処理を行う精度を向上させることができるとともに、信号処理速度の高速化を達成することができる。
【００５９】
また、本発明のその他の特徴によれば、カラー画像信号処理を行う場合の一般的な前処理である擬似輝度色差演算等を撮像センサ上で行うようにしたので、演算速度を高速化することができるとともに、後段で行う色信号処理に必要なメモリ容量を低減することができる。
【００６０】
また、本発明の他の特徴によれば、色情報に関し少なくともホワイトバランス補正又はγ補正等の色補正を行わずに、撮像素子からのブロック毎の特徴データを演算し、この特徴データを用いて画像信号に情報圧縮処理を施す圧縮処理と、上記情報圧縮処理された画像信号に情報伸張処理を施す伸張処理とを行う場合に、上記情報圧縮処理及び情報伸張処理を行った後で上記色処理を行うようにしたので、画像信号を伝送したり、記憶媒体に記憶したりする際のデータ量を大幅に削減することができ、且つ色処理後に画質の劣化が生じないようにすることができて高品質の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の撮像センサを用いた画像信号処理システムの第１の実施の形態を示すブロック図である。
【図２】図１に示したコードブロック抽出プリプロセス装置の処理手順を示すフローチャートである。
【図３】撮像部内に設けた撮像信号処理装置の第１の構成例を示す回路図である。
【図４】最大値検出回路の第１の実施の形態を示す回路図である。
【図５】最小値検出回路の第１の実施の形態を示す回路図である。
【図６】最大値検出回路の第２の例を示す回路図である。
【図７】撮像信号処理装置の第２の実施の形態のブロック図である。
【図８】最小値検出回路の第２の実施の形態を示す回路図である。
【図９】図８の回路の動作を説明する動作タイミングを示す図である。
【図１０】本発明の撮像センサを用いた画像信号処理システムの第２の実施の形態を示すブロック図である。
【図１１】本発明の撮像センサを撮像装置に適用した例を示すブロック図である。
【符号の説明】
１０ 撮像部（撮像センサ）
１１ 撮像素子
１２ 撮像信号処理装置
２０ コードブロック抽出プリプロセス装置
３０ コードブロック抽出メインプロセス装置
４０ コードブック方式圧縮装置

Claims (23)

1. 複数の画素信号を出力する撮像素子と同じＩＣチップ部上に、上記撮像素子より出力される各画素信号から１画面より小さい所定サイズのブロック毎に最大値、最小値、最大値と最小値との差値、最大値又は最小値を出力する画素のアドレス値の内、少なくとも１つの値を算出する演算処理を行う撮像信号処理手段を有し、撮像センサから出力される画像信号を処理する方法であって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに上記撮像信号処理手段の出力を用いて画像信号の情報量を圧縮する処理を施す圧縮工程と、上記情報圧縮処理された画像信号に伸張処理を施す伸張工程とを行い、上記伸張工程が終了した後で上記色処理工程を行うことを特徴とする画像信号処理方法。
2. 上記撮像信号処理手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴とする請求項１に記載の画像信号処理方法。
3. 上記撮像信号処理手段は、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うために適した所定サイズの画素ブロックごとに、上記演算処理を行うことを特徴とする請求項２に記載の画像信号処理方法。
4. 上記撮像信号処理手段は、上記所定サイズの画素ブロックごとに画素信号を出力する際に、各画素ブロック同志が重なるようにずらしながら出力することを特徴とする請求項３に記載の画像信号処理方法。
5. 上記圧縮工程及び伸張工程で処理される画像信号は、上記撮像信号処理手段で生成されて出力される疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）であることを特徴とする請求項２〜４の何れか１項に記載の画像信号処理方法。
6. 上記圧縮工程及び伸張工程はコードブック方式により行われるベクトル量子化工程及びベクトル復号化工程であることを特徴とする請求項２〜５の何れか１項に記載の画像信号処理方法。
7. 上記圧縮工程及び伸張工程はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴とする請求項２〜５の何れか１項に記載の画像信号処理方法。
8. 複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズのブロック毎に最大値、最小値、最大値と最小値との差値、最大値又は最小値を出力する画素のアドレス値の内、少なくとも１つの値を算出する演算処理を行う撮像信号処理手段を有し、撮像センサから出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記撮像信号処理手段の出力を用いて上記画像信号に情報圧縮処理を施す圧縮手段が上記画像信号供給側に設けられ、上記情報圧縮された画像信号に情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴とする画像信号処理システム。
9. 上記撮像信号処理手段は、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うために適した所定サイズの画素ブロックごとに、上記演算処理を行うことを特徴とする請求項８に記載の画像信号処理システム。
10. 上記撮像信号処理手段は、上記所定サイズの画素ブロックごとに演算処理を行う際に、各画素ブロック同志が重なるようにずらしながら演算処理を行うことを特徴とする請求項９に記載の画像信号処理システム。
11. 上記圧縮手段及び伸張手段で処理される画像信号は、上記撮像信号処理手段で生成されて出力される疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）であることを特徴とする請求項８〜１０の何れか１項に記載の画像信号処理システム。
12. 上記圧縮手段及び伸張手段はコードブック方式により行われるベクトル量子化手段及びベクトル復号化手段であることを特徴とする請求項８〜１１の何れか１項に記載の画像信号処理システム。
13. 上記圧縮手段及び伸張手段はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴とする請求項８〜１１の何れか１項に記載の画像信号処理システム。
14. 上記撮像信号処理手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴とする請求項８に記載の画像信号処理システム。
15. 複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズのブロック毎に最大値、最小値、最大値と最小値との差値、最大値又は最小値を出力する画素のアドレス値の内、少なくとも１つの値を算出する演算処理を行う撮像信号処理手段が設けられている撮像手段と、上記撮像手段から出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態で上記撮像信号処理手段の出力を用いて情報圧縮処理を施して圧縮画像信号を生成する圧縮手段とを有することを特徴とする撮像装置。
16. 上記撮像信号処理手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴とする請求項１５に記載の撮像装置。
17. 上記圧縮手段から出力される圧縮画像信号を記憶媒体に書き込む書き込み手段を有することを特徴とする請求項１５に記載の撮像装置。
18. 上記記憶媒体に記憶した圧縮画像信号を読み出す読み出し手段と、上記読み出し手段によって読み出された圧縮画像信号に情報伸張処理を施す伸張手段と、上記伸張手段によって再生された画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正の何れか１つの処理を施す色処理手段とを具備することを特徴とする請求項１５に記載の撮像装置。
19. 上記圧縮手段及び伸張手段で処理される画像信号は、上記撮像信号処理手段で生成されて出力される疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）であることを特徴とする請求項１５〜１８の何れか１項に記載の撮像装置。
20. 上記圧縮手段及び伸張手段はコードブック方式により行われるベクトル量子化手段及びベクトル復号化手段であることを特徴とする請求項１５〜１９の何れか１項に記載の撮像装置。
21. 上記圧縮手段及び伸張手段はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴とする請求項１５〜１９の何れか１項に記載の撮像装置。
22. 請求項１〜７の何れか１項に記載の画像信号処理方法をコンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
23. 請求項８〜２１の何れか１項に記載の各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images