JP3728107B2 - 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 - Google Patents
撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 Download PDFInfo
- Publication number
- JP3728107B2 JP3728107B2 JP19218998A JP19218998A JP3728107B2 JP 3728107 B2 JP3728107 B2 JP 3728107B2 JP 19218998 A JP19218998 A JP 19218998A JP 19218998 A JP19218998 A JP 19218998A JP 3728107 B2 JP3728107 B2 JP 3728107B2
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- image
- pixel
- signal processing
- compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体に関する。
【０００２】
【従来の技術】
カラー画像信号を取り扱う画像信号処理回路においては、画像圧縮を含む種々の画像信号処理を行っている。そして、一般的に、上記画像信号処理を行う場合には、所定サイズの画素ブロック毎に行っている。
【０００３】
上記所定サイズの画素ブロック毎に行う画像信号処理の種類は種々であるが、例えば隣接ビットとの差分出力の和や、ブロック内画素信号にそれぞれ重み付けをしたのち和出力を求める積和演算を行う場合があった。
【０００４】
【発明が解決しようとする課題】
このような演算を行う場合、従来は撮像センサからシリアルで出力される画素信号を後段の信号処理回路に入力して行っていた。したがって、例えば画素ブロック単位で演算処理を行う場合には、各画素ブロックを構成する画素信号が撮像センサから全て出力されるまで待機しなければならなかった。
【０００５】
また、上記各画素信号のブロック単位の積和演算等を行う場合には、メモリ手段を用いて行う必要があったので、大きな容量のメモリが必要であった。
【０００６】
このため、従来の画像信号処理回路において、種々の画像信号処理を行うようにするとコストパフォーマンスが悪いだけでなく、信号処理を行う速度が遅くなってしまう問題があった。
【０００７】
本発明は上述の問題点にかんがみ、画像信号処理を行うために最適な画像信号を出力可能な撮像センサを提供できるようにすることを第１の目的とする。
また、撮像センサから出力される画像信号に種々の処理を施す画像信号処理回路の構成を簡素化できるようにするとともに、画像信号処理回路における処理速度を向上させることができるようにすることを第２の目的とする。
【０００８】
【課題を解決するための手段】
本発明のは、複数の画素信号を出力する撮像素子と同じＩＣチップ部上に、上記撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に演算処理を行い、各画素ブロック同志が重なるように所定の画素分ずつずらしながら上記画素ブロックの画素信号の加算情報を算出する撮像信号処理手段を設けたことを特徴とする。
【０００９】
本発明の画像信号処理方法は、複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に演算処理を施して、画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した画素信号の加算情報を出力する撮像信号処理手段を有し、撮像センサから出力される画像信号を処理する方法であって、上記撮像信号処理手段が、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した所定サイズの画素ブロック毎に、各画素ブロック同志が重なるようにずらしながら上記画素信号の加算情報を出力する工程と、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに上記撮像信号処理手段の出力を用いて画像信号の情報量を圧縮する処理を施す圧縮工程と、上記情報圧縮処理された画像信号に伸張処理を施す伸張工程とを有し、上記伸張工程が終了した後で上記色処理工程を行うことを特徴とする。
【００１０】
本発明の画像信号処理システムは、複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に演算処理を施して、画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した画素信号の加算情報を出力する撮像信号処理手段を有し、撮像センサより出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、上記撮像信号処理手段は、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した所定サイズの画素ブロック毎に、各画素ブロック同志が重なるようにずらしながら上記画素信号の加算情報を出力するとともに、色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記撮像信号処理手段の出力を用いて上記画像信号に情報圧縮処理を施す圧縮手段が上記画像信号供給側に設けられ、上記情報圧縮された画像信号に情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴とする。
【００１１】
本発明の撮像装置は、複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に、各画素ブロック同志が重なるようにずらしながら演算処理を施して、画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した画素信号の加算情報を出力する撮像信号処理手段を有する撮像手段と、上記撮像手段から出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態で上記撮像信号処理手段の出力を用いて情報圧縮処理を施して圧縮画像信号を生成する圧縮手段とを有することを特徴とする。
【００１２】
本発明の記憶媒体は、上記の何れかに記載の画像信号処理方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴とする。
また、本発明の記憶媒体の他の特徴とするところは、上記の何れかに記載の各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴とする。
【００１３】
【発明の実施の形態】
次に、本発明の撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体の実施の形態を説明する。
図１は、本発明の撮像センサの構成を示すブロック図である。図１に示したように、この撮像センサ１０は、センサ部１１、垂直走査回路１２、ラインメモリ部１３、水平走査回路１４、ブロックメモリ部１５、積和演算部１６等によって構成されており、これらは１つのＩＣチップ上に構成されている。そして、上記ブロックメモリ部１５及び積和演算部１６により撮像信号処理手段が構成されている。
【００１４】
上記センサ部１１には、図２（ａ）〜（ｃ）に示すような画素センサセルが水平方向及び垂直方向に複数個配列されている。そして、各画素センサセルのフォトダイオードには、例えばシアン、イエロー、マゼンダ、グリーンの３色の補色フィルタと１色の原色フィルタが配設されていて、原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒがセンサ部１１からシリアルで出力される。なお、リセットラインにより各セルの信号のリセットが行われ、セレクトラインにより読み出し位置の選択が行われる。また、転送ラインにより光電変換信号をアンプに入力する。
【００１５】
上記センサ部１１から出力される原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒはブロックメモリ部１５に入力される。上記ブロックメモリ部１５は、撮像センサ１０の後段に配設された画像信号処理装置で行う種々の信号処理（例えば、圧縮処理）を行うのに最適な、画面サイズよりも小さい所定サイズのブロック単位で画素信号を出力する。
【００１６】
積和演算部１６は、上記ブロックメモリ部１５に記憶されている画素信号をマトリックス演算し、圧縮のコードサイズと同じ所定のブロック単位毎に平均輝度を算出したり、重み付け加算値の出力を行ったりする処理を行う。ここで、ブロック単位の画素信号の重み付け加算値（重み付け係数は負も含む）を加算情報と定義する。
【００１７】
図３は、ブロックメモリ部１５及び積和演算部１６の具体的な構成例を示す回路図であり、図４は各部の動作タイミングを示すタイミングチャートである。図３に示したように、この回路は、「３×３」の９画素分のブロック単位の信号を並列に出力するように構成している。
【００１８】
そして、「３×３」の画素ブロックを水平方向に１画素分ずつずらせながら読み出すようにしている。したがって、同じ画素の信号が３回読み出されることになる。読み出し動作の詳細な説明は省略するが、水平走査パルスＨ1 〜Ｈ5 、垂直走査パルスＶ1 〜Ｖ5 、シフトパルスＳ1 〜Ｓ3 、選択信号Ｔ1 〜Ｔ3 が図４に示したように変化すると、最初の時点ｔ1 においては、Ｙ11、Ｙ21、Ｙ31、Ｙ12、Ｙ22、Ｙ32、Ｙ13、Ｙ23、Ｙ33の画素信号が出力される。
【００１９】
これらの９個の画素信号は、メモリ用コンデンサＣ1 〜Ｃ9 にそれぞれ蓄積されていたものである。そして、次の時点ｔ2 では1 画素分だけ水平方向に移動した「３×３」画素ブロック分の信号が並列で出力される。すなわち、Ｙ14、Ｙ12、Ｙ13、Ｙ24、Ｙ22、Ｙ23、Ｙ34、Ｙ32、Ｙ33の画素信号が出力されることになる。
【００２０】
この場合、９個の画素信号のうち、前の時点ｔ1 に出力された画素信号と異なる画素信号は、Ｙ11、Ｙ21、Ｙ31の３個であり、Ｙ12、Ｙ13、Ｙ22、Ｙ23、Ｙ32、Ｙ33の画素信号は同じである。すなわち、メモリ用コンデンサＣ2 、Ｃ3 、Ｃ5 、Ｃ6 、Ｃ8 、Ｃ9 にそれぞれ保持されていた画素信号が出力される。上述のようにして、水平方向に１画素分ずつずらせながら読み出すようにしている。
【００２１】
図５は、「３×３」画素ブロック分の信号を垂直方向に１画素分ずつずらしながら読み出すようにした回路の一例を示し、図６は図５の回路の各部の動作タイミングを示すタイミングチャートである。
【００２２】
また、図７は、画素間に垂直出力線を３本ずつ設けた例を示す回路図であり、図８は図７の回路の各部の動作タイミングを示すタイミングチャートである。
この例の場合、スキャン順序は水平方向となる。
【００２３】
次に、図９〜図１３を参照しながら重み付けを行う回路の例を説明する。図９の回路における出力電圧Ｖout は、Ｖout ＝−Ｒ3 ／Ｒ1 Ｖin＋（Ｒ1 ＋Ｒ3 ）ＶREF となる。
【００２４】
また、図１０（ａ）の回路の重み付けは、垂直出力線に介設された抵抗器Ｒ1 （Ｒ2 、Ｒ3 ）と増幅器に配設された帰還抵抗器Ｒout との比によって所望の重み付けを行うことができる。また、図１０（ｂ）に示した回路のように、差演算を行う場合には、画素信号を（＋）と（−）端子にそれぞれ入力するようにする。
【００２５】
また、図１１に示すように、所定の係数を有する演算増幅器を画素信号の出力端にカスケード接続することによっても、重み付けを行うことができる。図１１に示した例は、「−１」、「−２」、「−１／２」の演算増幅器をカスケード接続した例を示しており、図１２は、図１１の回路の各部の動作タイミングを示すタイミングチャートである。
【００２６】
図１１に示したように、３つの演算増幅器を経由した出力は「−１」となり、最初の２つの演算増幅器を経由した出力は「２」となる。また、１番目の演算増幅器のみを経由した出力は「−１」となる。
【００２７】
図１３にマトリックス演算回路の別の例を示す。この例の場合、C1(V1- V i1)+C2(V2- V i1)+C(V01- V i1)=0、V0= AV i1(A はオペアンプのオープンループゲイン) 、A →∞ではV i1=0、C1V1+C2V2+CV01=0、V01 = (-C1V1-C2V2)/C
【００２８】
また、C( Vo1- V i2)+C3(V3- V i2)+C(V02- V i2)=0 、 Vi2→0 、-C1V1-C2V2+C3V3=0 、V02 = (C1V1+C2V2-C3V3)/Cである。
【００２９】
次に、図１４〜図１６を参照しながら、本実施の形態の撮像センサ出力の具体的な使用例を説明する。この例は、本実施の形態の撮像センサの出力をコードブック方式（ベクトル量子化方式）の圧縮伸張装置に適用した例を示している。
【００３０】
すなわち、図１４に示すように「４×４」画素ブロックの加算情報としての積和演算値（図１４は重み付け係数１の例）を求めておけば、例えば、後段の画像信号処理ブロックにおいて、コードブック方式の情報圧縮伸張を行う場合に、複数の量子化コードの中から近似したコードを検索する際に、上記積和演算値を用いてコードブックの中から、近似した積和演算値を有する例えば、コードＡ，Ｂ，Ｃのような３つのコードの絞り込みができるので、高速且つ高精度に検索することができる。
【００３１】
更に、図１５に示すように、「６×６」画素ブロックの外周部の信号を抽出し、その平均輝度を算出する。そして、候補のコードＡ，Ｂ，Ｃの外周画素に対応するデータの平均Ａ´バー、Ｂ´バー、Ｃ´バーを同様に求めて比較する。上述したようなセンサ側のブロックの演算を撮像センサ上で行っておけば、撮像センサの出力信号を使用してコードブック方式の圧縮伸張を高速に、且つ高精度に行うことができる。
【００３２】
図１６は、本実施の形態の撮像センサ１０を用いて、コードブック方式の情報圧縮を行う手順を示すフローチャートである。
図１６に示したように、撮像動作が開始されると、最初のステップＰ１において、センサ部１１で生成された各画素の信号が出力され、所定画素数の信号がブロックメモリ部１５に保持される。
【００３３】
そして、所定の画素ブロックを構成する画素信号がブロックメモリ部１５に蓄積されるとステップＰ２に進み、所定の画素ブロック（この例では、４×４の画素ブロック）の平均輝度Ｓバーが算出されて出力される。
【００３４】
次に、ステップＰ３において、各画素の信号と、上記積和演算部１６によって算出された平均輝度Ｓバーの値を基にして、画素ブロックに対応するコード候補（ベクトル量子化コード）Ａ，Ｂ，Ｃをコードブック記憶装置（図示せず）の中から選択する。なお、コードブックの各コードには、予め対応する積和値がリンクして記憶されており、Ａ，Ｂ，Ｃを選択する際に、先ず、コードブックの中から近似する積和値のものを絞り込むことでＡ，Ｂ，Ｃが選択される。
【００３５】
次に、ステップＰ４に進み、図１５を参照しながら説明したように、「６×６」の画素ブロックにおける外周部の信号を抽出し、その平均輝度Ｓ´バーを求める。
【００３６】
次に、ステップＰ５において、上述した画素ブロックに対応するコード候補Ａ，Ｂ，Ｃのそれぞれの外周画素に対応するデータの平均輝度Ａ´バー，Ｂ´バー，Ｃ´バーを演算する。
【００３７】
次に、ステップＰ６において、ステップＰ４において求めた平均輝度Ｓ´バーと、ステップＰ５において求めた外周画素に対応するデータの平均輝度Ａ´バー，Ｂ´バー，Ｃ´バーとの差演算をそれぞれ行う。
【００３８】
次に、ステップＰ７において、Ａ〜Ｃの中から上記差演算の結果が最小となるコードを、データ圧縮しようとするブロックに対応するコードとして選択し、そのコード番号を出力する。
【００３９】
本実施の形態においては、上述したようにしてコード選択を行うので、隣接ブロックに対して滑らかに境界がつながるベクトル量子化コードを容易に選択することができる。その結果、高品位なベクトル量子化による画像圧縮を実現することができる。
【００４０】
また、本実施の形態では、上述したステップＰ１、ステップＰ２、ステップＰ４の処理を撮像センサ１０内で行うことができるので、画像圧縮処理を高速に行うことが可能となる。また、撮像センサ１０からは画面サイズよりも小さい所定サイズの画素ブロック単位で画素信号を出力することができるので、必要な画素数の信号が撮像センサ１０から出力されるまで待機する必要がなく、待機時間及び画素信号を保持するためのメモリ容量を削減することができる。
【００４１】
なお、コードブック内の各コードにリンクさせてそれぞれのコードのＳバー、Ａ´バー、Ｂ´バー、Ｃ´バー・・・の値を記憶させておけば、例えば、ステップＰ５の処理を省略することができる。逆に、上記のＳバー値もその都度演算で求めるようにすれば、コードブックメモリの容量を節約することができる。
【００４２】
次に、本実施の形態の撮像センサ１０を用いた第２の実施の形態を図１７のブロック図を参照しながら説明する。
図１７は、本発明の撮像部１０を用いて構成した画像信号処理システムの一例を示すブロック図である。図１７に示したように、この画像信号処理システムは、撮像素子ＩＣチップ部（撮像部）１０、コードブック方式圧縮装置４０、コード番号出力装置４１によって画像信号の出力側が構成されている。また、コード番号入力装置５０、コードブック方式伸張装置６０、色処理装置１００、画像表示または記憶装置９０によって画像信号の入力側が構成されている。
【００４３】
上記撮像センサ１０は撮像素子（受光素子）１１及び撮像信号処理装置１１０を有し、上述したように、撮像センサ１０からは疑似Ｙ´信号、疑似Ｕ´信号、疑似Ｖ´信号等の撮像部出力信号Ｓ１０が出力される。
【００４４】
上記撮像センサ１０から出力される撮像部出力信号Ｓ１０は、コードブック方式圧縮装置４０に入力される。上記コードブック方式圧縮装置４０は、上述したように、撮像センサ１０から入力された所定の画素数分の撮像部出力信号Ｓ１０のパターンと、コードブック記憶装置（図示せず）に予め記憶されている複数のコード（パターン）とを比較する。
【００４５】
本実施の形態のコードブック記憶装置（図示せず）には、撮像センサ１０から出力される撮像部出力信号Ｓ１０に対応するパターンで複数のコードが記憶されており、コードブック方式圧縮装置４０はその中で最も似通ったパターンを見つけ出し、そのパターンのコード番号を出力する。そして、コードブック方式圧縮装置４０から出力されたコード番号は、コード番号出力装置４１により通信回線等の媒体を介してコード番号入力装置側に送信される。
【００４６】
通信回線を介して送られてきたコード番号は、コード番号入力装置５０によって入力されてコードブック方式伸張装置６０に供給される。コードブック方式伸張装置６０は、入力されたコード番号に対応するパターンをコードブック記憶装置（図示せず）から読みだして、コードブック方式圧縮装置４０によって圧縮した画像データを再生する。
【００４７】
コードブック方式伸張装置６０によって再生された撮像部出力信号Ｓ１０は、次に、色処理装置１００に与えられる。上記色処理装置１００は、入力された撮像部出力信号Ｓ１０中の色情報に関しホワイトバランス補正、γ補正等の色補正処理のように、良好な画質を得るために必要な種々の処理を行う色処理部８２を有している。
【００４８】
したがって、コードブック方式伸張装置６０から入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、この色処理装置１００において所定の色処理が施され、輝度信号Ｙ、及び色差信号ｕ、ｖが生成されて出力される。
【００４９】
色処理装置１００から出力された輝度信号Ｙ、及び色差信号ｕ、ｖは、画像表示または記憶装置９０に与えられ、画像表示されたり、記憶媒体に記憶されたりする。なお、本実施の形態においては、情報圧縮伸張方式としてコードブック方式を用いた例を示したが、ＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式を用いるようにしてもよい。
【００５０】
上述のように、本実施の形態の画像信号処理システムは、高品位の画質を得るために行う色補正処理を、情報圧縮処理の前に行わずに情報伸張処理の後で行っている。したがって、情報圧縮処理→情報伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることができ、回線を介して伝送する際の情報量を大幅に削減できるとともに、色処理後に画像信号が劣化しないようにすることができ、高品位の画質を得ることができる。
【００５１】
次に、図１８を参照しながら第３の実施の形態を説明する。上述した第２の実施の形態においては、圧縮処理を施した信号を通信回線等の媒体を介して外部に出力するようにした例を示したが、この例においては、圧縮後の信号を一旦記録媒体に記録し、これを再生するとともに、圧縮伸張処理の後で色処理を行う撮像装置に適用した例を示している。
【００５２】
すなわち、図１７と異なる構成は、コードブック方式圧縮装置４０とコードブック方式伸張装置６０との間に、書込装置１３０、記憶媒体１３１、読出装置１３２を設けている。
【００５３】
このように構成することにより、撮像センサ１０から出力される画像信号を記憶媒体１３１に記憶するために必要な記憶容量を格段と低減することができ、しかも記憶媒体１３１から読み出した画像信号をコードブック方式伸張装置６０で再生してから色処理装置１００内において色処理を行うので、画質の劣化が少なくて済み、高品質な画像を画像表示装置１３３に表示することができる。
【００５４】
なお、本実施の形態撮像装置は媒体１３１までの構成にとどめることもできる。また、上記読出装置１３２、コードブック方式伸張装置６０、色処理装置１００、画像表示装置１３３は再生装置（例えば、パソコン）に含ませることもできる。また、第２、第３実施例において、撮像信号処理装置１１０は撮像素子と同一のチップ上に設けなくともよい。また、フィルタパターンは例えば、Ｒ，Ｇ，Ｂの組み合わせでもよい。
【００５５】
また、本実施の形態においては、情報圧縮伸張方式としてコードブック方式を用いた例を示したが、ＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式を用いるようにしてもよい。また、図１７、図１８の実施例において、撮像部から原信号もコードブック方式圧縮装置に入力して圧縮に用いてもよい。
【００５６】
なお、上述した実施の形態の各機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ、いずれも図示せず）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００５７】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００５８】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００６０】
【発明の効果】
本発明は上述したように、画像圧縮に適した形式の画像信号及びブロック単位の特徴データを撮像センサから出力することができるので、撮像センサから出力される画像信号を圧縮処理する際の精度及び処理速度を大幅に向上させることができる。
【００６１】
また、本発明のその他の特徴によれば、カラー画像信号処理を行う場合の一般的な前処理である擬似輝度色差演算等を撮像センサ上で行うことができるので、演算速度を高速化することができるとともに、後段で行う色信号処理に必要なメモリ容量を低減することができる。
【００６２】
また、本発明の他の特徴によれば、色情報に関し少なくともホワイトバランス補正又はγ補正等の色補正を行わずに、撮像素子からのブロックごとの特徴データを演算し、この特徴データを用いて画像信号に情報圧縮処理を施す圧縮処理と、上記情報圧縮処理された画像信号に情報伸張処理を施す伸張処理とを行う場合に、上記情報圧縮処理及び情報伸張処理を行った後で上記色処理を行うようにしたので、画像信号を伝送したり、記憶媒体に記憶したりする際のデータ量を大幅に削減することができ、且つ色処理後に画質の劣化が生じないようにすることができて高品質の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の撮像センサの構成例を示すブロック図である。
【図２】画素センサの構成例を示す回路図である。
【図３】マトリクス演算手段の第１の例を示す回路図である。
【図４】図３の回路の各部の動作タイミングを示す図である。
【図５】マトリクス演算手段の第２の例を示す回路図である。
【図６】図５の回路の各部の動作タイミングを示す図である。
【図７】マトリクス演算手段の第３の例を示す回路図である。
【図８】図７の回路の各部の動作タイミングを示す図である。
【図９】重み付け演算を行うマトリクス演算手段の第１の例を示す回路図である。
【図１０】重み付け演算を行うマトリクス演算手段の第２の例を示す回路図である。
【図１１】重み付け演算を行うマトリクス演算手段の第３の例を示す回路図である。
【図１２】図１１の回路の各部の動作タイミングを示す図である。
【図１３】重み付け演算を行うマトリクス演算手段の第４の例を示す回路図である。
【図１４】コードブック方式の情報圧縮の原理を説明する図である。
【図１５】コードブック方式の情報圧縮の原理を説明する図である。
【図１６】実施の形態の撮像センサ撮像装置用いてコードブック方式の情報圧縮処理を行う手順を示すフローチャートである。
【図１７】実施の形態の撮像センサを用いた画像信号処理システムの第２の実施の形態を示すブロック図である。
【図１８】実施の形態の撮像センサを撮像装置に適用した例を示すブロック図である。
【符号の説明】
１０ 撮像センサ（撮像部）
１１ 撮像素子
１２ 垂直走査回路
１３ ラインメモリ部
１４ 水平走査回路
１５ ブロックメモリ部
１６ 積和演算部
【発明の属する技術分野】
本発明は撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体に関する。
【０００２】
【従来の技術】
カラー画像信号を取り扱う画像信号処理回路においては、画像圧縮を含む種々の画像信号処理を行っている。そして、一般的に、上記画像信号処理を行う場合には、所定サイズの画素ブロック毎に行っている。
【０００３】
上記所定サイズの画素ブロック毎に行う画像信号処理の種類は種々であるが、例えば隣接ビットとの差分出力の和や、ブロック内画素信号にそれぞれ重み付けをしたのち和出力を求める積和演算を行う場合があった。
【０００４】
【発明が解決しようとする課題】
このような演算を行う場合、従来は撮像センサからシリアルで出力される画素信号を後段の信号処理回路に入力して行っていた。したがって、例えば画素ブロック単位で演算処理を行う場合には、各画素ブロックを構成する画素信号が撮像センサから全て出力されるまで待機しなければならなかった。
【０００５】
また、上記各画素信号のブロック単位の積和演算等を行う場合には、メモリ手段を用いて行う必要があったので、大きな容量のメモリが必要であった。
【０００６】
このため、従来の画像信号処理回路において、種々の画像信号処理を行うようにするとコストパフォーマンスが悪いだけでなく、信号処理を行う速度が遅くなってしまう問題があった。
【０００７】
本発明は上述の問題点にかんがみ、画像信号処理を行うために最適な画像信号を出力可能な撮像センサを提供できるようにすることを第１の目的とする。
また、撮像センサから出力される画像信号に種々の処理を施す画像信号処理回路の構成を簡素化できるようにするとともに、画像信号処理回路における処理速度を向上させることができるようにすることを第２の目的とする。
【０００８】
【課題を解決するための手段】
本発明のは、複数の画素信号を出力する撮像素子と同じＩＣチップ部上に、上記撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に演算処理を行い、各画素ブロック同志が重なるように所定の画素分ずつずらしながら上記画素ブロックの画素信号の加算情報を算出する撮像信号処理手段を設けたことを特徴とする。
【０００９】
本発明の画像信号処理方法は、複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に演算処理を施して、画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した画素信号の加算情報を出力する撮像信号処理手段を有し、撮像センサから出力される画像信号を処理する方法であって、上記撮像信号処理手段が、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した所定サイズの画素ブロック毎に、各画素ブロック同志が重なるようにずらしながら上記画素信号の加算情報を出力する工程と、色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに上記撮像信号処理手段の出力を用いて画像信号の情報量を圧縮する処理を施す圧縮工程と、上記情報圧縮処理された画像信号に伸張処理を施す伸張工程とを有し、上記伸張工程が終了した後で上記色処理工程を行うことを特徴とする。
【００１０】
本発明の画像信号処理システムは、複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に演算処理を施して、画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した画素信号の加算情報を出力する撮像信号処理手段を有し、撮像センサより出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、上記撮像信号処理手段は、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した所定サイズの画素ブロック毎に、各画素ブロック同志が重なるようにずらしながら上記画素信号の加算情報を出力するとともに、色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記撮像信号処理手段の出力を用いて上記画像信号に情報圧縮処理を施す圧縮手段が上記画像信号供給側に設けられ、上記情報圧縮された画像信号に情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴とする。
【００１１】
本発明の撮像装置は、複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に、各画素ブロック同志が重なるようにずらしながら演算処理を施して、画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した画素信号の加算情報を出力する撮像信号処理手段を有する撮像手段と、上記撮像手段から出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態で上記撮像信号処理手段の出力を用いて情報圧縮処理を施して圧縮画像信号を生成する圧縮手段とを有することを特徴とする。
【００１２】
本発明の記憶媒体は、上記の何れかに記載の画像信号処理方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴とする。
また、本発明の記憶媒体の他の特徴とするところは、上記の何れかに記載の各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴とする。
【００１３】
【発明の実施の形態】
次に、本発明の撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体の実施の形態を説明する。
図１は、本発明の撮像センサの構成を示すブロック図である。図１に示したように、この撮像センサ１０は、センサ部１１、垂直走査回路１２、ラインメモリ部１３、水平走査回路１４、ブロックメモリ部１５、積和演算部１６等によって構成されており、これらは１つのＩＣチップ上に構成されている。そして、上記ブロックメモリ部１５及び積和演算部１６により撮像信号処理手段が構成されている。
【００１４】
上記センサ部１１には、図２（ａ）〜（ｃ）に示すような画素センサセルが水平方向及び垂直方向に複数個配列されている。そして、各画素センサセルのフォトダイオードには、例えばシアン、イエロー、マゼンダ、グリーンの３色の補色フィルタと１色の原色フィルタが配設されていて、原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒがセンサ部１１からシリアルで出力される。なお、リセットラインにより各セルの信号のリセットが行われ、セレクトラインにより読み出し位置の選択が行われる。また、転送ラインにより光電変換信号をアンプに入力する。
【００１５】
上記センサ部１１から出力される原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒはブロックメモリ部１５に入力される。上記ブロックメモリ部１５は、撮像センサ１０の後段に配設された画像信号処理装置で行う種々の信号処理（例えば、圧縮処理）を行うのに最適な、画面サイズよりも小さい所定サイズのブロック単位で画素信号を出力する。
【００１６】
積和演算部１６は、上記ブロックメモリ部１５に記憶されている画素信号をマトリックス演算し、圧縮のコードサイズと同じ所定のブロック単位毎に平均輝度を算出したり、重み付け加算値の出力を行ったりする処理を行う。ここで、ブロック単位の画素信号の重み付け加算値（重み付け係数は負も含む）を加算情報と定義する。
【００１７】
図３は、ブロックメモリ部１５及び積和演算部１６の具体的な構成例を示す回路図であり、図４は各部の動作タイミングを示すタイミングチャートである。図３に示したように、この回路は、「３×３」の９画素分のブロック単位の信号を並列に出力するように構成している。
【００１８】
そして、「３×３」の画素ブロックを水平方向に１画素分ずつずらせながら読み出すようにしている。したがって、同じ画素の信号が３回読み出されることになる。読み出し動作の詳細な説明は省略するが、水平走査パルスＨ1 〜Ｈ5 、垂直走査パルスＶ1 〜Ｖ5 、シフトパルスＳ1 〜Ｓ3 、選択信号Ｔ1 〜Ｔ3 が図４に示したように変化すると、最初の時点ｔ1 においては、Ｙ11、Ｙ21、Ｙ31、Ｙ12、Ｙ22、Ｙ32、Ｙ13、Ｙ23、Ｙ33の画素信号が出力される。
【００１９】
これらの９個の画素信号は、メモリ用コンデンサＣ1 〜Ｃ9 にそれぞれ蓄積されていたものである。そして、次の時点ｔ2 では1 画素分だけ水平方向に移動した「３×３」画素ブロック分の信号が並列で出力される。すなわち、Ｙ14、Ｙ12、Ｙ13、Ｙ24、Ｙ22、Ｙ23、Ｙ34、Ｙ32、Ｙ33の画素信号が出力されることになる。
【００２０】
この場合、９個の画素信号のうち、前の時点ｔ1 に出力された画素信号と異なる画素信号は、Ｙ11、Ｙ21、Ｙ31の３個であり、Ｙ12、Ｙ13、Ｙ22、Ｙ23、Ｙ32、Ｙ33の画素信号は同じである。すなわち、メモリ用コンデンサＣ2 、Ｃ3 、Ｃ5 、Ｃ6 、Ｃ8 、Ｃ9 にそれぞれ保持されていた画素信号が出力される。上述のようにして、水平方向に１画素分ずつずらせながら読み出すようにしている。
【００２１】
図５は、「３×３」画素ブロック分の信号を垂直方向に１画素分ずつずらしながら読み出すようにした回路の一例を示し、図６は図５の回路の各部の動作タイミングを示すタイミングチャートである。
【００２２】
また、図７は、画素間に垂直出力線を３本ずつ設けた例を示す回路図であり、図８は図７の回路の各部の動作タイミングを示すタイミングチャートである。
この例の場合、スキャン順序は水平方向となる。
【００２３】
次に、図９〜図１３を参照しながら重み付けを行う回路の例を説明する。図９の回路における出力電圧Ｖout は、Ｖout ＝−Ｒ3 ／Ｒ1 Ｖin＋（Ｒ1 ＋Ｒ3 ）ＶREF となる。
【００２４】
また、図１０（ａ）の回路の重み付けは、垂直出力線に介設された抵抗器Ｒ1 （Ｒ2 、Ｒ3 ）と増幅器に配設された帰還抵抗器Ｒout との比によって所望の重み付けを行うことができる。また、図１０（ｂ）に示した回路のように、差演算を行う場合には、画素信号を（＋）と（−）端子にそれぞれ入力するようにする。
【００２５】
また、図１１に示すように、所定の係数を有する演算増幅器を画素信号の出力端にカスケード接続することによっても、重み付けを行うことができる。図１１に示した例は、「−１」、「−２」、「−１／２」の演算増幅器をカスケード接続した例を示しており、図１２は、図１１の回路の各部の動作タイミングを示すタイミングチャートである。
【００２６】
図１１に示したように、３つの演算増幅器を経由した出力は「−１」となり、最初の２つの演算増幅器を経由した出力は「２」となる。また、１番目の演算増幅器のみを経由した出力は「−１」となる。
【００２７】
図１３にマトリックス演算回路の別の例を示す。この例の場合、C1(V1- V i1)+C2(V2- V i1)+C(V01- V i1)=0、V0= AV i1(A はオペアンプのオープンループゲイン) 、A →∞ではV i1=0、C1V1+C2V2+CV01=0、V01 = (-C1V1-C2V2)/C
【００２８】
また、C( Vo1- V i2)+C3(V3- V i2)+C(V02- V i2)=0 、 Vi2→0 、-C1V1-C2V2+C3V3=0 、V02 = (C1V1+C2V2-C3V3)/Cである。
【００２９】
次に、図１４〜図１６を参照しながら、本実施の形態の撮像センサ出力の具体的な使用例を説明する。この例は、本実施の形態の撮像センサの出力をコードブック方式（ベクトル量子化方式）の圧縮伸張装置に適用した例を示している。
【００３０】
すなわち、図１４に示すように「４×４」画素ブロックの加算情報としての積和演算値（図１４は重み付け係数１の例）を求めておけば、例えば、後段の画像信号処理ブロックにおいて、コードブック方式の情報圧縮伸張を行う場合に、複数の量子化コードの中から近似したコードを検索する際に、上記積和演算値を用いてコードブックの中から、近似した積和演算値を有する例えば、コードＡ，Ｂ，Ｃのような３つのコードの絞り込みができるので、高速且つ高精度に検索することができる。
【００３１】
更に、図１５に示すように、「６×６」画素ブロックの外周部の信号を抽出し、その平均輝度を算出する。そして、候補のコードＡ，Ｂ，Ｃの外周画素に対応するデータの平均Ａ´バー、Ｂ´バー、Ｃ´バーを同様に求めて比較する。上述したようなセンサ側のブロックの演算を撮像センサ上で行っておけば、撮像センサの出力信号を使用してコードブック方式の圧縮伸張を高速に、且つ高精度に行うことができる。
【００３２】
図１６は、本実施の形態の撮像センサ１０を用いて、コードブック方式の情報圧縮を行う手順を示すフローチャートである。
図１６に示したように、撮像動作が開始されると、最初のステップＰ１において、センサ部１１で生成された各画素の信号が出力され、所定画素数の信号がブロックメモリ部１５に保持される。
【００３３】
そして、所定の画素ブロックを構成する画素信号がブロックメモリ部１５に蓄積されるとステップＰ２に進み、所定の画素ブロック（この例では、４×４の画素ブロック）の平均輝度Ｓバーが算出されて出力される。
【００３４】
次に、ステップＰ３において、各画素の信号と、上記積和演算部１６によって算出された平均輝度Ｓバーの値を基にして、画素ブロックに対応するコード候補（ベクトル量子化コード）Ａ，Ｂ，Ｃをコードブック記憶装置（図示せず）の中から選択する。なお、コードブックの各コードには、予め対応する積和値がリンクして記憶されており、Ａ，Ｂ，Ｃを選択する際に、先ず、コードブックの中から近似する積和値のものを絞り込むことでＡ，Ｂ，Ｃが選択される。
【００３５】
次に、ステップＰ４に進み、図１５を参照しながら説明したように、「６×６」の画素ブロックにおける外周部の信号を抽出し、その平均輝度Ｓ´バーを求める。
【００３６】
次に、ステップＰ５において、上述した画素ブロックに対応するコード候補Ａ，Ｂ，Ｃのそれぞれの外周画素に対応するデータの平均輝度Ａ´バー，Ｂ´バー，Ｃ´バーを演算する。
【００３７】
次に、ステップＰ６において、ステップＰ４において求めた平均輝度Ｓ´バーと、ステップＰ５において求めた外周画素に対応するデータの平均輝度Ａ´バー，Ｂ´バー，Ｃ´バーとの差演算をそれぞれ行う。
【００３８】
次に、ステップＰ７において、Ａ〜Ｃの中から上記差演算の結果が最小となるコードを、データ圧縮しようとするブロックに対応するコードとして選択し、そのコード番号を出力する。
【００３９】
本実施の形態においては、上述したようにしてコード選択を行うので、隣接ブロックに対して滑らかに境界がつながるベクトル量子化コードを容易に選択することができる。その結果、高品位なベクトル量子化による画像圧縮を実現することができる。
【００４０】
また、本実施の形態では、上述したステップＰ１、ステップＰ２、ステップＰ４の処理を撮像センサ１０内で行うことができるので、画像圧縮処理を高速に行うことが可能となる。また、撮像センサ１０からは画面サイズよりも小さい所定サイズの画素ブロック単位で画素信号を出力することができるので、必要な画素数の信号が撮像センサ１０から出力されるまで待機する必要がなく、待機時間及び画素信号を保持するためのメモリ容量を削減することができる。
【００４１】
なお、コードブック内の各コードにリンクさせてそれぞれのコードのＳバー、Ａ´バー、Ｂ´バー、Ｃ´バー・・・の値を記憶させておけば、例えば、ステップＰ５の処理を省略することができる。逆に、上記のＳバー値もその都度演算で求めるようにすれば、コードブックメモリの容量を節約することができる。
【００４２】
次に、本実施の形態の撮像センサ１０を用いた第２の実施の形態を図１７のブロック図を参照しながら説明する。
図１７は、本発明の撮像部１０を用いて構成した画像信号処理システムの一例を示すブロック図である。図１７に示したように、この画像信号処理システムは、撮像素子ＩＣチップ部（撮像部）１０、コードブック方式圧縮装置４０、コード番号出力装置４１によって画像信号の出力側が構成されている。また、コード番号入力装置５０、コードブック方式伸張装置６０、色処理装置１００、画像表示または記憶装置９０によって画像信号の入力側が構成されている。
【００４３】
上記撮像センサ１０は撮像素子（受光素子）１１及び撮像信号処理装置１１０を有し、上述したように、撮像センサ１０からは疑似Ｙ´信号、疑似Ｕ´信号、疑似Ｖ´信号等の撮像部出力信号Ｓ１０が出力される。
【００４４】
上記撮像センサ１０から出力される撮像部出力信号Ｓ１０は、コードブック方式圧縮装置４０に入力される。上記コードブック方式圧縮装置４０は、上述したように、撮像センサ１０から入力された所定の画素数分の撮像部出力信号Ｓ１０のパターンと、コードブック記憶装置（図示せず）に予め記憶されている複数のコード（パターン）とを比較する。
【００４５】
本実施の形態のコードブック記憶装置（図示せず）には、撮像センサ１０から出力される撮像部出力信号Ｓ１０に対応するパターンで複数のコードが記憶されており、コードブック方式圧縮装置４０はその中で最も似通ったパターンを見つけ出し、そのパターンのコード番号を出力する。そして、コードブック方式圧縮装置４０から出力されたコード番号は、コード番号出力装置４１により通信回線等の媒体を介してコード番号入力装置側に送信される。
【００４６】
通信回線を介して送られてきたコード番号は、コード番号入力装置５０によって入力されてコードブック方式伸張装置６０に供給される。コードブック方式伸張装置６０は、入力されたコード番号に対応するパターンをコードブック記憶装置（図示せず）から読みだして、コードブック方式圧縮装置４０によって圧縮した画像データを再生する。
【００４７】
コードブック方式伸張装置６０によって再生された撮像部出力信号Ｓ１０は、次に、色処理装置１００に与えられる。上記色処理装置１００は、入力された撮像部出力信号Ｓ１０中の色情報に関しホワイトバランス補正、γ補正等の色補正処理のように、良好な画質を得るために必要な種々の処理を行う色処理部８２を有している。
【００４８】
したがって、コードブック方式伸張装置６０から入力された原信号Ｙｅ、Ｃｙ、Ｍｇ、Ｇｒは、この色処理装置１００において所定の色処理が施され、輝度信号Ｙ、及び色差信号ｕ、ｖが生成されて出力される。
【００４９】
色処理装置１００から出力された輝度信号Ｙ、及び色差信号ｕ、ｖは、画像表示または記憶装置９０に与えられ、画像表示されたり、記憶媒体に記憶されたりする。なお、本実施の形態においては、情報圧縮伸張方式としてコードブック方式を用いた例を示したが、ＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式を用いるようにしてもよい。
【００５０】
上述のように、本実施の形態の画像信号処理システムは、高品位の画質を得るために行う色補正処理を、情報圧縮処理の前に行わずに情報伸張処理の後で行っている。したがって、情報圧縮処理→情報伸張処理に伴って発生するブロックノイズや高周波ノイズによる画質の劣化を最小限に抑えることができ、回線を介して伝送する際の情報量を大幅に削減できるとともに、色処理後に画像信号が劣化しないようにすることができ、高品位の画質を得ることができる。
【００５１】
次に、図１８を参照しながら第３の実施の形態を説明する。上述した第２の実施の形態においては、圧縮処理を施した信号を通信回線等の媒体を介して外部に出力するようにした例を示したが、この例においては、圧縮後の信号を一旦記録媒体に記録し、これを再生するとともに、圧縮伸張処理の後で色処理を行う撮像装置に適用した例を示している。
【００５２】
すなわち、図１７と異なる構成は、コードブック方式圧縮装置４０とコードブック方式伸張装置６０との間に、書込装置１３０、記憶媒体１３１、読出装置１３２を設けている。
【００５３】
このように構成することにより、撮像センサ１０から出力される画像信号を記憶媒体１３１に記憶するために必要な記憶容量を格段と低減することができ、しかも記憶媒体１３１から読み出した画像信号をコードブック方式伸張装置６０で再生してから色処理装置１００内において色処理を行うので、画質の劣化が少なくて済み、高品質な画像を画像表示装置１３３に表示することができる。
【００５４】
なお、本実施の形態撮像装置は媒体１３１までの構成にとどめることもできる。また、上記読出装置１３２、コードブック方式伸張装置６０、色処理装置１００、画像表示装置１３３は再生装置（例えば、パソコン）に含ませることもできる。また、第２、第３実施例において、撮像信号処理装置１１０は撮像素子と同一のチップ上に設けなくともよい。また、フィルタパターンは例えば、Ｒ，Ｇ，Ｂの組み合わせでもよい。
【００５５】
また、本実施の形態においては、情報圧縮伸張方式としてコードブック方式を用いた例を示したが、ＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式を用いるようにしてもよい。また、図１７、図１８の実施例において、撮像部から原信号もコードブック方式圧縮装置に入力して圧縮に用いてもよい。
【００５６】
なお、上述した実施の形態の各機能を実現するソフトウェアのプログラムコードを記憶した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ、いずれも図示せず）が記憶媒体に格納されたプログラムコードを読みだして実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が実施の形態の機能を実現することとなり、そのプログラムコードを記憶した記憶媒体は本発明を構成することとなる。
【００５７】
プログラムコードを供給するための記憶媒体としては、ＲＯＭ、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。
【００５８】
また、コンピュータが読みだしたプログラムコードを実行することにより、実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ等が実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００５９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された拡張機能ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって実施の形態の機能が実現される場合も含まれる。
【００６０】
【発明の効果】
本発明は上述したように、画像圧縮に適した形式の画像信号及びブロック単位の特徴データを撮像センサから出力することができるので、撮像センサから出力される画像信号を圧縮処理する際の精度及び処理速度を大幅に向上させることができる。
【００６１】
また、本発明のその他の特徴によれば、カラー画像信号処理を行う場合の一般的な前処理である擬似輝度色差演算等を撮像センサ上で行うことができるので、演算速度を高速化することができるとともに、後段で行う色信号処理に必要なメモリ容量を低減することができる。
【００６２】
また、本発明の他の特徴によれば、色情報に関し少なくともホワイトバランス補正又はγ補正等の色補正を行わずに、撮像素子からのブロックごとの特徴データを演算し、この特徴データを用いて画像信号に情報圧縮処理を施す圧縮処理と、上記情報圧縮処理された画像信号に情報伸張処理を施す伸張処理とを行う場合に、上記情報圧縮処理及び情報伸張処理を行った後で上記色処理を行うようにしたので、画像信号を伝送したり、記憶媒体に記憶したりする際のデータ量を大幅に削減することができ、且つ色処理後に画質の劣化が生じないようにすることができて高品質の画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の撮像センサの構成例を示すブロック図である。
【図２】画素センサの構成例を示す回路図である。
【図３】マトリクス演算手段の第１の例を示す回路図である。
【図４】図３の回路の各部の動作タイミングを示す図である。
【図５】マトリクス演算手段の第２の例を示す回路図である。
【図６】図５の回路の各部の動作タイミングを示す図である。
【図７】マトリクス演算手段の第３の例を示す回路図である。
【図８】図７の回路の各部の動作タイミングを示す図である。
【図９】重み付け演算を行うマトリクス演算手段の第１の例を示す回路図である。
【図１０】重み付け演算を行うマトリクス演算手段の第２の例を示す回路図である。
【図１１】重み付け演算を行うマトリクス演算手段の第３の例を示す回路図である。
【図１２】図１１の回路の各部の動作タイミングを示す図である。
【図１３】重み付け演算を行うマトリクス演算手段の第４の例を示す回路図である。
【図１４】コードブック方式の情報圧縮の原理を説明する図である。
【図１５】コードブック方式の情報圧縮の原理を説明する図である。
【図１６】実施の形態の撮像センサ撮像装置用いてコードブック方式の情報圧縮処理を行う手順を示すフローチャートである。
【図１７】実施の形態の撮像センサを用いた画像信号処理システムの第２の実施の形態を示すブロック図である。
【図１８】実施の形態の撮像センサを撮像装置に適用した例を示すブロック図である。
【符号の説明】
１０ 撮像センサ（撮像部）
１１ 撮像素子
１２ 垂直走査回路
１３ ラインメモリ部
１４ 水平走査回路
１５ ブロックメモリ部
１６ 積和演算部
Claims (22)
- 複数の画素信号を出力する撮像素子と同じＩＣチップ部上に、上記撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に演算処理を行い、各画素ブロック同志が重なるように所定の画素分ずつずらしながら上記画素ブロックの画素信号の加算情報を算出する撮像信号処理手段を設けたことを特徴とする撮像センサ。
- 上記撮像信号処理手段は、上記画素ブロックの画素信号の加算情報を算出する際に、各画素信号に重み付けを行うことを特徴とする請求項１に記載の撮像センサ。
- 複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に演算処理を施して、画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した画素信号の加算情報を出力する撮像信号処理手段を有し、撮像センサから出力される画像信号を処理する方法であって、
上記撮像信号処理手段が、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した所定サイズの画素ブロック毎に、各画素ブロック同志が重なるようにずらしながら上記画素信号の加算情報を出力する工程と、
色情報に関して少なくともホワイトバランス補正又はγ補正を施す色処理工程を経ずに上記撮像信号処理手段の出力を用いて画像信号の情報量を圧縮する処理を施す圧縮工程と、
上記情報圧縮処理された画像信号に伸張処理を施す伸張工程とを有し、
上記伸張工程が終了した後で上記色処理工程を行うことを特徴とする画像信号処理方法。 - 上記撮像信号処理手段は、上記所定サイズの画素ブロック毎に画素信号を出力する際に、各画素信号に重み付けを行うことを特徴とする請求項３に記載の画像信号処理方法。
- 上記圧縮工程及び伸張工程で処理される画像信号は、上記撮像信号処理手段で生成されて出力される疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）であることを特徴とする請求項３または４に記載の画像信号処理方法。
- 上記圧縮工程及び伸張工程はコードブック方式により行われるベクトル量子化工程及びベクトル復号化工程であることを特徴とする請求項３〜５の何れか１項に記載の画像信号処理方法。
- 上記圧縮工程及び伸張工程はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴とする請求項３〜５の何れか１項に記載の画像信号処理方法。
- 複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に演算処理を施して、画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した画素信号の加算情報を出力する撮像信号処理手段を有し、撮像センサより出力される画像信号に所定の信号処理を施して出力する画像信号供給側と、上記画像信号供給側から得られる画像信号を使用する画像信号入力側とからなる画像信号処理システムであって、
上記撮像信号処理手段は、少なくとも画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した所定サイズの画素ブロック毎に、各画素ブロック同志が重なるようにずらしながら上記画素信号の加算情報を出力するとともに、
色情報に関して少なくともホワイトバランス補正又はγ補正を施す前に上記撮像信号処理手段の出力を用いて上記画像信号に情報圧縮処理を施す圧縮手段が上記画像信号供給側に設けられ、
上記情報圧縮された画像信号に情報伸張処理を施す伸張手段及び色処理手段が画像信号入力側に設けられていて、
上記圧縮手段による情報圧縮処理、及び上記伸張手段による情報伸張処理が終了した後で、上記色処理手段により、色情報に関して少なくともホワイトバランス補正又はγ補正を行うことを特徴とする画像信号処理システム。 - 上記撮像信号処理手段は、上記所定サイズの画素ブロック毎に画素信号を出力する際に、各画素信号に重み付けを行うことを特徴とする請求項８に記載の画像信号処理システム。
- 上記圧縮手段及び伸張手段で処理される画像信号は、上記撮像信号処理手段で生成されて出力される疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）であることを特徴とする請求項８に記載の画像信号処理システム。
- 上記圧縮手段及び伸張手段はコードブック方式により行われるベクトル量子化手段及びベクトル復号化手段であることを特徴とする請求項８〜１０の何れか１項に記載の画像信号処理システム。
- 上記圧縮手段及び伸張手段はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴とする請求項８〜１０の何れか１項に記載の画像信号処理システム。
- 複数の画素信号を出力する撮像素子より出力される各画素信号から１画面より小さい所定サイズの画素ブロック毎に、各画素ブロック同志が重なるようにずらしながら演算処理を施して、画像圧縮処理を含む画像信号処理を後段の回路で行うのに適した画素信号の加算情報を出力する撮像信号処理手段を有する撮像手段と、上記撮像手段から出力される画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正を施さない状態で上記撮像信号処理手段の出力を用いて情報圧縮処理を施して圧縮画像信号を生成する圧縮手段とを有することを特徴とする撮像装置。
- 上記撮像信号処理手段は、上記撮像素子と同じＩＣチップ上に設けられていることを特徴とする請求項１３に記載の撮像装置。
- 上記圧縮手段から出力される圧縮画像信号を記憶媒体に書き込む書き込み手段を有することを特徴とする請求項１３に記載の撮像装置。
- 上記記憶媒体に記憶した圧縮画像信号を読み出す読み出し手段と、上記読み出し手段によって読み出された圧縮画像信号に情報伸張処理を施す伸張手段と、上記伸張手段によって再生された画像信号の色情報に関し少なくともホワイトバランス補正又はγ補正の何れか１つの処理を施す色処理手段とを具備することを特徴とする請求項１５に記載の撮像装置。
- 上記撮像信号処理手段は、上記所定サイズの画素ブロック毎に加算情報を算出する際に、各画素信号に重み付けを行うことを特徴とする請求項１３〜１６の何れか１項に記載の撮像装置。
- 上記圧縮手段で処理される画像信号は、上記撮像信号処理手段で生成されて出力される疑似輝度色差信号（Ｙ´、Ｕ´、Ｖ´）であることを特徴とする請求項１３〜１６の何れか１項に記載の撮像装置。
- 上記圧縮手段はコードブック方式により行われるベクトル量子化手段及びベクトル復号化手段であることを特徴とする請求項１３〜１６の何れか１項に記載の撮像装置。
- 上記圧縮手段はＤＣＴ、量子化、可変長符号化を行う圧縮／伸張方式により行われることを特徴とする請求項１３〜１６の何れか１項に記載の撮像装置。
- 上記請求項３〜７の何れか１項に記載の画像信号処理方法の手順をコンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
- 上記請求項８〜２０の何れか１項に記載の各手段としてコンピュータを機能させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19218998A JP3728107B2 (ja) | 1998-07-07 | 1998-07-07 | 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 |
| US09/338,865 US6567571B1 (en) | 1998-06-24 | 1999-06-23 | Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP19218998A JP3728107B2 (ja) | 1998-07-07 | 1998-07-07 | 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000032481A JP2000032481A (ja) | 2000-01-28 |
| JP3728107B2 true JP3728107B2 (ja) | 2005-12-21 |
Family
ID=16287168
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP19218998A Expired - Fee Related JP3728107B2 (ja) | 1998-06-24 | 1998-07-07 | 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3728107B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4826028B2 (ja) * | 2001-05-24 | 2011-11-30 | 株式会社ニコン | 電子カメラ |
| JP4599917B2 (ja) | 2004-07-09 | 2010-12-15 | ソニー株式会社 | 撮像装置 |
| JP4759293B2 (ja) * | 2005-03-15 | 2011-08-31 | キヤノン株式会社 | 撮像素子 |
-
1998
- 1998-07-07 JP JP19218998A patent/JP3728107B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000032481A (ja) | 2000-01-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20050276475A1 (en) | Image processing device, image processing method and image processing program | |
| JP4941285B2 (ja) | 撮像装置、撮像システム、撮像方法及び画像処理装置 | |
| KR100347508B1 (ko) | 촬상 장치 | |
| US20060132628A1 (en) | Image data processing apparatus and electronic camera | |
| JP2013179584A (ja) | 画像処理装置及びそれを用いた電子機器 | |
| TW200826655A (en) | Imaging device, image processing device, image processing method, program for image processing method, and recording medium having program for image processing method recorded thereon | |
| CN101536491A (zh) | 图像捕捉装置和图像捕捉方法 | |
| US8320714B2 (en) | Image processing apparatus, computer-readable recording medium for recording image processing program, and image processing method | |
| JPH1042182A (ja) | 撮像装置 | |
| JP4497945B2 (ja) | 撮像装置 | |
| JP4683678B2 (ja) | 画像信号処理方法、画像信号処理システム、記憶媒体及び撮像装置 | |
| JP2007104220A (ja) | 画像処理装置及び画像処理方法 | |
| JP2011244069A (ja) | 撮像装置、集積回路および画像処理方法 | |
| US6587603B1 (en) | Sensor unit capable of outputting image signals by blocks and processing circuit which processes image signals by blocks | |
| JP2006211610A (ja) | 撮像システム | |
| JP2000244935A (ja) | 画像データ圧縮方法 | |
| JP3728107B2 (ja) | 撮像センサ、画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 | |
| US6684000B1 (en) | Image sensing device capable of outputting image signals by blocks and processing circuit which processes image signals by blocks | |
| JP4092830B2 (ja) | 画像データ圧縮方法 | |
| JP4164161B2 (ja) | 画像信号処理方法、画像信号処理システム、撮像装置及び記憶媒体 | |
| JP4436733B2 (ja) | 撮像装置および再生装置 | |
| JP4302855B2 (ja) | 画像処理方法および装置並びに記録媒体 | |
| JP4599705B2 (ja) | 画像処理装置及びその方法、並びにプログラム記録媒体 | |
| JP4281161B2 (ja) | 電子カメラ | |
| JP5090899B2 (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20050317 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050329 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050530 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050705 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050816 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050913 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050930 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091007 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101007 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101007 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111007 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111007 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121007 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131007 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |