JP4844305B2 - 撮像装置 - Google Patents

Description

本発明は撮像装置に係り、特に撮像素子にグローバルシャッタ型のＣＭＯＳセンサを用いた撮像装置に関する。

固体撮像素子を用いた撮像装置は従来から種々の用途に供されている。例えば、撮像信号を記録媒体に記録したり、所望の伝送路を伝送させる撮像装置のうち、撮像信号を圧縮符号化して記録や伝送する装置が知られている（例えば、特許文献１参照）。この特許文献１記載の従来の撮像装置では、被写体を撮像する撮像素子からの撮像信号（ビデオ信号）をフレーム間圧縮符号化して伝送する。

ビデオ信号の圧縮符号化方式としては、フレーム内符号化方式であるＩＳＯ／ＩＥＣ １０９１８−１（通称ＪＰＥＧ）やフレーム内符号化とフレーム間符号化を組み合わせたＩＳＯ／ＩＥＣ １３８１８−２（通称ＭＰＥＧ−２ビデオ）がある。これらの方式は、（１）ビデオ信号の時空間的冗長性、（２）ビデオ信号の統計的冗長性、（３）人間の視覚特性的冗長性を削減することで、撮像素子からのビデオ信号を圧縮符号化する。ビデオ信号の時空間的冗長性の削減手法としては、離散コサイン変換（ＤＣＴ）、動き補償予測（ＭＣ）があり、ビデオ信号の統計的冗長性の削減手法としては、ハフマン符号化や算術符号化等のエントロピー符号化があり、人間の視覚特性的冗長性の削減としては、ＤＣＴ係数の重み付け量子化等がある。

撮像装置が立体映像信号を出力する立体画像撮像装置である場合は、上記のＭＰＥＧ方式等で圧縮符号化した映像信号（ビデオ信号）をハードディスクドライブ（ＨＤＤ）などの記録媒体に記録する。ＭＰＥＧでは動き検出を行い、時間方向の冗長度を削減するため、後述する動き補償を行い、差分をとって画像データのエントロピーの削減をする。また、複数眼の立体画像においては、例えば右目と左目の画像が視差があるとはいえ、非常に似通っていることから、双方の画像も差分をとって符号化することが多い。

また、撮像装置が監視用途に供される監視カメラの場合、上記のＭＰＥＧ方式等で圧縮符号化した映像信号（ビデオ信号）をＨＤＤなどの記録媒体に記録すると同時に、動き検出を行って、本来動きの無い撮影画像に動きがあれば、アラーム信号を出して、その場面の画像に識別マークをつけて記録するタイプのものが多い。動き検出は画面を所定の小ブロックに分割して、そのブロックの画像が、時間方向でどのように動いているのかを常に監視する機能である。これはＭＰＥＧの圧縮アルゴリズムにも使用されている動きベクトル検出と同じ手法を用いることができる。

更に、監視用途の撮像装置として、撮像して得られた映像信号をＭＰＥＧ等の符号化方式で圧縮して、ローカル・エリア・ネットワーク（ＬＡＮ）などのネットワークを介して遠隔地に送信する、所謂ネットワーク監視カメラも知られている。

このような撮像装置に使用される代表的な撮像素子としてはＣＣＤ（Charge Coupled Device）型撮像素子がある。しかしながら、消費電力の問題から近年の急速な多画素化と高速読出し化の要求に応えるのが困難になってきている。一方、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）型撮像素子（以下、ＣＭＯＳセンサともいう）は、低電圧駆動が可能であり、前記の多画素化と高速読出し化の要求に対応することが容易である。また、製造工程においてＣＭＯＳプロセスを使用でき、同一チップ内に駆動回路や処理回路などの周辺回路を混載することが可能であり、小型化にも有利である。このことからＣＭＯＳ型撮像素子は、ディジタルカメラやビデオカメラ用として、ＣＣＤに代わる高性能撮像素子としての注目を浴びつつある。

従来のＣＭＯＳセンサを使った撮像装置の第１の例のブロック図を図２２（Ａ）に示す。同図（Ａ）において、まず、結像された被写体像を光電変換するＣＭＯＳセンサ３０１があり、図示しない被写体の光学像を前記ＣＭＯＳセンサ３０１上に結像する光学レンズ３０２がある。ＣＭＯＳセンサ３０１から出力された電気信号は、信号処理装置３０３に供給され、ガンマ補正や輪郭補正などの所定の処理を施された後、出力端子３０５に送られる。

また、信号処理装置３０３のもう一方の出力は、所定の記録フォーマットに処理された信号で、これが信号記録再生装置３０４に送られ記録媒体に記録される。信号記録再生装置３０４は再生時は記録媒体に記録された映像信号を再生して信号処理装置３０３に供給し、ここで前記所定の記録フォーマットから映像信号に復元させた後、出力端子３０５に送る。なお、信号記録再生装置３０４において映像信号の記録再生を行う記録媒体は、例えば磁気テープ、磁気ディスク、光ディスク、半導体メモリなどである。

出力端子３０５は、信号処理装置３０３からの入力映像信号を外部出力するものであり、図示しないモニタなどの外部表示装置に接続して映像信号を表示したり、図示しない外部記録装置に接続して、出力された映像信号を記録する。一方、信号表示装置３０６は、出力端子３０５からの映像信号を受け画像として表示するものであり、所謂ビューファインダとして機能する小型のモニタである。この従来の撮像装置は、主に動画像を撮影・記録・再生する為の撮像装置の構成を示すものである。

従来のＣＭＯＳセンサを使った撮像装置の第２の例のブロック図を図２２（Ｂ）に示す。同図（Ｂ）中、図２２（Ａ）と同一構成部分には同一符号を付し、その説明を省略する。図２２（Ｂ）において、光学レンズ３０２とＣＭＯＳセンサ３０１との間には、メカニカルシャッタ３０７が設けられており、図示しないシャッタ駆動回路によって、一定期間のみシャッタが開く様になっている（以下、露光期間）。

このことにより、ＣＭＯＳセンサ３０１には露光期間のみ被写体像が光学レンズ３０２を通して結像され、ＣＭＯＳセンサ３０１はこの露光期間の被写体像を電気信号として蓄積する。露光期間終了後メカニカルシャッタ３０７が閉じた後、ＣＭＯＳセンサ３０１からは蓄積された電気信号が出力され、信号処理装置３０３に送られる。この時、上記電気信号はメカニカルシャッタ３０７が開いた露光期間の静止画情報であり、後段の信号記録再生装置３０４にて記録される映像信号や出力端子３０５で出力される映像信号は、静止画の信号となる。

図２３はＣＭＯＳセンサを使った従来の撮像装置の第３の例のブロック図を示す。同図に示すように、この従来の撮像装置４００は、縮小光学系４０１、撮像素子４０２、信号処理手段４０３からなり、撮像装置４００から出力された撮像信号による被写体画像を表示手段４０４により表示する。この撮像装置４００はＨＤＴＶ(High Definition Television)の画素数を上回る高精細な撮像装置で、このような高精細（多画素）な撮像装置においては、センサから高速に信号を読み出せるＣＭＯＳ(エリア)センサが撮像素子４０２として使われている。なお、ここでは、撮像装置４００に表示手段を含まない場合を例に説明するが、これに限定するものではない。

図２３において、先ず、被写体からの光は縮小光学系４０１を通って撮像素子４０２上に結像され、撮像素子４０２はこの光を電気信号に変換して信号処理手段４０３に送る。信号処理手段４０３は、この電気信号を、表示手段４０４に合わせた信号形態に変換して出力する。

図２４はＣＭＯＳセンサを使った撮像素子の読み出し形態を示したものであり、例えば、水平方向３８４０画素、垂直方向２１６０画素からなる撮像素子４０２から、水平方向１９２０画素、垂直方向１０８０画素からなる４つの領域（Ａ、Ｂ、Ｃ、Ｄ）に分割して読み出し、信号処理手段４０３に出力している。

ここで、図２４のように撮像素子４０２の撮像領域（以下、読み出し領域ともいう）を複数の領域に分割して読み出すのは、多画素化に伴い撮像素子４０２からの信号の読み出し速度が必要以上に高速になるのを防ぐためである。本例のように、４分割構成にした場合、撮像素子４０２から毎秒３０枚（フレームレート３０Ｈｚ）の画像信号の読み出すのに必要な周波数は、７５ＭＨｚ程度であるのに対して、分割せずに１ｃｈ（一括）で読み出した場合、約３００ＭＨｚで読み出すことになり、消費電力、Ｓ／Ｎ等を考えると、撮像領域を分割しない撮像素子は実現困難な構成となる。

信号処理手段４０３は撮像素子４０２の４つの分割読み出し領域からそれぞれ並列に出力された各映像信号に対して、色変換、階調変換、輪郭強調などの必要に応じた所定の処理をそれぞれ行い、この処理した信号を合成し、更に表示手段４０４に合わせた信号形態に変換して出力する。

前述したＣＭＯセンサ３０１や撮像素子４０２には、従来はローリングシャッタ型ＣＭＯＳセンサが用いられている（例えば、特許文献２参照）。図２５は上記の従来のＣＭＯＳセンサの一例の等価回路図を示す。同図に示すＣＭＯＳセンサは、簡単のため、単位画素１が横方向２画素、縦方向２画素の２×２画素の配置とされている。単位画素１は、被写体像を光電変換するフォトダイオード（ＰＤ）２と、信号電荷の増幅用ＭＯＳ型電界効果トランジスタ（以下、ＭＯＳＦＥＴ）３と、電荷転送用ＭＯＳＦＥＴ４と、リセット用ＭＯＳＦＥＴ５と、選択用ＭＯＳＦＥＴ７とよりなり、電源ライン６がＭＯＳＦＥＴ３、５のドレインに接続され、増幅用ＭＯＳＦＥＴ３のソースが選択用ＭＯＳＦＥＴ７のドレインに接続されている。

増幅用ＭＯＳＦＥＴ３のゲート電極はフローティングディフュージョン（ＦＤ）になっており、フォトダイオード２の電荷が電荷転送用ＭＯＳＦＥＴ４のドレイン−ソースを介して増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）に転送される。また、増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）の電位は、リセット用ＭＯＳＦＥＴ５によりリセットされる。

選択用ＭＯＳＦＥＴ７がオン状態になると、増幅用ＭＯＳＦＥＴ３のソースを選択用ＭＯＳＦＥＴ７のドレイン・ソースを通して画素出力ライン８に導通させる。画素出力ライン８は定電流供給用ＭＯＳＦＥＴ９のドレインに接続されている。定電流供給用ＭＯＳＦＥＴ９は、増幅用ＭＯＳＦＥＴ３のソースフォロア回路の負荷として作用する。定電流供給用ＭＯＳＦＥＴ９は、ゲート電位供給ライン１３のゲート電位により制御される。

また、リセット用制御ライン１０、電荷転送用制御ライン１１、画素選択用制御ライン１２は、それぞれリセット用ＭＯＳＦＥＴ５、電荷転送用ＭＯＳＦＥＴ４、選択用ＭＯＳＦＥＴ７の各ゲート電極に接続されており、その電位はそれぞれパルス供給端子１５、１４、１６から、ＭＯＳＦＥＴ１９、２０、２１のドレイン・ソースをそれぞれ通して供給される。

垂直シフトレジスタ１７は、行順次走査のために２×２画素の行を選択する回路で、その垂直シフトレジスタ出力線１８−１、１８−２が、各行のＭＯＳＦＥＴ１９、２０、２１のゲート電極に接続されており、パルス供給端子１５、１４、１６の端子に供給されたパルスがどの行の画素を制御するかを決定する。

また、読み出しブロック２２は、リセット信号出力を保持する容量２３、光信号出力を保持する容量２４、どちらの容量に保持するかを選択するスイッチ用ＭＯＳＦＥＴ２５及び２６、水平出力線２７、２８に接続されたスイッチ用ＭＯＳＦＥＴ２９、３０からなる。スイッチ用ＭＯＳＦＥＴ２５、２６は端子３７、３８からそのゲート電極に供給されるパルスによりスイッチング制御される。

水平シフトレジスタ３４は、２×２画素のうち、どの列の画素の保持信号を水平出力線２７、２８に出力するかをスイッチ用ＭＯＳＦＥＴ２９、３０のゲートに接続された水平シフトレジスタ出力線３５−１、３５−２への出力電位で決定する。また、水平出力線２７、２８をリセットするための電位を端子３３から供給し、リセットのタイミングは端子３６から供給するパルスでスイッチ用ＭＯＳＦＥＴ３１、３２をスイッチング制御して行う。水平出力線２７、２８は差動アンプ３９の入力端子に接続されている。差動アンプ３９はリセット信号出力と光信号出力の差をとり、その差信号をアンプ出力端子４０からセンサ外に出力する。

次に、図２５に示す従来のＣＭＯＳセンサの動作について図２６のタイミングチャートを併せ参照して説明する。なお、図２５中のＭＯＳＦＥＴはすべてＮ型とし、よって、ＭＯＳＦＥＴはそのゲート電位がハイレベル（Ｈｉｇｈ）でオン、ローレベル（Ｌｏｗ）でオフとなる。

まず、垂直シフトレジスタ出力線１８−１の電位が図２６（Ｄ）に示すように時刻ｔ１でＨｉｇｈとなり、これにより１行目の画素１が選択される。続いて、パルス供給端子１６の入力パルスが図２６（Ｃ）に示すように時刻ｔ２でＨｉｇｈになり、これにより１行目の画素１の選択用ＭＯＳＦＥＴ７がオン状態になるため、１行目の画素１の増幅用ＭＯＳＦＥＴ３のソースが選択用ＭＯＳＦＥＴ７のドレイン・ソースと画素出力ライン８を通して定電流供給用ＭＯＳＦＥＴ９につながり、ソースフォロア回路を形成する。

この状態で、最初にパルス供給端子１５に図２６（Ｂ）に示すように一定時間Ｈｉｇｈのパルスが供給され、１行目の画素１のリセット用ＭＯＳＦＥＴ５のドレイン・ソースを通して増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）がリセットされる。その後の時刻ｔ３で、パルス供給端子３７の入力パルスが図２６（Ｉ）に示すようにＨｉｇｈになり、スイッチ用ＭＯＳＦＥＴ２５をオン状態とし、容量２３に１行目の画素１のソースフォロワ回路から出力されたリセット信号出力が保持される。

次に、パルス供給端子１４に時刻ｔ４で図２６（Ａ）に示すようにＨｉｇｈパルスが印加されると、１行目の画素１内の電荷転送用ＭＯＳＦＥＴ４がオンし、１行目の画素１内のフォトダイオード２に蓄積されている電荷が電荷転送用ＭＯＳＦＥＴ４のドレイン・ソースを介して増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）に転送される。その後の時刻ｔ５で、パルス供給端子３８に図２６（Ｊ）に示すようにＨｉｇｈパルスが印加されると、容量２４に１行目の画素１のソースフォロワ回路から出力された光信号出力が保持される。続いて、パルス供給端子１６の入力パルスが図２６（Ｃ）に示すように、時刻ｔ６でＬｏｗになるため、１行目の画素１内の選択用ＭＯＳＦＥＴ７がオフになり、１行目の画素１からの出力はなくなる。

端子３６の入力信号はこの間図２６（Ｈ）に示すようにＨｉｇｈであり、水平出力ライン２７、２８はリセット状態になっている。しかし、上記の時刻ｔ６で端子３６の入力信号が図２６（Ｈ）に示すようにＬｏｗになり、この状態で水平シフトレジスタ出力線３５−１に図２６（Ｆ）に示すＨｉｇｈパルスを印加すると、１列目のスイッチ用ＭＯＳＦＥＴ２９、３０がそれぞれオンとされるため、１列目の容量２３、２４の各信号が１列目のスイッチ用ＭＯＳＦＥＴ２９、３０を通して水平出力ライン２７、２８にそれぞれ出力されて差動アンプ３９に供給される。差動アンプ３９は１列目の容量２３、２４の各信号、すなわち、リセット信号出力と光信号出力との差をとり、増幅用ＭＯＳＦＥＴ３のしきい値ばらつきに起因したノイズを除去した光信号を出力端子４０より出力する。

次に、端子３６に図２６（Ｈ）に示す時刻ｔ７でＨｉｇｈパルスを印加すると、水平出力ライン２７、２８が再びリセットされ、その後水平シフトレジスタ出力線３５−２に、図２６（Ｇ）に示すように時刻ｔ８でＨｉｇｈパルスが印加され、２列目のスイッチ用ＭＯＳＦＥＴ２９、３０がそれぞれオンとされるため、２列目の容量２３、２４の各信号が２列目のスイッチ用ＭＯＳＦＥＴ２９、３０を通して水平出力ライン２７、２８にそれぞれ出力されて差動アンプ３９に供給され、２列目の信号が１列目と同様に差動アンプ３９から出力端子４０に出力される。

その後、図２６（Ｄ）に示す時刻ｔ９で垂直シフトレジスタ出力線１８−１の電位がＬｏｗとなり、１行目の処理が終わる。次に時刻ｔ１０で図２６（Ｅ）に示すように、垂直シフトレジスタ出力線１８−２の電位がＨｉｇｈになり、以下１行目と同様な処理が行われ、全画素の読み出しが終了する。

従って、このＣＭＯＳセンサの場合、１行目と２行目のフォトダイオード２で光電変換しているタイミングが異なる。このような撮像方式をローリングシャッタ、あるいはフォーカルプレーンと呼ぶ。

特公平４−４４８７４号公報 特開２００３−１７６７７号公報

このような従来のローリングシャッタ型ＣＭＯＳセンサは、画素群の１行ずつ順番に読み出しを行うものである。従来の撮像装置では、ＣＭＯＳセンサ３０１や撮像素子４０２として上記のローリングシャッタ型ＣＭＯＳセンサを用いているため、その露光と読み出しのタイミング、及びそのタイミングで撮像した１フレームの画像は図２７に示したものとなる。

すなわち、各ラインでは１フレーム期間の露光期間５０１と１ライン期間の読み出し期間５０２からなり、各ラインの露光タイミングは１ライン分の間隔だけ順次ずれ、図中第１ライン目と最終ライン目の露光タイミングは略１フレーム分のずれが生じていることがわかる。その結果、例えば図２８に示すように、右から左に移動する被写体５１０を撮像した場合に、１フレーム画像は、図２８に５１１で示すように歪みを生じるという問題がある。この歪みは被写体の移動速度が、ローリングシャッタ型ＣＭＯＳセンサ３０１のフレームレートに対して、被写体の移動速度が速ければ速いほど顕著に表れる。

また、ローリングシャッタ型ＣＭＯＳセンサを使った、図２３、図２４に示したような構成の従来の高精細な撮像装置では、分割した各読み出し領域の上端（第１ライン）と下端（最終ライン）とでは、露光タイミングが１０８０ライン分だけ異なっている。このため、図２９（Ａ）に示すように、例えば、画面に垂直に配置された棒状の被写体ａが右から左方向へ水平に平行移動した場合、各読み出し領域の上側は時間的に早い（移動量の少ない）位置で被写体が露光され、下側ほど時間的に遅い（移動量の多い）位置で被写体が露光されるため、画像（被写体の形状）が歪んでしまう。

更に、分割した読み出し領域の上下境界部分では、上側の読み出し領域（Ａ，Ｂ）の下端は１０８０ライン目、下側の読み出し領域（Ｃ，Ｄ）の上端は１ライン目であり、隣接する２ライン間で全く露光タイミングが異なるため、図２９（Ｂ）に示すように、撮影された棒状の被写体ａの画像はａ１、ａ２のようになり、分割した読み出し領域の上下境界部分では画像（動く被写体）が不連続（切れる）になってしまう。仮に、下側の読み出し領域だけ、上側の読み出し領域とは逆に下端のラインから上端のライン方向に読み出しを行うと、図２９（Ｃ）に示すように、上側の読み出し領域で撮影された棒状の被写体ａの画像はａ１、下側の読み出し領域で撮影された棒状の被写体ａの画像はａ３のようになり、上側の読み出し領域の下端ラインと、下側の読み出し領域の上端ラインとの露光タイミングを一致させることができるが、画像（被写体の形状）ａ１、ａ３は歪んでしまう。

以上の問題を避ける方法として、図２２（Ｂ）に示した従来の撮像装置のようにローリングシャッタ型ＣＭＯＳセンサ３０１の入射光側前方にメカニカルシャッタ３０７を設ける方法が考えられる。この時の露光と読み出しのタイミングを図３０に示す。同図に示すように、この従来の撮像装置では、メカニカルシッャタオープン期間５１４に対応して全ラインの１フレーム期間の露光期間５１２が設けられ、メカニカルシャッタクローズ期間５１５で各１ラインずつ順次に行われる読み出し期間５１３からなり、露光プロセスと信号読出しプロセスが分離でき、前記した撮像画像の歪みを避けることができる。

しかし、この従来の撮像装置では、メカニカルシャッタ３０７を設けることで、機構が複雑化し装置の大型化を招くことになり、またフレーム毎にメカニカルシャッタ３０７の開閉制御を行う必要があり、特に動画撮影の場合制御系の複雑さやシャッタ駆動用の電力が増加するなどの問題がある。

一方、撮像装置を光学レンズによって結像された被写体光学像を、２次元配列された複数の全画素のフォトダイオードに同時に露光して光電変換して得た電荷を全画素に蓄積した後、露光期間に蓄積した電荷を各画素から撮像信号として順次出力するグローバルシャッタ型ＣＭＯＳセンサを撮像素子として備えた構成とすることにより、上記のローリングシャッタ型ＣＭＯＳセンサによる撮影画像の歪みやメカニカルシャッタの消費電力の増加、装置の大型化を改善することが考えられる。しかし、この撮像装置でも撮像素子及びその周辺の回路部が比較的大型となり、装置全体の小型化や装置の信頼性の向上が望まれている。

本発明は以上の点に鑑みなされたもので、グローバルシャッタ型ＣＭＯＳセンサを撮像素子として備えると共に、少なくとも撮像装置固有の画像処理を行う回路部を１チップ化することで装置全体を小型化し得る撮像装置を提供することを目的とする。

上記の目的を達成するために、第１の発明は、被写体の光学像を複数の全画素のフォトダイオードに露光の開始と終了のタイミングが全画素同時となるように露光して光電変換して得た電荷を全画素に蓄積した後、露光の期間に蓄積した電荷を各画素から撮像信号として順次出力するグローバルシャッタ型ＣＭＯＳセンサと、撮像信号を符号化して符号化データを生成する画像符号化手段を有する信号処理手段と、を同一チップ内に備え、
グローバルシャッタ型ＣＭＯＳセンサは、半導体基板上に形成された第１導電型のウェル、及びウェルにおける所定の第１の領域とは異なる第２の領域に形成されてウェルに接続する第２導電型の埋め込み部を有し、光学像を光電変換して電荷を蓄積するフォトダイオードと、第１の領域上にゲート酸化膜を介して形成されたリング状ゲート電極と、リング状ゲート電極の中央開口部に対応するウェル内の領域に形成された第１導電型の第１ソース部と、第１ソース部の周囲にリング状ゲート電極の外周に達しないように、かつ、ゲート酸化膜に接しないようにウェル内に埋め込まれて形成されて第１ソース部に接続しフォトダイオードから転送された電荷を蓄積する第２導電型のソース近傍領域部と、ウェルにおける第１の領域とは異なる第３の領域に第１ソース部及びソース近傍領域部に離間して形成された第１導電型の第１ドレイン部とを有し、ソース近傍領域部に蓄積された電荷を撮像信号として出力するリング状ゲートトランジスタと、第１の領域上に、リング状ゲート電極の一部を覆うように形成された転送ゲート電極を有し、埋め込み部を第２ソース部とし、ソース近傍領域部を第２ドレイン部とし、フォトダイオードに蓄積された電荷をリング状ゲートトランジスタへ全画素一斉に転送する転送ゲートトランジスタと、を画素毎に備え、
転送ゲート電極からリング状ゲート電極までのゲート酸化膜の直下にはウェルが連続して存在しており、転送ゲート電極及びリング状ゲート電極の各電位に応じて転送ゲート電極とリング状ゲート電極との間のウェルの表層部に電荷転送のバリアが発生又は消失し、グローバルシャッタ型ＣＭＯＳセンサは、フォトダイオードにおける電荷の蓄積を、次の電荷転送が開始されるまで撮像信号の出力期間中も継続して行い、撮像信号をフレーム毎に連続して出力することを特徴とする。

この発明では、同一チップ内にグローバルシャッタ型ＣＭＯＳセンサと、そのＣＭＯＳセンサの駆動制御手段と、撮像素子固有の補正処理による画像調整を施す画像調整手段とをそれぞれ配置したので、撮像装置全体を小型にできる。

また、上記の目的を達成するため、第２の発明は、第１の発明における信号処理手段を、グローバルシャッタ型ＣＭＯＳセンサから出力された撮像信号に対して、撮像画像の濃度むらであるシェーディングを補正するシェーディング補正手段と、ＣＭＯＳセンサの画素毎に得られている暗電流レベルの情報から画素毎に撮像信号レベルを調整する暗電流補正手段と、ＣＭＯＳセンサの予め得られている欠陥画素を、隣接する画素情報で置き換えて欠陥を目立たなくするキズ補正手段と、撮像信号に対して手振れによる画素ずれ情報に基づいてその画素ずれを補正する方向に画像として切り出す領域をずれた画素数分だけずらす手振れ補正手段と、撮像信号に対して所定の計算式に従ったガンマ補正を行うガンマ補正手段と、撮像信号に対してエッジ部を強調する輪郭補正手段と、赤、緑、赤の光の三原色の撮像信号レベルをそれぞれ調整してホワイトバランス調整を行うホワイトバランス手段とのうち、少なくとも一の手段を含む画像調整手段を更に有する構成であることを特徴とする。この発明では、画像調整手段により撮像素子固有の補正処理による画像調整ができる。

また、上記の目的を達成するため、第３の発明は、第２の発明における信号処理手段を、撮像信号の、ある瞬間の画像と次の瞬間の画像とを比較し、その比較結果に基づき予め定めた画像領域の全体が同じ画素数だけずれているときに手振れが生じたと判断して画素のずれ量の手振れ検出信号を少なくとも生成して画像調整手段へ出力する画像検出手段を、更に有することを特徴とする。この発明では、画像検出手段を含めた装置全体の構成の小型化ができる。

また、上記の目的を達成するため、第４の発明は、第１の発明における信号処理手段を、撮像信号に対して所定の信号処理を行って画像信号を生成して出力すると共に、その画像信号を所定の符号化方式により符号化して第１の符号化画像データを生成して出力し、信号処理手段は、外部から入力された第２の符号化画像データを復号し、復号画像信号として出力する画像復号化手段を更に有し、画像符号化手段から出力された第１の符号化画像データを記録媒体に記録し、記録媒体から再生した符号化画像データを第２の符号化画像データとして画像復号化手段へ供給する信号記録再生手段と、信号処理手段から出力される画像信号又は復号画像信号を表示する信号表示手段と、を更に備えていることを特徴とする。

この発明では、撮像素子としてグローバルシャッタ型ＣＭＯＳセンサを用いるようにしたため、全画素の電荷が電荷転送期間のタイミングで読み出し回路に一斉に転送された後、読み出し回路により読み出し期間内で、順次各画素からの信号が読み出されるため、メカニカルシャッタを設けなくても画像の歪みの無い撮像画像を得て、記録媒体に記録し再生することができる。

また、上記の目的を達成するため、第５の発明は、第１の発明におけるグローバルシャッタ型ＣＭＯＳセンサが、複数の読み出し領域に分割された撮像領域を有し、信号処理手段は、複数の読み出し領域から並列に出力された複数の撮像信号に対して、所定の信号処理を行い、表示手段に適した信号形態に変換して出力する信号変換手段を有し、被写体の光学像をグローバルシャッタ型ＣＭＯＳセンサの撮像領域上に結像する光学系を更に備えていることを特徴とする。

この発明では、撮像素子にグローバルシャッタ型ＣＭＯＳセンサを用いるようにしたため、撮像素子の撮像領域を複数に分割した複数の読み出し領域のそれぞれにおいて、各読み出し領域の全画素の電荷が電荷転送期間のタイミングで読み出し回路に一斉に転送された後、読み出し回路により読み出し期間内で、順次各画素からの信号が読み出されると共に、各読み出し領域からは並列に撮像信号が出力されるため、各読み出し領域にて画像の歪みの無い撮像画像を信号処理手段を有する構成で得ることができる。

また、上記の目的を達成するため、第６の発明は、第１の発明における画像符号化手段を、グローバルシャッタ型ＣＭＯＳセンサから出力された撮像信号を所定の符号化方式で符号化して動画符号化データを生成する動画符号化手段と、静止画撮像タイミング信号が入力されたときに、グローバルシャッタ型ＣＭＯＳセンサから出力された撮像信号を所定の符号化方式で符号化して静止画符号化データを生成する静止画符号化手段とを有する構成とし、
入力されたオーディオ信号を符号化して音声符号化データを生成する音声符号化手段と、グローバルシャッタ型ＣＭＯＳセンサによる動画撮像中の任意のタイミングで、静止画の撮影の開始を指示する静止画撮像タイミング信号を出力するタイミング信号発生手段と、少なくとも動画符号化データ及び音声符号化データを多重化した多重化信号を生成し、静止画符号化データ入力時は動画符号化データ及び音声符号化データに静止画符号化データを更に多重化した多重化信号を生成する多重化手段と、を更に備えていることを特徴とする。

この発明では、グローバルシャッタ型ＣＭＯＳセンサから出力された撮像信号に基づいて、動画符号化データを生成して音声符号化データと多重化した多重化信号を生成するか、更に動画撮像中の任意のタイミングで静止画撮像が指示されたときには、グローバルシャッタ型ＣＭＯＳセンサから出力された撮像信号に基づいて静止画符号化データを生成して上記の動画符号化データと音声符号化データに多重化するようにしたため、複雑な機構なしに露光と信号読み出し作業が分離でき、結果的に残像による画像変位がなくすことができ、動画と静止画の両用のオーディオビデオ信号を得る撮像装置を実現できる。

また、上記の目的を達成するため、第７の発明は、第１の発明において、被写体対象の立体画像の右目用入力光が入射する第１のグローバルシャッタ型ＣＭＯＳセンサと、
被写体対象の立体画像の左目用入力光が入射する第２のグローバルシャッタ型ＣＭＯＳセンサと、を備え、
信号処理手段は、第１のグローバルシャッタ型ＣＭＯＳセンサから出力される右目用撮像信号と予測信号との差信号に基づいて、動き補償予測を用いた所定の符号化を行って右目用の第１の符号化画像データを生成する第１の画像符号化手段と、第２のグローバルシャッタ型ＣＭＯＳセンサから出力される左目用撮像信号と予測信号との差信号に基づいて、動き補償予測を用いた所定の符号化を行って左目用の第２の符号化画像データを生成する第２の画像符号化手段と、第１の画像符号化手段及び第２の画像符号化手段の一方で生成される符号化画像データを局部復号して、その局部復号画像と左目用撮像信号又は右目用撮像信号との差分をとって予測信号を生成し、その予測信号を第１の画像符号化手段及び第２の画像符号化手段のそれぞれに供給する予測信号生成手段と、第１の符号化画像データ及び第２の符号化画像データを所定のサイズにパケット化後に多重化して立体画像符号データを生成して出力する多重化手段と、を有し、第１及び第２の画像符号化手段と予測信号生成手段と多重化手段とは同一チップ内に配置されていることを特徴とする。

この発明では、複数のグローバルシャッタ型ＣＭＯＳセンサの出力撮像信号により立体映像表示用信号を生成するようにしたため、複雑な機構なしに露光と信号読み出し作業が分離でき、結果的に残像による画像変位をなくすことができると共に、各構成部が１チップ内に配置されているため、撮像装置を小型な構成にできる。

また、上記の目的を達成するため、第８の発明は、第１の発明において、画像符号化手段は、前記グローバルシャッタ型ＣＭＯＳセンサから出力された撮像信号と予測信号との差信号に基づいて、動き補償予測を用いた所定の符号化を行って符号化画像データを生成し、動き補償予測により得られる動きベクトル情報を用いて、被写体画像に所定変位以上の動きがあるか否か監視し、所定変位以上の動きがあった時に異常判定してアラーム信号を生成して出力する異常判定手段を更に備え、画像符号化手段及び異常判定手段は同一チップ内に配置されていることを特徴とする。

また、上記の目的を達成するため、第９の発明は、第１の発明においてグローバルシャッタ型ＣＭＯＳセンサから出力されて画像処理手段により処理された監視対象の被写体の撮像信号をネットワークへ送出する通信処理手段を更に備えていることを特徴とする。

本発明によれば、同一チップ内にグローバルシャッタ型ＣＭＯＳセンサと、そのＣＭＯＳセンサの駆動制御手段と、撮像素子固有の補正処理による画像調整を施す画像調整手段とをそれぞれ配置したので、撮像装置全体を小型にできると共に、メカニカルシャッタなどの複雑な機構なしに露光と信号読出し作業を分離でき、結果的に残像による画像変位がなくなるので、撮像画像の歪みの無い撮像を行うことができる。また、画像調整手段により撮像素子固有の補正処理による画像調整ができ、更に画像検出手段をも同一チップ内に配置することにより画像検出手段も含めた装置全体の構成の小型化ができる。

また、本発明によれば、記録再生手段に対して撮像信号の符号化画像データを記録し、また記録媒体から再生された符号化データを復号する信号処理手段を備えた撮像装置の撮像素子としてグローバルシャッタ型ＣＭＯＳセンサを用いるようにしたため、動画撮影の際のメカニカルシャッタの複雑な開閉制御やシャッタ駆動用の電力が一切不要であり、消費電力を低減することもでき、また信号処理手段が１チップであることからメカニカルシャッタを用いた撮像装置に比べて撮像装置の小型化ができる。

また、本発明によれば、グローバルシャッタ型ＣＭＯＳエリアセンサの撮像領域を複数に分割して得た複数の読み出し領域のそれぞれからは、全ラインの露光タイミングが一致した撮像信号が出力されるため、移動する被写体に対しても歪みの無い撮像画像が得られると共に、読み出し領域の境界部分での不自然な（不連続な）画像の発生を防止できる。

更に、本発明によれば、撮像画像の歪みの無い撮像を行うことができると共に、撮像信号の符号化の際の動き補償予測が当たりやすくできるため、発生符号量の増加を抑えることができ、従って、符号化効率の良い撮像装置を実現できる。

次に、本発明の各実施の形態について図面と共に説明する。

（第１の実施の形態）
図１は本発明になる撮像装置の第１の実施の形態のブロック図を示す。同図において、撮像装置１００は符号化データ出力機能を備えており、１チップ化されている点に特徴がある。ここで、「１チップ化」とは、同一の半導体基板に形成されていること、あるいは複数の半導体基板に形成された各半導体チップを積層化などで一体化した構造になっていることをいう。

この撮像装置１００を構成する１チップには、入力端子ＩＮと出力端子ＯＵＴとがあり、外部との情報のやり取りをしている。ここでは入力端子ＩＮと出力端子ＯＵＴとは、それぞれ一つにまとめて図示しているが、実際にはデジタルのビット分だけ並んだ複数のパラレル端子があり、各回路ブロックを制御するコマンド端子などからなっている。このようなチップ外部と内部とをつなぐために、インターフェイスブロック１０１がある。

入力端子ＩＮに入力された情報やコマンドは、インターフェイスブロック１０１を介してデジタル制御部１０２に供給されて、撮像装置１００の具体的な動作信号に変換される。例えば、１秒間の読出しフレーム数、露光時間、画素敷き詰め領域内の特定の領域だけを読み出す、といったコマンドや設定情報がインターフェイスブロック１０１を介して入力されると、デジタル制御部１０２はそれを撮像素子であるグローバルシャッタ型ＣＭＯＳセンサ１０３の実際の駆動に反映させる。

グローバルシャッタ型ＣＭＯＳセンサ１０３は、後述する様に、図３に示す構造である。グローバルシャッタ型ＣＭＯＳセンサ１０３から出力される撮像信号はアナログ信号であり、そのアナログ撮像信号は図１のＡ／Ｄ変換部１０４でサンプリングされて、量子化ビット数が例えば８ビット〜１４ビットのデジタル画像情報に変換された後、メモリ１０５に蓄積される一方、デジタル画像調整部１０６及び画像情報検出部１０７にそれぞれ供給される。なお、Ａ／Ｄ変換部１０４における量子化ビット数は外部から設定可能である。

画像情報検出部１０７は、デジタル画像情報から特有の情報を抽出する。例えば、手振れ検出である。手振れ検出は、ある瞬間の画像と次の瞬間の画像とを比較し、画面全体あるいは所定の領域全体が同じ画素数だけずれていると、それは手振れが生じたと判断する。そして、画像情報検出部１０７は、検出した画素のずれ量の情報をデジタル画像調整部１０６に渡す。画像情報検出部１０７は、そのほかにホワイトバランス情報、フォーカス情報、露出情報などを検出し、インターフェイスブロック１０１を通して出力端子ＯＵＴから外部に出力する。

デジタル画像調整部１０６は、撮像装置固有の各種の補正処理などを行って画像の絵作りを担当する。図２は図１中のデジタル画像調整部１０６の一例のブロック図を示す。図１のＡ／Ｄ変換部１０４からのデジタル情報は、図２のＡＧＣ（Automatic Gain Control）回路１１０に供給され、ここで自動利得制御動作により全体の信号量が調整された後、縦縞補正回路１１１により縦縞補正が行われる。これは、ＣＭＯＳセンサ１０３の各列に入っている後述のＣＤＳ回路（相関二重サンプリング回路）のバラツキにより、垂直転送の列毎に画像のレベルがずれているのを補正するもので、予め得られている補正値、あるいはセンサの画素敷き詰め領域の一部を遮光したオプチカルブラック（ＯＢ；Opical Black）の情報を基に行う。

次に、シェーディング補正回路１１２によりシェーディング補正が行われる。これはＣＭＯＳセンサ１０３の特性により水平転送、垂直転送両方向の信号レベルが連続的な起伏を持っているのを補正する（すなわち、画像の濃度レベルのむらであるシェーディングを補正する）もので、予め得られている補正値、あるいはＯＢ部の情報を基に補正する。シェーディング補正回路１１２から出力された信号は、暗電流補正回路１１３に供給されて画素毎に得られている暗電流レベルの情報から画素毎にレベルを調整する。白キズ、黒キズ補正回路１１４は、予め得られている欠陥画素を、隣接する画素情報で置き換えて欠陥を目立たなくする補正を行う。白キズは、出力信号が常に飽和信号レベルである画素であり、黒キズは出力信号が常に無信号レベルである画素のことである。

次に、手振れ補正回路１１５により白キズ、黒キズ補正回路１１４の出力信号に対して、手振れ検出により得られた手振れ情報に基づいて、画像として切り出す領域をずれた画素数分だけずらす。手振れの情報としては、撮像装置１００であるチップ外部からの情報、例えば加速度センサ（図示せず）からの情報も利用することも可能である。手振れ補正された信号は、フィルタ処理回路１１６で例えば低域フィルタ（ＬＰＦ）特性が付与されて、繰り返し歪み成分が軽減された後、ガンマ補正回路１１７により所定の計算式に従ったガンマ補正がなされ、人間の視覚に合わせた絵作りをする。ガンマ補正回路１１７の出力信号は輪郭強調回路１１８に供給されて、エッジ部が強調される輪郭補正が施されて画質が高められた後、ホワイトバランス回路１１９に供給され、赤、緑、赤の光の三原色の信号レベルをそれぞれ調整して白色被写体撮像時に白色の撮像画像が得られるようなホワイトバランス調整を行った後、デジタル画像調整部１０６の出力画像信号として出力される。

以上の図２の構成のデジタル画像調整部１０６により得られた画像信号は、情報量が非常に大きい。そこで、図１のエンコーダ部１０８で例えばＭＰＥＧ方式により情報圧縮を行う。このエンコーダ部１０８の構成は後述する図６のブロック図で示した構成であり、ここでＭＰＥＧ方式等で圧縮符号化されて符号化データとなり、インターフェイスブロック１０１を通して出力端子ＯＵＴから外部へ出力される。なお、撮像装置１００の外部からエンコーダ部１０８のエンコードに関する各種設定、例えば圧縮率などの設定を行うことができる。

次に、グローバルシャッタ型ＣＭＯＳセンサ１０３の構成及び動作について詳細に説明する。図３（Ａ）はグローバルシャッタ型ＣＭＯＳセンサの一実施の形態の上面図、図３（Ｂ）は同図（Ａ）のＸ−Ｘ‘線に沿う縦断面図を示す。図３（Ａ）、（Ｂ）に示すように、本実施の形態のＣＭＯＳセンサは、ｐ⁺型基板４１上にｐ^-型エピタキシャル層４２を成長し、このエピタキシャル層４２の表面にｎウェル４３がある。ｎウェル４３上にはゲート酸化膜４４を挟んで第１のゲート電極である平面形状がリング状のゲート電極４５が形成されている。

リング状ゲート電極４５の中心部に対応したｎウェル４３の表面にはｎ⁺型のソース領域４６が形成されており、そのソース領域４６に隣接してソース近傍ｐ型領域４７が形成され、更にソース領域４６とソース近傍ｐ型領域４７の外側の離間した位置にはｎ⁺型のドレイン領域４８が形成されている。更に、ドレイン領域４８の下のｎウェル４３中には埋め込みのｐ^-型領域４９がある。この埋め込みのｐ^-型領域４９はｎウェル４３とのｐｎ接合により、図３（Ａ）に示す埋め込みフォトダイオード５０を構成している。

埋め込みフォトダイオード５０とリング状ゲート電極４５との間には、第２のゲート電極である転送ゲート電極５１がある。ドレイン領域４８、リング状ゲート電極４５、ソース領域４６、転送ゲート電極５１には、それぞれメタル配線であるドレイン電極配線５２、リング状ゲート電極配線５３、ソース電極配線（出力線）５４、転送ゲート電極配線５５が接続されている。また、上記の各構成の上方には、図３（Ｂ）に示すように遮光膜５６が形成されており、その遮光膜５６の埋め込みフォトダイオード５０に対応した位置には開口部５７が穿設されている。この遮光膜５６は金属、あるいは有機膜等で形成される。光は、開口部５７を通して埋め込みフォトダイオード５０に達して光電変換される。

次に、ＣＭＯＳセンサの画素構造と撮像素子全体の構造について、電気回路で表現した図４と共に説明する。同図において、まず、画素はｍ行ｎ列に画素敷き詰め領域６１に配置されている。図４ではこれらｍ行ｎ列の画素のうち、ｓ行ｔ列の一画素６２を代表として等価回路で表現している。この画素６２は、リング状ゲートＭＯＳＦＥＴ６３と、フォトダイオード６４と、転送ゲートＭＯＳＦＥＴ６５とからなり、リング状ゲートＭＯＳＦＥＴ６３のドレインがフォトダイオード６４のｎ側端子とドレイン電極配線６６（図３の５２に相当）に接続され、転送ゲートＭＯＳＦＥＴ６５のソースがフォトダイオード６４のｐ側端子に接続され、ドレインがリング状ゲートＭＯＳＦＥＴ６３のバックゲートに接続されている。

なお、上記のリング状ゲートＭＯＳＦＥＴ６３は、図３（Ｂ）ではリング状ゲート電極４５直下のソース近傍ｐ型領域４７をゲート領域とし、ｎ⁺型のソース領域４６及びｎ⁺型のドレイン領域４８を有するｎチャネルＭＯＳＦＥＴである。また、上記の転送ゲートＭＯＳＦＥＴ６５は、図３（Ｂ）では転送ゲート電極５１直下のｎウェル４３をゲート領域、フォトダイオード５０の埋め込みのｐ^-型領域４９をソース領域、ソース近傍ｐ型領域４７をドレインとするｐチャネルＭＯＳＦＥＴである。

図４において、ｍ行ｎ列の各画素から１フレーム分の信号を読み出すために、まず読み出しを始める合図を出すフレームスタート信号を発生させる回路６７がある。このフレームスタート信号は撮像素子の外から与えられてもよい。このフレームスタート信号は垂直シフトレジスタ６８に供給される。垂直シフトレジスタ６８は、ｍ行ｎ列の各画素のうちの何行目の画素を読み出すかの信号を出力する。

各行の画素はリング状ゲート電極、転送ゲート電極、ドレイン電極の電位を制御する制御回路に接続されており、これらの制御回路は垂直レジスタ６８の出力信号が供給される。例えば、ｓ行目の各画素のリング状ゲート電極は、リング状ゲート電極配線６９（図３（Ｂ）の５３に相当）を介してリング状ゲート電位制御回路７０に接続され、各画素の転送ゲート電極は、転送ゲート電極配線７１（図３（Ｂ）の５５に相当）を介して転送ゲート電位制御回路７２に接続され、各画素のドレイン電極は、ドレイン電極配線６６（図３（Ｂ）の５２に相当）を介してドレイン電位制御回路７３に接続されている。上記の各制御回路７０、７２、７３には垂直シフトレジスタ６８の出力信号が供給される。

なお、リング状ゲート電極は、行毎に制御するので横方向に配線するが、転送ゲート電極は全画素で一斉に制御するので、配線方向は問わず、縦方向でもよい。ここでは横方向に配線するものとして表現する。ドレイン電位制御回路７３は、全画素一斉に制御するが、行毎に制御する可能性もあるので、フレームスタート信号と垂直レジスタ６８の両方と接続して表現している。

画素６２のリング状ゲートＭＯＳＦＥＴ６３のソース電極は、ソース電極配線７４（図３（Ｂ）の５４に相当）を介して２分岐され、一方はスイッチＳＷ１を介してソース電極電位を制御するソース電位制御回路７５に接続され、他方はスイッチＳＷ２を介して信号読み出し回路７６に接続されている。信号を読み出すときにはスイッチＳＷ１をオフ、スイッチＳＷ２をオンにし、ソース電位を制御する時にはスイッチＳＷ１をオン、スイッチＳＷ２をオフにする。信号は縦方向に出すので、ソース電極の配線方向は縦にする。

信号読み出し回路７６は次のように構成されている。画素６２の出力はリング状ゲートＭＯＳＦＥＴ６３のソースから行われ、出力線７４には負荷、例えば電流源７７が繋がっている。従って、ソースフォロア回路となっている。電流源７７にはキャパシタＣ１とキャパシタＣ２の各一端がスイッチｓｃ１とスイッチｓｃ２を介して繋がっている。他端が接地されているキャパシタＣ１、Ｃ２の各一端は、また差動アンプ７８の反転入力端子と非反転入力端子に繋がっており、両キャパシタＣ１及びＣ２の電位差を差動アンプ７８から出力するようになっている。

このような信号読み出し回路７６はＣＤＳ回路（相関二重サンプリング回路）と呼ばれ、ここに描かれた方式以外にも種々の回路が提案されており、この回路に限るわけではない。信号読み出し回路７６から出力された信号は、出力スイッチｓｗｔを介して出力される。同じ列にある出力スイッチｓｗｔは、水平シフトレジスタ７９から出力される信号によりスイッチング制御される。

次に、図４に示すＣＭＯＳセンサの駆動方法について、図５のタイミングチャートと共に説明する。まず、図５（１）に示す期間では、埋め込みのフォトダイオード（図３（Ａ）の５０、図４の６４等）に光が入射し、光電変換効果により電子・ホール対が発生し、フォトダイオードの埋め込みｐ^-型領域４９にホールが蓄積される。このとき転送ゲート電極５１の電位はドレイン電位Ｖｄｄと同じになっており、転送ゲートＭＯＳＦＥＴ６５はオフ状態である。これらの蓄積は、前フレームの読み出し操作が行われている時に同時に実行されている。

続く図５（２）に示す期間では、前フレームの読み出しが終了すると、同図（Ａ）に示すように新しいフレームスタート信号が発信されて、次のフレームの読み出しが始まる。
最初に行うのは全画素一斉にフォトダイオード（図３（Ａ）の５０、図４の６４等）からリング状ゲート電極（図３の４５）のソース近傍ｐ型領域（図３の４７）にホールを転送することである。そのため、図５（Ｂ）に示すように転送ゲート電位制御回路７２から出力される転送ゲート制御信号がＶｄｄからＬｏｗ２に下がり、転送ゲート電極（図３の４１）の電位がＬｏｗ２となり、転送ゲートＭＯＳＦＥＴ６５がオン状態になる。

このとき、リング状ゲート電位制御回路７０により制御されるリング状ゲート電極配線６９の電位は、図５（Ｃ）に示すように、ＬｏｗからＬｏｗ１になるが、Ｌｏｗ２の方がＬｏｗ１よりも大きい。Ｌｏｗ１はＬｏｗと同じでもよい。最も簡便にはＬｏｗ１＝Ｌｏｗ＝０（Ｖ）に設定する。

一方、ソース電位制御回路７５からスイッチＳＷ１を介してソース電極配線７４からリング状ゲートＭＯＳＦＥＴ６３のソースに供給されるソース電位をはじめとする、全画素のソース電位は図５（Ｄ）に示すように電位Ｓ１に設定される。Ｓ１＞Ｌｏｗ１であり、これにより、リング状ゲートＭＯＳＦＥＴ６３がオフのままであり、電流が流れないようにする。この結果、全画素のフォトダイオードに蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下に一斉に転送される。

図３（Ｂ）に示すリング状ゲート電極４５の下の領域で、ソース近傍ｐ型領域４７が最もポテンシャルが低いので、フォトダイオードに蓄積されていたホールはソース近傍ｐ型領域４７に達し、そこに蓄積される。ホールが蓄積される結果、ソース近傍ｐ型領域４７の電位が上昇する。

続いて、図５（３）に示す期間では、同図（Ｂ）に示すように転送ゲート電極が再びＶｄｄになり、転送ゲートＭＯＳＦＥＴ６５がオフになる。これにより、フォトダイオード（図３（Ａ）の５０、図４の６４等）では再び光電変換効果により電子・ホール対が発生し、フォトダイオードの埋め込みｐ⁻型領域４９にホールが蓄積され始める。この蓄積動作は次の電荷転送時まで続けられる。

一方、読み出し操作は行単位で順番に行われるので、１行目〜（ｓ−１）行目を読み出す期間（３）では、リング状ゲート電極の電位は図５（Ｃ）に示すようにＬｏｗの状態で、ソース近傍ｐ型領域４７にホールを蓄積したまま待機状態となる。ソース電位は他の行からの信号読み出しが行われている間、その画素からの信号の値により、様々な値をとり得る。また、リング状ゲート電極電位は行毎に様々な値をとり得るが、ｓ行目ではＬｏｗに設定され、リング状ゲートＭＯＳＦＥＴ６３がオフ状態である。

続く図５（４）〜（６）に示す期間では、画素の信号読み出しが行われる。ｓ行目ｔ列目の画素６２について代表してこの信号読み出し動作について説明するに、まず、ソース近傍ｐ型領域４７にホールを蓄積した状態で、図５（Ｅ）に示す垂直シフトレジスタ６８の出力信号が、同図（Ｈ）に示すようにローレベルである期間（４）において、リング状ゲート電位制御回路７０からリング状ゲート電極配線６９に出力される制御信号により、リング状ゲート電極４５の電位を図５（Ｋ）に示すように、ＬｏｗからＶｇ１に上げる。

ここで、上記の電位Ｖｇ１は、前述した各電位Ｌｏｗ、Ｌｏｗ１、Ｖｄｄとの間に
Ｌｏｗ≦Ｌｏｗ１≦Ｖｇ１≦Ｖｄｄ （ただし、Ｌｏｗ＜Ｖｄｄ）
なる不等式が成立する電位である。また、上記の期間（４）ではスイッチＳＷ１が図５（Ｉ）に示すようにオフ、スイッチＳＷ２が同図（Ｊ）に示すようにオン、スイッチｓｃ１が同図（Ｍ）に示すようにオン、スイッチｓｃ２が同図（Ｎ）に示すようにオフとされる。この結果、リング状ゲートＭＯＳＦＥＴ６３のソースに接続されたソースフォロア回路が働き、リング状ゲートＭＯＳＦＥＴ６３のソース電位は、図５（Ｌ）に示すように期間（４）ではＳ２（＝Ｖｇ１−Ｖｔｈ１）となる。ここで、Ｖｔｈ１とはバックゲート（ソース近傍ｐ型領域４７）にホールがある状態での、リング状ゲートＭＯＳＦＥＴ６３のしきい値電圧である。このソース電位Ｓ２がオンとされているスイッチｓｃ１を通してキャパシタＣ１に記憶される。

続く図５（５）に示す期間では、リング状ゲート電位制御回路７０からリング状ゲート電極配線６９に出力される制御信号により、リング状ゲート電極４５の電位を図５（Ｋ）に示すようにＨｉｇｈ１に上げると同時に、同図（Ｉ）、（Ｊ）に示すようにスイッチＳＷ１をオン、スイッチＳＷ２をオフとすると共に、ソース電位制御回路７５から出力されるソース電位を同図（Ｌ）に示すようにＨｉｇｈｓに上げる。ここで、Ｈｉｇｈ１、Ｈｉｇｈｓ＞Ｌｏｗ１である。

上記の電位Ｈｉｇｈ１及びＨｉｇｈｓの値は同じであっても異なっていてもよいが、設計の簡単のためにはＨｉｇｈ１、Ｈｉｇｈｓ≦Ｖｄｄが望ましい。簡便な設定では、Ｈｉｇｈ１＝Ｈｉｇｈｓ＝Ｖｄｄとする。また、リング状ゲートＭＯＳＦＥＴ６３がオンして電流が流れないような電位設定にすることが望ましい。この結果、ソース近傍ｐ型領域４７のポテンシャルが上昇し、ｎウェル４３のバリアを越えてホールがエピタキシャル層４２に排出される（リセット）。

続く図５（６）に示す期間では、再び前記期間（４）と同じ信号読み出し状態にする。
ただし、期間（４）とは異なり、図５（Ｍ）、（Ｎ）に示すように、スイッチｓｃ１はオフ、スイッチｓｃ２はオンとする。リング状ゲート電極は図５（Ｋ）に示すように期間（４）と同じＶｇ１とする。しかし、この期間（６）では直前の期間（５）でホールが基板に排出されていて、ソース近傍ｐ型領域４７にはホールが存在しないので、リング状ゲートＭＯＳＦＥＴ６３のソース電位は、図５（Ｌ）に示すように期間（６）ではＳ０（＝Ｖｇ１−Ｖｔｈ０）となる。ここでＶｔｈ０は、バックゲート（ソース近傍ｐ型領域４７）にホールがない状態でのリング状ゲートＭＯＳＦＥＴ６３のしきい値電圧である。

このソース電位Ｓ０はオンとされたスイッチｓｃ２を介してキャパシタＣ２に記憶される。差動アンプ７８はキャパシタＣ１とＣ２の電位差を出力する。すなわち、差動アンプ７８は（Ｖｔｈ０−Ｖｔｈ１）を出力する。この出力値（Ｖｔｈ０−Ｖｔｈ１）は、ホール電荷によるしきい値変化分である。その後、水平シフトレジスタ７９から出力される図５（Ｆ）に示すパルスのうち、同図（Ｏ）に示すｔ列目の出力パルスに基づき、図４の出力スイッチｓｗｔがオンとされ、このｓｗｔのオン期間に図５（Ｐ）にハッチングにより模式的に示すように、差動アンプ７８からのホール電荷によるしきい値変化分が画素６２の出力信号Ｖｏｕｔとしてセンサ外へ出力される。

続いて、図５に（７）で示す期間では、再びリング状ゲート電極４５の電位を図５（Ｂ）に示すようにＬｏｗにし、ソース近傍ｐ型領域４７にはホールがない状態で、全ての行の信号処理が終了するまで（ｓ＋１行〜ｎ行の画素の読み出しが終了するまで）待機する。これらの読み出し期間中、フォトダイオード６４では光電変換効果によるホールの蓄積が進行している。その後、前記期間（１）に戻って、ホールの転送から繰り返す。これにより、各画素から図５（Ｇ）に示す出力信号が読み出される。

上記の図３（Ａ）、（Ｂ）に示す構成の固体撮像素子は、リング状のゲート電極４５を持つリング状ゲートＭＯＳＦＥＴ６３が増幅用ＭＯＳＦＥＴであり、図４に示したように各画素内に増幅用ＭＯＳＦＥＴを持つという意味で、ＣＭＯＳセンサの一種である。そして、このＣＭＯＳセンサは、フォトダイオードに蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下のソース近傍ｐ型領域４７に一斉に転送されるようにすることで、グローバルシャッタを実現している。

なお、図５の期間（５）のリセット時のソース電極配線７４の電位供給は、ソース電位制御回路７５から供給する以外の次の方法もある。すなわち、上記期間（５）でスイッチＳＷ１、ＳＷ２をともにオフとして、ソース電極配線７４をフローティングにする。ここでリング状ゲート電極配線６９の電位をＨｉｇｈ１とすると、リング状ゲートＭＯＳＦＥＴ６３がオン状態となり、ソース電極にドレインから電流が供給され、ソース電極電位が上昇する。この結果、ソース近傍ｐ型領域４７のポテンシャルが持ち上げられ、ｎウェル４３のバリアを越えて、ホールがｐ型エピタキシャル層４２に排出される（リセット）。
ホールが完全に排出されたときのソース電極電位は、Ｈｉｇｈ１−Ｖｔｈ０になる。この方法では、ソース電位制御回路７５のうち、Ｈｉｇｈｓを供給するトランジスタを削減することができ、その結果、チップ面積を減らすことができる。

なお、図４の画素６２の回路構成は簡略化して示してある。画素６２の回路は、厳密には、転送ゲートＭＯＳＦＥＴ６５のソースとリング状ゲートＭＯＳＦＥＴ６３のバックゲートとの間に、リング状ゲート電極配線６９と転送ゲート電極配線７１の各電位に連動したスイッチが設けられる構成である。このスイッチは、リング状ゲート電極配線６９の電位Ｌｏｗ１と、転送ゲート電極配線７１の電位Ｌｏｗ２との間に、Ｌｏｗ１≦Ｌｏｗ２の関係があるときはオン状態になり、Ｌｏｗ１＞Ｌｏｗ２の関係があるときにはオフ状態になる。

このスイッチを設けることにより、リング状ゲート電極４５（電位Ｌｏｗ１）の下の基板電位が、転送ゲート電極６１（電位Ｌｏｗ２）の下の基板電位よりも高くなっていて、リング状ゲート電極４５（電位Ｌｏｗ１）の下の基板電位がバリアとして働き、ホールがソース近傍ｐ型領域４７に達することができないという現象を回路的に表現できる。しかしながら、転送時は上記のＬｏｗ１≦Ｌｏｗ２の条件は、電位制御回路７０、７２等により常に満たされているので、図４ではこのスイッチを省略して図示している。

図６は図１のエンコード部１０８の一例の構成を示すブロック図である。図６に示す構成のエンコード部１０８はＭＰＥＧ方式により入力動画像信号を圧縮符号化する。ＭＰＥＧは１９８８年、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２（国際標準化機構／国際電気標準化会合同技術委員会１／専門部会２、現在のＳＣ２９）に設立された動画像符号化標準を検討する組織の名称（Moving Picture Experts Group）の略称である。ＭＰＥＧ−１（ＭＰＥＧフェーズ１）は１.５Ｍｂｐｓ程度の蓄積メディアを対象とした標準で、静止画符号化を目的としたＪＰＥＧ（Joint Photographic Experts Group）と、ＩＳＤＮ（Integrated Services Digital Network）のテレビ会議やテレビ電話の低転送レート用の動画像圧縮を目的としたＨ.２６１（ＣＣＩＴＴ ＳＧＸＶ、現在のＩＴＵ−ＴＳＧ１５で標準化）の基本的な技術を受け継ぎ、蓄積メディア用に新しい技術を導入したものである。これらは１９９３年８月、ＩＳＯ／ＩＥＣ １１１７２として成立している。ＭＰＥＧ−２（ＭＰＥＧフェーズ２）は通信や放送などの多様なアプリケーションに対応できるように汎用標準を目的として、１９９４年１１月ＩＳＯ／ＩＥＣ １３８１８、Ｈ.２６２として成立している。ＭＰＥＧは以下、説明する幾つかの技術を組み合わせて作成されている。

図６において、図１のデジタル画像調整部１０６から入力される動画像信号は、減算器１２１において動き補償予測器１３１からの動き補償した予測信号と差分を取られることで時間冗長部分が削減された後ＤＣＴ器１２２に供給される。予測の方向は、過去、未来、両方からの３モード存在する。またこれらは縦方向１６画素、横方向１６画素のＭＢ（マクロブロック）毎に切り替えて使用できる。予測方向は入力画像に与えられたピクチャタイプによって決定される。過去からの予測と、予測をしないでそのＭＢを独立で符号化する２モード存在するのがＰピクチャである。また、未来からの予測、過去からの予測、両方からの予測、独立で符号化する４モード存在するのがＢピクチャである。そして全てのＭＢが独立で符号化するのがＩピクチャである。

動き補償は、動き領域をＭＢ毎にパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測する。動きベクトルは水平方向と垂直方向が存在し、何処からの予測かを示すＭＣ（Motion Compensation）モードと共にＭＢの付加情報として伝送される。Ｉピクチャから次のＩピクチャの前のピクチャまでをＧＯＰ（Group Of Picture）といい、蓄積メディアなどで使用される場合には、一般に約１５ピクチャ程度が使用される。

減算器１２１からの差分画像信号は、ＤＣＴ器１２２において直交変換である離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）されてＤＣＴ係数とされる。ＤＣＴとは余弦関数を積分核とした積分変換を有限空間への離散変換する直交変換である。ＭＰＥＧでは上記のＭＢを４分割し、縦方向８画素、横方向８画素（８×８画素）のＤＣＴブロックに対して、２次元ＤＣＴを行う。一般に、ビデオ信号は低域成分が多く高域成分が少ないため、ＤＣＴを行うと係数が低域に集中する。

ＤＣＴされた画像データ（ＤＣＴ係数）は量子化器１２３で量子化が行われる。量子化器１２３では量子化マトリックスという８×８の２次元周波数を視覚特性で重み付けした値と、その全体をスカラー倍する量子化スケールという値で乗算した値を量子化値として、ＤＣＴ係数をその量子化値で除算する。デコーダで逆量子化するときは、量子化されているＤＣＴ係数を量子化値で乗算することにより、元のＤＣＴ係数に近似している値を得ることになる。

量子化器１２３から取り出された量子化後のＤＣＴ係数は可変長符号化器（ＶＬＣ器）１２４で可変長符号化される。可変長符号化器１２４では、量子化された値のうち直流（ＤＣ）成分は、予測符号化の一つである差分パルス符号変調（ＤＰＣＭ:differential pulse code modulation）を使用する。また、量子化された値のうち交流（ＡＣ）成分は、低域から高域にジグザグスキャンを行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化を行う。

可変長符号化器（ＶＬＣ器）１２４において上記の可変長符号化が施されたデータは、バッファ１２５に一時蓄えられた後、所定の転送レートで符号化データとして出力される。また、その出力されるデータのＭＢ毎の発生符号量は、符号量制御器１２６に送信され、目標符号量に対する発生符号量との誤差符号量を量子化器１２３にフィードバックして量子化スケールを調整することで符号量制御される。また、量子化された画像データは逆量子化器１２７にて逆量子化され、逆ＤＣＴ器１２８にて逆ＤＣＴされてから加算器１２９を経て画像メモリ１３０に供給されて一時蓄えられた後、動き補償予測器１３１において、差分画像を計算するためのリファレンスの復号化画像として使用される。

このように、図１に示した第１の実施の形態によれば、グローバルシャッタ型ＣＭＯＳセンサ１０３を用いたことにより、複雑な機構なしに露光と信号読み出し作業が分離でき、結果的に残像による画像変位がなくなるので、動き補償予測が当たりやすくなり、差分画像のエントロピーが削減でき、符号化効率の良い圧縮を行う符号出力機能を備えた、１チップの撮像装置を実現できる。

（第２の実施の形態）
図７は本発明になる撮像装置の第２の実施の形態のブロック図を示す。本実施の形態の撮像装置は、主に動画像を撮影・記録・再生する為の撮像装置の構成を示すものである。図７において、図示しない被写体の光学像は、光学レンズ１３５によりグローバルシャッタ型ＣＭＯＳセンサ１３６の撮像面上に結像されて電気信号である撮像信号に変換される。このグローバルシャッタ型ＣＭＯＳセンサ１３６は、前述した図３に示した構造と同一構造であり、図４と共に説明したように、２次元マトリクス状に規則的に配置されたｍ行ｎ列の全画素のフォトダイオードに同時に蓄積された電荷（ホール）が、図５に示したタイミングチャートに従って、対応する画素のリング状ゲート電極の下のソース近傍ｐ型領域４７に一斉に転送された後、各行単位で順次に画素信号が撮像信号として読み出される。

グローバルシャッタ型ＣＭＯＳセンサ１３６から出力される撮像信号は、１チップの信号処理装置１３７に供給されて、ガンマ補正や輪郭補正などの所定の処理を施された後、出力端子１３９に送られる。また、信号処理装置１３７のもう一方の出力は、所定の符号化方式（ここではＭＰＥＧ）により符号化されて得られた符号化画像データで、これが信号記録再生装置１３８に送られ記録媒体に記録される。信号記録再生装置１３８は再生時は記録媒体に記録された符号化画像データを再生して信号処理装置１３７に供給し、ここで所定の映像信号に復元させた後、出力端子１３９に送る。

出力端子１３９は、信号処理装置１３７からの入力映像信号を外部出力するものであり、図示しないモニタなどの外部表示装置に接続して映像信号を表示したり、図示しない外部記録装置に接続して、出力された映像信号を記録する。一方、信号表示装置１４０は、出力端子１３９からの映像信号を受け画像として表示するものであり、所謂ビューファインダとして機能する小型のモニタである。

図８は図７中の信号処理装置１３７の一例のブロック図を示す。信号処理装置１３７は１チップの構成であり、図８に示すように、チップ外部と接続する端子１４１、１４２、１４３、１５１を有し、チップ内にはＡ／Ｄ変換部１４４、インターフェイス１４５、メモリ１４６、デジタル画像調整部１４７、画像情報検出部１４８、エンコーダ部１４９及びデコーダ部１５０を有する。端子１４１には図７のグローバルシャッタ型ＣＭＯＳセンサ１３６からのアナログ信号である撮像信号が入力される。

また、デジタル画像調整部１４７は図２のブロック図に示したデジタル画像調整部１０６の構成と同様の構成であり、エンコーダ部１４９は図６のブロック図に示したエンコーダ部１０８の構成と同様の構成により、ＭＰＥＧ方式に基づく符号化を行う回路部であるので、それらの詳細な説明は省略する。また、端子１４２は入力端子で、端子１４３、１５１は出力端子であり、それぞれ実際にはデジタルのビット分だけ並んだ複数のパラレル端子があり、各回路ブロックを制御するコマンド端子などからなっている。

次に、この１チップの信号処理装置１３７の動作について説明する。図７のグローバルシャッタ型ＣＭＯＳセンサ１３６からの撮像信号はアナログ信号であり、そのアナログ撮像信号は図８の端子１４１を介してＡ／Ｄ変換部１４４に供給されてサンプリングされ、量子化ビット数が例えば８ビット〜１４ビットのデジタル情報に変換された後、メモリ１４６に蓄積される一方、デジタル画像調整部１４７及び画像情報検出部１４８にそれぞれ供給される。なお、Ａ／Ｄ変換部１４４における量子化ビット数は端子１４２及びインターフェイスブロック１４５を介して外部から設定可能である。

画像情報検出部１４８は、画像情報から特有の情報を抽出する。例えば、手振れ検出、ホワイトバランス情報、フォーカス情報、露出情報などである。画像情報検出部１４８は、検出したこれらの特有の情報をデジタル画像調整部１４７に渡す。デジタル画像調整部１４７は、図２に示したと同様の構成により、撮像装置固有の各種の補正処理を行い、得られた画像信号を情報圧縮のためにエンコーダ部１４９に供給して圧縮符号化させる。エンコーダ部１４９から出力された符号化画像データは、インターフェイスブロック１４５を通して出力端子１４３から外部の信号記録再生装置１３８へ出力される。

また、外部の信号記録再生装置１３８により、記録媒体から再生された符号化画像データは端子１４２及びインターフェイスブロック１４５を通してデコーダ部１５０に供給されてＭＰＥＧ方式に従って復号されて映像信号に変換される。この復号映像信号はインターフェイスブロック１４５及び端子１５１を通して図７の出力端子１３９へ出力される。

図９は図８のデコーダ部１５０の一例のブロック図を示す。図９において、図７の信号記録再生装置１３８から図８の端子１４２を介してエンコーダ部１５０に入力された符号化画像データは、バッファ１５２で一時蓄積された後、可変長復号化器（ＶＬＤ器）１５３で可変長復号されて直流（ＤＣ）成分データ及び交流（ＡＣ）成分データとされる。交流（ＡＣ）成分データは低域から高域にジグザグスキャンの順で８×８のマトリックスに配置される。これらＤＣ成分データ及びＡＣ成分データは、逆量子化器１５４に供給されて量子化マトリックスにて逆量子化される。

逆量子化されたデータは逆ＤＣＴ器１５５に供給されて逆ＤＣＴされた後、加算器１５６で動き補償予測器１５７からの動き補償予測信号と加算されて復号化画像データとされる。この復号化画像データは、画像メモリ１５８に一時蓄積された後、動き補償予測器１５７において差分画像を計算するためのリファレンスの復号化画像として使用される。かかるデコーダ部１５０の構成自体は、従来と同様である。

上記の図７〜図９と共に説明した第２の実施の形態によれば、グローバルシャッタ型ＣＭＯＳセンサ１３６は、図３〜図５と共に説明したように、露光は図１０に５１２（図３０の５１２と同じ）で示すように、各ライン毎にタイミングがずれることなく同一の１フレーム期間で行われ、一定期間の露光後、グローバルシャッタ型ＣＭＯＳセンサ１３６内の転送ゲート（図４の転送ゲートＭＯＳＦＥＴ６５等）により、全画素の電荷が図１０の電荷転送期間５１７のタイミングで読み出し回路に一斉に転送される。

その後、読み出し回路により図１０に５１３（図３０の５１３と同じ）で示すように、読み出し期間内で、順次各画素からの信号が読み出される。このことにより、図１１に示すように画面中、例えば右から左方向に移動する被写体５１０を撮像した場合でも、撮像画像は同図に５１８で示すように、被写体５１０の画像と異なる画像歪みは発生しない。

従って、本実施の形態によれば、メカニカルシャッタ無しでも画像歪みの無い撮像画像を得ることができるため、メカニカルシャッタを用いた図２２（Ｂ）の従来の撮像装置に比べ、機構が簡略で装置の小型化を実現でき、また動画撮影の際のメカニカルシャッタの複雑な開閉制御やシャッタ駆動用の電力が一切不要であり、消費電力を低減することもできる。更に、本実施の形態では、信号処理装置１３７が１チップの構成であるので、装置全体をより一層小型化でき、また信頼性も向上できる。なお、信号処理装置１３７は１チップ化しなくてもよい。

（第３の実施の形態）
図１２は本発明になる撮像装置の第３の実施の形態のブロック図を示す。同図に示すように、本実施の形態の撮像装置１６０は、被写体からの光学像を撮像素子１６２の撮像面にサイズに対応するように縮小して結像させる縮小光学系１６１と、結像した被写体光学像を光電変換して撮像信号を出力する高精細の撮像素子１６２と、撮像信号に対して、所定の信号処理を行って映像信号を出力する信号処理装置１６３とからなり、信号処理装置１６３の出力映像信号は従来と同様の表示手段１６４にて画像表示される。

本実施の形態の撮像装置１６０は、撮像素子１６２の撮像領域が例えば、図２４に示したように、水平方向３８４０画素、垂直方向２１６０画素であり、ＨＤＴＶ規格の画素数の約４倍の画素数からなり、それを水平方向及び垂直方向にそれぞれ２等分に分割されて、ＨＤＴＶ規格と同程度の水平方向１９２０画素、垂直方向１０８０画素の４つの分割撮像領域（分割読み出し領域）とされて読み出される点は従来と同様であるが、従来とは異なり、図３に示したと同様の構造のグローバルシャッタ型ＣＭＯＳ（エリア）センサにより構成されている点に特徴がある。なお、縮小光学系１６１は図２３に示した従来の縮小光学系４０１と同様の構成である。また、信号処理装置１６３も図２３に示した従来の信号処理手段４０３と動作は同様であるが、その構成は１チップである点で異なる。

図１３は図１２中の信号処理装置１６３の一実施の形態のブロック図を示す。図１３において、１チップの構成の信号処理装置１６３は、チップに撮像素子１６２の４つの分割撮像領域の各々から出力される撮像信号が別々に供給される入力端子１７１〜１７４と、所定の情報が入力される入力端子１７５と、出力端子１７６とを有し、チップ内には入力端子１７１〜１７４に別々に接続されたＡ／Ｄ変換部１７７〜１８０と、インターフェイスブロック１８１と、メモリ１８２と、デジタル画像調整部１８３と、画像情報検出部１８４と、エンコーダ部１８５とを有する。

デジタル画像調整部１８３は図２のブロック図に示したデジタル画像調整部１０６の構成と同様の構成であり、エンコーダ部１８５は図６のブロック図に示したエンコーダ部１０８の構成と同様の構成により、ＭＰＥＧ方式に基づく符号化を行う回路部であるので、それらの詳細な説明は省略する。また、端子１７５は入力端子で、端子１７６は出力端子であり、それぞれ実際にはデジタルのビット分だけ並んだ複数のパラレル端子があり、各回路ブロックを制御するコマンド端子などからなっている。

次に、この１チップの信号処理装置１６３の動作について説明する。図１２のグローバルシャッタ型ＣＭＯＳセンサによる撮像素子１６２の４つの分割撮像領域（分割読み出し領域）から並列に読み出された４つの撮像信号はそれぞれアナログ信号であり、それらのアナログ撮像信号は図１３の端子１７１〜１７４を別々に介して４つのＡ／Ｄ変換部１７７〜１８０にそれぞれ供給されて互いに独立してサンプリングされ、各々量子化ビット数が例えば８ビット〜１４ビットのデジタル情報に変換された後、メモリ１８２に一旦蓄積される一方、デジタル画像調整部１８３及び画像情報検出部１８４にそれぞれ供給される。なお、Ａ／Ｄ変換部１７７〜１８０における量子化ビット数は端子１７５及びインターフェイスブロック１８１を介して外部から設定可能である。

画像情報検出部１８４は、画像情報から特有の情報を抽出する。例えば、手振れ検出、ホワイトバランス情報、フォーカス情報、露出情報などである。画像情報検出部１８４は、検出したこれらの特有の情報をデジタル画像調整部１８３に渡す。デジタル画像調整部１８３は、図２に示したと同様の構成により、撮像装置固有の各種の補正処理を行い、得られた画像信号を情報圧縮のためにエンコーダ部１８５に供給して圧縮符号化させる。エンコーダ部１８５から出力された符号化画像データは、インターフェイスブロック１８１を通して出力端子１７６から外部の表示手段１６４へ出力される。

なお、表示手段１６４がデコード機能を有する場合には上記のように符号化画像データが入力されることにより、表示手段１６４側でデコードして画像表示を行うが、表示手段１６４がデコード機能を有していない場合は、デジタル画像調整部１８３で画像調整した４つのデジタル画像データをメモリ１８２に蓄積した後、メモリ１８２から読み出してエンコード部１８５を通すことなくインターフェイスブロック１８１を通して出力端子１７６から外部の表示手段１６４へ出力するようにしてもよい。

この実施の形態のグローバルシャッタ型ＣＭＯＳセンサである撮像素子１６２の、分割されたそれぞれの読み出し領域では、図３〜図５と共に説明したように、露光は各ライン毎にタイミングがずれることなく同一の１フレーム期間で行われ、一定期間の露光後、グローバルシャッタ型ＣＭＯＳセンサ内の転送ゲート（図４の転送ゲートＭＯＳＦＥＴ６５等）により、全画素の電荷が電荷転送期間のタイミングで読み出し回路に一斉に転送される。その後、読み出し回路により、読み出し期間内で、順次各画素からの信号が読み出され、複数の読み出し領域からは互いに並列に読み出し出力される。

このことにより、図２９（Ａ）に示した例えば、画面に垂直に配置され、かつ、画面の右から左方向へ水平に平行移動する棒状の被写体ａを撮影した場合、撮像画像は図１４に示すように、上側の２つの分割された読み出し領域で撮影された棒状の被写体ａの画像はａ’、下側の２つの分割された読み出し領域で撮影された棒状の被写体ａの画像はａ”のようになり、上側の読み出し領域の全ラインと、下側の読み出し領域の全ラインとの露光タイミングが一致した、全体として棒状の被写体ａと同一形状の撮像画像が表示手段１６４の画面に表示される。従って、移動する被写体であっても画像（被写体の形状）が歪むことなく撮影される。また、上下の領域境界部分においても画像（被写体の形状）が不自然（不連続）になることがない。

なお、本実施の形態では、撮像領域の画素数、撮像領域の分割数や分割方法（水平方向及び垂直方向の両方向分割か、どちらか一方向のみ分割かなど）は図２４に示した方法と同様であるが、これに限定されるものではない。また、信号処理装置１６３は１チップでなくてもよい。

（第４の実施の形態）
図１５は本発明になる撮像装置の第３の実施の形態のブロック図を示す。本実施の形態は、動画をムービーで撮影中に、ユーザからのタイミング情報により動画録画を中断することなく、デジカメ静止画データを記録する機能を備えた撮像装置である。図１５において、被写体からの入射光は外部レンズ１９１及び内部レンズ１９２をそれぞれ透過して、後述する構造のグローバルシャッタ型ＣＭＯＳセンサ１９４に入射して光電変換される。この実施の形態では、動画用と静止画用の両用で撮像するので、高解像度が要求される静止画に解像度を合わせるようにグローバルシャッタ型ＣＭＯＳセンサ１９４の仕様を決定する。グローバルシャッタ型ＣＭＯＳセンサ１９４は、図３の構造であり、図４に示した等価回路で示され、また図５のタイミングチャートで示した動作を行う。

グローバルシャッタ型ＣＭＯＳセンサ１９４により光電変換されて得られた撮像信号は、Ａ／Ｄ変換器１９６によりＡ／Ｄ変換されて画像データとされ、更にスイッチ（ＳＷ）１９５を通して解像度変換器１９７により解像度が変換された後、動画符号化器２０５に入力される。ここで、ＳＷ１９５は、後述する静止画撮像タイミング信号発生器２０１からの静止画撮像タイミング信号に基づいて、被写体が静止画であるときには、撮像信号を解像度変換器１９７だけでなく、静止画符号化器２０４にも入力されるように切り替え動作を行う。すなわち、解像度変換器１９７には被写体が動画か静止画かに関係なく常時撮像信号が入力されるのに対し、静止画符号化器２０４にはユーザが静止画録画を指示したときにのみ撮像信号が入力される。

上記の解像度変換器１９７は、グローバルシャッタ型ＣＭＯＳセンサ１９４が静止画の高解像度用に設定してあるので、動画用に解像度を低くする解像度変換を行うためのものである。これは低域フィルタによってビデオ帯域を落としてサブサンプルするものでもよいし、等価な回路（素子の読み出しを工夫して、複数の画素信号を加算して読み出すなど）であればなんでもよい。

一方、オーディオ入力器１９３からのオーディオデータは、Ａ／Ｄ変換器１９８に供給されてＡ／Ｄ変換されてデジタルデータとされた後、音声符号化器２０３に供給される。音声符号化器２０３は例えばドルビーＡＣ３、静止画符号化器２０４は例えばＪＰＥＧ、動画符号化器２０５は例えば前述した図６のブロック図の構成と同様の構成によりＭＰＥＧ２での圧縮を行う。音声符号化器２０３、静止画符号化器２０４、動画符号化器２０５によりそれぞれ符号化して得られた符号化データは、多重化器２０７に供給されて１つのデータに多重化される。多重化されたデータは、ディスクフォーマット器２０９にて、アプリケーションに依存したディスクフォーマットにてフォーマット化され、記録媒体書き込み器２０８へ入力される。

本実施の形態では、上記の内部レンズ１９２、オーディオ入力器１９３、スイッチ１９５、Ａ／Ｄ変換器１９６、１９８、解像度変換器１９７、静止画符号化器２０４及び動画符号化器２０５が１チップで構成されている。

一方、ユーザインタフェース（Ｕ／Ｉ）１９９においては、動画をムービーで記録している途中において、ユーザからボタンなどを押下する動作に連携して、押下したときのタイミング情報を入力してもらい、中央処理装置（ＣＰＵ）２００を介して静止画撮像タイミング信号発生器２０１において、静止画録画開始信号と、同時に録画されているリンクされているビデオのプログラムナンバーと、リンクされているビデオのピクチャタイムコードとを、それぞれ静止画符号化器２０４に供給する。

ビデオのプログラムナンバーは、例えば記録媒体２１０に撮影順に管理されている１撮像単位毎の通しナンバーでよい。ビデオのピクチャタイムコードは、同時に録画されているリンクされているビデオの所謂タイムコードであり、ＭＰＥＧなどでもＧＯＰ単位にＧＯＰヘッダとして時分秒フレーム数で記述されているタイムコードと同じものでよい。また、この情報は動画データの中のピクチャを特定できる情報（動画像のピクチャの位置情報）であればタイムコードでなくても、先頭からのフレーム数であったり、先頭からのアドレス（バイト数）であってもよい。

また、静止画撮像タイミング信号発生器２０１は、上記の静止画符号化器２０４への信号送信と同時に、静止画録画開始信号と静止画の識別情報とを動画符号化器２０５にも送信し、動画符号化データの１ピクチャ毎に記録できるＭＰＥＧのユーザデータ領域に、そのタイミングに同期して符号化される静止画の識別情報を記述する。これは、静止画１枚ずつに記述される静止画プログラムのナンバーでよい。この情報があると、動画再生中に、一時停止した動画フレームと同じタイミングで撮像した静止画像を特定できる。

動画中へのデータの書き込みはＭＰＥＧのピクチャデータの中のユーザデータ領域に記述する。ユーザデータは、ＭＰＥＧ２のビデオレイヤのシンタックスにおけるuser_data()を使用する。user_data()は、ユーザスタートコード（user_start_code）という一意に決定できるバイトアラインされたスタートコードから始まり、次に０ｘ０００００１の３バイトを受信するまで、user_data()を続けることができる。ここに静止画の識別情報を記述する。その際、他のアプリケーションでuser_data()を使用している可能性もあるので、user_data()のuser_start_codeの後に、本方式のデータであることを示す、４バイト程度のユニークコード（０ｘ２２２２０２０４）を記述する。これにより、他の用途で使用するユーザデータとの混同は防げる。

更に、ＣＰＵ２００は、管理データメモリ２０２に静止画の識別情報の書き込みなどの制御信号を供給する。また、静止画撮像タイミング信号発生器２０１からは、その制御信号に従って管理データメモリ２０２に静止画の識別情報を書き込む。一方、Ｕ／Ｉ１９９を介してＣＰＵ２００からは静止画ズーム情報発生器２０６に静止画ズーム情報が供給される。静止画ズーム情報とは、ズーム処理に必要な情報である。

例えば、動画の一部の画像と同じタイミングで撮像した静止画像を、動画コンテンツの画角から見て、ズームインできるのか、ズームアウトできるのか、どちらも可能か、どちらも不可能かを表す情報、ズーム処理に必要な静止画のサイズ情報や、静止画面から見た動画像コンテンツの水平位置や垂直位置を相対的に示す位置情報などである。具体的には２ビットで、「００」であればズームインもズームアウトも不可能、「０１」であればズームインが可能、「１０」のときはズームアウトが可能、「１１」のときにはズームインもズームアウトも両方可能であることを示すような信号である。

また、静止画像の水平画素数（Horizontal_video_resolution）、静止画像の垂直画素数（Vertical_video_resolution）、静止画面から見た動画像の水平位置及び垂直位置で、ズームアウトした静止画面から見た動画像画面の左上を基準として、どれだけシフトした位置にあるかを画素数で示した情報（Horizontal_position、Vertical_position）なども便利である。

静止画ズーム情報発生器２０６では、静止画に対応した動画像のピクチャの位置情報を管理データメモリ２０２に記録すると共に、ズームに関する情報を記録する。管理データメモリ２０２に記録されているデータは、ディスクフォーマット器２０９からの多重化されたオーディオビデオ信号データと共に、ＣＰＵ２００からの制御信号に従って、記録媒体２１０に記録される。

本実施の形態では、符号化には動き補償予測を、時間方向の隣り合うピクチャで行ったり、動き検出を行うので、グローバルシャッタ型ＣＭＯＳセンサ１９４を用いたことにより、複雑な機構なしに露光と信号読み出し作業が分離でき、結果的に残像による画像変位がなくなるので、動き補償予測が当たりやすくなり、差分画像のエントロピーが削減できる。従って、符号化効率の良い、動画と静止画の両用のオーディオビデオ信号の記録機能を備えた撮像装置を実現できる。また、撮像装置の所定部分は１チップ化されているので、撮像装置全体の小型化が可能である。

（第５の実施の形態）
図１６は本発明になる撮像装置の第５の実施の形態のブロック図を示す。同図中、図６と同一構成部分には同一符号を付し、その説明を省略する。この実施の形態の撮像装置は、１チップ化されていなくてもよいが、好ましくは全体が１チップ化されている。図１６において、被写体からの入射光は、グローバルシャッタ型ＣＭＯＳセンサ２１４により光電変換されて撮像信号がＡ／Ｄ変換器２１５でデジタル信号に変換された後、動き補償予測器１３１と減算器１２１に供給される。グローバルシャッタ型ＣＭＯＳセンサ２１４は、図３に示した構造であり、図４及び図５と共に説明したように、２次元マトリクス状に規則的に配置されたｍ行ｎ列の全画素のフォトダイオードに同時に蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下のソース近傍ｐ型領域４７に一斉に転送された後、各行単位で順次に画素信号がアナログ信号の撮像信号として読み出される。

グローバルシャッタ型ＣＭＯＳセンサ２１４から出力された撮像信号は、Ａ／Ｄ変換器２１５によりデジタル信号に変換された後、図６と同様のエンコーダ部（１２１〜１３１）の構成によりＭＰＥＧ方式により圧縮符号化されて符号化データとされ、その符号化データがバッファ１２５に一時蓄積された後、所定の転送レートで読み出されて蓄積媒体１２１６に記録されると共に、外部出力端子２１７から装置外へ出力される。

このように、本実施の形態によれば、符号化には動き補償予測を、時間方向の隣り合うピクチャで行ったり、動き検出を行うので、グローバルシャッタ型ＣＭＯＳセンサ２１４を用いたことにより、メカニカルシャッタなどの複雑な機構なしに露光と信号読み出し作業が分離でき、結果的に残像による画像変位がなくなるので、動き補償予測が当たりやすくなり、差分画像のエントロピーが削減できる。

また、本実施の形態では、ローリングシャッタ型ＣＭＯＳセンサのような「動きのある縦線エッジ」が斜めに歪むことがなくなり、斜め方向周波数成分の発生が抑えられることで、斜め方向周波数の高い成分についてＤＣＴ係数の発生確率が低く、かつ、ＤＣＴ係数の大きさが小さいことを前提にしたＪＰＥＧ方式やＭＰＥＧ方式のエントロピー符号化で発生符号量の増加を抑えることができる。従って、本実施の形態では、符号化効率の良い圧縮を行う符号出力機能を備えた撮像装置を１チップで実現できる。

また、この実施の形態では、撮像装置に復号化器を更に内蔵してもよいし、外部に接続してもよい。復号化器の構成は図９のブロック図に示した構成と同様である。ただし、本実施の形態に適用する場合は、図９のバッファ１５２には図１６の蓄積媒体２１６又は外部出力２１７からの符号化データが供給されて一時蓄積される。

（第６の実施の形態）
図１７は本発明になる撮像装置の第６の実施の形態のブロック図を示す。本実施の形態は、立体映像撮像用撮像装置であって、全体が１チップで構成されている。同図において、被写体対象の立体画像の右目用入力光が図示しないレンズ光学系を経てグローバルシャッタ型ＣＭＯＳセンサ２２０Ｒに結像されて光電変換される一方、上記の立体画像の左目用入力光が図示しないレンズ光学系を経てグローバルシャッタ型ＣＭＯＳセンサ２２０Ｌに結像されて光電変換される。

グローバルシャッタ型ＣＭＯＳセンサ２２０Ｒ及び２２０Ｌは、それぞれ図３に示した構造であり、図４及び図５と共に説明したように、２次元マトリクス状に規則的に配置されたｍ行ｎ列の全画素のフォトダイオードに同時に蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下のソース近傍ｐ型領域４７に一斉に転送された後、各行単位で順次に画素信号が撮像信号として読み出される。

まず、左目用撮像信号の信号処理系について説明するに、グローバルシャッタ型ＣＭＯＳセンサ２２０Ｌから出力された左目用撮像信号は、Ａ／Ｄ変換器２２１Ｌによりデジタル信号の画像データに変換された後、動き補償予測器２３２に供給されて画像メモリ２３１からの復号画像信号との間で、前記したように、過去、未来、両方からの３モードの予測を１６画素×１６画素のＭＢ毎に切り替えて、動き領域をＭＢ毎にパターンマッチングを行ってハーフペル精度で動きベクトルを検出し、動き分だけシフトしてから予測して予測信号として生成される。また、Ａ／Ｄ変換器２２１Ｌから出力された左目用撮像信号の画像データは、この予測信号と減算器２２２Ｌにおいて差分をとられることで時間冗長部分が削減された後、その差分画像信号がＤＣＴ器２２３Ｌに供給される。

差分画像信号は、ＤＣＴ器２２３Ｌにおいて直交変換されてＤＣＴ係数とされた後、量子化器２２４Ｌに供給されて量子化され、ＶＬＣ器２２５Ｌで可変長符号化される。ＶＬＣ器２２５Ｌでは、前述したＶＬＣ器１２４と同様に、量子化されたデータのうち直流（ＤＣ）成分は予測符号化の一つであるＤＰＣＭを使用し、交流（ＡＣ）成分は、低域から高域にジグザグスキャンを行い、ゼロのラン長及び有効係数値を１つの事象とし、出現確率の高いものから符号長の短い符号を割り当てていくハフマン符号化を行う。

ＶＬＣ器２２５Ｌにおいて上記の可変長符号化が施されたデータは、バッファ２２６Ｌに一時蓄えられた後、所定の転送レートで符号化データとして多重化器２３３に出力される。また、その出力されるデータのＭＢ毎の発生符号量は、符号量制御器２２７に供給され、目標符号量に対する発生符号量との誤差符号量を量子化器２２４Ｌにフィードバックして量子化スケールを調整することで符号量制御される。また、量子化器２２４Ｌにて量子化された画像データは逆量子化器２２８にて逆量子化され、逆ＤＣＴ器２２９にて逆ＤＣＴされてから加算器２３０を経て画像メモリ２３１に一時蓄えられた後、動き補償予測器２３２において、差分画像を計算するためのリファレンスの復号化画像として使用される。一方、そのリファレンスの復号化画像は、右目用画像との差分画像を計算するのにも使用される。

次に、右目用撮像信号の信号処理系について説明するに、グローバルシャッタ型ＣＭＯＳセンサ２２０Ｒから出力された右目用撮像信号は、Ａ／Ｄ変換器２２１Ｒによりデジタル信号の画像データに変換された後、動き補償予測器２３２から出力された左目用のリファレンスの復号化画像信号に基づいた予測信号と減算器２２２Ｒにおいて差分をとられ、その差分画像信号がＤＣＴ器２２３Ｒに供給されて直交変換されてＤＣＴ係数とされる。

ＤＣＴ器２２３Ｒから出力されたＤＣＴ係数は、量子化器２２４Ｒに供給されて量子化され、ＶＬＣ器２２５Ｒで、前述したＶＬＣ器２２５Ｌと同様の可変長符号化が施された後、バッファ２２６Ｒに一時蓄えられる。バッファ２２６Ｒから所定の転送レートで読み出された符号化データは多重化器２３３に出力される一方、そのＭＢ毎の発生符号量が符号量制御器２２７に供給され、ここで目標符号量に対する発生符号量との誤差符号量とされて量子化器２２４Ｒにフィードバックされて量子化スケールを調整することで符号量制御される。

多重化器２３３はバッファ２２６Ｒから読み出された右目用符号化データと、バッファ２２６Ｌから読み出された左目用符号化データとを所定のサイズにパケット化して多重化する。この多重化もＭＰＥＧの規格に準拠して行ってもよいし、符号化レートの比率にほぼパケットサイズを合わせて交互に多重化したり、同じパケット長にしてパケット数頻度をほぼ符号化レートの比率に合わせたりして、右目用符号化データと左目用符号化データとを１本化する。多重化器２３３でパケットに多重化された符号化データは、立体画像符号化データとして蓄積媒体２３４に記録される。

このように、本実施の形態では、符号化には動き補償予測を、時間方向の隣り合うピクチャで行ったり、右目、左目のピクチャ間で差分予測を行うので、グローバルシャッタ型ＣＭＯＳセンサ２２０Ｒ及び２２０Ｌを用いたことにより、複雑な機構なしに露光と信号読み出し作業が分離でき、結果的に残像による画像変位がなくなるので、動き補償予測や差分予測が当たりやすくなり、差分画像のエントロピーが削減できる。従って、本実施の形態によれば、符号化効率の良い、立体画像撮像用の撮像装置を実現できる。また、１チップ化しているので、装置を小型化できる。

次に、第６の実施の形態の撮像装置用の復号化器について説明する。図１８は本発明になる撮像装置の第６の実施の形態により出力された符号化データを復号する復号化装置の一例のブロック図を示す。同図において、図１７の撮像装置によりパケット化された立体画像用符号化データが記録された蓄積媒体２３４から入力された立体画像用符号化データは、分離化器２３５に供給されて右目用符号化データと左目用符号化データとに分離され、右目用符号化データはバッファ２３６Ｒに供給されて一時蓄積され、左目用符号化データはバッファ２３６Ｌに供給されて一時蓄積される。

バッファ２３６Ｌから読み出された左目用符号化データは、ＶＬＤ器２３７Ｌで可変長復号されて直流（ＤＣ）成分データ及び交流（ＡＣ）成分データとされる。交流（ＡＣ）成分データは低域から高域にジグザグスキャンの順で８×８のマトリックスに配置される。これらＤＣ成分データ及びＡＣ成分データは、逆量子化器２３８Ｌに供給されて量子化マトリックスにて逆量子化される。

逆量子化されたデータは逆ＤＣＴ器２３９Ｌに供給されて逆ＤＣＴされた後、加算器２４０Ｌで動き補償予測器２４１からの動き補償予測信号と加算されて左目用復号化画像データとされる。この左目用復号化画像データは、立体表示装置２４３に供給されて画像表示される一方、画像メモリ２４２に一時蓄積された後、動き補償予測器２４１において差分画像を計算するためのリファレンスの復号化画像として使用される。また、このリファレンスの復号化画像データは、加算器２４０Ｒに供給される。

一方、バッファ２３６Ｒから読み出された右目用符号化データは、ＶＬＤ器２３７Ｒで可変長復号され、逆量子化器２３８Ｒで量子化マトリックスにて逆量子化され、逆ＤＣＴ器２３９Ｒにて逆ＤＣＴされた後、加算器２４０Ｒに供給され、ここでリファレンスの復号化画像データである左目用復号画像データと加算されることにより右目用復号画像信号とされて立体表示装置２４３に供給される。これにより、立体表示装置２４３には、右目用復号画像と左目用復号画像とが表示される。

なお、図１７の第６の実施の形態では、左目用撮像信号から予測信号を生成したが、右目用撮像信号から予測信号を生成するようにしてもよいことは勿論である。また、第６の実施の形態は２眼式立体撮像装置の例を示したが、３眼式にして２眼式では補えないオクルージョン補正などの機能を持つ立体撮像装置、あるいは更に数の多いＣＭＯＳセンサを用いて、多眼カメラに応用することも可能である。

（第７の実施の形態）
図１９は本発明になる撮像装置の第７の実施の形態のブロック図を示す。同図中、図１６と同一構成部分には同一符号を付し、その説明を省略する。本実施の形態は監視用途に供するようにした撮像装置（所謂監視カメラ）であり、グローバルシャッタ型ＣＭＯＳセンサ２１４の画像情報を処理する画像情報処理手段と、その処理された画像情報から異常を判定する異常判定手段とを有し、異常時にアラーム信号を出力するものであり、全体が１チップで構成されている。

具体的には図１９において、監視対象の被写体からの入射光は、グローバルシャッタ型ＣＭＯＳセンサ２１４により光電変換されて得られた撮像信号が、Ａ／Ｄ変換器２１５によりデジタル信号である画像データに変換された後、動き補償予測器１３１と減算器１２１に供給される。グローバルシャッタ型ＣＭＯＳセンサ２１４は、図３に示した構造であり、図４及び図５と共に説明したように、２次元マトリクス状に規則的に配置されたｍ行ｎ列の全画素のフォトダイオードに同時に蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下のソース近傍ｐ型領域４７に一斉に転送された後、各行単位で順次に画素信号が撮像信号として読み出される。

図１９において、動き補償予測器１３１は、グローバルシャッタ型ＣＭＯＳセンサ２１４からの撮像信号と、画像メモリ１３０からの復号画像データとに基づいて生成された、各ＭＢ毎の動きベクトルと動き補償モードの情報を、ＶＬＣ器１２４に供給する一方、動き判定器２４５に供給する。動き判定器２４５は、動きベクトル情報を用いて、例えばＮ画素以上水平（又は垂直）に被写体画像が動いたと判断した場合に、その対応するフレームにアラーム信号のマークを、フレームのビデオ信号の所定のラインデータに所定の識別信号として発生させたり、画像のデータ上に赤い丸いマークを隅に表示させたりする方法で蓄積媒体２４６にバッファ１２５からの符号化データと共に別々に記録する。

本実施の形態によれば、符号化には動き補償予測を、時間方向の隣り合うピクチャで行ったり、動き検出を行うので、グローバルシャッタ型ＣＭＯＳセンサ２１４を用いたことにより、複雑な機構なしに露光と信号読み出し作業が分離でき、結果的に残像による画像変位が無く、高速（単位時間当たりの撮像枚数）に撮像できるため、差分画像のエントロピーが削減できる。従って、本実施の形態によれば、符号化効率の良い監視カメラ画像の圧縮を行うことが可能になると同時に、動き検出に本来存在しない変位画像がなくなるので、正確な動き検出を実現でき、監視対象の被写体画像をより正確に監視できる。また、全体構成が１チップ内に配置されていることにより撮像装置全体を小型な構成にできる。

次に、第７の実施の形態の監視カメラの復号化器の好適な例について説明する。図２０は本発明になる撮像装置の第７の実施の形態により出力された符号化データを復号する復号化装置の一例のブロック図を示す。同図中、図９と同一構成部分には同一符号を付し、その説明を省略する。図２０において、図１９の撮像装置により得られた符号化データとアラーム信号とが記録された蓄積媒体２４６が、図示しない再生手段により再生され、再生された符号化データはバッファ１５２によりバッファリングされた後ＶＬＤ器１５３に供給され、一方、再生されたアラーム信号は表示装置２４８に供給される。

表示装置２４８において、アラーム信号はアラームを示すマークが存在する部分のフレームに、例えば赤い色の枠をそのフレームの復号画像につけて表示する。あるいは、画像データ上に赤い丸いマークを画像の隅に表示させるアラーム信号が多重されて記録再生された場合は、そのままその画像データを表示する。また、アラーム信号は画像信号に限定されるものではなく、音声出力装置（図示せず）から「ピー」などというアラーム音を発生させる音声信号を、単独で、あるいはアラーム画像と共に記録再生してもよい。

（第８の実施の形態）
図２１は本発明になる撮像装置の第８の実施の形態のブロック図を示す。本実施の形態は、ネットワーク監視カメラとしての撮像装置の例で、グローバルシャッタ型ＣＭＯＳセンサ２５３、Ａ／Ｄ変換器２５４及び画像処理部２５５からなる部分２７０が１チップで構成されている。画像処理部２５５は、図１に示したメモリ１０５、デジタル画像調整部１０６、画像情報検出部１０７、エンコーダ部１０８などから構成されている。

図２１において、撮像対象２５１の被写体光像は、縮小光学系２５２により撮像素子であるグローバルシャッタ型ＣＭＯＳセンサ２５３の撮像面に結像され、ここで光電変換されて撮像信号となる。縮小光学系２５２は、通常、ＣＭＯＳセンサ２５３は撮像対象２５１の画像よりも小さいので、縮小する必要があるために設けられている。また、グローバルシャッタ型ＣＭＯＳセンサ２５３は、図３に示した構造であり、図４及び図５と共に説明したように、２次元マトリクス状に規則的に配置されたｍ行ｎ列の全画素のフォトダイオードに同時に蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下のソース近傍ｐ型領域（図３の４７）に一斉に転送された後、各行単位で順次に画素信号が撮像信号として読み出される。

この撮像信号はアナログ信号であり、Ａ／Ｄ変換器２５４によりデジタル信号に変換された後、画像処理部２５５に供給され、ここで図２に示したデジタル画像調整部１０６と同様の構成により、フォーカスを合わせたり、ＭＰＥＧ等により圧縮符号化されたり、テキストの電子化などの処理がされた後、制御用マイクロコンピュータ（以下、マイコン）２５７に渡される。制御用マイコン２５７は入力された画像データを通信処理部２５８を介してイーサネット（Ethernet：登録商標）２６３に送り出し、イーサネット（登録商標）２６３経由で遠隔地にある記憶装置２６４や表示装置２６５に送信する。このとき、マイク２６２から入力された音声信号を音声コーデック（CODEC）２６０で変調した後制御用マイコン２５７に供給し、通信処理部２５８を介して画像データと一緒に送信する場合もある。

また、画像処理部２５５は撮像信号と画像蓄積メモリ２５６に蓄積された１フレーム直前の映像信号とを比較し、画像中に変化があるときにはその旨を制御用マイコン２５７に通知する。制御用マイコン２５７は、予め組み込まれた判断用のソフトウェアに従い、例えばその画像変化が不審者を示しているかどうかを判断する。不審者と判断すると、制御用マイコン２５７はアラーム信号を発生し、そのアラームが発生したときの撮像信号を一旦、画像蓄積メモリ２５６に蓄積しておき、必要に応じて送信する場合もある。なお、通信処理部２５８から遠隔地にある記憶装置２６４及び表示装置２６５へ撮像信号を伝送するネットワークは、有線、無線のいずれでもよい。

なお、図２１において、ネットワーク監視カメラの使用者が、稼動制御部２５９を通して監視カメラのＰＴＺ動作（パン・チルト・ズーム）を制御している。また、画像蓄積メモリ２５６に一定時間に蓄積する画像枚数や解像度、アラーム発生時の対処方法などをネットワーク監視カメラに指示する。この動作自体は、従来と同じである。

本実施の形態によれば、撮像素子として従来使用していたローリングシャッタ型ＣＭＯＳセンサの替わりに、グローバルシャッタ型ＣＭＯＳセンサ２５３を用いるようにしたため、複雑な機構なしに露光と信号読み出し作業が分離でき、結果的に残像による画像変位がなくなるので、動き補償予測が当たりやすくなり、動きの速い監視対象であっても、撮像画像が殆ど変形しなくなるので、監視対象をより正確に監視できる。また、高速に撮像できる（単位時間当たりの撮像枚数を増加できる）ため、高フレームレートで遠隔地の表示装置９４へ撮像信号を送信できる。更に、所定の構成部が１チップで構成されているため、撮像装置を小型で構成できる。なお、所定の構成部は１チップでなくてもよい。

なお、本発明は以上の実施の形態に限定されるものではなく、例えば、画像情報検出部１０７、１４８、１８４は必ずしも無くてもよい。また、デジタル画像調整部１０６、１４７、１８３は図２の各回路の一部のみを備えていてもよい。

本発明の撮像装置の第１の実施の形態のブロック図である。 図１中のデジタル画像調整部の一例のブロック図である。 本発明で用いるグローバルシャッタ型ＣＭＯＳセンサの１画素分の素子構造の一例の平面図と、そのＸ−Ｘ‘線に沿う縦断面図である。 本発明で用いるグローバルシャッタ型ＣＭＯＳセンサの全体構成を電気等価回路で示した図である。 図４の等価回路の動作を説明するタイミングチャートである。 図１中のエンコーダ部の一例のブロック図である。 本発明の撮像装置の第２の実施の形態のブロック図である。 図７中の要部である信号処理装置の一例のブロック図である。 図８中のデコーダ部の一例のブロック図である。 図７の撮像装置の一実施の形態のプロセスフロー説明図である。 図７の撮像装置の被写体画像と撮像画像の一例を示す図である。 本発明の撮像装置の第３の実施の形態のブロック図である。 図１２中の要部である信号処理装置の一例のブロック図である。 図１２の撮像装置の撮像画像の一例を説明する図である。 本発明の撮像装置の第４の実施の形態のブロック図である。 本発明の撮像装置の第５の実施の形態のブロック図である。 本発明の撮像装置の第６の実施の形態のブロック図である。 図１７の撮像装置により出力された符号化データを復号する復号化装置の一例のブロック図である。 本発明の撮像装置の第７の実施の形態のブロック図である。 図１９の撮像装置により蓄積媒体に蓄積された符号化データを復号する復号化装置の一例のブロック図である。 本発明の撮像装置の第８の実施の形態のブロック図である。 従来の撮像装置の第１及び第２の例のブロック図である。 従来の撮像装置の第３の例のブロック図である。 図２３中の撮像素子の撮像領域の分割例を示す図である。 従来のローリングシャッタ型ＣＭＯＳセンサの一例の電気等価回路図である。 図２５のＣＭＯＳセンサの動作を説明するタイミングチャートである。 図２２（Ａ）に示した従来の撮像装置のプロセスフロー説明図である。 図２２（Ａ）に示した従来装置の被写体画像と撮像画像の一例を示す図である。 従来の撮像装置の課題を説明するための、撮影する被写体画像、撮影された撮像画像の一例を示す図である。 図２２（Ｂ）に示した従来の撮像装置のプロセスフロー説明図である。

符号の説明

４３ ｎウェル
４５ リング状ゲート電極
４６ ｎ⁺型ソース領域
４７ ソース近傍ｐ型領域
４８ ｎ⁺型ドレイン領域
４９ 埋め込みｐ^-型領域
５０、６４ フォトダイオード
５１ 転送ゲート電極
５２、６６ ドレイン電極配線
５３、６９ リング状ゲート電極配線
５４、７４ ソース電極配線（出力線）
５５、７１ 転送ゲート電極配線
６１ 画素敷き詰め領域
６２ 画素
６３ リング状ゲートＭＯＳＦＥＴ
６５ 転送ゲートＭＯＳＦＥＴ
１００ １チップ化した撮像装置
１０３、１９４、２５３ グローバルシャッタ型ＣＭＯＳセンサ
１０４、１４４、１７７〜１８０ Ａ／Ｄ変換部
１０５、１４６、１８２ メモリ
１０６、１４７、１８３ デジタル画像調整部
１０７、１４８、１８４ 画像情報検出部
１０８、１４９、１８５ エンコーダ部
１１０ ＡＧＣ回路
１１１ 縦縞補正回路
１１２ シェーディング補正回路
１１３ 暗電流補正回路
１１４ 白キズ、黒キズ補正回路
１１５ 手振れ補正回路
１１６ フィルタ補正回路
１１７ ガンマ補正回路
１１８ 輪郭強調処理回路
１１９ ホワイトバランス回路
１３７、１６３ １チップ化した信号処理装置
１３８ 信号記録再生装置
１５０ デコーダ部
１６２ ４つの分割撮像領域を有するグローバルシャッタ型の撮像素子
１９７ 解像度変換器
２０１ 静止画撮像タイミング信号発生器
２０２ 管理データメモリ
２０３ 音声符号化器
２０４ 静止画符号化器
２０５ 動画符号化器
２０６ 静止画ズーム情報発生器
２０７、２３３ 多重化器
２２０Ｒ 右目用グローバルシャッタ型ＣＭＯＳセンサ
２２０Ｌ 左目用グローバルシャッタ型ＣＭＯＳセンサ ２３５ 分離化器
２４３ 立体表示装置
２５５ 画像処理部
２５６ 画像蓄積メモリ
２５７ 制御用マイクロコンピュータ（マイコン）
２５８ 通信処理部

Claims (9)

1. 被写体の光学像を複数の全画素のフォトダイオードに露光の開始と終了のタイミングが全画素同時となるように露光して光電変換して得た電荷を全画素に蓄積した後、前記露光の期間に蓄積した電荷を各画素から撮像信号として順次出力するグローバルシャッタ型ＣＭＯＳセンサと、
   前記撮像信号を符号化して符号化データを生成する画像符号化手段を有する信号処理手段と、
   を同一チップ内に備え、
   前記グローバルシャッタ型ＣＭＯＳセンサは、
   半導体基板上に形成された第１導電型のウェル、及び前記ウェルにおける所定の第１の領域とは異なる第２の領域に形成されて前記ウェルに接続する第２導電型の埋め込み部を有し、前記光学像を光電変換して電荷を蓄積するフォトダイオードと、
   前記第１の領域上にゲート酸化膜を介して形成されたリング状ゲート電極と、前記リング状ゲート電極の中央開口部に対応する前記ウェル内の領域に形成された第１導電型の第１ソース部と、前記第１ソース部の周囲に前記リング状ゲート電極の外周に達しないように、かつ、前記ゲート酸化膜に接しないように前記ウェル内に埋め込まれて形成されて前記第１ソース部に接続し前記フォトダイオードから転送された前記電荷を蓄積する第２導電型のソース近傍領域部と、前記ウェルにおける前記第１の領域とは異なる第３の領域に前記第１ソース部及び前記ソース近傍領域部に離間して形成された第１導電型の第１ドレイン部とを有し、前記ソース近傍領域部に蓄積された電荷を前記撮像信号として出力するリング状ゲートトランジスタと、
   前記第１の領域上に、前記リング状ゲート電極の一部を覆うように形成された転送ゲート電極を有し、前記埋め込み部を第２ソース部とし、前記ソース近傍領域部を第２ドレイン部とし、前記フォトダイオードに蓄積された前記電荷を前記リング状ゲートトランジスタへ全画素一斉に転送する転送ゲートトランジスタと、
   を画素毎に備え、
   前記転送ゲート電極から前記リング状ゲート電極までの前記ゲート酸化膜の直下には前記ウェルが連続して存在しており、前記転送ゲート電極及び前記リング状ゲート電極の各電位に応じて前記転送ゲート電極と前記リング状ゲート電極との間の前記ウェルの表層部に電荷転送のバリアが発生又は消失し、前記グローバルシャッタ型ＣＭＯＳセンサは、前記フォトダイオードにおける電荷の蓄積を、次の電荷転送が開始されるまで前記撮像信号の出力期間中も継続して行い、前記撮像信号をフレーム毎に連続して出力することを特徴とする撮像装置。
2. 前記信号処理手段は、
   前記グローバルシャッタ型ＣＭＯＳセンサから出力された前記撮像信号に対して、撮像画像の濃度むらであるシェーディングを補正するシェーディング補正手段と、前記グローバルシャッタ型ＣＭＯＳセンサの画素毎に得られている暗電流レベルの情報から画素毎に撮像信号レベルを調整する暗電流補正手段と、前記グローバルシャッタ型ＣＭＯＳセンサの予め得られている欠陥画素を、隣接する画素情報で置き換えて欠陥を目立たなくするキズ補正手段と、前記撮像信号に対して手振れによる画素ずれ情報に基づいてその画素ずれを補正する方向に画像として切り出す領域をずれた画素数分だけずらす手振れ補正手段と、前記撮像信号に対して所定の計算式に従ったガンマ補正を行うガンマ補正手段と、前記撮像信号に対してエッジ部を強調する輪郭補正手段と、赤、緑、赤の光の三原色の撮像信号レベルをそれぞれ調整してホワイトバランス調整を行うホワイトバランス手段とのうち、少なくとも一の手段を含む画像調整手段を更に有することを特徴とする請求項１記載の撮像装置。
3. 前記信号処理手段は、
   前記撮像信号の、ある瞬間の画像と次の瞬間の画像とを比較し、その比較結果に基づき予め定めた画像領域の全体が同じ画素数だけずれているときに手振れが生じたと判断して画素のずれ量の手振れ検出信号を少なくとも生成して前記画像調整手段へ出力する画像検出手段を、更に有することを特徴とする請求項２記載の撮像装置。
4. 前記画像符号化手段は、前記撮像信号に対して所定の信号処理を行って画像信号を生成して出力すると共に、その画像信号を所定の符号化方式により符号化して第１の符号化画像データを生成して出力し、
   前記信号処理手段は、外部から入力された第２の符号化画像データを復号し、復号画像信号として出力する画像復号化手段を更に有し、
   前記画像符号化手段から出力された前記第１の符号化画像データを記録媒体に記録し、前記記録媒体から再生した符号化画像データを前記第２の符号化画像データとして前記画像復号化手段へ供給する信号記録再生手段と、
   前記信号処理手段から出力される前記画像信号又は前記復号画像信号を表示する信号表示手段と、
   を更に備えていることを特徴とする請求項１記載の撮像装置。
5. 前記グローバルシャッタ型ＣＭＯＳセンサは、複数の読み出し領域に分割された撮像領域を有し、
   前記信号処理手段は、前記複数の読み出し領域から並列に出力された複数の前記撮像信号に対して、所定の信号処理を行い、表示手段に適した信号形態に変換して出力する信号変換手段を有し、
   前記被写体の光学像を前記グローバルシャッタ型ＣＭＯＳセンサの前記撮像領域上に結像する光学系を更に備えていることを特徴とする請求項１記載の撮像装置。
6. 前記画像符号化手段は、前記グローバルシャッタ型ＣＭＯＳセンサから出力された前記撮像信号を所定の符号化方式で符号化して動画符号化データを生成する動画符号化手段と、静止画撮像タイミング信号が入力されたときに、前記グローバルシャッタ型ＣＭＯＳセンサから出力された前記撮像信号を所定の符号化方式で符号化して静止画符号化データを生成する静止画符号化手段とを有し、
   入力されたオーディオ信号を符号化して音声符号化データを生成する音声符号化手段と、
   前記グローバルシャッタ型ＣＭＯＳセンサによる動画撮像中の任意のタイミングで、静止画の撮影の開始を指示する前記静止画撮像タイミング信号を出力するタイミング信号発生手段と、
   少なくとも前記動画符号化データ及び前記音声符号化データを多重化した多重化信号を生成し、前記静止画符号化データ入力時は前記動画符号化データ及び前記音声符号化データに前記静止画符号化データを更に多重化した多重化信号を生成する多重化手段と、
   を更に備えていることを特徴とする請求項１記載の撮像装置。
7. 被写体対象の立体画像の右目用入力光が入射する第１の前記グローバルシャッタ型ＣＭＯＳセンサと、
   前記被写体対象の立体画像の左目用入力光が入射する第２の前記グローバルシャッタ型ＣＭＯＳセンサと、
   を備え、
   前記信号処理手段は、
   前記第１のグローバルシャッタ型ＣＭＯＳセンサから出力される右目用撮像信号と予測信号との差信号に基づいて、動き補償予測を用いた所定の符号化を行って右目用の第１の符号化画像データを生成する第１の画像符号化手段と、
   前記第２のグローバルシャッタ型ＣＭＯＳセンサから出力される左目用撮像信号と前記予測信号との差信号に基づいて、動き補償予測を用いた所定の符号化を行って左目用の第２の符号化画像データを生成する第２の画像符号化手段と、
   前記第１の画像符号化手段及び前記第２の画像符号化手段の一方で生成される符号化画像データを局部復号して、その局部復号画像と前記左目用撮像信号又は前記右目用撮像信号との差分をとって前記予測信号を生成し、その予測信号を前記第１の画像符号化手段及び前記第２の画像符号化手段のそれぞれに供給する予測信号生成手段と、
   前記第１の符号化画像データ及び前記第２の符号化画像データを所定のサイズにパケット化後に多重化して立体画像符号データを生成して出力する多重化手段と、
   を有し、前記第１及び第２の画像符号化手段と前記予測信号生成手段と前記多重化手段とは同一チップ内に配置されていることを特徴とする請求項１記載の撮像装置。
8. 前記画像符号化手段は、前記グローバルシャッタ型ＣＭＯＳセンサから出力された前記撮像信号と予測信号との差信号に基づいて、動き補償予測を用いた所定の符号化を行って符号化画像データを生成し、
   前記動き補償予測により得られる動きベクトル情報を用いて、被写体画像に所定変位以上の動きがあるか否か監視し、前記所定変位以上の動きがあった時に異常判定してアラーム信号を生成して出力する異常判定手段を更に備え、
   前記画像符号化手段及び前記異常判定手段は同一チップ内に配置されていることを特徴とする請求項１記載の撮像装置。
9. 前記グローバルシャッタ型ＣＭＯＳセンサから出力されて前記画像処理手段により処理された監視対象の被写体の撮像信号をネットワークへ送出する通信処理手段を更に備えていることを特徴とする請求項１記載の撮像装置。

Images