JP6399149B2 - 撮像装置および方法 - Google Patents

Description

本技術は、撮像装置および方法に関し、特に、撮像性能を向上させることができるようにした撮像装置および方法に関する。

従来、入射光を光電変換する受光部が形成される半導体基板が封止され、イメージセンサ（撮像素子）としてモジュール化されるものがある。

このようなモジュール化されたイメージセンサは、入射光を光電変換し、画像データを生成し、その画像データを非圧縮の状態で（例えばRAWデータで）出力し、メイン基板に伝送する。そして、画像データに対する、例えばデモザイク処理や欠陥補正等の信号処理は、メイン基板の回路にて行われていた（例えば、特許文献１参照）。

特開２００９−１３０５６２号公報

近年、イメージセンサには、画像の高解像度化、静止画像の撮像から記録までの処理の高速化、連写数や連写速度の向上、動画像のフレームレートの高速化、動画像および静止画像の撮像等、撮像性能の向上が要求されている。

このような撮像性能の向上に伴い、１フレーム当たりの画像データのデータ量は増大し、かつ、１フレームの画像データがより高速に生成されるようになった。つまり、より大量のデータをより高速に処理する必要があった。

しかしながら、従来の方法では、イメージセンサとメイン基板のインタフェース間の通信帯域が不足し、イメージセンサの撮像性能を向上させることができない恐れがあった。

従来の方法で、イメージセンサからメイン基板に、より大容量のデータを伝送するためには、イメージセンサのI/Oピン数を増やす必要があるが、その場合、イメージセンサの製造コストが増大する恐れがあった。

本技術は、このような状況に鑑みて提案されたものであり、撮像性能を向上させることを目的とする。

本技術の一側面は、多層構造を形成する複数の基板を有し、前記複数の基板の内のいずれかの階層の基板に形成され、入射光を受光し、光電変換する受光部と、前記複数の基板の内の、前記受光部が形成される階層以外のいずれかの階層の基板に形成され、前記受光部において得られる画素信号から得られるRAWデータを固定の圧縮率で簡易圧縮する記憶用圧縮部と、前記複数の基板の内の、前記受光部が形成される階層および前記記憶用圧縮部が形成される階層以外のいずれかの階層の基板に形成され、前記記憶用圧縮部により前記RAWデータが前記固定の圧縮率で簡易圧縮されて得られる符号化データを記憶する記憶部と、前記記憶部から読み出された前記符号化データを伸張する内部伸張部と、前記内部伸張部により前記符号化データが伸張されて得られた前記RAWデータに対して所定の信号処理を行う前処理部とを備える撮像装置である。

前記前処理部により信号処理が行われた前記RAWデータを固定の圧縮率で簡易圧縮する出力用圧縮部をさらに備えることができる。

前記出力用圧縮部により前記RAWデータが前記固定の圧縮率で簡易圧縮されて得られる符号化データを出力する出力部をさらに備えることができる。

前記記憶用圧縮部および前記出力用圧縮部は、前記簡易圧縮として、前記RAWデータの連続する画素データ同士の差分値を算出し、得られた前記差分値をゴロム符号化し、圧縮率が固定となるように、得られたゴロム符号にデータを付加することができる。

前記記憶用圧縮部および前記出力用圧縮部は、前記簡易圧縮として、前記RAWデータに対して１次元DCT（Discrete Cosine Transform）を行い、圧縮率が固定となるように、得られた変換データの高域成分を破棄することができる。

前記記憶用圧縮部および前記出力用圧縮部は、前記RAWデータが動画像の場合、画像サイズが縮小された前記RAWデータを前記固定の圧縮率で簡易圧縮し、前記RAWデータが静止画像の場合、画像サイズが縮小されていない前記RAWデータを前記固定の圧縮率で簡易圧縮するように構成されるようにすることができる。

本技術の他の側面は、また、撮像装置による撮像方法において、多層構造を形成する複数の基板を有し、前記複数の基板のいずれかの階層において、入射光を受光して光電変換し、前記複数の基板の他の階層において、前記入射光が光電変換されて得られる画素信号から得られるRAWデータを固定の圧縮率で簡易圧縮し、前記複数の基板のさらに他の階層において、前記RAWデータが前記固定の圧縮率で簡易圧縮されて得られる符号化データを記憶し、前記複数の基板の前記他の階層において、前記符号化データを伸張し、前記符号化データが伸張されて得られた前記RAWデータに対して所定の信号処理を行う撮像方法である。

本技術の一側面においては、撮像装置の多層構造を形成する複数の基板が有され、その複数の基板のいずれかの階層において、入射光が受光されて光電変換され、その複数の基板の他の階層において、入射光が光電変換されて得られる画素信号から得られるRAWデータが固定の圧縮率で簡易圧縮され、その複数の基板のさらに他の階層において、RAWデータが固定の圧縮率で簡易圧縮されて得られる符号化データが記憶され、複数の基板の上述の他の階層において、その符号化データが伸張され、符号化データが伸張されて得られたRAWデータに対して所定の信号処理が行われる。

本技術によれば、撮像性能を向上させることができる。

撮像素子の主な構成例を示す図である。 圧縮部の主な構成例を示す図である。 伸張部の主な構成例を示す図である。 撮像処理の流れの例を説明するフローチャートである。 圧縮処理の流れの例を説明するフローチャートである。 画像処理の流れの例を説明するフローチャートである。 伸張処理の流れの例を説明するフローチャートである。 撮像素子の他の構成例を示す図である。 前処理部のより具体的な例を説明する図である。 撮像処理の流れの、他の例を説明するフローチャートである。 動画像と静止画像の処理の例を示す図である。 撮像素子のさらに他の構成例を示す図である。 撮像処理の流れの、さらに他の例を説明するフローチャートである。 撮像素子のさらに他の構成例を示す図である。 撮像素子のさらに他の構成例を示す図である。 撮像処理の流れの、さらに他の例を説明するフローチャートである。 撮像素子のさらに他の構成例を示す図である。 撮像処理の流れの、さらに他の例を説明するフローチャートである。 撮像装置の主な構成例を示す図である。 撮像処理の流れの、さらに他の例を説明するフローチャートである。 撮像処理の流れの、さらに他の例を説明するフローチャートである。 撮像処理の流れの、さらに他の例を説明する、図２１に続くフローチャートである。 符号化部の主な構成例を示すブロック図である。 コーディングユニットの構成例を説明する図である。 復号部の主な構成例を示すブロック図である。 符号化処理の流れの例を説明するフローチャートである。 復号処理の流れの例を説明するフローチャートである。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像素子）
２．第２の実施の形態（撮像装置）
３．第３の実施の形態（符号化部・復号部）

＜１．第１の実施の形態＞
＜撮像素子＞
図１は、本技術を適用した撮像素子の主な構成例を示すブロック図である。図１に示される撮像素子１００は、被写体を撮像し、撮像画像のデジタルデータ（画像データ）を得て、その画像データを出力するイメージセンサである。撮像素子１００は、任意のイメージセンサであり、例えば、CMOS（Complementary Metal Oxide Semiconductor）やCCD（Charge Coupled Device）を用いたイメージセンサ等としてもよい。

図１Ａに示されるように、撮像素子１００は、斜線模様で示される半導体基板１０１と、白色で示される半導体基板１０２とを有する。半導体基板１０１および半導体基板１０２は、図１Ｂに示されるように重畳された状態で封止され、モジュール化（一体化）される。

つまり、図１Ｃに示されるように、半導体基板１０１および半導体基板１０２は、多層構造（積層構造）を形成する。半導体基板１０１に形成される回路と半導体基板１０２に形成される回路は、ビア（VIA）等により互いに接続される。

このように、撮像素子１００は、半導体基板１０１と半導体基板１０２が多層構造を形成するように一体化されたモジュール（LSI（Large Scale Integration）チップとも称する）である。モジュール内部において半導体基板１０１と半導体基板１０２がこのように多層構造を形成することにより、撮像素子１００は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、撮像素子１００は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

図１Ａに示されるように、半導体基板１０１には、受光部１１１およびA/D変換部１１２が形成される。また、半導体基板１０２には、圧縮部１１３および出力部１１４が形成される。

受光部１１１は、入射光を受光し、光電変換する。受光部１１１は、例えばフォトダイオード等の光電変換素子を有する単位画素を複数有する。各単位画素には、光電変換により、入射光に相当する電荷が蓄積される。受光部１１１は、各単位画素において蓄積された電荷を電気信号（画素信号）としてA/D変換部１１２に供給する。

A/D変換部１１２は、受光部１１１から供給される各画素信号をA/D変換し、デジタルデータの画素データを生成する。A/D変換部１１２は、このように生成した各単位画素の画素データの集合を画像データとして圧縮部１１３に供給する。つまり、圧縮部１１３には、デモザイク処理される前のRAWデータが供給される。

圧縮部１１３は、A/D変換部１１２から供給される画像データ（RAWデータ）を、所定の方法で圧縮することにより、符号化データを生成する。この符号化データのデータ量は、圧縮前の画像データより小さい。つまり、圧縮部１１３は画像データのデータ量を低減させる。

図１に示されるように、圧縮部１１３は、撮像素子１００に実装される。つまり、圧縮部１１３は、撮像素子１００に内蔵される回路、若しくは、撮像素子１００の内部において実行されるソフトウエアとして実現される。そのため、圧縮部１１３による圧縮の方法は、基本的に任意であるが、上述したように撮像素子１００（モジュール内）に実装可能なものでなければならない。

画像データの圧縮方法の代表的なものとして、例えば、JPEG（Joint Photographic Experts Group）やMPEG（Moving Picture Experts Group）がある。これらの圧縮方法は、高度なものであり、その処理が複雑で、回路規模も大きく、撮像素子１００の製造コストが増大し易い。そのため、一般的に、これらのような高度な圧縮方法を、回路やソフトウエアとして撮像素子１００に実装することは困難である。また、仮に実装したとしても、処理時間（クロック数）が長くて遅延時間が増大しやすく、符号化処理がフレームレートに間に合わない等、実用的でない場合も考えられる。さらに、圧縮率がベストエフォートのためピン数やバス帯域の低減に寄与しない場合も考えられる。

そこで、圧縮部１１３は、例えばJPEGやMPEG等のような高度な圧縮方法よりも処理が簡潔で、かつ、処理時間（クロック数）が短く、少なくとも撮像素子１００（モジュール内、特に、受光部１１１を有する半導体基板１０１と積層構造を形成する半導体基板１０２）に実装可能な方法で、画像データの圧縮を行う。以下において、このような圧縮を簡易圧縮とも称する。つまり、圧縮部１１３は、A/D変換部１１２から供給される画像データ（RAWデータ）を簡易圧縮することにより、符号化データを生成する。

この簡易圧縮の具体的な圧縮方法は、上述した条件を満たす限り基本的に任意である。例えば、可逆な方法であっても良いし、非可逆な方法であっても良い。ただし、一般的に、半導体基板１０２を大きくするとコストが増大する。また、処理時間（クロック数）が長くなると遅延時間が増大する。そのため、この簡易圧縮には、処理がより簡潔で、かつ、処理時間がより短い方法を適用するのが望ましい。

例えば、一般的に、A/D変換部１１２は、各単位画素の画素データ（画像データ）を、所定の順序で１次元状に並べて（画素データ列として）圧縮部１１３に供給するが、圧縮の際に、その画像データをバッファ（保持）する必要があると、その分、処理時間が増大する恐れがある。そのため、簡易圧縮には、A/D変換部１１２から供給される画像データ（画素データ列）を、できるだけバッファする必要なく、順次圧縮することができる方法を適用するのが望ましい。例えば、簡易圧縮には、DPCM（Differential Pulse Code Modulation）を用いる圧縮方法や、１次元DCT（Discrete Cosine Transform）を用いる圧縮方法を適用することができる。詳細については後述する。

もちろん、集積度の向上等によって、撮像素子１００に安価に実装することができ、遅延時間も許容範囲内に収まる程に高速動作が可能であり、十分な圧縮率が得られるのであれば、JPEGやMPEG等のような高度な圧縮方法を、圧縮部１１３の圧縮方法として適用してもよい。

圧縮部１１３は、画像データを簡易圧縮して得られた符号化データを出力部１１４に供給する。

出力部１１４は、例えばI/OセルやI/Oピン等よりなり、圧縮部１１３から供給される符号化データを撮像素子１００の外部に出力する。出力部１１４より出力された符号化データは、バス１２１を介して画像処理装置１３０の入力部１３１に供給される。

画像処理装置１３０は、撮像素子１００において得られた画像データに対する画像処理を行う装置である。図１Ａに示されるように、画像処理装置１３０は、入力部１３１および伸張部１３２を有する。

入力部１３１は、バス１２１を介して撮像素子１００（出力部１１４）から伝送される符号化データを受け付ける。入力部１３１は、取得した符号化データを伸張部１３２に供給する。

伸張部１３２は、入力部１３１から供給される符号化データを、圧縮部１１３の圧縮方法に対応する方法で伸長し、画像データを復元する。つまり、伸張部１３２は、入力部１３１から供給される符号化データを、圧縮部１１３による簡易圧縮に対応する方法で伸長し、画像データを復元する。復元された画像データは、例えば、画像処理装置１３０等により、画像処理されたり、記憶されたり、画像を表示されたりする。

以上のように、撮像素子１００は、モジュール内（LSIチップ内）において、受光部１１１において得られた画像データを圧縮し、そのデータ量を低減させて出力する。したがって、バス１２１の、画像データ（符号化データ）を伝送するのに必要な帯域が低減されるので、撮像素子１００は、バス１２１の帯域幅を変更せずに、より大容量のデータをより高速に出力することができる。つまり、撮像素子１００は、出力部１１４のI/OセルやI/Oピンの数を増大させずに、すなわち、コストを増大させずに、より大容量のデータをより高速に出力することができる。

換言するに、撮像素子１００は、バス１２１の帯域制限の影響を抑制することができ、コストを増大させずに（出力部１１４のI/OセルやI/Oピンの数を増大させずに）、画像の高解像度化、静止画像の撮像から記録までの処理の高速化、連写数や連写速度の向上、動画像のフレームレートの高速化、動画像および静止画像の撮像等といった、撮像性能を向上させることができる。

＜圧縮部＞
図２は、図１の圧縮部１１３の主な構成例を示すブロック図である。図２Ａに示される例の場合、圧縮部１１３は、DPCM処理部１４１、ゴロム（Golomb）符号化部１４２、および圧縮率調整部１４３を有する。

DPCM処理部１４１は、A/D変換部１１２から供給される画像データ（１次元に並べられた画素データ列）の、連続する画素データ同士の差分値を算出する。DPCM処理部１４１は、算出した各差分値をゴロム符号化部１４２に供給する。

ゴロム符号化部１４２は、DPCM処理部１４１から供給される各差分値をゴロム符号（Golomb Coding）に符号化する。ゴロム符号化部１４２は、そのゴロム符号（符号化データ）を圧縮率調整部１４３に供給する。

圧縮率調整部１４３は、ゴロム符号化部１４２から供給される符号化データの圧縮率を調整し、所定の圧縮率に変換する。これにより受光部１１１において得られた画像データに対して所定の圧縮率で圧縮された符号化データが得られる。圧縮率は可変とすることもできるが、バス１２１の最大伝送可能帯域幅はハードウエア要因により固定されるので、圧縮率は固定とするのが望ましい。圧縮率調整部１４３は、圧縮率を調整した符号化データを出力部１１４に出力する。

このような構成とすることにより、圧縮部１１３は、画像データ（RAWデータ）を簡易圧縮することができる。

また、図２Ｂに示される例の場合、圧縮部１１３は、１次元DCT処理部１４４および圧縮率調整部１４３を有する。

１次元DCT処理部１４４は、A/D変換部１１２から供給される１次元の画像データを離散コサイン変換する。１次元DCT処理部１４４は、離散コサイン変換された１次元のデータ（以下、変換データとも称する）を圧縮率調整部１４３に供給する。

圧縮率調整部１４３は、１次元DCT処理部１４４から供給される変換データの圧縮率を調整し、所定の圧縮率に変換する。例えば、圧縮率調整部１４３は、変換データが所定の圧縮率となるように、不要な高域成分を変換データから抽出して破棄する。これにより、圧縮率調整部１４３は、受光部１１１において得られた画像データに対して所定の圧縮率で圧縮された符号化データを得ることができる。

１次元DCT処理部１４４から供給される変換データは、１次元DCT処理部１４４により周波数成分に変換されているため、周波数成分毎の抽出が容易であり、かつ、情報が低域成分に集中している。また、高域成分は視覚的に画質への影響が少ない（画質の劣化が目立ちにくい）。そのため、圧縮率調整部１４３は、例えば、必要に応じて、変換データからより高域な成分を優先的に抽出して破棄するようにし、その破棄するデータ量を調整することによって、容易に、視覚的な画質の劣化を抑制しながら圧縮率を調整することができる。

図２Ａの場合と同様に、この圧縮率は可変とすることもできるが、バス１２１の最大伝送可能帯域幅はハードウエア要因により固定されるので、圧縮率は固定とするのが望ましい。圧縮率調整部１４３は、圧縮率を調整した符号化データを出力部１１４に出力する。

このような構成としても、圧縮部１１３は、画像データ（RAWデータ）を簡易圧縮することができる。

なお、一般的に画像圧縮などにおいては、２次元の離散コサイン変換が利用される場合もあるが、２次元の離散コサイン変換は、１次元の離散コサイン変換と比べると処理が複雑であり、回路規模が増大する恐れがある。１次元DCT処理部１４４は、画像データに対して１次元の離散コサイン変換を行うことにより、２次元の離散コサイン変換を行う場合よりも、容易に変換データを得ることができる。つまり、圧縮部１１３の回路規模の増大を抑制することができる。

以上に２つの例を挙げたが、簡易圧縮は、これらの例に限らない。

＜伸張部＞
図３は、伸張部１３２の主な構成例を示すブロック図である。図３Ａに示される例の場合、伸張部１３２は、図２Ａの例の圧縮部１１３に対応する方法で符号化データを伸張する。図３Ａに示されるように、この場合の伸張部１３２は、圧縮率逆調整部１５１、ゴロム復号部１５２、および逆DPCM処理部１５３を有する。

圧縮率逆調整部１５１は、入力部１３１から供給された符号化データに対して、圧縮率調整部１４３の処理の逆処理を行い、ゴロム符号化部１４２が生成したゴロム符号を復元する。圧縮率逆調整部１５１は、復元したゴロム符号をゴロム復号部１５２に供給する。

ゴロム復号部１５２は、圧縮率逆調整部１５１から供給されたゴロム符号を、ゴロム符号化部１４２の符号化方法に対応する方法で復号し、DPCM処理部１４１が生成した差分値を復元する。ゴロム復号部１５２は、復元した差分値を逆DPCM処理部１５３に供給する。

逆DPCM処理部１５３は、ゴロム復号部１５２から供給された差分値に対して逆DPCM処理（DPCM処理部１４１が行ったDPCMの逆処理）を行い、各画素データを復元する。逆DPCM処理部１５３は、復元した画素データの集合を画像データとして伸張部１３２の外部に出力する。

このような構成とすることにより、伸張部１３２は、圧縮部１１３により生成された符号化データを正しく復号することができる。つまり、伸張部１３２は、画像データ（RAWデータ）の簡易圧縮を実現することができる。

また、図３Ｂに示される例の場合、伸張部１３２は、図２Ｂの例の圧縮部１１３に対応する方法で符号化データを伸張する。図３Ｂに示されるように、この場合の伸張部１３２は、圧縮率逆調整部１５１および１次元逆DCT（IDCT（Inverse Discrete Cosine Transform）とも称する）１５４を有する。

圧縮率逆調整部１５１は、入力部１３１から供給された符号化データに対して、圧縮率調整部１４３の処理の逆処理を行い、１次元DCT処理部１４４が生成した変換データを復元する。圧縮率逆調整部１５１は、復元した変換データを１次元逆DCT処理部１５４に供給する。

１次元逆DCT処理部１５４は、圧縮率逆調整部１５１から供給された変換データに対して逆DCT処理（１次元DCT処理部１４４が行ったDCTの逆処理）を行い、各画素データを復元する。１次元逆DCT処理部１５４は、復元した画素データの集合を画像データとして伸張部１３２の外部に出力する。

このような構成とすることにより、伸張部１３２は、圧縮部１１３により生成された符号化データを正しく復号することができる。つまり、伸張部１３２は、画像データ（RAWデータ）の簡易圧縮を実現することができる。

＜撮像処理の流れ＞
次に、図１Ａの撮像素子１００により実行される撮像処理の流れの例を、図４のフローチャートを参照して説明する。

この撮像処理は、撮像素子１００が、被写体を撮像し、その被写体の画像の画像データを得る際に実行される。

撮像処理が開始されると、ステップＳ１０１において、受光部１１１は、有効画素領域の各単位画素において、入射光を光電変換する。ステップＳ１０２において、A/D変換部１１２は、ステップＳ１０１の処理により得られた各単位画素の画素信号（アナログデータ）を、それぞれ、A/D変換する。

ステップＳ１０３において、圧縮部１１３は、ステップＳ１０２の処理により得られた、デジタルデータの画素データの集合である画像データを圧縮することにより、符号化データを生成する。

ステップＳ１０４において、出力部１１４は、ステップＳ１０３の処理により得られた符号化データを、撮像素子１００の外部（バス１２１）に出力する。

ステップＳ１０４の処理が終了すると、撮像処理が終了する。

＜圧縮処理の流れ＞
次に、図５のフローチャートを参照して、図４のステップＳ１０３において実行される圧縮処理の流れの例を説明する。最初に、図５Ａのフローチャートを参照して、図２Ａの例の圧縮部１１３により実行される圧縮処理の流れの例を説明する。

圧縮処理が開始されると、図２ＡのDPCM処理部１４１は、ステップＳ１２１において、画像データに対して、処理順が連続する画素データ同士の差分値を求めるDPCM処理を行う。

ステップＳ１２２において、ゴロム符号化部１４２は、ステップＳ１２１の処理により得られた各差分値をゴロム符号化する。

ステップＳ１２３において、圧縮率調整部１４３は、ステップＳ１２２の処理により得られたゴロム符号に対して、例えばデータを付加する等して、符号化データの圧縮率を調整する。

ステップＳ１２３の処理により、圧縮部１１３に入力された画像データに対して所定の圧縮率の符号化データが得られると、圧縮処理が終了し、処理は、図４に戻る。

以上のように各処理を実行することにより、撮像素子１００は、コストを増大させずに、より大容量のデータをより高速に出力することができ、撮像性能を向上させることができる。

次に、図５Ｂのフローチャートを参照して、図２Ｂの例の圧縮部１１３により実行される圧縮処理の流れの例を説明する。

圧縮処理が開始されると、図２Ｂの１次元DCT処理部１４４は、ステップＳ１３１において、１次元の画像データを離散コサイン変換する。

ステップＳ１３２において、圧縮率調整部１４３は、ステップＳ１３１の処理により得られた変換データに対して、例えば高域成分を破棄する等して、符号化データの圧縮率を調整する。

ステップＳ１３２の処理により、圧縮部１１３に入力された画像データに対して所定の圧縮率の符号化データが得られると、圧縮処理が終了し、処理は、図４に戻る。

以上のように各処理を実行することにより、撮像素子１００は、コストを増大させずに、より大容量のデータをより高速に出力することができ、撮像性能を向上させることができる。

＜画像処理の流れ＞
次に、図６のフローチャートを参照して、図１Ａの画像処理装置１３０により実行される画像処理の流れの例を説明する。

この画像処理は、画像処理装置１３０が、撮像素子１００から出力される符号化データを処理する際に実行される。

画像処理が開始されると、画像処理装置１３０の入力部１３１は、ステップＳ１４１において、撮像素子１００より出力され、バス１２１を介して伝送される符号化データを受け取る。

ステップＳ１４２において、伸張部１３２は、ステップＳ１４１の処理により受け取られた符号化データを伸張する。画像処理装置１３０は、ステップＳ１４３において、ステップＳ１４２の処理により得られた画像データを画像処理する。ステップＳ１４３の処理が終了すると、画像処理が終了する。

＜伸張処理の流れ＞
次に、図７のフローチャートを参照して、図６のステップＳ１４２において実行される伸張処理の流れの例を説明する。最初に、図７Ａのフローチャートを参照して、図３Ａの例の伸張部１３２により実行される伸張処理の流れの例を説明する。

伸張処理が開始されると、図３Ａの圧縮率逆調整部１５１は、ステップＳ１６１において、符号化データの圧縮率の逆調整（すなわち、図５ＡのステップＳ１２３の処理の逆処理）を行うことにより、圧縮率を調整する前のゴロム符号を復元する。

ステップＳ１６２において、ゴロム復号部１５２は、ステップＳ１６１の処理により得られた各ゴロム符号を復号し、画素データ同士の差分値を復元する。

ステップＳ１６３において、逆DPCM処理部１５３は、ステップＳ１６２の処理により得られた差分値を用いてDPCM逆処理（すなわち、図５ＡのステップＳ１２１の処理の逆処理）を行う。つまり、逆DPCM処理部１５３は、差分値同士を加算する等して、各単位画素の画素データを復元する。

ステップＳ１６３の処理により画像データが得られると、伸張処理が終了し、処理は、図６に戻る。

以上のように各処理を実行することにより、画像処理装置１３０は、撮像素子１００から出力される符号化データを適切に復号することができる。つまり、画像処理装置１３０は、コストを増大させずに、撮像素子１００の撮像性能を向上させることができる。

次に、図７Ｂのフローチャートを参照して、図３Ｂの例の伸張部１３２により実行される伸張処理の流れの例を説明する。

伸張処理が開始されると、図３Ｂの圧縮率逆調整部１５１は、ステップＳ１７１において、符号化データの圧縮率の逆調整（すなわち、図５ＢのステップＳ１３２の処理の逆処理）を行うことにより、圧縮率を調整する前の変換データを復元する。

ステップＳ１７２において、１次元逆DCT処理部１５４は、ステップＳ１７１の処理により得られた変換データに対して１次元の逆離散コサイン変換を行うことにより、各単位画素の画素データ（すなわち画像データ）を復元する。

ステップＳ１７２の処理により画像データが得られると、伸張処理が終了し、処理は、図６に戻る。

以上のように各処理を実行することにより、画像処理装置１３０は、撮像素子１００から出力される符号化データを適切に復号することができる。つまり、画像処理装置１３０は、コストを増大させずに、撮像素子１００の撮像性能を向上させることができる。

＜前処理＞
なお、撮像素子１００が、圧縮の前処理として、画像データに対して所定の信号処理を行うようにしてもよい。

図８は、その場合の撮像素子１００の主な構成例を示す図である。図８に示されるように、この場合、撮像素子１００は、図１を参照して上述した構成に加え、前処理部１６０を有する。

前処理部１６０は、A/D変換部１１２から供給される画像データ（RAWデータ）に対して、前処理として所定の信号処理を施す。前処理部１６０は、前処理を行った画像データを圧縮部１１３に供給する。

圧縮部１１３は、図１の場合と同様に、前処理部１６０から供給された画像データを、所定の方法で圧縮することにより符号化データを生成し、その符号化データを出力部１１４に供給する。

出力部１１４は、図１の場合と同様に、圧縮部１１３から供給される符号化データを撮像素子１００の外部に出力する。

図９は、前処理部１６０のより具体的な例を説明する図である。図９Ａの場合、撮像素子１００は、前処理部１６０として欠陥補正部１６１を有する。

欠陥補正部１６１は、処理対象の単位画素（カレント単位画素）の画素データを、その周辺画素の画素データと比較し、極端にレベルが異なる場合（例えば、カレント単位画素と周辺画素とで画素データのレベル差が所定の閾値以上である場合）、カレント単位画素を欠陥画素と判定し、その画素データを補正する。欠陥補正部１６１は、全ての単位画素について以上のような欠陥補正を行うと、補正後の画像データを圧縮部１１３に供給する。

図９Ｂの場合、撮像素子１００は、前処理部１６０として欠陥位置検出部１６２を有する。

欠陥位置検出部１６２は、カレント単位画素の画素データを、その周辺画素の画素データと比較し、極端にレベルが異なる場合（例えば、カレント単位画素と周辺画素とで画素データのレベル差が所定の閾値以上である場合）、カレント単位画素を欠陥画素と判定する。欠陥位置検出部１６２は、欠陥画素を特定すると、その位置情報を圧縮部１１３に供給し、出力部１１４から撮像素子１００の外部に出力させる。画像処理装置１３０は、撮像素子１００から出力されるこの位置情報に基づいて欠陥画素の位置を特定し、その特定した位置の画素の画素データを補正する。つまり、この場合、撮像素子１００（欠陥位置検出部１６２）は、欠陥画素の位置を特定するのみであり、実際の補正は、画像処理装置１３０が行う。

図９Ｃの場合、撮像素子１００は、前処理部１６０としてNR（Noise Reduction）処理部１６３を有する。

NR処理部１６３は、画像データに対して、例えば、エッジ部を判定して平滑化するコアリングや、複数の周辺画素の画素データの中央値をカレント単位画素の画素データとして適用するメディアンフィルタ等の、所定のフィルタ処理を行うことで、画像データに含まれるノイズ成分を低減させる処理を行う。NR処理部１６３は、フィルタ処理後の画像データを圧縮部１１３に供給する。

撮像素子１００は、圧縮の前に、以上のような欠陥画素補正やフィルタ処理を行うことにより、画素データのばらつきを抑制することができる。したがって、画素データ同士の差分を抑制することができるので、圧縮効率を向上させることができる。また、処理順において連続する画素データの値の変化を抑制することができるので、撮像素子１００は、各ビットのトグルを低減させることができ、消費電力を抑制することができる。

なお、前処理の処理内容は任意であり、上述した３例に限らない。また、前処理として複数の処理が行われるようにしてもよい。例えば、前処理部１６０が上述した例の内の、複数の処理を前処理として行うようにしてもよい。もちろん、この複数の処理に含まれる各処理の内容もそれぞれ任意である。

次に、図８の撮像素子１００により実行される撮像処理の流れの例を、図１０のフローチャートを参照して説明する。この撮像処理は、撮像素子１００が、被写体を撮像し、その被写体の画像の画像データを得る際に実行される。

撮像処理が開始されると、ステップＳ１８１およびステップＳ１８２の各処理が、図４のステップＳ１０１およびステップＳ１０２の各処理と同様に実行される。ステップＳ１８３において、前処理部１６０は、ステップＳ１８２の処理により得られた画像データに対して、前処理を行う。

ステップＳ１８３の処理が終了すると、ステップＳ１８４およびステップＳ１８５の処理が、図４のステップＳ１０３およびステップＳ１０４の各処理と同様に行われる。

以上のように各処理を実行することにより、撮像素子１００は、圧縮効率を向上させ、消費電力を抑制することができる。

なお、図９Ａ乃至図９Ｃを参照して説明したように、前処理部１６０として、欠陥補正部１６１やNR処理部１６３を適用する場合、上述したステップＳ１８３の処理において、前処理として、欠陥画素補正やNR処理を行うようにすればよい。

＜動画像と静止画像の処理＞
撮像素子１００が撮像して得る画像データは、動画像であっても、静止画像であってもよい。また、撮像素子１００が、動画像および静止画像の両方を得ることができるようにしても良い。例えば、撮像素子１００が、動画像を撮像中に静止画像を撮像することができるようにしてもよい。その場合、撮像素子１００は、図１１に示されるように、動画像の画像データを出力するのと並行して、静止画像の画像データも出力しなければならない。すなわち、この場合、撮像素子１００は、単に動画像の画像データを出力するよりも、より大量の画像データを出力しなければならない。

ところで、一般的に、静止画像は動画像よりも高解像度で表示されたり、処理されたりすることが多い。そのため、動画像と静止画像の両方の撮像を行う場合、受光部１１１において得られる画像データの画像は、動画像よりも高解像度の静止画像よりも高解像度（少なくとも静止画像と同一の解像度）である必要がある。ただし、その受光部１１１において得られる画像データの画像を、動画像として出力する場合も、その解像度のまま撮像素子１００から出力しようとすると、撮像素子１００は、不要に高解像度の動画像を出力することになる。つまり、撮像素子１００は、単位時間当たりに大量のデータを出力しなければならず、帯域不足が生じる恐れがある。

例えば、図１１に示されるように、受光部１１１において得られる画像データの画像の解像度をフルサイズとし、撮像素子１００が静止画像をそのフルサイズの解像度のまま出力するとする。このとき、撮像素子１００が、動画像も、このフルサイズの解像度のまま出力するとすると、データ量がバス１２１の帯域幅に対して大き過ぎ、フレームレートに応じた時間内に各フレームの画像データを出力させる（遅延なく出力させる）ことができなくなる恐れがあった。特に、図１１の例のように、動画像と静止画像を並行して出力する場合、出力するデータ量がさらに増大するので、各フレームの画像データを遅延なく出力させることがより困難になる恐れがあった。

そこで、図１１の例のように、受光部１１１において得られる画像が動画像の場合、撮像素子１００が、モジュール内において、圧縮する前に、各フレームの画像データに対して画像サイズの縮小処理を行うようにしてもよい。図１１の例の場合、撮像素子１００は、圧縮の前に、画像サイズがフルサイズの各フレーム画像を、フルサイズよりも小さいフルHDサイズに縮小している。

このようにすることにより、撮像素子１００は、モジュール内において、圧縮の前に、動画像の画像データのデータ量を低減させることができ、バス１２１の帯域制限の影響を抑制することができ、コストを増大させずに（出力部１１４のI/OセルやI/Oピンの数を増大させずに）、例えば、動画像のフレームレートの高速化や、動画像撮像中の静止画像の撮像等といった、動画像に関する撮像性能を向上させることができる。

なお、撮像素子１００が、撮像して得られる画像が静止画像の場合、このような画像の縮小処理は省略し、得られたときの解像度のままその画像データを圧縮する。図１１の例の場合、撮像素子１００は、静止画像を、フルサイズのまま出力する。したがって、撮像素子１００は、静止画像の画質の低減を抑制しながら、動画像に関する撮像性能を向上させることができる。

図１２は、その場合の撮像素子１００の主な構成例を示すブロック図である。図１２の例の場合、撮像素子１００は、図１を参照して上述した構成に加え、制御部１７１および画像縮小部１７２を有する。換言するに、撮像素子１００は、図８の場合の前処理部１６０として、制御部１７１および画像縮小部１７２を有するとも言える。

制御部１７１は、A/D変換部１１２から供給される画像データ（RAWデータ）の画像が、動画像（のフレーム画像）であるか、静止画像であるかを判定する。この判定方法は任意である。例えば、制御部１７１が、パラメータセットやヘッダ等のメタデータを参照し、そこに含まれる、例えばフォーマットに関する情報等のような、画像に関する情報に基づいて判定を行うようにしてもよいし、画像データを解析することにより、動画像であるか静止画像であるかを判定するようにしてもよい。

制御部１７１は、動画像（のフレーム画像）であると判定した場合、A/D変換部１１２から供給される画像データ（RAWデータ）を画像縮小部１７２に供給する。また、静止画像であると判定した場合、制御部１７１は、A/D変換部１１２から供給される画像データ（RAWデータ）を前処理部１６０に供給する。

画像縮小部１７２は、制御部１７１から供給された画像データに対して、画像サイズの縮小処理を行う。この画像サイズを縮小する方法は、任意である。例えば、撮像素子１００が、フレーム画像の一部の領域を切りだしたり、画素を所定の間隔で間引いたりすることにより、各フレーム画像の画像サイズを縮小するようにしてもよい。また、縮小後の画像サイズは任意である。

画像縮小部１７２は、画像サイズを縮小した画像データ（フレーム画像の画像データ）を前処理部１６０に供給する。

前処理部１６０は、制御部１７１から供給された静止画像の画像データ、若しくは、画像縮小部１７２から供給された動画像のフレーム画像の画像データに対して、所定の信号処理を圧縮前の前処理として施す。前処理部１６０は、前処理を行った画像データを圧縮部１１３に供給する。

圧縮部１１３は、図８の場合と同様に、前処理部１６０から供給された画像データを、所定の方法で圧縮することにより符号化データを生成し、その符号化データを出力部１１４に供給する。

出力部１１４は、図１の場合と同様に、圧縮部１１３から供給される符号化データを撮像素子１００の外部に出力する。

以上のように、撮像素子１００は、モジュール内（LSIチップ内）において、受光部１１１において得られた画像データの画像が動画像（のフレーム画像）であるか静止画像であるかを判定し、動画像であると判定した場合、画像サイズを縮小してから圧縮して出力する。また、撮像素子１００は、受光部１１１において得られた画像データの画像が静止画像であると判定した場合、画像サイズを縮小せずに圧縮して出力する。

このようにすることにより、撮像素子１００は、静止画像の画質の低減を抑制しながら、動画像に関する撮像性能を向上させることができる。

次に、図１２の撮像素子１００により実行される撮像処理の流れの例を、図１３のフローチャートを参照して説明する。この撮像処理は、撮像素子１００が、被写体を撮像し、その被写体の画像の画像データを得る際に実行される。

撮像処理が開始されると、ステップＳ２０１およびステップＳ２０２の各処理が、図１０のステップＳ１８１およびステップＳ１８２の各処理と同様に実行される。ステップＳ２０３において、制御部１７１は、ステップＳ２０２の処理により得られた画像データの画像が動画像のフレーム画像であるか、静止画像であるかを判定する。動画像であると判定された場合、処理は、ステップＳ２０４に進む。

ステップＳ２０４において、画像縮小部１７２は、ステップＳ２０２の処理により得られた画像データの画像を縮小する。ステップＳ２０４の処理が終了すると、処理はステップＳ２０５に進む。また、ステップＳ２０３において、ステップＳ２０２の処理により得られた画像データの画像が静止画像であると判定された場合、処理は、ステップＳ２０５に進む。

画像サイズが縮小された動画像のフレーム画像の画像データ、若しくは、画像サイズが縮小されていない静止画像の画像データに対して、ステップＳ２０５乃至ステップＳ２０７の各処理は、図１０のステップＳ１８３乃至ステップＳ１８５の各処理と同様に実行される。

以上のように各処理を実行することにより、撮像素子１００は、静止画像の画質の低減を抑制しながら、動画像に関する撮像性能を向上させることができる。

＜単基板＞
以上においては、撮像素子１００は、互いに重畳された２の半導体基板１０１および１０２を有するように説明したが、撮像素子１００の半導体基板の数は任意である。例えば、図１４に示されるように、受光部１１１乃至出力部１１４の半導体基板（単基板）が、全て同一の基板に形成されるようにしても良い。

図１４Ａの例の場合、撮像素子１００が有する、図１の場合と同様の受光部１１１乃至出力部１１４は、全て同一の半導体基板１８１に形成される。つまり、撮像素子１００は、１の半導体基板１８１を有する。したがって、図１４Ｂに示されるように、半導体基板１８１は、積層構造を形成しない。

ただし、撮像素子１００が有する回路は、図１の場合と同様であるので、撮像素子１００は、図４の場合と同様の撮像処理を実行することができる。つまり、撮像素子１００は、コストを増大させずに、より大容量のデータをより高速に出力することができ、撮像性能を向上させることができる。

＜複数基板＞
もちろん、撮像素子１００が有する半導体基板の数は、３以上であってもよい。図１５は、撮像素子１００が３の半導体基板を有する場合の、撮像素子１００の主な構成例を示す図である。

図１５Ａの例の場合、撮像素子１００は、半導体基板１０１および半導体基板１０２に加え、斜線模様で示される半導体基板１９１を有する。半導体基板１９１に形成される回路は、半導体基板１０１および半導体基板１０２に形成される回路と、ビアにより接続される。

図１５Ｂに示されるように、半導体基板１０１および半導体基板１０２、並びに、半導体基板１９１は、互いに重畳されて封止されてモジュール化され、多層構造（積層構造）を形成する。

３層目の半導体基板１９１には、任意の回路を形成することができる。図１５Ａに示される例の場合、半導体基板１９１には、画像データが圧縮された符号化データを記憶する記憶部１９３が形成される。また、半導体基板１０２には、その記憶部１９３のデータの入出力を制御する記憶制御部１９２がさらに形成される。

記憶制御部１９２は、記憶部１９３へのデータの書き込みや、記憶部１９３からのデータの読み出し等を制御する。例えば、記憶制御部１９２は、圧縮部１１３から供給される符号化データを記憶部１９３に供給し、記憶させる。また、記憶制御部１９２は、例えば所定のタイミングにおいて、若しくは、他の要求に基づいて、記憶部１９３に記憶されている符号化データを読み出して出力部１１４に供給する。

記憶部１９３は、例えばハードディスクやフラッシュメモリ等、任意の記憶デバイス（不揮発性であっても揮発性であってもよい）により構成される。記憶部１９３は、記憶制御部１９２から供給された符号化データをその記憶領域に記憶する。記憶部１９３は、また、記憶制御部１９２により要求された符号化データをその記憶領域から読み出し、記憶制御部１９２に供給する。

記憶部１９３の容量は任意であるが、半導体基板１０１や半導体基板１０２とは異なる半導体基板１９１に設けるようにしたので、比較的容易に大容量の記憶領域を形成することができる。したがって、例えば、記憶部１９３は、過去に処理されたフレーム画像の画像データを記憶するフレームメモリとしてもよい。

このように記憶部１９３をモジュール内部に設けることにより、撮像素子１００は、任意のタイミングで符号化データを出力することができる。

なお、上述したように、圧縮部１１３が画像データを圧縮することにより、記憶部１９３に記憶するデータ量を低減させることができる。つまり、より多くのデータを記憶部１９３に格納することができるようになる。つまり、記憶部１９３の記憶領域をより有効に利用することができる。

なお、記憶部１９３に書き込まれるデータ、および、記憶部１９３から読み出されるデータは、メモリバス（記憶制御部１９２と記憶部１９３との間の両矢印）を伝送されるが、圧縮部１１３が画像データを圧縮することにより、記憶部１９３に入出力されるデータのデータ量が低減されるので、撮像素子１００は、記憶部１９３に対する符号化データの入出力によるメモリバスの帯域占有量を低減させることができる。つまり、撮像素子１００は、コストを増大させずに、メモリバスの利用効率を向上させ、記憶部１９３に対して、符号化データをより高速に入出力することができる。

特に、図１５の例のように、互いに異なる半導体基板の回路同士を結ぶバスの場合、そのバスの一部としてビアが構成される。このようなバスを拡張すると、ビア数を増大させなければならない。しかしながら、ビア数を増大させると回路規模（面積）の増大が顕著であり、コストの増大を抑制するためには、ビア数の増加を抑制するのが望ましい。したがって、上述したように、圧縮部１１３が画像データを圧縮してバスの利用効率を向上させることにより、撮像素子１００は、コストの増大をより効果的に抑制することができる。

もちろん、半導体基板１９１に形成する回路構成は任意であり、記憶部１９３以外の回路素子であってもよい。つまり、符号化データが伝送される、半導体基板１０２の回路構成と半導体基板１９１の回路構成との間のバスは、メモリバス以外のバスであってもよい。

もちろん、撮像素子１００が、４層以上の積層構造を形成する半導体基板を有するようにしてもよい。

次に、図１５の撮像素子１００により実行される撮像処理の流れの例を、図１６のフローチャートを参照して説明する。この撮像処理は、撮像素子１００が、被写体を撮像し、その被写体の画像の画像データを得る際に実行される。

撮像処理が開始されると、ステップＳ２２１乃至ステップＳ２２３の各処理が、図４のステップＳ１０１乃至ステップＳ１０２の各処理と同様に実行される。ステップＳ２２４において、記憶制御部１９２は、ステップＳ２２３の処理により得られた符号化データを記憶部１９３に記憶する。

ステップＳ２２５において、記憶制御部１９２は、記憶部１９３に記憶されている符号化データを読み出す。

ステップＳ２２６において、出力部１１４は、ステップＳ２２５の処理により、記憶部１９３から読み出された符号化データを出力する。

以上のように各処理を実行することにより、撮像素子１００は、任意のタイミングで符号化データを出力することができる。

＜モジュール内用圧縮＞
なお、モジュール内部のバスを伝送させるデータを圧縮する圧縮部は、撮像素子１００の外部に出力するデータを圧縮する圧縮部とは独立して設けるようにしてもよい。

図１７の例の場合、撮像素子１００は、図８の例の場合と同様に、半導体基板１０２に前処理部１６０を有する。また、撮像素子１００は、図１５の場合と同様に、積層構造を形成する半導体基板１０１、半導体基板１０２、および半導体基板１９１を有し、半導体基板１０２に形成される記憶制御部１９２と、半導体基板１９１に形成される記憶部１９３を有する。記憶部１９３は、その前処理部１６０に提供する画像データ（符号化データ）を記憶する。そのため、撮像素子１００は、図１７に示されるように、半導体基板１０２に、圧縮部１１３とは別の圧縮部２０１をさらに有する。また、この場合、前処理部１６０には、非圧縮の画像データを供給する必要があるので、撮像素子１００は、図１７に示されるように、半導体基板１０２に伸張部２０２をさらに有する。

圧縮部２０１は、A/D変換部１１２から供給される画像データ（RAWデータ）を、所定の方法で圧縮することにより、符号化データを生成する。この符号化データのデータ量は、圧縮前の画像データより小さい。つまり、圧縮部２０１は画像データのデータ量を低減させる。なお、圧縮部２０１の圧縮方法は、任意であり、圧縮部１１３の圧縮方法と同一であってもよいし、異なっていても良い。ただし、圧縮部２０１の圧縮方法も、圧縮部１１３の場合と同様の理由により、より小さな規模の回路で実現可能な、より簡易な圧縮方法とするのが望ましい。

圧縮部２０１は、画像データを符号化して得られた符号化データを記憶制御部１９２に供給する。

記憶制御部１９２は、圧縮部２０１から供給される符号化データを記憶部１９３に供給する。記憶部１９３は、記憶制御部１９２から供給された符号化データを記憶する。記憶制御部１９２は、例えば所定のタイミングにおいて、若しくは、他の要求に基づいて、記憶部１９３に記憶されている符号化データを読み出して伸張部２０２に供給する。

伸張部２０２は、記憶制御部１９２から供給された符号化データを、圧縮部２０１の圧縮方法に対応する方法で伸張し、画像データを復元する。伸張部２０２は、得られた画像データを前処理部１６０に供給する。この画像データは、非圧縮の状態である。前処理部１６０は、図８の場合と同様に、伸張部２０２から供給される画像データ（RAWデータ）に対して、前処理として所定の信号処理を施す。前処理部１６０は、前処理を行った画像データを圧縮部１１３に供給する。

圧縮部１１３は、図８の場合と同様に、前処理部１６０から供給された画像データを、所定の方法で圧縮することにより符号化データを生成し、その符号化データを出力部１１４に供給する。

出力部１１４は、図８の場合と同様に、圧縮部１１３から供給される符号化データを撮像素子１００の外部に出力する。

このようにすることにより、前処理部１６０が、記憶部１９３に記憶された過去のデータを用いて信号処理を行うことができる。つまり、前処理部１６０が、より多様な処理を行うことができるようになる。

また、図１５の場合と同様に、圧縮部２０１が画像データを圧縮することにより、撮像素子１００は、記憶部１９３の記憶領域をより有効に利用することができる。また、撮像素子１００は、コストを増大させずに、メモリバスの利用効率を向上させ、記憶部１９３に対して、符号化データをより高速に入出力することができる。

もちろん、半導体基板１９１に形成する回路構成は任意であり、記憶部１９３以外の回路素子であってもよい。つまり、符号化データが伝送される、半導体基板１０２の回路構成と半導体基板１９１の回路構成との間のバスは、メモリバス以外のバスであってもよい。

なお、図１７の例においては、圧縮部２０１と伸張部２０２がどちらも半導体基板１０２に形成されている（すなわち、互いに同一の半導体基板に形成されている）が、これに限らず、例えば、圧縮部２０１と伸張部２０２とが互いに異なる半導体基板に形成されるようにしてもよい。

例えば、２の半導体基板の回路同士を接続するバスの一方の端に圧縮部２０１を設け、他方の端に伸張部２０２を設けるようにしてもよい。このように構成することにより、帯域幅の制限を受け易い半導体基板間のバスにおいてのみ、画像データを圧縮して伝送することができる。

もちろん、撮像素子１００が、４層以上の積層構造を形成する半導体基板を有するようにしてもよい。

次に、図１７の撮像素子１００により実行される撮像処理の流れの例を、図１８のフローチャートを参照して説明する。この撮像処理は、撮像素子１００が、被写体を撮像し、その被写体の画像の画像データを得る際に実行される。

撮像処理が開始されると、ステップＳ２４１およびステップＳ２４２の各処理が、図１６のステップＳ２２１およびステップＳ２２２の各処理と同様に実行される。ステップＳ２４３において、圧縮部２０１は、ステップＳ２４２の処理によりA/D変換して得られた画像データを圧縮する。この圧縮方法は、上述したように任意である。例えば、圧縮部２０１は、図５Ａや図５Ｂのフローチャートを参照して説明した方法のように、この圧縮処理を行うことができる。

ステップＳ２４４において、記憶制御部１９２は、ステップＳ２４３の処理により得られた符号化データを記憶部１９３に記憶させる。ステップＳ２４５において、記憶制御部１９２は、記憶部１９３により記憶されている符号化データを読み出す。

ステップＳ２４６において、伸張部２０２は、ステップＳ２４５の処理により記憶部１９３から読み出された符号化データを、ステップＳ２４３の圧縮処理に対応する方法で伸張する。この伸張方法は、ステップＳ２４３の圧縮処理に対応する方法である限り任意である。例えば、伸張部２０２は、図７Ａや図７Ｂのフローチャートを参照して説明した方法のように、この伸張処理を行うことができる。

ステップＳ２４７乃至ステップＳ２４９の各処理は、図１０のステップＳ１８３乃至ステップＳ１８５の各処理と同様に実行される。

以上のように各処理を実行することにより、撮像素子１００は、例えば任意のタイミングで前処理を実行することができる。

＜２．第２の実施の形態＞
＜撮像装置＞
図１９は、撮像装置の主な構成例を示すブロック図である。図１９に示される撮像装置３００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。

図１９に示されるように撮像装置３００は、制御部３１０および操作部３１１を有する。また、撮像装置３００は、光学部３３１、イメージセンサ３３２、入力部３３３、伸張部３３４、画像処理部３３５、コーデック処理部３３６、記録部３３７、通信部３３８、および表示部３３９を有する。

制御部３１０は、バス３２０を介して、光学部３３１乃至表示部３３９の各部と接続されており、これらの各部の動作を制御することにより、撮像装置３００全体の処理を制御する。

操作部３１１は、例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等により構成され、ユーザによる操作入力を受け、その操作入力に対応する信号（指示）を制御部３１０に供給する。制御部３１０は、その指示に従って、撮像装置３００の各部を制御する。

光学部３３１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。光学部３３１は、被写体からの光（入射光）を透過し、イメージセンサ３３２に供給する。

イメージセンサ３３２は、入射光を光電変換して画像データを得る。このイメージセンサ３３２として、第１の実施の形態において上述した撮像素子１００を適用する。これにより、撮像装置３００は、バス１２１の帯域制限の影響を抑制することができ、コストを増大させずに（出力部１１４のI/OセルやI/Oピンの数を増大させずに）、画像の高解像度化、静止画像の撮像から記録までの処理の高速化、連写数や連写速度の向上、動画像のフレームレートの高速化、動画像および静止画像の撮像等といった、撮像性能を向上させることができる。

つまり、イメージセンサ３３２は、第１の実施の形態において上述したように、得られた画像データを圧縮し、符号化データとしてイメージセンサ３３２の外部に出力する。イメージセンサ３３２より出力された符号化データは、バス３４１を介して入力部３３３に供給される。

入力部３３３は、バス３４１を介して伝送される符号化データを受け取る。入力部３３３は、受け取った符号化データを伸張部３３４に供給する。

伸張部３３４は、第１の実施の形態において上述した伸張部１３２と同様に、入力部３３３から供給された符号化データを、イメージセンサ３３２による圧縮方式に対応する伸張方式で伸張し、画像データを復元する。伸張部３３４は、復元した画像データを画像処理部３３５に供給する。

画像処理部３３５は、伸張部３３４から供給された画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。例えば、画像処理部３３５が、供給された画像データ（RAWデータ）に対してデモザイク処理や、高度な欠陥画素補正等の処理を行うようにしてもよい。また、例えば、操作部３１１を介して入力されたユーザ指示に従って、制御部３１０が、画像処理部３３５が実行する画像処理の内容を指定するようにしてもよい。

画像処理部３３５は、画像処理を施した画像データをコーデック処理部３３６に供給する。

コーデック処理部３３６は、適宜、画像データを符号化したり、符号化データを復号したりする。例えば、コーデック処理部３３６は、画像処理部３３５から供給される画像データを、画像データを符号化するのに適した所定の符号化方式により符号化し、得られた符号化データを記録部３３７に供給して記録させる。このコーデック処理部３３６では、撮像素子１００内部の場合よりも圧縮方法に関する制限が緩く、より任意の圧縮方法を適用することができる。例えば、JPEG（Joint Photographic Experts Group）、JPEG2000、MPEG（Moving Picture Experts Group）、AVC（Advanced Video Coding）、HEVC（High Efficiency Video Coding）等のような高度な圧縮方法を適用することができる。

また、例えば、コーデック処理部３３６は、画像処理部３３５から供給される画像データを、同様に符号化し、得られた符号化データを、通信部３３８を介して撮像装置３００の外部に出力する。さらに、例えば、コーデック処理部３３６は、記録部に記録された符号化データを読み出し、その符号化データを、通信部３３８を介して撮像装置３００の外部に出力する。

また、例えば、コーデック処理部３３６は、記録部に記録された符号化データを読み出し、その符号化データを生成した際の符号化方式に対応する復号方法で、その符号化データを復号して画像データを復元し、得られた画像データを表示部３３９に供給し、その画像データの画像を表示させる。さらに、例えば、コーデック処理部３３６は、画像処理部３３５から供給される画像データを表示部３３９に供給し、その画像データの画像を表示させる。

コーデック処理部３３６は、例えば制御部３１０の制御に従って、このような各種処理のいずれかを選択し、適宜必要な処理を行う。

記録部３３７は、例えば、ハードディスクやフラッシュメモリ等の任意の記録媒体を有し、コーデック処理部３３６から供給される符号化データを、その記録媒体に記録する。この記録媒体は、どのようなものであっても良く、撮像装置３００から着脱可能なリムーバブルメディアであってもよい。その場合、記録部３３７は、装着されたリムーバブルメディアに対してデータアクセス可能なドライブ（図示せず）と、そのドライブに装着されたリムーバブルメディアよりなる。記録部３３７は、複数の記録媒体を有していても良いし、複数種類の記録媒体を有していてもよい。

通信部３３８は、撮像装置３００の外部の装置と、所定の通信方式で通信を行う通信インタフェースである。この通信は、どのようなものであっても良く、有線通信であっても良いし、無線通信であっても良い。通信部３３８は、例えば、コーデック処理部から供給される符号化データを他の装置に送信する。

表示部３３９は、例えばLCD（Liquid Crystal Display）等の任意の表示デバイスを有し、コーデック処理部３３６から供給される画像データの画像をその表示デバイスに表示する。

上述したように、イメージセンサ３３２に、第１の実施の形態において説明した本技術を適用する。すなわち、イメージセンサ３３２として、撮像素子１００を適用する。したがって、イメージセンサ３３２は、バス３４１の帯域制限の影響を抑制することができ、コストを増大させずに撮像性能を向上させることができる。したがって撮像装置３００は、そのようなイメージセンサ３３２によって被写体を撮像することにより、より高品質な動画像や静止画像を得ることができる。

＜撮像処理の流れ＞
次に、以上のような撮像装置３００により実行される撮像処理の流れの例について、図２０のフローチャートを参照して説明する。

例えば、ユーザが、撮像装置３００の操作部３１１のシャッタボタン等を操作すると、被写体を撮像し、被写体の撮像画像を得る撮像処理が開始される。

撮像処理が開始されると、ステップＳ３０１において、イメージセンサ３３２は、例えば図４、図１０、図１３、図１６、または図１８のフローチャートを参照して説明したような方法で撮像処理を行い、被写体を撮像し、被写体の画像の画像データを圧縮した符号化データをバス３４１に出力する。このイメージセンサ３３２による撮像処理については、第１の実施の形態において説明したので、その説明は省略する。

ステップＳ３０２において、入力部３３３は、バス３４１を介して伝送される符号化データを受け取る。ステップＳ３０３において、伸張部３３４は、ステップＳ３０２の処理により受け取られた符号化データを、例えば、図７Ａや図７Ｂのフローチャートを参照して説明したような方法で伸張する。この伸張処理については、第１の実施の形態において説明したので、その説明は省略する。

ステップＳ３０４において、画像処理部３３５は、ステップＳ３３４の処理により得られた画像データに対して画像処理を行う。

ステップＳ３０５において、制御部３１０は、画像データの画像を表示するか否かを判定する。画像を表示すると判定された場合、処理は、ステップＳ３０６に進む。ステップＳ３０６において、表示部３３９は、ステップＳ３０４の処理により画像処理された画像データの画像を表示する。

ステップＳ３０６の処理が終了すると、処理は、ステップＳ３０７に進む。また、ステップＳ３０５において、画像を表示しないと判定された場合、処理は、ステップＳ３０７に進む。

ステップＳ３０７において、制御部３１０は、画像データを記録するか否かを判定する。記録すると判定された場合、処理は、ステップＳ３０８に進む。ステップＳ３０８において、コーデック処理部３３６は、ステップＳ３０４の処理により画像処理された画像データを符号化する。ステップＳ３０９において、記録部３３７は、ステップＳ３０８の処理により得られた符号化データを記録する。

ステップＳ３０９の処理が終了すると、処理は、ステップＳ３１０に進む。また、ステップＳ３０７において、画像データを記録しないと判定された場合、処理は、ステップＳ３１０に進む。

ステップＳ３１０において、制御部３１０は、画像データを、撮像装置３００の外部に出力するか否かを判定する。出力すると判定された場合、処理は、ステップＳ３１１に進む。ステップＳ３１１において、通信部３３８は、コーデック処理部３３６により符号化された符号化データを、所定の通信方式により、他の装置に送信する。ステップＳ３１１の処理が終了すると、撮像処理が終了する。

また、ステップＳ３１０において、画像データを出力しないと判定された場合、撮像処理が終了する。

以上のように撮像処理を行うことにより、撮像装置３００は、イメージセンサ３３２に、第１の実施の形態において説明した本技術を適用することができる。すなわち、イメージセンサ３３２は、バス３４１の帯域制限の影響を抑制することができ、コストを増大させずに撮像性能を向上させることができ、撮像装置３００は、そのようなイメージセンサ３３２によって被写体を撮像することにより、より高品質な動画像や静止画像を得ることができる。

＜動画像と静止画像の処理＞
なお、撮像装置３００は、イメージセンサ３３２に、第１の実施の形態において説明した本技術を適用することにより、動画像の撮像中に静止画像の撮像を行うことができる。

その場合の、撮像処理の流れの例を、図２１および図２２のフローチャートを参照して説明する。なお、イメージセンサ３３２は、図１２に示される例の構成を有するものとする。また、ここでは、撮像処理として、撮像により被写体の画像を撮像し、得られた画像データを記録部３３７に記録する処理について説明する。

撮像処理が開始されると、イメージセンサ３３２（撮像素子１００）の受光部１１１は、ステップＳ３３１において、入射光を光電変換する。

ステップＳ３３２において、A/D変換部１１２は、ステップＳ３３１において得られた各単位画素の画素信号をA/D変換し、デジタルデータの画像データを得る。

ステップＳ３３３において、制御部１７１は、ステップＳ３３２において得られた画像データの画像が動画像であるか否かを判定する。動画像であると判定された場合、処理は、ステップＳ３３４に進む。

ステップＳ３３４において画像縮小部１７２は、画像データの画像を縮小する。ステップＳ３３５において、前処理部１６０は、前処理を行う。ステップＳ３３６において、圧縮部１１３は、前処理された画像データを圧縮する。この圧縮処理の詳細の例は、図５Ａや図５Ｂのフローチャートを参照して説明したので、その説明は省略する。

ステップＳ３３７において、出力部１１４は、ステップＳ３３６の処理により得られた符号化データを、バス３４１を介して入力部３３３に伝送する。

ステップＳ３３８において、入力部３３３は、バス３４１を伝送された符号化データを受け取る。ステップＳ３３９において、伸張部３３４は、ステップＳ３３８の処理により受け取られた符号化データを伸張する。この伸張処理の詳細の例は、図７Ａや図７Ｂのフローチャートを参照して説明したので、その説明は省略する。

ステップＳ３４０において、画像処理部３３５は、ステップＳ３３９の処理により復元された画像データに対してデモザイク処理を行い、画像を現像する。ステップＳ３４１において、画像処理部３３５は、画像データに対して補正処理を行う。ステップＳ３４２において、画像処理部３３５は、画像データの画像の解像度を変換する。

ステップＳ３４３において、コーデック処理部３３６は、画像データを動画用の符号化方法で符号化する。ステップＳ３４４において、記録部３３７は、ステップＳ３４３の処理により得られた符号化データを記録する。

ステップＳ３４４の処理が終了すると、撮像処理が終了する。

また、ステップＳ３３３において、静止画像であると判定された場合、処理は、図２２に進む。

図２２のステップＳ３５１において、前処理部１６０は、画像サイズを縮小していない画像データに対して前処理を行う。ステップＳ３５２において、圧縮部１１３は、前処理された画像データを圧縮する。この圧縮処理の詳細の例は、図５Ａや図５Ｂのフローチャートを参照して説明したので、その説明は省略する。

ステップＳ３５３において、出力部１１４は、ステップＳ３５２の処理により得られた符号化データを、バス３４１を介して入力部３３３に伝送する。

ステップＳ３５４において、入力部３３３は、バス３４１を伝送された符号化データを受け取る。ステップＳ３５５において、伸張部３３４は、ステップＳ３３８の処理により受け取られた符号化データを伸張する。この伸張処理の詳細の例は、図７Ａや図７Ｂのフローチャートを参照して説明したので、その説明は省略する。

ステップＳ３５６において、制御部３１０は、画像データをRAWで記録するか否かを判定する。例えば、ユーザ指示等により、画像データを圧縮して記録すると判定された場合、処理は、ステップＳ３５７に進む。

ステップＳ３５７において、画像処理部３３５は、ステップＳ３５５の処理により復元された画像データに対してデモザイク処理を行い、画像を現像する。ステップＳ３５８において、画像処理部３３５は、画像データに対して補正処理を行う。ステップＳ３５９において、画像処理部３３５は、画像データの画像の解像度を変換する。

ステップＳ３６０において、コーデック処理部３３６は、画像データを静止画像用の符号化方法で符号化する。ステップＳ３６１において、記録部３３７は、ステップＳ３６０の処理により得られた符号化データを記録する。

ステップＳ３６１の処理が終了すると、撮像処理が終了する。

また、ステップＳ３５６において、画像データをRAWで記録すると判定された場合、処理は、ステップＳ３６２に進む。

ステップＳ３６２において、記録部３３７は、ステップＳ３５５の処理により復元された画像データ（RAWデータ）を記録する。

ステップＳ３６２の処理が終了すると、撮像処理が終了する。

以上のように撮像処理を行うことにより、撮像装置３００は、静止画像の画質の低減を抑制しながら、動画像に関する撮像性能を向上させることができる。

＜３．第３の実施の形態＞
＜コーデック処理部＞
図１９のコーデック処理部３３６は、どのような符号化方式のエンコーダを有するようにしても良い。例えば、HEVC方式のエンコーダを有するようにしてもよい。以下に、コーデック処理部３３６が有するHEVC方式のエンコーダの例について説明する。

図２３は、コーデック処理部３３６が有する符号化部の一例を示すブロック図である。図２３に示される符号化部４００は、コーデック処理部３３６が有するエンコーダであり、例えば、HEVC（High Efficiency Video Coding）の予測処理、またはそれに準ずる方式の予測処理を用いて動画像の画像データを符号化する。

図２３に示されるように符号化部４００は、A/D変換部４０１、画面並べ替えバッファ４０２、演算部４０３、直交変換部４０４、量子化部４０５、可逆符号化部４０６、蓄積バッファ４０７、逆量子化部４０８、および逆直交変換部４０９を有する。また、符号化部４００は、演算部４１０、ループフィルタ４１１、フレームメモリ４１２、イントラ予測部４１３、インター予測部４１４、予測画像選択部４１５、およびレート制御部４１６を有する。

A/D変換部４０１は、入力された画像データをA/D変換し、変換後の画像データ（デジタルデータ）を、画面並べ替えバッファ４０２に供給し、記憶させる。画面並べ替えバッファ４０２は、記憶した表示の順番のフレームの画像を、GOP（Group Of Picture）に応じて、符号化のためのフレームの順番に並べ替え、フレームの順番を並び替えた画像を、演算部４０３に供給する。また、画面並べ替えバッファ４０２は、フレームの順番を並び替えた画像を、イントラ予測部４１３およびインター予測部４１４にも供給する。

演算部４０３は、画面並べ替えバッファ４０２から読み出された画像から、予測画像選択部４１５を介してイントラ予測部４１３若しくはインター予測部４１４から供給される予測画像を減算し、その差分情報を直交変換部４０４に出力する。例えば、イントラ符号化が行われる画像の場合、演算部４０３は、画面並べ替えバッファ４０２から読み出された画像から、イントラ予測部４１３から供給される予測画像を減算する。また、例えば、インター符号化が行われる画像の場合、演算部４０３は、画面並べ替えバッファ４０２から読み出された画像から、インター予測部４１４から供給される予測画像を減算する。

直交変換部４０４は、演算部４０３から供給される差分情報に対して、離散コサイン変換やカルーネン・レーベ変換等の直交変換を施す。直交変換部４０４は、その変換係数を量子化部４０５に供給する。

量子化部４０５は、直交変換部４０４から供給される変換係数を量子化する。量子化部４０５は、レート制御部４１６から供給される符号量の目標値に関する情報に基づいて量子化パラメータを設定し、その量子化を行う。量子化部４０５は、量子化された変換係数を可逆符号化部４０６に供給する。

可逆符号化部４０６は、量子化部４０５において量子化された変換係数を任意の符号化方式で符号化する。係数データは、レート制御部４１６の制御の下で量子化されているので、この符号量は、レート制御部４１６が設定した目標値となる（若しくは目標値に近似する）。

また、可逆符号化部４０６は、イントラ予測のモードを示す情報などをイントラ予測部４１３から取得し、インター予測のモードを示す情報や差分動きベクトル情報などをインター予測部４１４から取得する。

可逆符号化部４０６は、これらの各種情報を任意の符号化方式で符号化し、符号化データ（符号化ストリームとも称する）のヘッダ情報の一部とする（多重化する）。可逆符号化部４０６は、符号化して得られた符号化データを蓄積バッファ４０７に供給して蓄積させる。

可逆符号化部４０６の符号化方式としては、例えば、可変長符号化または算術符号化等が挙げられる。可変長符号化としては、例えば、H．264/AVC方式で定められているCAVLC（Context-Adaptive Variable Length Coding）などが挙げられる。算術符号化としては、例えば、CABAC（Context-Adaptive Binary Arithmetic Coding）などが挙げられる。

蓄積バッファ４０７は、可逆符号化部４０６から供給された符号化データを、一時的に保持する。蓄積バッファ４０７は、所定のタイミングにおいて、保持している符号化データを、符号化部４００の外部に出力する。すなわち、蓄積バッファ４０７は、符号化データを伝送する伝送部でもある。

また、量子化部４０５において量子化された変換係数は、逆量子化部４０８にも供給される。逆量子化部４０８は、その量子化された変換係数を、量子化部４０５による量子化に対応する方法で逆量子化する。逆量子化部４０８は、得られた変換係数を、逆直交変換部４０９に供給する。

逆直交変換部４０９は、逆量子化部４０８から供給された変換係数を、直交変換部４０４による直交変換処理に対応する方法で逆直交変換する。逆直交変換された出力（復元された差分情報）は、演算部４１０に供給される。

演算部４１０は、逆直交変換部４０９から供給された逆直交変換結果である、復元された差分情報に、予測画像選択部４１５を介してイントラ予測部４１３若しくはインター予測部４１４からの予測画像を加算し、局所的に再構成された画像（以下、再構成画像と称する）を得る。その再構成画像は、ループフィルタ４１１またはイントラ予測部４１３に供給される。

ループフィルタ４１１は、デブロックフィルタや適応ループフィルタ等を含み、演算部４１０から供給される再構成画像に対して適宜フィルタ処理を行う。例えば、ループフィルタ４１１は、再構成画像に対してデブロックフィルタ処理を行うことにより再構成画像のブロック歪を除去する。また、例えば、ループフィルタ４１１は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

なお、ループフィルタ４１１が、再構成画像に対してさらに、他の任意のフィルタ処理を行うようにしてもよい。また、ループフィルタ４１１は、必要に応じて、フィルタ処理に用いたフィルタ係数等の情報を可逆符号化部４０６に供給し、それを符号化させるようにすることもできる。

ループフィルタ４１１は、フィルタ処理結果（以下、復号画像と称する）をフレームメモリ４１２に供給する。

フレームメモリ４１２は、供給される復号画像を記憶し、所定のタイミングにおいて、記憶している復号画像を参照画像としてインター予測部４１４に供給する。

イントラ予測部４１３は、演算部４１０から参照画像として供給される再構成画像である処理対象ピクチャ内の画素値を用いて予測画像を生成するイントラ予測（画面内予測）を行う。イントラ予測部４１３は、予め用意された複数のイントラ予測モードでこのイントラ予測を行う。

イントラ予測部４１３は、候補となる全てのイントラ予測モードで予測画像を生成し、画面並べ替えバッファ４０２から供給される入力画像を用いて各予測画像のコスト関数値を評価し、最適なモードを選択する。イントラ予測部４１３は、最適なイントラ予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部４１５に供給する。

また、上述したように、イントラ予測部４１３は、採用されたイントラ予測モードを示すイントラ予測モード情報等を、適宜可逆符号化部４０６に供給し、符号化させる。

インター予測部４１４は、画面並べ替えバッファ４０２から供給される入力画像と、フレームメモリ４１２から供給される参照画像とを用いてインター予測処理（動き予測処理および補償処理）を行う。より具体的には、インター予測部４１４は、インター予測処理として、動き予測を行って検出された動きベクトルに応じて動き補償処理を行い、予測画像（インター予測画像情報）を生成する。インター予測部４１４は、予め用意された複数のインター予測モードでこのようなインター予測を行う。

インター予測部４１４は、候補となる全てのインター予測モードで予測画像を生成する。インター予測部４１４は、画面並べ替えバッファ４０２から供給される入力画像と、生成した差分動きベクトルの情報などを用いて、各予測画像のコスト関数値を評価し、最適なモードを選択する。インター予測部４１４は、最適なインター予測モードを選択すると、その最適なモードで生成された予測画像を、予測画像選択部４１５に供給する。

インター予測部４１４は、採用されたインター予測モードを示す情報や、符号化データを復号する際に、そのインター予測モードで処理を行うために必要な情報等を可逆符号化部４０６に供給し、符号化させる。必要な情報としては、例えば、生成された差分動きベクトルの情報や、予測動きベクトル情報として、予測動きベクトルのインデックスを示すフラグなどがある。

予測画像選択部４１５は、演算部４０３や演算部４１０に供給する予測画像の供給元を選択する。例えば、イントラ符号化の場合、予測画像選択部４１５は、予測画像の供給元としてイントラ予測部４１３を選択し、そのイントラ予測部４１３から供給される予測画像を演算部４０３や演算部４１０に供給する。また、例えば、インター符号化の場合、予測画像選択部４１５は、予測画像の供給元としてインター予測部４１４を選択し、そのインター予測部４１４から供給される予測画像を演算部４０３や演算部４１０に供給する。

レート制御部４１６は、蓄積バッファ４０７に蓄積された符号化データの符号量に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部４０５の量子化動作のレートを制御する。

＜コーディングユニット＞
AVC（Advanced Video Coding）方式においては、マクロブロックとサブマクロブロックによる階層構造が規定されている。しかしながら、１６画素×１６画素のマクロブロックでは、次世代符号化方式の対象となるような、UHD（Ultra High Definition；４０００画素×２０００画素）といった大きな画枠に対して最適ではない。

これに対して、HEVC方式においては、図２４に示されるように、コーディングユニット（CU（Coding Unit））が規定されている。

CUは、Coding Tree Block（CTB）とも呼ばれ、AVC方式におけるマクロブロックと同様の役割を果たす、ピクチャ単位の画像の部分領域である。後者は、１６×１６画素の大きさに固定されているのに対し、前者の大きさは固定されておらず、それぞれのシーケンスにおいて、画像圧縮情報中において指定されることになる。

例えば、出力となる符号化データに含まれるシーケンスパラメータセット（SPS（Sequence Parameter Set））において、CUの最大サイズ（LCU（Largest Coding Unit））と最小サイズ（（SCU（Smallest Coding Unit））が規定される。

それぞれのLCU内においては、SCUのサイズを下回らない範囲で、split-flag=1とすることにより、より小さなサイズのCUに分割することができる。図２４の例では、LCUの大きさが１２８であり、最大階層深度が５となる。２Ｎ×２Ｎの大きさのCUは、split_flagの値が「１」である時、１つ下の階層となる、Ｎ×Ｎの大きさのCUに分割される。

更に、CUは、イントラ若しくはインター予測の処理単位となる領域（ピクチャ単位の画像の部分領域）であるプレディクションユニット（Prediction Unit（PU））に分割され、また、直交変換の処理単位となる領域（ピクチャ単位の画像の部分領域）である、トランスフォームユニット（Transform Unit（TU））に分割される。現在、HEVC方式においては、４×４及び８×８に加え、１６×１６及び３２×３２直交変換を用いることが可能である。

以上のHEVC方式のように、CUを定義し、そのCUを単位として各種処理を行うような符号化方式の場合、AVC方式におけるマクロブロックはLCUに相当し、ブロック（サブブロック）はCUに相当すると考えることができる。また、AVC方式における動き補償ブロックは、PUに相当すると考えることができる。ただし、CUは、階層構造を有するので、その最上位階層のLCUのサイズは、例えば128×128画素のように、AVC方式のマクロブロックより大きく設定されることが一般的である。

＜復号部＞
次に、HEVC方式の復号について説明する。図２５は、図２３の符号化部４００に対応するデコーダの主な構成例を示すブロック図である。

図２５に示される復号部５００は、コーデック処理部３３６が有する復号部であり、図２３の符号化部４００に対応する復号部である。つまり、復号部５００は、符号化部４００が生成した符号化データを、HEVC方式で復号する。

図２５に示されるように復号部５００は、蓄積バッファ５０１、可逆復号部５０２、逆量子化部５０３、逆直交変換部５０４、演算部５０５、ループフィルタ５０６、画面並べ替えバッファ５０７、およびD/A変換部５０８を有する。また、復号部５００は、フレームメモリ５０９、イントラ予測部５１０、インター予測部５１１、および予測画像選択部５１２を有する。

蓄積バッファ５０１は、伝送されてきた符号化データを受け取る受け取り部でもある。蓄積バッファ５０１は、伝送されてきた符号化データを受け取って、蓄積し、所定のタイミングにおいてその符号化データを可逆復号部５０２に供給する。符号化データには、予測モード情報などの復号に必要な情報が付加されている。可逆復号部５０２は、蓄積バッファ５０１より供給された、図２３の可逆符号化部４０６により符号化された情報を、HEVC方式で復号する。可逆復号部５０２は、復号して得られた差分画像の量子化された係数データを、逆量子化部５０３に供給する。

また、可逆復号部５０２は、最適な予測モードにイントラ予測モードが選択されたかインター予測モードが選択されたかを判定し、その最適な予測モードに関する情報を、イントラ予測部５１０およびインター予測部５１１の内、選択されたと判定したモードの方に供給する。つまり、例えば、符号化部４００において最適な予測モードとしてイントラ予測モードが選択された場合、その最適な予測モードに関する情報がイントラ予測部５１０に供給される。また、例えば、符号化部４００において最適な予測モードとしてインター予測モードが選択された場合、その最適な予測モードに関する情報がインター予測部５１１に供給される。

さらに、可逆復号部５０２は、例えば、量子化行列や量子化パラメータ等の、逆量子化に必要な情報を逆量子化部５０３に供給する。

逆量子化部５０３は、可逆復号部５０２により復号されて得られた量子化された係数データを、図２３の量子化部４０５の量子化方式に対応する方式で逆量子化する。なお、この逆量子化部５０３は、図２３の符号化部４００の逆量子化部４０８と同様の処理部である。つまり、逆量子化部５０３の説明は、逆量子化部４０８にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。

逆量子化部５０３は、得られた係数データを逆直交変換部５０４に供給する。

逆直交変換部５０４は、逆量子化部５０３から供給される直交変換係数を、必要に応じて、図２３の直交変換部４０４の直交変換方式に対応する方式で逆直交変換する。なお、この逆直交変換部５０４は、図２３の符号化部４００の逆直交変換部４０９と同様の処理部である。つまり、逆直交変換部５０４の説明は、逆直交変換部４０９にも準用することができる。ただし、データの入出力先等は、装置に応じて適宜、変えて読む必要がある。

逆直交変換部５０４は、この逆直交変換処理により、符号化部４００において直交変換される前の残差データに対応する復号残差データを得る。逆直交変換されて得られた復号残差データは、演算部５０５に供給される。また、演算部５０５には、予測画像選択部５１２を介して、イントラ予測部５１０若しくはインター予測部５１１から予測画像が供給される。

演算部５０５は、差分画像と予測画像とを加算し、符号化部４００の演算部４０３により予測画像が減算される前の画像に対応する再構成画像を得る。演算部５０５は、その再構成画像をループフィルタ５０６およびイントラ予測部５１０に供給する。

ループフィルタ５０６は、供給された再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜施して復号画像を生成する。例えば、ループフィルタ５０６は、再構成画像に対してデブロックフィルタ処理を行うことにより、ブロック歪を除去する。また、例えば、ループフィルタ５０６は、そのデブロックフィルタ処理結果（ブロック歪みの除去が行われた再構成画像）に対して、ウィナーフィルタ（Wiener Filter）を用いてループフィルタ処理を行うことにより画質改善を行う。

なお、ループフィルタ５０６が行うフィルタ処理の種類は任意であり、上述した以外のフィルタ処理を行ってもよい。また、ループフィルタ５０６が、図２３の符号化部４００から供給されたフィルタ係数を用いてフィルタ処理を行うようにしてもよい。

ループフィルタ５０６は、フィルタ処理結果である復号画像を画面並べ替えバッファ５０７およびフレームメモリ５０９に供給する。

画面並べ替えバッファ５０７は、画像の並べ替えを行う。すなわち、図２３の画面並べ替えバッファ４０２により符号化の順番のために並べ替えられたフレームの順番が、元の表示の順番に並べ替えられる。D/A変換部５０８は、画面並べ替えバッファ５０７から供給された画像をD/A変換し、図示せぬディスプレイに出力し、表示させる。

フレームメモリ５０９は、供給される復号画像を記憶し、所定のタイミングにおいて、若しくは、インター予測部５１１等の外部の要求に基づいて、記憶している復号画像を参照画像として、インター予測部５１１に供給する。

イントラ予測部５１０には、ヘッダ情報を復号して得られたイントラ予測モードを示す情報等が可逆復号部５０２から適宜供給される。イントラ予測部５１０は、図２３のイントラ予測部４１３において用いられたイントラ予測モードで、フレームメモリ５０９から取得した参照画像を用いてイントラ予測を行い、予測画像を生成する。イントラ予測部５１０は、生成した予測画像を予測画像選択部５１２に供給する。

インター予測部５１１は、ヘッダ情報を復号して得られた情報（最適予測モード情報、参照画像情報等）を可逆復号部５０２から取得する。

インター予測部５１１は、可逆復号部５０２から取得された最適予測モード情報が示すインター予測モードで、フレームメモリ５０９から取得した参照画像を用いてインター予測を行い、予測画像を生成する。

予測画像選択部５１２は、イントラ予測部５１０からの予測画像またはインター予測部５１１からの予測画像を、演算部５０５に供給する。そして、演算部５０５においては、動きベクトルが用いられて生成された予測画像と逆直交変換部５０４からの復号残差データ（差分画像情報）とが加算されて元の画像が復号される。すなわち、インター予測部５１１、可逆復号部５０２、逆量子化部５０３、逆直交変換部５０４、演算部５０５は、動きベクトルを用いて、符号化データを復号し、元の画像を生成する復号部でもある。

コーデック処理部３３６は、このような符号化部４００や復号部５００を有することができる。

＜符号化処理の流れ＞
次に、以上のような符号化部４００により実行される符号化処理の流れの例を、図２６のフローチャートを参照して説明する。

ステップＳ４０１において、A/D変換部４０１は入力された画像をA/D変換する。ステップＳ４０２において、画面並べ替えバッファ４０２は、A/D変換された画像を記憶し、各ピクチャの表示する順番から符号化する順番への並べ替えを行う。ステップＳ４０３において、イントラ予測部４１３は、イントラ予測モードのイントラ予測処理を行う。

ステップＳ４０４において、インター予測部４１４は、インター予測モードでの動き予測や動き補償を行うインター予測処理を行う。

ステップＳ４０５において、予測画像選択部４１５は、イントラ予測部４１３およびインター予測部４１４から出力された各コスト関数値に基づいて、最適なモードを決定する。つまり、予測画像選択部４１５は、イントラ予測部４１３により生成された予測画像と、インター予測部４１４により生成された予測画像のいずれか一方を選択する。

ステップＳ４０６において、演算部４０３は、ステップＳ４０２の処理により並び替えられた画像と、ステップＳ４０５の処理により選択された予測画像との差分を演算する。差分データは元の画像データに較べてデータ量が低減される。したがって、画像をそのまま符号化する場合に較べて、データ量を圧縮することができる。

ステップＳ４０７において、直交変換部４０４は、ステップＳ４０６の処理により生成された差分情報を直交変換する。ステップＳ４０８において、量子化部４０５は、レート制御部４１６により算出された量子化パラメータを用いて、ステップＳ４０７の処理により得られた直交変換係数を量子化する。

ステップＳ４０９において、逆量子化部４０８は、ステップＳ４０８の処理により生成された量子化された係数（量子化係数とも称する）を、量子化部４０５の特性に対応する特性で逆量子化する。ステップＳ４１０において、逆直交変換部４０９は、ステップＳ４０９の処理により得られた直交変換係数を逆直交変換する。

ステップＳ４１１において、演算部４１０は、予測画像を局部的に復号された差分情報に加算し、局部的に復号された画像（演算部４０３への入力に対応する画像）を生成する。

ステップＳ４１２においてループフィルタ４１１は、ステップＳ４１１の処理により生成された画像をフィルタリングする。これによりブロック歪み等が除去される。

ステップＳ４１３において、フレームメモリ４１２は、ステップＳ４１２の処理によりループフィルタ処理が施された復号画像を記憶する。

ステップＳ４１４において、可逆符号化部４０６は、ステップＳ４０８の処理により量子化された係数を符号化する。すなわち、差分画像に対応するデータに対して、可変長符号化や算術符号化等の可逆符号化が行われる。

また、このとき、可逆符号化部４０６は、ステップＳ４０５の処理により選択された予測画像の予測モードに関する情報を符号化し、差分画像を符号化して得られる符号化データに付加する。つまり、可逆符号化部４０６は、イントラ予測部４１３から供給される最適イントラ予測モード情報、または、インター予測部４１４から供給される最適インター予測モードに応じた情報なども符号化し、符号化データに付加する。

ステップＳ４１５において蓄積バッファ４０７は、ステップＳ４１４の処理により得られた符号化データを蓄積する。蓄積バッファ４０７に蓄積された符号化データは、適宜読み出され、伝送路や記録媒体を介して復号側に伝送される。

ステップＳ４１６においてレート制御部４１６は、ステップＳ４１５の処理により蓄積バッファ４０７に蓄積された符号化データの符号量（発生符号量）に基づいて、オーバーフローあるいはアンダーフローが発生しないように、量子化部４０５の量子化動作のレートを制御する。また、レート制御部４１６は、量子化パラメータに関する情報を、量子化部４０５に供給する。

ステップＳ４１６の処理が終了すると、符号化処理が終了される。

以上のような符号化処理を実行することにより、コーデック処理部３３６は、画像データをHEVC方式により符号化することができる。

＜復号処理の流れ＞
次に、以上のような復号部５００により実行される復号処理の流れの例を、図２７のフローチャートを参照して説明する。

復号処理が開始されると、ステップＳ５０１において、蓄積バッファ５０１は、伝送されてきたビットストリームを蓄積する。ステップＳ５０２において、可逆復号部５０２は、蓄積バッファ５０１から供給されるビットストリーム（符号化された差分画像情報）を復号する。すなわち、図２３の可逆符号化部４０６により符号化されたＩピクチャ、Ｐピクチャ、並びにＢピクチャが復号される。このとき、ヘッダ情報などのビットストリームに含められた差分画像情報以外の各種情報も復号される。

ステップＳ５０３において、逆量子化部５０３は、ステップＳ５０２の処理により得られた、量子化された係数を逆量子化する。

ステップＳ５０４において、逆直交変換部５０４は、ステップＳ５０３において逆量子化された係数を逆直交変換する。

ステップＳ５０５において、イントラ予測部５１０若しくはインター予測部５１１は、予測処理を行い、予測画像を生成する。つまり、可逆復号部５０２において判定された、符号化の際に適用された予測モードで予測処理が行われる。より具体的には、例えば、符号化の際にイントラ予測が適用された場合、イントラ予測部５１０が、符号化の際に最適とされたイントラ予測モードで予測画像を生成する。また、例えば、符号化の際にインター予測が適用された場合、インター予測部５１１が、符号化の際に最適とされたインター予測モードで予測画像を生成する。

ステップＳ５０６において、演算部５０５は、ステップＳ５０４において逆直交変換されて得られた差分画像情報に、ステップＳ５０５において生成された予測画像を加算する。これにより元の画像が復号される。

ステップＳ５０７において、ループフィルタ５０６は、ステップＳ５０６の処理により得られた再構成画像に対して、デブロックフィルタ処理や適応ループフィルタ処理等を含むループフィルタ処理を適宜行う。

ステップＳ５０８において、画面並べ替えバッファ５０７は、ステップＳ５０７においてフィルタ処理された画像の並べ替えを行う。すなわち符号化部４００の画面並べ替えバッファ４０２により符号化のために並べ替えられたフレームの順序が、元の表示の順序に並べ替えられる。

ステップＳ５０９において、D/A変換部５０８は、ステップＳ５０８においてフレームの順序が並べ替えられた画像をD/A変換する。この画像が図示せぬディスプレイに出力され、画像が表示される。

ステップＳ５１０において、フレームメモリ５０９は、ステップＳ５０７においてフィルタ処理された画像を記憶する。

ステップＳ５１０の処理が終了すると、復号処理が終了される。

以上のような符号化処理を実行することにより、コーデック処理部３３６は、HEVC方式により画像データが符号化された符号化データを復号することができる。

なお、本技術を適用した撮像装置は、上述した構成に限らず、他の構成であってもよい。例えば、デジタルスチルカメラやビデオカメラだけでなく、携帯電話機、スマートホン、タブレット型デバイス、パーソナルコンピュータ等の、撮像機能を有する情報処理装置であってもよい。また、他の情報処理装置に装着して使用される（若しくは組み込みデバイスとして搭載される）カメラモジュールであってもよい。

上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。上述した一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図１９に示されるように、記録部３３７として構成されても良い。例えば、記録部３３７に含まれる、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているROMや、ハードディスクなどにより構成されるようにしてもよい。また、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディアにより構成されるようにしてもよい。上述したように、このリムーバブルメディアは、ドライブに装着されることにより、記録部３３７を構成する。このリムーバブルメディアには、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。

なお、例えば制御部３１０等のコンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

なお、本技術は以下のような構成も取ることができる。
（１） 入射光を受光し、光電変換する受光部と、
前記受光部において得られた画像データを圧縮する圧縮部と
を備える撮像素子。
（２） 前記圧縮部は、前記画像データを簡易圧縮する
（１）、（３）乃至（１２）のいずれかに記載の撮像素子。
（３） 多層構造を形成する複数の基板を有し、
前記受光部および前記圧縮部は、互いに異なる基板に形成される
（１）、（２）、（４）乃至（１２）のいずれかに記載の撮像素子。
（４） 前記受光部および前記圧縮部は、１の基板に形成される
（１）乃至（３）、（５）乃至（１２）のいずれかに記載の撮像素子。
（５） 前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
前記圧縮部は、前記画素データ同士の差分値をゴロム符号化する
（１）乃至（４）、（６）乃至（１２）のいずれかに記載の撮像素子。
（６） 前記圧縮部は、前記画像データに１次元DCT（Discrete Cosine Transform）を行う
（１）乃至（５）、（７）乃至（１２）のいずれかに記載の撮像素子。
（７） 前記第１の圧縮部は、所定の圧縮率で前記画像データを圧縮する
（１）乃至（６）、（８）乃至（１２）のいずれかに記載の撮像素子。
（８） 前記受光部において得られた前記画像データに対して所定の信号処理を行う前処理部をさらに備え、
前記圧縮部は、前記前処理部により前記信号処理が行われた画像データを圧縮する
（１）乃至（７）、（９）乃至（１２）のいずれかに記載の撮像素子。
（９） 前記信号処理は、ノイズ除去処理または欠陥データの補正である
（１）乃至（８）、（１０）乃至（１２）のいずれかに記載の撮像素子。
（１０） 前記画像データが動画像データである場合、前記画像データの画像サイズを所定のサイズに縮小する縮小部をさらに備え、
前記圧縮部は、前記画像データが動画像データである場合、前記縮小部により画像サイズが縮小された前記画像データを圧縮し、前記画像データが静止画像データである場合、前記受光部において得られる際の画像サイズの前記画像データを圧縮する
（１）乃至（９）、（１１）、（１２）のいずれかに記載の撮像素子。
（１１） 前記圧縮部により前記画像データが圧縮されて得られる符号化データを、外部に出力する出力部をさらに備える
（１）乃至（１０）、（１２）のいずれかに記載の撮像素子。
（１２） 前記圧縮部により前記画像データが圧縮されて得られる符号化データを記憶する記憶部をさらに備える
（１）乃至（１１）のいずれかに記載の撮像素子。
（１３） 入射光を受光し、光電変換する受光部と、
前記受光部において得られた画像データを圧縮する圧縮部と
を備える撮像素子と、
前記撮像素子より出力される、前記圧縮部により前記画像データが圧縮されて得られる符号化データを伸張する伸張部と
を備える撮像装置。
（１４） 前記圧縮部は、前記画像データを簡易圧縮する
（１３）、（１５）乃至（１９）に記載の撮像装置。
（１５） 前記撮像素子は、多層構造を形成する複数の基板を有し、
前記受光部および前記圧縮部は、互いに異なる基板に形成される
（１３）、（１４）、（１６）乃至（１９）に記載の撮像装置。
（１６） 前記受光部および前記圧縮部は、１の基板に形成される
（１３）乃至（１５）、（１７）乃至（１９）に記載の撮像装置。
（１７） 前記画像データは、前記受光部の各単位画素において得られた画素データの集合であり、
前記圧縮部は、前記画素データ同士の差分値をゴロム符号化する
（１３）乃至（１６）、（１８）、（１９）に記載の撮像装置。
（１８） 前記圧縮部は、前記画像データに１次元DCT（Discrete Cosine Transform）を行う
（１３）乃至（１７）、（１９）に記載の撮像装置。
（１９） 前記圧縮部は、固定の圧縮率で前記画像データを圧縮する
（１３）乃至（１８）に記載の撮像装置。
（２０） 撮像装置の撮像方法において、
前記撮像装置の撮像素子により、
入射光を受光して光電変換し、
得られた画像データを圧縮し、得られた符号化データを前記撮像素子より出力し、
前記撮像素子より出力される前記符号化データを伸張する
撮像方法。

１００ 撮像素子， １０１および１０２ 半導体基板， １１１ 受光部, １１２ A/D変換部， １１３ 圧縮部， １１４ 出力部， １２１ バス， １３０ 画像処理装置， １３１ 入力部， １３２ 伸張部， １４１ DPCM処理部， １４２ ゴロム符号化部， １４３ 圧縮率調整部， １４４ １次元DCT処理部， １５１ 圧縮率逆調整部， １５２ ゴロム復号部， １５３ 逆DPCM処理部， １５４ １次元逆DCT処理部， １６０ 前処理部， １６１ 欠陥補正部， １６２ 欠陥位置検出部， １６３ NR処理部， １７１ 制御部， １７２ 画像縮小部， １８１および１９１ 半導体基板， １９２ 記憶制御部， １９３ 記憶部， ２０１ 圧縮部， ２０２ 伸張部， ３００ 撮像装置， ３１０ 制御部， ３１１ 操作部， ３２０ バス， ３３１ 光学部， ３３２ イメージセンサ， ３３３ 入力部， ３３４ 伸張部， ３３５ 画像処理部， ３３６ コーデック処理部， ３３７ 記録部， ３３８ 通信部， ３３９ 表示部, ３４１ バス, ４００ 符号化部, ５００ 復号部

Claims (7)

1. 多層構造を形成する複数の基板を有し、
   前記複数の基板の内のいずれかの階層の基板に形成され、入射光を受光し、光電変換する受光部と、
   前記複数の基板の内の、前記受光部が形成される階層以外のいずれかの階層の基板に形成され、前記受光部において得られる画素信号から得られるRAWデータを固定の圧縮率で簡易圧縮する記憶用圧縮部と、
   前記複数の基板の内の、前記受光部が形成される階層および前記記憶用圧縮部が形成される階層以外のいずれかの階層の基板に形成され、前記記憶用圧縮部により前記RAWデータが前記固定の圧縮率で簡易圧縮されて得られる符号化データを記憶する記憶部と、
   前記記憶部から読み出された前記符号化データを伸張する内部伸張部と、
   前記内部伸張部により前記符号化データが伸張されて得られた前記RAWデータに対して所定の信号処理を行う前処理部と
   を備える撮像装置。
2. 前記前処理部により信号処理が行われた前記RAWデータを固定の圧縮率で簡易圧縮する出力用圧縮部をさらに備える
   請求項１に記載の撮像装置。
3. 前記出力用圧縮部により前記RAWデータが前記固定の圧縮率で簡易圧縮されて得られる符号化データを出力する出力部をさらに備える
   請求項２に記載の撮像装置。
4. 前記記憶用圧縮部および前記出力用圧縮部は、前記簡易圧縮として、前記RAWデータの連続する画素データ同士の差分値を算出し、得られた前記差分値をゴロム符号化し、圧縮率が固定となるように、得られたゴロム符号にデータを付加する
   請求項２に記載の撮像装置。
5. 前記記憶用圧縮部および前記出力用圧縮部は、前記簡易圧縮として、前記RAWデータに対して１次元DCT（Discrete Cosine Transform）を行い、圧縮率が固定となるように、得られた変換データの高域成分を破棄する
   請求項２に記載の撮像装置。
6. 前記記憶用圧縮部および前記出力用圧縮部は、前記RAWデータが動画像の場合、画像サイズが縮小された前記RAWデータを前記固定の圧縮率で簡易圧縮し、前記RAWデータが静止画像の場合、画像サイズが縮小されていない前記RAWデータを前記固定の圧縮率で簡易圧縮する
   請求項２に記載の撮像装置。
7. 撮像装置による撮像方法において、
   多層構造を形成する複数の基板を有し、
   前記複数の基板のいずれかの階層において、入射光を受光して光電変換し、
   前記複数の基板の他の階層において、前記入射光が光電変換されて得られる画素信号から得られるRAWデータを固定の圧縮率で簡易圧縮し、
   前記複数の基板のさらに他の階層において、前記RAWデータが前記固定の圧縮率で簡易圧縮されて得られる符号化データを記憶し、
   前記複数の基板の前記他の階層において、前記符号化データを伸張し、
   前記符号化データが伸張されて得られた前記RAWデータに対して所定の信号処理を行う
   撮像方法。

Images