WO2019167673A1 - 画像処理装置および方法、撮像素子、並びに、撮像装置 - Google Patents

Abstract

本開示は、増幅した信号群を符号化・復号することにより生じる信号値のずれを抑制することができるようにする画像処理装置および方法、撮像素子、並びに、撮像装置に関する。 信号が増幅された画像についての処理を適応的に行い、その画像を符号化する。例えば、画像の各画素値に対して、その画像に対して行われた信号増幅のゲイン値に応じた値域内においてランダムに設定されたオフセット値を加算してから符号化する。本開示は、例えば、画像処理装置、画像符号化装置、画像復号装置、撮像素子、または撮像装置等に適用することができる。

Description

画像処理装置および方法、撮像素子、並びに、撮像装置

　本開示は、画像処理装置および方法、撮像素子、並びに、撮像装置に関し、特に、増幅した信号群を符号化・復号することにより生じる信号値のずれを抑制することができるようにした画像処理装置および方法、撮像素子、並びに、撮像装置に関する。

　従来、画像の符号化（圧縮）・復号（伸張）方式として、様々な方式が提案されている。例えば、画素データ同士の差分パルス符号変調（DPCM（Differential Pulse Code Modulation））と、リファインメントデータの付加とによって、画像データを固定長に符号化（圧縮）する方法が提案された（例えば、特許文献１参照）。

特開２０１４－１０３５４３号公報

　しかしながら、撮像素子等において画素信号を増幅する高デジタルゲイン撮像により得られる撮像画像をこの方法で符号化・復号すると復号画像に画素のずれが生じるおそれがあった。

　本開示は、このような状況に鑑みてなされたものであり、増幅した信号群を符号化・復号することにより生じる信号値のずれを抑制することができるようにするものである。

　本技術の一側面の画像処理装置は、信号が増幅された画像に対して画像処理を適応的に行う適応処理部と、前記適応処理部により適応的に前記画像処理が行われた前記画像を簡易符号化する符号化部とを備える画像処理装置である。

　本技術の一側面の画像処理方法は、信号が増幅された画像に対して画像処理を適応的に行い、適応的に前記画像処理が行われた前記画像を簡易符号化する画像処理方法である。

　本技術の他の側面の撮像素子は、被写体を撮像する撮像部と、前記撮像部により生成された、信号が増幅された撮像画像に対して画像処理を適応的に行う適応処理部と、前記適応処理部により適応的に前記画像処理が行われた前記撮像画像を簡易符号化する符号化部とを備える撮像素子である。

　本技術のさらに他の側面の撮像装置は、被写体を撮像する撮像部と、前記撮像部により生成された、信号が増幅された撮像画像に対して画像処理を適応的に行う適応処理部と、前記適応処理部により適応的に前記画像処理が行われた前記撮像画像を簡易符号化して符号化データを生成する符号化部とを備える撮像素子と、前記符号化部により生成された前記符号化データを簡易復号する復号部とを備える撮像装置である。

　本技術の一側面の画像処理装置においては、信号が増幅された画像に対して画像処理が適応的に行われ、その適応的に画像処理が行われた画像が簡易符号化される。

　本技術の他の側面の撮像素子においては、被写体が撮像されて生成された、信号が増幅された撮像画像に対して画像処理が適応的に行われ、その適応的に画像処理が行われた撮像画像が簡易符号化される。

　本技術のさらに他の側面の撮像装置においては、被写体が撮像されて生成された、信号が増幅された撮像画像に対して画像処理が適応的に行われ、その適応的に画像処理が行われた撮像画像が簡易符号化され、その生成された符号化データが簡易復号される。

　本開示によれば、画像を処理することができる。特に、増幅した信号群を符号化・復号することにより生じる信号値のずれを抑制することができる。

撮像画像のヒストグラムの例を示す図である。 固定長符号化の例を示す図である。 DCずれの例を示す図である。 本技術を適用した処理方法の一覧を示す図である。 方法＃１を行う画像処理システムの主な構成例を示すブロック図である。 処理によるヒストグラムの変化の例を示す図である。 ランダムオフセット加算部の主な構成例を示す図である。 オフセットの値域限定のシンタックスの例を示す図である。 オフセットの値域限定の様子の例を示す図である。 方法＃１による符号化処理の流れの例を説明するフローチャートである。 オフセット加算処理の流れの例を説明するフローチャートである。 方法＃１による復号処理の流れの例を説明するフローチャートである。 方法＃１を行う画像処理システムの他の構成例を示すブロック図である。 方法＃２を行う画像処理システムの主な構成例を示すブロック図である。 減算オフセット設定部の主な構成例を示すブロック図である。 オフセット選択に用いられるテーブルの例を示す図である。 方法＃２による符号化処理の流れの例を説明するフローチャートである。 オフセット値設定処理の流れの例を説明するフローチャートである。 方法＃２による復号処理の流れの例を説明するフローチャートである。 減算オフセット設定部の他の構成例を示すブロック図である。 オフセット値設定処理の流れの例を説明するフローチャートである。 方法＃２を行う画像処理システムの他の構成例を示すブロック図である。 方法＃３を行う画像処理システムの主な構成例を示すブロック図である。 量子化値の範囲の選択に用いられるテーブルの例を示す図である。 量子化値の範囲の設定の様子の例を示す図である。 符号化データの構成例を示す図である。 方法＃３による符号化処理の流れの例を説明するフローチャートである。 方法＃３による復号処理の流れの例を説明するフローチャートである。 方法＃３を行う画像処理システムの他の構成例を示すブロック図である。 方法＃４を行う画像処理システムの主な構成例を示すブロック図である。 方法＃４による符号化処理の流れの例を説明するフローチャートである。 方法＃４による復号処理の流れの例を説明するフローチャートである。 方法＃４を行う画像処理システムの他の構成例を示すブロック図である。 本技術を適用した撮像素子の主な構成例を示す図である。 本技術を適用した撮像素子の主な構成例を示す図である。 撮像処理の流れの例を説明するフローチャートである。 本技術を適用した撮像装置の主な構成例を示す図である。 撮像処理の流れの例を説明するフローチャートである。

　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．固定長符号化
２．共通コンセプト（各手法概要）
３．第１の実施の形態（方法＃１詳細）
４．第２の実施の形態（方法＃２詳細）
５．第３の実施の形態（方法＃３詳細）
６．第４の実施の形態（方法＃４詳細）
７．第５の実施の形態（適用例：撮像素子）
８．第６の実施の形態（適用例：撮像装置）
９．付記

　＜１．固定長符号化＞
　　＜技術内容・技術用語をサポートする文献等＞
　本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の文献に記載されている内容も含まれる。

　特許文献１：（上述）
　特許文献２：特開２００６－３０３６８９号公報
　特許文献３：ＵＳ２０１１／０２９２２４７
　特許文献４：ＵＳ２０１２／０２１９２３１

　つまり、上述の文献に記載されている内容もサポート要件を判断する際の根拠となる。

　　＜高デジタルゲイン撮像＞
　例えば暗所での撮像等のために撮像画像に所定のゲイン値をかける高デジタルゲイン撮像という撮像方法がある。例えば黒画像を撮像した撮像画像（例えばレンズケースを装着した状態で撮像した撮像画像）において、図１のＡのようなヒストグラムが得られるとする。なお、図１のＡに示されるヒストグラムにおいて、横軸は画素値を示し、縦軸は頻度（画素数）を示す。

　感度を向上させるために、この撮像画像に8.0倍のデジタルゲインをかけると各画素の画素値の差が８倍に拡がる。したがって、その画像のヒストグラムは、図１のＢのように拡がる。つまり、図１のＡのように密であったヒストグラムが、図１のＢでは、例えば４８、５６、６４、７２、８０のように８の倍数に分散し、疎となる。

　　＜符号化・復号によるＤＣずれの発生＞
　ところで、画像の符号化（圧縮）・復号（伸張）方式として、従来様々な方式が提案されている。例えば、特許文献１乃至特許文献４に記載のように、画素データ同士の差分パルス符号変調（DPCM（Differential Pulse Code Modulation））と、リファインメントデータの付加とによって、画像データを固定長に符号化（圧縮）する方法が提案された。

　しかしながら、上述のようなデジタルゲイン撮像により得られる撮像画像をこの方法で符号化・復号すると、その復号画像のヒストグラムは例えば図１のＣのようになる。つまり、画素値の誤差が＋方向に偏って発生するため、復号画像に画素平均値のずれ（DCずれとも称する）が生じるおそれがあった。

　　＜DCずれの発生の原理＞
　DCずれの発生についてより具体的に説明する。まず上述の固定長符号化について説明する。図２は、１６画素（Pixel 1乃至Pixel 16）からなる画素ブロックの画像データを示す模式図である。図２の各画素（Pixel）の四角は、画素値の各ビットを示す。図中一番上の四角がMSB（Most Significant Bit）を示し、図中一番下の四角がLSB（Least Significant Bit）を示している。つまり、各画素値は、１０ビットのデータである。

　上述の固定長符号化は、このようなブロック毎に行われる。まず、ブロック内の各画素値が量子化され、LSBから所定のビット数（下位ビット）が削除される。つまり、図２において白色の四角のビットのみが残される。次に、その量子化された画素値の、隣の画素との差分が算出され（DPCMが行われ）、この差分値（DPCMの残差）が符号化データとされる。

　より具体的には、図２のブロックの各画素データは、例えば図中左から右に向かう順に処理される。最初に処理される画素データ（図中左端の１列）の上位７ビット（MSBから７ビット）は、PCM（Pulse Code Modulation）符号化される。すなわち、最初の画素データの上位７ビットは非圧縮のまま符号化データとして出力される。そして２番目以降に処理される画素データは、DPCM（Differential Pulse Code Modulation）符号化される。つまり、図２の左から２番目以降の画素データの上位７ビットは、その１つ前に処理される（図中左に隣接する）画素データの上位７ビットから減算され、その差分値が符号化データとして出力される。

　そして、符号化データが固定長となるように、予め定めた所定のデータ量とこの時点の符号化データのデータ量との差分（すなわちデータの不足分）が算出され、削除した下位ビットの内、その不足分のビットが付加される（リファインメントされる）。図２において薄いグレーの四角は、このリファインメントされたビットを示す。

　この符号化データを復号する場合、まず、このリファインメントされたビットが抽出され、上位ビットのDPCM差分値が右から順に加算されて各画素データの上位ビットが復号される。その上位ビットに抽出したビットが付加され、さらに、逆量子化される。つまり、符号化により欠損したビットが所定の値で置き換えられる。

　換言するに、この符号化により、図２において濃いグレーの四角が示すビットの情報が欠損する。つまりこの固定長符号化・復号は非可逆な方法で行われる。

　このような固定長符号化・復号の場合、画像データは、AVC（Advanced Video Coding）やHEVC（High Efficiency Video Coding）のような符号化・復号方式の場合よりも簡易な方法で符号化・復号される。したがって、この固定長符号化・復号の方が、AVCやHEVC等に比べて負荷を低減することができ、より高速に符号化・復号を行うことができる。また、小型化も容易であり、より低コストに実現することができる。

　このような符号化を簡易符号化とも称する（簡易圧縮とも称する）。また、この簡易符号化に対応する復号を簡易復号とも称する（簡易伸長とも称する）。この簡易符号化とは、データ転送レートやメモリ帯域を削減するための画像符号化技術である。この簡易符号化では、主観画質を同等レベルに維持するように、データの符号化（圧縮）が行われる。一般的に、簡易符号化の圧縮率は、主観画質を同等レベルに維持するために、AVCなどの汎用符号化に比べて低くなる（例えば約50%程度）。

　この簡易符号化（簡易圧縮）・簡易復号（簡易伸長）の場合、符号量が固定長である。そのため、符号量が可変の場合と比べて、符号化データの管理がより容易になる。したがって、例えば符号化データを記憶させるDRAM等においても符号化データの管理がより容易になるので、読み出しや書き込み等の処理をより高速に行うことができるとともに、より低コストに実現することができる。

　また、この簡易符号化（簡易圧縮）・簡易復号（簡易伸長）の場合、画像データは、ブロック毎に独立して符号化・復号される。したがって、ピクチャ全体の符号化・復号だけでなく、ピクチャの一部についてのみの符号化・復号にも対応することができる。つまり、ピクチャの一部のみを符号化したり、復号したりする場合に、不要なデータの符号化・復号を抑制することができ、より効率よく符号化・復号を行うことができる。すなわち、符号化・復号の負荷の不要な増大を抑制することができ、処理の高速化や低コスト化を実現することができる。

　上述のように簡易符号化・簡易復号（における量子化・逆量子化）により欠損した情報（未符号化ビット）は、復号の際に中間値で復元される（図３）。例えば、図３に示されるように、量子化により下位１ビットをロス（loss）する場合、復号の際にその下位１ビットに「１」がセットされる。また、量子化により下位２ビットをロス（loss）する場合、復号の際にその下位２ビットに「１０（＝２）」がセットされる。さらに、量子化により下位３ビットをロス（loss）する場合、復号の際にその下位３ビットに「１００（＝４）」がセットされる。

　このように未符号化ビットを所定の値（例えば中間値）で復元することにより、入出力の間で誤差が生じる。このような量子化により生じる入力画素値と出力画素値との間の誤差を量子化誤差とも称する。例えば図３の上側に示されるように、入力される画素値（入力画素値とも称する）が「６３」（0000111111）であるとすると、量子化により下位１ビットをロス（loss）する場合、上述のようにその下位１ビットに「１」がセットされ、復元される画素値（出力画素値とも称する）は「６３」（0000111111）となる。つまりこの場合の量子化誤差は「０」である。

　また、量子化により下位２ビットをロス（loss）する場合、上述のようにその下位２ビットに「１０」がセットされ、出力画素値は「６２」（0000111110）となるので、量子化誤差は「－１」である。また、量子化により下位３ビットをロス（loss）する場合、上述のようにその下位３ビットに「１００」がセットされ、出力画素値は「６０」（00001111100）となるので、量子化誤差は「－３」である。

　これに対して、例えば図３の下側に示されるように、入力画素値が「６４」（0001000000）であるとすると、量子化により下位１ビットをロス（loss）する場合、上述のようにその下位１ビットに「１」がセットされ、出力画素値は「６５」（0001000001）となるので、量子化誤差は「＋１」である。

　また、量子化により下位２ビットをロス（loss）する場合、上述のようにその下位２ビットに「１０」がセットされ、出力画素値は「６６」（0001000010）となるので、量子化誤差は「＋２」である。また、量子化により下位３ビットをロス（loss）する場合、上述のようにその下位３ビットに「１００」がセットされ、出力画素値は「６８」（0001000100）となるので、量子化誤差は「＋４」である。

　つまり、量子化誤差の方向が入力画素値に依存する。これに対して上述したように、撮像画像にデジタルゲインがかけられる場合、図１のＡのように密であったヒストグラムは、図１のＢに示されるようにゲイン値に応じた間隔に拡がり疎となる。この拡がりによって、多くの画素値が、量子化誤差の方向が互いに同一となる画素値に変化してしまい、この量子化誤差の方向に偏りが生じてしまうおそれがあった。例えば図１のＢのように多くの画素値が８の倍数に分布する場合、図１のＣのように、量子化誤差の方向が＋方向に偏ることとなる。

　このように量子化誤差の生じる方向に偏りがあると、入力画像（撮像画像）に符号化・復号が行われて復元された画像（復号画像とも称する）の画素平均値が、入力画像の画素平均値からずれる（DCずれが生じる）おそれがあった。

　このように画素平均値のずれ（DCずれ）が生じると、復号画像の主観的画質が低減（劣化）する（つまり復元画像と入力画像との間で見た目の違いが増大する）おそれがあった。例えば、画素平均値が上述のように＋方向にずれると、復号画像が入力画像よりも明るくなってしまうおそれがあった。

　また、例えば入力画像（撮像画像）を計測結果（センサデータ）としてみなす場合、データとしての正確性が低減する（より不正確なデータとなる）おそれがあった。データとしての正確性が低減すると、その復号画像（センサデータ）を用いた後段の処理（制御や演算等）への影響が増大するおそれがあった。例えば、図１の例のように黒画像を撮像した撮像画像（センサデータ）を用いて黒レベルの設定を行う場合、このDCずれにより黒レベルとする画素値がずれてしまうおそれがあった。

　なお、上述したように、撮像画像にデジタルゲインをかけると、そのゲイン値に応じて画素値差が大きくなる。したがってDPCMの残差が大きくなり、その分、符号化効率が低減するおそれがあった。この符号化は、上述のように非可逆な固定長符号化であるため、符号化効率が低減することにより、復号画像の主観的画質が低減（劣化）するおそれがあった。

　＜２．共通コンセプト＞
　　＜デジタルゲインに対する適応的処理＞
　そこで、信号が増幅された画像に対して画像処理を適応的に行い、その適応的に画像処理が行われた画像を簡易符号化するようにする。

　例えば、画像処理装置において、信号が増幅された画像に対して画像処理を適応的に行う適応処理部と、その適応処理部により適応的に画像処理が行われた画像を簡易符号化する符号化部とを備えるようにする。

　このようにすることにより、デジタルゲインによって増幅した信号群を符号化・復号することにより生じる信号値のずれ（例えばDCずれ）を抑制することができる。

　より具体的には、その適応的な画像処理として、例えば、図４の表に示されるような処理（方法＃１乃至方法＃４のいずれか）を行う。

　例えば方法＃１では、画像にデジタルゲインがかけられる場合、そのデジタルゲインがかけられた画像の各画素値をランダムなオフセットで補正してから上述の簡易符号化・簡易復号を行う。このようにランダムなオフセットを加算することによって画素値を拡散させることができる。また、そのオフセットの値域をデジタルゲインのゲイン値に応じて設定する。このようにすることで、そのオフセットによる画素値の拡散をゲイン値に応じた所定の範囲に限定することができる。

　したがって、図１のＢのように画素値が一部の値に集中してヒストグラムが疎となることを抑制し、簡易符号化・簡易復号による各画素値の量子化誤差の方向の偏りを抑制することができる。つまり、DCずれを抑制することができる。

　したがって、方法＃１を適用することにより、例えば、復号画像の主観的画質の低減を抑制することができる。また、例えば入力画像（撮像画像）を計測結果（センサデータ）としてみなす場合、データとしての正確性の低減を抑制し、その復号画像（センサデータ）を用いた後段の処理（制御や演算等）への影響を抑制することができる。例えば、図１の例のように黒画像を撮像した撮像画像（センサデータ）を用いて黒レベルの設定を行う場合、より正確に黒レベルを検出することができる。

　また例えば方法＃２では、画像にデジタルゲインがかけられる場合、画像からオフセットを減算して簡易符号化・簡易復号し、復号画像にそのオフセットを加算する。図１乃至図３を参照して説明したように、量子化誤差の方向は画素値に依存する。換言するに、量子化誤差が他よりも小さくなる画素値が存在する。したがって、画像の各画素値を、オフセットを用いてそのような量子化誤差が小さい値とした状態で簡易符号化・簡易復号を行い、復号画像において各画素値を元の状態に戻すことにより、量子化誤差を低減させることができる。例えば、未符号化ビットを中間値で復元する場合、オフセットを用いて画素値をその中間値として簡易符号化・簡易復号を行うようにすれば、理想的には量子化誤差を０とすることができる。

　図１を参照して説明したように、画像にデジタルゲインをかけると、ヒストグラムは、そのゲイン値に応じた間隔に拡がる（疎な状態になる）。そして、多くの画素の画素値は、量子化誤差が同一の方向に発生する値となる。つまり、量子化誤差の方向が偏ることになるが、各画素値から上述のようなオフセットを減算することにより、量子化誤差が小さくなるので、結果として量子化誤差の方向の偏りが低減する。つまり、簡易符号化・簡易復号による画素値の量子化誤差の方向の偏りを抑制することができる。

　なお、この量子化誤差がより小さくなる画素値（例えば中央値）は、量子化により欠損（ロス）するビット数に依存する。したがって、オフセットの値は、このロスするビット数に応じて設定すればよい。つまり、この方法の場合、量子化によりロスするビット数に応じたオフセットが画像に付与される。また、この方法の場合、画素値を所望の値にずらすことができればよいので、上述のように画素値に対してオフセットを減算するようにしてもよいし、オフセットを加算するようにしてもよい。

　また、上述のようにデジタルゲインがかけられることにより多くの画素値は量子化誤差が同一の方向に発生する値となる。したがって、各画素値に対して同様に、上述したようなオフセットを付与（例えば減算）することにより、多くの画素値の量子化誤差を低減させることができる。つまり、全体として量子化誤差の方向の偏りを抑制することができる。したがって、このオフセット値は、画像の画素平均値（および欠損するビット数）に応じて設定すればよい。このようにすることにより、画素毎に求める場合よりも容易にオフセット値を求めることができる。

　また例えば方法＃３では、画像にデジタルゲインがかけられる場合、簡易符号化（における量子化）に用いる量子化値（qf）の値域をデジタルゲインのゲイン値に応じて設定する。量子化値（qf）は、量子化において画素値を何倍にするか（すなわち、ロスさせる下位ビットを何ビットにするかを示す値）である。

　量子化値（qf）が大きくなる程、ロスするビット数が増大するので、一般的に、符号化効率は向上するが、復号画像の主観的画質は低減する。したがって、例えば特許文献３や特許文献４に記載のような従来の固定長符号化の場合、量子化値がとり得る値全てについて符号化結果を検証し、その中で最適なものが選択されていた。

　ところが上述のように画像にデジタルゲインをかけると、画素値のそのゲイン値に応じたビット数の下位ビットが劣化する（不正確な値となる）。換言するに、この劣化した下位ビットを量子化によりロスさせても、量子化が復号画像の主観的画質に与える影響は少ない（画質の劣化の程度が、量子化を行わない場合と同等である）。したがって、そのゲイン値に相当するビット数以下の量子化値（qf）については、検証が不要である（量子化値（qf）をゲイン値に相当するビット数以上とすることが好ましいことは明らかである）。つまり、そのビット数以上の量子化値（qf）についてのみ符号化結果を検証すればよい。

　つまり、量子化値（qf）の値域をデジタルゲインのゲイン値に応じて制限する。このようにすることにより、上述のような符号化結果の検証の負荷の増大を抑制することができる。つまり、符号化処理の負荷の増大を抑制することができる。

　また、以上のように選択された量子化値（qf）を示す情報は、符号化データに含められて復号側に伝送される。上述のように量子化値（qf）の値域を制限することにより、より少ないビット数（語長）で量子化値（qf）を表現することができる。つまり、符号量を低減させることができるので、その分、符号化効率の低減を抑制することができる。

　また例えば方法＃４では、画像にデジタルゲインがかけられる場合、そのデジタルゲインをキャンセル（つまりデジタルゲインのゲイン値を除算）して簡易符号化・簡易復号し、復号画像に対して再度そのデジタルゲインをかける（ゲイン値を乗算する）。つまり、デジタルゲインのゲイン値に応じた演算を行う。図１を参照して説明したように、デジタルゲインをかけることにより、画像のヒストグラムが疎になるので、このデジタルゲインをキャンセルすることにより、ヒストグラムが密な状態のまま簡易符号化・簡易復号させることができる。

　したがって、DCずれを抑制することができる。また、画素値差の拡大を抑制することができるので、符号化効率の低減を抑制することができる。

　＜３．第１の実施の形態＞
　　＜画像処理システム＞
　次に、図４の各方法についてより具体的に説明する。本実施の形態においては、方法＃１について説明する。図５は、本技術を適用した画像処理システムの一態様の構成の一例を示すブロック図である。図５に示される画像処理システム１００は、入力された撮像画像等の画像データにデジタルゲインをかけて符号化し、その符号化データを記録したり伝送したりした後、その符号化データを復号し、復号画像の画像データを出力するシステムである。

　図５に示されるように、画像処理システム１００は、制御部１０１、符号化側構成１０２、および復号側構成１０３を有する。制御部１０１は、符号化側構成１０２（の各処理部）および復号側構成１０３（の各処理部）の制御に関する処理を行う。例えば、制御部１０１は、デジタルゲイン（画像に対する信号増幅）のゲイン値を設定し、そのゲイン値を増幅部１１１に供給し、そのゲイン値で画像データ（各画素値）を増幅させる。また、制御部１０１は、そのゲイン値を、ランダムオフセット加算部１１２、符号化部１１３、および復号部１２１にも供給する。なお、この制御部１０１は、図５の例のように符号化側構成１０２および復号側構成１０３とは別に設けられるようにしてもよいし、符号化側構成１０２内に設けられるようにしてもよいし、復号側構成１０３内に設けられるようにしてもよい。

　符号化側構成１０２は、画像データを符号化する符号化側の構成であり、例えば、増幅部１１１、ランダムオフセット加算部１１２、および符号化部１１３を有する。

　増幅部１１１は、制御部１０１により制御され、画像処理システム１００に入力される画像データ（デジタル画像信号）に対してデジタルゲインをかける。つまり、増幅部１１１は、その画像データの各画素値に対して、制御部１０１から供給されるゲイン値をかける。この処理により、例えば図１のＡに示されるようなヒストグラムが、図６のＡに示されるような疎な状態となる。増幅部１１１は、デジタルゲインをかけた画像データをランダムオフセット加算部１１２に供給する。

　ランダムオフセット加算部１１２は、制御部１０１により制御され、そのデジタルゲインをかけられた画像データ（信号が増幅された画像）に対して適応的に画像処理を行う。例えば、ランダムオフセット加算部１１２は、その画像処理として、その画像データの各画素値に対して、そのデジタルゲインのゲイン値に応じた値域内においてランダムに設定されたオフセット値を加算する。このランダムなオフセット値の加算により、画像データのヒストグラムは、図６のＡのような疎な状態から、図６のＢのような密の状態に変化する。ランダムオフセット加算部１１２は、オフセット値を加算した画像データを符号化部１１３に供給する。

　符号化部１１３は、制御部１０１により制御され、このようにオフセット値が加算されてヒストグラムが密な状態となった画像データを簡易符号化する。例えば、符号化部１１３は、画像データをブロック毎に量子化して下位ビットを削除し、DPCMの残差を求める。そして、符号化部１１３は、符号量が固定長となるように適宜下位ビットをリファインメントする。符号化部１１３は、このようにして生成した固定長の符号化データを記録媒体に記録したり、伝送媒体を介して伝送させたりする。

　復号側構成１０３は、符号化側構成１０２において生成された符号化データを復号する復号側の構成であり、例えば、復号部１２１を有する。

　復号部１２１は、制御部１０１により制御され、符号化部１１３により生成された符号化データを、記録媒体や伝送媒体を介して取得し、それを簡易復号する。例えば、復号部１２１は、ブロック毎の符号化データよりリファインメントされた下位ビットを抽出し、さらにDPCM残差を逆処理して上位ビットを復元し、逆量子化により欠損した下位ビットを復元する。復号部１２１は、このようにして復元された画像データ（デジタル画像信号）を、画像処理システム１００の外部に出力する。

　　＜ランダムオフセット加算部＞
　図７は、ランダムオフセット加算部１１２の主な構成例を示すブロック図である。図７に示されるように、ランダムオフセット加算部１１２は、疑似乱数生成部１４１、値域限定部１４２、演算部１４３、およびクリップ部１４４を有する。

　疑似乱数生成部１４１は、疑似乱数の生成に関する処理を行う。例えば、疑似乱数生成部１４１は、所定の初期値を入力とし、入力画素値毎に、疑似乱数を生成する。例えば、疑似乱数生成部１４１は、１１ビットの疑似乱数を生成し、それを値域限定部１４２に供給する。この疑似乱数のビット数は任意である。

　値域限定部１４２は、疑似乱数の値域の限定に関する処理を行う。例えば、値域限定部１４２は、疑似乱数生成部１４１から供給される１１ビットの疑似乱数と、制御部１０１から供給されるデジタルゲインのゲイン値（gain）を入力とし、疑似乱数の値域をゲイン値に応じた範囲に限定する（範囲内に補正する）。例えば、値域限定部１４２は、図８に示されるようなシンタックスに基づいて疑似乱数の値域を補正する。

　図８の例のシンタックスに従う場合、値域限定部１４２は、疑似乱数の値域を「-gain/2」乃至「gain/2」の範囲に限定する。つまり、例えば、ゲイン値が奇数（例えば、gain = 7）の場合、値域限定部１４２は、図９のＡに示されるヒストグラムのように、「-gain/2」乃至「gain/2」の範囲内においてランダムなオフセット値を設定する。この場合、「-gain/2」乃至「gain/2」の各値のオフセット値の数は互いに同数（一律）である。

　また、例えば、ゲイン値が偶数（例えば、gain = 8）の場合、値域限定部１４２は、図９のＢに示されるヒストグラムのように、「-gain/2」乃至「gain/2」の範囲内においてランダムなオフセット値を設定する。つまりこの場合、「-gain/2 + 1」乃至「gain/2 - 1」の各値のオフセット値の数は互いに同数（一律）である。ゲイン値が偶数の場合、「-gain/2」および「gain/2」が隣のオフセット値の値域と重畳する。したがって、この場合、図９のＢに示されるように、「-gain/2」および「gain/2」のオフセット値の数は、他の値の２分の１とされる。

　値域限定部１４２は、このように値域を限定した疑似乱数をオフセット値として、演算部１４３に供給する。

　演算部１４３は、各入力画素値に、値域限定部１４２から供給されるオフセット値を付与（例えば加算）する。例えば、ゲイン値が奇数（gain % 2 ≠ 0）の場合、このオフセット値の加算により、このオフセット値の値域の中央の画素値は、「-gain/2」乃至「gain/2」の範囲に均等に拡散される。また、例えば、ゲイン値が偶数（gain % 2 = 0）の場合、このオフセット値の加算により、このオフセット値の値域の中央の画素値は、「-gain/2」乃至「gain/2」の範囲に図９のＢのように拡散される。これにより、図６のＢに示されるように、ヒストグラムが密な状態となる。つまり、演算部１４３は、ゲイン値に応じた値域に補正した疑似乱数を、オフセット値として画像の各画素値（各入力画素値）に加算する。演算部１４３は、オフセット値を付与した画像データをクリップ部１４４に供給する。

　クリップ部１４４は、例えば、ビット長が１０ビットとなるように、クリップ処理により所定の範囲（例えば０乃至１０２３）外の画素値を上限値（１０２３）または下限値（０）にする。クリップ部１４４は、クリップ処理した画像データ（出力画素値）を符号化部１１３に供給する。

　このように画像データにランダムなオフセット値を加算してから簡易符号化を行うことにより、ヒストグラムが密な状態で簡易符号化・簡易復号を行うことができる。したがって、簡易符号化・簡易復号による各画素値の量子化誤差の方向の偏りを抑制することができる。つまり、画像処理システム１００は、方法＃１を適用することにより、増幅した信号群を符号化・復号することにより生じる平均信号値のずれ（DCずれ）を抑制することができる。

　なお、上述のようにオフセット値を加算しても、主にデジタルゲインによる誤差を含む下位ビットが変化するのみであるので、復号画像の主観的画質への影響は小さい。つまり、復号画像の主観的画質への影響を抑制しながら、符号化・復号によるDCずれを抑制することができる。

　　＜符号化処理の流れ＞
　次に、このような画像処理システム１００において実行される処理の流れについて説明する。まず、符号化側構成１０２において実行される符号化処理の流れの例を、図１０のフローチャートを参照して説明する。

　符号化処理が開始されると、画像処理システム１００の符号化側の構成の増幅部１１１は、ステップＳ１０１において、入力された画像データに対して、制御部１０１により設定されたゲイン値でデジタルゲインをかける。

　ステップＳ１０２において、ランダムオフセット加算部１１２は、ステップＳ１０１のデジタルゲインのゲイン値に応じて、画像データにランダムなオフセットを加算する。

　ステップＳ１０３において、符号化部１１３は、そのランダムなオフセットが加算された画像データを簡易符号化する。例えば、符号化部１１３は、ブロック毎に画像データを簡易符号化する。

　ステップＳ１０４において、符号化部１１３は、簡易符号化により生成した符号化データを、例えばビットストリームとして出力する。例えば、符号化部１１３は、そのビットストリームを記録媒体に記録したり、伝送媒体を介して伝送したりする。

　ステップＳ１０４の処理が終了すると符号化処理が終了する。

　　＜オフセット加算処理の流れ＞
　次に、図１１のフローチャートを参照して、ランダムなオフセットを画素値に加算するオフセット加算処理の流れの例を説明する。

　オフセット加算処理が開始されると、疑似乱数生成部１４１は、ステップＳ１２１において、疑似乱数を入力画素値に付与するオフセットとして生成する。

　ステップＳ１２２において、値域限定部１４２は、デジタルゲインのゲイン値に応じてステップＳ１２１において設定したオフセット（疑似乱数）の値域を限定（設定）する。

　ステップＳ１２３において、演算部１４３は、画像の各画素値にステップＳ１２２において値域が設定されたオフセット（疑似乱数）を加算する。また、クリップ部１４４は、その加算結果に対してクリップ処理を行い、加算結果を所定のビット長（例えば１０ビット）のデータに変換する。

　ステップＳ１２３の処理が終了すると、オフセット加算処理が終了し、処理は図１０に戻る。

　　＜復号処理の流れ＞
　次に、復号側構成１０３において実行される復号処理の流れの例を、図１２のフローチャートを参照して説明する。

　復号処理が開始されると、復号側構成１０３の復号部１２１は、ステップＳ１４１において、符号化側構成１０２において生成されたビットストリーム（符号化データ）を、記録媒体または伝送媒体を介して取得する。

　ステップＳ１４２において、復号部１２１は、ステップＳ１４１において取得したビットストリームを簡易復号する。例えば、復号部１２１は、ブロック毎にビットストリームを簡易復号する。

　ステップＳ１４２の処理が終了すると復号処理が終了する。

　以上のように各処理を実行することにより、画像処理システム１００は、方法＃１により、増幅した信号群を符号化・復号することができる。したがって、画像処理システム１００は、増幅した信号群を符号化・復号することにより生じる平均信号値のずれ（DCずれ）を抑制することができる。

　したがって、画像処理システム１００は、例えば、データの（計測結果としての）正確性の低減を抑制することができる。また、例えば、復号画像の主観的画質の低減を抑制することができる。

　　＜画像処理システムの他の構成＞
　なお、画像処理システム１００の構成は、図５の例に限定されない。例えば、図１３に示されるように、符号化データ（ビットストリーム）が、符号化側構成１０２から復号側構成１０３に、所定の通信方式の通信により伝送されるようにしてもよい。

　図１３に示されるように、この場合の画像処理システム１００は、符号化側構成１０２として送信部１７１をさらに有する。また、復号側構成１０３として受信部１７２をさらに有する。

　符号化側構成１０２において、符号化部１１３は、生成した符号化データ（ビットストリーム）を送信部１７１に供給する。

　送信部１７１および受信部１７２は、所定の通信インタフェースであり、所定の通信規格に準拠した方式で通信を行い、情報を授受する。例えば、送信部１７１は、符号化部１１３から供給されたビットストリームをその通信規格に準拠したフォーマットの送信データに変換し（例えばパケット化し）、所定の伝送路を介して受信部１７２に供給する。受信部１７２は、その所定のフォーマットの送信データ（例えばパケット）を受信し、符号化データを復元する。受信部１７２は、その復元した符号化データを復号部１２１に供給する。

　このようにすることにより、簡易符号化した符号化データ（ビットストリーム）を、所定の通信規格に準拠した方式で、符号化側から復号側に伝送することができる。したがって、この通信規格に例えば既存の通信規格を適用することができ、開発を容易化することができる。

　＜４．第２の実施の形態＞
　　＜画像処理システム＞
　本実施の形態においては、図４の方法＃２について説明する。図１４は、本技術を適用した画像処理システムの一態様の構成の一例を示すブロック図である。

　図１４の場合、画像処理システム１００の符号化側構成１０２は、増幅部１１１、減算オフセット設定部２１１、演算部２１２、クリップ部２１３、および符号化部１１３を有する。

　減算オフセット設定部２１１は、減算オフセットの設定に関する処理を行う。減算オフセットは、増幅部１１１によりデジタルゲインがかけられた画像データの各画素値から減算するオフセットである。減算オフセット設定部２１１は、増幅部１１１においてデジタルゲインがかけられた画像データに基づいて、この減算オフセットを設定する。より具体的には、減算オフセット設定部２１１は、デジタルゲインがかけられた画像データの画素平均値と符号化部１１３による簡易符号化の量子化値（簡易符号化において行われる量子化の量子化値）とに基づいて減算オフセット値を設定する。減算オフセット設定部２１１は、その設定した減算オフセットを演算部２１２に供給する。

　演算部２１２は、適応的な画像処理として、増幅部１１１によりデジタルゲインがかけられた画像データの各画素値から、減算オフセット設定部２１１において設定された減算オフセットを減算する。演算部２１２は、その減算結果をクリップ部２１３に供給する。

　クリップ部２１３は、供給された減算結果（デジタルゲインがかけられて、減算オフセットが減算された画像データ）に対してクリップ処理を行い、その下限（例えば０）をクリップする。クリップ部２１３は、クリップ処理した画像データを符号化部１１３に供給する。

　符号化部１１３は、クリップ部２１３から供給された画像データを簡易符号化する。符号化部１１３は、生成した固定長の符号化データを記録媒体に記録したり、伝送媒体を介して伝送させたりする。

　また、図１４の場合、復号側構成１０３は、復号部１２１、加算オフセット設定部２２１、演算部２２２、およびクリップ部２２３を有する。

　加算オフセット設定部２２１は、加算オフセットの設定に関する処理を行う。加算オフセットは、復号部１２１により復元された画像データの各画素値に加算するオフセットである。加算オフセット設定部２２１は、減算オフセット設定部２１１と基本的に同様の方法により、加算オフセットを設定する。例えば加算オフセット設定部２２１は、復元された画像データに基づいて、この加算オフセットを設定する。より具体的には、加算オフセット設定部２２１は、復元された画像データの画素平均値と符号化部１１３において行われる量子化（簡易符号化）の量子化値（符号化側から供給された量子化値）とに基づいて加算オフセット値を設定する。加算オフセット設定部２２１は、その設定した加算オフセットを演算部２２２に供給する。

　演算部２２２は、適応的な処理として、復号部１２１から供給される復元された画像データの各画素値に、加算オフセット設定部２２１から供給される加算オフセットを加算する。演算部２２２は、その加算結果をクリップ部２２３に供給する。

　クリップ部２２３は、供給された減算結果（復元されて、加算オフセットが加算された画像データ）に対してクリップ処理を行い、その上限（最大値）をクリップする。クリップ部２２３は、クリップ処理した画像データを画像処理システム１００の外部に出力する。

　図４を参照して上述したように、この場合、符号化側構成１０２において、デジタルゲインがかけられた画像データの各画素値から、減算オフセットが減算されることにより、各画素値が、量子化誤差がより少なくなるような値にシフトされる。換言するに、減算オフセットがそのような値に設定される。

　そして、復号側構成１０３において、復元された画像データの各画素値に、加算オフセットが加算されることにより、各画素値が元の値にシフトされる（つまり、符号化側構成１０２における減算オフセットを用いた画素値のシフトがキャンセルされる）。換言するに、加算オフセットがそのような値に設定される。

　このような処理により、量子化誤差を低減させながら簡易符号化・簡易復号を行うことができるので、結果として量子化誤差の方向の偏りが低減する。つまり、符号化・復号による画素値の量子化誤差の方向の偏りを抑制することができる。

　　＜減算オフセット設定部＞
　図１５は、減算オフセット設定部２１１の主な構成例を示すブロック図である。図１５に示されるように、減算オフセット設定部２１１は、平均値計測部２３１、オフセット値選択部２３２、およびオフセット値供給部２３３を有する。

　平均値計測部２３１は、増幅部１１１より供給される画像データの、処理対象フレーム（カレントフレームｔ）の１つ前のフレーム（ｔ－１）について画素平均値を算出する。平均値計測部２３１は、算出した画素平均値をオフセット値選択部２３２に供給する。

　オフセット値選択部２３２は、平均値計測部２３１から供給されたフレーム（ｔ－１）の画素平均値と、簡易符号化の圧縮率により定まる量子化の最大ビットロス（bit loss）量とに基づいて、オフセット値（減算オフセット）を設定する。

　上述したように、量子化誤差をより小さくするオフセット値は、デジタルゲインがかけられた画像データの画素平均値と、量子化の最大ビットロス量に依存する。例えば、その画像データが図１のＢに示されるヒストグラムに対応する場合、量子化誤差をより小さくする減算オフセットの値は、その画素平均値および最大ビットロス量に基づいて、図１６の表のように求めることができる。

　つまり、オフセット値選択部２３２は、このような表を予め保持しておき、この表を参照して減算オフセットの値を求める。このようにすることにより、オフセット値選択部２３２は、より容易に減算オフセットを設定することができる。オフセット値選択部２３２は、設定した減算オフセットをオフセット値供給部２３３に供給する。

　オフセット値供給部２３３は、オフセット値選択部２３２より供給された減算オフセットを、カレントフレーム（ｔ）の減算オフセットとして演算部２１２に供給する。

　なお、画素平均値は、カレントフレームの２つ以上前のフレームを用いて算出されるようにしてもよい。つまり、減算オフセットは、カレントフレームの２つ以上前のフレームを用いて算出されるようにしてもよい。ただし、カレントフレームにより近いフレームを用いて画素平均値を求める方が、より正しい値（量子化誤差をより低減させる値）の減算オフセットを得やすい。

　また、この減算オフセットは、画像データの色毎に（例えば、RGBのそれぞれについて）設定するようにしてもよい。その場合、平均値計測部２３１が、画素平均値を色毎に算出し、オフセット値選択部２３２が、その色毎の画素平均値を用いて、減算オフセット値を色毎に設定すれば良い。このようにすることにより、より正しい値（量子化誤差をより低減させる値）の減算オフセットを得やすい。例えば、色毎に最大ビットロス量が異なる場合であっても、このようにすることにより、量子化誤差をより小さくするオフセット値を求めることができる。

　なお、加算オフセット設定部２２１も、この減算オフセット設定部２１１と同様の構成を有し、同様の方法により、加算オフセットを設定する。したがって、その説明は省略する。

　以上のように、画像処理システム１００は、方法＃２を適用することにより、増幅した信号群を符号化・復号することにより生じる平均信号値のずれ（DCずれ）を抑制することができる。

　　＜符号化処理の流れ＞
　次に、このような画像処理システム１００において実行される処理の流れについて説明する。まず、符号化側構成１０２において実行される符号化処理の流れの例を、図１７のフローチャートを参照して説明する。

　符号化処理が開始されると、画像処理システム１００の符号化側の構成の増幅部１１１は、ステップＳ２０１において、入力された画像データに対して、制御部１０１により設定されたゲイン値でデジタルゲインをかける。

　ステップＳ２０２において、減算オフセット設定部２１１は、上述したように減算オフセットを求め、セットする。

　ステップＳ２０３において、演算部２１２は、ステップＳ２０１においてデジタルゲインがかけられた画像データから、減算オフセットを減算する。

　ステップＳ２０４において、クリップ部２１３は、ステップＳ２０３において算出された減算結果、すなわち、デジタルゲインがかけられて減算オフセットが減算された画像データに対してクリップ処理を行い、各画素値の下限をクリップする。

　ステップＳ２０５において、符号化部１１３は、その下限がクリップされた画像データを、簡易符号化する。

　ステップＳ２０６において、符号化部１１３は、簡易符号化により生成した符号化データを、例えばビットストリームとして出力する。例えば、符号化部１１３は、そのビットストリームを記録媒体に記録したり、伝送媒体を介して伝送したりする。

　ステップＳ２０６の処理が終了すると符号化処理が終了する。

　　＜オフセット値設定処理の流れ＞
　次に、図１８のフローチャートを参照して、図１７のステップＳ２０２において実行される、減算オフセットを設定するオフセット値設定処理の流れの例を説明する。

　オフセット値設定処理が開始されると、オフセット値供給部２３３は、ステップＳ２２１において、カレントフレームの減算オフセットを演算部２１２に供給し、セットする。この減算オフセットは、過去（例えばカレントフレームの１つ前のフレームを処理対象とするとき）の処理において設定されたオフセット値（設定済みのオフセット値）である。つまり、カレントフレーム（ｔ）から見て１つ前のフレーム（ｔ－１）の画像データに基づいて設定されたオフセット値である。

　ステップＳ２２２において、平均値計測部２３１は、カレントフレームの画像データの画素平均値を算出する。

　ステップＳ２２３において、オフセット値選択部２３２は、ステップＳ２２２において算出された画素平均値と、圧縮率に応じて算出されるカレントフレームの最大ビットロス量とに基づいて、例えば図１６の表を参照して、カレントフレームの次のフレームの減算オフセットを選択（設定）する。オフセット値供給部２３３は、この減算オフセットを次フレームの処理まで保持する。そして、次フレームのステップＳ２２１において、オフセット値供給部２３３は、その減算オフセットを演算部２１２に供給する。

　ステップＳ２２３の処理が終了すると、オフセット値設定処理が終了し、処理は図１７に戻る。

　　＜復号処理の流れ＞
　次に、復号側構成１０３において実行される復号処理の流れの例を、図１９のフローチャートを参照して説明する。

　復号処理が開始されると、復号側構成１０３の加算オフセット設定部２２１は、ステップＳ２４１において、加算オフセットを求め、セットする。なお、この加算オフセットの設定は、図１８のフローチャートを参照して説明した減算オフセットの設定（オフセット値設定処理）と同様の流れで行われる。したがってその説明は省略する。

　ステップＳ２４２において、復号部１２１は、符号化側構成１０２において生成されたビットストリーム（符号化データ）を、記録媒体または伝送媒体を介して取得する。

　ステップＳ２４３において、復号部１２１は、ステップＳ２４２において取得したビットストリームを簡易復号する。

　ステップＳ２４４において、演算部２２２は、ステップＳ２４３の処理により生成された復号画像に、ステップＳ２４１においてセットされた加算オフセットを加算する。

　ステップＳ２４５において、クリップ部２２３は、ステップＳ２４４において加算オフセットが加算された復号画像の上限をクリップする。

　ステップＳ２４５の処理が終了すると、復号処理が終了する。

　以上のように各処理を実行することにより、画像処理システム１００は、方法＃２により、増幅した信号群を簡易符号化・簡易復号することができる。したがって、画像処理システム１００は、増幅した信号群を符号化・復号することにより生じる平均信号値のずれ（DCずれ）を抑制することができる。

　したがって、画像処理システム１００は、例えば、データの（計測結果としての）正確性の低減を抑制することができる。また、例えば、復号画像の主観的画質の低減を抑制することができる。

　　＜減算オフセット設定部の他の構成例＞
　なお、ビットロス量を画像データより算出し、その算出したビットロス量を用いて減算オフセットを設定するようにしてもよい。

　図２０は、減算オフセット設定部２１１の他の構成例を示すブロック図である。図２０に示されるように、この場合、減算オフセット設定部２１１は、平均値計測部２３１乃至オフセット値供給部２３３の他に、圧縮部２５１および平均値計測部２５２を有する。

　圧縮部２５１は、増幅部１１１より供給される画像データの、処理対象フレーム（カレントフレーム（ｔ））の１つ前のフレーム（ｔ－１）を、符号化部１１３と同様の手法により圧縮し（つまり簡易符号化し）、各画素値の量子化値（ビットロス量）を求める。圧縮部２５１は、算出した各画素値の量子化値（ビットロス量）を平均値計測部２５２に供給する。なお、このビットロス量は、カレントフレームの２つ以上前のフレームを用いて算出されるようにしてもよい。つまり、減算オフセットは、カレントフレームの２つ以上前のフレームを用いて算出されるようにしてもよい。

　平均値計測部２５２は、供給される各画素の量子化値の平均値（平均量子化値（ビットロス量））を算出する。つまり、平均値計測部２５２は、増幅部１１１より供給される画像データの、処理対象フレーム（カレントフレーム（ｔ））より前のフレーム（例えば、カレントフレーム（ｔ）の１つ前のフレーム（ｔ－１））の画像の簡易符号化の各画素の量子化値の平均値を算出する。平均値計測部２５２は、算出した平均量子化値をオフセット値選択部２３２に供給する。

　オフセット値選択部２３２は、平均値計測部２３１より供給される画素平均値と、平均値計測部２５２から供給される平均量子化値とに基づいて、減算オフセットを設定する。この場合の減算オフセットの設定方法は、基本的に図１５の場合と同様であり、例えば、図１６の表に基づいて設定される。

　　＜オフセット値設定処理の流れ＞
　この場合のオフセット値設定処理の流れの例を、図２１のフローチャートを参照して説明する。

　オフセット値設定処理が開始されると、オフセット値供給部２３３は、ステップＳ２６１において、カレントフレームの減算オフセットを演算部２１２に供給し、セットする。この減算オフセットは、過去（例えばカレントフレームの１つ前のフレームを処理対象とするとき）の処理において設定されたオフセット値（設定済みのオフセット値）である。つまり、カレントフレーム（ｔ）から見て１つ前のフレーム（ｔ－１）の画像データに基づいて設定されたオフセット値である。

　ステップＳ２６２において、平均値計測部２３１は、カレントフレームの画像データの画素平均値を算出する。

　ステップＳ２６３において、圧縮部２５１は、符号化部１１３による簡易符号化と同様の方法で、カレントフレームの画像データを圧縮し、各画素の量子化値を求める。

　ステップＳ２６４において、平均値計測部２５２は、ステップＳ２６３において算出された量子化値の平均値（平均量子化値）を求める。

　ステップＳ２６５において、オフセット値選択部２３２は、ステップＳ２６２において算出された画素平均値と、ステップＳ２６４において算出された平均量子化値とに基づいて、例えば図１６の表を参照して、カレントフレームの次のフレームの減算オフセットを選択（設定）する。オフセット値供給部２３３は、この減算オフセットを次フレームの処理まで保持する。そして、次フレームのステップＳ２６１において、オフセット値供給部２３３は、その減算オフセットを演算部２１２に供給する。

　ステップＳ２６５の処理が終了すると、オフセット値設定処理が終了し、処理は図１７に戻る。

　以上のように、この場合も、画像処理システム１００は、増幅した信号群を符号化・復号することにより生じる平均信号値のずれ（DCずれ）を抑制することができる。

　なお、以上においては、カレントフレームの画像データを処理して、次のフレームの減算オフセットを設定するように説明したが、減算オフセット設定部２１１が、１フレーム分の画像データを保持し、カレントフレームの減算オフセットを、カレントフレームの１つ前の画像データを用いて設定するようにしてもよい。勿論、加算オフセットについても同様である。

　　＜画像処理システムの他の構成＞
　なお、画像処理システム１００の構成は、図１４の例に限定されない。例えば、図２２に示されるように、符号化データ（ビットストリーム）が、符号化側構成１０２から復号側構成１０３に、所定の通信方式の通信により伝送されるようにしてもよい。

　図２２に示されるように、この場合の画像処理システム１００は、符号化側構成１０２として送信部１７１をさらに有する。また、復号側構成１０３として受信部１７２をさらに有する。

　つまり、例えば、送信部１７１は、符号化部１１３から供給されたビットストリームをその通信規格に準拠したフォーマットの送信データに変換し（例えばパケット化し）、所定の伝送路を介して受信部１７２に供給する。受信部１７２は、その所定のフォーマットの送信データ（例えばパケット）を受信し、符号化データを復元する。受信部１７２は、その復元した符号化データを復号部１２１に供給する。

　このようにすることにより、簡易符号化した符号化データ（ビットストリーム）を、所定の通信規格に準拠した方式で、符号化側から復号側に伝送することができる。したがって、この通信規格に例えば既存の通信規格を適用することができ、開発を容易化することができる。

　＜５．第３の実施の形態＞
　　＜画像処理システム＞
　本実施の形態においては、図４の方法＃３について説明する。図２３は、本技術を適用した画像処理システムの一態様の構成の一例を示すブロック図である。

　図２３の場合、画像処理システム１００の符号化側構成１０２は、増幅部１１１、量子化値範囲設定部３１１、および符号化部１１３を有する。

　量子化値範囲設定部３１１は、量子化値範囲の設定に関する処理を行う。例えば、量子化値範囲設定部３１１は、制御部１０１から供給されるデジタルゲインのゲイン値に応じて簡易符号化（において行われる量子化）の量子化値（qf）の範囲を設定する。図４を参照して上述したように、量子化値（qf）の値域は、デジタルゲインのゲイン値に応じて制限することができる。

　例えば、量子化値範囲設定部３１１は、予め図２４に示されるような表の情報を有しており、この表を参照して、制御部１０１から供給されるゲイン値（すなわち、画像に対して行われた信号増幅のゲイン値）に対応する量子化値（qf）の値域を設定する。

　例えば、図２５のＡのように、ゲイン値が8.0倍のデジタルゲインが画像データにかけられる場合、図２５のＢに示されるように、下位３ビットの情報は、このデジタルゲインにより劣化する。したがって、復号画像の主観的画質の低減を抑制しながら、量子化によりこの下位３ビットをロスさせることができる。つまり、量子化値（qf）の値域は、０乃至９から３乃至９に制限することができる（このように制限しても復号画像の主観的画質の低減を抑制することができる）。

　このように量子化値（qf）の値域を制限することにより、量子化値（qf）の値域の制限した部分について、符号化結果の検証を省略することができる。したがって、簡易符号化の負荷の増大を抑制することができる。

　また、図２６は、符号化データの主な構成例を示す図である。図２６に示される符号化データ３４１には、量子化値（qf）を表す情報（the value of qf）が含まれる（図中斜線部分）。上述したように量子化値（qf）の値域を制限することにより、より少ないビット数（語長）で量子化値（qf）を表現することができる。したがって、符号化データにおけるこの量子化値（qf）を示す情報の符号量を抑制することができる。つまり、符号化効率の低減を抑制し、復号画像の主観的画質の低減を抑制することができる。

　量子化値範囲設定部３１１は、量子化値（qf）の値域を設定すると、その情報を画像データ等とともに符号化部１１３に供給する。

　符号化部１１３は、供給された量子化値（qf）の値域に従って、画像データを簡易符号化する。つまり、符号化部１１３は、その制限された量子化値（qf）の値域について、符号化結果を検証し、最適なものを選択する。また、符号化部１１３は、その簡易符号化により、その量子化値（qf）の値域に関する情報を含む符号化データを生成する。

　符号化部１１３は、生成した固定長の符号化データを記録媒体に記録したり、伝送媒体を介して伝送させたりする。

　復号側構成１０３は、符号化側構成１０２において生成された符号化データを復号する復号側の構成であり、例えば、復号部１２１を有する。

　復号部１２１は、制御部１０１により制御され、符号化部１１３により生成された符号化データを、記録媒体や伝送媒体を介して取得し、それを簡易復号する。

　その簡易復号の際、復号部１２１は、符号化データに含まれる量子化値（qf）の値域に関する情報を参照し、その情報に基づいて（その情報が示す量子化値（qf）の値域に基づいて）、逆量子化を行う。復号部１２１は、このようにして復元された画像データ（デジタル画像信号）を、画像処理システム１００の外部に出力する。

　以上のように、画像処理システム１００は、方法＃３を適用することにより、符号化処理の負荷の増大を抑制することができるとともに、符号化効率の低減を抑制することができる。

　　＜符号化処理の流れ＞
　この場合の符号化側構成１０２において実行される符号化処理の流れの例を、図２７のフローチャートを参照して説明する。

　符号化処理が開始されると、画像処理システム１００の符号化側の構成の増幅部１１１は、ステップＳ３０１において、入力された画像データに対して、制御部１０１により設定されたゲイン値でデジタルゲインをかける。

　ステップＳ３０２において、量子化値範囲設定部３１１は、そのデジタルゲインのゲイン値に応じて、簡易符号化の量子化値（qf）の範囲（値域）を設定する。

　ステップＳ３０３において、符号化部１１３は、ステップＳ３０２において設定された量子化値（qf）の範囲（値域）に従って、ステップＳ３０１においてデジタルゲインがかけられた画像データを簡易符号化する。

　ステップＳ３０４において、符号化部１１３は、生成した符号化データを、例えばビットストリームとして出力する。例えば、符号化部１１３は、そのビットストリームを記録媒体に記録したり、伝送媒体を介して伝送したりする。

　ステップＳ３０４の処理が終了すると符号化処理が終了する。

　　＜復号処理の流れ＞
　次に、復号側構成１０３において実行される復号処理の流れの例を、図２８のフローチャートを参照して説明する。

　復号処理が開始されると、復号側構成１０３の復号部１２１は、ステップＳ３２１において、符号化側構成１０２において生成されたビットストリーム（符号化データ）を、記録媒体または伝送媒体を介して取得する。

　ステップＳ３２２において、復号部１２１は、ステップＳ３２１において取得したビットストリームを簡易復号する。例えば、復号部１２１は、ビットストリーム（符号化データ）をブロック毎に簡易復号する。

　その際、復号部１２１は、符号化データに含まれる量子化値（qf）の値域に関する情報を参照し、その情報に基づいて（その情報が示す量子化値（qf）の値域に基づいて）、逆量子化を行う。復号部１２１は、このようにして復元された画像データ（デジタル画像信号）を、画像処理システム１００の外部に出力する。

　ステップＳ３２２の処理が終了すると復号処理が終了する。

　以上のように各処理を実行することにより、画像処理システム１００は、方法＃３により、増幅した信号群を簡易符号化・簡易復号することができる。したがって、画像処理システム１００は、符号化処理の負荷の増大を抑制することができるとともに、符号化効率の低減を抑制することができる。

　　＜画像処理システムの他の構成＞
　なお、画像処理システム１００の構成は、図２３の例に限定されない。例えば、図２９に示されるように、符号化データ（ビットストリーム）が、符号化側構成１０２から復号側構成１０３に、所定の通信方式の通信により伝送されるようにしてもよい。

　図２９に示されるように、この場合の画像処理システム１００は、符号化側構成１０２として送信部１７１をさらに有する。また、復号側構成１０３として受信部１７２をさらに有する。

　つまり、例えば、送信部１７１は、符号化部１１３から供給されたビットストリームをその通信規格に準拠したフォーマットの送信データに変換し（例えばパケット化し）、所定の伝送路を介して受信部１７２に供給する。受信部１７２は、その所定のフォーマットの送信データ（例えばパケット）を受信し、符号化データを復元する。受信部１７２は、その復元した符号化データを復号部１２１に供給する。

　このようにすることにより、簡易符号化により生成された符号化データ（ビットストリーム）を、所定の通信規格に準拠した方式で、符号化側から復号側に伝送することができる。したがって、この通信規格に例えば既存の通信規格を適用することができ、開発を容易化することができる。

　＜６．第４の実施の形態＞
　　＜画像処理システム＞
　本実施の形態においては、図４の方法＃４について説明する。図３０は、本技術を適用した画像処理システムの一態様の構成の一例を示すブロック図である。図３０の場合、画像処理システム１００の符号化側構成１０２は、増幅部１１１、演算部４１１、および符号化部１１３を有する。

　演算部４１１は、増幅部１１１から供給される画像データ、すなわちデジタルゲインがかけられた画像データを、制御部１０１から供給されるデジタルゲインのゲイン値で除算する。つまり、演算部４１１は、画像データにかけられたデジタルゲインをキャンセルする。したがって、符号化部１１３は、デジタルゲインがキャンセルされた状態の画像データに対して、簡易符号化を行う。

　つまり、画像データは、例えば、図１のＡに示されるような密な状態で簡易符号化される。したがって、簡易符号化することにより生じるDCずれを抑制することができる。また、デジタルゲインがかけられることによる画素値差の増大も抑制されるので、DPCMの残差の増大を抑制することができ、符号化効率の増大を抑制することができる。

　符号化部１１３は、生成した固定長の符号化データを記録媒体に記録したり、伝送媒体を介して伝送させたりする。

　また、図３０の場合、復号側構成１０３は、復号部１２１および演算部４２１を有する。演算部４２１は、復号部により復元された画像データに対して（画像データの各画素値に）、制御部１０１から供給されるデジタルゲインのゲイン値を乗算する。つまり、デジタルゲインがかけられた状態の画像データが得られる。演算部４２１は、そのデジタルゲインがかけられた状態の画像データを画像処理システム１００の外部に出力する。

　このようにすることにより、画像処理システム１００は、デジタルゲインがかけられていない状態で画像データを簡易符号化・簡易復号することができる。つまり、簡易符号化・簡易復号による、デジタルゲインがかけられた状態の画像データへの影響を抑制することができる。したがって、DCずれを抑制し、符号化効率の増大を抑制することができる。

　　＜符号化処理の流れ＞
　次に、この場合の符号化側構成１０２において実行される符号化処理の流れの例を、図３１のフローチャートを参照して説明する。

　符号化処理が開始されると、画像処理システム１００の符号化側構成１０２の増幅部１１１は、ステップＳ４０１において、入力された画像データに対して、制御部１０１により設定されたゲイン値でデジタルゲインをかける。

　ステップＳ４０２において、演算部４１１は、そのデジタルゲインがかけられた画像データを、制御部１０１により設定されたゲイン値で除算し、デジタルゲインをキャンセルする。

　ステップＳ４０３において、符号化部１１３は、そのデジタルゲインがキャンセルされた画像データを簡易符号化する。例えば、符号化部１１３は、画像データをブロック毎に簡易符号化する。

　ステップＳ４０４において、符号化部１１３は、その簡易符号化により生成した符号化データを、例えばビットストリームとして出力する。例えば、符号化部１１３は、そのビットストリームを記録媒体に記録したり、伝送媒体を介して伝送したりする。

　ステップＳ４０４の処理が終了すると符号化処理が終了する。

　　＜復号処理の流れ＞
　次に、復号側構成１０３において実行される復号処理の流れの例を、図３２のフローチャートを参照して説明する。

　復号処理が開始されると、復号側構成１０３の復号部１２１は、ステップＳ４２１において、符号化側構成１０２において生成されたビットストリーム（符号化データ）を、記録媒体または伝送媒体を介して取得する。

　ステップＳ４２２において、復号部１２１は、ステップＳ４２１において取得したビットストリームを簡易復号する。例えば、復号部１２１は、符号化データをブロック毎に簡易復号する。

　ステップＳ４２３において、演算部４２１は、この簡易復号により生成した復号画像に、制御部１０１により設定されたゲイン値でデジタルゲインをかける。

　ステップＳ４２３の処理が終了すると、復号処理が終了する。

　以上のように各処理を実行することにより、画像処理システム１００は、方法＃４により、増幅した信号群を符号化・復号することができる。したがって、画像処理システム１００は、平均信号値のずれ（DCずれ）を抑制することができる。

　したがって、画像処理システム１００は、例えば、データの（計測結果としての）正確性の低減を抑制することができる。また、例えば、復号画像の主観的画質の低減を抑制することができる。

　また、画像処理システム１００は、画素値差の拡大を抑制することができるので、符号化効率の低減を抑制することができる。なお、以上においては、信号増幅した後にゲイン値を除算して簡易符号化するように説明したが、これに限らず、例えば、ゲイン値を除算する代わりに、信号増幅（すなわち、デジタルゲインをかけること）を省略して簡易符号化を行うようにしてもよい。このようにすることにより、符号化処理の負荷の増大を抑制することができる。

　　＜画像処理システムの他の構成＞
　なお、画像処理システム１００の構成は、図３０の例に限定されない。例えば、図３３に示されるように、符号化データ（ビットストリーム）が、符号化側構成１０２から復号側構成１０３に、所定の通信方式の通信により伝送されるようにしてもよい。

　図３３に示されるように、この場合の画像処理システム１００は、符号化側構成１０２として送信部１７１をさらに有する。また、復号側構成１０３として受信部１７２をさらに有する。

　つまり、例えば、送信部１７１は、符号化部１１３から供給されたビットストリームをその通信規格に準拠したフォーマットの送信データに変換し（例えばパケット化し）、所定の伝送路を介して受信部１７２に供給する。受信部１７２は、その所定のフォーマットの送信データ（例えばパケット）を受信し、符号化データを復元する。受信部１７２は、その復元した符号化データを復号部１２１に供給する。

　このようにすることにより、簡易符号化した符号化データ（ビットストリーム）を、所定の通信規格に準拠した方式で、符号化側から復号側に伝送することができる。したがって、この通信規格に例えば既存の通信規格を適用することができ、開発を容易化することができる。

　＜７．第５の実施の形態＞
　　＜適用例：撮像素子＞
　次に、上述した本技術をデバイスに適用する例について説明する。図３４は、本技術を適用した撮像素子である積層型イメージセンサ５１０の主な構成例を示すブロック図である。図３４に示される積層型イメージセンサ５１０は、被写体を撮像し、撮像画像のデジタルデータ（画像データ）を得て、その画像データを出力するイメージセンサ（撮像素子）である。

　図３４に示されるように、積層型イメージセンサ５１０は、半導体基板５１１乃至半導体基板５１３の３枚の半導体基板を有する。これらの半導体基板は、互いに重畳された状態で封止され、モジュール化（一体化）されている。つまり、これらの半導体基板は、多層構造（積層構造）を形成する。半導体基板５１１乃至半導体基板５１３には、それぞれ、電子回路が形成されており、各半導体基板に形成される回路は、ビア（VIA）等により互いに接続されている。各半導体基板（に形成される回路）間の経路をバスとも称する。例えば、半導体基板５１１の回路と半導体基板５１２の回路は、バス５２１を介してデータ等の授受を行うことができる。また、半導体基板５１２の回路と半導体基板５１３の回路は、バス５２２を介してデータ等の授受を行うことができる。

　また、半導体基板５１２に形成される回路には、積層型イメージセンサ５１０のインタフェース５２３が形成される。つまり、半導体基板５１２に形成される回路は、このインタフェース５２３を介して、積層型イメージセンサ５１０の外部の回路（例えば回路基板５３０に形成される回路）とデータ等の授受を行うことができる。このインタフェース５２３は、所定の通信規格に準拠した通信方式により通信が行われるインタフェースである。この通信規格は任意である。例えば、MIPI（Mobile Industry Processor Interface）であってもよいし、SLVS-EC（Scalable Low Voltage Signaling Embedded Clock）であってもよいし、その他の規格であってもよい。なお、インタフェース５２３の具体的な構成は任意である。例えば、入出力の制御を行う構成だけでなく、バスやケーブル等の伝送路もインタフェース５２３に含まれるものとしてもよい。

　このように、モジュール内部において半導体基板の多層構造を形成することにより、積層型イメージセンサ５１０は、半導体基板のサイズを増大させずに、より大規模な回路の実装を実現することができる。すなわち、積層型イメージセンサ５１０は、コストの増大を抑制しながら、より大規模な回路を実装することができる。

　各半導体基板に形成される回路構成の例を図３５に示す。図３５においては説明の便宜上、半導体基板５１１乃至半導体基板５１３が平面上に並べて配置されているが、実際には、図３４に示されるように互いに重畳されている。

　一番上の半導体基板５１１には、受光部５４１およびA/D変換部５４２等が形成される。受光部５４１は、例えばフォトダイオード等の光電変換素子を有する単位画素を複数有し、各単位画素において入射光を光電変換し、入射光に相当する電荷を電気信号（画素信号）としてA/D変換部５４２に出力する。

　A/D変換部５４２は、受光部５４１から供給される各画素信号をA/D変換し、デジタルデータの画素データを生成する。A/D変換部５４２は、このように生成した各単位画素の画素データの集合を画像データとしてバス５２１を介して半導体基板５１２に供給する。

　中段の半導体基板５１２には、画像処理等を行う論理回路である画像処理部５５１が形成される。画像処理部５５１は、半導体基板５１１からバス５２１を介して供給される画像データを取得すると、その画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。例えば、欠陥画素補正、オートフォーカス用の位相差検出、画素加算、デジタルゲイン、ノイズリダクション等がこの画像処理に含まれていてもよい。もちろん、これら以外の処理が含まれていてもよい。

　一番下の半導体基板５１３には、DRAM（Dynamic Random Access Memory）５６１が形成される。このDRAM５６１は、バス５２２を介して半導体基板５１２（画像処理部５５１）から供給されるデータ等を記憶することができる。また、DRAM５６１は、半導体基板５１２（画像処理部５５１）等からの要求に応じて、記憶しているデータ等を読み出し、バス５２２を介して半導体基板５１２に供給することができる。つまり、画像処理部５５１は、画像処理中の画像データを一時的に保持させる等、このDRAM５６１を用いて画像処理を行うことができる。例えば、高速のフレームレートで撮像し、その各フレームの撮像画像をDRAM５６１に記憶させ、それを低速のフレームレートで読み出して出力することにより、所謂スローモーション撮像を実現することができる。

　このようなDRAM５６１の利用において、画像処理部５５１は、画像データを符号化（圧縮）し、生成した符号化データをDRAM５６１に記憶させたり、DRAM５６１から符号化データを読み出して復号し、画像データ（復号画像データ）を生成したりする。例えば、画像処理部５５１は、符号化部５５１Ａおよび復号部５５１Ｂを有する。符号化部５５１Ａは、画像データを符号化し、生成した符号化データをDRAM５６１に供給し、記憶させる。復号部５５１Ｂは、DRAM５６１から読み出された符号化データを復号し、画像データ（復号画像データ）を生成する。このように画像データを符号化データ（圧縮したデータ）としてDRAM５６１に記憶させるようにすることにより、DRAM５６１に記憶させるデータ量を低減させることができる。したがって、DRAM５６１の記憶領域や、バス５２２の帯域の利用効率を向上させることができる。したがって、DRAM５６１の容量やバス５２２の帯域幅の増大を抑制することができ、製造コストの増大を抑制することができる。

　この符号化部５５１Ａとして、上述した画像処理システム１００の符号化側構成１０２（例えば図５、図１４、図２３、または図３０）を適用し、復号部５５１Ｂとして、復号側構成１０３（例えば図５、図１４、図２３、または図３０）を適用することにより、上述した画像処理システム１００（例えば図５、図１４、図２３、または図３０）の効果を得ることができる。符号化側構成１０２および復号側構成１０３の具体的な構成は、方法＃１乃至方法＃４のいずれでもよい。

　このようにすることにより、例えば、画像処理部５５１において画像データにデジタルゲインをかける高デジタルゲイン撮像の場合であっても、増幅した信号群を符号化・復号することにより生じる平均信号値のずれを抑制することができる。したがって、例えば、データの（計測結果としての）正確性の低減を抑制することができる。また、例えば、復号画像の主観的画質の低減を抑制することができる。また、符号化効率の低減を抑制することができ、復号画像の主観的画質の低減を抑制することができる。

　また、回路基板５３０には、画像処理等を行う論理回路である画像処理部５７１が形成される。画像処理部５７１は、積層型イメージセンサ５１０の半導体基板５１２（画像処理部５５１）からインタフェース５２３を介して供給される画像データを取得すると、その画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。

　つまり、画像処理部５５１は、インタフェース５２３を介してデータ等を画像処理部５７１に供給する（積層型イメージセンサ５１０の外部に出力する）ことができる。このような出力の際に、画像処理部５５１は、画像データを符号化（圧縮）して、符号化データとして出力する。例えば、画像処理部５５１が符号化部５５１Ｃを有し、画像処理部５７１が復号部５７１Ａを有する。符号化部５５１Ｃは、画像データを符号化し、その符号化データを、インタフェース５２３を介して出力する。復号部５７１Ａは、そのインタフェース５２３を介して供給される符号化データを復号し、画像データ（復号画像データ）を生成する。画像処理部５７１は、生成した復号画像データに対して画像処理を行う。

　このように、符号化データ（圧縮したデータ）を、インタフェース５２３を介して伝送するようにすることにより、伝送するデータ量を低減させることができる。したがって、インタフェース５２３の帯域の利用効率を向上させることができる。つまり、インタフェース５２３の帯域幅の増大を抑制することができ、製造コストの増大を抑制することができる。

　この符号化部５５１Ｃとして、上述した画像処理システム１００の符号化側構成１０２（例えば図１３、図２２、図２９、または図３３）を適用し、復号部５７１Ａとして、復号側構成１０３（例えば図１３、図２２、図２９、または図３３）を適用することにより、上述した画像処理システム１００（例えば図１３、図２２、図２９、または図３３）の効果を得ることができる。符号化側構成１０２および復号側構成１０３の具体的な構成は、方法＃１乃至方法＃４のいずれでもよい。

　このようにすることにより、例えば、画像処理部５５１において画像データにデジタルゲインをかける高デジタルゲイン撮像の場合であっても、増幅した信号群を符号化・復号することにより生じる平均信号値のずれを抑制することができる。したがって、例えば、データの（計測結果としての）正確性の低減を抑制することができる。また、例えば、復号画像の主観的画質の低減を抑制することができる。また、符号化効率の低減を抑制することができ、復号画像の主観的画質の低減を抑制することができる。

　このような積層型イメージセンサ５１０を用いて撮像を行う撮像処理の流れの例を、図３６のフローチャートを参照して説明する。

　撮像処理が開始されると、受光部５４１は、ステップＳ５０１において被写体を撮像し、入射光を光電変換する。

　ステップＳ５０２において、A/D変換部５４２は、ステップＳ５０１において生成された電気信号をA/D変換し、デジタルデータの画像データを生成する。

　ステップＳ５０３において、画像処理部５５１は、ステップＳ５０２において生成された画像データを、バス５２１を介して取得し、その画像データに対して、例えばデジタルゲインをかける等の所定の画像処理を行う。

　ステップＳ５０４において、符号化部５５１Ａは、DRAM５６１に記憶させる画像データを符号化する。この符号化は、第１の実施の形態乃至第４の実施の形態のいずれかにおいて説明したように（つまり、方法＃１乃至方法＃４のいずれかの方法で）行われる。

　ステップＳ５０５において、DRAM５６１は、ステップＳ５０５において生成された符号化データを、バス５２２を介して取得し、記憶する。

　ステップＳ５０６において、DRAM５６１は、記憶している符号化データの中から要求された符号化データを読み出し、バス５２２を介して画像処理部５５１に供給する。

　ステップＳ５０７において、復号部５５１Ｂは、その符号化データを復号する。この復号は、第１の実施の形態乃至第４の実施の形態のいずれかにおいて説明したように（つまり、方法＃１乃至方法＃４のいずれかの方法で）行われる。画像処理部５５１は、その復号により生成された画像データ（復号画像データ）に対して所定の画像処理を施してもよい。

　ステップＳ５０８において、符号化部５５１Ｃは、積層型イメージセンサ５１０の外部に出力する画像データを符号化する。この符号化は、第１の実施の形態乃至第４の実施の形態のいずれかにおいて説明したように（つまり、方法＃１乃至方法＃４のいずれかの方法で）行われる。

　ステップＳ５０９において、符号化部５５１Ｃは、ステップＳ５０８において生成された符号化データを、インタフェース５２３を介して積層型イメージセンサ５１０の外部（例えば回路基板５３０の画像処理部５７１）に供給する。

　画像処理部５７１の復号部５７１Ａは、その供給された符号化データを復号し、画像データ（復号画像データ）を生成する。この復号は、第１の実施の形態乃至第４の実施の形態のいずれかにおいて説明したように（つまり、方法＃１乃至方法＃４のいずれかの方法で）行われる。画像処理部５７１は、その生成された画像データに対して所定の画像処理を施す。

　ステップＳ５０９の処理が終了すると、撮像処理が終了する。

　以上のように撮像処理を行うことにより、積層型イメージセンサ５１０は、増幅した信号群を符号化・復号することにより生じる平均信号値のずれを抑制することができる。つまり、例えば高デジタルゲイン撮像した撮像画像の主観的画質の低減を抑制しながら、積層型イメージセンサ５１０の製造コストの増大を抑制することができる。

　なお、積層型イメージセンサ５１０の構成は任意であり、上述の例に限定されない。例えば、積層型イメージセンサ５１０が有する半導体基板５１１乃至半導体基板５１３が互いに積層されていなくてもよい。例えば、半導体基板５１１乃至半導体基板５１３が平面状に並べて配置されるようにしてもよい。また、半導体基板５１１乃至半導体基板５１３のそれぞれに形成される回路構成が上述の例以外であってもよい。

　また、積層型イメージセンサ５１０が有する半導体基板の数は２枚以下であってもよいし、４枚以上であってもよい。例えば、画像処理部５５１およびDRAM５６１（バス５２２も含む）が１枚の半導体基板に形成されていてもよい。

　＜８．第６の実施の形態＞
　　＜適用例：撮像装置＞
　図３７は、本技術を適用した撮像装置の主な構成例を示すブロック図である。図３７に示される撮像装置６００は、被写体を撮像し、その被写体の画像を電気信号として出力する装置である。

　図３７に示されるように撮像装置６００は、制御部６０１およびバス６１０を有する。また、撮像装置６００は、光学部６１１、イメージセンサ６１２、画像処理部６１３、コーデック処理部６１４、表示部６１５、記録部６１６、および通信部６１７を有する。さらに、撮像装置６００は、入力部６２１、出力部６２２、およびドライブ６２５を有する。

　制御部６０１は、バス６１０を介して、光学部６１１乃至通信部６１７、入力部６２１、出力部６２２、並びに、ドライブ６２５の各部と接続されており、これらの各部の動作を制御することにより、撮像装置６００全体の処理を制御する。

　被写体からの光（入射光）は、光学部６１１を介してイメージセンサ６１２に入射する。光学部６１１は、任意の光学素子により構成され、制御部６０１により制御されて駆動し、この入射光に対して何らかの光学的影響を及ぼす。例えば、光学部６１１は、被写体までの焦点を調整し、焦点が合った位置からの光を集光するレンズ、露出を調整する絞り、および、撮像のタイミングを制御するシャッタ等よりなる。

　イメージセンサ６１２は、入射光を受光し、光電変換して画像データを生成する。イメージセンサ６１２は、その画像データを画像処理部６１３に供給する。

　画像処理部６１３は、供給された画像データに対して、所定の画像処理を行う。この画像処理の内容は任意である。例えば、画像処理部６１３が、供給された画像データ（RAWデータ）に対してデモザイク処理や、高度な欠陥画素補正等の処理を行うようにしてもよい。画像処理部６１３は、画像処理を施した画像データをコーデック処理部６１４に供給する。

　コーデック処理部６１４は、適宜、画像データを符号化したり、符号化データを復号したりする。例えば、コーデック処理部６１４は、画像処理部６１３から供給される画像データを、画像データを符号化するのに適した所定の符号化方式により符号化する。この符号化方法は任意である。例えば、JPEG（Joint Photographic Experts Group）、JPEG2000、MPEG（Moving Picture Experts Group）、AVC（Advanced Video Coding）、HEVC（High Efficiency Video Coding）等のような高度な圧縮方法を適用することができる。

　コーデック処理部６１４は、生成した符号化データを、例えば記録部６１６に供給して記録させたり、通信部６１７に供給して撮像装置６００の外部に出力させたりすることができる。なお、コーデック処理部６１４は、例えば、画像処理部６１３から供給される画像データを符号化せずに表示部６１５に供給し、その画像を表示させることもできる。

　また、コーデック処理部６１４は、例えば、記録部６１６に記録された符号化データを読み出すことができる。例えば、コーデック処理部６１４は、その符号化データを、通信部６１７を介して撮像装置６００の外部に出力させることができる。

　また、コーデック処理部６１４は、例えば、その符号化データを復号して画像データを復元することもできる。例えば、コーデック処理部６１４は、その復元した画像データを、表示部６１５に供給してその画像データに対応する画像を表示させることができる。また、例えば、コーデック処理部６１４は、その復元した画像データを異なる方法で符号化し、生成した符号化データを、記録部６１６に供給して記録させたり、通信部６１７に供給して撮像装置６００の外部に出力させたりすることもできる。

　コーデック処理部６１４は、例えば制御部６０１の制御に従って、このような各種処理のいずれかを選択し、適宜必要な処理を行う。

　表示部６１５は、例えばLCD（Liquid Crystal Display）等の任意の表示デバイスを有し、制御部６０１に制御されて駆動し、コーデック処理部６１４から供給される画像データの画像をその表示デバイスに表示する。

　記録部６１６は、例えば、ハードディスクやフラッシュメモリ等の任意の記録媒体を有し、制御部６０１に制御されて駆動し、コーデック処理部６１４から供給される符号化データを、その記録媒体に記録する。この記録媒体は、どのようなものであっても良く、撮像装置６００から着脱可能なリムーバブルメディアであってもよい。その場合、記録部６１６は、装着されたリムーバブルメディアに対してデータアクセス可能なドライブ（図示せず）と、そのドライブに装着されたリムーバブルメディアよりなる。記録部６１６は、複数の記録媒体を有していても良いし、複数種類の記録媒体を有していてもよい。

　通信部６１７は、撮像装置６００の外部の装置と、所定の通信方式で通信を行う通信インタフェースであり、制御部６０１に制御されて駆動する。この通信は、どのようなものであっても良く、有線通信であっても良いし、無線通信であっても良い。通信部６１７は、例えば、コーデック処理部６１４から供給される符号化データを他の装置に送信する。

　入力部６２１は、任意の入力デバイス（例えば、ジョグダイヤル（商標）、キー、ボタン、またはタッチパネル等）や外部入力端子等により構成され、制御部６０１に制御されて駆動し、ユーザ等による操作入力を受け付けたり、外部から供給される制御信号やデータ等を受け付けたりする。入力部６２１は、その受け付けた情報（操作入力やデータ等）を、バス６１０を介して制御部６０１に供給する。制御部６０１は、その情報に従って、撮像装置６００の制御に関する処理を行う。

　出力部６２２は、任意の出力デバイス（例えば、LED（Light Emitting Diode）、ディスプレイ、スピーカ等）や外部出力端子等により構成され、制御部６０１に制御されて駆動し、例えば制御部６０１等から供給される情報（データや制御信号等）を出力する（例えば画像を表示したり、音声を出力したり、情報を他の装置に出力したりする）。

　ドライブ６２５は、制御部６０１に制御されて駆動し、自身に装着された、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア６３１を駆動し、そのリムーバブルメディア６３１に記録されている情報（プログラムやデータ等）を読み出し、制御部６０１等に供給する。

　このような構成の撮像装置６００のイメージセンサ６１２として、第５の実施の形態において説明した積層型イメージセンサ５１０を適用する。つまり、本技術を用いた符号化・復号が、このイメージセンサ６１２において行われるようにする。なお、イメージセンサ６１２からの画像データの出力に本技術を用いた符号化・復号を適用する場合（つまり、符号化部５５１Ｃを適用する場合）、復号部５７１Ａに相当する復号部を画像処理部６１３に設ける必要がある。

　このようにすることにより、イメージセンサ６１２は、増幅した信号群を符号化・復号することにより生じる平均信号値のずれを抑制することができる。つまり、撮像装置６００は、例えば高デジタルゲイン撮像した撮像画像の主観的画質の低減を抑制しながら、撮像装置６００の製造コストの増大を抑制することができる。

　この撮像装置６００が被写体を撮像する際に実行する撮像処理の流れの例を、図３８のフローチャートを参照して説明する。

　撮像処理が開始されると、撮像装置６００のイメージセンサ６１２は、ステップＳ６０１において、被写体を撮像し、撮像画像の画像データ（撮像画像データとも称する）を生成する。なお、この処理は、図３６のフローチャートを参照して説明した撮像処理と同様に行われる。つまり、イメージセンサ６１２は、撮像画像データに対して所定の画像処理を施し、符号化して符号化データとして出力する。なお、イメージセンサ６１２は、その画像処理において、適宜、撮像画像データを符号化して符号化データとしてDRAM５６１に記憶させたり、そのDRAM５６１から符号化データを読み出して復号し、撮像画像データを復元したりする。

　イメージセンサ６１２は、これらの符号化・復号において、本技術を適用した符号化・復号を行う。すなわち、イメージセンサ６１２は、上述の方法＃１乃至方法＃４のいずれかの方法でこれらの符号化・復号を行う。

　ステップＳ６０２において、画像処理部６１３は、イメージセンサ６１２より出力される符号化データを取得する。

　ステップＳ６０３において、画像処理部６１３は、ステップＳ６０２において取得した符号化データを復号する。この処理は、ステップＳ５０７の処理（図３６）と同様に行われる。つまり、この処理は、ステップＳ５０８の処理（図３６）に対応する方法、すなわち、上述の方法＃１乃至方法＃４の内の、ステップＳ５０８の処理（図３６）と同一の方法により行われる。

　ステップＳ６０４において、画像処理部６１３は、ステップＳ６０３において生成された復号画像の画像データに対して、所定の画像処理を行う。

　ステップＳ６０５において、表示部６１５は、コーデック処理部６１４を介して画像データを取得し、その画像を表示する。

　ステップＳ６０６において、コーデック処理部６１４は、画像処理部６１３より画像データを取得し、符号化する。

　ステップＳ６０７において、記録部６１６は、コーデック処理部６１４から符号化データを取得し、記録する。

　ステップＳ６０８において、通信部６１７は、コーデック処理部６１４から符号化データを取得し、それを撮像装置６００の外部（他の装置）に送信する。

　ステップＳ６０９の処理が終了すると、撮像処理が終了する。

　以上のように撮像処理を行うことにより、撮像装置６００は、増幅した信号群を符号化・復号することにより生じる平均信号値のずれを抑制することができる。つまり、例えば高デジタルゲイン撮像した撮像画像の主観的画質の低減を抑制しながら、撮像装置６００の製造コストの増大を抑制することができる。

　なお、撮像装置６００の構成は任意であり、上述の例に限定されない。

　以上においては、本技術を適用する例として撮像素子および撮像装置について説明したが、本技術は、増幅した信号群に対して、例えば特許文献１乃至特許文献４に記載のような量子化を伴う固定長符号化・復号を行うものであれば、任意のデバイスやシステムに適用することができる。

　例えば、撮像を行わず、外部から画像データを取得し、画像処理を行う画像処理デバイスにも本技術を適用することができる。また、符号化対象は任意であり、画像データ以外であってもよい。例えば音声、気温、湿度、加速度等、光以外の任意の検出信号を符号化対象とすることもできる。また、例えば、画像データを光（明るさ）の検出結果（検出信号）の集合とみなして処理するデバイスやシステムにも本技術を適用することができる。例えば、その検出信号の集合に基づいて黒レベルの設定を行うデバイスやシステムにも本技術を適用することができる。

　＜９．付記＞
　　＜コンピュータ＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。

　一連の処理をソフトウエアにより実行する場合、その装置またはシステム（例えば、画像処理システム１００、積層型イメージセンサ５１０、撮像装置６００等）が、そのソフトウエアを実行することができるコンピュータとしての構成を有するようにすればよい。例えば、撮像装置６００の場合、制御部６０１（図３７）が、記録部６１６等からプログラムを読み出して実行することにより、上述した一連の処理をソフトウエアにより実行するようにすればよい。

　上述した一連の処理をソフトウエアにより実行させる場合、そのソフトウエアを構成するプログラム等は、例えば、記録媒体からインストールされるようにしてもよい。例えば撮像装置６００の場合、この記録媒体は、装置本体とは別に、ユーザにプログラム等を配信するために配布される、プログラム等が記録されているリムーバブルメディア６３１により構成されるようにしてもよい。例えば、制御部６０１が、ドライブ６２５に装着されたリムーバブルメディア６３１に記憶されているプログラム等を読み出し、それを記録部６１６等にインストールさせるようにしてもよい。

　また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。例えば撮像装置６００の場合、制御部６０１が、通信部６１７を制御して伝送媒体を介して提供されるプログラムを受信し、それを記録部６１６等にインストールさせるようにしてもよい。

　その他、このプログラムは、予めインストールしておくこともできる。例えば撮像装置６００の場合、プログラムが、記録部６１６や制御部６０１に内蔵されるROM等に予めインストールされているようにしてもよい。

　　＜本技術の適用対象＞
　本技術は、任意の画像符号化・復号方式に適用することができる。つまり、上述した本技術と矛盾しない限り、画像符号化・復号に関する各種処理の仕様は任意であり、上述した例に限定されない。

　また、以上においては、本技術を撮像装置に適用する場合について説明したが、本技術は、撮像装置に限らず任意の装置（電子機器）に適用することができる。例えば、他の装置において行われた高デジタルゲイン撮像により得られた撮像画像に対して画像処理を施す画像処理装置等にも本技術を適用することができる。

　また、本技術は、任意の装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等（すなわち、装置の一部の構成）として実施することもできる。

　さらに、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスに適用することもできる。

　なお、本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。

　例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。

　　＜その他＞
　なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。

　また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。

　なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。

　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

　また、例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。

　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。

　なお、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。

　なお、本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。

　なお、本技術は以下のような構成も取ることができる。
　（１）　信号が増幅された画像に対して画像処理を適応的に行う適応処理部と、
　前記適応処理部により適応的に前記画像処理が行われた前記画像を簡易符号化する符号化部と
　を備える画像処理装置。
　（２）　前記適応処理部は、前記画像処理として、前記画像の各画素値に対して、前記画像に対して行われた信号増幅のゲイン値に応じた値域内においてランダムに設定されたオフセット値を加算し、
　前記符号化部は、前記適応処理部により各画素値に前記オフセット値が加算された前記画像を簡易符号化する
　（１）に記載の画像処理装置。
　（３）　前記適応処理部は、前記ゲイン値に応じた値域に補正した前記疑似乱数を、前記オフセット値として前記画像の各画素値に加算する
　（２）に記載の画像処理装置。
　（４）　前記適応処理部は、前記画像処理として、前記画像の画素平均値と前記符号化部による簡易符号化の量子化値とに基づくオフセット値を、前記画像の各画素値から減算し、
　前記符号化部は、前記適応処理部により各画素値から前記オフセット値が減算された前記画像を簡易符号化する
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記画素平均値は、処理対象のカレントフレームより前のフレームの画像の画素平均値である
　（４）に記載の画像処理装置。
　（６）　前記量子化値は、前記簡易符号化の圧縮率に応じた値を有する
　（５）に記載の画像処理装置。
　（７）　前記量子化値は、処理対象のカレントフレームより前のフレームの画像の簡易符号化の各画素の量子化値の平均である
　（５）または（６）に記載の画像処理装置。
　（８）　前記適応処理部は、色毎に、前記オフセット値を前記画像の各画素値から減算する
　（４）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記符号化部により生成された符号化データを簡易復号する復号部と、
　前記復号部により生成された復号画像の各画素値に、前記画像の画素平均値と前記簡易符号化の量子化値とに基づくオフセット値を加算するオフセット加算部をさらに備える
　（４）に記載の画像処理装置。
　（１０）　前記適応処理部は、前記画像処理として、前記符号化部による簡易符号化の量子化値の範囲を設定し、
　前記符号化部は、前記適応処理部により設定された前記量子化値の範囲に基づいて前記画像を簡易符号化し、前記量子化値の範囲に関する情報を含む符号化データを生成する
　（１）乃至（９）のいずれかに記載の画像処理装置。
　（１１）　前記適応処理部は、前記画像に対して行われた信号増幅のゲイン値に応じて前記量子化値の範囲を設定する
　（１０）に記載の画像処理装置。
　（１２）　前記符号化部により生成された前記符号化データに含まれる前記量子化値の範囲に関する情報に基づいて、前記符号化データを簡易復号する復号部をさらに備える
　（１０）に記載の画像処理装置。
　（１３）　前記適応処理部は、前記画像処理として、前記画像の各画素値から前記画像に対して行われた信号増幅のゲイン値を除算し、
　前記符号化部は、前記適応処理部により各画素値から前記ゲイン値が除算された前記画像を簡易符号化する
　（１）乃至（１２）のいずれかに記載の画像処理装置。
　（１４）　前記符号化部により生成された符号化データを復号する復号部と、
　前記復号部により生成された復号画像の各画素値に、前記ゲイン値を乗算するゲイン値乗算部と
　をさらに備える（１３）に記載の画像処理装置。
　（１５）　前記画像の信号を増幅する増幅部をさらに備え、
　前記適応処理部は、前記増幅部により信号が増幅された画像に対して前記画像処理を適応的に行う
　（１）乃至（１４）のいずれかに記載の画像処理装置。
　（１６）　前記画像に対する信号増幅のゲイン値を設定するゲイン値設定部をさらに備える
　（１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　前記符号化部により生成された符号化データを記録する記録部をさらに備える
　（１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　信号が増幅された画像に対して画像処理を適応的に行い、
　適応的に前記画像処理が行われた前記画像を簡易符号化する
　画像処理方法。
　（１９）　被写体を撮像する撮像部と、
　前記撮像部により生成された、信号が増幅された撮像画像に対して画像処理を適応的に行う適応処理部と、
　前記適応処理部により適応的に前記画像処理が行われた前記撮像画像を簡易符号化する符号化部と
　を備える撮像素子。
　（２０）　　被写体を撮像する撮像部と、
　　前記撮像部により生成された、信号が増幅された撮像画像に対して画像処理を適応的に行う適応処理部と、
　　前記適応処理部により適応的に前記画像処理が行われた前記撮像画像を簡易符号化して符号化データを生成する符号化部と
　を備える撮像素子と、
　前記符号化部により生成された前記符号化データを簡易復号する復号部と
　を備える撮像装置。

　１００　画像処理システム，　１０１　制御部，　１０２　符号化側構成，　１０３　復号側構成，　１１１　増幅部，　１１２　ランダムオフセット加算部，　１１３　符号化部，　１２１　復号部，　１４１　疑似乱数生成部，　１４２　値域限定部，　１４３　演算部，　１４４　クリップ部，　１７１　送信部，　１７２　受信部，　２１１　減算オフセット設定部，　２１２　演算部，　２１３　クリップ部，　２２１　加算オフセット設定部，　２２２　演算部，　２２３　クリップ部，　２３１　平均値計測部，　２３２　オフセット値選択部，　２３３　オフセット値供給部，　２５１　圧縮部，　２５２　平均値計測部，　３１１　量子化値範囲設定部，　４１１　演算部，　４２１　演算部，　５１０　積層型イメージセンサ，　５１１乃至５１３　半導体基板，　５２１および５２２　バス，　５２３　インタフェース，　５３０　回路基板，　５４１　受光部，　５４２　A/D変換部，　５５１　画像処理部，　５６１　DRAM，　５７１　画像処理部，　６００　撮像装置，　６０１　制御部，　６１０　バス，　６１１　光学部，　６１２　イメージセンサ，　６１３　画像処理部，　６１４　コーデック処理部，　６１５　表示部，　６１６　記録部，　６１７　通信部，　６２１　入力部，　６２２　出力部，　６２５　ドライブ

Claims (20)

1. 　信号が増幅された画像に対して画像処理を適応的に行う適応処理部と、
   　前記適応処理部により適応的に前記画像処理が行われた前記画像を簡易符号化する符号化部と
   　を備える画像処理装置。
2. 　前記適応処理部は、前記画像処理として、前記画像の各画素値に対して、前記画像に対して行われた信号増幅のゲイン値に応じた値域内においてランダムに設定されたオフセット値を加算し、
   　前記符号化部は、前記適応処理部により各画素値に前記オフセット値が加算された前記画像を簡易符号化する
   　請求項１に記載の画像処理装置。
3. 　前記適応処理部は、前記ゲイン値に応じた値域に補正した疑似乱数を、前記オフセット値として前記画像の各画素値に加算する
   　請求項２に記載の画像処理装置。
4. 　前記適応処理部は、前記画像処理として、前記画像の画素平均値と前記符号化部による簡易符号化の量子化値とに基づくオフセット値を、前記画像の各画素値から減算し、
   　前記符号化部は、前記適応処理部により各画素値から前記オフセット値が減算された前記画像を簡易符号化する
   　請求項１に記載の画像処理装置。
5. 　前記画素平均値は、処理対象のカレントフレームより前のフレームの画像の画素平均値である
   　請求項４に記載の画像処理装置。
6. 　前記量子化値は、前記簡易符号化の圧縮率に応じた値を有する
   　請求項５に記載の画像処理装置。
7. 　前記量子化値は、処理対象のカレントフレームより前のフレームの画像の簡易符号化の各画素の量子化値の平均である
   　請求項５に記載の画像処理装置。
8. 　前記適応処理部は、色毎に、前記オフセット値を前記画像の各画素値から減算する
   　請求項４に記載の画像処理装置。
9. 　前記符号化部により生成された符号化データを簡易復号する復号部と、
   　前記復号部により生成された復号画像の各画素値に、前記画像の画素平均値と前記簡易符号化の量子化値とに基づくオフセット値を加算するオフセット加算部をさらに備える
   　請求項４に記載の画像処理装置。
10. 　前記適応処理部は、前記画像処理として、前記符号化部による簡易符号化の量子化値の範囲を設定し、
    　前記符号化部は、前記適応処理部により設定された前記量子化値の範囲に基づいて前記画像を簡易符号化し、前記量子化値の範囲に関する情報を含む符号化データを生成する
    　請求項１に記載の画像処理装置。
11. 　前記適応処理部は、前記画像に対して行われた信号増幅のゲイン値に応じて前記量子化値の範囲を設定する
    　請求項１０に記載の画像処理装置。
12. 　前記符号化部により生成された前記符号化データに含まれる前記量子化値の範囲に関する情報に基づいて、前記符号化データを簡易復号する復号部をさらに備える
    　請求項１０に記載の画像処理装置。
13. 　前記適応処理部は、前記画像処理として、前記画像の各画素値から前記画像に対して行われた信号増幅のゲイン値を除算し、
    　前記符号化部は、前記適応処理部により各画素値から前記ゲイン値が除算された前記画像を簡易符号化する
    　請求項１に記載の画像処理装置。
14. 　前記符号化部により生成された符号化データを簡易復号する復号部と、
    　前記復号部により生成された復号画像の各画素値に、前記ゲイン値を乗算するゲイン値乗算部と
    　をさらに備える請求項１３に記載の画像処理装置。
15. 　前記画像の信号を増幅する増幅部をさらに備え、
    　前記適応処理部は、前記増幅部により信号が増幅された画像に対して前記画像処理を適応的に行う
    　請求項１に記載の画像処理装置。
16. 　前記画像に対する信号増幅のゲイン値を設定するゲイン値設定部をさらに備える
    　請求項１に記載の画像処理装置。
17. 　前記符号化部により生成された符号化データを記録する記録部をさらに備える
    　請求項１に記載の画像処理装置。
18. 　信号が増幅された画像に対して画像処理を適応的に行い、
    　適応的に前記画像処理が行われた前記画像を簡易符号化する
    　画像処理方法。
19. 　被写体を撮像する撮像部と、
    　前記撮像部により生成された、信号が増幅された撮像画像に対して画像処理を適応的に行う適応処理部と、
    　前記適応処理部により適応的に前記画像処理が行われた前記撮像画像を簡易符号化する符号化部と
    　を備える撮像素子。
20. 　　被写体を撮像する撮像部と、
    　　前記撮像部により生成された、信号が増幅された撮像画像に対して画像処理を適応的に行う適応処理部と、
    　　前記適応処理部により適応的に前記画像処理が行われた前記撮像画像を簡易符号化して符号化データを生成する符号化部と
    　を備える撮像素子と、
    　前記符号化部により生成された前記符号化データを簡易復号する復号部と
    　を備える撮像装置。

Images