JP4895567B2 - 画像符号化方法及び装置、画像復号化方法及び装置、撮像装置 - Google Patents

Description

本発明は、画像符号化方法およびこれを用いた画像符号化装置に関し、特に、ビデオカメラやデジタルスチルカメラ等の撮像センサを用いた画像を圧縮する画像符号化方法および画像符号化装置に関する。

近年、デジタルスチルカメラ、カメラ付き携帯電話、ムービーカメラ等の撮像センサを含むカメラ機器において高画素化が進んでいる。その一方で、メモリバッファ量、消費電力の削減が望まれている。そこで、メモリバッファを消費するセンサからのＲＡＷデータ（撮像センサからの画素データそのもの）を削減する方法が考えられている。この場合に、非可逆圧縮する場合、センサの欠損画素情報の扱いが問題となる。

欠損画素である情報を含む画素データを、非可逆圧縮すると、欠損画素である情報を消失してしまう可能性がある。そのため、圧縮前に欠損画素を補正することが望ましいが、補正処理にかかるメモリや回路コストを考えると、信号処理の後段の回路にある外部メモリや回路をうまく共用利用したいという要望がある。そうなると、信号処理の前段では圧縮できなくなりメモリバッファ量や消費電力の削減が困難となる課題を抱えていた。

また、隣接する画素間の画素値の差分から求める符号値をテーブル値で参照する技術がある（例えば、特許文献１。）。さらに、ＤＰＣＭ符号化圧縮において同色の画素情報について符号化する技術がある（例えば、特許文献２参照。）。

特開平１１−３４１２８８号公報 特開２０００−２４４９３５号公報

本発明の目的は、撮像センサからの画素データに修正箇所欠損画素データが含まれる場合であっても、適応的に可逆的に圧縮して処理することにより、後段の処理において欠損画素データを正しく補正できるように符号化できる画像符号化方法及び装置を提供することである。

本発明に係る画像符号化方法は、複数の画素が配列された画素列における各画素の画素値を含む画素データ列から、少なくとも一つの画素値を符号化した量子化代表値を含む画素データ列を得る画像符号化方法であって、
前記画素の画素値が特定の画素値である場合には、特定の量子化代表値に割り当て、前記画素値が前記特定の画素値以外の場合には、前記特定の量子化代表値を除く量子化代表値に割り当てて符号化することを特徴とする。

また、前記画素は、ｍビットの画素値を有し、前記符号化した量子化代表値はｍビットより小さいｎビットであって、
前記符号化に先立って、画素値が特定の画素値でない前記各画素の画素値に、それぞれ所定のオフセット値を加算してもよい。
なお、オフセット値は、２^{（ｍ−ｎ）}−１であってもよい。

本発明に係る画像符号化方法は、複数の画素が配列された画素列における各画素のｍビットの画素値を含む画素データ列から、前記各画素値の差分値をそれぞれ符号化したｎビットの量子化代表値を含む画素データ列を得る画像符号化方法であって、
第１画素の画素値と、前記第１画素の近傍の第２画素の画素値との差分値を算出するステップと、
前記差分値の大きさに基づいて前記差分値をｋビットの量子化代表値で表すステップと、
前記差分値の前記ｋビットの量子化代表値を前記ｎビットの量子化代表値の一つに変換して符号化するステップと
を含み、
前記第２画素の画素値が特定の画素値である場合には、前記差分値として、特定の量子化代表値に変換することを特徴とする。

また、前記ｋビットの量子化代表値と前記ｎビットの量子化代表値とを比較して、変換後の差分値の圧縮度を示す量子化幅を算出するステップをさらに含んでもよい。

さらに、前記第２画素の画素値が特定の画素値である場合には、前記差分値として、所定の量子化幅の特定の量子化代表値を割り当ててもよい。

またさらに、前記差分値をｋビットの量子化代表値で表すステップにおいて、前記第２画素の画素値が特定の画素値でない場合であって、割り当てる前記ｋビットの量子化代表値が特定の量子化代表値となる場合には、前記差分値をｋビットの量子化幅に代えて（ｋ＋１）ビットの量子化幅の量子化代表値の一つに割り当ててもよい。

また、前記差分値の前記ｋビットの量子化代表値を前記ｎビットの量子化代表値に変換するステップにおいて、前記第２画素の画素値が特定の画素値でない場合であって、前記差分値の前記ｋビットの量子化代表値が特定の量子化代表値である場合には、前記ｎビットの特定の量子化代表値を除く量子化代表値の一つに変換してもよい。

さらに、前記差分値の前記ｋビットの量子化代表値を前記ｎビットの量子化代表値に変換するステップにおいて、前記第２画素の画素値が特定の画素値でない場合であって、変換する前記ｎビットの量子化代表値が特定の量子化代表値となる場合には、前記ｎビットの特定の量子化代表値を除く量子化代表値の一つに変換してもよい。

またさらに、前記第１画素の画素値は、特定の画素値を除く画素値を割り当てることが好ましい。

また、前記画素列は、少なくとも２種類の色の画素が配列されており、
前記差分値を算出するステップでは、第１画素の画素値と前記第１画素の近傍の同色の第２画素の画素値との差分値を算出することとしてもよい。

さらに、前記画素列は、少なくとも２種類の色の画素が配列されており、
前記差分値を算出するステップでは、第１画素の画素値と前記第１画素の近傍の異なる色の第２画素の画素値との差分値を算出することとしてもよい。

またさらに、前記符号化した量子化代表値を含む画像データ列をメモリのアクセスビット幅の倍数でパッキングするステップをさらに含んでもよい。

また、前記特定の画素値は、０としてもよい。さらに、前記特定の量子化代表値は、０としてもよい。

本発明に係る画像符号化装置は、複数の画素が配列された画素列における各画素の画素値を含む画素データ列から、少なくとも一つの画素値を符号化した量子化代表値を含む画素データ列を得る画像符号化装置であって、
前記画素の画素値が特定の画素値であるか否かを判別する特定画素値判別部と、
前記画素の画素値が前記特定の画素値である場合には、特定の量子化代表値に割り当て、前記画素の画素値が前記特定の画素値以外の場合には、前記特定の量子化代表値を除く量子化代表値に割り当てて符号化する符号化部と
を備えることを特徴とする。

本発明に係る画像符号化装置は、複数の画素が配列された画素列における各画素のｍビットの画素値を含む画素データ列から、前記各画素値の差分値をそれぞれ符号化したｎビットの量子化代表値を含む画素データ列を得る画像符号化装置であって、
第１画素の画素値と、前記第１画素の近傍の第２画素の画素値との差分値を算出する差分値算出部と、
前記差分値の大きさに基づいて前記差分値をｋビットの量子化代表値で表す中間量子化部と、
前記第２画素の画素値が特定の画素値であるか否かを判別する特定画素値判別部と、
前記第２画素の画素値が前記特定の画素値である場合には、前記差分値の前記ｋビットの量子化代表値を前記ｎビットの量子化代表値の一つに変換し、前記第２画素の画素値が前記特定の画素値以外の場合には、前記差分値の前記ｋビットの量子化代表値を前記ｎビットの前記特定の量子化代表値を除く量子化代表値の一つに変換して符号化する符号化部と
を備えることを特徴とする。

また、前記中間量子化部は、前記第２画素の画素値が特定の画素値でない場合であって、前記ｋビットの量子化代表値が特定の量子化代表値となる場合には、前記差分値をｋビットの量子化幅に代えて（ｋ＋１）ビットの量子化幅の量子化代表値の一つに割り当ててもよい。

さらに、前記符号化部は、前記第２画素の画素値が特定の画素値でない場合であって、前記差分値の前記ｋビットの量子化代表値が特定の量子化代表値である場合には、前記ｎビットの特定の量子化代表値を除く量子化代表値の一つに変換してもよい。

またさらに、前記符号化部は、前記第２画素の画素値が特定の画素値でない場合であって、変換する前記ｎビットの量子化代表値が特定の量子化代表値となる場合には、前記ｎビットの特定の量子化代表値を除く量子化代表値の一つに変換してもよい。

また、前記差分値算出部は、前記第１画素の画素値と前記第１画素の近傍の同色の第２画素の画素値との差分値を算出してもよい。

さらに、前記差分値算出部は、前記第１画素の画素値と前記第１画素の近傍の異なる色の第２画素の画素値との差分値を算出してもよい。

またさらに、前記ｋビットの量子化代表値と前記ｎビットの量子化代表値とを比較して、変換後の差分値の圧縮度を示す量子化幅を算出する量子化幅算出部と、
前記差分値について、前記変換したｎビットの量子化代表値と、前記量子化幅とを含む画像データ列を所定の単位にパッキングするパッキング部と
をさらに備えてもよい。

本発明に係る画像復号化方法は、少なくとも一つの画素値の符号化された量子化代表値を含む画素データ列から、復号化された画素値を含む画素データ列を得る画像復号化方法であって、
符号化された前記画素の量子化代表値が特定の量子化代表値である場合には、特定の画素値に割り当て、符号化された前記画素の量子化代表値が前記特定の量子化代表値以外の場合には、前記特定の画素値を除く画素値に割り当てて復号化することを特徴とする。

本発明に係る画像復号化方法は、画素間の差分値が符号化されたｎビットの量子化代表値を含む画素データ列から、復号化されたｍビットの画素値を含む画素データ列を得る画像復号化方法であって、
符号化された画素データ列をデパッキングするステップと、
第１画素の画素値として第１符号値を得るステップと、
前記第１画素の画素値と第２画素の画素値との差分値の符号化された量子化代表値として第２符号値を得るステップと、
前記第２符号値は、特定の量子化代表値であるか否かを判断するステップと、
前記第２符号値を復号化して前記第１画素の画素値と前記第２画素の画素値との差分値を得るステップと、
復号化した前記第１画素の画素値に復号化した前記差分値を加算して前記第２画素の画素値を得るステップと
を含み、
前記第２符号値が特定の量子化代表値であった場合には、前記第２画素の画素値として特定の画素値を割り当てることを特徴とする。

また、符号化された前記差分値の圧縮度を示す量子化幅を得るステップをさらに含んでもよく、
前記第２符号値を復号化して差分値を得るステップにおいて、前記第２符号値を前記量子化幅に基づいて復号化して差分値を得ることができる。

本発明に係る画像復号化装置は、少なくとも一つの画素値の符号化された量子化代表値を含む画素データ列から、復号化された画素値を含む画素データ列を得る画像復号化装置であって、
前記量子化代表値が特定の量子化代表値であるか否かを判別する特定画素値判別部と、
前記量子化代表値が前記特定の量子化代表値である場合には、特定の画素値に割り当て、前記量子化代表値が前記特定の量子化代表値以外の場合には、前記特定の画素値を除く画素値に割り当てて復号化する復号化部と
を備えることを特徴とする。

本発明に係る画像復号化装置は、画素間の差分値が符号化されたｎビットの量子化代表値を含む画素データ列から、復号化されたｍビットの画素値を含む画素データ列を得る画像復号化装置であって、
符号化された画素データ列をデパッキングするデパッキング部と、
第１画素の画素値として第１符号値を得ると共に、前記第１画素の画素値と第２画素の画素値との差分値の符号化された量子化代表値として第２符号値を得る符号値抽出部と、
前記第２符号値は、特定の量子化代表値であるか否かを判断する特定画素値判別部と、
前記第２符号値が特定の量子化代表値である場合には、前記第２画素の画素値として特定の画素値を割り当て、前記第２符号値が特定の量子化代表値でない場合には、前記第２符号値を復号化して前記差分値を得て、前記差分値を復号化した前記第１画素の画素値に加算して前記第２画素の画素値を得る復号化部と
を備えることを特徴とする。

また、符号化された前記差分値の圧縮度を示す量子化幅を得る量子化幅抽出部をさらに含んでもよく、
前記復号化部は、前記第２符号値を前記量子化幅に基づいて復号化して差分値を得ることができる。

本発明に係る撮像装置は、アナログ・デジタル変換してｍビットの画素データを出力する撮像センサと、
前記画像符号化装置と
を備えることを特徴とする。

本発明に係る画像符号化方法によれば、画素データを圧縮して符号化する場合に、符号値を表す量子化代表値の一つによって欠陥画素データを示すことができるので、欠陥画素に関する情報について別にメモリを占める必要がなくなる。また、復号化の際には、符号化された量子化代表値が特定の量子化代表値である場合には、元の画素値が欠陥画素データであることがわかるので、欠陥画素データについて可逆的に符号化・復号化を行うことができる。

本発明の実施の形態に係る画像符号化方法及び装置、画像復号化方法及び装置、撮像装置について、添付図面を用いて説明する。なお、図面において実質的に同一の部材には同一の符号を付している。

（実施の形態１）
図１は、本発明の実施の形態１に係る画像符号化装置をデジタルスチルカメラ（ＤＳＣ）に適用した場合の構成例を示すブロック図である。このデジタルカメラは、撮像レンズ１、撮像センサ２、ＡＤＣ３、デジタル信号処理回路４、メモリ５、記録部６、レンズ制御部７、センサ制御部８を備える。撮像レンズ１から入射した被写体は、撮像センサ２において光電変換され、ＡＤＣ（アナログデジタルコンバータ）３においてデジタル化された後、デジタル信号処理回路４に入力される。撮像センサ２には、図３に示すベイヤ配列構造の色フィルタを有する３色の画素が配置されている。図３で、Ｇはグリーン（緑）、Ｒはレッド（赤）、Ｂはブルー（青）のそれぞれの色フィルタを示している。これらの各画素の各色の画素データは、ラスタスキャンの順序で撮像センサ２から出力され、デジタル信号処理回路４で輝度と色差信号データに変換される。

図２は、上記デジタル信号処理回路４の内部の詳細な構成を示すブロック図である。デジタル信号処理回路４は、前処理部１１と、信号処理部１２と、ＪＰＥＧ処理部１３と、表示処理部１４と、ＩＦ処理部１５と、圧縮部１０と、伸張部２０とを備える。ここで、図２に示す圧縮部１０と伸長部２０は、それぞれ本発明の画像符号化装置と画像復号化装置にあたる。

以下に各部材の機能について説明する。まず、撮像センサ２側からの画素データは、前処理部１１に入力される。前処理部１１では、有効撮像領域の切り出し処理や、ガンマ補正処理、必要に応じて入力画素の順序を並び替える処理、及び撮像センサ２の欠陥画素データに対して画素値の置き換え処理等を行う。

なお、撮像センサ２上の欠陥画素データについては、撮影前に撮像センサ２の遮光データを得ることにより事前にその位置を把握することが可能で、撮影時にその位置の画素を欠陥画素である情報として予め決められた画素値（特定画素値）に置き換える。後段の補正処理回路では、欠陥画素データを示す予め決められた画素値（特定画素値）が入力された場合は、それを判断して補正処理を行うことになる。

信号処理部１２では、一旦メモリ５に蓄えられた撮像センサ２からのＲＡＷデータと呼ばれる１画素１色の画素データを読み出し（以下、ＲＡＷデータと称す）、ＲＧＢの残りの色を補間する。例えば、Ｒ（赤）色の画素値が入力された場合、その画素位置のＧ（緑）とＢ（青）を周辺画素から補間する処理が施される。１画素あたりに３色の画素データが揃うと、これらは最終的には輝度と色差データに変換されてメモリ５上に再度格納される。

ＪＰＥＧ処理部１３では、輝度と色差データに変換されたデータを読み出し、ＪＰＥＧ（Joint Photographic Experts Group）と呼ばれる圧縮処理が施される。ＪＰＥＧ形式に圧縮された画素データは、再度メモリ５に格納され必要に応じて、表示処理部１４やＩＦ（インタフェース）処理部１５に送られる。

表示処理部１４では、外部の表示装置や本体の表示装置に出力するための、画素データ変換処理と出力タイミングの同期処理が行われる。また、ＩＦ処理部１５では外部のメモリ装置や転送装置に対して適合するように、画素データ変換処理と出力タイミングの同期処理が行われる。

圧縮部１０は、本発明に係る画像符号化装置に対応するものであって、前処理部１１で前処理された画素列データを圧縮してメモリ５上に格納する。この圧縮部１０である本発明の画像符号化装置では、後述するように、画素値が特定の画素値である場合には、欠陥画素データであるとして、特定の量子化代表値に割り当てて符号化する。また、伸長部２０は、本発明に係る画像復号化装置に対応するものであって、メモリ５に格納されたＲＡＷデータを伸長して信号処理部１２に送る。この伸張部２０では、符号化された量子化代表値が特定の量子化代表値である場合には、これを欠陥画素データとして特定の画素値を割り当てて復号化する。これらについては以下に詳述する。

図４は、本発明の実施の形態１に係る画像符号化装置１０の構成を示すブロック図である。この画像符号化装置１０は、画素入力部２１と、特定画素値判別部２２と、符号化部２３と、パッキング部２４とを備える。画素入力部２１は、前処理部１１から前処理された画素データ列を受け取る。特定画素値判別部２２は、画素データ列の画素値が特定画素値であるか否かを判断する。符号化部２３は、画素値が特定の画素値である場合には、画素値を特定の量子化代表値に割り当てて符号化し、画素値が特定の画素値でない場合には、画素値を特定の量子化代表値を除く量子化代表値の一つに割り当てて符号化する。パッキング部２４は、符号化した量子化代表値を所定の単位、好ましくは、メモリのアクセスビット幅の倍数でパッキングする。

図５は、本発明の実施の形態１に係る画像符号化方法のフローチャートである。
（ａ）画素値の入力を受け付ける（Ｓ０１）。ここでは、図２に示すように前処理部１１から前処理された画素データ列を受け付ける。
（ｂ）画素値は、特定の画素値か否か判断する（Ｓ０２）。ここで特定の画素値とは、例えば、「０」であり、特定の画素値である場合には、欠陥画素データであることを意味する。画素値が特定の画素値である場合には、画素値を特定の量子化代表値に割り当てて符号化する（Ｓ０４）。なお、あらかじめ欠陥画素データに対して割り当てる特定の画素値としては「０」に限られない。例えば、表現する画素値の上限の値であってもよい。
（ｃ）画素値が特定の画素値でない場合には、画素値を特定の量子化代表値を除く量子化代表値の一つに割り当てて符号化する（Ｓ０３）。ここでは、元の画素値がｍビットであった場合に、ｎビットの量子化代表値に割り当てて符号化する場合である。ｎビットがｍビットより小さい場合にはメモリ容量を減らすことができる。
以上によって画素データ列を符号化することができる。
このように符号値を表す量子化代表値の一つによって欠陥画素データを示すことで、欠陥画素に関する情報について別にメモリを占める必要がなくなる。また、符号化された量子化代表値が特定の量子化代表値である場合には、元の画素値が欠陥画素データであることがわかるので、欠陥画素データについて可逆的に符号化・復号化を行うことができる。

（実施の形態２）
本発明の実施の形態２に係る画像符号化装置では、実施の形態１に係る画像符号化装置と比較すると、画素入力部２１において、各画素の画素値に所定のオフセット値を加算する点で相違する。ここで所定のオフセット値とは、ｍビットの画素値をｎビットの量子化代表値に符号化することによって丸められて特定の量子化代表値になることを防ぐ値である。具体的には、オフセット値は、２^{（ｍ−ｎ）}−１である。例えば、１０ビット（ｍ＝１０）の画素値を６ビット（ｎ＝６）の量子化代表値に符号化する場合には、画素値が１〜１５（＝２^４−１）の場合には６ビットに丸めると量子化代表値としては０となってしまう。この場合、オフセット値（２^{（１０−６）}−１）は、１５（＝２^４−１）となる。このオフセット値を特定の画素値を除く全ての画素の画素値に加算しておくことによって符号化した際にも特定の量子化代表値に丸められることがない。これによって、符号化の際に特定画素値については特定の量子化代表値が割り当てられるが、それ以外の画素値については丸められることなく特定の量子化代表値を除く量子化代表値に割り当てられる。そこで、欠陥画素データについては可逆的に符号化・復号化を行うことができる。この場合、オフセット値を加算することによってｍビットの上限を超えないようにクリッピング処理を施して、これらの画素値をｍビットの上限の２^ｍ−１に丸める。

なお、ここでは、特定の画素値を「０」とし、特定の量子化代表値を「０」としているが、これに限られず、特定の画素値を「２^ｍ−１」とし、特定の量子化代表値を「２^ｎ−１」とし、オフセット値を減算するようにしてもよい。

図６は、本発明の実施の形態２に係る画像符号化方法のフローチャートである。
（ａ）画素値の入力（Ｓ１１）を受け付ける。
（ｂ）画素値は、特定の画素値か否か判断する（Ｓ１２）。ここでは、特定の画素値を除く全ての画素値にオフセット値を加算するため、特定の画素値であるか否かを判断する。
（ｃ）各画素値にオフセット値２^{（ｍ−ｎ）}−１をインクリメントする（Ｓ１３）。
（ｄ）オフセット値加算後の画素値は、２^ｍ−１を超えたか否か判断する（Ｓ１４）。オフセット値加算後に元の画素値のｍビットを超える場合、そのままではｍビットで表現できなくなるため、画素値を２^ｍ−１に設定する（Ｓ１５）。このように上限を超える場合にクリッピングすることで元のデータの情報が一部失われるが、上限に近いためほとんど認識されないものと考えられる。一方、オフセット値加算後もｍビットの範囲を超えていない場合には、ステップＳ１６に移行する。
（ｅ）全ての画素についてオフセット処理を済ませたか否か判断する（Ｓ１６）。全ての画素についてオフセット処理が終了した場合には、次のステップＳ１７に移行し、終了していなければ、ステップＳ１１に戻る。
（ｆ）画素値は、特定の画素値か否か判断する（Ｓ１７）。特定の画素値である場合には、画素値を特定の量子化代表値に割り当てて符号化する（Ｓ１９）。
（ｇ）特定の画素値でない場合には、画素値を特定の量子化代表値を除く量子化代表値の一つに割り当てて符号化する（Ｓ１８）。
以上によって、画素のｍビットの画素値を含む画素データ列から、上記画素値を符号化したｎビットの量子化代表値の画素データ列を得る画像符号化を行うことができる。このように、オフセット値を加算しておくことによって、元の画素値が１〜２^{（ｍ−ｎ）}−１の範囲にある場合にも、符号化の際に丸められて特定の量子化代表値「０」になることを防ぐことができる。

なお、上記オフセット処理に代えて、撮像センサ２側からのデータをアナログ・デジタル変換部３、又は、前処理部１１において入力データをあらかじめ、０、２^{（ｍ−ｎ）}〜２^ｍ−１に制限してもよい。

（実施の形態３）
図７は、本発明の実施の形態３に係る画像符号化装置１０ａの構成を示すブロック図である。この画像符号化装置１０ａは、実施の形態１に係る画像符号化装置と比較すると、差分値算出部２５と、中間量子化部２６とを備える点で相違する。差分値算出部２５は、第１画素の画素値と第１画素の周辺の第２画素の画素値との差分値を算出する。中間量子化部２６は、上記差分値を表すことができる最小ビットとしてｋビットを決定し、上記差分値をｋビットの量子化代表値で表す。また、符号化部２３では、ｋビットの量子化代表値をｎビットの量子化代表値に符号化する。この画像符号化装置では、画素値自体ではなく差分値を符号化するので、差分値がｎビットの範囲で表すことができる場合には、符号化の際の丸めが生じないので可逆的に符号化・復号化を行うことができる。

図８は、本発明の実施の形態３に係る画像符号化方法のフローチャートである。
（ａ）第１画素の画素値の入力を受け付ける（Ｓ２１）。この場合、第１画素の画素値は特定の画素値でないものとする。
（ｂ）第２画素の画素値の入力を受け付ける（Ｓ２２）。第２画素は、図９に示すように、第１画素の近傍の同色の画素としてもよい。あるいは、図１０に示すように、第２画素は、第１画素の隣接画素であってもよい。
（ｃ）第２画素の画素値は、特定の画素値か否か判断する（Ｓ２３）。特定の画素値である場合には、差分値として、特定の量子化代表値に符号化する（Ｓ２７）。なお、この場合に、差分値として特定の量子化代表値が格納されるが、第２画素の画素値が欠陥画素データであることを意味するものであって、復号化の際には、差分値が特定の量子化代表値であることを検出することによって、第２画素の画素値として欠陥画素データを意味する特定の画素値を割り当てる。
（ｄ）第２画素の画素値が特定の画素値でない場合には、第１画素の画素値と第２画素の画素値の差分値δを算出する（Ｓ２４）。なお、第１画素と第２画素の組は、図９及び図１０に示すように互いに近傍の同色の画素の組であってもよく、隣接する互いに異なる色の画素の組であってもよい。
（ｅ）差分値δをｋビットの量子化代表値で表す（Ｓ２５）。この場合、上記差分値δを表すことができる最小ビットとしてｋビットを決定する。
（ｆ）差分値として、ｋビットの量子化代表値をｎビットの量子化代表値に符号化する（Ｓ２６）。
以上によって、画素のｍビットの画素値を含む画素データ列から、各画素値の差分値をそれぞれ符号化したｎビットの量子化代表値を含む画素データ列を得ることができる。

次に、差分値を得る第１画素と第２画素の組の選択について図９から図１３を用いて説明する。撮像センサ２からの入力される画素値をラスタ順にＩＮ（１）、ＩＮ（２）・・・とする場合、差分値δは、
差分値δ＝ＩＮ（ｔ）−ＩＮ（ｔ−１） ｔ：時刻
として表すことができる。また、図３に示すようなベイヤ配列構成をとる撮像センサからの入力は、水平ライン毎に、Ｒ（赤）、Ｇ（緑）、Ｒ、Ｇ・・・、次のラインはＧ（緑）、Ｂ（青）、Ｇ、Ｂ・・・という順に画素値が入力される。そこで、第１画素と第２画素の組合わせとしては、図９に示すように、近傍の同色の画素の組とする場合と、図１０に示すように隣接する互いに異なる色の画素の組とする場合がある。また、図１１に示すように、画素の画素値が特定の画素値である場合には、これを第１画素とはしないものとする。この場合、画素値が特定の画素値ではない画素を第１画素として選択する。図１２の場合には、Ｒ（赤）の画素については、差分値δ２、δ４はそのまま算出できる。また、Ｇ（緑）の画素の差分値δ１については、第２画素の画素値が特定の画素値である場合なので、δ１に代えて特定の量子化代表値が格納される。一方、画素値が特定の画素値となる画素は第１画素としないので、δ３ではなく、図１１と同様に特定の画素値ではない画素を第１画素として差分値を算出する。さらに、図１３に示すように、隣接する画素間で差分値を算出する場合には、特定の画素値である画素を第１画素としないようにする。

（実施の形態４）
本発明の実施の形態４に係る画像符号化方法は、実施の形態３に係る画像符号化方法と比較すると、差分値を表すｋビットの量子化代表値が特定の量子化代表値となる場合に、（ｋ＋１）ビットの量子化代表値で表す点で相違する。これによって差分値の符号化にあたって特定の量子化代表値を避けることができ、復号化の際に特定の量子化代表値を検出した場合には符号化による割り当てを避けることができるので、特定の画素値に可逆的に符号化・復号化ができる。

図１５は、この画像符号化方法における差分値を表すｋビットの量子化代表値が「０」となる場合を示す概略図である。ここで、差分値δを表す方法として、符号有りで表記する方法と、符号無しで表記する方法がある。差分値δを符号有りの表記方法で表すと、ｋビットの範囲では、符号を含むので−２^ｋ−１−１〜２^ｋ−１−１の範囲の差分値を表すことができる。一方、符号無しの表記方法では、上記差分値の範囲を０〜２^ｋ−１で表記することができる。この場合、差分値が−２^ｋ−１−１である場合には「０」として表される。そこで、ｋビットではなく（ｋ＋１）ビットの範囲で表すと、同じ差分値−２^ｋ−１−１を「０」ではなく（ｋ＋１）ビットの２^ｋ−１−１として表すことができる。

図１４は、本発明の実施の形態４に係る画像符号化方法のフローチャートである。
（ａ）第１画素の画素値の入力を受け付ける（Ｓ３１）。
（ｂ）第２画素の画素値の入力を受け付ける（Ｓ３２）。
（ｃ）第２画素の画素値は、特定の画素値か否か判断する（Ｓ３３）。特定の画素値である場合には、差分値として、特定の量子化代表値に符号化する（Ｓ４０）。
（ｄ）第１画素の画素値と第２画素の画素値の差分値δを算出する（Ｓ３４）。
（ｅ）差分値をｋビットの量子化代表値で表す（Ｓ３５）。この場合、上記差分値δを表すことができる最小ビットとしてｋビットを決定する。
（ｆ）ｋビットの量子化代表値は、特定の量子化代表値か否か判断する（Ｓ３６）。図１５に示すように、差分値δを符号無しｋビットで表す場合には、差分値δが−２^ｋ−１−１に一致する場合には、符号化した量子化代表値として「０」となる。そこで、差分値を表すビット数を増して、差分値を（ｋ＋１）ビットの量子化代表値で表す（Ｓ３７）。これによって、特定の量子化代表値「０」を避けることができる。
（ｇ）ステップＳ３７に続いて、差分値として、（ｋ＋１）ビットの量子化代表値をｎビットの量子化代表値に符号化する（Ｓ３８）。
（ｈ）ステップＳ３６でｋビットの量子化代表値が特定の量子化代表値でないと判断した場合には、差分値として、ｋビットの量子化代表値をｎビットの量子化代表値に符号化する（Ｓ３９）。
以上によって、画素のｍビットの画素値を含む画素データ列から、各画素値の差分値をそれぞれ符号化したｎビットの量子化代表値を含む画素データ列を得る。

（実施の形態５）
本発明の実施の形態５に係る画像符号化方法は、実施の形態４に係る画像符号化方法と比較すると、差分値を表すｋビットの量子化代表値が特定の量子化代表値である場合に、ｎビットの特定の量子化代表値に符号化する点で相違する。例えば、特定の画素値に対応する「０」以外の、「１」に符号化する。これによって特定の画素値に対応する特定の量子化代表値を避けて符号化することができるので、復号化の際に特定の量子化代表値を検出した場合には、特定の画素値に可逆的に符号化・復号化ができる。

図１６は、本発明の実施の形態５に係る画像符号化方法のフローチャートである。
（ａ）第１画素の画素値の入力を受け付ける（Ｓ４１）。
（ｂ）第２画素の画素値の入力を受け付ける（Ｓ４２）。
（ｃ）第２画素の画素値は、特定の画素値か否か判断する（Ｓ４３）。特定の画素値の場合には、差分値として、特定の量子化代表値に符号化する（Ｓ４９）。
（ｄ）第１画素の画素値と第２画素の画素値の差分を算出する（Ｓ４４）。
（ｅ）差分値をｋビットの量子化代表値で表す（Ｓ４５）。
（ｆ）ｋビットの量子化代表値は、特定の量子化代表値か否か判断する（Ｓ４６）。特定の量子化代表値である場合には、差分値として、ｎビットの特定の量子化代表値に符号化する（Ｓ４８）。例えば、特定の画素値に対応する「０」以外の、「１」に符号化する。
（ｇ）差分値として、ｋビットの量子化代表値をｎビットの量子化代表値に符号化する（Ｓ４７）。
以上によって、画素のｍビットの画素値を含む画素データ列から、各画素値の差分値をそれぞれ符号化したｎビットの量子化代表値を含む画素データ列を得ることができる。

（実施の形態６）
本発明の実施の形態６に係る画像符号化方法は、実施の形態４及び５に係る画像符号化方法と比較すると、ｎビットの量子化代表値が特定の量子化代表値である場合に、ｎビットの特定の量子化代表値に符号化する点で相違する。例えば、特定の画素値に対応する「０」以外の、「１」に符号化する。これによって特定の画素値に対応する特定の量子化代表値を避けて符号化することができるので、復号化の際に特定の量子化代表値を検出した場合には、特定の画素値に可逆的に符号化・復号化ができる。

図１７は、本発明の実施の形態６に係る画像符号化方法のフローチャートである。
（ａ）第１画素の画素値の入力を受け付ける（Ｓ５１）。
（ｂ）第２画素の画素値の入力を受け付ける（Ｓ５２）。
（ｃ）第２画素の画素値は、特定の画素値か否か判断する（Ｓ５３）。特定の画素値である場合には、差分値として、特定の量子化代表値に符号化する（Ｓ５９）。
（ｄ）第１画素の画素値と第２画素の画素値の差分値を算出する（Ｓ５４）。
（ｅ）差分値をｋビットの量子化代表値で表す（Ｓ５５）。この場合、差分値を表すことができる最小ビットとしてｋビットを決定する。
（ｆ）差分値として、ｋビットの量子化代表値をｎビットの量子化代表値に符号化する（Ｓ５６）。
（ｇ）ｎビットの量子化代表値は、特定の量子化代表値か否か判断する（Ｓ５７）。特定の量子化代表値である場合には、差分値として、ｎビットの特定の量子化代表値に符号化する（Ｓ５８）。例えば、特定の画素値に対応する「０」以外の、「１」に符号化する。特定の量子化代表値でないと判断された場合には、特に処理を要しないので、そのまま終了する。
以上によって、画素のｍビットの画素値を含む画素データ列から、各画素値の差分値をそれぞれ符号化したｎビットの量子化代表値を含む画素データ列を得ることができる。

（実施の形態７）
図１８は、本発明の実施の形態７に係る画像符号化装置の構成を示すブロック図である。この画像符号化装置１０ｂは、実施の形態３に係る画像符号化装置と比較すると、量子化幅算出部２７を備える点で相違する。この量子化幅算出部２７は、符号化された差分値δの圧縮度を表す量子化幅を算出する。これにより、差分値δがｎビットの幅を超える場合にも圧縮してｎビットの量子化代表値で表記でき、復号化の際にはｎビットの量子化代表値について圧縮度を示す量子化幅に基づいて元の差分値δに伸張することができる。

図１９は、本発明の実施の形態７に係る画像符号化方法のフローチャートである。
（ａ）第１画素の画素値の入力を受け付ける（Ｓ６１）。
（ｂ）第２画素の画素値の入力を受け付ける（Ｓ６２）。
（ｃ）第２画素の画素値は、特定の画素値か否か判断する（Ｓ６３）。特定の画素値である場合には、差分値として、特定の量子化代表値に符号化する（Ｓ６８）。
（ｄ）第１画素の画素値と第２画素の画素値の差分値を算出する（Ｓ６４）。
（ｅ）差分値をｋビットの量子化代表値で表す（Ｓ６５）。この場合、差分値を表すことができる最小ビットとしてｋビットを決定する。
（ｆ）差分値として、ｋビットの量子化代表値をｎビットの量子化代表値に符号化する（Ｓ６６）。このときに、ｋビットがｎビットを超える場合には、圧縮して符号化する。
（ｇ）ｋビットの量子化代表値とｎビットの量子化代表値とを比較して、符号化された差分値δの圧縮度を示す量子化幅を算出する（Ｓ６７）。なお、この量子化幅の算出の詳細については後述する。
以上によって、画素のｍビットの画素値を含む画素データ列から、各画素値の差分値をそれぞれ符号化したｎビットの量子化代表値を含む画素データ列を得ることができる。

図２０は、図１９の量子化幅を算出するステップＳ６７の詳細を説明するフローチャートである。
（ａ）第２画素の画素値は、特定の画素値か否か判断する（Ｓ７１）。特定の画素値である場合には、例えば、差分値として特定の量子化代表値として「０」を割り当てるとする場合、その値は明らかにｎビットのダイナミックレンジ（範囲内）で表すことができるので、圧縮を要しない。したがって、符号化された差分値δの圧縮度を示す量子化幅は２０（Ｓ７７）である。
（ｂ）差分値δが、−（（２^ｎ）／２−１）≦（差分δ）≦（２^ｎ）／２−１の不等式を満たすか否か判断する（Ｓ７２）。差分値δがこの不等式の範囲内にある場合には、差分値δをｎビットのダイナミックレンジで表すことができるので、符号化された差分値δの圧縮度を示す量子化幅は、２^０（Ｓ７７）である。
（ｃ）差分値δが、−（（２^ｎ＋１）／２−１）≦（差分δ）≦（２^ｎ＋１）／２−１の不等式を満たすか否か判断する（Ｓ７３）。差分値δがこの不等式の範囲内にある場合には、差分値δを表すためにｎ＋１ビットのダイナミックレンジが必要となるので、符号化された差分値δの圧縮度を示す量子化幅は、２^１（Ｓ７８）である。
（ｄ）差分値δが、−（（２^ｎ＋２）／２−１）≦（差分δ）≦（２^ｎ＋２）／２−１の不等式を満たすか否か判断する（Ｓ７４）。差分値δがこの不等式の範囲内にある場合には、差分値δを表すために（ｎ＋２）ビットのダイナミックレンジが必要となるので、符号化された差分値δの圧縮度を示す量子化幅は、２^２（Ｓ７９）である。
（ｅ）差分値δが、−（（２^ｍ−１）／２−１）≦（差分δ）≦（２^ｍ−１）／２−１の不等式を満たすか否か判断する（Ｓ７５）。差分値δがこの不等式の範囲内にある場合には、差分値δを表すために（ｍ−１）ビットのダイナミックレンジが必要となるので、符号化された差分値δの圧縮度を示す量子化幅は、２^{ｍ−ｎ−１}（Ｓ７８）である。
（ｆ）一方、差分値δが−（（２^ｍ−１）／２−１）≦（差分δ）≦（２^ｍ−１）／２−１の不等式を満たさない場合には、差分値δを表すためにｍビットのダイナミックレンジが必要となるので、符号化された差分値δの圧縮度を示す量子化幅は、２^{（ｍ−ｎ）}（Ｓ７６）である。
以上によって量子化幅が算出される。その後リターンする。

図２１は、量子化幅を決定する例を示す概略図である。この例では、第１画素の画素値をＩＮ（１）とし、第２画素の画素値をＩＮ（２）としている。また、第１画素の画素値ＩＮ（１）を基点として上下に刻み幅の異なるスケールを３つ示している。３つのスケールのうち、刻み幅の最も狭い第１のスケールは、符号化するｎビットの量子化代表値の範囲、
−（（２^ｎ）／２−１）〜（２^ｎ）／２−１
を示している。一方、第２のスケールは、第１のスケールに比べて刻み幅が２倍のスケールであって、第１のスケールと同様のｎビットの量子化代表値のそれぞれの値が２倍の値を指し、ｎ＋１ビットの量子化代表値の範囲、
−（（２^ｎ＋１）／２−１）〜（２^ｎ＋１）／２−１
を示している。さらに、第３のスケールは、第１のスケールに比べて刻み幅が４倍のスケールであって、第１のスケールと同様のｎビットの量子化代表値のそれぞれの値が４倍の値を指し、ｎ＋２ビットの量子化代表値の範囲、
−（（２^ｎ＋２）／２−１）〜（２^ｎ＋２）／２−１
を示している。すなわち、この刻み幅は、差分値δをｎビットの範囲に圧縮する圧縮度を表す量子化幅を意味する。

図２１の例では、第１画素の画素値ＩＮ（１）と第２画素の画素値ＩＮ（２）との差分δを表すためには、第２のスケールが必要となる。したがって、この場合には、差分値のｎビットの量子化代表値の圧縮度を表す量子化幅は２^１である。復号化の際には、差分値のｎビットの量子化代表値を２^１倍して、第１画素の画素値に加算して第２画素の画素値を得ることができる。

なお、上記の例では、個々の差分値δについてそれぞれ量子化幅を算出する場合について説明したが、これに限られず、例えば、図１０に示すように、連続する４画素のそれぞれ隣接する直前の画素との差分値δ１、δ２、δ３、δ４について、一つの量子化幅を決めてもよい。この場合、差分値δ１、δ２、δ３、δ４の量子化幅をｐ（１）、ｐ（２）、ｐ（３）、ｐ（４）とすると、組の量子化幅ｐｍａｘは、４つの量子化幅の内の最大の量子化幅として下記式に示すように決まる。
ｐｍａｘ ＝ ＭＡＸ（ｐ（１）,ｐ（２）,ｐ（３）,ｐ（４））
ここで、ＭＡＸ（）は最大値を返す処理である。

例えば、４つの量子化幅が、
ｐ（１）＝ ２^２
ｐ（２）＝ ２^１
ｐ（３）＝ ２^２
ｐ（４）＝ ２^０
である場合には、
ｐｍａｘ＝ＭＡＸ（２^２、２^１、２^２、２^０）＝２^２＝４
として組の量子化幅ｐｍａｘは４として得られる。そこで、この組の量子化幅ｐｍａｘに基づいて、差分値δ１、δ２、δ３、δ４は、ｎビットの量子化代表値として符号化される。

ここでは４画素を一組として量子化幅を決定したが、これに限られず１画素以上であれば何画素であってもよい。ｎ画素単位で組の量子化幅を決定する場合は、下記のように求められる。
ｐ＝ ＭＡＸ（ｐ（ｔ）,ｐ（ｔ＋１）,・・・,ｐ（ｔ＋ｎ−１））

また、特定の画素値は、差分値として特定の量子化代表値「０」に符号化されるので、その量子化幅は、最小の量子化幅２０に設定される。したがって、図１３に示すように、組として特定の画素値を含む場合であっても組の量子化幅は影響されることはない。

組の量子化幅が決定すると、中間量子化部２６及び符号化部２３において、入力画素値のビット精度、符号化するビット精度、圧縮するビット数、第１画素の画素値、第２画素の画素値、量子化幅、量子化ダイナミックレンジ、符号化データ等を設定すると、所定の疑似コードに基づいて、第１画素の画素値と第２画素の画素値との差分値が上記量子化幅に基づいて量子化代表値に符号化される。

以下に具体的な数値を用いて説明する。１０ビット（ｍ＝１０）の入力画素を６ビット（ｎ＝６）の量子化代表値に圧縮する場合を考える。
第１画素の画素値：ＩＮ（２）＝１５０
第２画素の画素値：ＩＮ（１）＝２００
差分値：δ＝ＩＮ（２）−ＩＮ（１）＝５０
ここで、差分値を符号無しで表記する場合を考えると、６ビットの範囲で表せるのは、差分値δが−２^６−１−１〜２^６−１−１の範囲、すなわち、−３２〜３２の範囲である。この例では、差分値は、７ビットの範囲−２^６〜２^６で表すことができるので、その量子化幅ｐは２^１である。ここでは、組の量子化幅ｐｍａｘも同じ２^１の場合を考える。この場合、ダイナミックレンジＤは、ｐｍａｘ×２^ｎ＝２^１×２^６＝１２８である。
（ａ）仮の基底値Ｓａは、Ｓａ＝ＩＮ（１）−Ｄ＝１５０−１２８＝２２としてＳａ＝２２が得られる。
（ｂ）この仮の基底値Ｓａは正であるので、基底値ＦとしてＳａと同じ値２２が与えられる。
（ｃ）次いで、基底値Ｆからの第２画素の画素値ＩＮ（２）の差Ｉｎは、Ｉｎ＝ＩＮ（２）−Ｆ−１＝２００−２２−１＝１７７として１７７が得られる。
（ｄ）得られた差Ｉｎは、１７７であり、６ビットの範囲では表せないので、量子化幅２^１で圧縮して６ビットの範囲の量子化代表値ＥＮＣとして符号化する。具体的には、「１７７」を１ビット右シフト演算して６ビットの８８（＝１０１１００）が得られる。
なお、復号化の際には、６ビットの量子化代表値のＥＮＣ値８８について、量子化幅２^１に基づいて逆に１ビット左シフト演算して「１７６」を得る。次いで、基底値２２に１７６を加算して第２画素の画素値として１９９を復号化できる。

また、符号化結果は、図２２の（ａ）及び（ｂ）に示すように所定の単位、例えば、メモリアクセス幅の倍数でパッキングされる。図２２の（ａ）は、Ｒ（赤）とＧ（緑）の２色のデータについて、それぞれ初期値の画素値のビット精度（ｍビット）でそのまま格納し、量子化幅情報としてｐｍａｘと符号化したｎビットのデータを格納していく場合を示す概略図である。図２２の（ｂ）は、Ｒ（赤）とＧ（緑）の色毎にデータ配置を分けて格納していく場合を示す概略図である。なお、図２２の（ａ）、（ｂ）のどちらを用いてもよい。この場合、復号化の際にデータの取りだし手順が変わるだけで圧縮処理には影響を及ぼさない。

（実施の形態８）
図２３は、本発明の実施の形態８に係る画像復号化装置２０の構成を示すブロック図である。この画像復号化装置２０は、デパッキング部３１と、符号値抽出部３２と、特定画素値判別部３３と、復号化部３４とを備える。デパッキング部３１では、符号化された画素データ列をデパッキングする。符号値抽出部３２では、符号化された量子化代表値を抽出する。特定画素値判別部３３では、量子化代表値が特定の量子化代表値であるか否か判断する。復号化部３４では、特定の量子化代表値である場合には元の画素値が欠陥画素データであることを意味するので、特定の画素値を割り当てて復号化し、特定の量子化代表値でない場合には、特定の画素値を除く画素値を割り当てて復号化する。このように、欠陥画素データについてあらかじめ特定の量子化代表値を割り当てて符号化しておくことによって、欠陥画素データについての情報を別にメモリに確保する必要がない。また、特定の量子化代表値であるか否か判断することによって、画素値の圧縮は不可逆的な符号化となるが、欠陥画素データについては可逆的に符号化・復号化できる。

図２４は、本発明の実施の形態８に係る画像復号化方法のフローチャートである。
（ａ）符号化された画素データ列をデパッキングする（Ｓ８１）。
（ｂ）符号値を抽出する（Ｓ８２）。例えば、画素値の符号化された量子化代表値を抽出する。
（ｃ）抽出された量子化代表値は、特定の量子化代表値か否か判断する（Ｓ８３）。特定の量子化代表値である場合には、元の画素値は欠陥画素データであることを意味するので、特定の画素値に割り当てて復号化する（Ｓ８５）。
（ｄ）一方、特定の量子化代表値でない場合には、量子化代表値を特定の画素値を除く画素値に割り当てて復号化する（Ｓ８４）。
以上によって、少なくとも一つの画素値の符号化された量子化代表値を含む画素データ列から、復号化された画素値を含む画素データ列を得ることができる。

（実施の形態９）
図２６は、本発明の実施の形態９に係る画像復号化方法のフローチャートである。
（ａ）符号化された画素データ列をデパッキングする（Ｓ９１）。
（ｂ）符号値を抽出する（Ｓ９２）。例えば、第１画素の画素値を抽出すると共に、第１画素の画素値と第１画素の近傍の第２画素の画素値との差分値δの符号化された量子化代表値を抽出する。図２２の（ａ）又は（ｂ）の例では、初期値として第１画素の画素値（ｍビット）をそのまま抽出することができる。また、上記差分値δは、符号化された量子化データ（ｎビット）として抽出できる。
（ｃ）符号化された差分値は、特定の量子化代表値か否か判断する（Ｓ９３）。差分値が特定の量子化代表値の場合には、第２画素の画素値として、特定の画素値を割り当てて復号化する（Ｓ９６）。
（ｄ）ｎビットの差分値δをｍビットに復号化する（Ｓ９４）。この場合、差分値δはｎビットの０〜２^ｎ−１の範囲内で表せる場合であるので、ｎビットを超えてｍビットまでの上位ビットには０を並べてｎビットからｍビットへ変換することができる。
（ｅ）第１画素のｍビットの画素値に、復号化されたｍビットの差分値を加算して、第２画素のｍビットの画素値を復号化する（Ｓ９５）。
以上によって、画素間の差分値が符号化されたｎビットの量子化代表値を含む画素データ列から、復号化されたｍビットの画素値を含む画素データ列を得ることができる。
なお、上記の例では、第１画素の画素値は、図２２に示すように初期値としてそのまま抽出できる場合について説明したが、これに限られない。例えば、初期値に対する差分値を加算して算出される画素の画素値は、連続する次の画素の画素値に対しては第１画素の画素値とみなすことができる。同様に連続する画素であって、互いに近傍の２つの画素について、直前の復号化によって得られた画素値を第１画素の画素値として第２画素の画素値を得るために用いてもよい。

（実施の形態１０）
図２４は、本発明の実施の形態１０に係る画像復号化装置２０ａの構成を示すブロック図である。この画像復号装置２０ａは、実施の形態８に係る画像復号装置と比較すると、符号化された差分値の圧縮度を示す量子化幅抽出部３５を備える点で相違する。この画像復号装置２０ａでは、量子化幅抽出部３５を備えるので、圧縮されて符号化された差分値を量子化幅に基づいて復号化できる。

図２７は、本発明の実施の形態１０に係る画像復号化方法のフローチャートである。
（ａ）符号化された画素データ列をデパッキングする（Ｓ１０１）。
（ｂ）符号値を抽出する（Ｓ１０２）。
（ｃ）符号化された差分値の圧縮度を示す量子化幅を抽出する（Ｓ１０３）。
（ｄ）符号化された差分値は、特定の量子化代表値か否か判断する（Ｓ１０４）。符号化された差分値が特定の量子化代表値の場合には、第２画素の画素値が欠陥画素データであることを意味するので、第２画素の画素値として、特定の画素値を割り当てて復号化する（Ｓ１０７）。
（ｅ）一方、特定の量子化代表値でない場合には、差分値を量子化幅に基づいて復号化する（Ｓ１０５）。
（ｆ）第１画素の画素値に復号化された差分値を加算して第２画素の画素値を復号化する（Ｓ１０６）。
以上によって、画素間の差分値が符号化されたｎビットの量子化代表値を含む画素データ列から、復号化されたｍビットの画素値を含む画素データ列を得ることができる。

（実施の形態１１）
図２８は、本発明の実施の形態１１に係る撮像装置の構成を示すブロック図である。この撮像装置は、撮像センサ２と、ＡＤＣ３と、画像符号化回路１０ｃと、センサ制御部８とを備える。この画像符号化回路１０ｃは、上記画像符号化装置のいずれかであっても用いることができる。この撮像装置では、撮像センサ２として、ＣＭＯＳセンサ等のように周辺にロジックを配置できるセンサを用いている。また、ＡＤＣ３のアナログ・デジタル変換された出力部分に画像符号化回路１０ｃを配置している。従来、撮像センサを備えた撮像装置から信号処理側へのデータトラフィックが大きな課題であった。一方、この撮像装置では画像符号化回路（圧縮部）１０ｃを備えており、これと接続する信号処理側には伸張（デコード）部を備えるものを用いるだけでよいので、撮像装置と信号処理側との間のトラフィックを抑えることができ、消費電力を抑制できると共に、信号処理側への高速データ転送が可能となる。また、画像符号化回路１０ｃを備えるので、上述のように特定の画素値である場合に特定の量子化代表値に符号化することができる。これにより、復号化の際に特定の量子化代表値を検出した場合には特定の画素値であることを意味するので、特定の画素値について可逆的に符号化・復号化することができる。

本発明の実施の形態１に係るデジタルスチルカメラの構成を示すブロック図である。 図１のデジタル信号処理回路の構成を示すブロック図である。 図１の撮像センサに含まれるベイヤ配列構造のフィルタの配置を示す概略図である。 本発明の実施の形態１に係る画像符号化装置の構成を示すブロック図である。 本発明の実施の形態１に係る画像符号化方法のフローチャートである。 本発明の実施の形態２に係る画像符号化方法のフローチャートである。 本発明の実施の形態３に係る画像符号化装置の構成を示すブロック図である。 本発明の実施の形態３に係る画像符号化方法のフローチャートである。 本発明の実施の形態３に係る画像符号化方法における同色画素間の差分値をとる場合を示す概略図である。 本発明の実施の形態３に係る画像符号化方法における隣接画素間の差分値をとる場合を示す概略図である。 本発明の実施の形態３に係る画像符号化方法における特定の画素値が同色画素で連続して存在する場合の差分値のとり方を示す概略図である。 本発明の実施の形態３に係る画像符号化方法における特定の画素値が存在する場合の差分値のとり方の一例を示す概略図である。 本発明の実施の形態３に係る画像符号化方法における特定の画素値が存在する場合の隣接画素間で差分値をとる一例を示す概略図である。 本発明の実施の形態４に係る画像符号化方法のフローチャートである。 差分値を表すｋビットの量子化代表値が「０」となる場合を示す概略図である。 本発明の実施の形態５に係る画像符号化方法のフローチャートである。 本発明の実施の形態６に係る画像符号化方法のフローチャートである。 本発明の実施の形態７に係る画像符号化装置の構成を示すブロック図である。 本発明の実施の形態７に係る画像符号化方法のフローチャートである。 図１９のステップＳ６７の詳細を示すフローチャートである。 量子化幅を決定する例を示す概略図である。 （ａ）は、Ｒ（赤）とＧ（緑）の２色のデータについて格納して所定の単位でパッキングする一例を示す概略図であり、（ｂ）は、Ｒ（赤）とＧ（緑）の色毎にデータ配置を分けて格納して所定の単位でパッキングする一例を示す概略図である。 本発明の実施の形態８に係る画像復号化装置の構成を示すブロック図である。 本発明の実施の形態１０に係る画像復号化装置の構成を示すブロック図である。 本発明の実施の形態８に係る画像復号化方法のフローチャートである。 本発明の実施の形態９に係る画像復号化方法のフローチャートである。 本発明の実施の形態１０に係る画像復号化方法のフローチャートである。 本発明の実施の形態１１に係る撮像装置の構成を示すブロック図である。

符号の説明

１ 撮像レンズ、２ 撮像センサ、３ ＡＤＣ、４ デジタル信号処理回路、５ メモリ、６ 記録部、７ レンズ制御部、８ センサ制御部、１０、１０ａ、１０ｂ 画像符号化装置（圧縮部）、１０ｃ 画像符号化回路、１１ 前処理部、１２ 信号処理部、１３ ＪＰＥＧ処理部、１４ 表示処理部、１５ ＩＦ処理部、２０、２０ａ 画像復号化装置（伸張部）、２１ 画素入力部、２２ 特定画素値判別部、２３ 符号化部、２４ パッキング部、２５ 差分値算出部、２６ 中間量子化部、２７ 量子化幅算出部、３１ デパッキング部、３２ 符号値抽出部、３３ 特定画素値判別部、３４ 復号化部、３５ 量子化幅抽出部

Claims (13)

1. 複数の画素が配列された画素列における各画素の画素値であってｍビット精度で量子化された画素値を、前記ｍビット精度よりも荒いｎビット精度で量子化された画素値に符号化する画像符号化方法であって、
   符号化の対象である対象画素の画素値が特定の画素値である場合には、前記対象画素の画素値を前記ｎビット精度で量子化する際に取り得る量子化代表値のうち特定の量子化代表値に割り当て、前記対象画素の画素値が前記特定の画素値以外の場合には、前記対象画素の画素値を前記特定の量子化代表値を除く量子化代表値に割り当てて符号化し、
   さらに、前記符号化に先立って、前記対象画素の画素値が特定の画素値以外である前記対象画素の画素値に対して、所定のオフセット値を加算することを特徴とする画像符号化方法。
2. 前記オフセット値は、２＾（ｍ−ｎ）−１であることを特徴とする請求項１に記載の画像符号化方法。
3. 複数の画素が配列された画素列における各画素の画素値であってｍビット精度で量子化された画素値を、前記ｍビット精度よりも荒いｎビット精度で量子化された画素値に符号化する画像符号化方法であって、
   前記符号化の対象である対象画素の画素値と、前記対象画素の近傍に位置する画素の画素値との差分値を算出し、
   前記差分値の大きさおよび、前記ｎビット精度で量子化する際に取り得る量子化代表値の範囲に基づいて、前記差分値を前記ｎビット精度で量子化する際の量子化幅を設定し、
   前記設定した量子化幅を用いて、前記差分値を前記ｎビット精度で量子化し、
   前記対象画素の近傍に位置する画素の画素値が特定の画素値である場合、前記差分値を前記ｎビット精度で量子化する際に取り得る量子化代表値のうち特定の量子化代表値に量子化することを特徴とする画像符号化方法。
4. 前記対象画素の近傍に位置する画素の画素値が特定の画素値ではない場合であって、かつ前記差分値が、前記ｎビット精度で量子化する際に取り得る量子化代表値のうち前記特定の量子化代表値に量子化される場合には、前記設定した量子化幅の値をより大きな量子化幅に変更して、前記変更した量子化幅を用いて、前記差分値を前記ｎビット精度で量子化する請求項３に記載の画像符号化方法。
5. 前記対象画素の近傍に位置する画素の画素値が特定の画素値ではない場合であって、かつ前記差分値が、前記ｎビット精度で量子化する際に取り得る量子化代表値のうち前記特定の量子化代表値に量子化される場合には、前記差分値を、前記ｎビット精度で量子化する際に取り得る量子化代表値のうち前記特定の量子化代表値以外の量子化代表値に割り当てる請求項３に記載の画像符号化方法。
6. 前記対象画素として、前記特定の画素値を除く画素値を有する画素を選択する請求項３に記載の画像符号化方法。
7. 前記画素列は、少なくとも２種類の色の画素が配列され、
   前記差分値を算出する際、前記対象画素の画素値と、前記対象画素に対して同色である前記対象画素の近傍に位置する画素の画素値とを用いて差分値を算出する請求項３に記載の画像符号化方法。
8. 前記画素列は、少なくとも２種類の色の画素が配列され、
   前記差分値を算出する際、前記対象画素の画素値と、前記対象画素に対して互いに異なる色である前記対象画素の近傍に位置する画素の画素値とを用いて差分値を算出する請求項３に記載の画像符号化方法。
9. 前記ｎビット精度で量子化して得られる画素データ列を、メモリのアクセスビット幅の倍数でパッキングする請求項３に記載の画像符号化方法。
10. 複数の画素が配列された画素列における各画素の画素値であってｍビット精度で量子化された画素値を、前記ｍビット精度よりも荒いｎビット精度で量子化された画素値に符号化する画像符号化装置であって、
    前記符号化の対象である対象画素の画素値が特定の画素値であるか否かを判別する特定画素値判別部と、
    前記判別の結果、前記対象画素の画素値が前記特定の画素値である場合には、前記対象画素の画素値を前記ｎビット精度で量子化する際に取り得る量子化代表値のうち特定の量子化代表値に割り当て、前記対象画素の画素値が前記特定の画素値以外の場合には、前記対象画素の画素値を前記ｎビット精度で量子化する際に取り得る量子化代表値のうち前記特定の量子化代表値を除く量子化代表値の中からいずれか１つに割り当てて符号化する符号化部と、
    前記符号化部における符号化に先立って、前記対象画素の画素値が前記特定の画素値以外である画素値に対して、所定のオフセット値を加算する加算部と、
    を備えることを特徴とする画像符号化装置。
11. 複数の画素が配列された画素列における各画素の画素値であってｍビット精度で量子化された画素値を、前記ｍビット精度よりも荒いｎビット精度で量子化された画素値に符号化する画像符号化装置であって、
    前記符号化の対象である対象画素の画素値と、前記対象画素の近傍に位置する画素の画素値との差分値を算出する差分値算出部と、
    前記差分値の大きさおよび、前記ｎビット精度で量子化する際に取り得る量子化代表値の範囲に基づいて、前記差分値を前記ｎビット精度で量子化する際の量子化幅を設定する量子化幅設定部と、
    前記対象画素の近傍に位置する画素の画素値が特定の画素値であるか否かを判別する特定画素値判別部と、
    前記対象画素の近傍に位置する画素の画素値が前記特定の画素値である場合、前記差分値を前記ｎビット精度で量子化する際に取り得る量子化代表値のうち特定の量子化代表値に量子化し、一方、前記対象画素の近傍に位置する画素の画素値が前記特定の画素値以外の場合、前記差分値を設定された前記量子化幅で、前記ｎビット精度で量子化する際に取り得る量子化代表値であって前記特定の量子化代表値を除く量子化代表値の中からいずれか１つに量子化する符号化部と、
    を備える画像符号化装置。
12. 画素間の差分値がｎビット精度で量子化された画素データ列から、ｍビット精度で量子化された画素データ列を得る画像復号化方法であって、
    符号化された画素データ列をデパッキングし、
    復号化の対象である対象画素の画素値として、ｎビット精度で量子化された前記対象画素の画素値を取得し、
    前記対象画素の画素値と前記対象画素の近傍に位置する画素の画素値との差分値として、前記ｎビット精度で量子化された差分値を取得し、
    前記ｎビット精度で量子化された前記差分値が前記ｎビット精度で量子化する際に取り得る量子化代表値のうち特定の量子化代表値であるか否かを判断し、
    前記対象画素の画素値として、前記ｎビット精度で量子化された前記対象画素の画素値を前記ｍビット精度の量子化代表値に復号すると共に、前記判断の結果、前記ｎビット精度で量子化された前記差分値が前記特定の量子化代表値でない場合、前記ｎビット精度で量子化された前記差分値を前記ｍビット精度の差分値に復号し、復号した前記ｍビット精度の差分値を前記ｍビット精度の前記対象画素の画素値に加算することで、前記対象画素の近傍に位置する画素の画素値として、前記ｍビット精度で量子化された画素値に復号化し、一方、前記ｎビット精度で量子化された前記差分値が前記特定の量子化代表値である場合、前記対象画素の近傍の画素の画素値として、前記ｍビット精度で量子化された特定の画素値を割り当てる、画像復号化方法。
13. 画素間の差分値がｎビット精度で量子化された画素データ列から、ｍビット精度で量子化された画素データ列を得る画像復号化装置であって、
    符号化された画素データ列をデパッキングするデパッキング部と、
    復号化の対象である対象画素の画素値として、ｎビット精度で量子化された前記対象画素の画素値を取得すると共に、前記対象画素の画素値と前記対象画素の近傍に位置する画素の画素値との差分値として、前記ｎビット精度で量子化された差分値を取得する符号値抽出部と、
    前記ｎビット精度で量子化された前記差分値が前記ｎビット精度で量子化する際に取り得る量子化代表値のうち特定の量子化代表値であるか否かを判断する特定画素値判別部と、
    前記対象画素の画素値として、前記ｎビット精度で量子化された前記対象画素の画素値を前記ｍビット精度の量子化代表値に復号すると共に、前記判断の結果、前記ｎビット精度で量子化された前記差分値が前記特定の量子化代表値でない場合、前記ｎビット精度の前記差分値を前記ｍビット精度の差分値に復号し、復号した前記ｍビット精度の前記差分値を前記ｍビット精度の前記対象画素の画素値に加算することで、前記対象画素の近傍に位置する画素の画素値として、前記ｍビット精度で量子化された画素値に復号化し、一方、前記ｎビット精度で量子化された前記差分値が前記特定の量子化代表値である場合、前記対象画素の近傍の画素の画素値として、前記ｍビット精度で量子化された特定の画素値を割り当てる復号化部と、
    を備えた画像復号化装置。

Images