JP5158096B2 - 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法 - Google Patents
符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法 Download PDFInfo
- Publication number
- JP5158096B2 JP5158096B2 JP2009548849A JP2009548849A JP5158096B2 JP 5158096 B2 JP5158096 B2 JP 5158096B2 JP 2009548849 A JP2009548849 A JP 2009548849A JP 2009548849 A JP2009548849 A JP 2009548849A JP 5158096 B2 JP5158096 B2 JP 5158096B2
- Authority
- JP
- Japan
- Prior art keywords
- component
- single component
- pixel
- pixels
- components
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/41—Bandwidth or redundancy reduction
Description
技術分野
［０００１］
本発明は、２次元信号の符号化や復号に用いられる符号化装置、符号化方法、符号化プログラム、復号装置、復号方法および復号プログラムに関する。
背景技術
［０００２］
画像信号に代表される２次元信号を記録媒体に格納する場合や通信ネットワークを介して伝送する場合には、記録媒体や伝送路を効率的に利用するためにデータの圧縮あるいは符号化が不可欠である。例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）を用いた符号化や予測符号化などの種々の方式が提案され、実際に使用されている。
［０００３］
画像符号化方式は、対象とする画像の種別（自然画像または人工画像）や速度・圧縮率・機能などの面で多様化が進んでいる。機能の例としては、プログレッシブ復号（漸進的な高品質化）や誤り耐性などが挙げられる。プログレッシブ復号とは、符号データのうち一部だけを用いて低品質な画像を復元できるようにしたものであり、データを伝送しながら漸次的に高精細化していくなどの用途に用いられる。
［０００４］
画像信号の形式としては、各ピクセルにＲ（赤）、Ｇ（緑）、Ｂ（青）の成分を持ち、かつピクセルが格子状に配置された画素構造が多く用いられる。これは、この構造が計算機で扱いやすく、また様々な画像情報を普遍的に扱うことができる（すなわち応用範囲が広い）からである。この形式に対応している符号化方式は多く、画像処理用のハードウェア（例えばＬＳＩなど）が豊富に存在する。
［０００５］
なお、ＲＧＢ画像の圧縮では、ＲＧＢ信号をＹＣｂＣｒなどの輝度、色差の信号に変換して圧縮するものが多い。これは、人間の視覚が色の変化に鈍感であるため、色差の情報量を間引くことによって、高い圧縮率を達成できるためである。
［０００６］
一方、現在、一般的なデジタルカメラでは、単板の感光センサとカラーフィルタアレイを利用してカラー画像を撮像する。よく利用されるカラーフィルタアレイとして、ベイヤー配列を採用したものがある。ベイヤー配列では、２×２の画素ブロック（２行２列の画素ブロック）ごとに赤および青がそれぞれ１画素、緑が２画素配置されている。以下、ベイヤー配列において、２×２の画素ブロックにおける赤、青の画素をＲ，Ｂと表記し、２つの緑の画素をＧ１，Ｇ２と表記する。
【０００７】
一般的なカラー画像圧縮規格はこうした特殊な色成分配置に対応していないため、ベイヤー配列の画像の圧縮に関して、種々の独自形式が提案されている。例えば、特許文献１には、各色コンポーネント毎にグレースケール画像を生成し、ＪＰＥＧアルゴリズムで圧縮する画像データ符号化方法が記載されている。また、例えば、特許文献２には、Ｇ１成分のみを抽出してグレースケール画像として符号化し、Ｒ，Ｂ，Ｇ２についてはＧ１との差分を符号化する画像圧縮方法が記載されている。
【０００８】
また、特許文献３には、適応ゴロムライス符号化が記載されている。
【０００９】
【特許文献１】
特開２００６−９４２２５号公報（段落００１１，００１２など）
【特許文献２】
特開２００５−２８６４１５号公報（図６など）
【特許文献３】
米国特許第５７６４３７４号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１０】
特許文献１に記載の符号化方法では、符号化の際に、グレースケール用の符号化方式を利用しなければならず、ＲＧＢ用の任意の符号化方式と組み合わせて利用することができない。すなわち、利用できる符号化方式が限定されてしまう。また、特許文献１に記載の符号化方法は、色成分毎に個別に符号化する方法であるため、符号データからＲＧＢ画像を得るためには全画素の全成分を復号する必要がある。
【００１１】
また、特許文献２に記載の符号化方法は、２×２の画素ブロックごとに独自の色差変換を行って符号化するものであるため、特許文献１に記載の符号化方法と同様に、ＲＧＢ用の任意の符号化方式で符号化を行うことができない。また、独自の色差変換を行って符号化するため、ＲＧＢ画像を得るためには全画素の全成分を復号する必要がある。
【００１２】
このように、特許文献１や特許文献２に記載された方法は、符号化方式が限定されているため、既存のＲＧＢの符号化ハードウェア（ＬＳＩなど）と組み合わせて用いることが困難である。
［００１３］
そこで、本発明は、カラーフィルタを用いた感光センサ画像などを符号化する場合に、ＲＧＢ用の任意の符号化方式で符号化可能な符号化用データを生成することができ、また、全画素の全成分を復号しなくてもＲＧＢ画像を得られるようにすることができる符号化装置、符号化方法、符号化プログラムを提供することを目的する。また、そのような符号化用データから符号化されたデータを復号する復号装置、復号方法および復号プログラムを提供することを目的とする。
課題を解決するための手段
［００１４］
本発明の符号化装置は、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色が同数ずつ含まれない画像を対象とし、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組を抽出するカラー成分形成手段と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を１種以上抽出する単一成分形成手段と、
前記カラー成分形成手段が抽出した画素の組を符号化するカラー成分符号化手段と、
前記単一成分形成手段が抽出した単一成分に関する情報を符号化する単一成分符号化手段とを含み、
前記カラー成分符号化手段は、前記カラー成分形成手段が抽出した３原色の画素の各組を、該カラー成分の画素のみを参照して符号化を行うものであることを特徴とする。
［００１５］
また、本発明の符号化方法は、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色が同数ずつ含まれない画像を対象とし、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組を抽出し、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を１種以上抽出し、
前記抽出した３原色の画素の各組を、該カラー成分の画素のみを参照して符号化を行い、
前記抽出した単一成分に関する情報を符号化することを特徴とする。
［００１６］
また、本発明の符号化プログラムは、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色が同数ずつ含まれない画像を対象とし、
コンピュータに、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組を抽出する機能と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を１種以上抽出する機能と、
前記抽出した３原色の画素の各組を、該カラー成分の画素のみを参照して符号化を行う機能と、
前記抽出した単一成分に関する情報を符号化する機能とを実行させることを特徴とする。
［００１７］
また、本発明の復号装置は、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色の画素が同数ずつ含まれない画像を対象とし、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組をカラー成分として復号するカラー成分復号手段と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を復号する単一成分復号手段と、
各空間座標に配置された画素が３原色のいずれかの成分を表す画像メモリに対して、前記カラー成分の値を所定の座標変換を行って出力するカラー成分出力手段と、
前記画像メモリに対して、前記単一成分の値を所定の座標変換を行って出力する単一成分出力手段とを含み、
前記カラー成分復号手段は、前記カラー成分形成手段が抽出したカラー成分の画素のみを参照して復号を行うものであり、
前記カラー成分出力手段は、各空間座標のカラー成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置へ画素値を出力するものであり、
前記単一成分出力手段は、各空間座標の単一成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置へ画素値を出力するものであることを特徴とする。
［００１８］
また、本発明の復号方法は、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色の画素が同数ずつ含まれない画像を対象とし、
抽出されたカラー成分の画素のみを参照して、前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組をカラー成分として復号し、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を復号し、
各空間座標に配置された画素が３原色のいずれかの成分を表す画像メモリに対して、各空間座標のカラー成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力し、
前記画像メモリに対して、各空間座標の単一成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力することを特徴とする。
［００１９］
また、本発明の復号プログラムは、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色の画素が同数ずつ含まれない画像を対象とし、
コンピュータに
抽出されたカラー成分の画素のみを参照して、前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組をカラー成分として復号する機能と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を復号する機能と、
各空間座標に配置された画素が３原色のいずれかの成分を表す画像メモリに対して、各空間座標のカラー成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力する機能と、
前記画像メモリに対して、各空間座標の単一成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力する機能とを実行させることを特徴とする。
発明の効果
［００２０］
本発明によれば、入力画像データから画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を抽出するので、ＲＧＢ用の任意の符号化方式で符号化可能な符号化用データを得ることができる。また、全画素の全成分を復号しなくてもＲＧＢ画像を得られるようにすることができる。
発明を実施するための最良の形態
［００２１］
以下、本発明の実施形態を図面を参照して説明する。
［００２２］
実施形態１．
図１は、本発明の第１の実施形態の符号化用データ生成装置を示すブロック図である。
第１の実施形態の符号化用データ生成装置は、例えば、プログラム制御により動作するデータ処理装置２０と、データ記憶装置３０と、符号出力装置４０とを備える。以下、符号化用データ生成装置が符号化の対象となるデータを生成し、更にそのデータの符号化も行う場合を例にして説明し、符号化用データ生成装置を符号化装置と記す。
【００２３】
データ処理装置２０は、ＲＧＢ成分形成手段２０１と、ＲＧＢ成分符号化手段２０２と、単一成分形成手段２０３と、単一成分符号化手段２０４とを含む。例えば、ＲＧＢ成分形成手段２０１、ＲＧＢ成分符号化手段２０２、単一成分形成手段２０３、および単一成分符号化手段２０４は、例えば、プログラム（符号化用データ生成プログラム）に従って動作するＣＰＵによって実現され、ＣＰＵがプログラムに従い、それらの各手段２０１〜２０４として動作してもよい。データ記憶装置３０は、ＲＧＢ成分メモリ３０１と、単一成分メモリ３０２とを含む。
【００２４】
符号化装置（具体的にはデータ処理装置２０）には、画像データ１０が入力する、あるいは、画像データを読み込む。以下、符号化装置に入力される画像データ、または符号化装置が読み込む画像データを入力画像データと記す。入力画像データ１０は、一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組と、そのＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な画像である。このような入力画像データの例としてベイヤー配列の画像データが挙げられる。ベイヤー配列の画像データでは、２×２の画素ブロック（２行２列の画素ブロック）毎に、Ｒ成分、Ｇ１成分、Ｂ成分、Ｇ２成分を含む。従って、ベイヤー配列の画像データでは、２×２の画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を１つずつ含む画素の組と、そのＲ，Ｇ，Ｂ成分の組に含まれない単独のＧ成分とに分けることができる。なお、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれない成分は１種類とは限らず２種類であってもよい。例えば、４×２の画素ブロック毎に、３つのＲ成分（Ｒ１，Ｒ２，Ｒ３）と、３つのＧ成分（Ｇ１，Ｇ２，Ｇ３）と、２つのＢ成分（Ｂ１，Ｂ２）を含む画像では、４×２の画素ブロック毎毎に、Ｒ，Ｇ，Ｂ成分を２つずつ含む画素の組と、その組に含まれないＲ成分、Ｇ成分とに分けることができる。よって、このような画像が本発明における入力画像データ１０であってもよい。以下、入力画像データ１０がベイヤー配列である場合を例にして説明する。また、ベイヤー配列の入力画像データでは、２×２の画素ブロック中に２つのＧ成分（Ｇ１成分およびＧ２成分）が含まれるが、以下の説明ではＧ１成分をＲ，Ｇ，Ｂ成分の組に含める場合を例にして説明する。
【００２５】
なお、Ｒ，Ｇ，Ｂ等の各成分は「信号」と称される場合もある。入力画像データ１０は画素が二次元に配置されているので、２次元信号に該当する。
【００２６】
ＲＧＢ成分メモリ３０１は、入力画像データ１０に含まれる一定の大きさのブロック毎に抽出されたＲ，Ｇ，Ｂ成分の組を記憶する記憶装置である。本例では、ＲＧＢ成分メモリ３０１は、ベイヤー配列の入力画像データ１０の２×２の各画素ブロックから抽出されるＲ，Ｇ１，Ｂ成分の組を記憶する。
【００２７】
ＲＧＢ成分形成手段２０１は、入力画像データ１０における一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組を抽出し、その組に含まれるＲ成分、Ｇ成分およびＢ成分を対応付けて、ＲＧＢ成分メモリ３０１に記憶させる。以下、ＲＧＢ成分形成手段２０１によって対応付けられたＲ成分、Ｇ成分、Ｂ成分をＲＧＢ画素データと記す。ＲＧＢ成分形成手段２０１は、対応付けたＲ，Ｇ，Ｂの各成分を連続してＲＧＢ成分メモリ３０１に記憶させる。本例では、入力画像データ１０はベイヤー配列であり、ＲＧＢ成分形成手段２０１は、入力画像データ１０に含まれる２×２の画素ブロック毎に、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組を抽出し、そのＲ成分、Ｇ１成分、Ｂ成分を対応付けたＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させる。このとき、Ｒ成分、Ｇ１成分、Ｂ成分の各データを連続させてＲＧＢ成分メモリ３０１に記憶させる。
【００２８】
単一成分メモリ３０２は、入力画像データ１０に含まれる一定の大きさのブロック毎に含まれている単一成分を記憶する記憶装置である。単一成分とは、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれなかったＲ，Ｇ，Ｂのいずれかの成分である。本例では、単一成分メモリ３０２は、ベイヤー配列の入力画像データ１０の２×２の各画素ブロックから抽出されるＧ２成分を記憶する。
【００２９】
単一成分形成手段２０３は、入力画像データ１０における一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれない個々の成分を抽出し、その成分を一つの画素として、単一成分メモリ３０２に記憶させる。単一成分形成手段２０３が抽出する単一成分は１種以上である。本例では、入力画像データ１０はベイヤー配列であり、単一成分形成手段２０３は、入力画像データ１０中の２×２の画素ブロック毎に、Ｒ，Ｇ１，Ｂ成分の組に含まれないＧ２成分を抽出し、そのＧ２成分を一つの画素として単一成分メモリ３０２に記憶させる。
【００３０】
ＲＧＢ成分符号化手段２０２は、ＲＧＢ成分メモリ３０１からＲＧＢ画素データを読み出しながら、そのＲＧＢ画素データを符号化し、符号化後のデータを符号出力装置４０に出力する。ＲＧＢ成分符号化手段２０２がＲＧＢ画素データを符号化する方法は限定されない。ＲＧＢ成分符号化手段２０２は、Ｒ，Ｇ，Ｂ成分を符号化するための任意のＲＧＢ画像符号化方式を用いてＲＧＢ画素データを符号化すればよい。
【００３１】
単一成分符号化手段２０４は、単一成分メモリ３０２から単一成分の画素データを読み出しながら、その単一成分（本例ではＧ２成分）の画素データを符号化し、符号化後のデータを符号出力装置４０に出力する。単一成分符号化手段２０４が単一成分の画素データを符号化する方法は限定されない。ＲＧＢ成分符号化手段２０２は、単一成分の画素データを符号化するための任意の単一成分用画像符号化方式を用いて符号化を行えばよい。
【００３２】
符号出力装置４０は、ＲＧＢ成分符号化手段２０２と単一成分符号化手段２０４が出力したデータを受け取る装置であり、例えば、ＲＧＢ成分符号化手段２０２が出力するデータ、および単一成分符号化手段２０４が出力するデータを記憶する記憶装置により構成される。
【００３３】
次に、動作について説明する。なお、既に述べたように、入力画像データ１０がベイヤー配列の画像データである場合を例にして説明する。図２は、第１の実施形態の処理経過の例を示すフローチャートである。
【００３４】
まず、ＲＧＢ成分形成手段２０１は、ベイヤー配列の入力画像データ１０から、２×２の画素ブロック毎にＲ成分、Ｇ１成分およびＢ成分を１つずつ含む画素の組を抽出し、そのＲ成分、Ｇ１成分、Ｂ成分を対応付けたＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させる（ステップＳ１０１）。このとき、ＲＧＢ成分形成手段２０１は、そのＲ成分、Ｇ１成分、Ｂ成分を連続させて（すなわち隣接させて）ＲＧＢ成分メモリ３０１に記憶させる。
【００３５】
次に、ＲＧＢ成分符号化手段２０２は、ステップＳ１０１でＲＧＢ成分メモリ３０１に記憶されたＲＧＢ画素データを読み出しながら、読み出したＲＧＢ画素データを符号化し、符号化したデータを符号化出力装置４０に出力する（ステップＳ１０２）。例えば、符号化したデータを符号化出力装置４０に記憶させる。
【００３６】
ＲＧＢ成分符号化手段２０２は、Ｒ，Ｇ，Ｂ成分を符号化する符号化方法であれば、任意の方法でＲＧＢ画素データを符号化してよい。例えば、ＩＴＵ（International Telecommunication Union）−Ｔ．８１で定められたＪＰＥＧ（Joint Photographic Experts Group）の演算を行うことにより、ＲＧＢ画素データを符号化してもよい。この場合、ＲＧＢ成分符号化手段２０２は、ＲＧＢ画素データに含まれるＲ，Ｇ１，Ｂ成分に対して色変換およびＤＣＴ（離散コサイン変換）を施し、その結果得られる係数を連長ハフマン符号化（ランレングスハフマン符号化）すればよい。上記の色変換を行う場合、Ｒ，Ｇ，Ｂ成分をＹ，Ｃｂ，Ｃｒ成分に変換する変換式により、Ｒ，Ｇ１，Ｂ成分からＹ，Ｃｂ，Ｃｒ成分を計算すればよい。
【００３７】
また、例えば、ＲＧＢ成分符号化手段２０２は、ＲＦＣ２０８３で定められたＰＮＧ（Portable Network Graphics ）の演算を行って、ＲＧＢ画素データを符号化してもよい。この場合、ＲＧＢ成分符号化手段２０２は、隣接するＲＧＢ画素データにおけるＲ，Ｇ１，Ｂ成分の値から注目するＲＧＢ画素データにおけるＲ，Ｇ１，Ｂ成分の値を予測し、その予測値と注目するＲＧＢ画素データのＲ，Ｇ１，Ｂ成分の値との残差をＬＺ７７符号化すればよい。また、この予測をする場合、例えば、隣接するＲＧＢ画素データにおける値の平均を予測値としてもよい。
【００３８】
上記の符号化方法はいずれも例示であり、ＲＧＢ成分符号化手段２０２がＲＧＢ画素データを符号化する動作は上記の方法に限定されない。
【００３９】
ステップＳ１０２の後、単一成分形成手段２０３は、ベイヤー配列の入力画像データ１０から、２×２の画素ブロック毎に、Ｇ２成分を抽出する。このＧ２成分は、２×２の画素ブロックのうちステップＳ１０１で抽出されたＲ，Ｇ１，Ｂ成分の組に含まれなかった残りの成分である。単一成分形成手段２０３は、抽出したＧ２の単一成分を１画素として単一成分メモリ３０２に記憶させる（ステップＳ１０３）。この単一成分（Ｇ２成分）からなる画素を単一成分画素データと記す。
【００４０】
次に、単一成分符号化手段２０４は、ステップＳ１０３で単一成分メモリ３０２に記憶された単一成分画素データを読み出しながら、読み出した単一成分画素データを符号化し、符号化したデータを符号化出力装置４０に出力する（ステップＳ１０４）。例えば、符号化したデータを符号化出力装置４０に記憶させる。
【００４１】
単一成分符号化手段２０４は、単一の成分を符号化する方法であれば、任意の方法で単一成分画素データを符号化してよい。例えば、ＩＴＵ−Ｔ．８１で定められたＪＰＥＧの演算を行うことにより単一成分画素データを符号化してもよい。この場合、単一成分符号化手段２０４は、画素ブロックにＤＣＴを施し、その結果得られる係数を連長ハフマン符号化すればよい。また、ＲＦＣ２０８３で定められたＰＮＧの演算を行って単一成分画素データを符号化してもよい。この場合、単一成分符号化手段２０４は、隣接画素のＧ２成分の値から注目画素のＧ２成分の値を予測し、予測値と注目画素のＧ２成分の値との残差をＬＺ７７符号化すればよい。また、この予測をする場合、例えば、隣接する画素における値の平均を予測値としてもよい。
【００４２】
上記の符号化方法はいずれも例示であり、単一成分符号化手段２０４が単一成分画素データを符号化する動作は上記の方法に限定されない。
【００４３】
また、上記のステップＳ１０２，Ｓ１０３の動作順が逆になっていてもよい。
【００４４】
次に、本実施形態の効果について説明する。
本実施形態では、ベイヤー配列画像のように、一定の大きさの各画素ブロックにおいて、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、その組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な画像から、ＲＧＢ成分形成手段２０１がＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組を抽出し、単一成分形成手段２０３がその組に含まれない単一成分を抽出する。Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組は、Ｒ，Ｇ，Ｂ成分を符号化する任意の符号化方法で符号化可能であり、抽出された単一成分も、単一成分を符号化する任意の符号化方法で符号化可能である。このように、本実施形態によれば、様々な既存の画像符号化方式で符号化可能なＲＧＢ画素データや単一成分画素データを生成することができ、そのＲＧＢ画素データや単一成分画素データの符号化方式として、任意の画像符号化方式を利用することができる。従って、安価な既存のＬＳＩを使いまわすことができ、装置のコストを低く抑えることが可能となる。すなわち、ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４として安価な既存のＬＳＩを使うことができ、低コスト化を実現できる。また、速度や圧縮率の要求に応じて、様々な特性を持つ符号化方式を入れ替えて適用することが容易になる。例えば、ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４をＬＳＩ等で実現している場合、符号化の速度や圧縮率の要求に応じて、符号化方法の異なるＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４に入れ替えることが容易になる。
【００４５】
また、一定の大きさの画素ブロック毎にＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、その組に含まれない成分とに分けるので、それらをそれぞれ符号化することにより、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組の符号化データを復号すればＲＧＢ画像を得ることができる。すなわち、その組に含まない成分のデータについては復号しなくてもＲＧＢ画像を得ることができる。
【００４６】
また、ＲＧＢ成分符号化手段２０２は、ステップＳ１０２において、ＲＧＢ成分メモリ３０１から読み出したＲＧＢ画素データに対して、ＪＰＥＧ２０００などのプログレッシブ復号に対応した符号化（すなわちプログレッシブ符号化）を行ってもよい。ＲＧＢ画素データに対してプログレッシブ符号化を行えば、符号化方式そのものに手を加えることなく、カラー状態のままでプログレッシブ復号することができる。本実施形態で出力される符号データでは、前半にＲＧＢ画像（Ｒ，Ｇ１，Ｂ成分を含む画像）が格納され、後半に単一成分画像（Ｇ２成分を含む画像）が格納されている。このうち、前半のＲＧＢ画像をプログレッシブ復号すれば、復号の中間段階において、低品質なカラー画像を得ることができる。本発明において、ＲＧＢ成分形成手段２０１が抽出するＲ，Ｇ，Ｂ成分は、厳密には同一空間座標上にはないが、互いに隣接しているため、擬似的に同一空間座標上にあるものとして扱っても大きな齟齬が生じない。すなわち、プログレッシブ復号時に中間解像度画像などのような形で表示しても違和感が生じにくい。
【００４７】
また、既に例示したように、ＲＧＢ成分符号化手段２０２は、符号化の際に、Ｒ，Ｇ，Ｂ成分をＹ，Ｃｂ，Ｃｒ成分に変換する変換式により、Ｒ，Ｇ１，Ｂ成分からＹ，Ｃｂ，Ｃｒ成分への色変換を行ってもよい。その場合、単一成分用の符号化方式を複数回適用した場合に比べて、圧縮率が向上する。本発明でＲＧＢ成分形成手段２０１が抽出するＲ，Ｇ，Ｂ成分は、厳密には同一空間座標上にはないが、互いに隣接しているため、Ｒ，Ｇ，Ｂ成分間の相関に大きな低下はなく、ＹＣｂＣｒ変換などを適用することで圧縮率が向上する。
【００４８】
また、ＲＧＢ成分符号化手段２０２は、一定の大きさの画素ブロック毎に、ＲＧＢ成分形成手段２０１に、ステップＳ１０１で画素を抽出すべき画素ブロックの座標を指定し、ステップＳ１０１においてＲＧＢ成分形成手段２０１は、指定された座標の画素ブロックからＲ，Ｇ１，Ｂ成分を抽出し、それらの成分の座標をＲＧＢ画像における座標に変換してＲＧＢ成分メモリ３０１に記憶させてもよい。同様に、単一成分符号化手段２０４は、一定の大きさの画素ブロック毎に、単一成分形成手段２０３に、ステップＳ１０３で画素を抽出すべき画素ブロックの座標を指定し、ステップＳ１０３において単一成分形成手段２０３は、指定された座標の画素ブロックからＧ２成分を抽出し、その座標を単一成分画像における座標に変換して単一成分メモリ３０２に記憶させてもよい。。ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４は、入力画像データ１０がラスタースキャン順に入力されるか、８画素ブロックなどのように所定のブロック毎に入力されるかなどの入力態様に応じて、画素を抽出すべき画素ブロックの座標を指定すればよい。このように、座標が指定されることで、ＲＧＢ成分形成手段２０１および単一成分符号化手段２０４は、画像の入力態様に依らずに、各成分を抽出できる。
【００４９】
また、上記の説明では入力画像データ１０がベイヤー配列である場合を例に説明したが、既に説明したように、元画像のカラーフィルタの形式は、一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、そのＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な画像であればよい。例えば、２×２の画素ブロック毎に、２つのＲ成分（Ｒ１，Ｒ２とする）と、Ｇ，Ｂの各成分を含む画像データであってもよい。この場合、ＲＧＢ成分形成手段２０１は、Ｒ１成分，Ｇ成分，Ｂ成分を抽出して、ＲＧＢ画素データとしてＲＧＢ成分メモリ３０１に記憶させればよい。そして、単一成分形成手段２０３は、Ｒ２成分を抽出して単一成分メモリ３０２に記憶させればよい。
【００５０】
また、例えば、４×２の画素ブロック毎に、Ｒ１，Ｇ１，Ｂ１，Ｒ２，Ｇ２，Ｂ２，Ｇ３，Ｒ３の各成分（３つのＲ成分、３つのＧ成分、２つのＢ成分）が格納されていてもよい。ＲＧＢ成分形成手段２０１は、Ｒ１，Ｇ１，Ｂ１，Ｒ２，Ｇ２，Ｂ２を格子状に配置したＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させればよい。単一成分形成手段２０３は、Ｇ３成分、Ｒ３成分をそれぞれ抽出し、Ｇ３成分からなる単一成分画素データおよびＲ３成分からなる単一成分画素データをそれぞれ単一成分メモリ３０２に記憶させる。単一成分符号化手段２０４は、Ｇ３成分およびＲ３成分それぞれの単一成分画素データを符号化すればよい。
【００５１】
また、図１に示す例では、符号化用データ生成装置が符号化も行う場合を例にして説明したが、ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４を備えていない構成であってもよい。そのような構成であっても、ＲＧＢ成分形成手段２０１がＲＧＢ画素データを形成し、単一成分形成手段２０３が単一成分画素データを形成するので、様々な画像符号化方式で符号化可能なＲＧＢ画素データや単一成分画素データを生成することができる。また、ＲＧＢ画素データを符号化すれば、そのデータを復号するだけでＲＧＢ画像をえることができる。
【００５２】
実施形態２．
図３は、本発明の第２の実施形態の符号化用データ生成装置を示すブロック図である。第１の実施形態の符号化用データ生成装置と同様の構成要素については、図１と同一の符号を付す。第２の実施形態の符号化用データ生成装置は、例えば、プログラム制御により動作するデータ処理装置２０と、データ記憶装置３０と、符号出力装置４０とを備える。第１の実施形態と同様に、符号化用データ生成装置がデータの符号化までも行う場合を例に説明し、符号化用データ生成装置を符号化装置と記す。また、入力画像データ１０がベイヤー配列のデータである場合を例にして説明するが、入力画像データ１０は、一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、そのＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な画像であればよい。
【００５３】
データ処理装置２０は、ＲＧＢ成分形成手段２０１と、ＲＧＢ成分符号化手段２０２と、単一成分形成手段２０３と、単一成分符号化手段２０４０とを含む。単一成分符号化手段２０４０は、参照画素形成手段２０４１と、単一成分予測手段２０４２と、予測誤差符号化手段２０４３とを含む。ＲＧＢ成分形成手段２０１、ＲＧＢ成分符号化手段２０２、単一成分形成手段２０３、および単一成分符号化手段２０４０（参照画素形成手段２０４１、単一成分予測手段２０４２、予測誤差符号化手段２０４３）は、プログラム（符号化用データ生成プログラム）に従って動作するＣＰＵによって実現され、ＣＰＵがプログラムに従い、それらの各手段として動作してもよい。
【００５４】
データ記憶装置３０は、ＲＧＢ成分メモリ３０１と、単一成分メモリ３０２と、参照画素メモリ３０３と、予測誤差メモリ３０４とを含む。
【００５５】
ＲＧＢ成分形成手段２０１は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令をＲＧＢ成分符号化手段２０２から受ける。すると、ＲＧＢ成分形成手段２０１は、指定された座標の画素ブロックからＲ，Ｇ１，Ｂ成分を１つずつ含む画素の組を抽出し、その組に含まれるＲ成分、Ｇ１成分およびＢ成分を対応付けて、そのＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させる。このとき、Ｒ，Ｇ１，Ｂ成分の座標をＲＧＢ画像における座標に変換してＲＧＢ成分メモリ３０１に記憶させる。ＲＧＢ成分メモリ３０１は、第１の実施形態と同様に、ＲＧＢ画素データを記憶する。
【００５６】
ＲＧＢ成分符号化手段２０２は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令をＲＧＢ成分形成手段２０１に対して発行する。また、ＲＧＢ成分符号化手段２０２は、抽出されたＲＧＢ画素データをＲＧＢ成分メモリ３０１から読み出しながら、そのＲＧＢ画素データを符号化し、符号化後のデータを符号出力装置４０に出力する。第１の実施形態と同様に、ＲＧＢ成分符号化手段２０２がＲＧＢ画素データを符号化する方法は限定されない。
【００５７】
単一成分形成手段２０３は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令を単一成分符号化手段２０４０から受ける。すると、単一成分形成手段２０３は、指定された座標の画素ブロックから、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれない成分（本例ではＧ２成分）を抽出し、その成分を一つの画素として、単一成分メモリ３０２に記憶させる。このとき、Ｇ２成分の画像を単一成分画像における座標に変換して単一成分メモリ３０２に記憶させる。単一成分メモリ３０２は、第１の実施形態と同様に、単一成分画素データを記憶する。
【００５８】
単一成分符号化手段２０４０は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令を単一成分形成手段２０３に対して発行する。さらに、抽出された単一成分画素データを単一成分メモリ３０２から読み出しながら、入力画像データ１０におけるその単一成分画素データの周囲の成分から単一成分画素データの予測値を計算し、その予測値と実際の値との差分を求める。さらに、単一成分符号化手段２０４０は、その差分を符号化し、符号出力装置４０へ出力する。
【００５９】
参照画素形成手段２０４１は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令を単一成分形成手段２０３に対して発行する。
【００６０】
また、参照画素形成手段２０４１は、単一成分形成手段２０３によって抽出される単一成分（符号化の対象となる単一成分）と同じ色を表す成分であって、その単一成分を囲むようにして配置されるその単一成分の直近の４つの成分（空間的に直近の４つの成分）を入力画像データ１０から抽出し、その４つの成分を参照画素メモリ３０３に記憶させる。参照画素形成手段２０４１は、そのような４つの成分を、既にＲＧＢ成分符号化手段２０２によって符号化が済んでいる成分の中から抽出する。本例では、参照画素形成手段２０４１は、単一成分形成手段２０３によって抽出されるＧ２成分と同じ色を表すＧ１成分であって、そのＧ２成分を囲むように配置されているＧ２成分の直近の４つのＧ１成分を抽出し、参照画素メモリ３０３に記憶させる。参照画素形成手段２０４１は、個々のＧ２成分毎に、４つのＧ１成分を、参照画素メモリ３０３に記憶させる。
【００６１】
参照画素メモリ３０３は、単一成分形成手段２０３によって抽出される単一成分と同じ色を表す成分であって、その単一成分を囲む４つの成分を記憶する。本例では、それぞれのＧ２成分を囲む４つのＧ１成分を記憶する。
【００６２】
単一成分予測手段２０４２は、単一成分形成手段２０３に抽出されるそれぞれの単一成分毎に、参照画素メモリ３０３に記憶された４つの成分を読み込み、その成分の値の平均値を求め、その平均値を、単一成分形成手段２０３に抽出される単一成分の予測値とする。さらに、単一成分予測手段２０４２は、実際の単一成分（単一成分画素データとして単一成分メモリ３０２に記憶されているデータ）を読み出し、平均値との差分を求め、その差分を予測誤差メモリ３０４に記憶させる。すなわち、単一成分予測手段２０４２は、参照画素メモリ３０３に記憶された４つのＧ１成分の平均値を求め、その４つのＧ１成分に囲まれるＧ２成分の予測値とする。また、単一成分メモリ３０２から実際のＧ２成分を読み出し、予測値との差分を求め、予測誤差メモリ３０４に記憶させる。
【００６３】
予測誤差符号化手段２０４３は、単一成分として抽出される成分（ここではＧ２成分）の予測値と実際の値との差分を、予測誤差メモリ３０４から予測誤差を読み出し、可変長符号化して符号出力装置４０へ出力する。
【００６４】
符号出力装置４０は、ＲＧＢ成分符号化手段２０２と予測誤差符号化手段２０４３が出力するデータを受け取る装置であり、例えば、ＲＧＢ成分符号化手段２０２が出力するデータ、および予測誤差符号化手段２０４３が出力するデータを記憶する記憶装置により構成される。
【００６５】
次に、動作について説明する。図４は、第２の実施形態の処理経過の例を示すフローチャートである。以下に示す例では、最初にＲＧＢ符号化処理（ステップＳ２０１〜Ｓ２０４）を行い、次に単一成分符号化処理（ステップＳ２０５〜Ｓ２１０）を行う。
【００６６】
ＲＧＢ符号化処理では、まず、ＲＧＢ成分符号化手段２０２が、ＲＧＢ成分形成手段２０１に対して、画素を抽出する画素ブロックの座標を指定し、画素抽出命令を発行する（ステップＳ２０１）。ＲＧＢ成分形成手段２０１は、この画素抽出命令を受け付けると、入力画像データ１０における指定座標の画素ブロックからＲ、Ｇ１，Ｂの成分を抽出し、そのＲ、Ｇ１，Ｂの各成分を対応付けたＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させる（ステップＳ２０２）。このとき、Ｒ，Ｇ１，Ｂ成分の座標をＲＧＢ画像における座標に変換してＲＧＢ成分メモリ３０１に記憶させる。
【００６７】
次に、ＲＧＢ成分符号化手段２０２は、ステップ２０２でＲＧＢ成分メモリ３０１に記憶されたＲＧＢ画素データを読み出しながら、読み出したＲＧＢ画素データを符号化し、符号化したデータを符号化出力装置４０に出力する（ステップＳ２０３）。例えば、符号化したデータを符号化出力装置４０に記憶させる。ステップＳ２０３の動作は、第１の実施形態におけるステップＳ１０２の動作と同様であり、Ｒ，Ｇ，Ｂ成分を符号化する符号化方法であれば、任意の方法でＲＧＢ画素データを符号化してよい。例えば、第１の実施形態で説明したように、ＩＴＵ−Ｔ．８１で定められたＪＰＥＧの演算を行ってもよい。すなわち、ＲＧＢ画素データに含まれるＲ，Ｇ１，Ｂ成分に対して色変換およびＤＣＴを施し、その結果得られる係数を連長ハフマン符号化してもよい。また、ＲＦＣ２０８３で定められたＰＮＧの演算を行ってもよい。すなわち、隣接するＲＧＢ画素データにおけるＲ，Ｇ１，Ｂ成分の値から注目するＲＧＢ画素データにおけるＲ，Ｇ１，Ｂ成分の値を予測し、その予測値と注目するＲＧＢ画素データのＲ，Ｇ１，Ｂ成分の値との残差をＬＺ７７符号化してもよい。
【００６８】
ステップＳ２０３の後、ＲＧＢ成分符号化手段２０２は、全てのＲＧＢ画素の符号化が完了したか否かを判定する（ステップＳ２０４）。例えば、入力画像データ１０の全ての画素ブロックについて画素抽出命令を発行済であるならば、全てのＲＧＢ画素の符号化が完了したと判定し、画素抽出命令を発行していない画素ブロックが残っていれば、符号化が未完のＲＧＢ画素があると判定すればよい。全てのＲＧＢ画素の符号化が完了しているならば（ステップＳ２０４のＹ）、ステップＳ２０５に移行し、完了していなければ（ステップＳ２０４のＮ）、ステップＳ２０１以降の処理を繰り返す。
【００６９】
単一成分符号化処理では、まず、単一成分符号化手段２０４の参照画素形成手段２０４１が、単一成分形成手段２０３に対して、画素を抽出する画素ブロックの座標を指定し、画素抽出命令を発行する（ステップＳ２０５）。単一成分形成手段２０３は、この画素抽出命令を受け付けると、入力画像データ１０における指定座標の画素ブロックからＧ２成分を抽出し、その単一成分を単一成分画素データとして単一成分メモリ３０２に記憶させる（ステップＳ２０６）。このとき、Ｇ２成分の画像を単一成分画像における座標に変換して単一成分メモリ３０１に記憶させる。
【００７０】
次に、参照画素形成手段２０４１は、入力画像データ１０から、符号化の対象となる単一成分（Ｇ２成分）を囲む４つのＧ１成分を抽出し、その４つのＧ１成分を参照画素メモリ３０３に記憶させる（ステップＳ２０７）。
【００７１】
次に、単一成分予測手段２０４２は、ステップＳ２０７で抽出された４つのＧ１成分を参照画素メモリ３０３から読み出し、その４つのＧ１成分の平均値を算出し、Ｇ２成分の予測値とする。さらに、単一成分予測手段２０４２は、ステップＳ２０６で抽出され単一成分メモリ３０２に記憶された実際のＧ２の画素値（Ｇ２成分）を単一成分メモリ３０２から読み出し、予測値との差分（予測誤差）を求めて予測誤差メモリ３０４に記憶させる（ステップＳ２０８）。
【００７２】
次に、予測誤差符号化手段２０４３は、予測誤差メモリ３０４から予測誤差（Ｇ２成分の実際の値と予測値との差分）を読み出し、可変長符号化して符号出力装置４０へ出力する（ステップＳ２０９）。例えば、符号化したデータを符号化出力装置４０に記憶させる。
【００７３】
ステップＳ２０９において、予測誤差符号化手段２０４３は、予測誤差に対して、例えば、ＰＮＧの予測誤差符号化に用いられているＬＺ７７符号化を行えばよい。また、予測誤差に対して、ＪＰＥＧ−ＬＳの予測誤差符号化に用いられている適応ゴロムライス符号化を行ってもよい。
【００７４】
ステップＳ２０９の後、単一成分符号化手段２０４０の参照画素形成手段２０４１は、全ての単一成分画素に関する予測誤差の符号化が完了したか否かを判定する（ステップＳ２１０）。例えば、入力画像データ１０の全ての画素ブロックについて画素抽出命令を発行済であるならば、全ての単一成分画素について予測誤差の符号化が完了したと判定し、画素抽出命令を発行していない画素ブロックが残っていれば、予測誤差の符号化が未完の単一成分画素があると判定すればよい。全ての単一成分画素に関する予測誤差が完了している場合（ステップＳ２１０のＹ）、処理を終了し、完了していない場合、ステップＳ２０５以降の処理を繰り返す。
【００７５】
次に、本実施形態の効果について説明する。
本実施形態では、ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４０が要求した画素を、逐次、ＲＧＢ成分形成手段２０１および単一成分形成手段２０３が座標変換して取得する。このため、ＲＧＢ成分メモリ３０１および単一成分メモリ３０２として画像１枚分の容量を確保する必要がなく、所要メモリ容量が削減できる。また、レジスタなど高速なメモリを割り当てることで動作の高速化が可能である。
【００７６】
また、Ｒ，Ｇ，Ｂ成分の組に含まれないの単一成分（Ｇ２成分）に関する符号化について、圧縮率を向上させることができる。本実施形態では、単一成分予測手段２０４２がＲＧＢ成分符号化手段２０２で符号化済の周辺の４画素（Ｇ１成分）から単一成分画素（Ｇ２成分）を予測する。一般に、画素値を予測する際には、空間的により近い画素を用いて予測した方が予測精度が高くなる。このため、あるＧ２成分の値を予測する際には、Ｇ２よりも空間的に近い、隣接するＧ１成分の情報を用いた方が、予測精度が高くなる。特に、写真や自然画では、Ｇ１成分の中心に位置するＧ２成分は、周囲のＧ１成分の平均値に近い値を取ることが多いため、本実施形態で述べた平均値での予測が特に有効である。この結果、本実施形態では、単一成分符号化手段２０４２は、単一成分（Ｇ２成分）の予測誤差を小さく抑えることができ、簡易な演算で圧縮率を向上させることができる。
【００７７】
また、本実施形態においても、ＲＧＢ画素データの符号化方式として任意の画像符号化方式を利用することができるという効果が得られる。また、一定の大きさの画素ブロック毎にＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、その組に含まれない成分とに分けるので、Ｒ，Ｇ，Ｂ成分を含む画素の組を符号化することにより、その符号化データを復号すればＲＧＢ画像を得ることができる。
【００７８】
また、第１の実施形態と同様に、ＲＧＢ成分符号化手段２０２は、プログレッシブ復号に対応したプログレッシブ符号化を行ってもよい。また、符号化の際に、Ｒ，Ｇ，Ｂ成分をＹ，Ｃｂ，Ｃｒ成分に変換する変換式により、Ｒ，Ｇ１，Ｂ成分からＹ，Ｃｂ，Ｃｒ成分への色変換を行ってもよい。
【００７９】
また、上記の説明では、参照画素形成手段２０４１が単一成分形成手段２０３に対して座標を指定する場合を例にして説明したが、単一成分符号化手段２０４０が備える他の手段が単一成分形成手段２０３に対して座標を指定してもよい。
【００８０】
実施形態３．
図５は、本発明の第３の実施形態の復号装置を示すブロック図である。第３の実施形態の復号装置は、第１の実施形態で示した符号化用データ生成装置によって生成されたＲＧＢ画素データおよび単一成分画素データを復号化したデータを復号する。例えば、図１に示す符号化用データ生成装置が出力した符号化データを復号する。
【００８１】
第３の実施形態の復号装置は、例えば、プログラム制御により動作するデータ処理装置７０と、データ記憶装置８０と、符号入力装置９０とを備える。データ処理装置７０は、ＲＧＢ成分出力手段７０１と、ＲＧＢ成分復号手段７０２と、単一成分出力手段７０３と、単一成分復号手段７０４とを含む。ＲＧＢ成分出力手段７０１、ＲＧＢ成分復号手段７０２、単一成分出力手段７０３、および単一成分復号手段７０４は、復号プログラムに従って動作するＣＰＵによって実現され、ＣＰＵが復号プログラムに従い、それらの各手段として動作してもよい。データ記憶装置８０は、ＲＧＢ成分メモリ８０１と、単一成分メモリ８０２とを含む。
【００８２】
符号入力装置９０には、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合と、そのＲ、Ｇ、Ｂ成分の組（Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組）に属さない単一のＲ成分、Ｇ成分、またはＢ成分を符号化したデータの集合が入力される。ここでは、Ｒ，Ｇ，Ｂの各成分の組に含まれる個々の成分の数が１つである場合を例にして説明するが、Ｒ，Ｇ，Ｂ成分が１つずつ含まれる場合に限定されるわけではない。また、ここでは、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組は、ベイヤー配列におけるＲ成分、Ｇ１成分、Ｂ成分の組であるとする。また、その組に属さない単一成分は、ベイヤー配列におけるＧ２成分である場合を例にして説明する。符号入力装置９０は、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データをＲＧＢ成分復号手段７０２に送り、Ｇ２成分の符号化データを単一成分復号手段７０４に送る。
【００８３】
ＲＧＢ成分メモリ８０１は、Ｒ，Ｇ１，Ｂの各成分を同数ずつ含む画素の組を記憶する。また、単一成分メモリ８０２は、単一成分（ここではＧ２成分）を記憶する。
【００８４】
ＲＧＢ成分復号手段７０２は、符号入力装置９０から入力されるＲ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データを復号し、復号により得たＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させる。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組を符号化したときの符号化方法に対応する方法で、復号を行えばよい。
【００８５】
ＲＧＢ成分出力手段７０１は、一定の大きさの画素ブロック毎に（例えば、Ｒ、Ｇ１，Ｂ成分を一つずつ含む画素ブロック毎に）、復号後のＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１から読み出して出力する。この結果、ＲＧＢ形式の画像データが出力される。
【００８６】
単一成分復号手段７０４は、符号入力装置９０から入力される単一成分の符号化データ（Ｇ２成分の符号化データ）を復号し、復号により得たＧ２成分を単一成分メモリ８０２に記憶させる。単一成分復号手段７０４は、単一成分を符号化したときの符号化方法に対応する方法でＧ２成分を復号すればよい。
【００８７】
単一成分出力手段７０３は、一定の大きさの画素ブロック毎に（例えば、Ｇ２成分を１つ含む画素ブロック毎に）復号後の単一成分を単一成分メモリ８０２から読み出して出力する。この結果、単一成分（ここではＧ２成分）からなる画像データが出力される。
【００８８】
次に、動作について説明する。図６は、第３の実施形態の処理経過の例を示すフローチャートである。符号入力装置９０は、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データおよびＧ２成分の符号化データが入力されると、そのＲ，Ｇ１，Ｂ成分の組の符号化データをＲＧＢ成分復号手段７０２に送り、Ｇ２成分の符号化データを単一成分復号手段７０４に送る。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組の符号化データが入力されると、その符号化データを復号し、復号によって得たＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させる（ステップＳ３０１）。
【００８９】
ステップＳ３０１において、ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組を符号化したときの符号化方法に対応する方法で復号を行えばよい。例えば、ＩＴＵ−Ｔ．８１で定められたＪＰＥＧの演算で符号化が行われているならば、その符号化に対応する方法で復号を行えばよい。この場合、ＲＧＢ成分復号手段７０２は、連長ハフマン符号から係数を復号し、ＤＣＴおよび色変換（例えば、Ｙ，Ｃｂ，ＣｒからＲ，Ｇ，Ｂへの変換）を行えばよい。なお、Ｙ，Ｃｂ，ＣｒからＲ，Ｇ，Ｂへの変換は、Ｙ，Ｃｂ，Ｃｒ成分をＲ，Ｇ，Ｂ成分に変換する変換式の計算を行えばよい。
【００９０】
また、ＲＦＣ２０８３で定められたＰＮＧの演算で符号化が行われているならば、隣接画素のＲ，Ｇ１，Ｂ成分の値から注目画素のＲ，Ｇ１，Ｂ成分の値を予測し、その値と注目画素のＲ，Ｇ１，Ｂ成分との差分をＬＺ７７符号化したデータが復号対象として入力される。この場合、ＲＧＢ成分復号手段７０２は、ＬＺ７７符号化されたデータを復号し、隣接画素のＲ，Ｇ１，Ｂ成分の値から注目画素のＲ，Ｇ１，Ｂ成分の値を予測し、その予測値に復号した差分データを加算することにより、Ｒ、Ｇ１，Ｂ成分をそれぞれ復号すればよい。
【００９１】
ＲＧＢ成分出力手段７０１は、ステップＳ３０１でＲＧＢ成分メモリ８０１に記憶されたＲ，Ｇ１，Ｂ成分の組を読み出し、出力する（ステップＳ３０２）。すなわち、Ｒ，Ｇ，Ｂの各成分を含むＲＧＢ画像を出力する。出力態様は、特に限定されない。例えば、ディスプレイ装置に表示出力させてもよく、あるいは、他の装置に出力してもよい。
【００９２】
ＲＧＢ成分出力手段７０１は、全てのＲ，Ｇ１，Ｂ成分の組が復号されＲＧＢ成分メモリ８０１に記憶された後に、全てのＲ，Ｇ１，Ｂ成分の組を読み出して出力してもよい。
【００９３】
また、ＲＧＢ成分復号手段７０２は、復号したＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させるときに、その各成分の座標情報と対応付けて記憶させ、その座標情報をＲＧＢ成分出力手段７０１に通知することにより、座標情報が示すＲ，Ｇ１，Ｂ成分の組の出力を命令してもよい。そして、ＲＧＢ成分出力手段７０１は、この命令に従い、通知された座標情報をキーとして、ＲＧＢ成分メモリ８０１から読み出すべきＲ，Ｇ１，Ｂ成分を特定し、そのＲ，Ｇ１，Ｂ成分を読み出して出力してもよい。
【００９４】
このようにＲＧＢ成分出力手段７０１は、Ｒ，Ｇ１，Ｂ成分の組をまとめて出力してもよく、あるいは、逐次出力してもよい。
【００９５】
Ｒ、Ｇ１，Ｂ成分の出力後、単一成分復号手段７０４は、入力されたＧ２成分の符号化データを復号し、復号したＧ２成分を単一成分メモリに記憶させる（ステップＳ３０３）。
【００９６】
ステップＳ３０３において、単一成分復号手段７０４は、単一成分（Ｇ２成分）を符号化したときの符号化方法に対応する方法で符号化を行えばよい。ＩＴＵ−Ｔ．８１で定められたＪＰＥＧの演算で符号化が行われているならば、その符号化に対応する方法で復号を行えばよい。この場合、単一成分復号手段７０４は、連長ハフマン符号から係数を復号し、ＤＣＴ演算（具体的にはＤＣＴの逆変換）を行えばよい。
【００９７】
また、ＲＦＣ２０８３で定められたＰＮＧの演算で符号化が行われているならば、単一成分復号手段７０４は、隣接画素のＧ２成分の値から注目画素のＧ２成分を予測し、その値とＧ２成分との差分をＬＺ７７符号化したデータが復号対象として入力される。この場合、単一成分復号手段７０４は、ＬＺ７７符号化されたデータを復号し、隣接画素のＧ２成分の値から注目画素のＧ２成分の値を予測し、その予測値に復号した差分データを加算することにより、Ｇ２成分を復号すればよい。
【００９８】
単一成分出力手段７０３は、ステップＳ３０３で単一成分メモリ８０２に記憶されたＧ２成分を読み出し、出力する（ステップＳ３０４）。すなわち、Ｇ２成分の単一画像を出力する。出力態様は、ステップＳ３０２と同様、特に限定されない。
【００９９】
単一成分出力手段７０３は、全てのＧ２成分が復号されて単一成分メモリ８０２に記憶された後に、全てのＧ２成分を出力してもよい。
【０１００】
また、単一成分復号手段７０４は、復号したＧ２成分を単一成分メモリ８０２に記憶させるときに、そのＧ２成分の座標情報と対応付けて記憶させ、その座標情報を単一成分出力手段７０３に通知することにより、座標情報が示すＧ２成分の出力を命令してもよい。そして、単一成分出力手段７０３は、この命令に従い、通知された座標情報をキーとして、単一成分メモリ８０２から読み出すべきＧ２成分を特定し、そのＧ２成分を読み出して出力してもよい。
【０１０１】
このように単一成分出力手段７０３は、Ｇ２成分をまとめて出力しても、あるいは、逐次出力してもよい。
【０１０２】
ここでは、Ｒ、Ｇ１，Ｂ成分の出力が完了してから、Ｇ２成分の復号および出力画像１００の出力を行う場合を示した。このように、Ｒ，Ｇ１，Ｂ成分の組と、Ｇ２成分のみの単一成分とを別々に出力すれば、ＲＧＢデータを処理可能な多様な用途や、単一成分を処理可能な多様な用途に、復号装置の出力を利用することができる。また、Ｒ，Ｇ１，Ｂ成分を含む画像と、単一成分の画像とをそれぞれ別々に利用することができる。
【０１０３】
また、ＲＧＢ成分復号手段７０２および単一成分復号手段７０４は、Ｒ，Ｇ１，Ｂ成分の組の復号と、Ｇ２成分の復号を同時に行ってもよい。そして、データ処理装置７０は、同時に復号されたＲ，Ｇ１，Ｂ成分とＧ２成分とをマージするマージ手段（図示せず。）を備えていてもよい。マージ手段が、Ｒ，Ｇ１，Ｂ成分とＧ２成分とをマージして、２×２の画素ブロックにＲ、Ｇ１，Ｇ２，Ｂ成分を含むベイヤー配列の画像を生成して、出力してもよい。
【０１０４】
本実施形態の復号装置によれば、第１の実施形態で示した符号化用データ生成装置によって生成されたＲＧＢ画素データおよび単一成分画素データを復号化したデータを復号することができる。
【０１０５】
実施形態４．
図７は、本発明の第４の実施形態の復号装置を示すブロック図である。第３の実施形態と同様の構成要素については、図５と同一の符号を付す。第４の実施形態の復号装置は、第２の実施形態で示した符号化用データ生成装置によって生成されたＲＧＢ画素データと、単一成分に関するデータ（予測値と実際の値との差分）とを復号する。例えば、図３に示す符号化用データ生成装置が出力した符号化データを復号する。
【０１０６】
第４の実施形態の復号装置は、例えば、プログラム制御により動作するデータ処理装置７０と、データ記憶装置８０と、符号入力装置９０とを備える。データ処理装置７０は、ＲＧＢ成分出力手段７０１と、ＲＧＢ成分復号手段７０２と、単一成分出力手段７０３と、単一成分復号手段７０４０とを含む。単一成分復号手段７０４０は、参照画素形成手段７０４１と、単一成分逆予測手段７０４２と、予測誤差復号手段７０４３とを含む。ＲＧＢ成分出力手段７０１、ＲＧＢ成分復号手段７０２、単一成分出力手段７０３、および単一成分復号手段７０４０（参照画素形成手段７０４１、単一成分逆予測手段７０４２、予測誤差復号手段７０４３）は、復号プログラムに従って動作するＣＰＵによって実現され、ＣＰＵが復号プログラムに従い、それらの各手段として動作してもよい。データ記憶装置８０は、ＲＧＢ成分メモリ８０１と、単一成分メモリ８０２と、参照画素メモリ８０３と、予測誤差メモリ８０４とを含む。
【０１０７】
符号入力手段９０には、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合および、そのＲ、Ｇ、Ｂ成分の組に属さない単一成分の予測値と実際の値との差分（予測誤差）を符号化したデータの集合が入力される。ここでは、Ｒ，Ｇ，Ｂの各成分の組に含まれる個々の成分の数が１つである場合を例にして説明するが、Ｒ，Ｇ，Ｂ成分が１つずつ含まれる場合に限定されるわけではない。また、ここでは、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組は、ベイヤー配列におけるＲ成分、Ｇ１成分、Ｂ成分の組であるとする。また、その組に属さない単一成分が、ベイヤー配列におけるＧ２成分である場合を例にして説明する。符号入力装置９０は、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データをＲＧＢ成分復号手段７０２に送り、Ｇ２成分の予測誤差の符号化データを予測誤差復号手段７０４３に送る。
【０１０８】
第３の実施形態と同様に、ＲＧＢ成分メモリ８０１は、Ｒ，Ｇ１，Ｂの各成分を同数ずつ含む画素の組を記憶し、単一成分メモリ８０２は、単一成分（ここではＧ２成分）を記憶する。また、参照画素メモリ８０３は、Ｒ，Ｇ，Ｂ成分の組に属さない単一成分（Ｇ２成分）と同じ色を表す成分であって、その単一成分とＲ，Ｇ，Ｂ成分の組とを組み合わせて１つの画像データにしたときに、その単一成分を囲むようにして配置されるその単一成分の直近の４つの成分（空間的に直近の４つの成分）を記憶する。本例では、ベイヤー配列の画像データにおいてＧ２成分を囲む４つのＧ１成分を記憶する。予測誤差メモリ８０４は、復号の結果得られた予測誤差を記憶する。
【０１０９】
ＲＧＢ成分復号手段７０２は、符号入力装置９０から入力されるＲ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データを復号し、復号により得たＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させる。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組を符号化したときの符号化方法に対応する方法で、復号を行えばよい。また、ＲＧＢ成分復号手段７０２は、出力すべきＲ，Ｇ１，Ｂ成分の組を示す座標情報を指定した画素出力命令をＲＧＢ成分出力手段７０１に発行する。
【０１１０】
ＲＧＢ成分出力手段７０１は、ＲＧＢ成分復号手段７０２からの画素出力命令に応じて、画素出力命令で指定された座標情報が示す復号後のＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１から読み出して出力する。この結果、ＲＧＢ形式の画像データが出力される。
【０１１１】
単一成分復号手段７０４０は、予測誤差の符号化データを復号し、予測誤差（単一成分の予測値と実際の値との差分）を得る。また、ＲＧＢ成分出力手段７０１が出力したＲ，Ｇ，Ｂ成分の中から、単一成分と同じ色を表す成分であって、その単一成分とＲ，Ｇ，Ｂ成分の組とを組み合わせて１つの画像データにしたときに、その単一成分を囲む４つの成分を、個々の単一成分毎に抽出する。そして、その４つの成分（ここではＧ１成分）から、Ｇ２成分の予測値を求め、その予測値に予測誤差を加算することで、Ｇ２成分を求め、そのＧ２成分を単一成分メモリ８０２に記憶させる。以下、単一成分復号手段７０４０が備える各手段について説明する。
【０１１２】
予測誤差復号手段７０４３は、符号入力装置９０から入力される予測誤差の符号化データを復号し、復号によって得た予測誤差を予測誤差メモリ８０４に記憶させる。
【０１１３】
参照画素形成手段７０４１は、ＲＧＢ成分出力手段７０１が出力したＲ，Ｇ１，Ｂ成分の中から、単一成分とＲ，Ｇ，Ｂ成分の組とを組み合わせてベイヤー配列としたときにＧ２成分を囲むことになる４つのＧ１成分を、個々のＧ２成分毎（予測誤差毎）に抽出する。例えば、ＲＧＢ成分出力手段７０１がＲ，Ｇ１，Ｂ成分を記憶装置に記憶させ、参照画素形成手段７０４１は、Ｇ２成分を囲むことになる４つのＧ１成分をその記憶装置から読み込む。参照画素形成手段７０４１は、各Ｇ２成分毎に抽出する４つのＧ１成分を参照画素メモリ８０３に記憶させる。
【０１１４】
単一成分逆予測手段７０４２は、参照画素メモリ８０３に記憶された４つのＧ１成分の組を読み込み、その４つのＧ１成分が囲むことになるＧ２成分の値を予測する。例えば、４つのＧ１成分の平均値を計算し、その平均値をＧ２成分の予測値とすればよい。さらに、単一成分逆予測手段７０４２は、予測値を求めたＧ２成分に関する予測誤差を予測誤差メモリ８０４から読み込み、Ｇ２成分の予測値に加算する。この結果、Ｇ２成分が導出される。単一成分逆予測手段７０４２は、そのＧ２成分を、単一成分メモリ８０２に記憶させる。
【０１１５】
また、参照画素形成手段７０４１は、出力すべきＧ２成分を示す座標情報を指定した画素出力命令を単一成分出力手段７０３に発行する。
【０１１６】
単一成分出力手段７０３は、参照画素形成手段７０４１からの画素出力命令に応じて、画素出力命令で指定された座標情報が示すＧ２成分を単一成分メモリ８０２から読み出して出力する。この結果、Ｇ２成分の画像データが出力される。
【０１１７】
次に、動作について説明する。図８は、第４の実施形態の処理経過の例を示すフローチャートである。符号入力装置９０は、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データおよびＧ２成分に関する予測誤差の符号化データが入力されると、そのＲ，Ｇ１，Ｂ成分の組の符号化データをＲＧＢ成分復号手段７０２に送り、その予測誤差の符号化データを予測誤差復号手段７０４３に送る。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組の符号化データが入力されると、その符号化データを復号し、復号によって得たＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させる（ステップＳ４０１）。ステップＳ４０１におけるＲＧＢ成分復号手段７０２の動作は、第３の実施形態におけるステップＳ３０１と同様である。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組を符号化したときの符号化方法に対応する方法で復号を行えばよい。
【０１１８】
ここでは、ＲＧＢ成分復号手段７０２が、復号したＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させるときに、その各成分の座標情報と対応付けて記憶させる場合を例にする。
【０１１９】
ステップＳ４０１の後、ＲＧＢ成分復号手段７０２は、出力すべきＲ，Ｇ１，Ｂ成分の組の座標情報を指定した画素出力命令を、ＲＧＢ成分出力手段７０１に発行する（ステップＳ４０２）。すると、ＲＧＢ成分出力手段７０１は、画素出力命令で指定された座標情報が示すＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１から読み込んで出力する（ステップＳ４０３）。このときの出力態様は特に限定されない。また、ＲＧＢ成分出力手段７０１は、そのＲ，Ｇ１，Ｂ成分の組を記憶装置に記憶させる。
【０１２０】
次に、ＲＧＢ成分復号手段７０２は、全てのＲ、Ｇ１，Ｂ成分の組について復号および出力が完了したか否かを判定する（ステップＳ４０４）。復号および出力が完了してないＲ、Ｇ１，Ｂ成分の組が残っていれば（ステップＳ４０４のＮ）、ステップＳ４０１以降の処理を繰り返す。全てのＲ、Ｇ１，Ｂ成分の組について復号および出力が完了していれば、ステップＳ４０５に移行する。
【０１２１】
ステップＳ４０５において、参照画素形成手段７０４１は、ＲＧＢ成分出力手段７０１がステップＳ４０３で記憶装置に記憶させたＲ，Ｇ１，Ｂ成分の中から、Ｇ２成分とＲ，Ｇ１，Ｂ成分の組とを組み合わせてベイヤー配列としたときにＧ２成分を囲むことになる４つのＧ１成分を抽出し、参照画素メモリ８０３に記憶させる。本例では、参照画素形成手段７０４１は、４つのＧ１成分を一組抽出して参照画素メモリ８０３に記憶させる。
【０１２２】
次に、予測誤差復号手段７０４３は、符号入力装置９０から入力される予測誤差の符号化データのうち、ステップＳ７０４１で抽出された４つのＧ１成分に囲まれるＧ２成分に関する予測誤差の符号化データを復号し、その予測誤差を予測誤差メモリ８０４に記憶させる（ステップＳ４０６）。
【０１２３】
次に、単一成分逆予測手段７０４２は、ステップＳ７０４１で抽出された４つのＧ１成分から、そのＧ１成分に囲まれるＧ２成分の値を予測する。例えば、４つのＧ１成分の平均値を求め、その平均値をＧ２成分の予測値とする。さらに、単一成分逆予測手段７０４２は、そのＧ２成分の予測値に、ステップＳ４０６で復号した予測誤差を加算することにより、Ｇ２成分を算出する（ステップＳ４０７）。単一成分逆予測手段７０４２は、そのＧ２成分を単一成分メモリ８０２に記憶させる。ここでは、単一成分逆予測手段７０４２が、算出したＧ２成分を単一成分メモリ８０２に記憶させるときに、その各成分の座標情報と対応付けて記憶させる場合を例にする。
【０１２４】
ステップＳ４０７の後、参照画素形成手段７０４１は、出力すべきＧ２成分の座標情報を指定した画素出力命令を、単一成分出力手段７０３に発行する（ステップＳ４０８）。すると、単一成分出力手段７０３は、画素出力命令で指定された座標情報が示すＧ２成分を単一成分メモリ８０２から読み込んで出力する（ステップＳ４０９）。このときの出力態様は特に限定されない。
【０１２５】
次に、参照画素形成手段７０４１は、全てのＧ２成分の出力が完了したか否かを判定する（ステップＳ４１０）。出力が完了していないＧ２成分が残っていれば（ステップＳ４１０のＮ）、ステップＳ４０５以降の処理を繰り返す。全てのＧ２成分について処理が完了していれば、処理を終了する。
【０１２６】
なお、Ｒ、Ｇ１，Ｂ成分の組、およびＧ２成分は、それぞれ逐次出力するのではなく、まとめて出力してもよい。
【０１２７】
また、上記の説明では、Ｒ、Ｇ１，Ｂ成分の出力が完了してから、Ｇ２成分の算出および出力を行う場合を示した。このように、Ｒ，Ｇ１，Ｂ成分の組と、Ｇ２成分のみの単一成分とを別々に出力すれば、ＲＧＢデータを処理可能な多様な用途や、単一成分を処理可能な多様な用途に、復号装置の出力を利用することができる。また、Ｒ，Ｇ１，Ｂ成分を含む画像と、単一成分の画像とをそれぞれ別々に利用することができる。
【０１２８】
また、ＲＧＢ成分復号手段７０２および単一成分復号手段７０４０は、Ｒ，Ｇ１，Ｂ成分の組の復号と、Ｇ２成分の算出を同時に行ってもよい。そして、データ処理装置７０は、同時に復号されたＲ，Ｇ１，Ｂ成分とＧ２成分とをマージするマージ手段（図示せず。）を備えていてもよい。マージ手段が、Ｒ，Ｇ１，Ｂ成分とＧ２成分とをマージして、２×２の画素ブロックにＲ、Ｇ１，Ｇ２，Ｂ成分を含むベイヤー配列の画像を生成して、出力してもよい。この点は第３の実施形態と同様である。
【０１２９】
本実施形態の復号装置によれば、第２の実施形態で示した符号化用データ生成装置によって生成された符号化データから、Ｒ，Ｇ，Ｂ成分の組および単一成分をそれぞれ生成することができる。
【０１３０】
また、上記の説明では、参照画素形成手段７０４１が単一成分出力手段７０３に対して座標を指定する場合を例にして説明したが、単一成分復号手段７０４０が備える他の手段が単一成分出力手段７０３に対して座標を指定してもよい。
【実施例１】
【０１３１】
以下、第１の実施例として、第１の実施形態の符号化用データ生成装置の実施例を示す。図９は、第１の実施例の動作（符号化動作等）を模式的に示す説明図である。ここでは、符号化用データ生成装置が、符号化も行う符号化装置である場合を例にして説明する。第１の実施例では、符号化装置が、データ処理装置２０（図１参照）としてパーソナルコンピュータを備え、データ記憶装置３０（図１参照）としてパーソナルコンピュータに含まれる半導体メモリを備え、符号出力装置４０として、磁気ディスク装置を備える場合を例に説明する。そして、入力画像データ１０は、磁気ディスク装置上のファイルとして与えられるものとする。また、図９では、図１に示す構成要素と同様の構成要素については、図１と同一の符号を付す。図９に示すＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分符号化手段２０２に相当する。また、ＪＰＥＧエンコーダ２０４は、単一成分符号化手段２０４に相当する。
【０１３２】
入力画像データ１０の画素配置形式はベイヤー配列とし、また、ＲＧＢの符号化にはＪＰＥＧ２０００エンコーダ２０２、単一成分の符号化にはＪＰＥＧエンコーダ２０４を利用するものとする。
【０１３３】
ＲＧＢ成分形成手段２０１は、磁気ディスク装置からベイヤー配列の入力画像データ１０を読み出し、Ｒ，Ｇ１，Ｂ成分の組を分離してＲＧＢ成分メモリ３０１に格納する。すなわち、ＲＧＢ成分形成手段２０１は、Ｒ，Ｇ１，Ｂ成分の組からなる格子配列のＲＧＢ画像をＲＧＢ成分メモリ３０１に格納する。
【０１３４】
ＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分メモリ３０１からＲＧＢ画像を読み出して、ＪＰＥＧ２０００形式で符号化し、磁気ディスク上の出力ファイルへ書き出す。
【０１３５】
また、単一成分形成手段２０３は、磁気ディスク装置からベイヤー配列の入力画像データ１０を読み出し、Ｇ２成分を分離して単一成分メモリに格納する。このデータは、単一成分（グレースケール）の格子配列の画像データとなる。
【０１３６】
次に、ＪＰＥＧエンコーダ２０４は単一成分メモリ３０２から単一画像を読み出してＪＰＥＧ形式で符号化し、磁気ディスク上の出力ファイルへ書き出す。
【実施例２】
【０１３７】
以下、第２の実施例として、第２の実施形態の符号化用データ生成装置の実施例を示す。図１０は、第２の実施例の動作（符号化動作等）を模式的に示す説明図である。ここでは、符号化用データ生成装置が、符号化も行う符号化装置である場合を例にして説明する。本実施例では、符号化装置が、データ処理装置２０（図３参照）としてパーソナルコンピュータを備え、データ記憶装置３０（図３参照）としてパーソナルコンピュータに含まれる半導体メモリを備え、符号出力装置４０として、磁気ディスク装置を備える場合を例に説明する。そして、入力画像データ１０は、磁気ディスク装置上のファイルとして与えられるものとする。また、図１０では、図３に示す構成要素と同様の構成要素については、図３と同一の符号を付す。ＲＧＢ成分レジスタ３０１は、ＲＧＢ成分メモリ３０１に相当し、単一成分レジスタ３０２は、単一成分メモリ３０２に相当する。ＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分符号化手段２０２に相当し、Golomb-Rice 符号化手段２０４３は、予測誤差符号化手段２０４３に相当する。
【０１３８】
まず、ＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分形成手段２０１に対して、（０，０）の座標からラスタースキャン順に座標を指定してＲＧＢ画素を要求する。ＲＧＢ成分形成手段２０１は、与えられたｘ，ｙ座標値に対応する画素ブロックを抽出し、そのうちのＲ，Ｇ１，Ｂ成分を、ＲＧＢ成分レジスタ３０１を介してＪＰＥＧ２０００エンコーダ２０２に受け渡す。ＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分レジスタ３０１を介して、ＲＧＢ画素データを受け取り、そのＲＧＢ画素データを符号化する。
【０１３９】
単一成分形成手段２０３は、Ｇ２成分を順に抽出して、単一成分レジスタ３０２に格納する。参照画素形成手段２０４１は、Ｇ２成分の周囲の４つのＧ１成分を抽出する。単一成分予測手段２０４２は、抽出された各Ｇ１成分（４つのＧ１成分）の平均値を計算して予測値とし、４つのＧ１成分に囲まれたＧ２成分との差分（予測誤差）を算出する。Golomb-Rice 符号化手段は、予測誤差をGolom-Rice符号により可変長符号化する。
【０１４０】
次に、本発明の概要について説明する。
図１１は、本発明の符号化用データ生成装置の概要を示すブロック図である。本発明の符号化用データ生成装置は、カラー成分形成手段１５１（例えば、ＲＧＢ成分形成手段２０１）と、単一成分形成手段１５２（例えば、単一成分形成手段２０３）とを備える。
【０１４１】
カラー成分形成手段１５１は、一定の大きさの画素ブロック毎にＲ，Ｇ，Ｂの各成分を同数ずつ含む画素の組と、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な入力画像データから、画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を抽出する。
【０１４２】
また、単一成分形成手段１５２は、入力画像データから、画素ブロック毎に、その画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分である単一成分を１種以上抽出する。
【０１４３】
このような構成により、画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を抽出することができるので、ＲＧＢ用の任意の符号化方式で符号化可能な符号化用データを得ることができる。また、全画素の全成分を復号しなくてもＲＧＢ画像を得られるようにすることができる。
【０１４４】
また、上記の実施形態には、カラー成分形成手段１５１が抽出したＲ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化するカラー成分符号化手段（例えば、ＲＧＢ成分符号化手段２０２）と、単一成分形成手１５２段が抽出した単一成分に関する情報を符号化する単一成分符号化手段（例えば、単一成分符号化手段２０４，２０４０）とを備える構成が開示されている。
【０１４５】
また、上記の実施形態には、単一成分符号化手段が、単一成分に関する情報として、単一成分形成手段５１２が抽出した単一成分を符号化する構成が開示されている。
【０１４６】
また、上記の実施形態には、入力画像データが、２×２の画素ブロック毎に１つのＲ成分と１つのＢ成分と２つのＧ成分とを含むベイヤー配列の画像データであり、単一成分形成手段１５２が、２×２の画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を１つずつ含む画素の組に属さないＧ成分を抽出し、単一成分符号化手段が、そのＧ成分を符号化する構成が開示されている。
【０１４７】
また、上記の実施形態には、単一成分符号化手段が、単一成分形成手段１５２が抽出した単一成分と同じ色を表す成分であって、その単一成分を囲むようにして配置される単一成分の直近の４つの成分を入力画像データから抽出する参照画素形成手段（例えば、参照画素形成手段２０４１）と、参照画素形成手段が抽出する４つの成分によって囲まれる単一成分の予測値を算出する単一成分予測手段（例えば、単一成分予測手段２０４２）と、 その予測値と、単一成分形成手段が抽出した単一成分との差分を計算し、単一成分に関する情報としてその差分を符号化する符号化手段（例えば、単一成分予測手段２０４２および予測誤差符号化手段２０４３）とを含む構成が開示されている。
【０１４８】
また、上記の実施形態には、単一成分予測手段が、参照画素形成手段が抽出する４つの成分の平均値を、その４つの成分によって囲まれる単一成分の予測値とする構成が開示されている。
【０１４９】
また、上記の実施形態には、入力画像データが、２×２の画素ブロック毎に１つのＲ成分と１つのＢ成分と２つのＧ成分とを含むベイヤー配列の画像データであり、単一成分形成手段１５２が、２×２の画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を１つずつ含む画素の組に属さないＧ成分を抽出し、参照画素形成手段が、単一成分形成手段１５２が抽出するＧ成分を囲むようにして配置されるそのＧ成分の直近の４つのＧ成分を抽出し、単一成分予測手段が、参照画素形成手段が抽出した４つのＧ成分に囲まれ、単一成分形成手段１５２によって抽出されるＧ成分の予測値を算出し、符号化手段が、その予測値と、単一成分形成手段１５２が抽出したＧ成分との差分を計算し、その差分を符号化する構成が開示されている。
【０１５０】
また、上記の実施形態には、カラー成分形成手段１５１に対して、抽出すべき画素の組を示す座標を指定するカラー成分座標指定手段を備える構成が開示されている。
【０１５１】
また、上記の実施形態には、単一成分形成手段１５２に対して、抽出すべき単一成分を示す座標を指定する単一成分座標指定手段を備える構成が開示されている。
【０１５２】
図１２は、本発明の復号装置の概要を示すブロック図である。本発明の復号装置は、カラー成分復号手段１６１（例えば、ＲＧＢ成分復号手段７０２）と、カラー成分出力手段１６２（例えば、ＲＧＢ成分出力手段７０１）と、単一成分復号手段１６３（例えば、単一成分復号手段７０４，７０４０）と、単一成分出力手段１６４（例えば、単一成分出力手段７０３）とを備える。
【０１５３】
カラー成分復号手段１６１は、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合を復号する。カラー成分出力手段１６２は、カラー成分復号手段１６１によって復号されたＲ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を出力する。
【０１５４】
単一成分復号手段１６３は、Ｒ、Ｇ、Ｂ成分の組に属さない単一のＲ成分、Ｇ成分、またはＢ成分である単一成分に関する情報の符号化データを復号して、その単一成分を導出する。単一成分出力手段１６４は、単一成分復号手段１６３によって復号された単一成分を出力する。
【０１５５】
以上のような構成により、上述の符号化用データ生成装置によって得られたデータを符号化したデータを復号することができる。
【０１５６】
また、上記の実施形態には、単一成分復号手段１６３が、単一成分を符号化したデータを復号することにより単一成分を導出する構成が開示されている。
【０１５７】
また、上記の実施形態には、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合は、ベイヤー配列の画像データにおける２×２の画素ブロック毎にＲ，Ｇ，Ｂの各成分を１つずつ含む画素の組を符号化したデータの集合であり、単一成分は、２×２の画素ブロックにおいてその画素の組に含まれずに残るＧ成分であり、カラー成分復号手段１６１が、その２×２の画素ブロック毎のＲ，Ｇ，Ｂの各成分を１つずつ含む画素の組を復号し、単一成分復号手段１６３が、単一成分となったＧ成分を符号化したデータを復号する構成が開示されている。
【０１５８】
また、上記の実施形態には、単一成分復号手段１６３が、単一成分と同じ色を表す成分であって、単一成分とＲ，Ｇ，Ｂの各成分を同数ずつ含む画素の組とを組み合わせて一つの画像データとしたときに単一成分を囲むようにしてその単一成分の直近に配置される４つの成分から求められたその単一成分の予測値とその単一成分との差分の符号化データを復号する差分復号手段（例えば、予測誤差復号手段７０４３）と、その４つの成分からその４つの成分に囲まれる単一成分の予測値を計算する単一成分予測値算出手段（例えば、単一成分逆予測手段７０４２）と、その予測値に、差分復号手段が復号した差分を加算することにより単一成分を導出する単一成分導出手段（例えば、単一成分逆予測手段）とを含む構成が開示されている。
【０１５９】
また、上記の実施形態には、単一成分予測値算出手段が、４つの成分の平均値を、その４つの成分に囲まれる単一成分の予測値として計算する構成が開示されている。
【０１６０】
また、上記の実施形態には、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合は、ベイヤー配列の画像データにおける２×２の画素ブロック毎にＲ，Ｇ，Ｂの各成分を１つずつ含む画素の組を符号化したデータの集合であり、単一成分は、２×２の画素ブロックにおいてその画素の組に含まれずに残るＧ成分であり、差分復号手段が、単一成分となるＧ成分を囲むようにして単一成分となるＧ成分の直近に配置される４つのＧ成分から求められた単一成分となるＧ成分の予測値と、単一成分となるＧ成分との差分の符号化データを復号し、単一成分導出手段は、予測値算出手段が計算した予測値に、差分復号手段が復号した差分を加算することにより、単一成分となるＧ成分を導出する構成が開示されている。
【０１６１】
また、上記の実施形態には、カラー成分出力手段１６２に対して、出力すべき画素の組を示す座標を指定するカラー成分座標指定手段を備える構成が開示されている。
【０１６２】
また、上記の実施形態には、単一成分出力手段１６４に対して、出力すべき単一成分を示す座標を指定する単一成分座標指定手段を備える構成が開示されている。
【０１６３】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１６４】
この出願は２００８年１月８日に出願された日本出願特願２００８−００１６２０ を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１６５】
本発明は、例えば、単板感光センサとカラーフィルタアレイによって得られたイメージデータ等を圧縮符号化するための符号化用データの生成や、そのような符号化用データから符号化されたデータの復号に好適に適用される。
【図面の簡単な説明】
【０１６６】
【図１】第１の実施形態の符号化用データ生成装置を示すブロック図である。
【図２】第１の実施形態の処理経過の例を示すフローチャートである。
【図３】第２の実施形態の符号化用データ生成装置を示すブロック図である。
【図４】第２の実施形態の処理経過の例を示すフローチャートである。
【図５】第３の実施形態の復号装置を示すブロック図である。
【図６】第３の実施形態の処理経過の例を示すフローチャートである。
【図７】本発明の第４の実施形態の復号装置を示すブロック図である。
【図８】第４の実施形態の処理経過の例を示すフローチャートである。
【図９】第１の実施例の動作を模式的に示す説明図である。
【図１０】第２の実施例の動作を模式的に示す説明図である。
【図１１】本発明の符号化用データ生成装置の概要を示すブロック図である。
【図１２】本発明の復号装置の概要を示すブロック図である。
【符号の説明】
【０１６７】
２０ データ処理装置
３０ データ記憶装置
４０ 符号出力装置
２０１ ＲＧＢ成分形成手段
２０２ ＲＧＢ成分符号化手段
２０３ 単一成分形成手段
２０４ 単一成分符号化手段
３０１ ＲＧＢ成分メモリ
３０２ 単一成分メモリ
［０００１］
本発明は、２次元信号の符号化や復号に用いられる符号化装置、符号化方法、符号化プログラム、復号装置、復号方法および復号プログラムに関する。
背景技術
［０００２］
画像信号に代表される２次元信号を記録媒体に格納する場合や通信ネットワークを介して伝送する場合には、記録媒体や伝送路を効率的に利用するためにデータの圧縮あるいは符号化が不可欠である。例えば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）を用いた符号化や予測符号化などの種々の方式が提案され、実際に使用されている。
［０００３］
画像符号化方式は、対象とする画像の種別（自然画像または人工画像）や速度・圧縮率・機能などの面で多様化が進んでいる。機能の例としては、プログレッシブ復号（漸進的な高品質化）や誤り耐性などが挙げられる。プログレッシブ復号とは、符号データのうち一部だけを用いて低品質な画像を復元できるようにしたものであり、データを伝送しながら漸次的に高精細化していくなどの用途に用いられる。
［０００４］
画像信号の形式としては、各ピクセルにＲ（赤）、Ｇ（緑）、Ｂ（青）の成分を持ち、かつピクセルが格子状に配置された画素構造が多く用いられる。これは、この構造が計算機で扱いやすく、また様々な画像情報を普遍的に扱うことができる（すなわち応用範囲が広い）からである。この形式に対応している符号化方式は多く、画像処理用のハードウェア（例えばＬＳＩなど）が豊富に存在する。
［０００５］
なお、ＲＧＢ画像の圧縮では、ＲＧＢ信号をＹＣｂＣｒなどの輝度、色差の信号に変換して圧縮するものが多い。これは、人間の視覚が色の変化に鈍感であるため、色差の情報量を間引くことによって、高い圧縮率を達成できるためである。
［０００６］
一方、現在、一般的なデジタルカメラでは、単板の感光センサとカラーフィルタアレイを利用してカラー画像を撮像する。よく利用されるカラーフィルタアレイとして、ベイヤー配列を採用したものがある。ベイヤー配列では、２×２の画素ブロック（２行２列の画素ブロック）ごとに赤および青がそれぞれ１画素、緑が２画素配置されている。以下、ベイヤー配列において、２×２の画素ブロックにおける赤、青の画素をＲ，Ｂと表記し、２つの緑の画素をＧ１，Ｇ２と表記する。
【０００７】
一般的なカラー画像圧縮規格はこうした特殊な色成分配置に対応していないため、ベイヤー配列の画像の圧縮に関して、種々の独自形式が提案されている。例えば、特許文献１には、各色コンポーネント毎にグレースケール画像を生成し、ＪＰＥＧアルゴリズムで圧縮する画像データ符号化方法が記載されている。また、例えば、特許文献２には、Ｇ１成分のみを抽出してグレースケール画像として符号化し、Ｒ，Ｂ，Ｇ２についてはＧ１との差分を符号化する画像圧縮方法が記載されている。
【０００８】
また、特許文献３には、適応ゴロムライス符号化が記載されている。
【０００９】
【特許文献１】
特開２００６−９４２２５号公報（段落００１１，００１２など）
【特許文献２】
特開２００５−２８６４１５号公報（図６など）
【特許文献３】
米国特許第５７６４３７４号明細書
【発明の開示】
【発明が解決しようとする課題】
【００１０】
特許文献１に記載の符号化方法では、符号化の際に、グレースケール用の符号化方式を利用しなければならず、ＲＧＢ用の任意の符号化方式と組み合わせて利用することができない。すなわち、利用できる符号化方式が限定されてしまう。また、特許文献１に記載の符号化方法は、色成分毎に個別に符号化する方法であるため、符号データからＲＧＢ画像を得るためには全画素の全成分を復号する必要がある。
【００１１】
また、特許文献２に記載の符号化方法は、２×２の画素ブロックごとに独自の色差変換を行って符号化するものであるため、特許文献１に記載の符号化方法と同様に、ＲＧＢ用の任意の符号化方式で符号化を行うことができない。また、独自の色差変換を行って符号化するため、ＲＧＢ画像を得るためには全画素の全成分を復号する必要がある。
【００１２】
このように、特許文献１や特許文献２に記載された方法は、符号化方式が限定されているため、既存のＲＧＢの符号化ハードウェア（ＬＳＩなど）と組み合わせて用いることが困難である。
［００１３］
そこで、本発明は、カラーフィルタを用いた感光センサ画像などを符号化する場合に、ＲＧＢ用の任意の符号化方式で符号化可能な符号化用データを生成することができ、また、全画素の全成分を復号しなくてもＲＧＢ画像を得られるようにすることができる符号化装置、符号化方法、符号化プログラムを提供することを目的する。また、そのような符号化用データから符号化されたデータを復号する復号装置、復号方法および復号プログラムを提供することを目的とする。
課題を解決するための手段
［００１４］
本発明の符号化装置は、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色が同数ずつ含まれない画像を対象とし、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組を抽出するカラー成分形成手段と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を１種以上抽出する単一成分形成手段と、
前記カラー成分形成手段が抽出した画素の組を符号化するカラー成分符号化手段と、
前記単一成分形成手段が抽出した単一成分に関する情報を符号化する単一成分符号化手段とを含み、
前記カラー成分符号化手段は、前記カラー成分形成手段が抽出した３原色の画素の各組を、該カラー成分の画素のみを参照して符号化を行うものであることを特徴とする。
［００１５］
また、本発明の符号化方法は、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色が同数ずつ含まれない画像を対象とし、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組を抽出し、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を１種以上抽出し、
前記抽出した３原色の画素の各組を、該カラー成分の画素のみを参照して符号化を行い、
前記抽出した単一成分に関する情報を符号化することを特徴とする。
［００１６］
また、本発明の符号化プログラムは、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色が同数ずつ含まれない画像を対象とし、
コンピュータに、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組を抽出する機能と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を１種以上抽出する機能と、
前記抽出した３原色の画素の各組を、該カラー成分の画素のみを参照して符号化を行う機能と、
前記抽出した単一成分に関する情報を符号化する機能とを実行させることを特徴とする。
［００１７］
また、本発明の復号装置は、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色の画素が同数ずつ含まれない画像を対象とし、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組をカラー成分として復号するカラー成分復号手段と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を復号する単一成分復号手段と、
各空間座標に配置された画素が３原色のいずれかの成分を表す画像メモリに対して、前記カラー成分の値を所定の座標変換を行って出力するカラー成分出力手段と、
前記画像メモリに対して、前記単一成分の値を所定の座標変換を行って出力する単一成分出力手段とを含み、
前記カラー成分復号手段は、前記カラー成分形成手段が抽出したカラー成分の画素のみを参照して復号を行うものであり、
前記カラー成分出力手段は、各空間座標のカラー成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置へ画素値を出力するものであり、
前記単一成分出力手段は、各空間座標の単一成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置へ画素値を出力するものであることを特徴とする。
［００１８］
また、本発明の復号方法は、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色の画素が同数ずつ含まれない画像を対象とし、
抽出されたカラー成分の画素のみを参照して、前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組をカラー成分として復号し、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を復号し、
各空間座標に配置された画素が３原色のいずれかの成分を表す画像メモリに対して、各空間座標のカラー成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力し、
前記画像メモリに対して、各空間座標の単一成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力することを特徴とする。
［００１９］
また、本発明の復号プログラムは、各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色の画素が同数ずつ含まれない画像を対象とし、
コンピュータに
抽出されたカラー成分の画素のみを参照して、前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組をカラー成分として復号する機能と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を復号する機能と、
各空間座標に配置された画素が３原色のいずれかの成分を表す画像メモリに対して、各空間座標のカラー成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力する機能と、
前記画像メモリに対して、各空間座標の単一成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力する機能とを実行させることを特徴とする。
発明の効果
［００２０］
本発明によれば、入力画像データから画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を抽出するので、ＲＧＢ用の任意の符号化方式で符号化可能な符号化用データを得ることができる。また、全画素の全成分を復号しなくてもＲＧＢ画像を得られるようにすることができる。
発明を実施するための最良の形態
［００２１］
以下、本発明の実施形態を図面を参照して説明する。
［００２２］
実施形態１．
図１は、本発明の第１の実施形態の符号化用データ生成装置を示すブロック図である。
第１の実施形態の符号化用データ生成装置は、例えば、プログラム制御により動作するデータ処理装置２０と、データ記憶装置３０と、符号出力装置４０とを備える。以下、符号化用データ生成装置が符号化の対象となるデータを生成し、更にそのデータの符号化も行う場合を例にして説明し、符号化用データ生成装置を符号化装置と記す。
【００２３】
データ処理装置２０は、ＲＧＢ成分形成手段２０１と、ＲＧＢ成分符号化手段２０２と、単一成分形成手段２０３と、単一成分符号化手段２０４とを含む。例えば、ＲＧＢ成分形成手段２０１、ＲＧＢ成分符号化手段２０２、単一成分形成手段２０３、および単一成分符号化手段２０４は、例えば、プログラム（符号化用データ生成プログラム）に従って動作するＣＰＵによって実現され、ＣＰＵがプログラムに従い、それらの各手段２０１〜２０４として動作してもよい。データ記憶装置３０は、ＲＧＢ成分メモリ３０１と、単一成分メモリ３０２とを含む。
【００２４】
符号化装置（具体的にはデータ処理装置２０）には、画像データ１０が入力する、あるいは、画像データを読み込む。以下、符号化装置に入力される画像データ、または符号化装置が読み込む画像データを入力画像データと記す。入力画像データ１０は、一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組と、そのＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な画像である。このような入力画像データの例としてベイヤー配列の画像データが挙げられる。ベイヤー配列の画像データでは、２×２の画素ブロック（２行２列の画素ブロック）毎に、Ｒ成分、Ｇ１成分、Ｂ成分、Ｇ２成分を含む。従って、ベイヤー配列の画像データでは、２×２の画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を１つずつ含む画素の組と、そのＲ，Ｇ，Ｂ成分の組に含まれない単独のＧ成分とに分けることができる。なお、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれない成分は１種類とは限らず２種類であってもよい。例えば、４×２の画素ブロック毎に、３つのＲ成分（Ｒ１，Ｒ２，Ｒ３）と、３つのＧ成分（Ｇ１，Ｇ２，Ｇ３）と、２つのＢ成分（Ｂ１，Ｂ２）を含む画像では、４×２の画素ブロック毎毎に、Ｒ，Ｇ，Ｂ成分を２つずつ含む画素の組と、その組に含まれないＲ成分、Ｇ成分とに分けることができる。よって、このような画像が本発明における入力画像データ１０であってもよい。以下、入力画像データ１０がベイヤー配列である場合を例にして説明する。また、ベイヤー配列の入力画像データでは、２×２の画素ブロック中に２つのＧ成分（Ｇ１成分およびＧ２成分）が含まれるが、以下の説明ではＧ１成分をＲ，Ｇ，Ｂ成分の組に含める場合を例にして説明する。
【００２５】
なお、Ｒ，Ｇ，Ｂ等の各成分は「信号」と称される場合もある。入力画像データ１０は画素が二次元に配置されているので、２次元信号に該当する。
【００２６】
ＲＧＢ成分メモリ３０１は、入力画像データ１０に含まれる一定の大きさのブロック毎に抽出されたＲ，Ｇ，Ｂ成分の組を記憶する記憶装置である。本例では、ＲＧＢ成分メモリ３０１は、ベイヤー配列の入力画像データ１０の２×２の各画素ブロックから抽出されるＲ，Ｇ１，Ｂ成分の組を記憶する。
【００２７】
ＲＧＢ成分形成手段２０１は、入力画像データ１０における一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組を抽出し、その組に含まれるＲ成分、Ｇ成分およびＢ成分を対応付けて、ＲＧＢ成分メモリ３０１に記憶させる。以下、ＲＧＢ成分形成手段２０１によって対応付けられたＲ成分、Ｇ成分、Ｂ成分をＲＧＢ画素データと記す。ＲＧＢ成分形成手段２０１は、対応付けたＲ，Ｇ，Ｂの各成分を連続してＲＧＢ成分メモリ３０１に記憶させる。本例では、入力画像データ１０はベイヤー配列であり、ＲＧＢ成分形成手段２０１は、入力画像データ１０に含まれる２×２の画素ブロック毎に、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組を抽出し、そのＲ成分、Ｇ１成分、Ｂ成分を対応付けたＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させる。このとき、Ｒ成分、Ｇ１成分、Ｂ成分の各データを連続させてＲＧＢ成分メモリ３０１に記憶させる。
【００２８】
単一成分メモリ３０２は、入力画像データ１０に含まれる一定の大きさのブロック毎に含まれている単一成分を記憶する記憶装置である。単一成分とは、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれなかったＲ，Ｇ，Ｂのいずれかの成分である。本例では、単一成分メモリ３０２は、ベイヤー配列の入力画像データ１０の２×２の各画素ブロックから抽出されるＧ２成分を記憶する。
【００２９】
単一成分形成手段２０３は、入力画像データ１０における一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれない個々の成分を抽出し、その成分を一つの画素として、単一成分メモリ３０２に記憶させる。単一成分形成手段２０３が抽出する単一成分は１種以上である。本例では、入力画像データ１０はベイヤー配列であり、単一成分形成手段２０３は、入力画像データ１０中の２×２の画素ブロック毎に、Ｒ，Ｇ１，Ｂ成分の組に含まれないＧ２成分を抽出し、そのＧ２成分を一つの画素として単一成分メモリ３０２に記憶させる。
【００３０】
ＲＧＢ成分符号化手段２０２は、ＲＧＢ成分メモリ３０１からＲＧＢ画素データを読み出しながら、そのＲＧＢ画素データを符号化し、符号化後のデータを符号出力装置４０に出力する。ＲＧＢ成分符号化手段２０２がＲＧＢ画素データを符号化する方法は限定されない。ＲＧＢ成分符号化手段２０２は、Ｒ，Ｇ，Ｂ成分を符号化するための任意のＲＧＢ画像符号化方式を用いてＲＧＢ画素データを符号化すればよい。
【００３１】
単一成分符号化手段２０４は、単一成分メモリ３０２から単一成分の画素データを読み出しながら、その単一成分（本例ではＧ２成分）の画素データを符号化し、符号化後のデータを符号出力装置４０に出力する。単一成分符号化手段２０４が単一成分の画素データを符号化する方法は限定されない。ＲＧＢ成分符号化手段２０２は、単一成分の画素データを符号化するための任意の単一成分用画像符号化方式を用いて符号化を行えばよい。
【００３２】
符号出力装置４０は、ＲＧＢ成分符号化手段２０２と単一成分符号化手段２０４が出力したデータを受け取る装置であり、例えば、ＲＧＢ成分符号化手段２０２が出力するデータ、および単一成分符号化手段２０４が出力するデータを記憶する記憶装置により構成される。
【００３３】
次に、動作について説明する。なお、既に述べたように、入力画像データ１０がベイヤー配列の画像データである場合を例にして説明する。図２は、第１の実施形態の処理経過の例を示すフローチャートである。
【００３４】
まず、ＲＧＢ成分形成手段２０１は、ベイヤー配列の入力画像データ１０から、２×２の画素ブロック毎にＲ成分、Ｇ１成分およびＢ成分を１つずつ含む画素の組を抽出し、そのＲ成分、Ｇ１成分、Ｂ成分を対応付けたＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させる（ステップＳ１０１）。このとき、ＲＧＢ成分形成手段２０１は、そのＲ成分、Ｇ１成分、Ｂ成分を連続させて（すなわち隣接させて）ＲＧＢ成分メモリ３０１に記憶させる。
【００３５】
次に、ＲＧＢ成分符号化手段２０２は、ステップＳ１０１でＲＧＢ成分メモリ３０１に記憶されたＲＧＢ画素データを読み出しながら、読み出したＲＧＢ画素データを符号化し、符号化したデータを符号化出力装置４０に出力する（ステップＳ１０２）。例えば、符号化したデータを符号化出力装置４０に記憶させる。
【００３６】
ＲＧＢ成分符号化手段２０２は、Ｒ，Ｇ，Ｂ成分を符号化する符号化方法であれば、任意の方法でＲＧＢ画素データを符号化してよい。例えば、ＩＴＵ（International Telecommunication Union）−Ｔ．８１で定められたＪＰＥＧ（Joint Photographic Experts Group）の演算を行うことにより、ＲＧＢ画素データを符号化してもよい。この場合、ＲＧＢ成分符号化手段２０２は、ＲＧＢ画素データに含まれるＲ，Ｇ１，Ｂ成分に対して色変換およびＤＣＴ（離散コサイン変換）を施し、その結果得られる係数を連長ハフマン符号化（ランレングスハフマン符号化）すればよい。上記の色変換を行う場合、Ｒ，Ｇ，Ｂ成分をＹ，Ｃｂ，Ｃｒ成分に変換する変換式により、Ｒ，Ｇ１，Ｂ成分からＹ，Ｃｂ，Ｃｒ成分を計算すればよい。
【００３７】
また、例えば、ＲＧＢ成分符号化手段２０２は、ＲＦＣ２０８３で定められたＰＮＧ（Portable Network Graphics ）の演算を行って、ＲＧＢ画素データを符号化してもよい。この場合、ＲＧＢ成分符号化手段２０２は、隣接するＲＧＢ画素データにおけるＲ，Ｇ１，Ｂ成分の値から注目するＲＧＢ画素データにおけるＲ，Ｇ１，Ｂ成分の値を予測し、その予測値と注目するＲＧＢ画素データのＲ，Ｇ１，Ｂ成分の値との残差をＬＺ７７符号化すればよい。また、この予測をする場合、例えば、隣接するＲＧＢ画素データにおける値の平均を予測値としてもよい。
【００３８】
上記の符号化方法はいずれも例示であり、ＲＧＢ成分符号化手段２０２がＲＧＢ画素データを符号化する動作は上記の方法に限定されない。
【００３９】
ステップＳ１０２の後、単一成分形成手段２０３は、ベイヤー配列の入力画像データ１０から、２×２の画素ブロック毎に、Ｇ２成分を抽出する。このＧ２成分は、２×２の画素ブロックのうちステップＳ１０１で抽出されたＲ，Ｇ１，Ｂ成分の組に含まれなかった残りの成分である。単一成分形成手段２０３は、抽出したＧ２の単一成分を１画素として単一成分メモリ３０２に記憶させる（ステップＳ１０３）。この単一成分（Ｇ２成分）からなる画素を単一成分画素データと記す。
【００４０】
次に、単一成分符号化手段２０４は、ステップＳ１０３で単一成分メモリ３０２に記憶された単一成分画素データを読み出しながら、読み出した単一成分画素データを符号化し、符号化したデータを符号化出力装置４０に出力する（ステップＳ１０４）。例えば、符号化したデータを符号化出力装置４０に記憶させる。
【００４１】
単一成分符号化手段２０４は、単一の成分を符号化する方法であれば、任意の方法で単一成分画素データを符号化してよい。例えば、ＩＴＵ−Ｔ．８１で定められたＪＰＥＧの演算を行うことにより単一成分画素データを符号化してもよい。この場合、単一成分符号化手段２０４は、画素ブロックにＤＣＴを施し、その結果得られる係数を連長ハフマン符号化すればよい。また、ＲＦＣ２０８３で定められたＰＮＧの演算を行って単一成分画素データを符号化してもよい。この場合、単一成分符号化手段２０４は、隣接画素のＧ２成分の値から注目画素のＧ２成分の値を予測し、予測値と注目画素のＧ２成分の値との残差をＬＺ７７符号化すればよい。また、この予測をする場合、例えば、隣接する画素における値の平均を予測値としてもよい。
【００４２】
上記の符号化方法はいずれも例示であり、単一成分符号化手段２０４が単一成分画素データを符号化する動作は上記の方法に限定されない。
【００４３】
また、上記のステップＳ１０２，Ｓ１０３の動作順が逆になっていてもよい。
【００４４】
次に、本実施形態の効果について説明する。
本実施形態では、ベイヤー配列画像のように、一定の大きさの各画素ブロックにおいて、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、その組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な画像から、ＲＧＢ成分形成手段２０１がＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組を抽出し、単一成分形成手段２０３がその組に含まれない単一成分を抽出する。Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組は、Ｒ，Ｇ，Ｂ成分を符号化する任意の符号化方法で符号化可能であり、抽出された単一成分も、単一成分を符号化する任意の符号化方法で符号化可能である。このように、本実施形態によれば、様々な既存の画像符号化方式で符号化可能なＲＧＢ画素データや単一成分画素データを生成することができ、そのＲＧＢ画素データや単一成分画素データの符号化方式として、任意の画像符号化方式を利用することができる。従って、安価な既存のＬＳＩを使いまわすことができ、装置のコストを低く抑えることが可能となる。すなわち、ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４として安価な既存のＬＳＩを使うことができ、低コスト化を実現できる。また、速度や圧縮率の要求に応じて、様々な特性を持つ符号化方式を入れ替えて適用することが容易になる。例えば、ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４をＬＳＩ等で実現している場合、符号化の速度や圧縮率の要求に応じて、符号化方法の異なるＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４に入れ替えることが容易になる。
【００４５】
また、一定の大きさの画素ブロック毎にＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、その組に含まれない成分とに分けるので、それらをそれぞれ符号化することにより、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組の符号化データを復号すればＲＧＢ画像を得ることができる。すなわち、その組に含まない成分のデータについては復号しなくてもＲＧＢ画像を得ることができる。
【００４６】
また、ＲＧＢ成分符号化手段２０２は、ステップＳ１０２において、ＲＧＢ成分メモリ３０１から読み出したＲＧＢ画素データに対して、ＪＰＥＧ２０００などのプログレッシブ復号に対応した符号化（すなわちプログレッシブ符号化）を行ってもよい。ＲＧＢ画素データに対してプログレッシブ符号化を行えば、符号化方式そのものに手を加えることなく、カラー状態のままでプログレッシブ復号することができる。本実施形態で出力される符号データでは、前半にＲＧＢ画像（Ｒ，Ｇ１，Ｂ成分を含む画像）が格納され、後半に単一成分画像（Ｇ２成分を含む画像）が格納されている。このうち、前半のＲＧＢ画像をプログレッシブ復号すれば、復号の中間段階において、低品質なカラー画像を得ることができる。本発明において、ＲＧＢ成分形成手段２０１が抽出するＲ，Ｇ，Ｂ成分は、厳密には同一空間座標上にはないが、互いに隣接しているため、擬似的に同一空間座標上にあるものとして扱っても大きな齟齬が生じない。すなわち、プログレッシブ復号時に中間解像度画像などのような形で表示しても違和感が生じにくい。
【００４７】
また、既に例示したように、ＲＧＢ成分符号化手段２０２は、符号化の際に、Ｒ，Ｇ，Ｂ成分をＹ，Ｃｂ，Ｃｒ成分に変換する変換式により、Ｒ，Ｇ１，Ｂ成分からＹ，Ｃｂ，Ｃｒ成分への色変換を行ってもよい。その場合、単一成分用の符号化方式を複数回適用した場合に比べて、圧縮率が向上する。本発明でＲＧＢ成分形成手段２０１が抽出するＲ，Ｇ，Ｂ成分は、厳密には同一空間座標上にはないが、互いに隣接しているため、Ｒ，Ｇ，Ｂ成分間の相関に大きな低下はなく、ＹＣｂＣｒ変換などを適用することで圧縮率が向上する。
【００４８】
また、ＲＧＢ成分符号化手段２０２は、一定の大きさの画素ブロック毎に、ＲＧＢ成分形成手段２０１に、ステップＳ１０１で画素を抽出すべき画素ブロックの座標を指定し、ステップＳ１０１においてＲＧＢ成分形成手段２０１は、指定された座標の画素ブロックからＲ，Ｇ１，Ｂ成分を抽出し、それらの成分の座標をＲＧＢ画像における座標に変換してＲＧＢ成分メモリ３０１に記憶させてもよい。同様に、単一成分符号化手段２０４は、一定の大きさの画素ブロック毎に、単一成分形成手段２０３に、ステップＳ１０３で画素を抽出すべき画素ブロックの座標を指定し、ステップＳ１０３において単一成分形成手段２０３は、指定された座標の画素ブロックからＧ２成分を抽出し、その座標を単一成分画像における座標に変換して単一成分メモリ３０２に記憶させてもよい。。ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４は、入力画像データ１０がラスタースキャン順に入力されるか、８画素ブロックなどのように所定のブロック毎に入力されるかなどの入力態様に応じて、画素を抽出すべき画素ブロックの座標を指定すればよい。このように、座標が指定されることで、ＲＧＢ成分形成手段２０１および単一成分符号化手段２０４は、画像の入力態様に依らずに、各成分を抽出できる。
【００４９】
また、上記の説明では入力画像データ１０がベイヤー配列である場合を例に説明したが、既に説明したように、元画像のカラーフィルタの形式は、一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、そのＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な画像であればよい。例えば、２×２の画素ブロック毎に、２つのＲ成分（Ｒ１，Ｒ２とする）と、Ｇ，Ｂの各成分を含む画像データであってもよい。この場合、ＲＧＢ成分形成手段２０１は、Ｒ１成分，Ｇ成分，Ｂ成分を抽出して、ＲＧＢ画素データとしてＲＧＢ成分メモリ３０１に記憶させればよい。そして、単一成分形成手段２０３は、Ｒ２成分を抽出して単一成分メモリ３０２に記憶させればよい。
【００５０】
また、例えば、４×２の画素ブロック毎に、Ｒ１，Ｇ１，Ｂ１，Ｒ２，Ｇ２，Ｂ２，Ｇ３，Ｒ３の各成分（３つのＲ成分、３つのＧ成分、２つのＢ成分）が格納されていてもよい。ＲＧＢ成分形成手段２０１は、Ｒ１，Ｇ１，Ｂ１，Ｒ２，Ｇ２，Ｂ２を格子状に配置したＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させればよい。単一成分形成手段２０３は、Ｇ３成分、Ｒ３成分をそれぞれ抽出し、Ｇ３成分からなる単一成分画素データおよびＲ３成分からなる単一成分画素データをそれぞれ単一成分メモリ３０２に記憶させる。単一成分符号化手段２０４は、Ｇ３成分およびＲ３成分それぞれの単一成分画素データを符号化すればよい。
【００５１】
また、図１に示す例では、符号化用データ生成装置が符号化も行う場合を例にして説明したが、ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４を備えていない構成であってもよい。そのような構成であっても、ＲＧＢ成分形成手段２０１がＲＧＢ画素データを形成し、単一成分形成手段２０３が単一成分画素データを形成するので、様々な画像符号化方式で符号化可能なＲＧＢ画素データや単一成分画素データを生成することができる。また、ＲＧＢ画素データを符号化すれば、そのデータを復号するだけでＲＧＢ画像をえることができる。
【００５２】
実施形態２．
図３は、本発明の第２の実施形態の符号化用データ生成装置を示すブロック図である。第１の実施形態の符号化用データ生成装置と同様の構成要素については、図１と同一の符号を付す。第２の実施形態の符号化用データ生成装置は、例えば、プログラム制御により動作するデータ処理装置２０と、データ記憶装置３０と、符号出力装置４０とを備える。第１の実施形態と同様に、符号化用データ生成装置がデータの符号化までも行う場合を例に説明し、符号化用データ生成装置を符号化装置と記す。また、入力画像データ１０がベイヤー配列のデータである場合を例にして説明するが、入力画像データ１０は、一定の大きさの画素ブロック毎に、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、そのＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な画像であればよい。
【００５３】
データ処理装置２０は、ＲＧＢ成分形成手段２０１と、ＲＧＢ成分符号化手段２０２と、単一成分形成手段２０３と、単一成分符号化手段２０４０とを含む。単一成分符号化手段２０４０は、参照画素形成手段２０４１と、単一成分予測手段２０４２と、予測誤差符号化手段２０４３とを含む。ＲＧＢ成分形成手段２０１、ＲＧＢ成分符号化手段２０２、単一成分形成手段２０３、および単一成分符号化手段２０４０（参照画素形成手段２０４１、単一成分予測手段２０４２、予測誤差符号化手段２０４３）は、プログラム（符号化用データ生成プログラム）に従って動作するＣＰＵによって実現され、ＣＰＵがプログラムに従い、それらの各手段として動作してもよい。
【００５４】
データ記憶装置３０は、ＲＧＢ成分メモリ３０１と、単一成分メモリ３０２と、参照画素メモリ３０３と、予測誤差メモリ３０４とを含む。
【００５５】
ＲＧＢ成分形成手段２０１は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令をＲＧＢ成分符号化手段２０２から受ける。すると、ＲＧＢ成分形成手段２０１は、指定された座標の画素ブロックからＲ，Ｇ１，Ｂ成分を１つずつ含む画素の組を抽出し、その組に含まれるＲ成分、Ｇ１成分およびＢ成分を対応付けて、そのＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させる。このとき、Ｒ，Ｇ１，Ｂ成分の座標をＲＧＢ画像における座標に変換してＲＧＢ成分メモリ３０１に記憶させる。ＲＧＢ成分メモリ３０１は、第１の実施形態と同様に、ＲＧＢ画素データを記憶する。
【００５６】
ＲＧＢ成分符号化手段２０２は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令をＲＧＢ成分形成手段２０１に対して発行する。また、ＲＧＢ成分符号化手段２０２は、抽出されたＲＧＢ画素データをＲＧＢ成分メモリ３０１から読み出しながら、そのＲＧＢ画素データを符号化し、符号化後のデータを符号出力装置４０に出力する。第１の実施形態と同様に、ＲＧＢ成分符号化手段２０２がＲＧＢ画素データを符号化する方法は限定されない。
【００５７】
単一成分形成手段２０３は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令を単一成分符号化手段２０４０から受ける。すると、単一成分形成手段２０３は、指定された座標の画素ブロックから、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれない成分（本例ではＧ２成分）を抽出し、その成分を一つの画素として、単一成分メモリ３０２に記憶させる。このとき、Ｇ２成分の画像を単一成分画像における座標に変換して単一成分メモリ３０２に記憶させる。単一成分メモリ３０２は、第１の実施形態と同様に、単一成分画素データを記憶する。
【００５８】
単一成分符号化手段２０４０は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令を単一成分形成手段２０３に対して発行する。さらに、抽出された単一成分画素データを単一成分メモリ３０２から読み出しながら、入力画像データ１０におけるその単一成分画素データの周囲の成分から単一成分画素データの予測値を計算し、その予測値と実際の値との差分を求める。さらに、単一成分符号化手段２０４０は、その差分を符号化し、符号出力装置４０へ出力する。
【００５９】
参照画素形成手段２０４１は、入力画像データ１０における一定の大きさの画素ブロック毎（本例では２×２の画素ブロック毎）に、画素を抽出すべき画素ブロックを指定した画素抽出命令を単一成分形成手段２０３に対して発行する。
【００６０】
また、参照画素形成手段２０４１は、単一成分形成手段２０３によって抽出される単一成分（符号化の対象となる単一成分）と同じ色を表す成分であって、その単一成分を囲むようにして配置されるその単一成分の直近の４つの成分（空間的に直近の４つの成分）を入力画像データ１０から抽出し、その４つの成分を参照画素メモリ３０３に記憶させる。参照画素形成手段２０４１は、そのような４つの成分を、既にＲＧＢ成分符号化手段２０２によって符号化が済んでいる成分の中から抽出する。本例では、参照画素形成手段２０４１は、単一成分形成手段２０３によって抽出されるＧ２成分と同じ色を表すＧ１成分であって、そのＧ２成分を囲むように配置されているＧ２成分の直近の４つのＧ１成分を抽出し、参照画素メモリ３０３に記憶させる。参照画素形成手段２０４１は、個々のＧ２成分毎に、４つのＧ１成分を、参照画素メモリ３０３に記憶させる。
【００６１】
参照画素メモリ３０３は、単一成分形成手段２０３によって抽出される単一成分と同じ色を表す成分であって、その単一成分を囲む４つの成分を記憶する。本例では、それぞれのＧ２成分を囲む４つのＧ１成分を記憶する。
【００６２】
単一成分予測手段２０４２は、単一成分形成手段２０３に抽出されるそれぞれの単一成分毎に、参照画素メモリ３０３に記憶された４つの成分を読み込み、その成分の値の平均値を求め、その平均値を、単一成分形成手段２０３に抽出される単一成分の予測値とする。さらに、単一成分予測手段２０４２は、実際の単一成分（単一成分画素データとして単一成分メモリ３０２に記憶されているデータ）を読み出し、平均値との差分を求め、その差分を予測誤差メモリ３０４に記憶させる。すなわち、単一成分予測手段２０４２は、参照画素メモリ３０３に記憶された４つのＧ１成分の平均値を求め、その４つのＧ１成分に囲まれるＧ２成分の予測値とする。また、単一成分メモリ３０２から実際のＧ２成分を読み出し、予測値との差分を求め、予測誤差メモリ３０４に記憶させる。
【００６３】
予測誤差符号化手段２０４３は、単一成分として抽出される成分（ここではＧ２成分）の予測値と実際の値との差分を、予測誤差メモリ３０４から予測誤差を読み出し、可変長符号化して符号出力装置４０へ出力する。
【００６４】
符号出力装置４０は、ＲＧＢ成分符号化手段２０２と予測誤差符号化手段２０４３が出力するデータを受け取る装置であり、例えば、ＲＧＢ成分符号化手段２０２が出力するデータ、および予測誤差符号化手段２０４３が出力するデータを記憶する記憶装置により構成される。
【００６５】
次に、動作について説明する。図４は、第２の実施形態の処理経過の例を示すフローチャートである。以下に示す例では、最初にＲＧＢ符号化処理（ステップＳ２０１〜Ｓ２０４）を行い、次に単一成分符号化処理（ステップＳ２０５〜Ｓ２１０）を行う。
【００６６】
ＲＧＢ符号化処理では、まず、ＲＧＢ成分符号化手段２０２が、ＲＧＢ成分形成手段２０１に対して、画素を抽出する画素ブロックの座標を指定し、画素抽出命令を発行する（ステップＳ２０１）。ＲＧＢ成分形成手段２０１は、この画素抽出命令を受け付けると、入力画像データ１０における指定座標の画素ブロックからＲ、Ｇ１，Ｂの成分を抽出し、そのＲ、Ｇ１，Ｂの各成分を対応付けたＲＧＢ画素データをＲＧＢ成分メモリ３０１に記憶させる（ステップＳ２０２）。このとき、Ｒ，Ｇ１，Ｂ成分の座標をＲＧＢ画像における座標に変換してＲＧＢ成分メモリ３０１に記憶させる。
【００６７】
次に、ＲＧＢ成分符号化手段２０２は、ステップ２０２でＲＧＢ成分メモリ３０１に記憶されたＲＧＢ画素データを読み出しながら、読み出したＲＧＢ画素データを符号化し、符号化したデータを符号化出力装置４０に出力する（ステップＳ２０３）。例えば、符号化したデータを符号化出力装置４０に記憶させる。ステップＳ２０３の動作は、第１の実施形態におけるステップＳ１０２の動作と同様であり、Ｒ，Ｇ，Ｂ成分を符号化する符号化方法であれば、任意の方法でＲＧＢ画素データを符号化してよい。例えば、第１の実施形態で説明したように、ＩＴＵ−Ｔ．８１で定められたＪＰＥＧの演算を行ってもよい。すなわち、ＲＧＢ画素データに含まれるＲ，Ｇ１，Ｂ成分に対して色変換およびＤＣＴを施し、その結果得られる係数を連長ハフマン符号化してもよい。また、ＲＦＣ２０８３で定められたＰＮＧの演算を行ってもよい。すなわち、隣接するＲＧＢ画素データにおけるＲ，Ｇ１，Ｂ成分の値から注目するＲＧＢ画素データにおけるＲ，Ｇ１，Ｂ成分の値を予測し、その予測値と注目するＲＧＢ画素データのＲ，Ｇ１，Ｂ成分の値との残差をＬＺ７７符号化してもよい。
【００６８】
ステップＳ２０３の後、ＲＧＢ成分符号化手段２０２は、全てのＲＧＢ画素の符号化が完了したか否かを判定する（ステップＳ２０４）。例えば、入力画像データ１０の全ての画素ブロックについて画素抽出命令を発行済であるならば、全てのＲＧＢ画素の符号化が完了したと判定し、画素抽出命令を発行していない画素ブロックが残っていれば、符号化が未完のＲＧＢ画素があると判定すればよい。全てのＲＧＢ画素の符号化が完了しているならば（ステップＳ２０４のＹ）、ステップＳ２０５に移行し、完了していなければ（ステップＳ２０４のＮ）、ステップＳ２０１以降の処理を繰り返す。
【００６９】
単一成分符号化処理では、まず、単一成分符号化手段２０４の参照画素形成手段２０４１が、単一成分形成手段２０３に対して、画素を抽出する画素ブロックの座標を指定し、画素抽出命令を発行する（ステップＳ２０５）。単一成分形成手段２０３は、この画素抽出命令を受け付けると、入力画像データ１０における指定座標の画素ブロックからＧ２成分を抽出し、その単一成分を単一成分画素データとして単一成分メモリ３０２に記憶させる（ステップＳ２０６）。このとき、Ｇ２成分の画像を単一成分画像における座標に変換して単一成分メモリ３０１に記憶させる。
【００７０】
次に、参照画素形成手段２０４１は、入力画像データ１０から、符号化の対象となる単一成分（Ｇ２成分）を囲む４つのＧ１成分を抽出し、その４つのＧ１成分を参照画素メモリ３０３に記憶させる（ステップＳ２０７）。
【００７１】
次に、単一成分予測手段２０４２は、ステップＳ２０７で抽出された４つのＧ１成分を参照画素メモリ３０３から読み出し、その４つのＧ１成分の平均値を算出し、Ｇ２成分の予測値とする。さらに、単一成分予測手段２０４２は、ステップＳ２０６で抽出され単一成分メモリ３０２に記憶された実際のＧ２の画素値（Ｇ２成分）を単一成分メモリ３０２から読み出し、予測値との差分（予測誤差）を求めて予測誤差メモリ３０４に記憶させる（ステップＳ２０８）。
【００７２】
次に、予測誤差符号化手段２０４３は、予測誤差メモリ３０４から予測誤差（Ｇ２成分の実際の値と予測値との差分）を読み出し、可変長符号化して符号出力装置４０へ出力する（ステップＳ２０９）。例えば、符号化したデータを符号化出力装置４０に記憶させる。
【００７３】
ステップＳ２０９において、予測誤差符号化手段２０４３は、予測誤差に対して、例えば、ＰＮＧの予測誤差符号化に用いられているＬＺ７７符号化を行えばよい。また、予測誤差に対して、ＪＰＥＧ−ＬＳの予測誤差符号化に用いられている適応ゴロムライス符号化を行ってもよい。
【００７４】
ステップＳ２０９の後、単一成分符号化手段２０４０の参照画素形成手段２０４１は、全ての単一成分画素に関する予測誤差の符号化が完了したか否かを判定する（ステップＳ２１０）。例えば、入力画像データ１０の全ての画素ブロックについて画素抽出命令を発行済であるならば、全ての単一成分画素について予測誤差の符号化が完了したと判定し、画素抽出命令を発行していない画素ブロックが残っていれば、予測誤差の符号化が未完の単一成分画素があると判定すればよい。全ての単一成分画素に関する予測誤差が完了している場合（ステップＳ２１０のＹ）、処理を終了し、完了していない場合、ステップＳ２０５以降の処理を繰り返す。
【００７５】
次に、本実施形態の効果について説明する。
本実施形態では、ＲＧＢ成分符号化手段２０２および単一成分符号化手段２０４０が要求した画素を、逐次、ＲＧＢ成分形成手段２０１および単一成分形成手段２０３が座標変換して取得する。このため、ＲＧＢ成分メモリ３０１および単一成分メモリ３０２として画像１枚分の容量を確保する必要がなく、所要メモリ容量が削減できる。また、レジスタなど高速なメモリを割り当てることで動作の高速化が可能である。
【００７６】
また、Ｒ，Ｇ，Ｂ成分の組に含まれないの単一成分（Ｇ２成分）に関する符号化について、圧縮率を向上させることができる。本実施形態では、単一成分予測手段２０４２がＲＧＢ成分符号化手段２０２で符号化済の周辺の４画素（Ｇ１成分）から単一成分画素（Ｇ２成分）を予測する。一般に、画素値を予測する際には、空間的により近い画素を用いて予測した方が予測精度が高くなる。このため、あるＧ２成分の値を予測する際には、Ｇ２よりも空間的に近い、隣接するＧ１成分の情報を用いた方が、予測精度が高くなる。特に、写真や自然画では、Ｇ１成分の中心に位置するＧ２成分は、周囲のＧ１成分の平均値に近い値を取ることが多いため、本実施形態で述べた平均値での予測が特に有効である。この結果、本実施形態では、単一成分符号化手段２０４２は、単一成分（Ｇ２成分）の予測誤差を小さく抑えることができ、簡易な演算で圧縮率を向上させることができる。
【００７７】
また、本実施形態においても、ＲＧＢ画素データの符号化方式として任意の画像符号化方式を利用することができるという効果が得られる。また、一定の大きさの画素ブロック毎にＲ，Ｇ，Ｂ成分を同数ずつ含む画素の組と、その組に含まれない成分とに分けるので、Ｒ，Ｇ，Ｂ成分を含む画素の組を符号化することにより、その符号化データを復号すればＲＧＢ画像を得ることができる。
【００７８】
また、第１の実施形態と同様に、ＲＧＢ成分符号化手段２０２は、プログレッシブ復号に対応したプログレッシブ符号化を行ってもよい。また、符号化の際に、Ｒ，Ｇ，Ｂ成分をＹ，Ｃｂ，Ｃｒ成分に変換する変換式により、Ｒ，Ｇ１，Ｂ成分からＹ，Ｃｂ，Ｃｒ成分への色変換を行ってもよい。
【００７９】
また、上記の説明では、参照画素形成手段２０４１が単一成分形成手段２０３に対して座標を指定する場合を例にして説明したが、単一成分符号化手段２０４０が備える他の手段が単一成分形成手段２０３に対して座標を指定してもよい。
【００８０】
実施形態３．
図５は、本発明の第３の実施形態の復号装置を示すブロック図である。第３の実施形態の復号装置は、第１の実施形態で示した符号化用データ生成装置によって生成されたＲＧＢ画素データおよび単一成分画素データを復号化したデータを復号する。例えば、図１に示す符号化用データ生成装置が出力した符号化データを復号する。
【００８１】
第３の実施形態の復号装置は、例えば、プログラム制御により動作するデータ処理装置７０と、データ記憶装置８０と、符号入力装置９０とを備える。データ処理装置７０は、ＲＧＢ成分出力手段７０１と、ＲＧＢ成分復号手段７０２と、単一成分出力手段７０３と、単一成分復号手段７０４とを含む。ＲＧＢ成分出力手段７０１、ＲＧＢ成分復号手段７０２、単一成分出力手段７０３、および単一成分復号手段７０４は、復号プログラムに従って動作するＣＰＵによって実現され、ＣＰＵが復号プログラムに従い、それらの各手段として動作してもよい。データ記憶装置８０は、ＲＧＢ成分メモリ８０１と、単一成分メモリ８０２とを含む。
【００８２】
符号入力装置９０には、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合と、そのＲ、Ｇ、Ｂ成分の組（Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組）に属さない単一のＲ成分、Ｇ成分、またはＢ成分を符号化したデータの集合が入力される。ここでは、Ｒ，Ｇ，Ｂの各成分の組に含まれる個々の成分の数が１つである場合を例にして説明するが、Ｒ，Ｇ，Ｂ成分が１つずつ含まれる場合に限定されるわけではない。また、ここでは、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組は、ベイヤー配列におけるＲ成分、Ｇ１成分、Ｂ成分の組であるとする。また、その組に属さない単一成分は、ベイヤー配列におけるＧ２成分である場合を例にして説明する。符号入力装置９０は、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データをＲＧＢ成分復号手段７０２に送り、Ｇ２成分の符号化データを単一成分復号手段７０４に送る。
【００８３】
ＲＧＢ成分メモリ８０１は、Ｒ，Ｇ１，Ｂの各成分を同数ずつ含む画素の組を記憶する。また、単一成分メモリ８０２は、単一成分（ここではＧ２成分）を記憶する。
【００８４】
ＲＧＢ成分復号手段７０２は、符号入力装置９０から入力されるＲ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データを復号し、復号により得たＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させる。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組を符号化したときの符号化方法に対応する方法で、復号を行えばよい。
【００８５】
ＲＧＢ成分出力手段７０１は、一定の大きさの画素ブロック毎に（例えば、Ｒ、Ｇ１，Ｂ成分を一つずつ含む画素ブロック毎に）、復号後のＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１から読み出して出力する。この結果、ＲＧＢ形式の画像データが出力される。
【００８６】
単一成分復号手段７０４は、符号入力装置９０から入力される単一成分の符号化データ（Ｇ２成分の符号化データ）を復号し、復号により得たＧ２成分を単一成分メモリ８０２に記憶させる。単一成分復号手段７０４は、単一成分を符号化したときの符号化方法に対応する方法でＧ２成分を復号すればよい。
【００８７】
単一成分出力手段７０３は、一定の大きさの画素ブロック毎に（例えば、Ｇ２成分を１つ含む画素ブロック毎に）復号後の単一成分を単一成分メモリ８０２から読み出して出力する。この結果、単一成分（ここではＧ２成分）からなる画像データが出力される。
【００８８】
次に、動作について説明する。図６は、第３の実施形態の処理経過の例を示すフローチャートである。符号入力装置９０は、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データおよびＧ２成分の符号化データが入力されると、そのＲ，Ｇ１，Ｂ成分の組の符号化データをＲＧＢ成分復号手段７０２に送り、Ｇ２成分の符号化データを単一成分復号手段７０４に送る。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組の符号化データが入力されると、その符号化データを復号し、復号によって得たＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させる（ステップＳ３０１）。
【００８９】
ステップＳ３０１において、ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組を符号化したときの符号化方法に対応する方法で復号を行えばよい。例えば、ＩＴＵ−Ｔ．８１で定められたＪＰＥＧの演算で符号化が行われているならば、その符号化に対応する方法で復号を行えばよい。この場合、ＲＧＢ成分復号手段７０２は、連長ハフマン符号から係数を復号し、ＤＣＴおよび色変換（例えば、Ｙ，Ｃｂ，ＣｒからＲ，Ｇ，Ｂへの変換）を行えばよい。なお、Ｙ，Ｃｂ，ＣｒからＲ，Ｇ，Ｂへの変換は、Ｙ，Ｃｂ，Ｃｒ成分をＲ，Ｇ，Ｂ成分に変換する変換式の計算を行えばよい。
【００９０】
また、ＲＦＣ２０８３で定められたＰＮＧの演算で符号化が行われているならば、隣接画素のＲ，Ｇ１，Ｂ成分の値から注目画素のＲ，Ｇ１，Ｂ成分の値を予測し、その値と注目画素のＲ，Ｇ１，Ｂ成分との差分をＬＺ７７符号化したデータが復号対象として入力される。この場合、ＲＧＢ成分復号手段７０２は、ＬＺ７７符号化されたデータを復号し、隣接画素のＲ，Ｇ１，Ｂ成分の値から注目画素のＲ，Ｇ１，Ｂ成分の値を予測し、その予測値に復号した差分データを加算することにより、Ｒ、Ｇ１，Ｂ成分をそれぞれ復号すればよい。
【００９１】
ＲＧＢ成分出力手段７０１は、ステップＳ３０１でＲＧＢ成分メモリ８０１に記憶されたＲ，Ｇ１，Ｂ成分の組を読み出し、出力する（ステップＳ３０２）。すなわち、Ｒ，Ｇ，Ｂの各成分を含むＲＧＢ画像を出力する。出力態様は、特に限定されない。例えば、ディスプレイ装置に表示出力させてもよく、あるいは、他の装置に出力してもよい。
【００９２】
ＲＧＢ成分出力手段７０１は、全てのＲ，Ｇ１，Ｂ成分の組が復号されＲＧＢ成分メモリ８０１に記憶された後に、全てのＲ，Ｇ１，Ｂ成分の組を読み出して出力してもよい。
【００９３】
また、ＲＧＢ成分復号手段７０２は、復号したＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させるときに、その各成分の座標情報と対応付けて記憶させ、その座標情報をＲＧＢ成分出力手段７０１に通知することにより、座標情報が示すＲ，Ｇ１，Ｂ成分の組の出力を命令してもよい。そして、ＲＧＢ成分出力手段７０１は、この命令に従い、通知された座標情報をキーとして、ＲＧＢ成分メモリ８０１から読み出すべきＲ，Ｇ１，Ｂ成分を特定し、そのＲ，Ｇ１，Ｂ成分を読み出して出力してもよい。
【００９４】
このようにＲＧＢ成分出力手段７０１は、Ｒ，Ｇ１，Ｂ成分の組をまとめて出力してもよく、あるいは、逐次出力してもよい。
【００９５】
Ｒ、Ｇ１，Ｂ成分の出力後、単一成分復号手段７０４は、入力されたＧ２成分の符号化データを復号し、復号したＧ２成分を単一成分メモリに記憶させる（ステップＳ３０３）。
【００９６】
ステップＳ３０３において、単一成分復号手段７０４は、単一成分（Ｇ２成分）を符号化したときの符号化方法に対応する方法で符号化を行えばよい。ＩＴＵ−Ｔ．８１で定められたＪＰＥＧの演算で符号化が行われているならば、その符号化に対応する方法で復号を行えばよい。この場合、単一成分復号手段７０４は、連長ハフマン符号から係数を復号し、ＤＣＴ演算（具体的にはＤＣＴの逆変換）を行えばよい。
【００９７】
また、ＲＦＣ２０８３で定められたＰＮＧの演算で符号化が行われているならば、単一成分復号手段７０４は、隣接画素のＧ２成分の値から注目画素のＧ２成分を予測し、その値とＧ２成分との差分をＬＺ７７符号化したデータが復号対象として入力される。この場合、単一成分復号手段７０４は、ＬＺ７７符号化されたデータを復号し、隣接画素のＧ２成分の値から注目画素のＧ２成分の値を予測し、その予測値に復号した差分データを加算することにより、Ｇ２成分を復号すればよい。
【００９８】
単一成分出力手段７０３は、ステップＳ３０３で単一成分メモリ８０２に記憶されたＧ２成分を読み出し、出力する（ステップＳ３０４）。すなわち、Ｇ２成分の単一画像を出力する。出力態様は、ステップＳ３０２と同様、特に限定されない。
【００９９】
単一成分出力手段７０３は、全てのＧ２成分が復号されて単一成分メモリ８０２に記憶された後に、全てのＧ２成分を出力してもよい。
【０１００】
また、単一成分復号手段７０４は、復号したＧ２成分を単一成分メモリ８０２に記憶させるときに、そのＧ２成分の座標情報と対応付けて記憶させ、その座標情報を単一成分出力手段７０３に通知することにより、座標情報が示すＧ２成分の出力を命令してもよい。そして、単一成分出力手段７０３は、この命令に従い、通知された座標情報をキーとして、単一成分メモリ８０２から読み出すべきＧ２成分を特定し、そのＧ２成分を読み出して出力してもよい。
【０１０１】
このように単一成分出力手段７０３は、Ｇ２成分をまとめて出力しても、あるいは、逐次出力してもよい。
【０１０２】
ここでは、Ｒ、Ｇ１，Ｂ成分の出力が完了してから、Ｇ２成分の復号および出力画像１００の出力を行う場合を示した。このように、Ｒ，Ｇ１，Ｂ成分の組と、Ｇ２成分のみの単一成分とを別々に出力すれば、ＲＧＢデータを処理可能な多様な用途や、単一成分を処理可能な多様な用途に、復号装置の出力を利用することができる。また、Ｒ，Ｇ１，Ｂ成分を含む画像と、単一成分の画像とをそれぞれ別々に利用することができる。
【０１０３】
また、ＲＧＢ成分復号手段７０２および単一成分復号手段７０４は、Ｒ，Ｇ１，Ｂ成分の組の復号と、Ｇ２成分の復号を同時に行ってもよい。そして、データ処理装置７０は、同時に復号されたＲ，Ｇ１，Ｂ成分とＧ２成分とをマージするマージ手段（図示せず。）を備えていてもよい。マージ手段が、Ｒ，Ｇ１，Ｂ成分とＧ２成分とをマージして、２×２の画素ブロックにＲ、Ｇ１，Ｇ２，Ｂ成分を含むベイヤー配列の画像を生成して、出力してもよい。
【０１０４】
本実施形態の復号装置によれば、第１の実施形態で示した符号化用データ生成装置によって生成されたＲＧＢ画素データおよび単一成分画素データを復号化したデータを復号することができる。
【０１０５】
実施形態４．
図７は、本発明の第４の実施形態の復号装置を示すブロック図である。第３の実施形態と同様の構成要素については、図５と同一の符号を付す。第４の実施形態の復号装置は、第２の実施形態で示した符号化用データ生成装置によって生成されたＲＧＢ画素データと、単一成分に関するデータ（予測値と実際の値との差分）とを復号する。例えば、図３に示す符号化用データ生成装置が出力した符号化データを復号する。
【０１０６】
第４の実施形態の復号装置は、例えば、プログラム制御により動作するデータ処理装置７０と、データ記憶装置８０と、符号入力装置９０とを備える。データ処理装置７０は、ＲＧＢ成分出力手段７０１と、ＲＧＢ成分復号手段７０２と、単一成分出力手段７０３と、単一成分復号手段７０４０とを含む。単一成分復号手段７０４０は、参照画素形成手段７０４１と、単一成分逆予測手段７０４２と、予測誤差復号手段７０４３とを含む。ＲＧＢ成分出力手段７０１、ＲＧＢ成分復号手段７０２、単一成分出力手段７０３、および単一成分復号手段７０４０（参照画素形成手段７０４１、単一成分逆予測手段７０４２、予測誤差復号手段７０４３）は、復号プログラムに従って動作するＣＰＵによって実現され、ＣＰＵが復号プログラムに従い、それらの各手段として動作してもよい。データ記憶装置８０は、ＲＧＢ成分メモリ８０１と、単一成分メモリ８０２と、参照画素メモリ８０３と、予測誤差メモリ８０４とを含む。
【０１０７】
符号入力手段９０には、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合および、そのＲ、Ｇ、Ｂ成分の組に属さない単一成分の予測値と実際の値との差分（予測誤差）を符号化したデータの集合が入力される。ここでは、Ｒ，Ｇ，Ｂの各成分の組に含まれる個々の成分の数が１つである場合を例にして説明するが、Ｒ，Ｇ，Ｂ成分が１つずつ含まれる場合に限定されるわけではない。また、ここでは、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組は、ベイヤー配列におけるＲ成分、Ｇ１成分、Ｂ成分の組であるとする。また、その組に属さない単一成分が、ベイヤー配列におけるＧ２成分である場合を例にして説明する。符号入力装置９０は、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データをＲＧＢ成分復号手段７０２に送り、Ｇ２成分の予測誤差の符号化データを予測誤差復号手段７０４３に送る。
【０１０８】
第３の実施形態と同様に、ＲＧＢ成分メモリ８０１は、Ｒ，Ｇ１，Ｂの各成分を同数ずつ含む画素の組を記憶し、単一成分メモリ８０２は、単一成分（ここではＧ２成分）を記憶する。また、参照画素メモリ８０３は、Ｒ，Ｇ，Ｂ成分の組に属さない単一成分（Ｇ２成分）と同じ色を表す成分であって、その単一成分とＲ，Ｇ，Ｂ成分の組とを組み合わせて１つの画像データにしたときに、その単一成分を囲むようにして配置されるその単一成分の直近の４つの成分（空間的に直近の４つの成分）を記憶する。本例では、ベイヤー配列の画像データにおいてＧ２成分を囲む４つのＧ１成分を記憶する。予測誤差メモリ８０４は、復号の結果得られた予測誤差を記憶する。
【０１０９】
ＲＧＢ成分復号手段７０２は、符号入力装置９０から入力されるＲ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データを復号し、復号により得たＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させる。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組を符号化したときの符号化方法に対応する方法で、復号を行えばよい。また、ＲＧＢ成分復号手段７０２は、出力すべきＲ，Ｇ１，Ｂ成分の組を示す座標情報を指定した画素出力命令をＲＧＢ成分出力手段７０１に発行する。
【０１１０】
ＲＧＢ成分出力手段７０１は、ＲＧＢ成分復号手段７０２からの画素出力命令に応じて、画素出力命令で指定された座標情報が示す復号後のＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１から読み出して出力する。この結果、ＲＧＢ形式の画像データが出力される。
【０１１１】
単一成分復号手段７０４０は、予測誤差の符号化データを復号し、予測誤差（単一成分の予測値と実際の値との差分）を得る。また、ＲＧＢ成分出力手段７０１が出力したＲ，Ｇ，Ｂ成分の中から、単一成分と同じ色を表す成分であって、その単一成分とＲ，Ｇ，Ｂ成分の組とを組み合わせて１つの画像データにしたときに、その単一成分を囲む４つの成分を、個々の単一成分毎に抽出する。そして、その４つの成分（ここではＧ１成分）から、Ｇ２成分の予測値を求め、その予測値に予測誤差を加算することで、Ｇ２成分を求め、そのＧ２成分を単一成分メモリ８０２に記憶させる。以下、単一成分復号手段７０４０が備える各手段について説明する。
【０１１２】
予測誤差復号手段７０４３は、符号入力装置９０から入力される予測誤差の符号化データを復号し、復号によって得た予測誤差を予測誤差メモリ８０４に記憶させる。
【０１１３】
参照画素形成手段７０４１は、ＲＧＢ成分出力手段７０１が出力したＲ，Ｇ１，Ｂ成分の中から、単一成分とＲ，Ｇ，Ｂ成分の組とを組み合わせてベイヤー配列としたときにＧ２成分を囲むことになる４つのＧ１成分を、個々のＧ２成分毎（予測誤差毎）に抽出する。例えば、ＲＧＢ成分出力手段７０１がＲ，Ｇ１，Ｂ成分を記憶装置に記憶させ、参照画素形成手段７０４１は、Ｇ２成分を囲むことになる４つのＧ１成分をその記憶装置から読み込む。参照画素形成手段７０４１は、各Ｇ２成分毎に抽出する４つのＧ１成分を参照画素メモリ８０３に記憶させる。
【０１１４】
単一成分逆予測手段７０４２は、参照画素メモリ８０３に記憶された４つのＧ１成分の組を読み込み、その４つのＧ１成分が囲むことになるＧ２成分の値を予測する。例えば、４つのＧ１成分の平均値を計算し、その平均値をＧ２成分の予測値とすればよい。さらに、単一成分逆予測手段７０４２は、予測値を求めたＧ２成分に関する予測誤差を予測誤差メモリ８０４から読み込み、Ｇ２成分の予測値に加算する。この結果、Ｇ２成分が導出される。単一成分逆予測手段７０４２は、そのＧ２成分を、単一成分メモリ８０２に記憶させる。
【０１１５】
また、参照画素形成手段７０４１は、出力すべきＧ２成分を示す座標情報を指定した画素出力命令を単一成分出力手段７０３に発行する。
【０１１６】
単一成分出力手段７０３は、参照画素形成手段７０４１からの画素出力命令に応じて、画素出力命令で指定された座標情報が示すＧ２成分を単一成分メモリ８０２から読み出して出力する。この結果、Ｇ２成分の画像データが出力される。
【０１１７】
次に、動作について説明する。図８は、第４の実施形態の処理経過の例を示すフローチャートである。符号入力装置９０は、Ｒ，Ｇ１，Ｂ成分を１つずつ含む画素の組の符号化データおよびＧ２成分に関する予測誤差の符号化データが入力されると、そのＲ，Ｇ１，Ｂ成分の組の符号化データをＲＧＢ成分復号手段７０２に送り、その予測誤差の符号化データを予測誤差復号手段７０４３に送る。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組の符号化データが入力されると、その符号化データを復号し、復号によって得たＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させる（ステップＳ４０１）。ステップＳ４０１におけるＲＧＢ成分復号手段７０２の動作は、第３の実施形態におけるステップＳ３０１と同様である。ＲＧＢ成分復号手段７０２は、Ｒ，Ｇ１，Ｂ成分の組を符号化したときの符号化方法に対応する方法で復号を行えばよい。
【０１１８】
ここでは、ＲＧＢ成分復号手段７０２が、復号したＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１に記憶させるときに、その各成分の座標情報と対応付けて記憶させる場合を例にする。
【０１１９】
ステップＳ４０１の後、ＲＧＢ成分復号手段７０２は、出力すべきＲ，Ｇ１，Ｂ成分の組の座標情報を指定した画素出力命令を、ＲＧＢ成分出力手段７０１に発行する（ステップＳ４０２）。すると、ＲＧＢ成分出力手段７０１は、画素出力命令で指定された座標情報が示すＲ，Ｇ１，Ｂ成分の組をＲＧＢ成分メモリ８０１から読み込んで出力する（ステップＳ４０３）。このときの出力態様は特に限定されない。また、ＲＧＢ成分出力手段７０１は、そのＲ，Ｇ１，Ｂ成分の組を記憶装置に記憶させる。
【０１２０】
次に、ＲＧＢ成分復号手段７０２は、全てのＲ、Ｇ１，Ｂ成分の組について復号および出力が完了したか否かを判定する（ステップＳ４０４）。復号および出力が完了してないＲ、Ｇ１，Ｂ成分の組が残っていれば（ステップＳ４０４のＮ）、ステップＳ４０１以降の処理を繰り返す。全てのＲ、Ｇ１，Ｂ成分の組について復号および出力が完了していれば、ステップＳ４０５に移行する。
【０１２１】
ステップＳ４０５において、参照画素形成手段７０４１は、ＲＧＢ成分出力手段７０１がステップＳ４０３で記憶装置に記憶させたＲ，Ｇ１，Ｂ成分の中から、Ｇ２成分とＲ，Ｇ１，Ｂ成分の組とを組み合わせてベイヤー配列としたときにＧ２成分を囲むことになる４つのＧ１成分を抽出し、参照画素メモリ８０３に記憶させる。本例では、参照画素形成手段７０４１は、４つのＧ１成分を一組抽出して参照画素メモリ８０３に記憶させる。
【０１２２】
次に、予測誤差復号手段７０４３は、符号入力装置９０から入力される予測誤差の符号化データのうち、ステップＳ７０４１で抽出された４つのＧ１成分に囲まれるＧ２成分に関する予測誤差の符号化データを復号し、その予測誤差を予測誤差メモリ８０４に記憶させる（ステップＳ４０６）。
【０１２３】
次に、単一成分逆予測手段７０４２は、ステップＳ７０４１で抽出された４つのＧ１成分から、そのＧ１成分に囲まれるＧ２成分の値を予測する。例えば、４つのＧ１成分の平均値を求め、その平均値をＧ２成分の予測値とする。さらに、単一成分逆予測手段７０４２は、そのＧ２成分の予測値に、ステップＳ４０６で復号した予測誤差を加算することにより、Ｇ２成分を算出する（ステップＳ４０７）。単一成分逆予測手段７０４２は、そのＧ２成分を単一成分メモリ８０２に記憶させる。ここでは、単一成分逆予測手段７０４２が、算出したＧ２成分を単一成分メモリ８０２に記憶させるときに、その各成分の座標情報と対応付けて記憶させる場合を例にする。
【０１２４】
ステップＳ４０７の後、参照画素形成手段７０４１は、出力すべきＧ２成分の座標情報を指定した画素出力命令を、単一成分出力手段７０３に発行する（ステップＳ４０８）。すると、単一成分出力手段７０３は、画素出力命令で指定された座標情報が示すＧ２成分を単一成分メモリ８０２から読み込んで出力する（ステップＳ４０９）。このときの出力態様は特に限定されない。
【０１２５】
次に、参照画素形成手段７０４１は、全てのＧ２成分の出力が完了したか否かを判定する（ステップＳ４１０）。出力が完了していないＧ２成分が残っていれば（ステップＳ４１０のＮ）、ステップＳ４０５以降の処理を繰り返す。全てのＧ２成分について処理が完了していれば、処理を終了する。
【０１２６】
なお、Ｒ、Ｇ１，Ｂ成分の組、およびＧ２成分は、それぞれ逐次出力するのではなく、まとめて出力してもよい。
【０１２７】
また、上記の説明では、Ｒ、Ｇ１，Ｂ成分の出力が完了してから、Ｇ２成分の算出および出力を行う場合を示した。このように、Ｒ，Ｇ１，Ｂ成分の組と、Ｇ２成分のみの単一成分とを別々に出力すれば、ＲＧＢデータを処理可能な多様な用途や、単一成分を処理可能な多様な用途に、復号装置の出力を利用することができる。また、Ｒ，Ｇ１，Ｂ成分を含む画像と、単一成分の画像とをそれぞれ別々に利用することができる。
【０１２８】
また、ＲＧＢ成分復号手段７０２および単一成分復号手段７０４０は、Ｒ，Ｇ１，Ｂ成分の組の復号と、Ｇ２成分の算出を同時に行ってもよい。そして、データ処理装置７０は、同時に復号されたＲ，Ｇ１，Ｂ成分とＧ２成分とをマージするマージ手段（図示せず。）を備えていてもよい。マージ手段が、Ｒ，Ｇ１，Ｂ成分とＧ２成分とをマージして、２×２の画素ブロックにＲ、Ｇ１，Ｇ２，Ｂ成分を含むベイヤー配列の画像を生成して、出力してもよい。この点は第３の実施形態と同様である。
【０１２９】
本実施形態の復号装置によれば、第２の実施形態で示した符号化用データ生成装置によって生成された符号化データから、Ｒ，Ｇ，Ｂ成分の組および単一成分をそれぞれ生成することができる。
【０１３０】
また、上記の説明では、参照画素形成手段７０４１が単一成分出力手段７０３に対して座標を指定する場合を例にして説明したが、単一成分復号手段７０４０が備える他の手段が単一成分出力手段７０３に対して座標を指定してもよい。
【実施例１】
【０１３１】
以下、第１の実施例として、第１の実施形態の符号化用データ生成装置の実施例を示す。図９は、第１の実施例の動作（符号化動作等）を模式的に示す説明図である。ここでは、符号化用データ生成装置が、符号化も行う符号化装置である場合を例にして説明する。第１の実施例では、符号化装置が、データ処理装置２０（図１参照）としてパーソナルコンピュータを備え、データ記憶装置３０（図１参照）としてパーソナルコンピュータに含まれる半導体メモリを備え、符号出力装置４０として、磁気ディスク装置を備える場合を例に説明する。そして、入力画像データ１０は、磁気ディスク装置上のファイルとして与えられるものとする。また、図９では、図１に示す構成要素と同様の構成要素については、図１と同一の符号を付す。図９に示すＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分符号化手段２０２に相当する。また、ＪＰＥＧエンコーダ２０４は、単一成分符号化手段２０４に相当する。
【０１３２】
入力画像データ１０の画素配置形式はベイヤー配列とし、また、ＲＧＢの符号化にはＪＰＥＧ２０００エンコーダ２０２、単一成分の符号化にはＪＰＥＧエンコーダ２０４を利用するものとする。
【０１３３】
ＲＧＢ成分形成手段２０１は、磁気ディスク装置からベイヤー配列の入力画像データ１０を読み出し、Ｒ，Ｇ１，Ｂ成分の組を分離してＲＧＢ成分メモリ３０１に格納する。すなわち、ＲＧＢ成分形成手段２０１は、Ｒ，Ｇ１，Ｂ成分の組からなる格子配列のＲＧＢ画像をＲＧＢ成分メモリ３０１に格納する。
【０１３４】
ＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分メモリ３０１からＲＧＢ画像を読み出して、ＪＰＥＧ２０００形式で符号化し、磁気ディスク上の出力ファイルへ書き出す。
【０１３５】
また、単一成分形成手段２０３は、磁気ディスク装置からベイヤー配列の入力画像データ１０を読み出し、Ｇ２成分を分離して単一成分メモリに格納する。このデータは、単一成分（グレースケール）の格子配列の画像データとなる。
【０１３６】
次に、ＪＰＥＧエンコーダ２０４は単一成分メモリ３０２から単一画像を読み出してＪＰＥＧ形式で符号化し、磁気ディスク上の出力ファイルへ書き出す。
【実施例２】
【０１３７】
以下、第２の実施例として、第２の実施形態の符号化用データ生成装置の実施例を示す。図１０は、第２の実施例の動作（符号化動作等）を模式的に示す説明図である。ここでは、符号化用データ生成装置が、符号化も行う符号化装置である場合を例にして説明する。本実施例では、符号化装置が、データ処理装置２０（図３参照）としてパーソナルコンピュータを備え、データ記憶装置３０（図３参照）としてパーソナルコンピュータに含まれる半導体メモリを備え、符号出力装置４０として、磁気ディスク装置を備える場合を例に説明する。そして、入力画像データ１０は、磁気ディスク装置上のファイルとして与えられるものとする。また、図１０では、図３に示す構成要素と同様の構成要素については、図３と同一の符号を付す。ＲＧＢ成分レジスタ３０１は、ＲＧＢ成分メモリ３０１に相当し、単一成分レジスタ３０２は、単一成分メモリ３０２に相当する。ＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分符号化手段２０２に相当し、Golomb-Rice 符号化手段２０４３は、予測誤差符号化手段２０４３に相当する。
【０１３８】
まず、ＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分形成手段２０１に対して、（０，０）の座標からラスタースキャン順に座標を指定してＲＧＢ画素を要求する。ＲＧＢ成分形成手段２０１は、与えられたｘ，ｙ座標値に対応する画素ブロックを抽出し、そのうちのＲ，Ｇ１，Ｂ成分を、ＲＧＢ成分レジスタ３０１を介してＪＰＥＧ２０００エンコーダ２０２に受け渡す。ＪＰＥＧ２０００エンコーダ２０２は、ＲＧＢ成分レジスタ３０１を介して、ＲＧＢ画素データを受け取り、そのＲＧＢ画素データを符号化する。
【０１３９】
単一成分形成手段２０３は、Ｇ２成分を順に抽出して、単一成分レジスタ３０２に格納する。参照画素形成手段２０４１は、Ｇ２成分の周囲の４つのＧ１成分を抽出する。単一成分予測手段２０４２は、抽出された各Ｇ１成分（４つのＧ１成分）の平均値を計算して予測値とし、４つのＧ１成分に囲まれたＧ２成分との差分（予測誤差）を算出する。Golomb-Rice 符号化手段は、予測誤差をGolom-Rice符号により可変長符号化する。
【０１４０】
次に、本発明の概要について説明する。
図１１は、本発明の符号化用データ生成装置の概要を示すブロック図である。本発明の符号化用データ生成装置は、カラー成分形成手段１５１（例えば、ＲＧＢ成分形成手段２０１）と、単一成分形成手段１５２（例えば、単一成分形成手段２０３）とを備える。
【０１４１】
カラー成分形成手段１５１は、一定の大きさの画素ブロック毎にＲ，Ｇ，Ｂの各成分を同数ずつ含む画素の組と、Ｒ，Ｇ，Ｂ成分を同数ずつ含む画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分とに分けることが可能な入力画像データから、画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を抽出する。
【０１４２】
また、単一成分形成手段１５２は、入力画像データから、画素ブロック毎に、その画素の組に含まれないＲ成分、Ｇ成分、またはＢ成分である単一成分を１種以上抽出する。
【０１４３】
このような構成により、画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を抽出することができるので、ＲＧＢ用の任意の符号化方式で符号化可能な符号化用データを得ることができる。また、全画素の全成分を復号しなくてもＲＧＢ画像を得られるようにすることができる。
【０１４４】
また、上記の実施形態には、カラー成分形成手段１５１が抽出したＲ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化するカラー成分符号化手段（例えば、ＲＧＢ成分符号化手段２０２）と、単一成分形成手１５２段が抽出した単一成分に関する情報を符号化する単一成分符号化手段（例えば、単一成分符号化手段２０４，２０４０）とを備える構成が開示されている。
【０１４５】
また、上記の実施形態には、単一成分符号化手段が、単一成分に関する情報として、単一成分形成手段５１２が抽出した単一成分を符号化する構成が開示されている。
【０１４６】
また、上記の実施形態には、入力画像データが、２×２の画素ブロック毎に１つのＲ成分と１つのＢ成分と２つのＧ成分とを含むベイヤー配列の画像データであり、単一成分形成手段１５２が、２×２の画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を１つずつ含む画素の組に属さないＧ成分を抽出し、単一成分符号化手段が、そのＧ成分を符号化する構成が開示されている。
【０１４７】
また、上記の実施形態には、単一成分符号化手段が、単一成分形成手段１５２が抽出した単一成分と同じ色を表す成分であって、その単一成分を囲むようにして配置される単一成分の直近の４つの成分を入力画像データから抽出する参照画素形成手段（例えば、参照画素形成手段２０４１）と、参照画素形成手段が抽出する４つの成分によって囲まれる単一成分の予測値を算出する単一成分予測手段（例えば、単一成分予測手段２０４２）と、 その予測値と、単一成分形成手段が抽出した単一成分との差分を計算し、単一成分に関する情報としてその差分を符号化する符号化手段（例えば、単一成分予測手段２０４２および予測誤差符号化手段２０４３）とを含む構成が開示されている。
【０１４８】
また、上記の実施形態には、単一成分予測手段が、参照画素形成手段が抽出する４つの成分の平均値を、その４つの成分によって囲まれる単一成分の予測値とする構成が開示されている。
【０１４９】
また、上記の実施形態には、入力画像データが、２×２の画素ブロック毎に１つのＲ成分と１つのＢ成分と２つのＧ成分とを含むベイヤー配列の画像データであり、単一成分形成手段１５２が、２×２の画素ブロック毎に、Ｒ，Ｇ，Ｂの各成分を１つずつ含む画素の組に属さないＧ成分を抽出し、参照画素形成手段が、単一成分形成手段１５２が抽出するＧ成分を囲むようにして配置されるそのＧ成分の直近の４つのＧ成分を抽出し、単一成分予測手段が、参照画素形成手段が抽出した４つのＧ成分に囲まれ、単一成分形成手段１５２によって抽出されるＧ成分の予測値を算出し、符号化手段が、その予測値と、単一成分形成手段１５２が抽出したＧ成分との差分を計算し、その差分を符号化する構成が開示されている。
【０１５０】
また、上記の実施形態には、カラー成分形成手段１５１に対して、抽出すべき画素の組を示す座標を指定するカラー成分座標指定手段を備える構成が開示されている。
【０１５１】
また、上記の実施形態には、単一成分形成手段１５２に対して、抽出すべき単一成分を示す座標を指定する単一成分座標指定手段を備える構成が開示されている。
【０１５２】
図１２は、本発明の復号装置の概要を示すブロック図である。本発明の復号装置は、カラー成分復号手段１６１（例えば、ＲＧＢ成分復号手段７０２）と、カラー成分出力手段１６２（例えば、ＲＧＢ成分出力手段７０１）と、単一成分復号手段１６３（例えば、単一成分復号手段７０４，７０４０）と、単一成分出力手段１６４（例えば、単一成分出力手段７０３）とを備える。
【０１５３】
カラー成分復号手段１６１は、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合を復号する。カラー成分出力手段１６２は、カラー成分復号手段１６１によって復号されたＲ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を出力する。
【０１５４】
単一成分復号手段１６３は、Ｒ、Ｇ、Ｂ成分の組に属さない単一のＲ成分、Ｇ成分、またはＢ成分である単一成分に関する情報の符号化データを復号して、その単一成分を導出する。単一成分出力手段１６４は、単一成分復号手段１６３によって復号された単一成分を出力する。
【０１５５】
以上のような構成により、上述の符号化用データ生成装置によって得られたデータを符号化したデータを復号することができる。
【０１５６】
また、上記の実施形態には、単一成分復号手段１６３が、単一成分を符号化したデータを復号することにより単一成分を導出する構成が開示されている。
【０１５７】
また、上記の実施形態には、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合は、ベイヤー配列の画像データにおける２×２の画素ブロック毎にＲ，Ｇ，Ｂの各成分を１つずつ含む画素の組を符号化したデータの集合であり、単一成分は、２×２の画素ブロックにおいてその画素の組に含まれずに残るＧ成分であり、カラー成分復号手段１６１が、その２×２の画素ブロック毎のＲ，Ｇ，Ｂの各成分を１つずつ含む画素の組を復号し、単一成分復号手段１６３が、単一成分となったＧ成分を符号化したデータを復号する構成が開示されている。
【０１５８】
また、上記の実施形態には、単一成分復号手段１６３が、単一成分と同じ色を表す成分であって、単一成分とＲ，Ｇ，Ｂの各成分を同数ずつ含む画素の組とを組み合わせて一つの画像データとしたときに単一成分を囲むようにしてその単一成分の直近に配置される４つの成分から求められたその単一成分の予測値とその単一成分との差分の符号化データを復号する差分復号手段（例えば、予測誤差復号手段７０４３）と、その４つの成分からその４つの成分に囲まれる単一成分の予測値を計算する単一成分予測値算出手段（例えば、単一成分逆予測手段７０４２）と、その予測値に、差分復号手段が復号した差分を加算することにより単一成分を導出する単一成分導出手段（例えば、単一成分逆予測手段）とを含む構成が開示されている。
【０１５９】
また、上記の実施形態には、単一成分予測値算出手段が、４つの成分の平均値を、その４つの成分に囲まれる単一成分の予測値として計算する構成が開示されている。
【０１６０】
また、上記の実施形態には、Ｒ，Ｇ，Ｂの各成分を同数ずつ含む画素の組を符号化したデータの集合は、ベイヤー配列の画像データにおける２×２の画素ブロック毎にＲ，Ｇ，Ｂの各成分を１つずつ含む画素の組を符号化したデータの集合であり、単一成分は、２×２の画素ブロックにおいてその画素の組に含まれずに残るＧ成分であり、差分復号手段が、単一成分となるＧ成分を囲むようにして単一成分となるＧ成分の直近に配置される４つのＧ成分から求められた単一成分となるＧ成分の予測値と、単一成分となるＧ成分との差分の符号化データを復号し、単一成分導出手段は、予測値算出手段が計算した予測値に、差分復号手段が復号した差分を加算することにより、単一成分となるＧ成分を導出する構成が開示されている。
【０１６１】
また、上記の実施形態には、カラー成分出力手段１６２に対して、出力すべき画素の組を示す座標を指定するカラー成分座標指定手段を備える構成が開示されている。
【０１６２】
また、上記の実施形態には、単一成分出力手段１６４に対して、出力すべき単一成分を示す座標を指定する単一成分座標指定手段を備える構成が開示されている。
【０１６３】
以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１６４】
この出願は２００８年１月８日に出願された日本出願特願２００８−００１６２０ を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【０１６５】
本発明は、例えば、単板感光センサとカラーフィルタアレイによって得られたイメージデータ等を圧縮符号化するための符号化用データの生成や、そのような符号化用データから符号化されたデータの復号に好適に適用される。
【図面の簡単な説明】
【０１６６】
【図１】第１の実施形態の符号化用データ生成装置を示すブロック図である。
【図２】第１の実施形態の処理経過の例を示すフローチャートである。
【図３】第２の実施形態の符号化用データ生成装置を示すブロック図である。
【図４】第２の実施形態の処理経過の例を示すフローチャートである。
【図５】第３の実施形態の復号装置を示すブロック図である。
【図６】第３の実施形態の処理経過の例を示すフローチャートである。
【図７】本発明の第４の実施形態の復号装置を示すブロック図である。
【図８】第４の実施形態の処理経過の例を示すフローチャートである。
【図９】第１の実施例の動作を模式的に示す説明図である。
【図１０】第２の実施例の動作を模式的に示す説明図である。
【図１１】本発明の符号化用データ生成装置の概要を示すブロック図である。
【図１２】本発明の復号装置の概要を示すブロック図である。
【符号の説明】
【０１６７】
２０ データ処理装置
３０ データ記憶装置
４０ 符号出力装置
２０１ ＲＧＢ成分形成手段
２０２ ＲＧＢ成分符号化手段
２０３ 単一成分形成手段
２０４ 単一成分符号化手段
３０１ ＲＧＢ成分メモリ
３０２ 単一成分メモリ
Claims (24)
- 各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色が同数ずつ含まれない画像を対象とし、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組を抽出するカラー成分形成手段と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を１種以上抽出する単一成分形成手段と、
前記カラー成分形成手段が抽出した画素の組を符号化するカラー成分符号化手段と、
前記単一成分形成手段が抽出した単一成分に関する情報を符号化する単一成分符号化手段とを含み、
前記カラー成分符号化手段は、前記カラー成分形成手段が抽出した３原色の画素の各組を、該カラー成分の画素のみを参照して符号化を行うものであることを特徴とする符号化装置。 - 前記カラー成分符号化手段は、３原色の画素の一組毎に、単一の仮想的な空間座標を割り当て、同一空間座標に３原色の成分を有する画像を対象とした符号化方式を用いて、前記仮想的な空間座標の各画素を符号化するものであることを特徴とする請求項２５に記載の符号化装置。
- 前記単一成分符号化手段は、
符号化対象である各単一成分に対して参照画素を抽出する参照画素形成手段と、
前記参照画素の値から単一成分の予測値を求める単一成分予測手段と、
前記予測値と該単一成分の値との差分を符号化する符号化手段とを含み、
前記参照画素形成手段は、符号化対象である各単一成分の近傍から１つ以上の成分を参照画素として抽出するものであり、
前記参照画素は、
前記カラー成分形成手段によってカラー成分として抽出される成分のうち、符号化対象である各単一成分と同じ色を表す成分の画素であり、かつ、それらの画素のうち該単一成分と空間的に最も近い位置にある画素であることを特徴とする請求項２５に記載の符号化装置。 - 前記参照画素形成手段は、符号化対象である各単一成分の近傍から４つの成分を参照画素として抽出するものであり、
前記参照画素は、符号化対象である各単一成分を中心として空間的に対称に配置されるものであることを特徴とする請求項２５に記載の符号化装置。 - 前記画素ブロックの大きさは２×２であり、
前記参照画素は、入力画像上で、符号化対象である各単一成分の左上、右上、左下、右下に位置することを特徴とする請求項２８に記載の符号化装置。 - 前記単一成分予測手段は、前記参照画素形成手段が抽出する４つの成分の平均値を、復号対象である単一成分の予測値とする請求項２９に記載の符号化装置。
- 各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色が同数ずつ含まれない画像を対象とし、
コンピュータに、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組を抽出する機能と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を１種以上抽出する機能と、
前記抽出した３原色の画素の各組を、該カラー成分の画素のみを参照して符号化を行う機能と、
前記抽出した単一成分に関する情報を符号化する機能とを実行させることを特徴とする符号化プログラム。 - 前記コンピュータに、
３原色の画素の一組毎に、単一の仮想的な空間座標を割り当て、同一空間座標に３原色の成分を有する画像を対象とした符号化方式を用いて、前記仮想的な空間座標の各画素を符号化する機能を実行させることを特徴とする請求項３１に記載の符号化プログラム。 - 参照画素として、前記カラー成分として抽出される成分のうち、符号化対象である各単一成分と同じ色を表す成分の画素であって、かつ、それらの画素のうち該単一成分と空間的に最も近い位置にある画素を用い、
前記コンピュータに、
符号化対象である各単一成分の近傍から１つ以上の成分を前記参照画素として抽出する機能と、
前記参照画素の値から単一成分の予測値を求める機能と、
前記予測値と該単一成分の値との差分を符号化する機能とを実行させることを特徴とする請求項３１に記載の符号化プログラム。 - 参照画素として、符号化対象である各単一成分を中心として空間的に対称に配置される画素を用い、
前記コンピュータに、
符号化対象である各単一成分の近傍から４つの成分を前記参照画素として抽出する機能を実行させることを特徴とする請求項３１に記載の符号化プログラム。 - 前記画素ブロックの大きさを２×２に設定し、
前記参照画素として、入力画像上で、符号化対象である各単一成分の左上、右上、左下、右下に位置する画素を用いることを特徴とする請求項３４に記載の符号化用プログラム。 - 前記抽出する４つの成分の平均値を、復号対象である単一成分の予測値とする請求項３５に記載の符号化プログラム。
- 各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色が同数ずつ含まれない画像を対象とし、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組を抽出し、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を１種以上抽出し、
前記抽出した３原色の画素の各組を、該カラー成分の画素のみを参照して符号化を行い、
前記抽出した単一成分に関する情報を符号化することを特徴とする符号化方法。 - 各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色の画素が同数ずつ含まれない画像を対象とし、
前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組をカラー成分として復号するカラー成分復号手段と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を復号する単一成分復号手段と、
各空間座標に配置された画素が３原色のいずれかの成分を表す画像メモリに対して、前記カラー成分の値を所定の座標変換を行って出力するカラー成分出力手段と、
前記画像メモリに対して、前記単一成分の値を所定の座標変換を行って出力する単一成分出力手段とを含み、
前記カラー成分復号手段は、前記カラー成分形成手段が抽出したカラー成分の画素のみを参照して復号を行うものであり、
前記カラー成分出力手段は、各空間座標のカラー成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置へ画素値を出力するものであり、
前記単一成分出力手段は、各空間座標の単一成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置へ画素値を出力するものであることを特徴とする復号装置。 - 前記単一成分復号手段は、
復号対象である各単一成分に対して参照画素を抽出する参照画素形成手段と、
前記参照画素の値から単一成分の予測値を求める単一成分予測手段と、
前記予測値と該単一成分の値との差分を復号する差分復号手段と、
前記予測値に、前記差分復号手段が復号した差分を加算することにより前記単一成分を導出する単一成分導出手段とを含み、
前記参照画素形成手段は、復号対象である各単一成分の近傍から４つの成分を参照画素として抽出するものであり、
前記参照画素は、前記カラー成分形成手段によってカラー成分として抽出される成分のうち、復号対象である各単一成分と同じ色を表す成分の画素であり、かつ、それらの画素のうち該単一成分と空間的に最も近い位置にある画素であることを特徴とする請求項３８に記載の復号装置。 - 前記参照画素形成手段は、復号対象である各単一成分の近傍から４つの成分を参照画素として抽出するものであり、
前記参照画素は、復号対象である各単一成分を中心として空間的に対称に配置されるものであることを特徴とする請求項３９に記載の復号装置。 - 前記単一成分予測手段は、前記参照画素形成手段が抽出する４つの成分の平均値を、復号対象である単一成分の予測値とする請求項４０に記載の復号装置。
- 前記カラー成分復号手段は、低品質から高品質へ階層的に符号化されたデータを入力とし、カラー画像を生成して出力する機能を備えることを特徴とする請求項３８に記載の復号装置。
- 空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色の画素が同数ずつ含まれない画像を対象とし、
コンピュータに
抽出されたカラー成分の画素のみを参照して、前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組をカラー成分として復号する機能と、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を復号する機能と、
各空間座標に配置された画素が３原色のいずれかの成分を表す画像メモリに対して、各空間座標のカラー成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力する機能と、
前記画像メモリに対して、各空間座標の単一成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力する機能とを実行させることを特徴とする復号プログラム。 - 前記参照画素として、前記カラー成分形成手段によってカラー成分として抽出される成分のうち、復号対象である各単一成分と同じ色を表す成分の画素であり、かつ、それらの画素のうち該単一成分と空間的に最も近い位置にある画素を用い、
前記コンピュータに、
復号対象である各単一成分の近傍から４つの成分を参照画素として抽出する機能と、
前記参照画素の値から単一成分の予測値を求める機能と、
前記予測値と該単一成分の値との差分を復号する機能と、
前記予測値に、前記差分復号手段が復号した差分を加算することにより前記単一成分を導出する機能とを実行させることを特徴とする請求項４３に記載の復号プログラム。 - 前記参照画素として、復号対象である各単一成分を中心として空間的に対称に配置される画素を用い、
前記コンピュータに、
復号対象である各単一成分の近傍から４つの成分を参照画素として抽出する機能を実行させることを特徴とする請求項４４に記載の復号プログラム。 - 前記抽出される４つの成分の平均値を、復号対象である単一成分の予測値とする請求項４５に記載の復号プログラム。
- 前記コンピュータに、
低品質から高品質へ階層的に符号化されたデータを入力とし、カラー画像を生成して出力する機能を実行させることを特徴とする請求項４３に記載の復号プログラム。 - 各空間座標に３原色いずれかの成分を表す画素が配置された画像であって、かつ、一定の大きさの画素ブロック毎に３原色の画素が同数ずつ含まれない画像を対象とし、
抽出されたカラー成分の画素のみを参照して、前記画素ブロック毎に、３原色の各成分を同数ずつ含む画素の組をカラー成分として復号し、
前記画素ブロック毎に、前記画素の組に含まれない個々の成分である単一成分を復号し、
各空間座標に配置された画素が３原色のいずれかの成分を表す画像メモリに対して、各空間座標のカラー成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力し、
前記画像メモリに対して、各空間座標の単一成分が復号されると、対応する空間座標の画素ブロック内の、各成分の種類ごとに予め決められた位置への画素値を出力することを特徴とする復号方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009548849A JP5158096B2 (ja) | 2008-01-08 | 2008-05-16 | 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008001620 | 2008-01-08 | ||
| JP2008001620 | 2008-01-08 | ||
| PCT/JP2008/059009 WO2009087783A1 (ja) | 2008-01-08 | 2008-05-16 | 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法 |
| JP2009548849A JP5158096B2 (ja) | 2008-01-08 | 2008-05-16 | 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2009087783A1 JPWO2009087783A1 (ja) | 2011-05-26 |
| JP5158096B2 true JP5158096B2 (ja) | 2013-03-06 |
Family
ID=40852907
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009548849A Active JP5158096B2 (ja) | 2008-01-08 | 2008-05-16 | 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP5158096B2 (ja) |
| WO (1) | WO2009087783A1 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011084639A2 (en) | 2009-12-16 | 2011-07-14 | Red. Com, Inc. | Resolution based formatting of compressed image data |
| CN103348675B (zh) | 2011-01-28 | 2016-05-25 | 日本电气株式会社 | 二维信号编码设备和二维信号编码方法 |
| JP5974691B2 (ja) * | 2012-07-09 | 2016-08-23 | 株式会社ニコン | 動画像圧縮装置、撮像装置およびプログラム |
| JP5974692B2 (ja) * | 2012-07-09 | 2016-08-23 | 株式会社ニコン | 動画像復号装置およびプログラム |
| WO2014010224A1 (ja) * | 2012-07-09 | 2014-01-16 | 株式会社ニコン | 動画像圧縮装置、動画像復号装置、画像圧縮装置、画像復号装置、撮像装置およびプログラム |
| JP6077811B2 (ja) * | 2012-10-04 | 2017-02-08 | キヤノン株式会社 | 画像符号化装置、画像符号化方法およびプログラム |
| WO2014127153A1 (en) | 2013-02-14 | 2014-08-21 | Red. Com, Inc. | Video camera |
| US9800875B2 (en) | 2015-04-10 | 2017-10-24 | Red.Com, Llc | Video camera with rate control video compression |
| US11019336B2 (en) | 2017-07-05 | 2021-05-25 | Red.Com, Llc | Video image data processing in electronic devices |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001285648A (ja) * | 2000-04-04 | 2001-10-12 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP2005286415A (ja) * | 2004-03-26 | 2005-10-13 | Olympus Corp | 画像圧縮方法及び画像圧縮装置 |
-
2008
- 2008-05-16 JP JP2009548849A patent/JP5158096B2/ja active Active
- 2008-05-16 WO PCT/JP2008/059009 patent/WO2009087783A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001285648A (ja) * | 2000-04-04 | 2001-10-12 | Sony Corp | 画像処理装置および画像処理方法、並びに記録媒体 |
| JP2005286415A (ja) * | 2004-03-26 | 2005-10-13 | Olympus Corp | 画像圧縮方法及び画像圧縮装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2009087783A1 (ja) | 2009-07-16 |
| JPWO2009087783A1 (ja) | 2011-05-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5158096B2 (ja) | 符号化用データ生成装置、符号化用データ生成方法、復号装置および復号方法 | |
| JP4151684B2 (ja) | 符号化装置、符号化方法および符号化プログラム、並びに撮像装置 | |
| JP2013150215A (ja) | 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム | |
| JP5520122B2 (ja) | データ変換装置 | |
| US11445160B2 (en) | Image processing device and method for operating image processing device | |
| JP2010098352A (ja) | 画像情報符号化装置 | |
| JP2000244935A (ja) | 画像データ圧縮方法 | |
| US11677932B2 (en) | Image processing device | |
| CA3114816C (en) | Video image component prediction method and apparatus, and computer storage medium | |
| JP4000157B2 (ja) | 画像圧縮方法および画像伸張方法 | |
| JP5199956B2 (ja) | 画像復号装置及びその制御方法 | |
| JP2009077183A (ja) | データ圧縮装置、データ圧縮・伸張システム、およびデータ圧縮方法 | |
| JP3709106B2 (ja) | 画像圧縮および伸張装置 | |
| JP6065090B2 (ja) | 動画像復号装置、動画像復号方法、動画像復号プログラム | |
| JP6317720B2 (ja) | 動画像符号化装置、動画像符号化方法、動画像符号化プログラム | |
| JP6066583B2 (ja) | 動画像符号化装置及び動画像符号化方法 | |
| JP2010276686A (ja) | 画像制御装置 | |
| TWI795480B (zh) | 用於執行資料解壓縮的影像處理裝置及用於執行資料壓縮的影像處理裝置 | |
| WO2016047250A1 (ja) | 信号処理装置、撮像装置および信号処理方法 | |
| JP6311821B2 (ja) | 動画像処理装置及び動画像処理方法 | |
| JP4274187B2 (ja) | 表示データ伸張方法、表示データ圧縮伸張方法、表示データ伸張装置および表示データ圧縮伸張装置 | |
| JP2009038740A (ja) | 画像符号化装置 | |
| JP6265705B2 (ja) | 画像符号化装置及び画像符号化方法 | |
| JP2001128182A (ja) | 画像符号化方法および画像符号化プログラムを格納したコンピュータで読取可能な記録媒体 | |
| JP2016165054A (ja) | 符号化装置、復号装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110413 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121113 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20121126 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5158096 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151221 Year of fee payment: 3 |