JP6890993B2 - 画像符号化装置、画像復号化装置、その制御方法、および制御プログラム - Google Patents

Description

本発明は画像符号化装置、画像復号化装置、その制御方法、および制御プログラムに関し、特に、ベイヤー配列の画像を符号化および復号化するための装置に関する。

一般に、デジタルカメラなどの撮像装置では、撮像素子としてＣＣＤ又はＣＭＯＳイメージセンサーが用いられている。そして、撮像素子は、ベイヤー配列のカラーフィルタを介して光学像を受光して、緑、青、および赤の画素データ（以下ＲＡＷデータと呼ぶ）を得ている。ベイヤー配列においては、人間の視覚的な感度が色成分よりも輝度成分に敏感であるので、輝度成分を多く含む緑について赤および青に比べて２倍の面積を割り当てている。

さらに、ベイヤー配列のＲＡＷデータでは、１画素について１つの色成分に関する情報を有しているのみであるので、１画素に対して緑、青、および赤の３つの色成分を生成する必要がある。この３つの色成分を生成する処理はデモザイク処理と呼ばれる。

一般に、画像データを記録する際には、デモザイク処理によって得られたＲＧＢ信号又はＲＧＢ信号をＹＵＶ信号に変換した画像データを符号化して記録する。ところが。デモザイク処理によって得られた画像データはＲＡＷデータに対して３倍のデータ量となり、符号化処理に時間が掛かってしまう。

符号化処理に要する時間を短縮するため、デモザイク処理前のＲＡＷデータを符号化して記録する手法が提案されている。例えば、ベイヤー配列のＲＡＷデータを色成分毎に正方格子状に整列して、ＭＰＥＧ−４ ＡＶＣ（ＩＳＯ／ＩＥＣ １４４９６−１０）などを用いて符号化する手法がある（特許文献１参照）。

特開２０１１−１６６２１９号公報

特許文献１に記載の手法では、緑成分について、互いに異なる垂直位置の画素を同一ライン上に配列するか又は異なる水平位置の画素を同一列状に配列している。このため、空間的な相関関係が崩れ、空間的な相関性を用いて行う画面内予測符号化の符号化効率が悪化してしまう。

従って、本発明の目的は、ベイヤー配列のＲＡＷデータをデモザイク処理することなく符号化する際、画面内予測符号化の符号化効率を向上させることのできる画像符号化装置を提供することにある。

上記の目的を達成するため、本発明による画像符号化装置は、ベイヤー配列を有する画像データを符号化する画像符号化装置であって、前記画像データを用いて、前記ベイヤー配列において奇数ラインに含まれる第１の緑成分で構成される第１の画素プレーンと偶数ラインに含まれる第２の緑成分で構成される第２の画素プレーンとによって緑画素プレーンを生成し、前記ベイヤー配列における赤成分で構成される赤画素プレーンおよび青成分で構成される青画素プレーンと前記緑画素プレーンとを有する符号化対象画像データを生成する生成手段と、前記符号化対象画像データを符号化して符号化画像データを得る符号化手段と、を有し、前記生成手段は、前記第１の画素プレーンと前記第２の画素プレーンとを水平又は垂直方向に並べて前記緑画素プレーンとして第１の画素配列の緑画素プレーンを生成するとともに、前記第１の画素プレーンの画素と前記第２の画素プレーンの画素とを画素単位で交互に水平又は垂直方向に並べて前記緑画素プレーンとして第２の画素配列の緑画素プレーンを生成し、前記第１の画素配列を前記第２の画素配列に変換する変換手段をさらに有することを特徴とする。

本発明によれば、ベイヤー配列の画像データをデモザイク処理を行うことなく符号化する場合に、画面内予測符号化の符号化効率を向上させることができる。

本発明の実施の形態による画像符号化装置の一例についてその構成を示すブロック図である。 図１に示す撮像部で得られるベイヤー配列の画像データの一例を示す図である。 図１に示す符号化画像生成回路によって生成される符号化画像の配列を示す図である。 図１に示す符号化画像生成回路および配列変換回路における処理を説明するためのフローチャートである。 本発明の実施の形態による画像復号化装置の一例についてその構成を示すブロック図である。 図１に示す画像符号化装置に入力される画像データにおけるベイヤー配列の他の配列パターンを示す図である。 図６に示すベイヤー配列の画像データを用いた際に、図１に示す符号化画像生成回路によって生成される符号化画像の配列を示す図である。

以下に、本発明の実施の形態による画像符号化装置および画像復号化装置の一例について図面を参照して説明する。

［画像符号化装置］
図１は、本発明の実施の形態による画像符号化装置の一例についてその構成を示すブロック図である。

図示の画像符号化装置は、動画像のＲＡＷデータを予測符号化する動画像符号化装置である。動画像符号化装置１００は、撮像部１０１、符号化画像生成回路１２０、フレームメモリ１０２、動きベクトルを探索するインター予測回路１０３、およびイントラ予測方法を選択するイントラ予測回路１０４を備えている。さらに、動画像符号化装置１００は、インター予測およびイントラ予測のいずれかの予測方法を選択するイントラ・インター選択回路１０５、予測画像生成回路１０６、減算器１０７、整数変換回路１０８、および量子化回路１０９を備えている。また、動画像符号化装置１００は、逆量子化回路１１０、逆整数変換回路１１１、加算器１１２、ループ内フィルタ１１３、エントロピー符号化回路１１５、量子化制御回路１１６、符号量制御回路１１７、および画素配列変換回路１２１を備えている。なお、フレームメモリ１０２には、符号化前の入力画像およびインター予測に用いる参照画像が記録される。

図２は、図１に示す撮像部で得られるベイヤー配列の画像データの一例を示す図である。

被写体を撮像部１０１で撮像して得られた画像データは、図２に示すベイヤー配列を有している。そして、当該画像データはフレームメモリ１０２に格納される。図２において、Ｇ１およびＧ２は緑成分、Ｒは赤成分、Ｂは青成分を示す。緑成分については、説明の便宜上、第１ライン（奇数ライン）上に位置する緑成分の画素（Ｇ１）と第２ライン（偶数ライン）上に位置する緑成分の画素（Ｇ２）とに分けている。

撮像部１０１の出力である画像データは、第１フレーム、第２フレーム、第３フレーム、・・・の順で、フレームメモリ１０２に順次格納される。そして、符号化の際には、フレームメモリ１０２から、例えば、第３フレーム、第１フレーム、第２フレーム、・・・のように符号化を行う順序で画像データが取り出される。

ここで、符号化方法には、フレーム内の画像データのみで符号化する画面内（イントラ）符号化と、フレーム間における予測も含めて符号化するインター符号化とがある。インター符号化を行うピクチャには、動き補償の単位（ＭＣブロック）について１枚の参照フレームと予測を行うＰピクチャと、ＭＣブロックについて２枚までの参照フレームと予測を行うＢピクチャとがある。

Ｂピクチャにおいて、２枚の参照フレームを参照する際には、２枚の参照フレームの画素値を画素毎に平均した画像を参照フレームとして符号化が行われる。一方、イントラ符号化を行うピクチャはＩピクチャである。なお、符号化するフレームの順番が入力されたフレームの順番と異なるのは、過去のフレームのみではなく、時間的に未来のフレームとの予測（後方予測）を可能とするためである。

符号化画像生成回路１２０は、システムコントローラ（図示せず）から現在処理するフレームのピクチャタイプの指示を受けて、当該ピクチャタイプに応じて画像データの配列を変換して画像符号化部に出力する。

図３は、図１に示す符号化画像生成回路によって生成される符号化画像の配列を示す図である。そして、図３（ａ）は第１の配列を示す図であり、図３（ｂ）は第２の配列を示す図である。なお、符号化画像生成回路１２０は、第１の配列（配列１）と第２の配列（配列２）の２つの配列のいずれかに画像データの配列を変換する。

図３（ａ）に示す配列１は、図２に示すベイヤー配列を３つのプレーンに分離した配列である。ここでは、Ｇ２のみを集めて画素を配列した画像とＧ１のみを集めて画素を配列した画像とを水平方向に隣接させて生成した画像を１つのプレーンとして構成する。ＲおよびＢについては各々の画素のみを集めて配列した画像をそれぞれ１つのプレーンとして構成する。

ここで、元のベイヤー配列の画像における画素数を、水平Ｗ画素、垂直Ｈラインであるとする。この場合、Ｇ１およびＧ２で構成される画素プレーン（緑画素プレーン）の画素数は水平Ｗ画素、垂直Ｈ／２ラインである。また、Ｒで構成される画素プレーン（赤画素プレーン）およびＢで構成される画素プレーン（青画素プレーン）の画素数はそれぞれ水平Ｗ／２画素、垂直Ｈ／２ラインとなる。

３つのプレーンの画素数は、解像度が水平Ｗ画素および垂直Ｈ／２ラインの所謂ＹＵＶ４：２：２画像フォーマットとみなせることができるので、ＭＰＥＧ−４ ＡＶＣなどの符号化規格を用いて符号化を行うことができる。

図３（ｂ）に示す配列２は、図３（ａ）に示す配列１と同様にベイヤー配列の画像を３つのプレーンに分離する。ここでは、Ｇ１およびＧ２で構成されるプレーンの配列が配列１と異なる。図示のように、Ｇ２およびＧ１を水平方向に画素単位で交互に配列して１つのプレーンを構成する。

図４は、図１に示す符号化画像生成回路および配列変換回路における処理を説明するためのフローチャートである。そして、図４（ａ）は符号化画像生成回路の処理を示すフローチャートであり、図４（ｂ）は配列変換回路の処理を示すフローチャートである。

図４（ａ）を参照して、符号化画像生成処理を開始すると。符号化画像生成回路１２０はフレームメモリ１０２から読み込んだフレーム（ベイヤー配列画像）についてイントラ符号化を行うか否かを判定する（ステップＳ４０１）。イントラ符号化を行う場合（ステップＳ４０１において、ＹＥＳ）、符号化画像生成回路１２０は、ベイヤー配列画像を配列１に変換して符号化画像（符号化対象画像データ）とする（ステップＳ４０２）。そして、符号化画像生成回路１２０は符号化画像生成処理を終了する。

一方、イントラ符号化を行わない場合には（ステップＳＳ４０１において、ＮＯ）、符号化画像生成回路１２０は、ベイヤー配列画像を配列２に変換して符号化画像とする（ステップＳ４０３）。そして、符号化画像生成回路１２０は符号化画像生成処理を終了する。

前述の配列１では、隣接する画素の位置関係が元のベイヤー配列画像の位置関係に維持されているので、元のベイヤー配列画像の空間的相関性を利用することができる。その結果、イントラ予測の符号化効率を向上させることができる。なお、Ｇ１・Ｇ２プレーンと他のプレーンとにおいては、画像の位置関係がずれているが、イントラ予測はプレーン毎に独立で符号化するので、その影響はない。

一方、配列２では、Ｇ１・Ｇ２プレーンと他のプレーンとにおいて画像の位置関係が揃っている。このため、インター予測の際にＧ１・Ｇ２プレーンの動きベクトルをスケーリングすることによってＲおよびＢの動きベクトルとして適用が可能となる。よって、ＭＰＥＧ−４ ＡＶＣなどの符号化規格による符号化を行うことができる。

上述のようにして、符号化画像生成回路１２０で生成された符号化画像は、符号化ブロック単位で符号化部に入力される。なお、ここでは、符号化ブロック単位をＧ１・Ｇ２プレーンにおいて水平１６画素、垂直１６ラインとする。

イントラ符号化を行う場合には、符号化対象の符号化ブロック（以下単に符号化対象ブロックと呼ぶ）は、イントラ予測回路１０４に入力される。また、符号化対象ブロック周辺の画素データ（以下周辺画素データという）は、後述する加算器１１２を介してイントラ予測回路１０４に入力される。

イントラ予測回路１０４は、符号化対象ブロックと周辺画素のデータとに応じて生成した複数のイントラ予測画像データ相互の相関に基づいてイントラ予測方式（画面内予測符号化）を選択する。そして、イントラ予測回路１０４は、選択したイントラ予測方式をイントラ・インター選択回路１０５に出力する。

イントラ符号化を行う場合には、イントラ・インター選択回路１０５は常にイントラ予測を選択して、その選択結果を予測画像生成回路１０６に通知する。予測画像生成回路１０６は、イントラ・インター選択回路１０５によって選択された予測方法に基づいて、後述の加算器１１２の出力である再構成画像データに基づいてイントラ予測画像データを生成する。

減算器１０７には、イントラ予測画像データと符号化対象ブロックとが入力される。そして、減算器１０７は符号化対象ブロックとイントラ予測画像データとの画素値の差分を求めて、当該差分を差分画像データとして整数変換回路１０８に出力する。整数変換回路１０８は、差分画像データに対して整数変換を行って、整数変換後の差分画像データを量子化回路１０９に出力する。量子化回路１０９は、整数変換後の差分画像データについて量子化処理を行って、量子化変換係数を得る。

エントロピー符号化回路１１５は、量子化変換係数をエントロピー符号化して、予測方法および量子化係数などの情報とともにストリーム（符号化画像データ）を出力する。そして、当該ストリームは記録部１２２によって記録媒体に記録される。

なお、量子化回路１０９で用いられる量子化係数は、エントロピー符号化回路１１５において発生した符号量、そして、符号量制御回路１１７で設定される目標符号量などに基づいて量子化制御回路１１６によって算出される。

量子化回路１０９で得られた量子化変換係数は、逆量子化回路１１０にも入力される。逆量子化回路１１０は、量子化変換係数を逆量子化して、逆量子化変換係数を得る。逆整数変換回路１１１は、逆量子化変換係数に対して逆整数変換処理を行って逆整数変換データを得る。

加算器１１２には、逆整数変換データと予測画像生成回路１０６によって生成されたイントラ予測画像データとが入力される。そして、加算器１１２は逆整数変換データとイントラ予測画像データとを加算して、再構成画像データを出力する。この再構成画像データはイントラ予測回路１０４および予測画像生成回路１０６に送られて、イントラ予測画像データの生成に用いられる。

さらに、再構成画像データは、ループ内フィルタ１１３によって符号化歪の軽減処理が行われる。そして、ループ内フィルタ１１３の出力は配列変換回路１２１に送られる。配列変換回路１２１は符号化歪処理後の再構成画像データについて画素の配列変換を行い、配列変換後の再構成画像データを、後述するインター符号化の際に用いる参照画像データとしてフレームメモリ１０２に備えられた参照画像メモリに格納する。

ここで、図４（ｂ）を参照して、配列変換回路１２１の動作について説明する。

配列変換処理を開始すると、配列変換回路１２１は入力されたデータ（つまり、フレーム）がイントラ符号化であるか否かを判定する（ステップＳ５０１）。当該フレームがイントラ符号化であると（ステップＳ５０２において、ＹＥＳ）、配列変換回路１２１は、当該フレームの画素配列を前述の配列２に変換して、参照画像データとしてフレームメモリ１０２に出力する。そして、配列変換回路１２１は配列変換処理を終了する。

参照画像データはインター符号化の際に用いられる画像データである。インター符号化の場合には、入力画像の画素配列は配列２であるので、参照画像データの画素配列も配列２である必要がある。

一方、入力フレームがイントラ符号化ではないと（ステップＳ５０１において、ＮＯ）、配列変換回路１２１は配列変換を行わずに当該フレームをフレームメモリ１０２に出力する。そして、配列変換回路１２１は配列変換処理を終了する。入力フレームがイントラ符号化でない場合には、符号化対象ブロックは配列２であるので、配列変換処理は行われず、配列２の参照画像データとしてフレームメモリ１０２に格納される。

インター符号化（画面間予測符号化）を行う場合には、符号化単位となる符号化対象ブロックが符号化画像生成回路１２０からインター予測回路１０３に入力される。インター予測回路１０３は、フレームメモリ１０２から参照画像データを読み出して、符号化対象ブロックと参照画像データとの基づいて動きベクトルを検出する。そして、インター予測回路１０３は、検出した動きベクトル（検出結果）をイントラ・インター選択回路１０５に通知する。

なお、符号化対象ブロック毎にインター予測又はイントラ予測が選択される。前述のように、イントラ予測回路１０４はイントラ予測結果をイントラ・インター選択回路１０５に通知する。イントラ・インター選択回路１０５は、インター予測回路１０３の検出結果とイントラ予測回路１０４の予測結果とを受けて、例えば、その差分値が小さい予測方法を選択して、選択した予測方法を予測画像生成回路１０６に通知する。

減算器１０７は、符号化対象ブロックと予測画像生成回路１０６の出力との差分を求めて差分画像データを生成する。そして、当該差分画像データは整数変換回路１０８に送られて、前述のイントラ符号化と同様にして符号化処理が行われる。

このように、本発明の実施の形態による画像符号化装置では、ベイヤー配列の画像データをデモザイク処理することなく符号化する際に、インター予測又はイントラ予測に応じて画像データの画素配列を変換して符号化を行う。これによって、画面内予測符号化の符号化効率を向上させることができる。

［画像復号装置］
図５は、本発明の実施の形態による画像復号化装置の一例についてその構成を示すブロック図である。

図示の画像復号化装置は、符号化された動画像を復号する動画像復号化装置である。動画像復号化装置６００は、記録媒体（図示せず）からストリームを再生する再生部６２２、エントロピー復号回路６１５、逆量子化回路６１０、逆整数変換回路６１１、および加算器６１２を備えている。さらに、動画像復号化装置６００はイントラ予測およびインター予測に対応する予測画像生成回路６０６およびループ内フィルタ回路６１３を備えている。また、動画像復号化装置６００は、画素配列を変換する配列変換回路６２１、復号画像データを格納するフレームメモリ６０２、および復号画像データに応じた画像を表示する表示部６０１を有している。

エントロピー復号回路６１５は、再生部６２２によって再生されたストリーム（復号化対象画像データ）を復号して量子化された係数値（量子化係数値）を出力する。この際、エントロピー復号回路６１５は、予測モードおよび量子化係数などの符号化パラメータも復号する。逆量子化回路６１０は量子化係数に応じて、量子化係数値を逆量子化して、整数変換係数として出力する。

予測画像生成回路６０６は、予測モードなどの符号化パラメータに応じて、後述するように予測画像データを生成する。予測モードがイントラ予測の場合には、予測画像生成回路６０６は、既に復号済みの周辺画素値を加算器６１２から得て予測画像データを生成する。一方、予測モードがインター予測の場合には、予測画像生成回路６０６は、復号画像データをフレームメモリ６０２から読み出して予測画像データを生成する。

逆整数変換回路６１１は、整数変換係数を逆整数変換して、逆変換された整数変換係数と予測画像データとの差分を差分画像データとして出力する。加算器６１２は、予測画像データと差分画像データとを加算して復号画像データとする。ループ内フィルタ６１３は復号画像データに対して符号化歪の軽減処理を行う。そして、配列変換回路６２１は歪軽減後の復号画像データについて画素の配列変換を行って所定の配置とし、フレームメモリ６０２に格納する。

配列変換回路６２１は、前述の配列変換回路１２１と同様に動作し、復号画像データがイントラ符号化の画像データを復号したものである場合には、復号画像データの画素配列を配列２に変換してフレームメモリ６０２に出力する。一方、復号画像データがイントラ符号化の画像データを復号したものでない場合には、配列変換回路６２１は画素配列の変換を行わずにフレームメモリ６０２に出力する。

フレームメモリ６０２に格納された復号画像データ（つまり、ベイヤー配列の画像データ）は現像処理などが施されて表示部６０１に画像として順次表示される。

このように、本発明の実施の形態による画像復号化装置を用いれば、前述の画像符号化装置によって符号化されたストリームを適切に復号することができる。

なお、上述の実施形態では、ベイヤー配列における配列パターンの一例として、図２に示す配列パターンを用いたが、別の配列パターンを用いるようにしてもよい。

図６は、図１に示す画像符号化装置に入力される画像データにおけるベイヤー配列の他の配列パターンを示す図である。

図示の配列パターンでは、第１（奇数）ライン上に緑成分の画素（Ｇ１）と青成分の画素（Ｂ）が配列され、第２（偶数）ライン上に緑成分の画素（Ｇ２）と赤成分の画素（Ｒ）が配列されている。

図７は、図６に示すベイヤー配列の画像データを用いた際に、図１に示す符号化画像生成回路によって生成される符号化画像の配列を示す図である。そして、図７（ａ）は第１の配列を示す図であり、図７（ｂ）は第２の配列を示す図である。

図７（ａ）に示す配列１は、図６に示すベイヤー配列を３つのプレーンに分離した配列である。ここでは、Ｇ１のみを集めて画素を配列した画像とＧ２のみを集めて画素を配列した画像とを水平方向に隣接させて生成した画像を１つのプレーンとして構成する。ＲおよびＢについては各々の画素のみを集めて配列した画像をそれぞれ１つのプレーンとして構成する。

図７（ｂ）に示す配列２は、図７（ａ）に示す配列１と同様にベイヤー配列の画像を３つのプレーンに分離する。ここでは、Ｇ１およびＧ２で構成されるプレーンの配列が配列１と異なる。図示のように、Ｇ１およびＧ２を水平方向に画素単位で交互に配列して１つのプレーンを構成する。

また、上述の実施形態では、配列１において、Ｇ１プレーンとＧ２プレーンとを水平方向に並べたが、垂直方向に並べて緑画素プレーンを生成をもよい。また、配列２においても、Ｇ１およびＧ２を垂直方向に画素単位で交互に配列して垂直方向のサイズがＨとなるように緑画素プレーンを生成してもよい。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を画像符号化装置又は画像復号化装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを画像符号化装置又は画像復号化装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１ 撮像部
１０２ フレームメモリ
１０３ インター予測回路
１０４ イントラ予測回路
１０５ イントラ・インター選択回路
１０６ 予測画像生成回路
１０８ 整数変換回路
１０９ 量子化回路
１２０ 符号化画像生成回路
１２１ 配列変換回路

Claims (11)

1. ベイヤー配列を有する画像データを符号化する画像符号化装置であって、
   前記画像データを用いて、前記ベイヤー配列において奇数ラインに含まれる第１の緑成分で構成される第１の画素プレーンと偶数ラインに含まれる第２の緑成分で構成される第２の画素プレーンとによって緑画素プレーンを生成し、前記ベイヤー配列における赤成分で構成される赤画素プレーンおよび青成分で構成される青画素プレーンと前記緑画素プレーンとを有する符号化対象画像データを生成する生成手段と、
   前記符号化対象画像データを符号化して符号化画像データを得る符号化手段と、
   を有し、
   前記生成手段は、前記第１の画素プレーンと前記第２の画素プレーンとを水平又は垂直方向に並べて前記緑画素プレーンとして第１の画素配列の緑画素プレーンを生成するとともに、前記第１の画素プレーンの画素と前記第２の画素プレーンの画素とを画素単位で交互に水平又は垂直方向に並べて前記緑画素プレーンとして第２の画素配列の緑画素プレーンを生成し、
   前記第１の画素配列を前記第２の画素配列に変換する変換手段をさらに有することを特徴とする画像符号化装置。
2. 前記画像データを画面内予測符号化する際、前記符号化手段は前記第１の画素配列の符号化対象画像データを符号化することを特徴とする請求項１に記載の画像符号化装置。
3. 前記画像データを画面内予測符号化する際、前記生成手段は前記第１の画素配列の符号化対象画像データを生成し、
   前記変換手段は前記第１の画素配列を第２の画素配列に変換することを特徴とする請求項１に記載の画像符号化装置。
4. 前記画像データを画面間予測符号化する際、前記生成手段は前記第２の画素配列の符号化対象画像データを生成することを特徴とする請求項１に記載の画像符号化装置。
5. 請求項１に記載の画像符号化装置によって得られた符号化画像データを復号する画像復号化装置であって、
   前記符号化画像データを復号することにより、ベイヤー配列において奇数ラインに含まれる第１の緑成分で構成される第１の画素プレーンと偶数ラインに含まれる第２の緑成分で構成される第２の画素プレーンとによって緑画素プレーンと、ベイヤー配列における赤成分で構成される赤画素プレーンと、青成分で構成される青画素プレーンとを得る復号手段と、
   前記復号手段により得られた前記緑画素プレーンを、前記第１の緑成分の画素と前記第２の緑成分とが所定の配置となるように変換する変換手段と、
   を有することを特徴とする画像復号化装置。
6. 前記復号手段は、前記第１の画素プレーンと前記第２の画素プレーンが水平又は垂直方向に並べられた第１の画素配列の緑画素プレーンを得ることを特徴とする請求項５に記載の画像復号化装置。
7. 前記変換手段は、前記第１の画素プレーンの画素と前記第２の画素プレーンの画素とを画素単位で交互に水平又は垂直方向に配置されるように変換し、第２の画素配列の緑画素プレーンを生成することを特徴とする請求項６に記載の画像復号化装置。
8. ベイヤー配列を有する画像データを符号化する画像符号化装置の制御方法であって、
   前記画像データを用いて、前記ベイヤー配列において奇数ラインに含まれる第１の緑成分で構成される第１の画素プレーンと偶数ラインに含まれる第２の緑成分で構成される第２の画素プレーンとによって緑画素プレーンを生成し、前記ベイヤー配列における赤成分で構成される赤画素プレーンおよび青成分で構成される青画素プレーンと前記緑画素プレーンとを有する符号化対象画像データを生成する生成ステップと、
   前記符号化対象画像データを符号化して符号化画像データを得る符号化ステップと、
   を有し、
   前記生成ステップでは、前記第１の画素プレーンと前記第２の画素プレーンとを水平又は垂直方向に並べて前記緑画素プレーンとして第１の画素配列の緑画素プレーンを生成するとともに、前記第１の画素プレーンの画素と前記第２の画素プレーンの画素とを画素単位で交互に水平又は垂直方向に並べて前記緑画素プレーンとして第２の画素配列の緑画素プレーンを生成し、
   前記第１の画素配列を前記第２の画素配列に変換する変換ステップをさらに有することを特徴とする制御方法。
9. ベイヤー配列を有する画像データを符号化する画像符号化装置で用いられる制御プログラムであって、
   前記画像符号化装置が備えるコンピュータに、
   前記画像データを用いて、前記ベイヤー配列において奇数ラインに含まれる第１の緑成分で構成される第１の画素プレーンと偶数ラインに含まれる第２の緑成分で構成される第２の画素プレーンとによって緑画素プレーンを生成し、前記ベイヤー配列における赤成分で構成される赤画素プレーンおよび青成分で構成される青画素プレーンと前記緑画素プレーンとを有する符号化対象画像データを生成する生成ステップと、
   前記符号化対象画像データを符号化して符号化画像データを得る符号化ステップと、
   を実行させ、
   前記生成ステップでは、前記第１の画素プレーンと前記第２の画素プレーンとを水平又は垂直方向に並べて前記緑画素プレーンとして第１の画素配列の緑画素プレーンを生成するとともに、前記第１の画素プレーンの画素と前記第２の画素プレーンの画素とを画素単位で交互に水平又は垂直方向に並べて前記緑画素プレーンとして第２の画素配列の緑画素プレーンを生成し、
   前記コンピュータに、前記第１の画素配列を前記第２の画素配列に変換する変換ステップをさらに実行させることを特徴とする制御プログラム。
10. 請求項１に記載の画像符号化装置によって得られた符号化画像データを復号する画像復号化装置の制御方法であって、
    前記符号化画像データを復号することにより、ベイヤー配列において奇数ラインに含まれる第１の緑成分で構成される第１の画素プレーンと偶数ラインに含まれる第２の緑成分で構成される第２の画素プレーンとによって緑画素プレーンと、ベイヤー配列における赤成分で構成される赤画素プレーンと、青成分で構成される青画素プレーンとを得る復号ステップと、
    前記復号ステップで得た前記緑画素プレーンを、前記第１の緑成分の画素と前記第２の緑成分とが所定の配置となるように変換する変換ステップと、
    を有することを特徴とする制御方法。
11. 請求項１に記載の画像符号化装置によって得られた符号化画像データを復号する画像復号化装置で用いられる制御プログラムであって、
    前記画像復号化装置が備えるコンピュータに、
    前記符号化画像データを復号することにより、ベイヤー配列において奇数ラインに含まれる第１の緑成分で構成される第１の画素プレーンと偶数ラインに含まれる第２の緑成分で構成される第２の画素プレーンとによって緑画素プレーンと、ベイヤー配列における赤成分で構成される赤画素プレーンと、青成分で構成される青画素プレーンとを得る復号ステップと、
    前記復号ステップで得た前記緑画素プレーンを、前記第１の緑成分の画素と前記第２の緑成分とが所定の配置となるように変換する変換ステップと、
    を実行させることを特徴とする制御プログラム。

Images