WO2019142821A1

WO2019142821A1 - 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

Info

Publication number: WO2019142821A1
Application number: PCT/JP2019/001083
Authority: WO
Inventors: 安藤　一郎
Original assignee: 株式会社ニコン
Priority date: 2018-01-16
Filing date: 2019-01-16
Publication date: 2019-07-25
Also published as: CN111869213A; EP3742732A4; EP3742732A1; US20210014530A1; JPWO2019142821A1

Abstract

符号化装置は、第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置されたＲＡＷ画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する生成部と、前記生成部によって生成された第１画像データに基づいて、前記生成部によって生成された第２画像データを符号化する符号化部と、を有する。

Description

符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

参照による取り込み

　本出願は、平成３０年（２０１８年）１月１６日に出願された日本出願である特願２０１８－００５２１１の優先権を主張し、その内容を参照することにより、本出願に取り込む。

　本発明は、符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラムに関する。

　画像を色成分毎に圧縮する技術がある（たとえば、下記特許文献１を参照。）。しかしながら、上述した従来技術では、成分フレーム間の相関性が活用されていない。

特開２００２－１２５２４１号公報

　本発明の一側面となる符号化装置は、第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置されたＲＡＷ画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する生成部と、前記生成部によって生成された第１画像データに基づいて、前記生成部によって生成された第２画像データを符号化する符号化部と、を有する。

　本発明の他の側面となる符号化装置は、第１色成分の光を光電変換する光電変換部と前記第１色成分とは異なる第２色成分を光電変換する光電変換部とが繰り返し配置された撮像素子からの出力に基づくＲＡＷ画像データから、前記第１色成分により構成される第１画像データと、前記第２色成分により構成される第２画像データと、を生成する生成部と、前記生成部によって生成された第１画像データに基づいて、前記生成部によって生成された第２画像データを符号化する符号化部と、を有する。

　本発明の一側面となる復号装置は、第１色成分の画素群により構成される第１画像データを符号化した第１符号化画像データと、前記第１色成分とは異なる第２色成分の画素群により構成される第２画像データを前記第１画像データに基づいて符号化した第２符号化画像データと、を取得する取得部と、前記取得部によって取得された第１符号化画像データを前記第１画像データに復号するとともに、前記第１画像データに基づいて、前記取得部によって取得された第２符号化画像データを前記第２画像データに復号する復号部と、前記復号部によって復号された第１画像データおよび第２画像データに基づいて、前記第１色成分と前記第２色成分とが繰り返し配置されたＲＡＷ画像データを生成する生成部と、を有する。

　本発明の一側面となる符号化方法は、第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置されたＲＡＷ画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する生成処理と、前記生成処理によって生成された第１画像データに基づいて、前記生成処理によって生成された第２画像データを符号化する符号化処理と、を有する。

　本発明の一側面となる復号方法は、第１色成分の画素群により構成される第１画像データを符号化した第１符号化画像データと、前記第１色成分とは異なる第２色成分の画素群により構成される第２画像データを前記第１画像データに基づいて符号化した第２符号化画像データと、を取得する取得処理と、前記取得処理によって取得された第１符号化画像データを前記第１画像データに復号するとともに、前記第１画像データに基づいて、前記取得処理によって取得された第２符号化画像データを前記第２画像データに復号する復号処理と、前記復号処理によって復号された第１画像データおよび第２画像データに基づいて、前記第１色成分と前記第２色成分とが繰り返し配置されたＲＡＷ画像データを生成する生成処理と、を有する。

図１は、実施例１にかかる符号化および復号例を示す説明図である。図２は、図１に示した色配列の例を示す説明図である。図３は、情報処理装置のハードウェア構成例を示すブロック図である。図４は、実施例１にかかる符号化装置の機能的構成例を示すブロック図である。図５は、第１生成部による成分フレームの生成例を示す説明図である。図６は、符号化部の構成例を示すブロック図である。図７は、成分フレームの参照方向例を示す説明図である。図８は、動きベクトルの検出例を示す説明図である。図９は、成分フレーム間での画素位置補償予測例１を示す説明図である。図１０は、成分フレーム間での画素位置補償予測例２を示す説明図である。図１１は、成分フレーム間での画素位置補償予測例３を示す説明図である。図１２は、成分フレーム間での画素位置補償予測例４を示す説明図である。図１３は、成分フレーム間での画素位置補償予測例５を示す説明図である。図１４は、成分フレーム間での画素位置補償予測例６を示す説明図である。図１５は、成分フレーム間での画素位置補償予測例７を示す説明図である。図１６は、成分フレーム間での画素位置補償予測例４を示す説明図である。図１７は、符号化成分フレームのデータ構造例を示す説明図である。図１８は、符号化装置による符号化処理手順例を示すフローチャートである。図１９は、復号装置の機能的構成例を示すブロック図である。図２０は、復号部の構成例を示すブロック図である。図２１は、復号装置による復号処理手順例を示すフローチャートである。図２２は、実施例２にかかる符号化および復号例を示す説明図である。図２３は、実施例２にかかる符号化装置の機能的構成例を示すブロック図である。図２４は、実施例２にかかる符号化装置による符号化処理手順例を示すフローチャートである。図２５は、実施例２にかかる復号装置の機能的構成例を示すブロック図である。図２６は、実施例２にかかる復号装置による復号処理手順例を示すフローチャートである。図２７は、実施例３にかかる符号化および復号例を示す説明図である。図２８は、成分フレームの参照方向例を示す説明図である。図２９は、スライス単位の符号化例を示す説明図である。図３０は、実施例４にかかる符号化および復号例を示す説明図である。

　以下、添付図面を用いて、各実施例について説明する。なお、各実施例で符号化の対象となる画像データは、ＲＡＷ画像データである。ＲＡＷ画像データは、たとえば、ベイヤ配列のカラーフィルタが実装された撮像素子において光電変換された結果出力される加工前の画像データであり、色補間処理や圧縮処理（たとえば、静止画であれば、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式、動画であれば、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式）がされていない画像データである。ただし、ホワイトバランス調整はＲＡＷ画像データにされていてもよい。

　＜符号化および復号例＞
　図１は、実施例１にかかる符号化および復号例を示す説明図である。（Ａ）分離および（Ｂ）符号化は符号化装置によって実行され、（Ｃ）復号および（Ｄ）合成は復号装置によって実行される。ＲＡＷ画像データ１００は、複数の色成分を有する色配列１０１が周期的に配置された画像データである。たとえば、ベイヤ配列の場合、色配列１０１は、２×２画素の配列において、左上が緑（Ｇ１）、右上が青（Ｂ）、左下が赤（Ｒ）、右下が緑（Ｇ２）の色成分となる。色配列１０１の他の例は、図２で後述する。

　（Ａ）符号化装置は、ＲＡＷ画像データ１００から色成分ごとに成分フレームを生成する。具体的には、たとえば、符号化装置は、緑（Ｇ１）の色成分フレームであるＧ１画像データ１１１、緑（Ｇ２）の色成分フレームであるＧ２画像データ１１２、青（Ｂ）の色成分フレームであるＢ画像データ１１３、赤（Ｒ）の色成分フレームであるＲ画像データ１１４を生成する。

　Ｇ１画像データ１１１は、ＲＡＷ画像データ１００における色配列１０１の各々からのＧ１画素群により構成される画像データである。Ｇ２画像データ１１２は、ＲＡＷ画像データ１００における色配列１０１の各々からのＧ２画素群により構成される画像データである。Ｂ画像データ１１３は、ＲＡＷ画像データ１００における色配列１０１の各々からのＢ画素群により構成される画像データである。Ｒ画像データ１１４は、ＲＡＷ画像データ１００における色配列１０１の各々からのＲ画素群により構成される画像データである。

　（Ｂ）符号化装置は、各色成分フレームを成分フレーム間で符号化する。具体的には、たとえば、符号化装置は、成分フレーム群の１つをフレーム内予測符号化で符号化してＩピクチャを生成し、残余の成分フレーム群をフレーム間予測符号化で符号化してＰピクチャまたはＢピクチャを生成する。ここでは、符号化により、Ｇ１画像データ１１１は、Ｇ１符号化画像データ１２１となり、Ｇ２画像データ１１２は、Ｇ２符号化画像データ１２２となり、Ｂ画像データ１１３は、Ｂ符号化画像データ１２３となり、Ｒ画像データ１１４は、Ｒ符号化画像データ１２４となる。

　（Ｃ）復号装置は、符号化された成分フレーム群を復号する。具体的には、たとえば、復号装置は、Ｉピクチャを復号し、その後、後続のＰピクチャまたはＢピクチャを順次復号して、他の成分フレームを生成する。すなわち、復号装置は、Ｇ１符号化画像データ１２１、Ｇ２符号化画像データ１２２、Ｂ符号化画像データ１２３、およびＲ符号化画像データ１２４を復号して、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４を生成する。

　（Ｄ）復号装置は、復号された成分フレーム群を合成して、ＲＡＷ画像データ１００を生成する。具体的には、たとえば、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４の同一位置の画素Ｇ１、Ｇ２、Ｂ、Ｒを色配列１０１に従って並べることで、ＲＡＷ画像データ１００を復元する。

　このように、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、ＲＡＷ画像データ１００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００に復元することができる。

　図２は、図１に示した色配列の例を示す説明図である。（ａ）は図１に示した色配列１０１と同一の色配列を示す。（ｂ）は、（ａ）においてＢ画素とＲ画素の位置が入れ替わった色配列２０１を示す。（ｃ）は、（ａ）において左半分の画素列（Ｇ１、Ｒ）と右半分の画素列（Ｂ、Ｇ２）とが入れ替わった色配列２０２を示す。（ｄ）は、（ｂ）において左半分の画素列（Ｇ１、Ｂ）と右半分の画素列（Ｒ、Ｇ２）とが入れ替わった色配列２０３を示す。（ｅ）は、６×６画素の色配列２０４の一例を示す。（ｅ）の色配列２０４は、縦（６画素）、横（６画素）、斜め（３画素以上）のどの方向からの画素列にも緑の画素が含まれる。なお、以降、色配列の一例として（ａ）の色配列１０１を用いて説明する。

　＜情報処理装置のハードウェア構成例＞
　図３は、情報処理装置のハードウェア構成例を示すブロック図である。情報処理装置３００は、符号化装置および復号装置のいずれか一方、または両方を含む装置である。情報処理装置３００は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置であってもよく、パーソナルコンピュータやタブレット、スマートフォン、ゲーム機でもよい。

　情報処理装置３００は、プロセッサ３０１と、記憶デバイス３０２と、操作デバイス３０３と、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）３０４と、撮像ユニット３０５と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３０６と、を有する。これらは、バス３０８により接続されている。プロセッサ３０１は、情報処理装置３００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。

　記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリがある。操作デバイス３０３は、データを操作する。操作デバイス３０３としては、たとえば、ボタン、スイッチ、タッチパネルがある。

　ＬＳＩ３０４は、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。

　撮像ユニット３０５は、被写体を撮像してＲＡＷ画像データを生成する。撮像ユニット３０５は、撮像光学系３５１と、カラーフィルタ３５２を有する撮像素子３５３と、信号処理回路３５４と、を有する。

　撮像光学系３５１は、たとえば、ズームレンズやフォーカスレンズを含む複数のレンズで構成されている。なお、簡単のため、図３では撮像光学系３５１を１枚のレンズで図示する。

　撮像素子３５３は、撮像光学系３５１を通過した光束による被写体の結像を撮像（撮影）するデバイスである。撮像素子３５３は、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ）であってもよく、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ）であってもよい。

　撮像素子３５３の受光面には、光電変換部を有する画素がマトリクス状に配列されている。そして、撮像素子３５３の各画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタ３５２が所定の色配列１０１に従って配置される。そのため、撮像素子３５３の各画素は、カラーフィルタ３５２での色分解によって各色成分に対応する電気信号を出力する。

　実施例１では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタ３５２が２行２列のベイヤ配列にしたがって受光面に周期的に配置されている。一例として、撮像素子３５３の色配列１０１の奇数行にはＧ，Ｂの画素が交互に並ぶとともに、色配列１０１の偶数行にはＲ，Ｇの画素が交互に並んでいる。そして、色配列１０１の全体では緑色画素が市松模様をなすように配置されている。これにより、撮像素子３５３は、撮影時にカラーの画像を取得することができる。

　信号処理回路３５４は、撮像素子３５３から入力される画像信号に対して、アナログ信号処理（相関二重サンプリング、黒レベル補正など）と、Ａ／Ｄ変換処理と、デジタル信号処理（欠陥画素補正など）とを順次実行する。信号処理回路３５４から出力されるＲＡＷ画像データ１００は、ＬＳＩ３０４または記憶デバイス３０２に入力される。通信ＩＦ３０６は、ネットワークを介して外部装置と接続し、データを送受信する。

　＜符号化装置の機能的構成例＞
　図４は、実施例１にかかる符号化装置の機能的構成例を示すブロック図である。符号化装置４００は、第１生成部４０１と、符号化部４０２と、記録部４０３と、を有する。第１生成部４０１は、ＲＡＷ画像データ１００から色成分ごとの成分フレームを生成し、符号化部４０２は、成分フレームを符号化し、記録部４０３は、符号化成分フレームを記憶デバイス３０２に記録する。

　第１生成部４０１、符号化部４０２、および記録部４０３は、具体的には、たとえば、記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより、または、ＬＳＩ３０４により実現される機能である。

　第１生成部４０１は、第１色成分と第１色成分とは異なる第２色成分とが繰り返し配置されたＲＡＷ画像データから、第１色成分の画素群により構成される第１画像データと、第２色成分の画素群により構成される第２画像データと、を生成する。換言すれば、第１生成部４０１は、第１色成分の光を光電変換する光電変換部を有する画素と第１色成分とは異なる第２色成分を光電変換する光電変換部を有する画素とが繰り返し配置された撮像素子３５３からの出力に基づくＲＡＷ画像データ１００から、第１色成分により構成される第１画像データと、第２色成分により構成される第２画像データと、を生成する。たとえば、ＲＡＷ画像データ１００は、撮像素子３５３から直接出力された画像データでもよく、複製されたＲＡＷ画像データ１００でもよい。

　上述したように、色配列１０１は、３種類４つの色成分である緑（Ｇ１）、緑（Ｇ２）、青（Ｂ）、および赤（Ｒ）を有する。

　ここで、第１色成分とは、色配列１０１を構成する緑（Ｇ１）、緑（Ｇ２）、青（Ｂ）、および赤（Ｒ）の中のいずれか１つである。第２色成分は、第１色成分が緑（Ｇ１）または緑（Ｇ２）であれば青（Ｂ）または赤（Ｒ）であり、第１色成分が青（Ｂ）であれば緑（Ｇ１）、緑（Ｇ２）、および赤（Ｒ）の中のいずれか１つであり、第１色成分が赤（Ｒ）であれば緑（Ｇ１）、緑（Ｇ２）、および青（Ｂ）の中のいずれか１つである。

　第１画像データは、第１色成分が緑（Ｇ１）であればＧ１画像データ１１１であり、第１色成分が緑（Ｇ２）であればＧ２画像データ１１２であり、第１色成分が青（Ｂ）であればＢ画像データ１１３であり、第１色成分が赤（Ｒ）であればＲ画像データ１１４である。

　これに対し、第２画像データは、第１画像データがＧ１画像データ１１１またはＧ２画像データ１１２であれば、Ｂ画像データ１１３またはＲ画像データ１１４であり、第１画像データがＢ画像データ１１３であれば、Ｇ１画像データ１１１、Ｇ２画像データ１１２、およびＲ画像データ１１４のいずれか１つであり、第１画像データがＲ画像データ１１４であれば、Ｇ１画像データ１１１、Ｇ２画像データ１１２、およびＢ画像データ１１３のいずれか１つである。

　また、ＲＡＷ画像データ１００は、第１色成分および第２色成分のうちいずれか一方の色成分と同一、または、第１色成分および第２色成分とは異なる、第３色成分を有する。具体的には、たとえば、第３色成分は、第１色成分が緑（Ｇ１）、第２色成分が青（Ｂ）であれば、第１色成分の緑（Ｇ１）と同一色成分である緑（Ｇ２）、または、第１色成分および第２色成分とは異なる色成分である赤（Ｒ）となる。また、第３色成分は、第１色成分が緑（Ｇ２）、第２色成分が青（Ｂ）であれば、第１色成分の緑（Ｇ２）と同一色成分である緑（Ｇ１）、または、第１色成分および第２色成分とは異なる色成分である赤（Ｒ）となる。

　また同様に、第３色成分は、第１色成分が緑（Ｇ１）、第２色成分が赤（Ｒ）であれば、第１色成分の緑（Ｇ１）と同一色成分である緑（Ｇ２）、または、第１色成分および第２色成分とは異なる色成分である青（Ｂ）となる。また、第３色成分は、第１色成分が緑（Ｇ２）、第２色成分が赤（Ｒ）であれば、第１色成分の緑（Ｇ２）と同一色成分である緑（Ｇ１）、または、第１色成分および第２色成分とは異なる色成分である青（Ｂ）となる。

　第３画像データは、第１画像データがＧ１画像データ１１１であり、かつ、第２画像データがＢ画像データ１１３であれば、Ｇ２画像データ１１２またはＲ画像データ１１４である。また、第３画像データは、第１画像データがＧ２画像データ１１２であり、かつ、第２画像データがＢ画像データ１１３であれば、Ｇ１画像データ１１１またはＲ画像データ１１４である。

　第３画像データは、第１画像データがＧ１画像データ１１１であり、かつ、第２画像データがＲ画像データ１１４であれば、Ｇ２画像データ１１２またはＢ画像データ１１３である。また、第３画像データは、第１画像データがＧ２画像データ１１２であり、かつ、第２画像データがＲ画像データ１１４であれば、Ｇ１画像データ１１１またはＢ画像データ１１３である。

　なお、第４色成分は、残余の色成分となり、第１生成部４０１は、ＲＡＷ画像データ１００のうち残余の色成分の画素群から、残余の色成分の第４画像データを生成する。

　図５は、第１生成部４０１による成分フレームの生成例を示す説明図である。（ａ）は、符号化対象であるＲＡＷ画像データ１００である。なお、ＲＡＷ画像データ１００の水平方向画素数をＨ（図５では、Ｈ＝８）とし、垂直方向画素数をＶ（図５では、Ｖ＝８）とする。

　（ｂ）～（ｅ）は、ＲＡＷ画像データ１００の色成分の並べ替えで生成される成分フレームを示す。（ｂ）の成分フレームはＧ１画像データ１１１であり、（ｃ）の成分フレームはＧ２画像データ１１２であり、（ｄ）の成分フレームはＢ画像データ１１３であり、（ｅ）の成分フレームはＲ画像データ１１４である。

　第１生成部４０１は、図１の（Ａ）分離を実行することにより、ＲＡＷ画像データ１００から分離したＧ１画素，Ｂ画素，Ｒ画素，Ｇ２画素を、色配列１０１の位置に応じて並べ替える。これにより、第１生成部４０１は、１つのＲＡＷ画像データ１００から、Ｇ１画像データ１１１，Ｇ２画像データ１１２，Ｂ画像データ１１３，Ｒ画像データ１１４の４つの成分フレームを生成する。なお、Ｇ１画像データ１１１，Ｇ２画像データ１１２，Ｂ画像データ１１３，Ｒ画像データ１１４は、それぞれＲＡＷ画像データ１００の１／４の画像サイズ（Ｖ／２×Ｈ／２）となる。

　図４に戻り、符号化部４０２は、第１生成部４０１によって生成された第１画像データに基づいて、第１生成部４０１によって生成された第２画像データを符号化する。具体的には、たとえば、符号化部４０２は、第１画像データと第２画像データとの間で画素位置を補償することにより、第２画像データを符号化する。ここで、「画素位置の補償」とは、第２画像データの注目画素を、注目画素とは異なる位置における第１画像データ内の特定の参照画素で補償することである。

　ＲＡＷ画像データ１００の同じ色配列１０１から抽出されたＧ１画素、Ｇ２画素、Ｂ画素、およびＲ画素は、各成分フレーム（Ｇ１画像データ１１１，Ｇ２画像データ１１２，Ｂ画像データ１１３，Ｒ画像データ１１４）で同じ画素位置にそれぞれ配置される。しかし、成分フレーム間では色配列１０１での画素位置の違いによる絵柄のズレが生じる。そのため、符号化部４０２は、通常の符号化処理における時間軸方向でのフレーム間の動き補償と同様、同一のＲＡＷ画像データ１００から生成された成分フレーム間での画素位置補償を実行することになる。

　ここで、画素位置補償予測を行う符号化方式としては、たとえば、ＩＳＯ／ＩＥＣ１４４９６－１０に規定されるＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）などが知られている。符号化部４０２は、特定の成分フレーム（たとえば、Ｇ１画像データ１１１）についてフレーム内予測符号化を実行してＩピクチャを生成するとともに、残余の成分フレーム（たとえば、Ｇ２画像データ１１２、Ｂ画像データ１１３、Ｒ画像データ１１４）についてフレーム間予測符号化を実行してＰピクチャまたはＢピクチャを生成する。

　Ｉピクチャは、成分フレーム内のみで完結する符号化により得られる符号化画像データである。Ｐピクチャは、参照成分フレーム最大１枚を用いる成分フレーム間予測符号化により得られる符号化画像データである。Ｂピクチャは、参照成分フレーム最大２枚を用いる成分フレーム間予測符号化により得られる符号化画像データである。以下、符号化部４０２の詳細な構成例について説明する。

　＜符号化部４０２の構成例＞
　図６は、符号化部４０２の構成例を示すブロック図である。符号化部４０２は、第１蓄積部６０１と、減算部６０２と、直交変換部６０３と、量子化部６０４と、可変長符号化部６０５と、逆量子化部６０６と、逆直交変換部６０７と、加算部６０８と、第２蓄積部６０９と、位置ずれ検出部６１０と、第１画素位置補償部６１１と、を有する。

　第１蓄積部６０１は、第１生成部４０１から出力される各成分フレーム（Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、Ｒ画像データ１１４）を蓄積する。第１蓄積部６０１に蓄積された成分フレームは、符号化対象の画像データとして入力順に減算部６０２へ出力される。なお、符号化の完了した画像データは第１蓄積部６０１から順次消去される。

　減算部６０２は、ＰピクチャまたはＢピクチャを生成するときには、入力された原画像の成分フレームと、第１画素位置補償部６１１で生成された後述の予測値との差分信号（予測誤差値）を出力する。また、減算部６０２は、Ｉピクチャを生成するときには、入力された原画像の成分フレームをそのまま出力する。

　直交変換部６０３は、Ｉピクチャを生成するときには、減算部６０２をスルーして入力された原画像の成分フレームに対して直交変換を行う。また、直交変換部６０３は、ＰピクチャまたはＢピクチャを生成するときには、上述した差分信号に対して直交変換をおこなう。

　量子化部６０４は、直交変換部６０３から入力されたブロック単位の周波数係数（直交変換係数）を量子化係数に変換する。量子化部６０４の出力は、可変長符号化部６０５および逆量子化部６０６にそれぞれ入力される。

　可変長符号化部６０５は、量子化係数や、位置ずれ検出部６１０からの位置ずれに関する動きベクトル（以下、単に「動きベクトル」）を可変長符号化し、符号化成分フレーム（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を出力する。

　逆量子化部６０６は、符号化の単位であるブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部６０７は、逆量子化部６０６で復号された周波数係数を逆直交変換して予測誤差値（または原画像の成分フレーム）を復号する。

　加算部６０８は、復号された予測誤差値と、第１画素位置補償部６１１で生成された後述の予測値とを加算する。そして、加算部６０８から出力されたピクチャの復号値（参照成分フレーム）は第２蓄積部６０９に蓄積される。なお、以後の画素位置補償予測で参照されない成分フレームは第２蓄積部６０９から順次消去される。

　位置ずれ検出部６１０は、第２蓄積部６０９の参照画像を用いて、符号化対象の成分フレームを予測するための画素位置のずれを示す動きベクトルを検出する。動きベクトルは、第１画素位置補償部６１１および可変長符号化部６０５に出力される。

　第１画素位置補償部６１１は、動きベクトルおよび参照成分フレームに基づいて、符号化対象の成分フレームをブロック単位で予測した予測値を出力する。この予測値は、減算部６０２および加算部６０８に出力される。

　なお、或るブロックについて画素位置補償予測を行う場合、符号化対象の成分フレームが予測値と完全に一致すると動きベクトルのみが符号化される。また、符号化対象の成分フレームが予測値と部分的に一致する場合、動きベクトルと差分画像が符号化される。また、符号化対象の成分フレームが予測値からすべて外れる場合には、ブロック全体分の画像がすべて符号化される。

　＜成分フレームの参照方向例＞
　図７は、成分フレームの参照方向例を示す説明図である。（Ａ）は、同一ＲＡＷ画像データ１００からの成分フレームの入力順が、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４である場合の参照方向を示す。先頭のＧ１画像データ１１１はＩピクチャに符号化される。次に入力されるＧ２画像データ１１２は、先行するＧ１画像データ１１１を参照成分フレームとしてフレーム間予測符号化によりＰピクチャに符号化される。

　次に入力されるＢ画像データ１１３は、ブロック毎に先行するＧ１画像データ１１１およびＧ２画像データ１１２のうち少なくとも一方の成分フレームを参照成分フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。最後に入力されるＲ画像データ１１４は、ブロック毎に先行するＧ１画像データ１１１、Ｇ２画像データ１１２、およびＢ画像データ１１３のうち少なくとも一つの成分フレームを参照成分フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　（Ｂ）は、同一ＲＡＷ画像データ１００からの成分フレームの入力順が、Ｂ画像データ１１３、Ｒ画像データ１１４、Ｇ１画像データ１１１、およびＧ２画像データ１１２である場合の参照方向を示す。先頭のＢ画像データ１１３はＩピクチャに符号化される。次に入力されるＲ画像データ１１４は、先行するＢ画像データ１１３を参照成分フレームとしてフレーム間予測符号化によりＰピクチャに符号化される。

　次に入力されるＧ１画像データ１１１は、先行するＢ画像データ１１３およびＲ画像データ１１４のうち少なくとも一方の成分フレームを参照成分フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。最後に入力されるＧ２画像データ１１２は、先行するＢ画像データ１１３、Ｒ画像データ１１４、およびＧ１画像データ１１１のうち少なくとも一つの成分フレームを参照成分フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　なお、図７の参照方向は一例であり、（Ａ），（Ｂ）以外の成分フレームの入力順でも符号化が可能である。すなわち、先頭の成分フレームがＩピクチャに符号化され、後続の成分フレームがＰピクチャまたはＢピクチャに符号化される。また、この符号化部４０２は、色成分に依存しない撮像素子３５３の画素からの輝度値を用いているため、異なる色成分を参照フレームとしても符号化することができる。

　＜動きベクトルの検出例＞
　図８は、動きベクトルの検出例を示す説明図である。（Ａ）は、ＲＡＷ画像データ１００および成分フレームを示し、（Ｂ）～（Ｍ）は、動きベクトルの検出例を示す。図８では、説明を単純化するため、（Ａ）に示すように、ＲＡＷ画像データ１００を、Ｈ＝４画素、Ｖ＝４画素のフレームとする。また、他の同一色成分と区別するため、色成分の符号の末尾にａ～ｄ、ｘを付す。

　また、予測先の成分フレームの注目画素の位置に対する参照成分フレームの参照画素の位置ずれを、動きベクトルＶ（ｘ，ｙ）とする。動きベクトルＶ（ｘ，ｙ）は、右方向のずれによりｘが増加し、左方向のずれによりｘが減少し、下方向のずれによりｙが増加し、上方向のずれによりｙが減少する。図８中、動きベクトルＶ（ｘ，ｙ）を黒矢印で示す。

　（Ｂ）～（Ｅ）は、参照成分フレームをＢ画像データ１１３とし、予測先の成分フレームをＲ画像データ１１４とし、注目画素をＲ画像データ１１４の画素Ｒｘとした場合の動きベクトルＶ（Ｒｘ）の検出例を示す。（Ｂ）～（Ｅ）では、位置ずれ検出部６１０は、１つの参照画素で注目画素を予測するための動きベクトルを検出する。これにより、Ｒ画像データ１１４をＰピクチャに符号化することができる。

　（Ｂ）において、Ｂ画像データ１１３の参照画素を画素Ｂｂとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。すなわち、参照画素Ｂｂと注目画素Ｒｘには位置ずれが生じていない。したがって、画素Ｂｂで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，０）となる。すなわち、動きベクトルＶ（Ｂ）は検出されない。

　（Ｃ）において、Ｂ画像データ１１３の参照画素を画素Ｂａとする。注目画素Ｒｘは、参照画素Ｂａから右方向に１画素分ずれた画素位置である。すなわち、参照画素Ｂａと注目画素Ｒｘには位置ずれが生じている。したがって、参照画素Ｂａで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－１，０）として検出される。

　（Ｄ）において、Ｂ画像データ１１３の参照画素を画素Ｂｄとする。注目画素Ｒｘは、参照画素Ｂｄから上方向に１画素分ずれた画素位置である。すなわち、参照画素Ｂｄと注目画素Ｒｘには位置ずれが生じている。したがって、参照画素Ｂｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，１）として検出される。

　（Ｅ）において、Ｂ画像データ１１３の参照画素を画素Ｂｃとする。注目画素Ｒｘは、参照画素Ｂｃから右方向に１画素、上方向に１画素分ずれた画素位置である。すなわち、参照画素Ｂｃと注目画素Ｒｘには位置ずれが生じている。したがって、参照画素Ｂｃで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－１，１）として検出される。

　（Ｆ）～（Ｊ）は、参照成分フレームをＢ画像データ１１３とし、予測先の成分フレームをＲ画像データ１１４とし、注目画素をＲ画像データ１１４の画素Ｒｘとした場合の動きベクトルＶ（Ｂ）の検出例を示す。（Ｆ）～（Ｊ）では、位置ずれ検出部６１０は、同一色成分の複数の参照画素で注目画素を予測するための動きベクトルを検出する。これにより、Ｒ画像データ１１４をＰピクチャに符号化することができる。

　（Ｆ）において、Ｂ画像データ１１３の参照画素を画素Ｂａ～Ｂｄとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂａ～Ｂｄで予測する場合、平均的な参照画素位置は、参照画素Ｂａ～Ｂｄの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂａ～Ｂｄの中心から右方向に０．５画素、上方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｂａ～Ｂｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０．５）として検出される。

　（Ｇ）において、Ｂ画像データ１１３の参照画素を画素Ｂｂ，Ｂｄとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂｂ，Ｂｄで予測する場合、平均的な参照画素位置は、参照画素Ｂｂ，Ｂｄの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂｂ，Ｂｄの中心から上方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｂｂ，Ｂｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，０．５）として検出される。

　（Ｈ）において、Ｂ画像データ１１３の参照画素を画素Ｂａ，Ｂｃとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂａ，Ｂｃで予測する場合、平均的な参照画素位置は、参照画素Ｂａ，Ｂｃの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂａ，Ｂｃの中心から右方向に１画素、上方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｂａ，Ｂｃで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－１，０．５）として検出される。

　（Ｉ）において、Ｂ画像データ１１３の参照画素を画素Ｂａ，Ｂｂとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂａ，Ｂｂで予測する場合、平均的な参照画素位置は、参照画素Ｂａ，Ｂｂの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂａ，Ｂｂの中心から右方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｂａ，Ｂｂで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０）として検出される。

　（Ｊ）において、Ｂ画像データ１１３の参照画素を画素Ｂｃ，Ｂｄとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂｃ，Ｂｄで予測する場合、平均的な参照画素位置は、参照画素Ｂｃ，Ｂｄの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂｃ，Ｂｄの中心から右方向に０．５画素、上方向に１画素分ずれた画素位置である。したがって、参照画素Ｂｃ，Ｂｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，１）として検出される。

　（Ｋ）～（Ｍ）は、参照成分フレームをＧ１画像データ１１１または／およびＧ２画像データ１１２とし、予測先の成分フレームをＲ画像データ１１４とし、注目画素をＲ画像データ１１４の画素Ｒｘとした場合の動きベクトルＶの検出例を示す。（Ｋ）～（Ｍ）では、位置ずれ検出部６１０は、同一色成分または異なる色成分の複数の参照画素で注目画素を予測するための動きベクトルを検出する。これにより、Ｒ画像データ１１４をＰピクチャまたはＢピクチャに符号化することができる。

　（Ｋ）において、Ｇ１画像データ１１１の参照画素を画素Ｇ１ｂ，Ｇ１ｄとする。注目画素Ｒｘは、参照画素Ｇ１ｂと同じ画素位置である。参照画素Ｇ１ｂ，Ｇ１ｄで予測する場合、平均的な参照画素位置は、参照画素Ｇ１ｂ，Ｇ１ｄの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｇ１ｂ，Ｇ１ｄの中心から上方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｇ１ｂ，Ｇ１ｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０，０．５）として検出される。

　（Ｌ）において、Ｇ２画像データ１１２の参照画素を画素Ｇ２ａ，Ｇ２ｂとする。注目画素Ｒｘは、参照画素Ｇ２ｂと同じ画素位置である。参照画素Ｇ２ａ，Ｇ２ｂで予測する場合、平均的な参照画素位置は、参照画素Ｇ２ａ，Ｇ２ｂの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｇ２ａ，Ｇ２ｂの中心から右方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｇ２ａ，Ｇ２ｂで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｇ２）は、Ｖ（Ｇ２）＝（－０．５，０）として検出される。

　（Ｍ）は、Ｇ１画像データ１１１およびＧ２画像データ１１２を参照成分フレームとする。このため、（Ｍ）の動きベクトルは、（Ｋ）の動きベクトルＶ（Ｇ１）と（Ｌ）の動きベクトルＶ（Ｇ２）との合成動きベクトルＶ（Ｇ）となる。したがって、参照画素Ｇ１ｂ，Ｇ１ｄおよび参照画素Ｇ２ａ，Ｇ２ｂで注目画素Ｒｘを予測する場合、合成動きベクトルＶ（Ｇ）は、Ｖ（Ｇ）＝（－０．５，０．５）として検出される。

　なお、図８では、予測先をＲ画像データ１１４としたが、予測先はＧ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３でもよい。また、Ｒ画像データ１１４を参照成分フレームとしてもよい。また、（Ｍ）の双方向の参照成分フレームは同一色成分ではなく異なる色成分でもよい。

　このように、ＲＡＷ画像データ１００の同じ色配列１０１から抽出されたＧ１画素、Ｇ２画素、Ｂ画素およびＲ画素は、各成分フレームで同じ画素位置にそれぞれ配置される。しかし、成分フレーム間では色配列１０１での画素位置の違いによる絵柄のズレが生じる。そのため、色配列１０１での画素位置の違いを考慮して、成分フレーム間での画素位置補償予測が実行される。

　＜成分フレーム間での画素位置補償予測例＞
　以下、成分フレーム間での画素位置補償予測例を、図９～図１６を用いて説明する。なお、図９～図１６において、ＲＡＷ画像データ１００での画素の配列を丸印で示す。また、１つの色配列の範囲（成分フレームの標本点）を枠線で示す。

　図９は、成分フレーム間での画素位置補償予測例１を示す説明図である。（Ａ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の周囲４画素Ｇ１ａ～Ｇ１ｄの平均値で予測する例を示す。

　（Ａ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ｂ～Ｇ１ｄの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素、下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０．５，０．５）である。

　このように、（Ａ）では、注目画素Ｇ２ｘの画素値を４つの隣接画素Ｇ１ａ～Ｇ１ｄの平均で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。したがって、Ｇ１画像データにより注目画素Ｇ２ｘの画素位置に合わせた予測ができる。また、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｃの平均値で予測する例を示す。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｇ１ａ、Ｇ１ｃの平均で予測するため、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ａ、Ｇ１ｃの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０，０．５）である。

　（Ｃ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ｂ、Ｇ１ｄの平均値で予測する例を示す。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｇ１ｂ、Ｇ１ｄの平均で予測するため、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｃ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ｂ、Ｇ１ｄの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に１画素、下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（１，０．５）である。

　（Ｄ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂの平均値で予測する例を示す。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｇ１ａ、Ｇ１ｂの平均で予測するため、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｄ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ａ、Ｇ１ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０．５，０）である。

　（Ｅ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ｃ、Ｇ１ｄの平均値で予測する例を示す。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｇ１ｃ、Ｇ１ｄの平均で予測するため、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｅ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ｃ、Ｇ１ｄの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素、下に１画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０．５，１）である。

　このように、（Ｂ）～（Ｅ）では、縦エッジ、または、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素の平均で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　図１０は、成分フレーム間での画素位置補償予測例２を示す説明図である。図１０では、予測先の成分フレームの注目画素の値が、予測先の成分フレームと同一色成分である参照成分フレームの異なる位置の画素の値から予測される。図１０では、予測先の成分フレームをＧ２画像データ１１２、その注目画素を画素Ｇ２ｘとし、参照成分フレームをＧ１画像データ１１１とする。

　（Ａ）の参照パターンの場合、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値が、ＲＡＷ画像データでは左上に位置する画素Ｇ１ａの値から予測される。この場合、参照成分フレームであるＧ１画像データ１１１の参照画素（Ｇ１ａの属する標本点）は、予測先の成分フレームであるＧ２画像データ１１２での注目画素（Ｇ２ｘの属する標本点）と同じ位置である。したがって、動きベクトルＶは、Ｖ（Ｇ１）＝（０，０）となる。このような動き補償予測は、右下から左上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｂ）の参照パターンの場合、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値が、ＲＡＷ画像データでは右上に位置する画素Ｇ１ｂの値から予測される。この場合、参照成分フレームであるＧ１画像データ１１１の参照画素（Ｇ１ｂの属する標本点）は、予測先の成分フレームであるＧ２画像データ１１２での注目画素（Ｇ２ｘの属する標本点）の位置に対して右に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｇ１）＝（１，０）となる。このような動き補償予測は、左下から右上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｃ）の参照パターンの場合、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値が、ＲＡＷ画像データでは左下に位置する画素Ｇ１ｃの値から予測される。この場合、参照成分フレームであるＧ１画像データ１１１の参照画素（Ｇ１ｃの属する標本点）は、予測先の成分フレームであるＧ２画像データ１１２での注目画素（Ｇ２ｘの属する標本点）の位置に対して下に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｇ１）＝（０，１）となる。このような動き補償予測は、右下から左上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｄ）の参照パターンの場合、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値が、ＲＡＷ画像データ１００では右下に位置する画素Ｇ１ｄの値から予測される。この場合、参照成分フレームであるＧ１画像データ１１１の参照画素（Ｇ１ｄの属する標本点）は、予測先の成分フレームであるＧ２画像データ１１２での注目画素（Ｇ２ｘの属する標本点）の位置に対して右に１画素、下に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｇ１）＝（１，１）となる。このような動き補償予測は、左下から右上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　このように、注目画素Ｇ２ｘの画素値を１つの画素Ｇ１で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　図１１は、成分フレーム間での画素位置補償予測例３を示す説明図である。図１１では、予測先の成分フレームの注目画素の値が、予測先の成分フレームとは異なる色成分である参照成分フレームの異なる位置の画素の値から予測される。図１１では、予測先の成分フレームをＢ画像データ１１３、その注目画素を画素Ｂｘとし、参照成分フレームをＧ１画像データ１１１またはＧ２画像データ１１２とする。

　（Ａ）の参照パターンは、予測先の成分フレームであるＢ画像データ１１３の注目画素Ｂｘの値を、注目画素Ｂｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂの平均値で予測する例を示す。注目画素Ｂｘの画素値を２つの隣接画素Ｇ１ａ、Ｇ１ｂの平均で予測することにより、Ｂ画像データ１１３はＰピクチャに符号化される。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ａ）では、画素Ｇ１ａと注目画素Ｂｘとが同じ標本点に属するが、注目画素Ｂｘは補間により画素Ｇ１ａ、Ｇ１ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｂｘの位置に対して右に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０．５，０）である。

　（Ｂ）の参照パターンは、予測先の成分フレームであるＢ画像データ１１３の注目画素Ｂｘの値を、注目画素Ｂｘに隣接する参照成分フレームであるＧ２画像データ１１２の隣接する２画素Ｇ２ａ、Ｇ２ｂの平均値で予測する例を示す。注目画素Ｂｘの画素値を２つの隣接画素Ｇ２ａ、Ｇ２ｂの平均で予測することにより、Ｂ画像データ１１３はＰピクチャに符号化される。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＧ２画像データ１１２の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、参照画素Ｇ２ｂと注目画素Ｂｘとが同じ標本点に属するが、注目画素Ｂｘは補間により画素Ｇ２ａ、Ｇ２ｂの影響を受ける。そのため、参照成分フレームであるＧ２画像データ１１２での参照画素の範囲は、注目画素Ｂｘの位置に対して上に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ２）は、Ｖ（Ｇ２）＝（０，－０．５）である。

　（Ｃ）の参照パターンは、（Ａ）の画素位置補償予測と（Ｂ）の画素位置補償予測との組み合わせである。すなわち、（Ｃ）は、予測先の成分フレームであるＢ画像データ１１３の注目画素Ｂｘの値を、注目画素Ｂｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂおよびＧ２画像データ１１２の隣接する２画素Ｇ２ａ、Ｇ２ｂの平均値で予測する例である。

　注目画素Ｂｘの画素値を４つの隣接画素Ｇ１ａ、Ｇ１ｂ、Ｇ２ａ、Ｇ２ｂの平均で予測することにより、Ｂ画像データ１１３はＢピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１およびＧ２画像データ１１２の復号値に含まれる符号化歪みをより抑制することができる。

　（Ｃ）では、画素Ｇ１ａ、Ｇ２ｂと注目画素Ｂｘとが同じ標本点に属するが、注目画素Ｂｘは補間により画素Ｇ１ａ、Ｇ１ｂ、Ｇ２ａ、Ｇ２ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｂｘの位置に対して右に０．５画素ずれ、Ｇ２画像データ１１２での参照画素の範囲は、注目画素Ｂｘの位置に対して上に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ）は、Ｖ（Ｇ１）＋Ｖ（Ｇ２）＝（０．５，－０．５）である。

　図１２は、成分フレーム間での画素位置補償予測例４を示す説明図である。図１２では、予測先の成分フレームの注目画素の値が、予測先の成分フレームとは異なる色成分である参照成分フレームの異なる位置の画素の値から予測される。図１２では、予測先の成分フレームをＲ画像データ１１４、その注目画素を画素Ｒｘとし、参照成分フレームをＧ１画像データ１１１またはＧ２画像データ１１２とする。

　（Ａ）の参照パターンは、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂの平均値で予測する例を示す。注目画素Ｒｘの画素値を２つの隣接画素Ｇ１ａ、Ｇ１ｂの平均で予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ａ）では、画素Ｇ１ａと注目画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｇ１ａ、Ｇ１ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｒｘの位置に対して下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０，０．５）である。

　（Ｂ）の参照パターンは、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＧ２画像データ１１２の隣接する２画素Ｇ２ａ、Ｇ２ｂの平均値で予測する例を示す。注目画素Ｒｘの画素値を２つの隣接画素Ｇ２ａ、Ｇ２ｂの平均で予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＧ２画像データ１１２の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、参照画素Ｇ２ｂと注目画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｇ２ａ、Ｇ２ｂの影響を受ける。そのため、参照成分フレームであるＧ２画像データ１１２での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ２）は、Ｖ（Ｇ２）＝（－０．５，０）である。

　（Ｃ）の参照パターンは、（Ａ）の画素位置補償予測と（Ｂ）の画素位置補償予測との組み合わせである。すなわち、（Ｃ）は、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂおよびＧ２画像データ１１２の隣接する２画素Ｇ２ａ、Ｇ２ｂの平均値で予測する例である。

　注目画素Ｂｘの画素値を４つの隣接画素Ｇ１ａ、Ｇ１ｂ、Ｇ２ａ、Ｇ２ｂの平均で予測することにより、Ｒ画像データ１１４はＢピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１およびＧ２画像データ１１２の復号値に含まれる符号化歪みを抑制することができる。

　（Ｃ）では、画素Ｇ１ａ、Ｇ２ｂと注目画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｇ１ａ、Ｇ１ｂ、Ｇ２ａ、Ｇ２ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｒｘの位置に対して下に０．５画素ずれ、Ｇ２画像データ１１２での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ）は、Ｖ（Ｇ１）＋Ｖ（Ｇ２）＝（－０．５，０．５）である。

　図１３は、成分フレーム間での画素位置補償予測例５を示す説明図である。（Ａ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の周囲４画素Ｂａ～Ｂｄの平均値で予測する例を示す。

　（Ａ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂｂ～Ｂｄの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素、下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０．５）である。

　このように、注目画素Ｒｘの画素値を４つの隣接画素Ｂａ～Ｂｄの平均で予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。したがって、Ｂ画像により注目画素Ｒｘの画素位置に合わせた予測ができる。また、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、Ｂｃの平均値で予測する例を示す。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｒｘの画素値を２つの隣接画素Ｂａ、Ｂｃの平均で予測するため、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂａ、Ｂｃの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して左に１画素、下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－１，０．５）である。

　（Ｃ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂｂ、Ｂｄの平均値で予測する例を示す。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｒｘの画素値を２つの隣接画素Ｂｂ、Ｂｄの平均で予測するため、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｃ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂｂ、Ｂｄの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，０．５）である。

　（Ｄ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、Ｂｂの平均値で予測する例を示す。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｒｘの画素値を２つの隣接画素Ｂａ、Ｂｂの平均で予測するため、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｄ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂａ、Ｂｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０）である。

　（Ｅ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂｃ、Ｂｄの平均値で予測する例を示す。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｒｘの画素値を２つの隣接画素Ｂｃ、Ｂｄの平均で予測するため、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｅ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂｃ、Ｂｄの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素、下に１画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，１）である。

　このように、（Ｂ）～（Ｅ）では、注目画素Ｒｘの画素値を２つの隣接画素の平均で予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。したがって、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　図１４は、成分フレーム間での画素位置補償予測例６を示す説明図である。図１４では、予測先の成分フレームの注目画素の値が、予測先の成分フレームと同一色成分である参照成分フレームの異なる位置の画素の値から予測される。図１４では、予測先の成分フレームをＲ画像データ１１４、その注目画素を画素Ｒｘとし、参照成分フレームをＢ画像データ１１３とする。

　（Ａ）の参照パターンの場合、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値が、ＲＡＷ画像データ１００では左上に位置する画素Ｂａの値から予測される。この場合、参照成分フレームであるＢ画像データ１１３の参照画素（Ｂａの属する標本点）は、予測先の成分フレームであるＲ画像データ１１４での注目画素（Ｒｘの属する標本点）の位置に対して左に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｂ）＝（－１，０）となる。このような動き補償予測は、右下から左上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｂ）の参照パターンの場合、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値が、ＲＡＷ画像データ１００では右上に位置する画素Ｂｂの値から予測される。この場合、参照成分フレームであるＢ画像データ１１３の参照画素（Ｂｂの属する標本点）は、予測先の成分フレームであるＲ画像データ１１４での注目画素（Ｒｘの属する標本点）と同じ位置である。したがって、動きベクトルＶは、Ｖ（Ｂ）＝（０，０）となる。このような動き補償予測は、左下から右上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｃ）の参照パターンの場合、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値が、ＲＡＷ画像データ１００では右下に位置する画素Ｂｄの値から予測される。この場合、参照成分フレームであるＢ画像データ１１３の参照画素（Ｂｄの属する標本点）は、予測先の成分フレームであるＲ画像データ１１４での注目画素（Ｒｘの属する標本点）の位置に対して下に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｂ）＝（０，１）となる。このような動き補償予測は、左上から右下への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｄ）の参照パターンの場合、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値が、ＲＡＷ画像データ１００では右下に位置する画素Ｂｃの値から予測される。この場合、参照成分フレームであるＢ画像データ１１３の参照画素（Ｂｃの属する標本点）は、予測先の成分フレームであるＲ画像データ１１４での注目画素（Ｒｘの属する標本点）の位置に対して右に１画素、下に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｂ）＝（－１，１）となる。このような動き補償予測は、右上から左下への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　このように、注目画素Ｒｘの画素値を１つの画素Ｂで予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。したがって、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　図１５は、成分フレーム間での画素位置補償予測例７を示す説明図である。図１５では、予測先の成分フレームの注目画素の値が、予測先の成分フレームとは異なる色成分である参照成分フレームの異なる位置の画素の値から予測される。図１５では、予測先の成分フレームをＧ１画像データ１１１、その注目画素を画素Ｇ１ｘとし、参照成分フレームをＢ画像データ１１３またはＲ画像データ１１４とする。

　（Ａ）の参照パターンは、予測先の成分フレームであるＧ１画像データ１１１の注目画素Ｇ１ｘの値を、注目画素Ｇ１ｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、Ｂｂの平均値で予測する例を示す。注目画素Ｇ１ｘの画素値を２つの隣接画素Ｂａ、Ｂｂの平均で予測することにより、Ｇ１画像データ１１１はＰピクチャに符号化される。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ａ）では、画素Ｂｂと注目画素Ｇ１ｘとが同じ標本点に属するが、注目画素Ｇ１ｘは補間により画素Ｂａ、Ｂｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｇ１ｘの位置に対して左に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０）である。

　（Ｂ）の参照パターンは、予測先の成分フレームであるＧ１画像データ１１１の注目画素Ｇ１ｘの値を、注目画素Ｇ１ｘに隣接する参照成分フレームであるＲ画像データ１１４の隣接する２画素Ｒａ、Ｒｂの平均値で予測する例を示す。注目画素Ｇ１ｘの画素値を２つの隣接画素Ｒａ、Ｒｂの平均で予測することにより、Ｇ１画像データ１１１はＰピクチャに符号化される。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＲ画像データ１１４の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、参照画素Ｒｂと注目画素Ｇ１ｘとが同じ標本点に属するが、注目画素Ｇ１ｘは補間により画素Ｒａ、Ｒｂの影響を受ける。そのため、参照成分フレームであるＲ画像データ１１４での参照画素の範囲は、注目画素Ｇ１ｘの位置に対して上に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｒ）は、Ｖ（Ｒ）＝（０，－０．５）である。

　（Ｃ）の参照パターンは、（Ａ）の画素位置補償予測と（Ｂ）の画素位置補償予測との組み合わせである。すなわち、（Ｃ）は、予測先の成分フレームであるＧ１画像データ１１１の注目画素Ｇ１ｘの値を、注目画素Ｇ１ｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、ＢｂおよびＲ画像データ１１４の隣接する２画素Ｒａ、Ｒｂの平均値で予測する例である。

　注目画素Ｇ１ｘの画素値を４つの隣接画素Ｂａ、Ｂｂ、Ｒａ、Ｒｂの平均で予測することにより、Ｇ１画像データ１１１はＢピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１およびＲ画像データ１１４の復号値に含まれる符号化歪みを抑制することができる。

　（Ｃ）では、画素Ｂｂ、Ｒｂと注目画素Ｇ１ｘとが同じ標本点に属するが、注目画素Ｇ１ｘは補間により画素Ｂａ、Ｂｂ、Ｒａ、Ｒｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｇ１ｘの位置に対して左に０．５画素ずれ、Ｒ画像データ１１４での参照画素の範囲は、注目画素Ｇ１ｘの位置に対して上に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ）は、Ｖ（Ｇ１）＋Ｖ（Ｒ）＝（－０．５，－０．５）である。

　図１６は、成分フレーム間での画素位置補償予測例４を示す説明図である。図１６では、予測先の成分フレームの注目画素の値が、予測先の成分フレームとは異なる色成分である参照成分フレームの異なる位置の画素の値から予測される。図１６では、予測先の成分フレームをＧ２画像データ１１２、その注目画素を画素Ｇ２ｘとし、参照成分フレームをＢ画像データ１１３またはＲ画像データ１１４とする。

　（Ａ）の参照パターンは、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、Ｂｂの平均値で予測する例を示す。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｂａ、Ｂｂの平均で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ａ）では、画素Ｂａと注目画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｂａ、Ｂｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，０．５）である。

　（Ｂ）の参照パターンは、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＲ画像データ１１４の隣接する２画素Ｒａ、Ｒｂの平均値で予測する例を示す。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｒａ、Ｒｂの平均で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＲ画像データ１１４の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、参照画素Ｒｂと注目画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｒａ、Ｒｂの影響を受ける。そのため、参照成分フレームであるＲ画像データ１１４での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｒ）は、Ｖ（Ｒ）＝（０．５，０）である。

　（Ｃ）の参照パターンは、（Ａ）の画素位置補償予測と（Ｂ）の画素位置補償予測との組み合わせである。すなわち、（Ｃ）は、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、ＢｂおよびＲ画像データ１１４の隣接する２画素Ｒａ、Ｒｂの平均値で予測する例である。

　注目画素Ｂｘの画素値を４つの隣接画素Ｂａ、Ｂｂ、Ｒａ、Ｒｂの平均で予測することにより、Ｇ２画像データ１１２はＢピクチャに符号化される。したがって、参照成分フレームであるＢ画像データ１１３およびＲ画像データ１１４の復号値に含まれる符号化歪みをより抑制することができる。

　（Ｃ）では、画素Ｂａ、Ｒｂと注目画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｂａ、Ｂｂ、Ｒａ、Ｒｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して下に０．５画素ずれ、Ｒ画像データ１１４での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ）は、Ｖ（Ｂ）＋Ｖ（Ｒ）＝（０．５，０．５）である。

　なお、符号化部４０２は、ＰピクチャまたはＢピクチャに符号化する場合、図９～図１６に示した画素位置補償予測を試行し、差分が最も小さい画素位置補償予測を選択する。たとえば、Ｂ画像データ１１３を参照してＲ画像データ１１４を予測する場合、符号化部４０２は、図１３の（Ａ）～（Ｅ）および図１４の（Ａ）～（Ｄ）の各参照パターンで画素位置補償予測を試行し、最も差分が小さくなる参照パターンを選択する。これにより、適応的かつ効率的に画素位置補償予測を実行することができる。

　特に、参照パターンが画像のエッジをまたぐ場合、エッジを挟む参照成分フレームにおける画素と予測先の成分フレームの注目画素の値の差が大きくなる。したがって、参照パターンを適用的に選択することで、エッジをまたがないような参照パターンを特定することができ、符号化効率の向上を図ることができる。

　＜符号化成分フレームのデータ構造例＞
　図１７は、符号化成分フレームのデータ構造例を示す説明図である。符号化成分フレーム１７００は、ヘッダ情報１７０１と符号化データ列１７０２とを有する。ヘッダ情報１７０１は、符号化部４０２により付与される情報である。ヘッダ情報１７０１は、画像形式情報１７１１と制御情報１７１２とを含む。

　画像形式情報１７１１は、符号化前の成分フレームのサイズ、符号化成分フレーム１７００のサイズ、色配列１０１のパターンを特定する識別情報、成分フレームの画素数を含む。制御情報１７１２は、符号化成分フレーム１７００の種類（Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれか）、参照成分フレームの識別情報、図９～図１６に示した画素位置補償予測に用いた参照パターンを含む。符号化データ列１７０２は、成分フレームを符号化したデータ列である。

　＜符号化処理手順例＞
　図１８は、符号化装置４００による符号化処理手順例を示すフローチャートである。符号化装置４００は、ＲＡＷ画像データ１００の入力を受け付け（ステップＳ１８０１）、第１生成部４０１により色成分ごとにＲＡＷ画像データ１００の画素群を分離して、色成分ごとの成分フレームを生成する（ステップＳ１８０２）。つぎに、符号化装置４００は、符号化部４０２により成分フレーム内予測符号化を実行してＩピクチャを生成する（ステップＳ１８０３）。

　そして、符号化装置４００は、符号化部４０２により、残余の成分フレームについて成分フレーム間予測符号化を実行してＰピクチャまたはＢピクチャを生成する（ステップＳ１８０４）。最後に、符号化装置４００は、記録部４０３により、ステップＳ１８０３およびＳ１８０４で符号化された符号化画像データ群を記憶デバイス３０２に格納する（ステップＳ１８０５）。

　＜復号装置の機能的構成例＞
　図１９は、復号装置の機能的構成例を示すブロック図である。復号装置１９００は、取得部１９０１と、復号部１９０２と、第２生成部１９０３と、を有する。取得部１９０１は、符号化装置４００によって符号化された符号化成分フレーム１７００を取得し、復号部１９０２は、制御情報１７１２を用いて符号化成分フレーム１７００を成分フレームに復号し、第２生成部１９０３は、画像形式情報１７１１を用いて、復号された各成分フレームからＲＡＷ画像データ１００を生成する。

　取得部１９０１、復号部１９０２、および第２生成部１９０３は、具体的には、たとえば、記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより、または、ＬＳＩ３０４により実現される機能である。

　取得部１９０１は、第１符号化画像データと第２符号化画像データとを取得する。第１符号化画像データは、第１色成分の画素群により構成される第１画像データをフレーム内予測符号化したデータである。第２符号化画像データは、第１色成分とは異なる第２色成分の画素群により構成される第２画像データを第１画像データに基づいて符号化した第２符号化画像データと、を取得する。

　また、取得部１９０１は、第３符号化画像データを取得する。第３符号化画像データは、第３色成分の画素群により構成される第３画像データを第１画像データに基づいて符号化したデータである。また、取得部１９０１は、第４符号化画像データを取得する。第４符号化画像データは、第４色成分の画素群により構成される第４画像データを第１画像データに基づいて符号化したデータである。

　復号部１９０２は、制御情報１７１２を用いて、取得部１９０１によって取得された第１符号化画像データを第１画像データに復号するとともに、第１画像データに基づいて、取得部１９０１によって取得された第２符号化画像データを第２画像データに復号する。具体的には、たとえば、復号部１９０２は、Ｉピクチャである第１符号化画像データを第１画像データに復号し、Ｐピクチャである第２画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データを用いて第２画像データに復号する。

　また、復号部１９０２は、制御情報１７１２を用いて、第１画像データに基づいて、取得部１９０１によって取得された第３符号化画像データを第３画像データに復号する。具体的には、たとえば、復号部１９０２は、第３符号化画像データがＰピクチャである場合、第３符号化画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データを用いて第３画像データに復号し、第３符号化画像データがＢピクチャである場合、第３符号化画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データおよび第２画像データを用いて第３画像データに復号する。

　また、復号部１９０２は、制御情報１７１２を用いて、第１画像データに基づいて、取得部１９０１によって取得された第４符号化画像データを第４画像データに復号する。具体的には、たとえば、復号部１９０２は、第４符号化画像データがＰピクチャである場合、第４符号化画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データ～第３画像データのうちいずれか１つの画像データを用いて第４画像データに復号し、第３符号化画像データがＢピクチャである場合、第４符号化画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データ～第３画像データのうち２つの画像データを用いて第４画像データに復号する。

　第２生成部１９０３は、画像形式情報１７１１から色配列のパターンを特定し、特定した色配列１０１となるように、復号部１９０２によって復号された第１画像データ～第４画像データの画素群から、第１色成分～第４色成分とが繰り返し配置されたＲＡＷ画像データ１００を生成する。

　＜復号部１９０２の構成例＞
　図２０は、復号部１９０２の構成例を示すブロック図である。復号部１９０２は、可変長符号復号部２００１と、逆量子化部２００２と、逆直交変換部２００３と、加算部２００４と、第３蓄積部２００５、第２画素位置補償部２００６を有している。

　可変長符号復号部２００１は、入力される符号化成分フレームを復号し、量子化係数や、動きベクトルを出力する。なお、復号された量子化係数は逆量子化部２００２に入力され、復号された動きベクトルは第２画素位置補償部２００６に入力される。

　逆量子化部２００２は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部２００３は、逆量子化部２００２で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

　加算部２００４は、復号された予測誤差値と第２画素位置補償部２００６で生成された予測値とを加算することで、復号された画像データをブロック単位で出力する。そして、加算部２００４から出力された画像データは成分フレームとして出力されるとともに、第３蓄積部２００５に入力される。

　第３蓄積部２００５は、画像の復号値を参照成分フレームとして蓄積する。なお、以後の画素位置補償予測で参照されない画像データは第３蓄積部２００５から順次消去される。第２画素位置補償部２００６は、動きベクトルおよび参照成分フレームに基づいて、復号対象の画像をブロック単位で予測した予測値を加算部２００４に出力する。

　＜復号処理手順例＞
　図２１は、復号装置１９００による復号処理手順例を示すフローチャートである。復号装置１９００は、符号化成分フレーム群として、取得部１９０１により符号化画像データ群を取得し（ステップＳ２１０１）、復号部１９０２により、先頭の符号化画像データ（Ｉピクチャ）を成分フレームに復号する（ステップＳ２１０２）。

　つぎに、復号装置１９００は、復号部１９０２により、後続の符号化画像データ（ＰピクチャまたはＢピクチャ）を成分フレームに復号する（ステップＳ２１０３）。そして、復号装置１９００は、第２生成部１９０３により、復号された生成フレーム群を合成して、ＲＡＷ画像データ１００を復元する（ステップＳ２１０４）。

　このように、実施例１によれば、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＲＡＷ画像データ１００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００に復元することができる。

　実施例２は、ＲＡＷ画像データ１００にホワイトバランス調整を実行してから符号化を実行する符号化と、成分フレームに復号してホワイトバランス調整済みのＲＡＷ画像データを生成してから、ホワイトバランス逆調整によりＲＡＷ画像データを生成する復号とを実行する。なお、実施例２では、実施例１との相違点を中心に説明し、実施例１と同一構成には同一符号を付し、その説明を省略する。

　＜符号化および復号例＞
　図２２は、実施例２にかかる符号化および復号例を示す説明図である。（Ｅ）ＷＢ（ホワイトバランス）調整、（Ａ）分離および（Ｂ）符号化は、符号化装置４００によって実行され、（Ｃ）復号、（Ｄ）合成、および（Ｆ）ＷＢ逆調整は、復号装置１９００によって実行される。

　（Ｅ）符号化装置４００は、ＲＡＷ画像データ１００をホワイトバランス調整する。ホワイトバランス調整は、撮影によりＲＡＷ画像データを生成した際に設定された（符号化装置４００における）ホワイトバランスの設定項目（オート、マニュアル、電球、曇天、蛍光灯、晴天日陰、晴天など）により実行される。ホワイトバランス調整されたＲＡＷ画像データ１００を、ＷＢ調整済みＲＡＷ画像データ２２００とする。

　（Ａ）符号化装置４００は、ＷＢ調整済みＲＡＷ画像データ２２００から色成分ごとに成分フレームを生成する。具体的には、たとえば、符号化装置４００は、緑（Ｇ１）の色成分フレームであるＧ１画像データ２２１１、緑（Ｇ２）の色成分フレームであるＧ２画像データ２２１２、青（Ｂ）の色成分フレームであるＢ画像データ２２１３、赤（Ｒ）の色成分フレームであるＲ画像データ２２１４を生成する。

　Ｇ１画像データ２２１１は、ＷＢ調整済みＲＡＷ画像データ２２００における色配列１０１の各々からのＧ１画素群により構成される画像データである。Ｇ２画像データ２２１２は、ＷＢ調整済みＲＡＷ画像データ２２００における色配列１０１の各々からのＧ２画素群により構成される画像データである。

　Ｂ画像データ２２１３は、ＷＢ調整済みＲＡＷ画像データ２２００における色配列１０１の各々からのＢ画素群により構成される画像データである。Ｒ画像データ２２１４は、ＷＢ調整済みＲＡＷ画像データ２２００における色配列１０１の各々からのＲ画素群により構成される画像データである。

　（Ｂ）符号化装置４００は、各成分フレームを成分フレーム間で符号化する。具体的には、たとえば、符号化装置４００は、成分フレーム群の１つをフレーム内予測符号化で符号化してＩピクチャを生成し、残余の成分フレーム群をＩピクチャを用いてフレーム間予測符号化で符号化してＰピクチャまたはＢピクチャを生成する。ここでは、符号化により、Ｇ１画像データ２２１１は、Ｇ１符号化画像データ２２２１となり、Ｇ２画像データ２２１２は、Ｇ２符号化画像データ２２２２となり、Ｂ画像データ２２１３は、Ｂ符号化画像データ２２２３となり、Ｒ画像データ２２１４は、Ｒ符号化画像データ２２２４となる。

　（Ｃ）復号装置１９００は、符号化された成分フレーム群を復号する。具体的には、たとえば、復号装置１９００は、Ｉピクチャを復号し、Ｉピクチャから復号された成分フレームを用いて、ＰピクチャまたはＢピクチャを復号して、他の成分フレームを生成する。すなわち、復号装置１９００は、Ｇ１符号化画像データ２２２１、Ｇ２符号化画像データ２２２２、Ｂ符号化画像データ２２２３、およびＲ符号化画像データ２２２４を復号して、Ｇ１画像データ２２１１、Ｇ２画像データ２２１２、Ｂ画像データ２２１３、およびＲ画像データ２２１４を生成する。

　（Ｄ）復号装置１９００は、復号された成分フレーム群を合成して、ＷＢ調整済みＲＡＷ画像データ２２００を生成する。具体的には、たとえば、Ｇ１画像データ２２１１、Ｇ２画像データ２２１２、Ｂ画像データ２２１３、およびＲ画像データ２２１４の同一位置の画素Ｇ１、Ｇ２、Ｂ、Ｒを色配列１０１に従って並べることで、Ｇ１画像データ２２１１、Ｇ２画像データ２２１２、Ｂ画像データ２２１３、およびＲ画像データ２２１４からＷＢ調整済みＲＡＷ画像データ２２００を復元する。

　（Ｆ）復号装置１９００は、ＷＢ逆調整により、ＷＢ調整済みＲＡＷ画像データ２２００を元のＲＡＷ画像データ１００に変換する。

　このように、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＷＢ調整済みＲＡＷ画像データ２２００を成分フレーム間予測することにより、ＷＢ調整済みＲＡＷ画像データ２２００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＷＢ調整済みＲＡＷ画像データ２２００に復元することができる。

　また、青（Ｂ）および赤（Ｒ）は、緑（Ｇ）に比べると、信号レベルとなる画素の値が低く、そのため相関性が低い。したがって、符号化前にＲＡＷ画像データ１００についてホワイトバランス調整を実行することで、青（Ｂ）および赤（Ｒ）の信号レベルを緑（Ｇ）の信号レベルに近づける。これにより、ＷＢ調整済みＲＡＷ画像データ２２００の符号化効率の向上を図ることができる。

　また、符号化前にＲＡＷ画像データ１００についてホワイトバランス調整を実行しているため、復号先でのＲＡＷ画像データ１００のホワイトバランス調整が不要となる。ただし、復号先でＷＢ調整済みＲＡＷ画像データ２２００に復元するために、ホワイトバランス逆調整をしてもよい。

　＜符号化装置４００の機能的構成例＞
　図２３は、実施例２にかかる符号化装置４００の機能的構成例を示すブロック図である。符号化装置４００は、実施例１で示した構成のほか、ホワイトバランス調整部２３０１と、ホワイトバランス検出部２３０２と、を有する。ホワイトバランス調整部２３０１およびホワイトバランス検出部２３０２は、具体的には、たとえば、記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより、または、ＬＳＩ３０４により実現される機能である。

　ホワイトバランス調整部２３０１は、ホワイトバランスの設定項目（オート、マニュアル、電球、曇天、蛍光灯、晴天日陰、晴天など）により、ＲＡＷ画像データ１００についてホワイトバランス調整をし、ＷＢ調整済みＲＡＷ画像データ２２００を第１生成部４０１に出力する。したがって、第１生成部４０１は、ＷＢ調整済みＲＡＷ画像データ２２００について、図２２の（Ａ）に示したような成分フレームの分離を実行することになる。ホワイトバランス調整は、たとえば、ＲＡＷ画像データ１００の黒レベルを基準に、ＲＡＷ画像データ１００の画素値にホワイバランス調整ゲイン係数を乗じることで処理する。例えば、ＲＡＷ画像データ１００の黒レベルをＯＢ、Ｂ成分の画素値をＸＢ、Ｂ成分のホワイトバランス調整ゲイン係数をＡＢとするとき、ホワイバランス調整後のＢ成分の画素値ＹＢは以下のように算出する。
ＯＢ≦ＸＢのとき、ＹＢ＝（ＸＢ－ＯＢ）×ＡＢ＋ＯＢ
　ＸＢ＜ＯＢのとき、ＹＢ＝（ＯＢ－ＸＢ）×ＡＢ＋ＯＢ

　ホワイトバランス検出部２３０２は、ＲＡＷ画像データ１００から当該ＲＡＷ画像データ１００に適したホワイトバランスを検出し、ホワイトバランス調整部２３０１に通知する。これにより、ホワイトバランス調整部２３０１は、通知を受けたホワイトバランス（オート、マニュアル、電球、曇天、蛍光灯、晴天日陰、晴天など）により、ＲＡＷ画像データ１００についてホワイトバランス調整を実行する。

　また、ホワイトバランス検出部２３０２は、検出したホワイトバランスを特定する情報（ホワイトバランス制御情報）を符号化部４０２に通知する。具体的には、たとえば、図６に示したように、ホワイトバランス制御情報は、可変長符号化部６０５に出力される。これにより、符号化部４０２は、符号化部４０２が符号化した符号化成分フレーム１７００のヘッダ情報１７０１内の制御情報１７１２にホワイトバランス制御情報を付与することができる。

　ここで、ホワイトバランス制御情報とは、たとえば、ＲＡＷ画像データ２２００がホワイトバランスを調整済みであることを示す情報（以下、「調整済み情報」という）と、ＲＡＷ画像データ２２００のＢ成分のホワイトバランス調整ゲインと、ＲＡＷ画像データ２２００のＲ成分のホワイトバランス調整ゲイン係数と、で構成される。

　後述する復号装置１９００は、制御情報１７１２に付与された調整済み情報によりＲＡＷ画像データ２２００がホワイトバランス調整済みであることを認識できる。また、復号装置１９００は、制御情報１７１２に付与されたＢ成分とＲ成分の各ホワイトバランス調整ゲイン係数により、復号処理でホワイトバランス逆調整が可能となる。

　なお、制御情報１７１２には、上述した調整済み情報と、Ｂ成分のホワイトバランス調整ゲイン係数と、Ｒ成分のホワイトバランス調整ゲイン係数と、のうち少なくとも１つが付与される。

　実施例２では、ＲＡＷ画像データ１００にホワイトバランス調整する例を示した。しかし、たとえば、ホワイトバランス調整する代わりに、Ｒの色成分データの値とＧの色成分データの値との差、Ｇの色成分データの値とＢの色成分データの値との差、Ｂの色成分データの値とＲの色成分データの値との差のうち、少なくとも１つの差が小さくなる処理でもよい。

　＜符号化処理手順例＞
　図２４は、実施例２にかかる符号化装置４００による符号化処理手順例を示すフローチャートである。符号化装置４００は、ＲＡＷ画像データ１００の入力を受け付け（ステップＳ２４０１）、ホワイトバランス調整部２３０１により、ＲＡＷ画像データ１００をホワイトバランス調整し、ＷＢ調整済みＲＡＷ画像データ２２００を出力する（ステップＳ２４０２）。符号化装置４００は、第１生成部４０１により色成分ごとにＷＢ調整済みＲＡＷ画像データ２２００の画素群を分離して、色成分ごとの成分フレームを生成する（ステップＳ２４０３）。

　つぎに、符号化装置４００は、符号化部４０２により成分フレーム内予測符号化を実行してＩピクチャを生成する（ステップＳ２４０４）。そして、符号化装置４００は、符号化部４０２により、残余の成分フレームについて成分フレーム間予測符号化を実行してＰピクチャまたはＢピクチャを生成する（ステップＳ２４０５）。最後に、符号化装置４００は、記録部４０３により、ステップＳ２４０４およびＳ２４０５で符号化された符号化画像データ群を記憶デバイス３０２に格納する（ステップＳ２４０６）。

　＜復号装置１９００の機能的構成例＞
　図２５は、実施例２にかかる復号装置１９００の機能的構成例を示すブロック図である。復号装置１９００は、実施例１で示した構成のほか、ホワイトバランス逆調整部２５０４を有する。ホワイトバランス逆調整部２５０４は、具体的には、たとえば、記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより、または、ＬＳＩ３０４により実現される機能である。なお、実施例２では、第２生成部１９０３は、調整済みＲＡＷ画像データ２２００を生成することになる。

　ホワイトバランス逆調整部２５０４は、第２生成部１９０３から得られたＷＢ調整済みＲＡＷ画像データ２２００に付与されているヘッダ情報１７０１内のホワイトバランス制御情報を参照して、ＷＢ調整済みＲＡＷ画像データ２２００についてホワイトバランス逆調整をし、元のＲＡＷ画像データ１００に復元する。

　＜復号処理手順例＞
　図２６は、実施例２にかかる復号装置１９００による復号処理手順例を示すフローチャートである。復号装置１９００は、ステップＳ２１０１～Ｓ２１０４のあと、ホワイトバランス逆調整部２５０４により、ＷＢ調整済みＲＡＷ画像データ２２００についてホワイトバランス逆調整をし、元のＲＡＷ画像データ１００に復元する（ステップＳ２６０５）。

　このように、実施例２によれば、実施例１と同様、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＷＢ調整済みＲＡＷ画像データ２２００を成分フレーム間予測することにより、ＷＢ調整済みＲＡＷ画像データ２２００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００に復元することができる。

　また、青（Ｂ）および赤（Ｒ）は、緑（Ｇ）に比べると、信号レベルとなる画素の輝度値が低く、そのため相関性が低い。したがって、符号化前にＲＡＷ画像データ１００についてホワイトバランス調整を実行することで、青（Ｂ）および赤（Ｒ）の信号レベルを緑（Ｇ）の信号レベルに近づける。これにより、ＷＢ調整済みＲＡＷ画像データ２２００の符号化効率の向上を図ることができる。また、符号化前にＲＡＷ画像データ１００についてホワイトバランス調整を実行しているため、ホワイトバランス逆調整部２５０４を省くことで、復号先でのＲＡＷ画像データ１００のホワイトバランス調整を不要とすることもできる。

　実施例３は、ＲＡＷ画像データ１００を時間軸方向に並べたＲＡＷ動画像データを符号化および復号する例である。なお、実施例３では、実施例１との相違点を中心に説明し、実施例１と同一構成には同一符号を付し、その説明を省略する。

　＜符号化および復号例＞
　図２７は、実施例３にかかる符号化および復号例を示す説明図である。（Ａ）分離および（Ｂ）符号化は符号化装置４００によって実行され、（Ｃ）復号および（Ｄ）合成は復号装置１９００によって実行される。

　（Ａ）符号化装置４００は、ＲＡＷ画像データ１００を時間軸方向に並べたＲＡＷ動画像データ２７００を取得し、各ＲＡＷ画像データ１００について、色成分ごとに成分フレームを生成する。これにより、Ｇ１画像データ列２７１１、Ｇ２画像データ列２７１２、Ｂ画像データ列２７１３およびＲ画像データ列２７１４が得られる。

　（Ｂ）符号化装置４００は、各色成分フレームを成分フレーム間で符号化する。具体的には、たとえば、符号化装置４００は、成分フレーム群の１つをフレーム内予測符号化で符号化してＩピクチャを生成し、残余の成分フレーム群をＩピクチャを用いてフレーム間予測符号化で符号化してＰピクチャまたはＢピクチャを生成する。ここでは、符号化により、Ｇ１画像データ列２７１１は、Ｇ１符号化画像データ列２７２１となり、Ｇ２画像データ列２７１２は、Ｇ２符号化画像データ列２７２２となり、Ｂ画像データ列２７１３は、Ｂ符号化画像データ列２７２３となり、Ｒ画像データ列２７１４は、Ｒ符号化画像データ列２７２４となる。

　（Ｃ）復号装置１９００は、符号化された成分フレーム群を復号する。具体的には、たとえば、復号装置１９００は、Ｉピクチャを復号し、Ｉピクチャから復号された成分フレームを用いて、ＰピクチャまたはＢピクチャを復号して、他の成分フレームを生成する。すなわち、復号装置１９００は、Ｇ１符号化画像データ列２７２１、Ｇ２符号化画像データ列２７２２、Ｂ符号化画像データ列２７２３、およびＲ符号化画像データ列２７２４を復号して、Ｇ１画像データ列２７１１、Ｇ２画像データ列２７１２、Ｂ画像データ列２７１３、およびＲ画像データ列２７１４を生成する。

　（Ｄ）復号装置１９００は、復号された成分フレーム群を合成して、ＲＡＷ画像データ１００を生成する。具体的には、たとえば、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４の同一位置の画素Ｇ１、Ｇ２、Ｂ、Ｒを色配列１０１に従って並べることで、ＲＡＷ画像データ１００を順次復元し、ＲＡＷ動画像データ２７００を復元する。

　このように、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＲＡＷ画像データ１００の符号化効率、ひいては、ＲＡＷ動画像データ２７００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００ひいては、ＲＡＷ動画像データ２７００に復元することができる。

　＜成分フレームの参照方向例＞
　図２８は、成分フレームの参照方向例を示す説明図である。（Ａ）は、ＲＡＷ動画像データ２７００の一例を示す。（Ｂ）および（Ｃ）は、ＲＡＷ動画像データ２７００における成分フレームの参照方向例を示す。（Ｂ）および（Ｃ）では、説明上、時系列なＲＡＷ画像データ１～ｎ（ｎは２以上の整数）のうち、ＲＡＷ画像データ１およびＲＡＷ画像データ２における成分フレームの参照方向例を示す。

　（Ｂ）は、同一ＲＡＷ画像データ１，２の各々からの成分フレームの入力順が、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４である場合の参照方向を示す。ＲＡＷ画像データ１およびＲＡＷ画像データ２の各々において、先頭のＧ１画像データ１１１はＩピクチャに符号化される。次に入力されるＧ２画像データ１１２は、先行するＧ１画像データ１１１を参照フレームとしてフレーム間予測符号化によりＰピクチャに符号化される。

　次に入力されるＢ画像データ１１３は、先行するＧ１画像データ１１１およびＧ２画像データ１１２のうち少なくとも一方の成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。最後に入力されるＲ画像データ１１４は、先行するＧ１画像データ１１１、Ｇ２画像データ１１２、およびＢ画像データ１１３のうち少なくとも一つの成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　（Ｃ）では、先頭のＲＡＷ画像データ１における参照方向は、（Ｂ）のＲＡＷ画像データ１と同じである。ＲＡＷ画像データ２については、先頭のＧ１画像データ１１１は、先行するＲＡＷ画像データ１のＧ１画像データ１１１を参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　次に入力されるＧ２画像データ１１２は、先行するＲＡＷ画像データ１のＧ１画像データ１１１およびＲＡＷ画像データ２のＧ１画像データ１１１のうち少なくとも一方の成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　次に入力されるＢ画像データ１１３は、先行するＲＡＷ画像データ１のＢ画像データ１１３と、ＲＡＷ画像データ２のＧ１画像データ１１１と、ＲＡＷ画像データ２のＧ２画像データ１１２と、のうち少なくとも一つの成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　最後に入力されるＲ画像データ１１４は、先行するＲＡＷ画像データ１のＲ画像データ１１４と、ＲＡＷ画像データ２のＧ１画像データ１１１と、ＲＡＷ画像データ２のＧ２画像データ１１２と、ＲＡＷ画像データ２のＢ画像データ１１３と、のうち少なくとも一つの成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　なお、図２８の参照方向は一例であり、（Ｂ），（Ｃ）以外の成分フレームの入力順でも符号化が可能である。また、この符号化部４０２は、色成分に依存しない撮像素子３５３の画素からの輝度値を用いているため、異なる色成分を参照成分フレームとしても符号化することができる。

　＜スライス単位の符号化例＞
　図２９は、スライス単位の符号化例を示す説明図である。（Ａ）は、時系列なＲＡＷ画像データ１～４から生成された各成分フレームのスライス単位を示す。スライスとは、成分フレームを分割したデータであり、符号化の１単位となる。ここでは、各成分フレーム（Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、Ｒ画像データ１１４）は、同一サイズのスライスをｎ個（ｎは２以上の整数）有するものとする。なお、成分フレームの入力順は、図２８の（Ｂ）を例に挙げるが、他の入力順でもよい。

　（Ｂ）は、スライス単位の符号化処理例を示す。矢印が符号化の順序を示す。すなわち、スライス番号が「１」であるＧ１成分スライス１、Ｇ２成分スライス１、Ｂ成分スライス１、Ｒ成分スライス１の順に符号化され、つぎに、スライス番号が「２」であるＧ１成分スライス２、Ｇ２成分スライス２、Ｂ成分スライス２、Ｒ成分スライス２の順に符号化される。このように、スライス番号の降順に符号化され、最終的に、スライス番号が「ｎ」であるＧ１成分スライスｎ、Ｇ２成分スライスｎ、Ｂ成分スライスｎ、Ｒ成分スライスｎの順に符号化される。

　このように、スライス単位で成分フレーム間の符号化をおこなうことにより、符号化のレイテンシの向上を図ることができる。なお、同一スライス番号の成分スライス間の参照方向は、図２８の（Ｂ）のように、Ｇ１成分スライスをＩピクチャに符号化してもよく、（Ｃ）のようにＧ１成分スライスをＰピクチャに符号化してもよい。図２９では、スライス単位の符号化例について説明したが、復号する場合もスライス単位の符号化と同様、スライス単位で復号してもよい。これにより、復号のレイテンシの向上を図ることができる。

　このように、実施例３では、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＲＡＷ画像データ１００の符号化効率、ひいては、ＲＡＷ動画像データ２７００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００ひいては、ＲＡＷ動画像データ２７００に復元することができる。

　また、スライス単位で成分フレームを符号化することにより、成分フレーム間符号化のレイテンシの向上を図ることができる。同様に、スライス単位で成分フレームを復号することにより、成分フレーム復号のレイテンシの向上を図ることができる。

　実施例４は、ＲＡＷ画像データ１００を時間軸方向に並べたＲＡＷ動画像データ２７００をホワイトバランス調整してから符号化および復号し、ホワイトバランス逆調整をする例である。なお、実施例４では、実施例１および実施例３との相違点を中心に説明し、実施例１および実施例３と同一構成には同一符号を付し、その説明を省略する。

　＜符号化および復号例＞
　図３０は、実施例４にかかる符号化および復号例を示す説明図である。（Ｅ）ＷＢ調整、（Ａ）分離および（Ｂ）符号化は、符号化装置４００によって実行され、（Ｃ）復号、（Ｄ）合成および（Ｆ）ＷＢ逆調整は、復号装置１９００によって実行される。

　（Ｅ）符号化装置４００は、ＲＡＷ動画像データ２７００の各ＲＡＷ画像データ１００をホワイトバランス調整する。ホワイトバランス調整は、符号化装置４００におけるホワイトバランス（オート、マニュアル、電球、曇天、蛍光灯、晴天日陰、晴天など）により実行される。ホワイトバランス調整されたＲＡＷ画像データ１００を、ＷＢ調整済みＲＡＷ画像データ２２００とし、時系列なＷＢ調整済みRAW画像データ２２００をＷＢ調整済みＲＡＷ動画像データ３０００とする。

　（Ａ）符号化装置４００は、ＷＢ調整済みＲＡＷ画像データ２２００を時間軸方向に並べたＷＢ調整済みＲＡＷ動画像データ３０００を取得し、各ＷＢ調整済みRAW画像データ２２００について、色成分ごとに成分フレームを生成する。これにより、ＷＢ調整済みＧ１画像データ列３０１１、ＷＢ調整済みＧ２画像データ列３０１２、ＷＢ調整済みＢ画像データ列３０１３およびＷＢ調整済みＲ画像データ列３０１４が得られる。

　（Ｂ）符号化装置４００は、各色成分フレームを成分フレーム間で符号化する。具体的には、たとえば、符号化装置４００は、成分フレーム群の１つをフレーム内予測符号化で符号化してＩピクチャを生成し、残余の成分フレーム群をＩピクチャを用いてフレーム間予測符号化で符号化してＰピクチャまたはＢピクチャを生成する。

　ここでは、符号化により、ＷＢ調整済みＧ１画像データ列３０１１は、ＷＢ調整済みＧ１符号化画像データ列３０２１となり、ＷＢ調整済みＧ２画像データ列３０１２は、ＷＢ調整済みＧ２符号化画像データ列３０２２となり、ＷＢ調整済みＢ画像データ列３０１３は、ＷＢ調整済みＢ符号化画像データ列３０２３となり、ＷＢ調整済みＲ画像データ列３０１４は、ＷＢ調整済みＲ符号化画像データ列３０２４となる。

　（Ｃ）復号装置１９００は、符号化された成分フレーム群を復号する。具体的には、たとえば、復号装置１９００は、Ｉピクチャを復号し、Ｉピクチャから復号された成分フレームを用いて、ＰピクチャまたはＢピクチャを復号して、他の成分フレームを生成する。すなわち、復号装置１９００は、ＷＢ調整済みＧ１符号化画像データ列３０２１、ＷＢ調整済みＧ２符号化画像データ列３０２２、ＷＢ調整済みＢ符号化画像データ列３０２３、およびＷＢ調整済みＲ符号化画像データ列３０２４を復号して、ＷＢ調整済みＧ１画像データ列３０１１、ＷＢ調整済みＧ２画像データ列３０１２、ＷＢ調整済みＢ画像データ列３０１３、およびＷＢ調整済みＲ画像データ列３０１４を生成する。

　（Ｄ）復号装置１９００は、復号された成分フレーム群を合成して、ＷＢ調整済みRAW画像データ２２００を生成する。具体的には、たとえば、ＷＢ調整済みＧ１画像データ２２１１、ＷＢ調整済みＧ２画像データ２２１２、ＷＢ調整済みＢ画像データ２２１３、およびＷＢ調整済みＲ画像データ２２１４の同一位置の画素Ｇ１、Ｇ２、Ｂ、Ｒを色配列１０１に従って並べることで、ＷＢ調整済みＲＡＷ画像データを順次復元し、ＷＢ調整済みＲＡＷ動画像データ２７００を復元する。

　（Ｆ）復号装置１９００は、ＷＢ逆調整により、ＷＢ調整済みＲＡＷ画像データ２２００ごとに元のＲＡＷ画像データ１００に変換し、ＲＡＷ動画像データ２７００に復元する。

　このように、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＷＢ調整済みＲＡＷ画像データ２２００の符号化効率、ひいては、ＷＢ調整済みＲＡＷ動画像データ３０００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＷＢ調整済みＲＡＷ画像データ２２００ひいては、ＷＢ調整済みＲＡＷ動画像データ３０００に復元することができる。

　また、実施例３と同様、ＷＢ調整済みＲＡＷ動画像データ３０００についてスライス単位で成分フレームを符号化することにより、成分フレーム間符号化のレイテンシの向上を図ることができる。同様に、ＷＢ調整済みＧ１符号化画像データ列３０２１、ＷＢ調整済みＧ２符号化画像データ列３０２２、ＷＢ調整済みＢ符号化画像データ列３０２３、およびＷＢ調整済みＲ符号化画像データ列３０２４について、スライス単位で成分フレームを復号することにより、成分フレーム復号のレイテンシの向上を図ることができる。

　以上説明したように、本実施例によれば、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＲＡＷ画像データ１００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００に復元することができる。

１００　ＲＡＷ画像データ、１０１　色配列、１１１　Ｇ１画像データ、１１２　Ｇ２画像データ、１１３　Ｂ画像データ、１１４　Ｒ画像データ、１２１　Ｇ１符号化画像データ、１２２　Ｇ２符号化画像データ、１２３　Ｂ符号化画像データ、１２４　Ｒ符号化画像データ、３００　情報処理装置、３０１　プロセッサ、３０２　記憶デバイス、３５３　撮像素子、４００　符号化装置、４０１　第１生成部、４０２　符号化部、４０３　記録部、６１０　位置ずれ検出部、６１１　第１画素位置補償部、１７００　符号化成分フレーム、１７０１　ヘッダ情報、１７１１　画像形式情報、１７１２　制御情報、１９００　復号装置、１９０１　取得部、１９０２　復号部、１９０３　第２生成部、２００６　第２画素位置補償部、２２００　ＷＢ調整済みＲＡＷ画像データ、２３０１　ホワイトバランス調整部、２５０４　ホワイトバランス逆調整部、２７００　ＲＡＷ動画像データ、３０００　ＷＢ調整済みＲＡＷ動画像データ

Claims

　第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置されたＲＡＷ画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する生成部と、
　前記生成部によって生成された第１画像データに基づいて、前記生成部によって生成された第２画像データを符号化する符号化部と、
　を有する符号化装置。
　請求項１に記載の符号化装置であって、
　前記符号化部は、前記第１画像データと前記第２画像データとの間で画素位置を補償することにより、前記第２画像データを符号化する、符号化装置。
　請求項２に記載の符号化装置であって、
　前記符号化部は、前記第２画像データの注目画素を、前記注目画素とは異なる位置における前記第１画像データ内の特定の参照画素で補償することにより、前記第２画像データを符号化する、符号化装置。
　請求項３に記載の符号化装置であって、
　前記符号化部は、前記特定の参照画素による複数通りの参照パターンのうち、前記注目画素との差分が最小となる参照パターンに基づいて、前記注目画素を符号化する、符号化装置。
　請求項１に記載の符号化装置であって、
　前記ＲＡＷ画像データは、前記第１色成分および前記第２色成分のうちいずれか一方の色成分と同一、または、前記第１色成分および前記第２色成分とは異なる、第３色成分を有し、
　前記生成部は、前記第３色成分が配置された前記ＲＡＷ画像データから、前記第１画像データと、前記第２画像データと、前記第３色成分の画素群により構成される第３画像データと、を生成し、
　前記符号化部は、前記第１画像データに基づいて、前記生成部によって生成された第３画像データを符号化する、符号化装置。
　請求項５に記載の符号化装置であって、
　前記符号化部は、前記第１画像データおよび前記第２画像データに基づいて、前記第３画像データを符号化する、符号化装置。
　請求項１に記載の符号化装置であって、
　前記ＲＡＷ画像データのホワイトバランスを調整する調整部を有し、
　前記生成部は、前記調整部によってホワイトバランスが調整されたＲＡＷ画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する、符号化装置。
　請求項１に記載の符号化装置であって、
　前記生成部は、前記ＲＡＷ画像データを複数取得し、前記ＲＡＷ画像データの各々について、前記第１画像データと、前記第２画像データと、を生成し、
　前記符号化部は、前記第１画像データに基づいて、前記第２画像データを符号化する、符号化装置。
　請求項８に記載の符号化装置であって、
　前記符号化部は、前記第１画像データに基づいて、前記第１画像データと同一のＲＡＷ画像データから分離された第２画像データを符号化する、符号化装置。
　請求項８に記載の符号化装置であって、
　前記符号化部は、前記第１画像データに基づいて、前記第１画像データと異なる他のＲＡＷ画像データから分離された第２画像データを符号化する、符号化装置。
　請求項１０に記載の符号化装置であって、
　前記符号化部は、前記第１画像データの所定領域に基づいて、前記第１画像データと異なるＲＡＷ画像データから生成された第２画像データのうち前記所定領域に対応する領域を符号化する、符号化装置。
　第１色成分の光を光電変換する光電変換部と前記第１色成分とは異なる第２色成分を光電変換する光電変換部とが繰り返し配置された撮像素子からの出力に基づくＲＡＷ画像データから、前記第１色成分により構成される第１画像データと、前記第２色成分により構成される第２画像データと、を生成する生成部と、
　前記生成部によって生成された第１画像データに基づいて、前記生成部によって生成された第２画像データを符号化する符号化部と、
　を有する符号化装置。
　第１色成分の画素群により構成される第１画像データを符号化した第１符号化画像データと、前記第１色成分とは異なる第２色成分の画素群により構成される第２画像データを前記第１画像データに基づいて符号化した第２符号化画像データと、を取得する取得部と、
　前記取得部によって取得された第１符号化画像データを前記第１画像データに復号するとともに、前記第１画像データに基づいて、前記取得部によって取得された第２符号化画像データを前記第２画像データに復号する復号部と、
　前記復号部によって復号された第１画像データおよび第２画像データに基づいて、前記第１色成分と前記第２色成分とが繰り返し配置されたＲＡＷ画像データを生成する生成部と、
　を有する復号装置。
　請求項１３に記載の復号装置であって、
　前記復号部は、前記第２画像データの注目画素の符号化の際に参照した画素位置を示す参照パターンに基づいて、前記第１画像データの参照画素を特定し、前記参照画素に基づいて、前記第２符号化画像データから前記第２画像データの注目画素を復号する、復号装置。
　請求項１３に記載の復号装置であって、
　前記取得部は、第３色成分の画素群により構成される第３画像データを、前記第１画像データに基づいて符号化した第３符号化画像データを取得し、
　前記第３色成分は、前記第１色成分および前記第２色成分のうちいずれか一方の色成分と同一、または、前記第１色成分および前記第２色成分とは異なる色成分であり、
　前記復号部は、前記第１画像データに基づいて、前記第３符号化画像データを前記第３画像データに復号し、
　前記生成部は、前記復号部によって復号された第１画像データ、第２画像データ、および第３画像データに基づいて、前記第１色成分、前記第２色成分、および前記第３色成分が繰り返し配置されたＲＡＷ画像データを生成する、復号装置。
　請求項１３に記載の復号装置であって、
　前記取得部は、前記第１画像データおよび前記第２画像データに施されたホワイトバランスに関する情報を取得し、
　前記ホワイトバランスに関する情報に基づいて、前記第１画像データおよび前記第２画像データの色をホワイトバランスによる調整前の色に変換する逆調整部を有し、
　前記生成部は、前記逆調整部による変換後の第１画像データおよび変換後の第２画像データに基づいて、前記ＲＡＷ画像データを生成する、復号装置。
　請求項１３に記載の復号装置であって、
　前記取得部は、前記第１符号化画像データおよび前記第２符号化画像データを含む符号化フレームを複数取得し、
　前記復号部は、前記符号化フレームごとに、前記第１符号化画像データを前記第１画像データに復号するとともに、前記第１画像データに基づいて、前記第２符号化画像データを前記第２画像データに復号して、前記第１画像データおよび前記第２画像データを含むフレームを複数出力し、
　前記生成部は、前記フレームごとに、前記復号部によって復号された第１画像データおよび第２画像データに基づいて、前記第１色成分と前記第２色成分とが繰り返し配置されたＲＡＷ画像データを生成する、復号装置。
　請求項１７に記載の復号装置であって、
　前記復号部は、前記第１画像データに基づいて、前記第１符号化画像データと同一の符号化フレーム内の第２符号化画像データを復号する、復号装置。
　請求項１７に記載の復号装置であって、
　前記復号部は、前記第１画像データに基づいて、前記第１符号化画像データと異なる符号化フレーム内の第２符号化画像データを復号する、復号装置。
　請求項１９に記載の復号装置であって、
　前記復号部は、前記第１画像データの所定領域に基づいて、前記第１画像データと異なる符号化フレーム内の第２符号化画像データのうち前記所定領域に対応する領域を復号する、復号装置。
　第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置されたＲＡＷ画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する生成処理と、
　前記生成処理によって生成された第１画像データに基づいて、前記生成処理によって生成された第２画像データを符号化する符号化処理と、
　を有する符号化方法。
　第１色成分の画素群により構成される第１画像データを符号化した第１符号化画像データと、前記第１色成分とは異なる第２色成分の画素群により構成される第２画像データを前記第１画像データに基づいて符号化した第２符号化画像データと、を取得する取得処理と、
　前記取得処理によって取得された第１符号化画像データを前記第１画像データに復号するとともに、前記第１画像データに基づいて、前記取得処理によって取得された第２符号化画像データを前記第２画像データに復号する復号処理と、
　前記復号処理によって復号された第１画像データおよび第２画像データに基づいて、前記第１色成分と前記第２色成分とが繰り返し配置されたＲＡＷ画像データを生成する生成処理と、
　を有する復号方法。
　請求項２１に記載の符号化方法をプロセッサに実行させる符号化プログラム。
　請求項２２に記載の復号方法をプロセッサに実行させる復号プログラム。