WO2020188875A1

WO2020188875A1 - 符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

Info

Publication number: WO2020188875A1
Application number: PCT/JP2019/043343
Authority: WO
Inventors: 安藤　一郎
Original assignee: 株式会社ニコン
Priority date: 2019-03-15
Filing date: 2019-11-05
Publication date: 2020-09-24
Also published as: WO2020188669A1

Abstract

符号化装置は、第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて算出された第２係数により、前記第２色成分の画素値を調整する調整部と、前記調整部により画素値が調整された画像データと、前記第１係数と、前記第２係数と、を符号化する符号化部と、を有する。

Description

符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラム

参照による取り込み

　本出願は、平成３１年（２０１９年）３月１５日に出願されたＰＣＴ出願であるＰＣＴ／ＪＰ２０１９／０１１０１５の優先権を主張し、その内容を参照することにより、本出願に取り込む。

　本発明は、符号化装置、復号装置、符号化方法、復号方法、符号化プログラム、および復号プログラムに関する。

　画像を色成分毎に圧縮する技術がある（たとえば、下記特許文献１を参照。）。しかしながら、上述した従来技術では、成分フレーム間の相関性が活用されていない。

特開２００２－１２５２４１号公報

　本開示技術の符号化装置は、第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて算出された第２係数により、前記第２色成分の画素値を調整する調整部と、前記調整部により画素値が調整された画像データと、前記第１係数と、前記第２係数と、を符号化する符号化部と、を有する。

　本開示技術の他の符号化装置は、第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて、前記少なくとも第２色成分の画素値を調整する調整部と、前記調整部によって前記少なくとも第２色成分の画素値が調整された画像データを符号化するとともに、前記符号化された画像データに前記第１係数を付与する符号化部と、を有する。

　本開示技術の別の符号化装置は、第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置された画像データの各画素の第１出力ビット幅を前記第１出力ビット幅よりも大きい第２出力ビット幅に変更し、当該変更後の画像データのホワイトバランスを調整する調整部と、前記調整部によってホワイトバランスが調整された画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する生成部と、前記生成部によって生成された第１画像データに基づいて、前記生成部によって生成された第２画像データを符号化する符号化部と、を有する。

　本開示技術の復号装置は、第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて算出された第２係数により、前記第２色成分の画素値が調整された調整済み画像データと、前記第１係数と、前記第２係数と、が符号化された符号化データを、取得する取得部と、前記取得部によって取得された符号化データを復号する復号部と、前記復号部によって復号された調整済み画像データを、前記復号部によって復号された第２係数に基づいて、調整する調整部と、を有する。

　本開示技術の他の復号装置は、第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて前記少なくとも第２色成分の画素値が調整された調整済み画像データが符号化された符号化調整済み画像データと、前記符号化調整済み画像データに付与された前記第１係数と、を含む符号化データを取得する取得部と、前記取得部によって取得された符号化データを復号する復号部と、前記復号部によって復号された調整済み画像データを、前記符号化調整済み画像データに付与された前記第１係数に基づいて調整する調整部と、を有する。

　本開示技術の別の復号装置は、第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置された画像データを復元する復号装置であって、前記第１色成分の画素群により構成される第１画像データを符号化した第１符号化画像データと、前記第２色成分の画素群により構成される第２画像データを前記第１画像データに基づいて符号化した第２符号化画像データと、前記第１画像データおよび前記第２画像データに施されたホワイトバランスに関する情報と、前記画像データの各画素の出力ビット幅よりも小さい特定の出力ビット幅と、を取得する取得部と、前記取得部によって取得された第１符号化画像データを前記第１画像データに復号するとともに、前記第１画像データに基づいて、前記取得部によって取得された第２符号化画像データを前記第２画像データに復号する復号部と、前記復号部によって復号された第１画像データおよび第２画像データに基づいて、前記第１色成分と前記第２色成分とが繰り返し配置された画像データを生成する生成部と、前記ホワイトバランスに関する情報と、前記特定の出力ビット幅と、に基づいて、前記生成部によって生成された画像データの色をホワイトバランスによる調整前の色に変換する調整部と、を有する。

　本開示技術の符号化方法は、第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて算出された第２係数により、前記第２色成分の画素値を調整する調整処理と、前記調整処理により画素値が調整された画像データと、前記第１係数と、前記第２係数と、を符号化する符号化処理と、を有する。

　本開示技術の他の符号化方法は、第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて、前記少なくとも第２色成分の画素値を調整する調整処理と、前記調整処理によって前記少なくとも第２色成分の画素値が調整された画像データを符号化するとともに、前記符号化された画像データに前記第１係数を付与する符号化処理と、を有する。

　本開示技術の別の符号化方法は、第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置された画像データの各画素の第１出力ビット幅を前記第１出力ビット幅よりも大きい第２出力ビット幅に変更し、当該変更後の画像データのホワイトバランスを調整する調整処理と、前記調整処理によってホワイトバランスが調整された画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する生成処理と、前記生成処理によって生成された第１画像データに基づいて、前記生成部によって生成された第２画像データを符号化する符号化処理と、を有する。

　本開示技術の復号方法は、第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて算出された第２係数により、前記第２色成分の画素値が調整された調整済み画像データと、前記第１係数と、前記第２係数と、が符号化された符号化データを、取得する取得処理と、前記取得処理によって取得された符号化データを復号する復号処理と、前記復号処理によって復号された調整済み画像データを、前記復号処理によって復号された第２係数に基づいて、調整する調整処理と、を有する。

　本開示技術の他の復号方法は、第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて前記少なくとも第２色成分の画素値が調整された調整済み画像データが符号化された符号化調整済み画像データと、前記符号化調整済み画像データに付与された前記第１係数と、を含む符号化データを取得する取得処理と、前記取得処理によって取得された符号化データを復号する復号処理と、前記復号処理によって復号された調整済み画像データを、前記符号化調整済み画像データに付与された前記第１係数に基づいて調整する調整処理と、を有する。

　本開示技術の別の復号方法は、第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置された画像データを復元する復号方法であって、前記第１色成分の画素群により構成される第１画像データを符号化した第１符号化画像データと、前記第２色成分の画素群により構成される第２画像データを前記第１画像データに基づいて符号化した第２符号化画像データと、前記第１画像データおよび前記第２画像データに施されたホワイトバランスに関する情報と、前記画像データの各画素の出力ビット幅よりも小さい特定の出力ビット幅と、を取得する取得処理と、前記取得処理によって取得された第１符号化画像データを前記第１画像データに復号するとともに、前記第１画像データに基づいて、前記取得処理によって取得された第２符号化画像データを前記第２画像データに復号する復号処理と、前記復号処理によって復号された第１画像データおよび第２画像データに基づいて、前記第１色成分と前記第２色成分とが繰り返し配置された画像データを生成する生成処理と、前記ホワイトバランスに関する情報と、前記特定の出力ビット幅と、に基づいて、前記生成部によって生成された画像データの色をホワイトバランスによる調整前の色に変換する調整処理と、を有する。

図１は、実施例１にかかる符号化および復号例を示す説明図である。図２は、図１に示した色配列の例を示す説明図である。図３は、情報処理装置のハードウェア構成例を示すブロック図である。図４は、実施例１にかかる符号化装置の機能的構成例を示すブロック図である。図５は、第１生成部による成分フレームの生成例を示す説明図である。図６は、符号化部の構成例を示すブロック図である。図７は、成分フレームの参照方向例を示す説明図である。図８は、動きベクトルの検出例を示す説明図である。図９は、成分フレーム間での画素位置補償予測例１を示す説明図である。図１０は、成分フレーム間での画素位置補償予測例２を示す説明図である。図１１は、成分フレーム間での画素位置補償予測例３を示す説明図である。図１２は、成分フレーム間での画素位置補償予測例４を示す説明図である。図１３は、成分フレーム間での画素位置補償予測例５を示す説明図である。図１４は、成分フレーム間での画素位置補償予測例６を示す説明図である。図１５は、成分フレーム間での画素位置補償予測例７を示す説明図である。図１６は、成分フレーム間での画素位置補償予測例４を示す説明図である。図１７は、符号化成分フレームのデータ構造例を示す説明図である。図１８は、符号化装置による符号化処理手順例を示すフローチャートである。図１９は、復号装置の機能的構成例を示すブロック図である。図２０は、復号部の構成例を示すブロック図である。図２１は、復号装置による復号処理手順例を示すフローチャートである。図２２は、実施例２にかかる符号化および復号例を示す説明図である。図２３は、実施例２にかかる符号化装置の機能的構成例を示すブロック図である。図２４は、実施例２にかかる符号化装置による符号化処理手順例を示すフローチャートである。図２５は、実施例２にかかる復号装置の機能的構成例を示すブロック図である。図２６は、実施例２にかかる復号装置による復号処理手順例を示すフローチャートである。図２７は、実施例３にかかる符号化および復号例を示す説明図である。図２８は、成分フレームの参照方向例を示す説明図である。図２９は、スライス単位の符号化例を示す説明図である。図３０は、実施例４にかかる符号化および復号例を示す説明図である。図３１は、Ｂ符号化画像データおよびＲ符号化画像データに共通のデータ構造例を示す説明図である。図３２は、符号化部によるヘッダ情報内のホワイトバランス制御情報の生成処理手順例を示すフローチャートである。図３３は、ホワイトバランス逆調整処理の詳細な処理手順例を示すフローチャートである。図３４は、実施例６にかかるＷＢ調整およびＷＢ逆調整例を示す説明図である。図３５は、実施例６にかかるホワイトバランス調整の処理例１を示す説明図である。図３６は、実施例６にかかるホワイトバランス調整の処理例２を示す説明図である。図３７は、実施例６にかかる符号化装置の機能的構成例を示すブロック図である。図３８は、実施例６にかかる復号装置の機能的構成例を示すブロック図である。

　以下、添付図面を用いて、各実施例について説明する。なお、各実施例で符号化の対象となる画像データは、ＲＡＷ画像データである。ＲＡＷ画像データは、たとえば、ベイヤ配列のカラーフィルタが実装された撮像素子において光電変換された結果出力される加工前の画像データであり、色補間処理や圧縮処理（たとえば、静止画であれば、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式、動画であれば、ＭＰＥＧ（Ｍｏｖｉｎｇ　Ｐｉｃｔｕｒｅ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）形式）がされていない画像データである。ただし、ホワイトバランス調整はＲＡＷ画像データにされていてもよい。

　＜符号化および復号例＞
　図１は、実施例１にかかる符号化および復号例を示す説明図である。（Ａ）分離および（Ｂ）符号化は符号化装置によって実行され、（Ｃ）復号および（Ｄ）合成は復号装置によって実行される。ＲＡＷ画像データ１００は、複数の色成分を有する色配列１０１が周期的に配置された画像データである。たとえば、ベイヤ配列の場合、色配列１０１は、２×２画素の配列において、左上が緑（Ｇ１）、右上が青（Ｂ）、左下が赤（Ｒ）、右下が緑（Ｇ２）の色成分となる。色配列１０１の他の例は、図２で後述する。

　（Ａ）符号化装置は、ＲＡＷ画像データ１００から色成分ごとに成分フレームを生成する。具体的には、たとえば、符号化装置は、緑（Ｇ１）の色成分フレームであるＧ１画像データ１１１、緑（Ｇ２）の色成分フレームであるＧ２画像データ１１２、青（Ｂ）の色成分フレームであるＢ画像データ１１３、赤（Ｒ）の色成分フレームであるＲ画像データ１１４を生成する。

　Ｇ１画像データ１１１は、ＲＡＷ画像データ１００における色配列１０１の各々からのＧ１画素群により構成される画像データである。Ｇ２画像データ１１２は、ＲＡＷ画像データ１００における色配列１０１の各々からのＧ２画素群により構成される画像データである。Ｂ画像データ１１３は、ＲＡＷ画像データ１００における色配列１０１の各々からのＢ画素群により構成される画像データである。Ｒ画像データ１１４は、ＲＡＷ画像データ１００における色配列１０１の各々からのＲ画素群により構成される画像データである。

　（Ｂ）符号化装置は、各色成分フレームを成分フレーム間で符号化する。具体的には、たとえば、符号化装置は、成分フレーム群の１つをフレーム内予測符号化で符号化してＩピクチャを生成し、残余の成分フレーム群をフレーム間予測符号化で符号化してＰピクチャまたはＢピクチャを生成する。ここでは、符号化により、Ｇ１画像データ１１１は、Ｇ１符号化画像データ１２１となり、Ｇ２画像データ１１２は、Ｇ２符号化画像データ１２２となり、Ｂ画像データ１１３は、Ｂ符号化画像データ１２３となり、Ｒ画像データ１１４は、Ｒ符号化画像データ１２４となる。

　（Ｃ）復号装置は、符号化された成分フレーム群を復号する。具体的には、たとえば、復号装置は、Ｉピクチャを復号し、その後、後続のＰピクチャまたはＢピクチャを順次復号して、他の成分フレームを生成する。すなわち、復号装置は、Ｇ１符号化画像データ１２１、Ｇ２符号化画像データ１２２、Ｂ符号化画像データ１２３、およびＲ符号化画像データ１２４を復号して、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４を生成する。

　（Ｄ）復号装置は、復号された成分フレーム群を合成して、ＲＡＷ画像データ１００を生成する。具体的には、たとえば、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４の同一位置の画素Ｇ１、Ｇ２、Ｂ、Ｒを色配列１０１に従って並べることで、ＲＡＷ画像データ１００を復元する。

　このように、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、ＲＡＷ画像データ１００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００に復元することができる。

　図２は、図１に示した色配列の例を示す説明図である。（ａ）は図１に示した色配列１０１と同一の色配列を示す。（ｂ）は、（ａ）においてＢ画素とＲ画素の位置が入れ替わった色配列２０１を示す。（ｃ）は、（ａ）において左半分の画素列（Ｇ１、Ｒ）と右半分の画素列（Ｂ、Ｇ２）とが入れ替わった色配列２０２を示す。（ｄ）は、（ｂ）において左半分の画素列（Ｇ１、Ｂ）と右半分の画素列（Ｒ、Ｇ２）とが入れ替わった色配列２０３を示す。（ｅ）は、６×６画素の色配列２０４の一例を示す。（ｅ）の色配列２０４は、縦（６画素）、横（６画素）、斜め（３画素以上）のどの方向からの画素列にも緑の画素が含まれる。なお、以降、色配列の一例として（ａ）の色配列１０１を用いて説明する。

　＜情報処理装置のハードウェア構成例＞
　図３は、情報処理装置のハードウェア構成例を示すブロック図である。情報処理装置３００は、符号化装置および復号装置のいずれか一方、または両方を含む装置である。情報処理装置３００は、たとえば、デジタルカメラやデジタルビデオカメラなどの撮像装置であってもよく、パーソナルコンピュータやタブレット、スマートフォン、ゲーム機でもよい。

　情報処理装置３００は、プロセッサ３０１と、記憶デバイス３０２と、操作デバイス３０３と、ＬＳＩ（Ｌａｒｇｅ　Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）３０４と、撮像ユニット３０５と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）３０６と、を有する。これらは、バス３０８により接続されている。プロセッサ３０１は、情報処理装置３００を制御する。記憶デバイス３０２は、プロセッサ３０１の作業エリアとなる。

　記憶デバイス３０２は、各種プログラムやデータを記憶する非一時的なまたは一時的な記録媒体である。記憶デバイス３０２としては、たとえば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）、フラッシュメモリがある。操作デバイス３０３は、データを操作する。操作デバイス３０３としては、たとえば、ボタン、スイッチ、タッチパネルがある。

　ＬＳＩ３０４は、色補間、ホワイトバランス調整、輪郭強調、ガンマ補正、階調変換などの画像処理や符号化処理、復号処理、圧縮伸張処理など、特定の処理を実行する集積回路である。

　撮像ユニット３０５は、被写体を撮像してＲＡＷ画像データを生成する。撮像ユニット３０５は、撮像光学系３５１と、カラーフィルタ３５２を有する撮像素子３５３と、信号処理回路３５４と、を有する。

　撮像光学系３５１は、たとえば、ズームレンズやフォーカスレンズを含む複数のレンズで構成されている。なお、簡単のため、図３では撮像光学系３５１を１枚のレンズで図示する。

　撮像素子３５３は、撮像光学系３５１を通過した光束による被写体の結像を撮像（撮影）するデバイスである。撮像素子３５３は、順次走査方式の固体撮像素子（たとえば、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）イメージセンサ）であってもよく、ＸＹアドレス方式の固体撮像素子（たとえば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ　Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ）であってもよい。

　撮像素子３５３の受光面には、光電変換部を有する画素がマトリクス状に配列されている。そして、撮像素子３５３の各画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタ３５２が所定の色配列１０１に従って配置される。そのため、撮像素子３５３の各画素は、カラーフィルタ３５２での色分解によって各色成分に対応する電気信号を出力する。

　実施例１では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタ３５２が２行２列のベイヤ配列にしたがって受光面に周期的に配置されている。一例として、撮像素子３５３の色配列１０１の奇数行にはＧ，Ｂの画素が交互に並ぶとともに、色配列１０１の偶数行にはＲ，Ｇの画素が交互に並んでいる。そして、色配列１０１の全体では緑色画素が市松模様をなすように配置されている。これにより、撮像素子３５３は、撮影時にカラーの画像を取得することができる。

　信号処理回路３５４は、撮像素子３５３から入力される画像信号に対して、アナログ信号処理（相関二重サンプリング、黒レベル補正など）と、Ａ／Ｄ変換処理と、デジタル信号処理（欠陥画素補正など）とを順次実行する。信号処理回路３５４から出力されるＲＡＷ画像データ１００は、ＬＳＩ３０４または記憶デバイス３０２に入力される。通信ＩＦ３０６は、ネットワークを介して外部装置と接続し、データを送受信する。

　＜符号化装置の機能的構成例＞
　図４は、実施例１にかかる符号化装置の機能的構成例を示すブロック図である。符号化装置４００は、第１生成部４０１と、符号化部４０２と、記録部４０３と、を有する。第１生成部４０１は、ＲＡＷ画像データ１００から色成分ごとの成分フレームを生成し、符号化部４０２は、成分フレームを符号化し、記録部４０３は、符号化成分フレームを記憶デバイス３０２に記録する。符号化装置４００は、記憶デバイス３０２に記録された符号化成分フレームを後述する復号装置１９００に送信してもよい。

　第１生成部４０１、符号化部４０２、および記録部４０３は、具体的には、たとえば、記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより、または、ＬＳＩ３０４により実現される機能である。

　第１生成部４０１は、第１色成分と第１色成分とは異なる第２色成分とが繰り返し配置されたＲＡＷ画像データから、第１色成分の画素群により構成される第１画像データと、第２色成分の画素群により構成される第２画像データと、を生成する。換言すれば、第１生成部４０１は、第１色成分の光を光電変換する光電変換部を有する画素と第１色成分とは異なる第２色成分を光電変換する光電変換部を有する画素とが繰り返し配置された撮像素子３５３からの出力に基づくＲＡＷ画像データ１００から、第１色成分により構成される第１画像データと、第２色成分により構成される第２画像データと、を生成する。たとえば、ＲＡＷ画像データ１００は、撮像素子３５３から直接出力された画像データでもよく、複製されたＲＡＷ画像データ１００でもよい。

　上述したように、色配列１０１は、３種類４つの色成分である緑（Ｇ１）、緑（Ｇ２）、青（Ｂ）、および赤（Ｒ）を有する。

　ここで、第１色成分とは、色配列１０１を構成する緑（Ｇ１）、緑（Ｇ２）、青（Ｂ）、および赤（Ｒ）の中のいずれか１つである。第２色成分は、第１色成分が緑（Ｇ１）または緑（Ｇ２）であれば青（Ｂ）または赤（Ｒ）であり、第１色成分が青（Ｂ）であれば緑（Ｇ１）、緑（Ｇ２）、および赤（Ｒ）の中のいずれか１つであり、第１色成分が赤（Ｒ）であれば緑（Ｇ１）、緑（Ｇ２）、および青（Ｂ）の中のいずれか１つである。

　第１画像データは、第１色成分が緑（Ｇ１）であればＧ１画像データ１１１であり、第１色成分が緑（Ｇ２）であればＧ２画像データ１１２であり、第１色成分が青（Ｂ）であればＢ画像データ１１３であり、第１色成分が赤（Ｒ）であればＲ画像データ１１４である。

　これに対し、第２画像データは、第１画像データがＧ１画像データ１１１またはＧ２画像データ１１２であれば、Ｂ画像データ１１３またはＲ画像データ１１４であり、第１画像データがＢ画像データ１１３であれば、Ｇ１画像データ１１１、Ｇ２画像データ１１２、およびＲ画像データ１１４のいずれか１つであり、第１画像データがＲ画像データ１１４であれば、Ｇ１画像データ１１１、Ｇ２画像データ１１２、およびＢ画像データ１１３のいずれか１つである。

　また、ＲＡＷ画像データ１００は、第１色成分および第２色成分のうちいずれか一方の色成分と同一、または、第１色成分および第２色成分とは異なる、第３色成分を有する。具体的には、たとえば、第３色成分は、第１色成分が緑（Ｇ１）、第２色成分が青（Ｂ）であれば、第１色成分の緑（Ｇ１）と同一色成分である緑（Ｇ２）、または、第１色成分および第２色成分とは異なる色成分である赤（Ｒ）となる。また、第３色成分は、第１色成分が緑（Ｇ２）、第２色成分が青（Ｂ）であれば、第１色成分の緑（Ｇ２）と同一色成分である緑（Ｇ１）、または、第１色成分および第２色成分とは異なる色成分である赤（Ｒ）となる。

　また同様に、第３色成分は、第１色成分が緑（Ｇ１）、第２色成分が赤（Ｒ）であれば、第１色成分の緑（Ｇ１）と同一色成分である緑（Ｇ２）、または、第１色成分および第２色成分とは異なる色成分である青（Ｂ）となる。また、第３色成分は、第１色成分が緑（Ｇ２）、第２色成分が赤（Ｒ）であれば、第１色成分の緑（Ｇ２）と同一色成分である緑（Ｇ１）、または、第１色成分および第２色成分とは異なる色成分である青（Ｂ）となる。

　第３画像データは、第１画像データがＧ１画像データ１１１であり、かつ、第２画像データがＢ画像データ１１３であれば、Ｇ２画像データ１１２またはＲ画像データ１１４である。また、第３画像データは、第１画像データがＧ２画像データ１１２であり、かつ、第２画像データがＢ画像データ１１３であれば、Ｇ１画像データ１１１またはＲ画像データ１１４である。

　第３画像データは、第１画像データがＧ１画像データ１１１であり、かつ、第２画像データがＲ画像データ１１４であれば、Ｇ２画像データ１１２またはＢ画像データ１１３である。また、第３画像データは、第１画像データがＧ２画像データ１１２であり、かつ、第２画像データがＲ画像データ１１４であれば、Ｇ１画像データ１１１またはＢ画像データ１１３である。

　なお、第４色成分は、残余の色成分となり、第１生成部４０１は、ＲＡＷ画像データ１００のうち残余の色成分の画素群から、残余の色成分の第４画像データを生成する。

　図５は、第１生成部４０１による成分フレームの生成例を示す説明図である。（ａ）は、符号化対象であるＲＡＷ画像データ１００である。なお、ＲＡＷ画像データ１００の水平方向画素数をＨ（図５では、Ｈ＝８）とし、垂直方向画素数をＶ（図５では、Ｖ＝８）とする。

　（ｂ）～（ｅ）は、ＲＡＷ画像データ１００の色成分の並べ替えで生成される成分フレームを示す。（ｂ）の成分フレームはＧ１画像データ１１１であり、（ｃ）の成分フレームはＧ２画像データ１１２であり、（ｄ）の成分フレームはＢ画像データ１１３であり、（ｅ）の成分フレームはＲ画像データ１１４である。

　第１生成部４０１は、図１の（Ａ）分離を実行することにより、ＲＡＷ画像データ１００から分離したＧ１画素，Ｂ画素，Ｒ画素，Ｇ２画素を、色配列１０１の位置に応じて並べ替える。これにより、第１生成部４０１は、１つのＲＡＷ画像データ１００から、Ｇ１画像データ１１１，Ｇ２画像データ１１２，Ｂ画像データ１１３，Ｒ画像データ１１４の４つの成分フレームを生成する。なお、Ｇ１画像データ１１１，Ｇ２画像データ１１２，Ｂ画像データ１１３，Ｒ画像データ１１４は、それぞれＲＡＷ画像データ１００の１／４の画像サイズ（Ｖ／２×Ｈ／２）となる。

　図４に戻り、符号化部４０２は、第１生成部４０１によって生成された第１画像データに基づいて、第１生成部４０１によって生成された第２画像データを符号化する。具体的には、たとえば、符号化部４０２は、第１画像データと第２画像データとの間で画素位置を補償することにより、第２画像データを符号化する。ここで、「画素位置の補償」とは、第２画像データの注目画素を、注目画素とは異なる位置における第１画像データ内の特定の参照画素で補償することである。

　ＲＡＷ画像データ１００の同じ色配列１０１から抽出されたＧ１画素、Ｇ２画素、Ｂ画素、およびＲ画素は、各成分フレーム（Ｇ１画像データ１１１，Ｇ２画像データ１１２，Ｂ画像データ１１３，Ｒ画像データ１１４）で同じ画素位置にそれぞれ配置される。しかし、成分フレーム間では色配列１０１での画素位置の違いによる絵柄のズレが生じる。そのため、符号化部４０２は、通常の符号化処理における時間軸方向でのフレーム間の動き補償と同様、同一のＲＡＷ画像データ１００から生成された成分フレーム間での画素位置補償を実行することになる。

　ここで、画素位置補償予測を行う符号化方式としては、たとえば、ＩＳＯ／ＩＥＣ１４４９６－１０に規定されるＡＶＣ（Ａｄｖａｎｃｅｄ　Ｖｉｄｅｏ　Ｃｏｄｉｎｇ）などが知られている。符号化部４０２は、特定の成分フレーム（たとえば、Ｇ１画像データ１１１）についてフレーム内予測符号化を実行してＩピクチャを生成するとともに、残余の成分フレーム（たとえば、Ｇ２画像データ１１２、Ｂ画像データ１１３、Ｒ画像データ１１４）についてフレーム間予測符号化を実行してＰピクチャまたはＢピクチャを生成する。

　Ｉピクチャは、成分フレーム内のみで完結する符号化により得られる符号化画像データである。Ｐピクチャは、参照成分フレーム最大１枚を用いる成分フレーム間予測符号化により得られる符号化画像データである。Ｂピクチャは、参照成分フレーム最大２枚を用いる成分フレーム間予測符号化により得られる符号化画像データである。以下、符号化部４０２の詳細な構成例について説明する。

　＜符号化部４０２の構成例＞
　図６は、符号化部４０２の構成例を示すブロック図である。符号化部４０２は、第１蓄積部６０１と、減算部６０２と、直交変換部６０３と、量子化部６０４と、可変長符号化部６０５と、逆量子化部６０６と、逆直交変換部６０７と、加算部６０８と、第２蓄積部６０９と、位置ずれ検出部６１０と、第１画素位置補償部６１１と、を有する。

　第１蓄積部６０１は、第１生成部４０１から出力される各成分フレーム（Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、Ｒ画像データ１１４）を蓄積する。第１蓄積部６０１に蓄積された成分フレームは、符号化対象の画像データとして入力順に減算部６０２へ出力される。なお、符号化の完了した画像データは第１蓄積部６０１から順次消去される。

　減算部６０２は、ＰピクチャまたはＢピクチャを生成するときには、入力された原画像の成分フレームと、第１画素位置補償部６１１で生成された後述の予測値との差分信号（予測誤差値）を出力する。また、減算部６０２は、Ｉピクチャを生成するときには、入力された原画像の成分フレームをそのまま出力する。

　直交変換部６０３は、Ｉピクチャを生成するときには、減算部６０２をスルーして入力された原画像の成分フレームに対して直交変換を行う。また、直交変換部６０３は、ＰピクチャまたはＢピクチャを生成するときには、上述した差分信号に対して直交変換をおこなう。

　量子化部６０４は、直交変換部６０３から入力されたブロック単位の周波数係数（直交変換係数）を量子化係数に変換する。量子化部６０４の出力は、可変長符号化部６０５および逆量子化部６０６にそれぞれ入力される。

　可変長符号化部６０５は、量子化係数や、位置ずれ検出部６１０からの位置ずれに関する動きベクトル（以下、単に「動きベクトル」）を可変長符号化し、符号化成分フレーム（Ｉピクチャ、Ｐピクチャ、Ｂピクチャ）を出力する。

　逆量子化部６０６は、符号化の単位であるブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部６０７は、逆量子化部６０６で復号された周波数係数を逆直交変換して予測誤差値（または原画像の成分フレーム）を復号する。

　加算部６０８は、復号された予測誤差値と、第１画素位置補償部６１１で生成された後述の予測値とを加算する。そして、加算部６０８から出力されたピクチャの復号値（参照成分フレーム）は第２蓄積部６０９に蓄積される。なお、以後の画素位置補償予測で参照されない成分フレームは第２蓄積部６０９から順次消去される。

　位置ずれ検出部６１０は、第２蓄積部６０９の参照画像を用いて、符号化対象の成分フレームを予測するための画素位置のずれを示す動きベクトルを検出する。動きベクトルは、第１画素位置補償部６１１および可変長符号化部６０５に出力される。

　第１画素位置補償部６１１は、動きベクトルおよび参照成分フレームに基づいて、符号化対象の成分フレームをブロック単位で予測した予測値を出力する。この予測値は、減算部６０２および加算部６０８に出力される。

　なお、或るブロックについて画素位置補償予測を行う場合、符号化対象の成分フレームが予測値と完全に一致すると動きベクトルのみが符号化される。また、符号化対象の成分フレームが予測値と部分的に一致する場合、動きベクトルと差分画像が符号化される。また、符号化対象の成分フレームが予測値からすべて外れる場合には、ブロック全体分の画像がすべて符号化される。

　＜成分フレームの参照方向例＞
　図７は、成分フレームの参照方向例を示す説明図である。（Ａ）は、同一ＲＡＷ画像データ１００からの成分フレームの入力順が、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４である場合の参照方向を示す。先頭のＧ１画像データ１１１はＩピクチャに符号化される。次に入力されるＧ２画像データ１１２は、先行するＧ１画像データ１１１を参照成分フレームとしてフレーム間予測符号化によりＰピクチャに符号化される。

　次に入力されるＢ画像データ１１３は、ブロック毎に先行するＧ１画像データ１１１およびＧ２画像データ１１２のうち少なくとも一方の成分フレームを参照成分フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。最後に入力されるＲ画像データ１１４は、ブロック毎に先行するＧ１画像データ１１１、Ｇ２画像データ１１２、およびＢ画像データ１１３のうち少なくとも一つの成分フレームを参照成分フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　（Ｂ）は、同一ＲＡＷ画像データ１００からの成分フレームの入力順が、Ｂ画像データ１１３、Ｒ画像データ１１４、Ｇ１画像データ１１１、およびＧ２画像データ１１２である場合の参照方向を示す。先頭のＢ画像データ１１３はＩピクチャに符号化される。次に入力されるＲ画像データ１１４は、先行するＢ画像データ１１３を参照成分フレームとしてフレーム間予測符号化によりＰピクチャに符号化される。

　次に入力されるＧ１画像データ１１１は、先行するＢ画像データ１１３およびＲ画像データ１１４のうち少なくとも一方の成分フレームを参照成分フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。最後に入力されるＧ２画像データ１１２は、先行するＢ画像データ１１３、Ｒ画像データ１１４、およびＧ１画像データ１１１のうち少なくとも一つの成分フレームを参照成分フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　なお、図７の参照方向は一例であり、（Ａ），（Ｂ）以外の成分フレームの入力順でも符号化が可能である。すなわち、先頭の成分フレームがＩピクチャに符号化され、後続の成分フレームがＰピクチャまたはＢピクチャに符号化される。また、この符号化部４０２は、色成分に依存しない撮像素子３５３の画素からの輝度値を用いているため、異なる色成分を参照フレームとしても符号化することができる。

　＜動きベクトルの検出例＞
　図８は、動きベクトルの検出例を示す説明図である。（Ａ）は、ＲＡＷ画像データ１００および成分フレームを示し、（Ｂ）～（Ｍ）は、動きベクトルの検出例を示す。図８では、説明を単純化するため、（Ａ）に示すように、ＲＡＷ画像データ１００を、Ｈ＝４画素、Ｖ＝４画素のフレームとする。また、他の同一色成分と区別するため、色成分の符号の末尾にａ～ｄ、ｘを付す。

　また、予測先の成分フレームの注目画素の位置に対する参照成分フレームの参照画素の位置ずれを、動きベクトルＶ（ｘ，ｙ）とする。動きベクトルＶ（ｘ，ｙ）は、右方向のずれによりｘが増加し、左方向のずれによりｘが減少し、下方向のずれによりｙが増加し、上方向のずれによりｙが減少する。図８中、動きベクトルＶ（ｘ，ｙ）を黒矢印で示す。

　（Ｂ）～（Ｅ）は、参照成分フレームをＢ画像データ１１３とし、予測先の成分フレームをＲ画像データ１１４とし、注目画素をＲ画像データ１１４の画素Ｒｘとした場合の動きベクトルＶ（Ｒｘ）の検出例を示す。（Ｂ）～（Ｅ）では、位置ずれ検出部６１０は、１つの参照画素で注目画素を予測するための動きベクトルを検出する。これにより、Ｒ画像データ１１４をＰピクチャに符号化することができる。

　（Ｂ）において、Ｂ画像データ１１３の参照画素を画素Ｂｂとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。すなわち、参照画素Ｂｂと注目画素Ｒｘには位置ずれが生じていない。したがって、画素Ｂｂで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，０）となる。すなわち、動きベクトルＶ（Ｂ）は検出されない。

　（Ｃ）において、Ｂ画像データ１１３の参照画素を画素Ｂａとする。注目画素Ｒｘは、参照画素Ｂａから右方向に１画素分ずれた画素位置である。すなわち、参照画素Ｂａと注目画素Ｒｘには位置ずれが生じている。したがって、参照画素Ｂａで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－１，０）として検出される。

　（Ｄ）において、Ｂ画像データ１１３の参照画素を画素Ｂｄとする。注目画素Ｒｘは、参照画素Ｂｄから上方向に１画素分ずれた画素位置である。すなわち、参照画素Ｂｄと注目画素Ｒｘには位置ずれが生じている。したがって、参照画素Ｂｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，１）として検出される。

　（Ｅ）において、Ｂ画像データ１１３の参照画素を画素Ｂｃとする。注目画素Ｒｘは、参照画素Ｂｃから右方向に１画素、上方向に１画素分ずれた画素位置である。すなわち、参照画素Ｂｃと注目画素Ｒｘには位置ずれが生じている。したがって、参照画素Ｂｃで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－１，１）として検出される。

　（Ｆ）～（Ｊ）は、参照成分フレームをＢ画像データ１１３とし、予測先の成分フレームをＲ画像データ１１４とし、注目画素をＲ画像データ１１４の画素Ｒｘとした場合の動きベクトルＶ（Ｂ）の検出例を示す。（Ｆ）～（Ｊ）では、位置ずれ検出部６１０は、同一色成分の複数の参照画素で注目画素を予測するための動きベクトルを検出する。これにより、Ｒ画像データ１１４をＰピクチャに符号化することができる。

　（Ｆ）において、Ｂ画像データ１１３の参照画素を画素Ｂａ～Ｂｄとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂａ～Ｂｄで予測する場合、平均的な参照画素位置は、参照画素Ｂａ～Ｂｄの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂａ～Ｂｄの中心から右方向に０．５画素、上方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｂａ～Ｂｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０．５）として検出される。

　（Ｇ）において、Ｂ画像データ１１３の参照画素を画素Ｂｂ，Ｂｄとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂｂ，Ｂｄで予測する場合、平均的な参照画素位置は、参照画素Ｂｂ，Ｂｄの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂｂ，Ｂｄの中心から上方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｂｂ，Ｂｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，０．５）として検出される。

　（Ｈ）において、Ｂ画像データ１１３の参照画素を画素Ｂａ，Ｂｃとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂａ，Ｂｃで予測する場合、平均的な参照画素位置は、参照画素Ｂａ，Ｂｃの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂａ，Ｂｃの中心から右方向に１画素、上方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｂａ，Ｂｃで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－１，０．５）として検出される。

　（Ｉ）において、Ｂ画像データ１１３の参照画素を画素Ｂａ，Ｂｂとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂａ，Ｂｂで予測する場合、平均的な参照画素位置は、参照画素Ｂａ，Ｂｂの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂａ，Ｂｂの中心から右方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｂａ，Ｂｂで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０）として検出される。

　（Ｊ）において、Ｂ画像データ１１３の参照画素を画素Ｂｃ，Ｂｄとする。注目画素Ｒｘは、参照画素Ｂｂと同じ画素位置である。参照画素Ｂｃ，Ｂｄで予測する場合、平均的な参照画素位置は、参照画素Ｂｃ，Ｂｄの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｂｃ，Ｂｄの中心から右方向に０．５画素、上方向に１画素分ずれた画素位置である。したがって、参照画素Ｂｃ，Ｂｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，１）として検出される。

　（Ｋ）～（Ｍ）は、参照成分フレームをＧ１画像データ１１１または／およびＧ２画像データ１１２とし、予測先の成分フレームをＲ画像データ１１４とし、注目画素をＲ画像データ１１４の画素Ｒｘとした場合の動きベクトルＶの検出例を示す。（Ｋ）～（Ｍ）では、位置ずれ検出部６１０は、同一色成分または異なる色成分の複数の参照画素で注目画素を予測するための動きベクトルを検出する。これにより、Ｒ画像データ１１４をＰピクチャまたはＢピクチャに符号化することができる。

　（Ｋ）において、Ｇ１画像データ１１１の参照画素を画素Ｇ１ｂ，Ｇ１ｄとする。注目画素Ｒｘは、参照画素Ｇ１ｂと同じ画素位置である。参照画素Ｇ１ｂ，Ｇ１ｄで予測する場合、平均的な参照画素位置は、参照画素Ｇ１ｂ，Ｇ１ｄの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｇ１ｂ，Ｇ１ｄの中心から上方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｇ１ｂ，Ｇ１ｄで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０，０．５）として検出される。

　（Ｌ）において、Ｇ２画像データ１１２の参照画素を画素Ｇ２ａ，Ｇ２ｂとする。注目画素Ｒｘは、参照画素Ｇ２ｂと同じ画素位置である。参照画素Ｇ２ａ，Ｇ２ｂで予測する場合、平均的な参照画素位置は、参照画素Ｇ２ａ，Ｇ２ｂの中心となり、注目画素Ｒｘと位置ずれが生じている。

　すなわち、注目画素Ｒｘは、参照画素Ｇ２ａ，Ｇ２ｂの中心から右方向に０．５画素分ずれた画素位置である。したがって、参照画素Ｇ２ａ，Ｇ２ｂで注目画素Ｒｘを予測する場合、動きベクトルＶ（Ｇ２）は、Ｖ（Ｇ２）＝（－０．５，０）として検出される。

　（Ｍ）は、Ｇ１画像データ１１１およびＧ２画像データ１１２を参照成分フレームとする。このため、（Ｍ）の動きベクトルは、（Ｋ）の動きベクトルＶ（Ｇ１）と（Ｌ）の動きベクトルＶ（Ｇ２）との合成動きベクトルＶ（Ｇ）となる。したがって、参照画素Ｇ１ｂ，Ｇ１ｄおよび参照画素Ｇ２ａ，Ｇ２ｂで注目画素Ｒｘを予測する場合、合成動きベクトルＶ（Ｇ）は、Ｖ（Ｇ）＝（－０．５，０．５）として検出される。

　なお、図８では、予測先をＲ画像データ１１４としたが、予測先はＧ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３でもよい。また、Ｒ画像データ１１４を参照成分フレームとしてもよい。また、（Ｍ）の双方向の参照成分フレームは同一色成分ではなく異なる色成分でもよい。

　このように、ＲＡＷ画像データ１００の同じ色配列１０１から抽出されたＧ１画素、Ｇ２画素、Ｂ画素およびＲ画素は、各成分フレームで同じ画素位置にそれぞれ配置される。しかし、成分フレーム間では色配列１０１での画素位置の違いによる絵柄のズレが生じる。そのため、色配列１０１での画素位置の違いを考慮して、成分フレーム間での画素位置補償予測が実行される。

　＜成分フレーム間での画素位置補償予測例＞
　以下、成分フレーム間での画素位置補償予測例を、図９～図１６を用いて説明する。なお、図９～図１６において、ＲＡＷ画像データ１００での画素の配列を丸印で示す。また、１つの色配列の範囲（成分フレームの標本点）を枠線で示す。

　図９は、成分フレーム間での画素位置補償予測例１を示す説明図である。（Ａ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の周囲４画素Ｇ１ａ～Ｇ１ｄの平均値で予測する例を示す。

　（Ａ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ｂ～Ｇ１ｄの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素、下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０．５，０．５）である。

　このように、（Ａ）では、注目画素Ｇ２ｘの画素値を４つの隣接画素Ｇ１ａ～Ｇ１ｄの平均で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。したがって、Ｇ１画像データにより注目画素Ｇ２ｘの画素位置に合わせた予測ができる。また、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｃの平均値で予測する例を示す。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｇ１ａ、Ｇ１ｃの平均で予測するため、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ａ、Ｇ１ｃの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０，０．５）である。

　（Ｃ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ｂ、Ｇ１ｄの平均値で予測する例を示す。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｇ１ｂ、Ｇ１ｄの平均で予測するため、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｃ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ｂ、Ｇ１ｄの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に１画素、下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（１，０．５）である。

　（Ｄ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂの平均値で予測する例を示す。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｇ１ａ、Ｇ１ｂの平均で予測するため、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｄ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ａ、Ｇ１ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０．５，０）である。

　（Ｅ）の参照パターンは、予測先の成分フレームをＧ２画像データ１１２とし、その注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ｃ、Ｇ１ｄの平均値で予測する例を示す。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｇ１ｃ、Ｇ１ｄの平均で予測するため、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ｅ）では、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｇ１ｃ、Ｇ１ｄの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素、下に１画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０．５，１）である。

　このように、（Ｂ）～（Ｅ）では、縦エッジ、または、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｇ２ｘの画素値を２つの隣接画素の平均で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　図１０は、成分フレーム間での画素位置補償予測例２を示す説明図である。図１０では、予測先の成分フレームの注目画素の値が、予測先の成分フレームと同一色成分である参照成分フレームの異なる位置の画素の値から予測される。図１０では、予測先の成分フレームをＧ２画像データ１１２、その注目画素を画素Ｇ２ｘとし、参照成分フレームをＧ１画像データ１１１とする。

　（Ａ）の参照パターンの場合、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値が、ＲＡＷ画像データでは左上に位置する画素Ｇ１ａの値から予測される。この場合、参照成分フレームであるＧ１画像データ１１１の参照画素（Ｇ１ａの属する標本点）は、予測先の成分フレームであるＧ２画像データ１１２での注目画素（Ｇ２ｘの属する標本点）と同じ位置である。したがって、動きベクトルＶは、Ｖ（Ｇ１）＝（０，０）となる。このような動き補償予測は、右下から左上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｂ）の参照パターンの場合、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値が、ＲＡＷ画像データでは右上に位置する画素Ｇ１ｂの値から予測される。この場合、参照成分フレームであるＧ１画像データ１１１の参照画素（Ｇ１ｂの属する標本点）は、予測先の成分フレームであるＧ２画像データ１１２での注目画素（Ｇ２ｘの属する標本点）の位置に対して右に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｇ１）＝（１，０）となる。このような動き補償予測は、左下から右上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｃ）の参照パターンの場合、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値が、ＲＡＷ画像データでは左下に位置する画素Ｇ１ｃの値から予測される。この場合、参照成分フレームであるＧ１画像データ１１１の参照画素（Ｇ１ｃの属する標本点）は、予測先の成分フレームであるＧ２画像データ１１２での注目画素（Ｇ２ｘの属する標本点）の位置に対して下に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｇ１）＝（０，１）となる。このような動き補償予測は、右下から左上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｄ）の参照パターンの場合、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値が、ＲＡＷ画像データ１００では右下に位置する画素Ｇ１ｄの値から予測される。この場合、参照成分フレームであるＧ１画像データ１１１の参照画素（Ｇ１ｄの属する標本点）は、予測先の成分フレームであるＧ２画像データ１１２での注目画素（Ｇ２ｘの属する標本点）の位置に対して右に１画素、下に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｇ１）＝（１，１）となる。このような動き補償予測は、左下から右上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　このように、注目画素Ｇ２ｘの画素値を１つの画素Ｇ１で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　図１１は、成分フレーム間での画素位置補償予測例３を示す説明図である。図１１では、予測先の成分フレームの注目画素の値が、予測先の成分フレームとは異なる色成分である参照成分フレームの異なる位置の画素の値から予測される。図１１では、予測先の成分フレームをＢ画像データ１１３、その注目画素を画素Ｂｘとし、参照成分フレームをＧ１画像データ１１１またはＧ２画像データ１１２とする。

　（Ａ）の参照パターンは、予測先の成分フレームであるＢ画像データ１１３の注目画素Ｂｘの値を、注目画素Ｂｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂの平均値で予測する例を示す。注目画素Ｂｘの画素値を２つの隣接画素Ｇ１ａ、Ｇ１ｂの平均で予測することにより、Ｂ画像データ１１３はＰピクチャに符号化される。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ａ）では、画素Ｇ１ａと注目画素Ｂｘとが同じ標本点に属するが、注目画素Ｂｘは補間により画素Ｇ１ａ、Ｇ１ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｂｘの位置に対して右に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０．５，０）である。

　（Ｂ）の参照パターンは、予測先の成分フレームであるＢ画像データ１１３の注目画素Ｂｘの値を、注目画素Ｂｘに隣接する参照成分フレームであるＧ２画像データ１１２の隣接する２画素Ｇ２ａ、Ｇ２ｂの平均値で予測する例を示す。注目画素Ｂｘの画素値を２つの隣接画素Ｇ２ａ、Ｇ２ｂの平均で予測することにより、Ｂ画像データ１１３はＰピクチャに符号化される。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＧ２画像データ１１２の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、参照画素Ｇ２ｂと注目画素Ｂｘとが同じ標本点に属するが、注目画素Ｂｘは補間により画素Ｇ２ａ、Ｇ２ｂの影響を受ける。そのため、参照成分フレームであるＧ２画像データ１１２での参照画素の範囲は、注目画素Ｂｘの位置に対して上に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ２）は、Ｖ（Ｇ２）＝（０，－０．５）である。

　（Ｃ）の参照パターンは、（Ａ）の画素位置補償予測と（Ｂ）の画素位置補償予測との組み合わせである。すなわち、（Ｃ）は、予測先の成分フレームであるＢ画像データ１１３の注目画素Ｂｘの値を、注目画素Ｂｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂおよびＧ２画像データ１１２の隣接する２画素Ｇ２ａ、Ｇ２ｂの平均値で予測する例である。

　注目画素Ｂｘの画素値を４つの隣接画素Ｇ１ａ、Ｇ１ｂ、Ｇ２ａ、Ｇ２ｂの平均で予測することにより、Ｂ画像データ１１３はＢピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１およびＧ２画像データ１１２の復号値に含まれる符号化歪みをより抑制することができる。

　（Ｃ）では、画素Ｇ１ａ、Ｇ２ｂと注目画素Ｂｘとが同じ標本点に属するが、注目画素Ｂｘは補間により画素Ｇ１ａ、Ｇ１ｂ、Ｇ２ａ、Ｇ２ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｂｘの位置に対して右に０．５画素ずれ、Ｇ２画像データ１１２での参照画素の範囲は、注目画素Ｂｘの位置に対して上に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ）は、Ｖ（Ｇ１）＋Ｖ（Ｇ２）＝（０．５，－０．５）である。

　図１２は、成分フレーム間での画素位置補償予測例４を示す説明図である。図１２では、予測先の成分フレームの注目画素の値が、予測先の成分フレームとは異なる色成分である参照成分フレームの異なる位置の画素の値から予測される。図１２では、予測先の成分フレームをＲ画像データ１１４、その注目画素を画素Ｒｘとし、参照成分フレームをＧ１画像データ１１１またはＧ２画像データ１１２とする。

　（Ａ）の参照パターンは、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂの平均値で予測する例を示す。注目画素Ｒｘの画素値を２つの隣接画素Ｇ１ａ、Ｇ１ｂの平均で予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＧ１画像データ１１１の復号値に含まれる符号化歪みを抑制することができる。

　（Ａ）では、画素Ｇ１ａと注目画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｇ１ａ、Ｇ１ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｒｘの位置に対して下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ１）は、Ｖ（Ｇ１）＝（０，０．５）である。

　（Ｂ）の参照パターンは、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＧ２画像データ１１２の隣接する２画素Ｇ２ａ、Ｇ２ｂの平均値で予測する例を示す。注目画素Ｒｘの画素値を２つの隣接画素Ｇ２ａ、Ｇ２ｂの平均で予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＧ２画像データ１１２の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、参照画素Ｇ２ｂと注目画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｇ２ａ、Ｇ２ｂの影響を受ける。そのため、参照成分フレームであるＧ２画像データ１１２での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ２）は、Ｖ（Ｇ２）＝（－０．５，０）である。

　（Ｃ）の参照パターンは、（Ａ）の画素位置補償予測と（Ｂ）の画素位置補償予測との組み合わせである。すなわち、（Ｃ）は、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＧ１画像データ１１１の隣接する２画素Ｇ１ａ、Ｇ１ｂおよびＧ２画像データ１１２の隣接する２画素Ｇ２ａ、Ｇ２ｂの平均値で予測する例である。

　注目画素Ｂｘの画素値を４つの隣接画素Ｇ１ａ、Ｇ１ｂ、Ｇ２ａ、Ｇ２ｂの平均で予測することにより、Ｒ画像データ１１４はＢピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１およびＧ２画像データ１１２の復号値に含まれる符号化歪みを抑制することができる。

　（Ｃ）では、画素Ｇ１ａ、Ｇ２ｂと注目画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｇ１ａ、Ｇ１ｂ、Ｇ２ａ、Ｇ２ｂの影響を受ける。そのため、参照成分フレームであるＧ１画像データ１１１での参照画素の範囲は、注目画素Ｒｘの位置に対して下に０．５画素ずれ、Ｇ２画像データ１１２での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ）は、Ｖ（Ｇ１）＋Ｖ（Ｇ２）＝（－０．５，０．５）である。

　図１３は、成分フレーム間での画素位置補償予測例５を示す説明図である。（Ａ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の周囲４画素Ｂａ～Ｂｄの平均値で予測する例を示す。

　（Ａ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂｂ～Ｂｄの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素、下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０．５）である。

　このように、注目画素Ｒｘの画素値を４つの隣接画素Ｂａ～Ｂｄの平均で予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。したがって、Ｂ画像により注目画素Ｒｘの画素位置に合わせた予測ができる。また、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、Ｂｃの平均値で予測する例を示す。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｒｘの画素値を２つの隣接画素Ｂａ、Ｂｃの平均で予測するため、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂａ、Ｂｃの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して左に１画素、下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－１，０．５）である。

　（Ｃ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂｂ、Ｂｄの平均値で予測する例を示す。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｒｘの画素値を２つの隣接画素Ｂｂ、Ｂｄの平均で予測するため、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｃ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂｂ、Ｂｄの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，０．５）である。

　（Ｄ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、Ｂｂの平均値で予測する例を示す。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｒｘの画素値を２つの隣接画素Ｂａ、Ｂｂの平均で予測するため、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｄ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂａ、Ｂｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０）である。

　（Ｅ）の参照パターンは、予測先の成分フレームをＲ画像データ１１４とし、その注目画素Ｒｘの値を、注目画素Ｒｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂｃ、Ｂｄの平均値で予測する例を示す。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。注目画素Ｒｘの画素値を２つの隣接画素Ｂｃ、Ｂｄの平均で予測するため、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ｅ）では、画素Ｂｂと画素Ｒｘとが同じ標本点に属するが、注目画素Ｒｘは補間により画素Ｂｃ、Ｂｄの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｒｘの位置に対して左に０．５画素、下に１画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，１）である。

　このように、（Ｂ）～（Ｅ）では、注目画素Ｒｘの画素値を２つの隣接画素の平均で予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。したがって、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　図１４は、成分フレーム間での画素位置補償予測例６を示す説明図である。図１４では、予測先の成分フレームの注目画素の値が、予測先の成分フレームと同一色成分である参照成分フレームの異なる位置の画素の値から予測される。図１４では、予測先の成分フレームをＲ画像データ１１４、その注目画素を画素Ｒｘとし、参照成分フレームをＢ画像データ１１３とする。

　（Ａ）の参照パターンの場合、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値が、ＲＡＷ画像データ１００では左上に位置する画素Ｂａの値から予測される。この場合、参照成分フレームであるＢ画像データ１１３の参照画素（Ｂａの属する標本点）は、予測先の成分フレームであるＲ画像データ１１４での注目画素（Ｒｘの属する標本点）の位置に対して左に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｂ）＝（－１，０）となる。このような動き補償予測は、右下から左上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｂ）の参照パターンの場合、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値が、ＲＡＷ画像データ１００では右上に位置する画素Ｂｂの値から予測される。この場合、参照成分フレームであるＢ画像データ１１３の参照画素（Ｂｂの属する標本点）は、予測先の成分フレームであるＲ画像データ１１４での注目画素（Ｒｘの属する標本点）と同じ位置である。したがって、動きベクトルＶは、Ｖ（Ｂ）＝（０，０）となる。このような動き補償予測は、左下から右上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｃ）の参照パターンの場合、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値が、ＲＡＷ画像データ１００では右下に位置する画素Ｂｄの値から予測される。この場合、参照成分フレームであるＢ画像データ１１３の参照画素（Ｂｄの属する標本点）は、予測先の成分フレームであるＲ画像データ１１４での注目画素（Ｒｘの属する標本点）の位置に対して下に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｂ）＝（０，１）となる。このような動き補償予測は、左上から右下への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　（Ｄ）の参照パターンの場合、予測先の成分フレームであるＲ画像データ１１４の注目画素Ｒｘの値が、ＲＡＷ画像データ１００では右下に位置する画素Ｂｃの値から予測される。この場合、参照成分フレームであるＢ画像データ１１３の参照画素（Ｂｃの属する標本点）は、予測先の成分フレームであるＲ画像データ１１４での注目画素（Ｒｘの属する標本点）の位置に対して右に１画素、下に１画素ずれる。したがって、動きベクトルＶは、Ｖ（Ｂ）＝（－１，１）となる。このような動き補償予測は、右上から左下への斜めエッジを含む絵柄のブロックで選択される確率が高い。

　このように、注目画素Ｒｘの画素値を１つの画素Ｂで予測することにより、Ｒ画像データ１１４はＰピクチャに符号化される。したがって、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　図１５は、成分フレーム間での画素位置補償予測例７を示す説明図である。図１５では、予測先の成分フレームの注目画素の値が、予測先の成分フレームとは異なる色成分である参照成分フレームの異なる位置の画素の値から予測される。図１５では、予測先の成分フレームをＧ１画像データ１１１、その注目画素を画素Ｇ１ｘとし、参照成分フレームをＢ画像データ１１３またはＲ画像データ１１４とする。

　（Ａ）の参照パターンは、予測先の成分フレームであるＧ１画像データ１１１の注目画素Ｇ１ｘの値を、注目画素Ｇ１ｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、Ｂｂの平均値で予測する例を示す。注目画素Ｇ１ｘの画素値を２つの隣接画素Ｂａ、Ｂｂの平均で予測することにより、Ｇ１画像データ１１１はＰピクチャに符号化される。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ａ）では、画素Ｂｂと注目画素Ｇ１ｘとが同じ標本点に属するが、注目画素Ｇ１ｘは補間により画素Ｂａ、Ｂｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｇ１ｘの位置に対して左に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（－０．５，０）である。

　（Ｂ）の参照パターンは、予測先の成分フレームであるＧ１画像データ１１１の注目画素Ｇ１ｘの値を、注目画素Ｇ１ｘに隣接する参照成分フレームであるＲ画像データ１１４の隣接する２画素Ｒａ、Ｒｂの平均値で予測する例を示す。注目画素Ｇ１ｘの画素値を２つの隣接画素Ｒａ、Ｒｂの平均で予測することにより、Ｇ１画像データ１１１はＰピクチャに符号化される。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＲ画像データ１１４の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、参照画素Ｒｂと注目画素Ｇ１ｘとが同じ標本点に属するが、注目画素Ｇ１ｘは補間により画素Ｒａ、Ｒｂの影響を受ける。そのため、参照成分フレームであるＲ画像データ１１４での参照画素の範囲は、注目画素Ｇ１ｘの位置に対して上に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｒ）は、Ｖ（Ｒ）＝（０，－０．５）である。

　（Ｃ）の参照パターンは、（Ａ）の画素位置補償予測と（Ｂ）の画素位置補償予測との組み合わせである。すなわち、（Ｃ）は、予測先の成分フレームであるＧ１画像データ１１１の注目画素Ｇ１ｘの値を、注目画素Ｇ１ｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、ＢｂおよびＲ画像データ１１４の隣接する２画素Ｒａ、Ｒｂの平均値で予測する例である。

　注目画素Ｇ１ｘの画素値を４つの隣接画素Ｂａ、Ｂｂ、Ｒａ、Ｒｂの平均で予測することにより、Ｇ１画像データ１１１はＢピクチャに符号化される。したがって、参照成分フレームであるＧ１画像データ１１１およびＲ画像データ１１４の復号値に含まれる符号化歪みを抑制することができる。

　（Ｃ）では、画素Ｂｂ、Ｒｂと注目画素Ｇ１ｘとが同じ標本点に属するが、注目画素Ｇ１ｘは補間により画素Ｂａ、Ｂｂ、Ｒａ、Ｒｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｇ１ｘの位置に対して左に０．５画素ずれ、Ｒ画像データ１１４での参照画素の範囲は、注目画素Ｇ１ｘの位置に対して上に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ）は、Ｖ（Ｇ１）＋Ｖ（Ｒ）＝（－０．５，－０．５）である。

　図１６は、成分フレーム間での画素位置補償予測例４を示す説明図である。図１６では、予測先の成分フレームの注目画素の値が、予測先の成分フレームとは異なる色成分である参照成分フレームの異なる位置の画素の値から予測される。図１６では、予測先の成分フレームをＧ２画像データ１１２、その注目画素を画素Ｇ２ｘとし、参照成分フレームをＢ画像データ１１３またはＲ画像データ１１４とする。

　（Ａ）の参照パターンは、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、Ｂｂの平均値で予測する例を示す。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｂａ、Ｂｂの平均で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。このような画素位置補償予測は、縦エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＢ画像データ１１３の復号値に含まれる符号化歪みを抑制することができる。

　（Ａ）では、画素Ｂａと注目画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｂａ、Ｂｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して下に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｂ）は、Ｖ（Ｂ）＝（０，０．５）である。

　（Ｂ）の参照パターンは、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＲ画像データ１１４の隣接する２画素Ｒａ、Ｒｂの平均値で予測する例を示す。注目画素Ｇ２ｘの画素値を２つの隣接画素Ｒａ、Ｒｂの平均で予測することにより、Ｇ２画像データ１１２はＰピクチャに符号化される。このような画素位置補償予測は、横エッジを含む絵柄のブロックで選択される確率が高い。また、参照成分フレームであるＲ画像データ１１４の復号値に含まれる符号化歪みを抑制することができる。

　（Ｂ）では、参照画素Ｒｂと注目画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｒａ、Ｒｂの影響を受ける。そのため、参照成分フレームであるＲ画像データ１１４での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｒ）は、Ｖ（Ｒ）＝（０．５，０）である。

　（Ｃ）の参照パターンは、（Ａ）の画素位置補償予測と（Ｂ）の画素位置補償予測との組み合わせである。すなわち、（Ｃ）は、予測先の成分フレームであるＧ２画像データ１１２の注目画素Ｇ２ｘの値を、注目画素Ｇ２ｘに隣接する参照成分フレームであるＢ画像データ１１３の隣接する２画素Ｂａ、ＢｂおよびＲ画像データ１１４の隣接する２画素Ｒａ、Ｒｂの平均値で予測する例である。

　注目画素Ｂｘの画素値を４つの隣接画素Ｂａ、Ｂｂ、Ｒａ、Ｒｂの平均で予測することにより、Ｇ２画像データ１１２はＢピクチャに符号化される。したがって、参照成分フレームであるＢ画像データ１１３およびＲ画像データ１１４の復号値に含まれる符号化歪みをより抑制することができる。

　（Ｃ）では、画素Ｂａ、Ｒｂと注目画素Ｇ２ｘとが同じ標本点に属するが、注目画素Ｇ２ｘは補間により画素Ｂａ、Ｂｂ、Ｒａ、Ｒｂの影響を受ける。そのため、参照成分フレームであるＢ画像データ１１３での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して下に０．５画素ずれ、Ｒ画像データ１１４での参照画素の範囲は、注目画素Ｇ２ｘの位置に対して右に０．５画素ずれる。したがって、この場合の動きベクトルＶ（Ｇ）は、Ｖ（Ｂ）＋Ｖ（Ｒ）＝（０．５，０．５）である。

　なお、符号化部４０２は、ＰピクチャまたはＢピクチャに符号化する場合、図９～図１６に示した画素位置補償予測を試行し、差分が最も小さい画素位置補償予測を選択する。たとえば、Ｂ画像データ１１３を参照してＲ画像データ１１４を予測する場合、符号化部４０２は、図１３の（Ａ）～（Ｅ）および図１４の（Ａ）～（Ｄ）の各参照パターンで画素位置補償予測を試行し、最も差分が小さくなる参照パターンを選択する。これにより、適応的かつ効率的に画素位置補償予測を実行することができる。

　特に、参照パターンが画像のエッジをまたぐ場合、エッジを挟む参照成分フレームにおける画素と予測先の成分フレームの注目画素の値の差が大きくなる。したがって、参照パターンを適用的に選択することで、エッジをまたがないような参照パターンを特定することができ、符号化効率の向上を図ることができる。

　＜符号化成分フレームのデータ構造例＞
　図１７は、符号化成分フレームのデータ構造例を示す説明図である。符号化成分フレーム１７００は、ヘッダ情報１７０１と符号化データ列１７０２とを有する。ヘッダ情報１７０１は、符号化部４０２により付与される情報である。ヘッダ情報１７０１は、画像形式情報１７１１と制御情報１７１２とを含む。

　画像形式情報１７１１は、符号化前の成分フレームのサイズ、符号化成分フレーム１７００のサイズ、色配列１０１のパターンを特定する識別情報、成分フレームの画素数を含む。制御情報１７１２は、符号化成分フレーム１７００の種類（Ｉピクチャ、Ｐピクチャ、Ｂピクチャのいずれか）、参照成分フレームの識別情報、図９～図１６に示した画素位置補償予測に用いた参照パターンを含む。符号化データ列１７０２は、成分フレームを符号化したデータ列である。

　＜符号化処理手順例＞
　図１８は、符号化装置４００による符号化処理手順例を示すフローチャートである。符号化装置４００は、ＲＡＷ画像データ１００の入力を受け付け（ステップＳ１８０１）、第１生成部４０１により色成分ごとにＲＡＷ画像データ１００の画素群を分離して、色成分ごとの成分フレームを生成する（ステップＳ１８０２）。つぎに、符号化装置４００は、符号化部４０２により成分フレーム内予測符号化を実行してＩピクチャを生成する（ステップＳ１８０３）。

　そして、符号化装置４００は、符号化部４０２により、残余の成分フレームについて成分フレーム間予測符号化を実行してＰピクチャまたはＢピクチャを生成する（ステップＳ１８０４）。最後に、符号化装置４００は、記録部４０３により、ステップＳ１８０３およびＳ１８０４で符号化された符号化画像データ群を記憶デバイス３０２に格納する（ステップＳ１８０５）。

　＜復号装置の機能的構成例＞
　図１９は、復号装置の機能的構成例を示すブロック図である。復号装置１９００は、取得部１９０１と、復号部１９０２と、第２生成部１９０３と、を有する。取得部１９０１は、符号化装置４００によって符号化された符号化成分フレーム１７００を取得し、復号部１９０２は、制御情報１７１２を用いて符号化成分フレーム１７００を成分フレームに復号し、第２生成部１９０３は、画像形式情報１７１１を用いて、復号された各成分フレームからＲＡＷ画像データ１００を生成する。

　取得部１９０１、復号部１９０２、および第２生成部１９０３は、具体的には、たとえば、記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより、または、ＬＳＩ３０４により実現される機能である。

　取得部１９０１は、第１符号化画像データと第２符号化画像データとを取得する。取得部１９０１は、復号装置１９００の記憶デバイス３０２から、または、符号化装置４００との通信により、第１符号化画像データと第２符号化画像データとを取得する。第１符号化画像データは、第１色成分の画素群により構成される第１画像データをフレーム内予測符号化したデータである。第２符号化画像データは、第１色成分とは異なる第２色成分の画素群により構成される第２画像データを第１画像データに基づいて符号化した第２符号化画像データと、を取得する。

　また、取得部１９０１は、第３符号化画像データを取得する。第３符号化画像データは、第３色成分の画素群により構成される第３画像データを第１画像データに基づいて符号化したデータである。また、取得部１９０１は、第４符号化画像データを取得する。第４符号化画像データは、第４色成分の画素群により構成される第４画像データを第１画像データに基づいて符号化したデータである。

　復号部１９０２は、制御情報１７１２を用いて、取得部１９０１によって取得された第１符号化画像データを第１画像データに復号するとともに、第１画像データに基づいて、取得部１９０１によって取得された第２符号化画像データを第２画像データに復号する。具体的には、たとえば、復号部１９０２は、Ｉピクチャである第１符号化画像データを第１画像データに復号し、Ｐピクチャである第２画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データを用いて第２画像データに復号する。

　また、復号部１９０２は、制御情報１７１２を用いて、第１画像データに基づいて、取得部１９０１によって取得された第３符号化画像データを第３画像データに復号する。具体的には、たとえば、復号部１９０２は、第３符号化画像データがＰピクチャである場合、第３符号化画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データを用いて第３画像データに復号し、第３符号化画像データがＢピクチャである場合、第３符号化画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データおよび第２画像データを用いて第３画像データに復号する。

　また、復号部１９０２は、制御情報１７１２を用いて、第１画像データに基づいて、取得部１９０１によって取得された第４符号化画像データを第４画像データに復号する。具体的には、たとえば、復号部１９０２は、第４符号化画像データがＰピクチャである場合、第４符号化画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データ～第３画像データのうちいずれか１つの画像データを用いて第４画像データに復号し、第３符号化画像データがＢピクチャである場合、第４符号化画像データを、画素位置補償予測に適用した参照パターンにしたがって、第１画像データ～第３画像データのうち２つの画像データを用いて第４画像データに復号する。

　第２生成部１９０３は、画像形式情報１７１１から色配列のパターンを特定し、特定した色配列１０１となるように、復号部１９０２によって復号された第１画像データ～第４画像データの画素群から、第１色成分～第４色成分とが繰り返し配置されたＲＡＷ画像データ１００を生成する。

　＜復号部１９０２の構成例＞
　図２０は、復号部１９０２の構成例を示すブロック図である。復号部１９０２は、可変長符号復号部２００１と、逆量子化部２００２と、逆直交変換部２００３と、加算部２００４と、第３蓄積部２００５、第２画素位置補償部２００６を有している。

　可変長符号復号部２００１は、入力される符号化成分フレームを復号し、量子化係数や、動きベクトルを出力する。なお、復号された量子化係数は逆量子化部２００２に入力され、復号された動きベクトルは第２画素位置補償部２００６に入力される。

　逆量子化部２００２は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部２００３は、逆量子化部２００２で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

　加算部２００４は、復号された予測誤差値と第２画素位置補償部２００６で生成された予測値とを加算することで、復号された画像データをブロック単位で出力する。そして、加算部２００４から出力された画像データは成分フレームとして出力されるとともに、第３蓄積部２００５に入力される。

　第３蓄積部２００５は、画像の復号値を参照成分フレームとして蓄積する。なお、以後の画素位置補償予測で参照されない画像データは第３蓄積部２００５から順次消去される。第２画素位置補償部２００６は、動きベクトルおよび参照成分フレームに基づいて、復号対象の画像をブロック単位で予測した予測値を加算部２００４に出力する。

　＜復号処理手順例＞
　図２１は、復号装置１９００による復号処理手順例を示すフローチャートである。復号装置１９００は、符号化成分フレーム群として、取得部１９０１により符号化画像データ群を取得し（ステップＳ２１０１）、復号部１９０２により、先頭の符号化画像データ（Ｉピクチャ）を成分フレームに復号する（ステップＳ２１０２）。

　つぎに、復号装置１９００は、復号部１９０２により、後続の符号化画像データ（ＰピクチャまたはＢピクチャ）を成分フレームに復号する（ステップＳ２１０３）。そして、復号装置１９００は、第２生成部１９０３により、復号された成分フレーム群を合成して、ＲＡＷ画像データ１００を復元する（ステップＳ２１０４）。

　このように、実施例１によれば、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＲＡＷ画像データ１００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００に復元することができる。

　実施例２は、ＲＡＷ画像データ１００にホワイトバランス調整を実行してから符号化を実行する符号化と、成分フレームに復号してホワイトバランス調整済みのＲＡＷ画像データを生成してから、ホワイトバランス逆調整によりＲＡＷ画像データを生成する復号とを実行する。なお、実施例２では、実施例１との相違点を中心に説明し、実施例１と同一構成には同一符号を付し、その説明を省略する。

　＜符号化および復号例＞
　図２２は、実施例２にかかる符号化および復号例を示す説明図である。（Ｅ）ＷＢ（ホワイトバランス）調整、（Ａ）分離および（Ｂ）符号化は、符号化装置４００によって実行され、（Ｃ）復号、（Ｄ）合成、および（Ｆ）ＷＢ逆調整は、復号装置１９００によって実行される。

　（Ｅ）符号化装置４００は、ＲＡＷ画像データ１００をホワイトバランス調整する。ホワイトバランス調整は、撮影によりＲＡＷ画像データを生成した際に設定された（符号化装置４００における）ホワイトバランスの設定項目（オート、マニュアル、電球、曇天、蛍光灯、晴天日陰、晴天など）により実行される。ホワイトバランス調整されたＲＡＷ画像データ１００を、ＷＢ調整済みＲＡＷ画像データ２２００とする。

　（Ａ）符号化装置４００は、ＷＢ調整済みＲＡＷ画像データ２２００から色成分ごとに成分フレームを生成する。具体的には、たとえば、符号化装置４００は、緑（Ｇ１）の色成分フレームであるＧ１画像データ２２１１、緑（Ｇ２）の色成分フレームであるＧ２画像データ２２１２、青（Ｂ）の色成分フレームであるＢ画像データ２２１３、赤（Ｒ）の色成分フレームであるＲ画像データ２２１４を生成する。

　Ｇ１画像データ２２１１は、ＷＢ調整済みＲＡＷ画像データ２２００における色配列１０１の各々からのＧ１画素群により構成される画像データである。Ｇ２画像データ２２１２は、ＷＢ調整済みＲＡＷ画像データ２２００における色配列１０１の各々からのＧ２画素群により構成される画像データである。

　Ｂ画像データ２２１３は、ＷＢ調整済みＲＡＷ画像データ２２００における色配列１０１の各々からのＢ画素群により構成される画像データである。Ｒ画像データ２２１４は、ＷＢ調整済みＲＡＷ画像データ２２００における色配列１０１の各々からのＲ画素群により構成される画像データである。

　（Ｂ）符号化装置４００は、各成分フレームを成分フレーム間で符号化する。具体的には、たとえば、符号化装置４００は、成分フレーム群の１つをフレーム内予測符号化で符号化してＩピクチャを生成し、残余の成分フレーム群をＩピクチャを用いてフレーム間予測符号化で符号化してＰピクチャまたはＢピクチャを生成する。ここでは、符号化により、Ｇ１画像データ２２１１は、Ｇ１符号化画像データ２２２１となり、Ｇ２画像データ２２１２は、Ｇ２符号化画像データ２２２２となり、Ｂ画像データ２２１３は、Ｂ符号化画像データ２２２３となり、Ｒ画像データ２２１４は、Ｒ符号化画像データ２２２４となる。

　（Ｃ）復号装置１９００は、符号化された成分フレーム群を復号する。具体的には、たとえば、復号装置１９００は、Ｉピクチャを復号し、Ｉピクチャから復号された成分フレームを用いて、ＰピクチャまたはＢピクチャを復号して、他の成分フレームを生成する。すなわち、復号装置１９００は、Ｇ１符号化画像データ２２２１、Ｇ２符号化画像データ２２２２、Ｂ符号化画像データ２２２３、およびＲ符号化画像データ２２２４を復号して、Ｇ１画像データ２２１１、Ｇ２画像データ２２１２、Ｂ画像データ２２１３、およびＲ画像データ２２１４を生成する。

　（Ｄ）復号装置１９００は、復号された成分フレーム群を合成して、ＷＢ調整済みＲＡＷ画像データ２２００を生成する。具体的には、たとえば、Ｇ１画像データ２２１１、Ｇ２画像データ２２１２、Ｂ画像データ２２１３、およびＲ画像データ２２１４の同一位置の画素Ｇ１、Ｇ２、Ｂ、Ｒを色配列１０１に従って並べることで、Ｇ１画像データ２２１１、Ｇ２画像データ２２１２、Ｂ画像データ２２１３、およびＲ画像データ２２１４からＷＢ調整済みＲＡＷ画像データ２２００を復元する。

　（Ｆ）復号装置１９００は、ＷＢ逆調整により、ＷＢ調整済みＲＡＷ画像データ２２００を元のＲＡＷ画像データ１００に変換する。

　このように、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＷＢ調整済みＲＡＷ画像データ２２００を成分フレーム間予測することにより、ＷＢ調整済みＲＡＷ画像データ２２００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＷＢ調整済みＲＡＷ画像データ２２００に復元することができる。

　また、青（Ｂ）および赤（Ｒ）は、緑（Ｇ）に比べると、信号レベルとなる画素の値が低く、そのため相関性が低い。したがって、符号化前にＲＡＷ画像データ１００についてホワイトバランス調整を実行することで、青（Ｂ）および赤（Ｒ）の信号レベルを緑（Ｇ）の信号レベルに近づける。これにより、ＷＢ調整済みＲＡＷ画像データ２２００の符号化効率の向上を図ることができる。

　また、符号化前にＲＡＷ画像データ１００についてホワイトバランス調整を実行しているため、復号先でのＲＡＷ画像データ１００のホワイトバランス調整が不要となる。ただし、復号先でＷＢ調整済みＲＡＷ画像データ２２００に復元するために、ホワイトバランス逆調整をしてもよい。

　＜符号化装置４００の機能的構成例＞
　図２３は、実施例２にかかる符号化装置４００の機能的構成例を示すブロック図である。符号化装置４００は、実施例１で示した構成のほか、ホワイトバランス調整部２３０１と、ホワイトバランス検出部２３０２と、を有する。ホワイトバランス調整部２３０１およびホワイトバランス検出部２３０２は、具体的には、たとえば、記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより、または、ＬＳＩ３０４により実現される機能である。

　ホワイトバランス調整部２３０１は、ホワイトバランスの設定項目（オート、マニュアル、電球、曇天、蛍光灯、晴天日陰、晴天など）により、ＲＡＷ画像データ１００についてホワイトバランス調整をし、ＷＢ調整済みＲＡＷ画像データ２２００を第１生成部４０１に出力する。したがって、第１生成部４０１は、ＷＢ調整済みＲＡＷ画像データ２２００について、図２２の（Ａ）に示したような成分フレームの分離を実行することになる。ホワイトバランス調整部２３０１は、たとえば、ＲＡＷ画像データ１００の黒レベルを基準に、ＲＡＷ画像データ１００の画素値にホワイトバランス調整ゲイン係数を乗じることでホワイトバランス調整処理を実行する。

　たとえば、ＲＡＷ画像データ１００の黒レベルをＯＢ、Ｂ成分の画素値をＸＢ、Ｂ成分のホワイトバランス調整ゲイン係数をＡＢとするとき、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢを以下のように算出する。
　ＹＢ＝（ＸＢ－ＯＢ）×ＡＢ＋ＯＢ・・・（１）

　また、上記式（１）に替えて、下記式（２）により、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢを算出してもよい。これにより、計算処理が簡素化される。
　ＹＢ＝ＸＢ×ＡＢ・・・（２）

　ホワイトバランス検出部２３０２は、ＲＡＷ画像データ１００から当該ＲＡＷ画像データ１００に適したホワイトバランスを検出し、ホワイトバランス調整部２３０１に通知する。これにより、ホワイトバランス調整部２３０１は、通知を受けたホワイトバランス（オート、マニュアル、電球、曇天、蛍光灯、晴天日陰、晴天など）により、ＲＡＷ画像データ１００についてホワイトバランス調整を実行する。

　また、ホワイトバランス検出部２３０２は、検出したホワイトバランスを特定する情報（ホワイトバランス制御情報）を符号化部４０２に通知する。具体的には、たとえば、図６に示したように、ホワイトバランス制御情報は、可変長符号化部６０５に出力される。これにより、符号化部４０２は、符号化部４０２が符号化した符号化成分フレーム１７００のヘッダ情報１７０１内の制御情報１７１２にホワイトバランス制御情報を付与することができる。

　ここで、ホワイトバランス制御情報とは、たとえば、ＷＢ調整済みＲＡＷ画像データ２２００がホワイトバランスを調整済みであることを示す情報（以下、「調整済み情報」という）と、ＷＢ調整済みＲＡＷ画像データ２２００のＢ成分のホワイトバランス調整ゲイン係数ＡＢと、ＷＢ調整済みＲＡＷ画像データ２２００のＲ成分のホワイトバランス調整ゲイン係数（以下、ＡＲ）と、で構成される。

　後述する復号装置１９００は、制御情報１７１２に付与された調整済み情報によりＲＡＷ画像データ２２００がホワイトバランス調整済みであることを認識できる。また、復号装置１９００は、制御情報１７１２に付与されたＢ成分とＲ成分の各ホワイトバランス調整ゲイン係数により、復号処理でホワイトバランス逆調整が可能となる。

　なお、制御情報１７１２には、上述した調整済み情報と、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢと、Ｒ成分のホワイトバランス調整ゲイン係数ＡＲと、のうち少なくとも１つが付与される。

　実施例２では、ＲＡＷ画像データ１００にホワイトバランス調整する例を示した。しかし、たとえば、ホワイトバランス調整する代わりに、Ｒの色成分データの値とＧの色成分データの値との差、Ｇの色成分データの値とＢの色成分データの値との差、Ｂの色成分データの値とＲの色成分データの値との差のうち、少なくとも１つの差が小さくなる処理でもよい。

　＜符号化処理手順例＞
　図２４は、実施例２にかかる符号化装置４００による符号化処理手順例を示すフローチャートである。符号化装置４００は、ＲＡＷ画像データ１００の入力を受け付け（ステップＳ２４０１）、ホワイトバランス調整部２３０１により、ＲＡＷ画像データ１００をホワイトバランス調整し、ＷＢ調整済みＲＡＷ画像データ２２００を出力する（ステップＳ２４０２）。符号化装置４００は、第１生成部４０１により色成分ごとにＷＢ調整済みＲＡＷ画像データ２２００の画素群を分離して、色成分ごとの成分フレームを生成する（ステップＳ２４０３）。

　つぎに、符号化装置４００は、符号化部４０２により成分フレーム内予測符号化を実行してＩピクチャを生成する（ステップＳ２４０４）。そして、符号化装置４００は、符号化部４０２により、残余の成分フレームについて成分フレーム間予測符号化を実行してＰピクチャまたはＢピクチャを生成する（ステップＳ２４０５）。最後に、符号化装置４００は、記録部４０３により、ステップＳ２４０４およびＳ２４０５で符号化された符号化画像データ群を記憶デバイス３０２に格納する（ステップＳ２４０６）。

　＜復号装置１９００の機能的構成例＞
　図２５は、実施例２にかかる復号装置１９００の機能的構成例を示すブロック図である。復号装置１９００は、実施例１で示した構成のほか、ホワイトバランス逆調整部２５０４を有する。ホワイトバランス逆調整部２５０４は、具体的には、たとえば、記憶デバイス３０２に記憶されたプログラムをプロセッサ３０１に実行させることにより、または、ＬＳＩ３０４により実現される機能である。なお、実施例２では、第２生成部１９０３は、ＷＢ調整済みＲＡＷ画像データ２２００を生成することになる。

　ホワイトバランス逆調整部２５０４は、第２生成部１９０３から得られたＷＢ調整済みＲＡＷ画像データ２２００に付与されているヘッダ情報１７０１内のホワイトバランス制御情報を参照して、ＷＢ調整済みＲＡＷ画像データ２２００についてホワイトバランス逆調整をし、元のＲＡＷ画像データ１００に復元する。

　＜復号処理手順例＞
　図２６は、実施例２にかかる復号装置１９００による復号処理手順例を示すフローチャートである。復号装置１９００は、ステップＳ２１０１～Ｓ２１０４のあと、ホワイトバランス逆調整部２５０４により、ＷＢ調整済みＲＡＷ画像データ２２００についてホワイトバランス逆調整をし、元のＲＡＷ画像データ１００に復元する（ステップＳ２６０５）。

　このように、実施例２によれば、実施例１と同様、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＷＢ調整済みＲＡＷ画像データ２２００を成分フレーム間予測することにより、ＷＢ調整済みＲＡＷ画像データ２２００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００に復元することができる。

　また、青（Ｂ）および赤（Ｒ）は、緑（Ｇ）に比べると、信号レベルとなる画素の輝度値が低く、そのため相関性が低い。したがって、符号化前にＲＡＷ画像データ１００についてホワイトバランス調整を実行することで、青（Ｂ）および赤（Ｒ）の信号レベルを緑（Ｇ）の信号レベルに近づける。これにより、ＷＢ調整済みＲＡＷ画像データ２２００の符号化効率の向上を図ることができる。また、符号化前にＲＡＷ画像データ１００についてホワイトバランス調整を実行しているため、ホワイトバランス逆調整部２５０４を省くことで、復号先でのＲＡＷ画像データ１００のホワイトバランス調整を不要とすることもできる。

　実施例３は、ＲＡＷ画像データ１００を時間軸方向に並べたＲＡＷ動画像データを符号化および復号する例である。なお、実施例３では、実施例１との相違点を中心に説明し、実施例１と同一構成には同一符号を付し、その説明を省略する。

　＜符号化および復号例＞
　図２７は、実施例３にかかる符号化および復号例を示す説明図である。（Ａ）分離および（Ｂ）符号化は符号化装置４００によって実行され、（Ｃ）復号および（Ｄ）合成は復号装置１９００によって実行される。

　（Ａ）符号化装置４００は、ＲＡＷ画像データ１００を時間軸方向に並べたＲＡＷ動画像データ２７００を取得し、各ＲＡＷ画像データ１００について、色成分ごとに成分フレームを生成する。これにより、Ｇ１画像データ列２７１１、Ｇ２画像データ列２７１２、Ｂ画像データ列２７１３およびＲ画像データ列２７１４が得られる。

　（Ｂ）符号化装置４００は、各色成分フレームを成分フレーム間で符号化する。具体的には、たとえば、符号化装置４００は、成分フレーム群の１つをフレーム内予測符号化で符号化してＩピクチャを生成し、残余の成分フレーム群をＩピクチャを用いてフレーム間予測符号化で符号化してＰピクチャまたはＢピクチャを生成する。ここでは、符号化により、Ｇ１画像データ列２７１１は、Ｇ１符号化画像データ列２７２１となり、Ｇ２画像データ列２７１２は、Ｇ２符号化画像データ列２７２２となり、Ｂ画像データ列２７１３は、Ｂ符号化画像データ列２７２３となり、Ｒ画像データ列２７１４は、Ｒ符号化画像データ列２７２４となる。

　（Ｃ）復号装置１９００は、符号化された成分フレーム群を復号する。具体的には、たとえば、復号装置１９００は、Ｉピクチャを復号し、Ｉピクチャから復号された成分フレームを用いて、ＰピクチャまたはＢピクチャを復号して、他の成分フレームを生成する。すなわち、復号装置１９００は、Ｇ１符号化画像データ列２７２１、Ｇ２符号化画像データ列２７２２、Ｂ符号化画像データ列２７２３、およびＲ符号化画像データ列２７２４を復号して、Ｇ１画像データ列２７１１、Ｇ２画像データ列２７１２、Ｂ画像データ列２７１３、およびＲ画像データ列２７１４を生成する。

　（Ｄ）復号装置１９００は、復号された成分フレーム群を合成して、ＲＡＷ画像データ１００を生成する。具体的には、たとえば、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４の同一位置の画素Ｇ１、Ｇ２、Ｂ、Ｒを色配列１０１に従って並べることで、ＲＡＷ画像データ１００を順次復元し、ＲＡＷ動画像データ２７００を復元する。

　このように、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＲＡＷ画像データ１００の符号化効率、ひいては、ＲＡＷ動画像データ２７００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００ひいては、ＲＡＷ動画像データ２７００に復元することができる。

　＜成分フレームの参照方向例＞
　図２８は、成分フレームの参照方向例を示す説明図である。（Ａ）は、ＲＡＷ動画像データ２７００の一例を示す。（Ｂ）および（Ｃ）は、ＲＡＷ動画像データ２７００における成分フレームの参照方向例を示す。（Ｂ）および（Ｃ）では、説明上、時系列なＲＡＷ画像データ１～ｎ（ｎは２以上の整数）のうち、ＲＡＷ画像データ１およびＲＡＷ画像データ２における成分フレームの参照方向例を示す。

　（Ｂ）は、同一ＲＡＷ画像データ１，２の各々からの成分フレームの入力順が、Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、およびＲ画像データ１１４である場合の参照方向を示す。ＲＡＷ画像データ１およびＲＡＷ画像データ２の各々において、先頭のＧ１画像データ１１１はＩピクチャに符号化される。次に入力されるＧ２画像データ１１２は、先行するＧ１画像データ１１１を参照フレームとしてフレーム間予測符号化によりＰピクチャに符号化される。

　次に入力されるＢ画像データ１１３は、先行するＧ１画像データ１１１およびＧ２画像データ１１２のうち少なくとも一方の成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。最後に入力されるＲ画像データ１１４は、先行するＧ１画像データ１１１、Ｇ２画像データ１１２、およびＢ画像データ１１３のうち少なくとも一つの成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　（Ｃ）では、先頭のＲＡＷ画像データ１における参照方向は、（Ｂ）のＲＡＷ画像データ１と同じである。ＲＡＷ画像データ２については、先頭のＧ１画像データ１１１は、先行するＲＡＷ画像データ１のＧ１画像データ１１１を参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　次に入力されるＧ２画像データ１１２は、先行するＲＡＷ画像データ１のＧ１画像データ１１１およびＲＡＷ画像データ２のＧ１画像データ１１１のうち少なくとも一方の成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　次に入力されるＢ画像データ１１３は、先行するＲＡＷ画像データ１のＢ画像データ１１３と、ＲＡＷ画像データ２のＧ１画像データ１１１と、ＲＡＷ画像データ２のＧ２画像データ１１２と、のうち少なくとも一つの成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　最後に入力されるＲ画像データ１１４は、先行するＲＡＷ画像データ１のＲ画像データ１１４と、ＲＡＷ画像データ２のＧ１画像データ１１１と、ＲＡＷ画像データ２のＧ２画像データ１１２と、ＲＡＷ画像データ２のＢ画像データ１１３と、のうち少なくとも一つの成分フレームを参照フレームとしてフレーム間予測符号化によりＰピクチャまたはＢピクチャに符号化される。

　なお、図２８の参照方向は一例であり、（Ｂ），（Ｃ）以外の成分フレームの入力順でも符号化が可能である。また、この符号化部４０２は、色成分に依存しない撮像素子３５３の画素からの輝度値を用いているため、異なる色成分を参照成分フレームとしても符号化することができる。

　＜スライス単位の符号化例＞
　図２９は、スライス単位の符号化例を示す説明図である。（Ａ）は、時系列なＲＡＷ画像データ１～４から生成された各成分フレームのスライス単位を示す。スライスとは、成分フレームを分割したデータであり、符号化の１単位となる。ここでは、各成分フレーム（Ｇ１画像データ１１１、Ｇ２画像データ１１２、Ｂ画像データ１１３、Ｒ画像データ１１４）は、同一サイズのスライスをｎ個（ｎは２以上の整数）有するものとする。なお、成分フレームの入力順は、図２８の（Ｂ）を例に挙げるが、他の入力順でもよい。

　（Ｂ）は、スライス単位の符号化処理例を示す。矢印が符号化の順序を示す。すなわち、スライス番号が「１」であるＧ１成分スライス１、Ｇ２成分スライス１、Ｂ成分スライス１、Ｒ成分スライス１の順に符号化され、つぎに、スライス番号が「２」であるＧ１成分スライス２、Ｇ２成分スライス２、Ｂ成分スライス２、Ｒ成分スライス２の順に符号化される。このように、スライス番号の降順に符号化され、最終的に、スライス番号が「ｎ」であるＧ１成分スライスｎ、Ｇ２成分スライスｎ、Ｂ成分スライスｎ、Ｒ成分スライスｎの順に符号化される。

　このように、スライス単位で成分フレーム間の符号化をおこなうことにより、符号化のレイテンシの向上を図ることができる。なお、同一スライス番号の成分スライス間の参照方向は、図２８の（Ｂ）のように、Ｇ１成分スライスをＩピクチャに符号化してもよく、（Ｃ）のようにＧ１成分スライスをＰピクチャに符号化してもよい。図２９では、スライス単位の符号化例について説明したが、復号する場合もスライス単位の符号化と同様、スライス単位で復号してもよい。これにより、復号のレイテンシの向上を図ることができる。

　このように、実施例３では、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＲＡＷ画像データ１００の符号化効率、ひいては、ＲＡＷ動画像データ２７００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００ひいては、ＲＡＷ動画像データ２７００に復元することができる。

　また、スライス単位で成分フレームを符号化することにより、成分フレーム間符号化のレイテンシの向上を図ることができる。同様に、スライス単位で成分フレームを復号することにより、成分フレーム復号のレイテンシの向上を図ることができる。

　実施例４は、ＲＡＷ画像データ１００を時間軸方向に並べたＲＡＷ動画像データ２７００をホワイトバランス調整してから符号化および復号し、ホワイトバランス逆調整をする例である。なお、実施例４では、実施例１～実施例３との相違点を中心に説明し、実施例１～実施例３と同一構成には同一符号を付し、その説明を省略する。

　＜符号化および復号例＞
　図３０は、実施例４にかかる符号化および復号例を示す説明図である。（Ｅ）ＷＢ調整、（Ａ）分離および（Ｂ）符号化は、符号化装置４００によって実行され、（Ｃ）復号、（Ｄ）合成および（Ｆ）ＷＢ逆調整は、復号装置１９００によって実行される。

　（Ｅ）符号化装置４００は、ＲＡＷ動画像データ２７００の各ＲＡＷ画像データ１００をホワイトバランス調整する。ホワイトバランス調整は、符号化装置４００におけるホワイトバランス（オート、マニュアル、電球、曇天、蛍光灯、晴天日陰、晴天など）により実行される。ホワイトバランス調整されたＲＡＷ画像データ１００を、ＷＢ調整済みＲＡＷ画像データ２２００とし、時系列なＷＢ調整済みＲＡＷ画像データ２２００をＷＢ調整済みＲＡＷ動画像データ３０００とする。

　（Ａ）符号化装置４００は、ＷＢ調整済みＲＡＷ画像データ２２００を時間軸方向に並べたＷＢ調整済みＲＡＷ動画像データ３０００を取得し、各ＷＢ調整済みＲＡＷ画像データ２２００について、色成分ごとに成分フレームを生成する。これにより、ＷＢ調整済みＧ１画像データ列３０１１、ＷＢ調整済みＧ２画像データ列３０１２、ＷＢ調整済みＢ画像データ列３０１３およびＷＢ調整済みＲ画像データ列３０１４が得られる。

　（Ｂ）符号化装置４００は、各色成分フレームを成分フレーム間で符号化する。具体的には、たとえば、符号化装置４００は、成分フレーム群の１つをフレーム内予測符号化で符号化してＩピクチャを生成し、残余の成分フレーム群をＩピクチャを用いてフレーム間予測符号化で符号化してＰピクチャまたはＢピクチャを生成する。

　ここでは、符号化により、ＷＢ調整済みＧ１画像データ列３０１１は、ＷＢ調整済みＧ１符号化画像データ列３０２１となり、ＷＢ調整済みＧ２画像データ列３０１２は、ＷＢ調整済みＧ２符号化画像データ列３０２２となり、ＷＢ調整済みＢ画像データ列３０１３は、ＷＢ調整済みＢ符号化画像データ列３０２３となり、ＷＢ調整済みＲ画像データ列３０１４は、ＷＢ調整済みＲ符号化画像データ列３０２４となる。

　（Ｃ）復号装置１９００は、符号化された成分フレーム群を復号する。具体的には、たとえば、復号装置１９００は、Ｉピクチャを復号し、Ｉピクチャから復号された成分フレームを用いて、ＰピクチャまたはＢピクチャを復号して、他の成分フレームを生成する。すなわち、復号装置１９００は、ＷＢ調整済みＧ１符号化画像データ列３０２１、ＷＢ調整済みＧ２符号化画像データ列３０２２、ＷＢ調整済みＢ符号化画像データ列３０２３、およびＷＢ調整済みＲ符号化画像データ列３０２４を復号して、ＷＢ調整済みＧ１画像データ列３０１１、ＷＢ調整済みＧ２画像データ列３０１２、ＷＢ調整済みＢ画像データ列３０１３、およびＷＢ調整済みＲ画像データ列３０１４を生成する。

　（Ｄ）復号装置１９００は、復号された成分フレーム群を合成して、ＷＢ調整済みＲＡＷ画像データ２２００を生成する。具体的には、たとえば、ＷＢ調整済みＧ１画像データ２２１１、ＷＢ調整済みＧ２画像データ２２１２、ＷＢ調整済みＢ画像データ２２１３、およびＷＢ調整済みＲ画像データ２２１４の同一位置の画素Ｇ１、Ｇ２、Ｂ、Ｒを色配列１０１に従って並べることで、ＷＢ調整済みＲＡＷ画像データを順次復元し、ＷＢ調整済みＲＡＷ動画像データ２７００を復元する。

　（Ｆ）復号装置１９００は、ＷＢ逆調整により、ＷＢ調整済みＲＡＷ画像データ２２００ごとに元のＲＡＷ画像データ１００に変換し、ＲＡＷ動画像データ２７００に復元する。

　このように、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＷＢ調整済みＲＡＷ画像データ２２００の符号化効率、ひいては、ＷＢ調整済みＲＡＷ動画像データ３０００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＷＢ調整済みＲＡＷ画像データ２２００ひいては、ＷＢ調整済みＲＡＷ動画像データ３０００に復元することができる。

　また、実施例３と同様、ＷＢ調整済みＲＡＷ動画像データ３０００についてスライス単位で成分フレームを符号化することにより、成分フレーム間符号化のレイテンシの向上を図ることができる。同様に、ＷＢ調整済みＧ１符号化画像データ列３０２１、ＷＢ調整済みＧ２符号化画像データ列３０２２、ＷＢ調整済みＢ符号化画像データ列３０２３、およびＷＢ調整済みＲ符号化画像データ列３０２４について、スライス単位で成分フレームを復号することにより、成分フレーム復号のレイテンシの向上を図ることができる。

　実施例５は、実施例２および実施例４のホワイトバランス調整およびホワイトバランス逆調整の変形例１である。実施例５では、実施例２を例に挙げて説明するが、実施例４でも同様である。なお、実施例５では、実施例１～実施例４との相違点を中心に説明し、実施例１～実施例４と同一構成には同一符号を付し、その説明を省略する。

　［符号化装置４００の処理］
　まず、符号化装置４００の処理について説明する。ホワイトバランス検出部２３０２は、ＲＡＷ画像データ１００から当該ＲＡＷ画像データ１００に適したホワイトバランスとして、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢと、Ｒ成分のホワイトバランス調整ゲイン係数ＡＲと、を検出する。また、ホワイトバランス検出部２３０２は、ＲＡＷ画像データ１００内の全画素のうち、Ｂ成分の最大輝度値ＢｍｘおよびＲ成分の最大輝度値Ｒｍｘを検出して、ホワイトバランス調整部２３０１に出力する。

　ホワイトバランス調整部２３０１は、上記式（２）のように、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢとＢ成分の最大輝度値Ｂｍｘとを乗じて、ホワイトバランス調整後のＢ成分の画素値ＹＢを算出する。同様に、ホワイトバランス調整部２３０１は、Ｒ成分のホワイトバランス調整ゲイン係数ＡＲとＲ成分の最大輝度値Ｒｍｘとを乗じて、ホワイトバランス調整後のＲ成分の画素値ＹＲを算出する。

　ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢがしきい値（例として輝度値２５５）以上であるか否かを判断する。しきい値以上である場合、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢをそのままホワイトバランス調整に適用すると、当該Ｂ成分の画素が飽和してしまうことが分かる。

　したがって、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢがしきい値未満となるように、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢを補正する。たとえば、ホワイトバランス調整部２３０１は、下記式（３）のように、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢに、補正係数α（０．０＜α≦１．０）を乗じて、ホワイトバランス調整後のＢ成分の画素値ＹＢをより小さい値に補正する。

　ＹＢ＝ＸＢ×ＡＢ×α・・・（３）

　なお、ホワイトバランス調整部２３０１は、下記式（４）のように、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢが１より大きい場合、１より大きい値に補正係数α（０．０＜α≦１．０）を乗じて、ホワイトバランス調整後のＢ成分の画素値ＹＢをより小さい値に補正してもよい。

　ＹＢ＝ＸＢ×（１．０＋ａｂ×α）・・・（４）
　ただし、ＡＢ＝（１．０＋ａｂ）で、
　ａｂは、ＡＢの小数点以下の数値。

　また、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢがしきい値以上となるＢ成分の画素数が所定画素数以上である場合に、上記のように、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢを補正してもよい。これにより、現像後に飽和の影響を無視できるような程度の画素数の場合には、ホワイトバランス調整部２３０１は、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢの補正を実行しない。

　したがって、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢがしきい値以上とならない他のＢ成分の画素について、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢを用いて、適切なホワイトバランス調整を実行することができる。

　また、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢがしきい値以上となるＢ成分の連結画素領域が所定画素数以上である場合に、上記のように、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢを補正してもよい。連結画素領域とは、２以上の画素であり、かつ、２つの画素が上下左右（または斜め）のいずれかに隣接しあう画素群である。

　これにより、現像後に飽和の影響が出るような領域を連結画素領域として特定して、ホワイトバランス調整部２３０１は、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢの補正を実行する。したがって、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢがしきい値以上となる連結画素領域の飽和を抑制することができる。

　上記では、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢの補正について説明したが、Ｒ成分のホワイトバランス調整ゲイン係数ＡＲについても同様に補正される。なお、補正係数αは、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢおよびＲ成分のホワイトバランス調整ゲイン係数ＡＲとで共通の値を用いてもよく、異なる値を用いてもよい。

　また、上記の例では、ホワイトバランス調整部２３０１は、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢの補正とＲ成分のホワイトバランス調整ゲイン係数ＡＲの補正とを、独立して実行することとした。これに対し、ホワイトバランス調整部２３０１は、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢの補正とＲ成分のホワイトバランス調整ゲイン係数ＡＲの補正とを、組み合わせて実行してもよい。

　たとえば、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢがしきい値以上となるＢ成分の画素数と、ホワイトバランス調整後のＲ成分の画素値ＹＲがしきい値以上となるＲ成分の画素数と、の合計画素数が、所定画素数以上である場合に、上記のように、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢの補正とＲ成分のホワイトバランス調整ゲイン係数ＡＲの補正とを実行してもよい。

　同様に、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢがしきい値以上となるＢ成分の画素と、ホワイトバランス調整後のＲ成分の画素値ＹＲがしきい値以上となるＲ成分の画素と、の連結画素領域が、所定画素数以上である場合に、上記のように、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢの補正とＲ成分のホワイトバランス調整ゲイン係数ＡＲの補正とを実行してもよい。

　このように、ホワイトバランス調整後にしきい値となるＢ成分の画素とＲ成分の画素が混在する場合にも、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢとＲ成分のホワイトバランス調整ゲイン係数ＡＲとの補正が可能となる。

　なお、ホワイトバランス調整部２３０１は、ホワイトバランス制御情報を調整済みＲＡＷ画像データ２２００の撮影情報に書き込む。ホワイトバランス制御情報は、ホワイトバランス調整ゲイン係数ＡＢの補正の有無に関わらず、当該補正がされていないＢ成分のホワイトバランス調整ゲイン係数ＡＢ、すなわち、現像用のホワイトバランス調整ゲイン係数ＡＢを含む。ホワイトバランス調整ゲイン係数ＡＲについても同様である。

　このあと、符号化部４０２は、成分フレームを符号化する。ここで、Ｂ符号化画像データ２２２３およびＲ符号化画像データ２２２４に共通のデータ構造例について説明する。

　図３１は、Ｂ符号化画像データ２２２３およびＲ符号化画像データ２２２４に共通のデータ構造例を示す説明図である。符号化成分フレーム１７００は、Ｂ符号化画像データ２２２３およびＲ符号化画像データ２２２４に共通のデータ構造である。符号化成分フレーム１７００は、符号化データ列１７０２に符号化撮影情報３１００を含む。符号化撮影情報３１００は、ＷＢ調整済みＲＡＷ画像データ２２００内の撮影情報を符号化したデータである。

　撮影情報には、補正されていない現像用のホワイトバランス調整ゲイン係数が含まれる。たとえば、Ｂ符号化画像データ２２２３であれば、現像用のＢ成分のホワイトバランス調整ゲイン係数ＡＢであり、Ｒ符号化画像データ２２２４であれば、現像用のＲ成分のホワイトバランス調整ゲイン係数ＡＲである。

　制御情報１７１２は、ホワイトバランス制御情報３１０１を含む。ホワイトバランス制御情報３１０１は、調整済み情報３１１１と、ホワイトバランス調整ゲイン係数３１１２と、異同フラグ３１１３と、を含む。ホワイトバランス調整ゲイン係数３１１２は、Ｂ符号化画像データ２２２３であれば、現像用または補正後のＢ成分のホワイトバランス調整ゲイン係数ＡＢであり、Ｒ符号化画像データ２２２４であれば、現像用または補正後の現像用のＲ成分のホワイトバランス調整ゲイン係数ＡＲである。

　具体的には、たとえば、ホワイトバランス調整ゲイン係数３１１２は、ホワイトバランス調整部２３０１で補正されていなければ、撮影情報に書き込まれた現像用のホワイトバランス調整ゲイン係数と同じ値になる。ホワイトバランス調整ゲイン係数３１１２は、ホワイトバランス調整部２３０１で補正されていれば、補正後のホワイトバランス調整ゲイン係数、すなわち、撮影情報に書き込まれた現像用のホワイトバランス調整ゲイン係数と異なる値になる。

　異同フラグ３１１３は、撮影情報に書き込まれている現像用のホワイトバランス調整ゲイン係数と、ホワイトバランス調整ゲイン係数３１１２と、の異同を示すフラグである。本例では、異同フラグ３１１３の値が「０」であれば、撮影情報に書き込まれている現像用のホワイトバランス調整ゲイン係数と、ホワイトバランス調整ゲイン係数３１１２と、は、同一の値であることを示す。

　異同フラグ３１１３の値が「１」であれば、撮影情報に書き込まれている現像用のホワイトバランス調整ゲイン係数と、ホワイトバランス調整ゲイン係数３１１２と、は、異なる値であることを示す。すなわち、ホワイトバランス調整ゲイン係数３１１２は、補正後の値であることを示す。

　図３２は、符号化部４０２によるヘッダ情報内のホワイトバランス制御情報の生成処理手順例を示すフローチャートである。図３２の処理は、たとえば、図２４に示した成分フレーム内予測符号化（ステップＳ２４０４）や成分フレーム間予測符号化（ステップＳ２４０５）で、Ｂ符号化画像データ２２２３およびＲ符号化画像データ２２２４がそれぞれ生成される場合に実行される。

　符号化部４０２は、ホワイトバランス調整部２３０１により現像用のホワイトバランス調整ゲイン係数３１１２が補正されたか否かを判断する（ステップＳ３２０１）。現像用のホワイトバランス調整ゲイン係数３１１２が補正されていない場合（ステップＳ３２０１：Ｎｏ）、符号化部４０２は、現像用のホワイトバランス調整ゲイン係数３１１２をホワイトバランス制御情報３１０１に書き込む（ステップＳ３２０２）。そして、符号化部４０２は、異同フラグ３１１３の値を「０」に設定して（ステップＳ３２０３）、一連の処理を終了する。

　また、現像用のホワイトバランス調整ゲイン係数３１１２が補正された場合（ステップＳ３２０１：Ｙｅｓ）、符号化部４０２は、補正後のホワイトバランス調整ゲイン係数３１１２をホワイトバランス制御情報３１０１に書き込む（ステップＳ３２０４）。そして、符号化部４０２は、異同フラグ３１１３の値を「１」に設定して（ステップＳ３２０５）、一連の処理を終了する。

　［復号装置１９００の処理］
　つぎに、復号装置１９００の処理について説明する。第２生成部１９０３は、実施例２で説明したように、復号されたＧ１画像データ２２１１、Ｇ２画像データ２２１２、Ｂ画像データ２２１３、およびＲ画像データ２２１４を合成して、ＷＢ調整済み画像データ２２００に復元する。

　このとき、第２生成部１９０３は、Ｂ符号化画像データ２２２３のホワイトバランス制御情報３１０１と、Ｒ符号化画像データ２２２４のホワイトバランス制御情報３１０１と、を組み合わせる。組み合わせ後のホワイトバランス制御情報３１０１は、調整済み情報３１１１と、Ｂ成分のホワイトバランス調整ゲイン係数３１１２およびその異同フラグ３１１３と、Ｒ成分のホワイトバランス調整ゲイン係数３１１２およびその異同フラグ３１１３と、を含む。

　ホワイトバランス逆調整部２５０４は、第２生成部１９０３から得られたＷＢ調整済みＲＡＷ画像データ２２００に付与されている、ヘッダ情報１７０１内のホワイトバランス制御情報３１０１を参照して、ＷＢ調整済みＲＡＷ画像データ２２００についてホワイトバランス逆調整をし、元のＲＡＷ画像データ１００に復元する。この場合、ホワイトバランス逆調整部２５０４は、異同フラグ３１１３にかかわらず、元のＲＡＷ画像データ１００を得ることができる。異同フラグ３１１３を利用する場合、以下のような処理が可能である。

　（Ａ）異同フラグ３１１３の値が「０」の場合
　ホワイトバランス逆調整部２５０４は、異同フラグ３１１３を参照することにより、ホワイトバランス逆調整を実行せずに、ＷＢ調整済みＲＡＷ画像データ２２００を出力することが可能である。異同フラグ３１１３の値の正確性は、符号化装置４００で保証されているため、ホワイトバランス逆調整部２５０４は、撮影情報を解読することなく、符号化装置４００で実行された最適なホワイトバランス調整をそのまま流用することができる。したがって、復号装置１９００での処理の効率化を図ることができる。

　一方、ホワイトバランス逆調整部２５０４は、異同フラグ３１１３を参照することにより、現像用のホワイトバランス調整ゲイン係数３１１２で、ホワイトバランス逆調整を実行することができる。すなわち、異同フラグ３１１３の値の正確性は、符号化装置４００で保証されているため、ホワイトバランス逆調整部２５０４は、撮影情報を解読することなく、ホワイトバランス逆調整を実行することができる。したがって、復号装置１９００でのホワイトバランス逆調整の効率化を図ることができる。

　（Ｂ）異同フラグ３１１３の値が「１」の場合
　ホワイトバランス逆調整部２５０４は、異同フラグ３１１３を参照することにより、ホワイトバランス逆調整を実行して、補正後のホワイトバランス調整ゲイン係数でホワイトバランス逆調整されたＲＡＷ画像データ２２００を出力することが可能である。

　異同フラグ３１１３の値の正確性は、符号化装置４００で保証されているため、ホワイトバランス逆調整部２５０４は、撮影情報を解読することなく、符号化装置４００で実行された飽和しない最適なホワイトバランス調整をそのまま流用することができる。したがって、復号装置１９００での処理の効率化を図ることができる。

　一方、ホワイトバランス逆調整部２５０４は、異同フラグ３１１３を参照することにより、補正後のホワイトバランス調整ゲイン係数３１１２で、ホワイトバランス逆調整を実行することができる。すなわち、異同フラグ３１１３の値の正確性は、符号化装置４００で保証されているため、ホワイトバランス逆調整部２５０４は、撮影情報を解読することなく、ホワイトバランス逆調整を実行することができる。したがって、復号装置１９００でのホワイトバランス逆調整の効率化を図ることができる。

　なお、上記（Ａ）および（Ｂ）のいずれの場合であっても、ホワイトバランス逆調整を実行するか否かは、設定ファイルにより、あらかじめ復号装置１９００で設定されていてもよい。また、復号装置１９００は、その都度、ホワイトバランス逆調整の実行許可を促す画面情報をディスプレイに表示し、ユーザから実行許可が選択された場合にホワイトバランス逆調整を実行し、実行不許可が選択された場合にホワイトバランス逆調整を実行しないこととしてもよい。

　また、上記（Ａ）および（Ｂ）のいずれの場合であっても、ホワイトバランス逆調整を実行しない場合、ホワイトバランス逆調整部２５０４は、ＷＢ調整済みＲＡＷ画像データ２２００にホワイトバランス制御情報３１０１を付与したまま出力する。これにより、ＷＢ調整済みＲＡＷ画像データ２２００にどのようなホワイトバランス調整が施されているかを確認することができる。

　図３３は、ホワイトバランス逆調整処理の詳細な処理手順例を示すフローチャートである。ホワイトバランス逆調整部２５０４は、設定ファイルの内容や、ユーザからの実行許可または不許可の選択により、ホワイトバランス逆調整を実行するか否かを判断する（ステップＳ３３０１）。

　ホワイトバランス逆調整を実行しない場合（ステップＳ３３０１：Ｎｏ）、ホワイトバランス逆調整部２５０４は、ホワイトバランス制御情報３１０１付きのＷＢ調整済みＲＡＷ画像データ２２００を出力する（ステップＳ３３０２）。これにより、ホワイトバランス逆調整処理が終了する。

　一方、ホワイトバランス逆調整を実行する場合（ステップＳ３３０１：Ｙｅｓ）、ホワイトバランス逆調整部２５０４は、ホワイトバランス制御情報３１０１内のホワイトバランス調整ゲイン係数３１１２を用いてホワイトバランス逆調整を実行して、元のＲＡＷ画像データ１００を出力する（ステップＳ３３０３）。これにより、ホワイトバランス逆調整処理が終了する。

　このように、実施例５によれば、ホワイトバランス調整後の画素値が飽和しないように、ホワイトバランス調整ゲイン係数３１１２を補正することができる。また、異同フラグ３１１３を符号化成分フレーム１７００のヘッダ情報１７０１に含めることにより、復号装置１９００で撮影情報を解読することなく、ホワイトバランス逆調整を実行して元のＲＡＷ画像データ１００に復元したり、ＷＢ調整済みＲＡＷ画像データ２２００をそのまま流用したりすることができる。

　実施例６は、実施例２および実施例４のホワイトバランス調整およびホワイトバランス逆調整の変形例２である。実施例６では、実施例２を例に挙げて説明するが、実施例４でも同様である。また、実施例６は、実施例５にも適用可能である。なお、実施例６では、実施例１～実施例４との相違点を中心に説明し、実施例１～実施例４と同一構成には同一符号を付し、その説明を省略する。

　＜ＷＢ調整およびＷＢ逆調整例＞
　図３４は、実施例６にかかるＷＢ調整およびＷＢ逆調整例を示す説明図である。（Ａ）は、実施例６が適用されない場合のＷＢ調整およびＷＢ逆調整例を示し、（Ｂ）は、実施例６が適用された場合のＷＢ調整およびＷＢ逆調整例を示す。

　なお、（Ａ）および（Ｂ）において、撮像素子３５３は、最大１２ビットの画素信号を出力するものとする。また、「Ｒ」は、赤（Ｒ）のカラーフィルタ３５２に対応する撮像素子３５３の画素（Ｒ成分の画素）から出力された画素信号の値（Ｒ成分の画素値（Ｒ画素値））であり、「Ｇ」は、緑（Ｇ１またはＧ２）のカラーフィルタ３５２に対応する撮像素子３５３の画素（Ｇ成分の画素）から出力された画素信号の値（Ｇ成分の画素値（Ｇ画素値））であり、「Ｂ」は、青のカラーフィルタ３５２に対応する撮像素子３５３の画素（Ｂ成分の画素）から出力された画素信号の値（Ｂ成分の画素値（Ｂ画素値））である。

　まず（Ａ）について説明する。（Ａ）は、（Ａ１）ＲＡＷ画像データ出力、（Ａ２）ホワイトバランス調整、（Ａ３）ホワイトバランス逆調整の順に実行される。また、（Ａ）では、ＬＳＩ３０４では、ホワイトバランス調整における画素の最大出力ビットが、たとえば、１２ビットに固定されている。したがって、（Ａ２）および（Ａ３）での画素値の最大出力ビットは、撮像素子と同様１２ビットになる。

　（Ａ１）は、撮像素子３５３から出力されたＲＡＷ画像データ内の隣接する３画素の画素値である。ここでは、Ｇ画素値のみが飽和して、本来的には最大出力ビットである１２ビットを超えた値とするが、撮像素子３５３の性能限界により１２ビットのＧ画素値（Ｇａ）が出力されている。Ｇｂが飽和によるオーバーフロー分のＧ画素値である。

　（Ａ２）は、（Ａ１）で示した画素を含むＲＡＷ画像データをホワイトバランス調整した結果を示す。Ｒ画素は、ホワイトバランスのゲインにより、本来であれば、１２ビットを超えるＲ画素値にゲインされるはずが、最大出力ビットが１２ビットであるため、１２ビットのＲ画素値に制限される。Ｂ画素も同様である。

　（Ａ３）は、（Ａ２）で示した画素を含むＲＡＷ画像データをホワイトバランス逆調整した結果を示す。（Ａ３）のＲ画素は、（Ａ２）のＲ画素値をホワイトバランス逆調整することにより、（Ａ１）のＲ画素値とは異なる画素値となる。Ｂ画素も同様である。

　このように、ＬＳＩ３０４では、ホワイトバランス調整における画素の最大出力ビットが１２ビットに固定されているため、Ｒ画素値やＢ画素値を、１２ビットを超えた画素値にゲインできない。したがって、ホワイトバランス逆調整した場合に、（Ａ１）に示した元のＲ画素値およびＢ画素値に復元されない。

　つぎに、（Ｂ）について説明する。（Ｂ）は、（Ａ）と同様、（Ｂ１）ＲＡＷ画像データ出力、（Ｂ２）ホワイトバランス調整、（Ｂ３）ホワイトバランス逆調整の順に実行される。また、（Ｂ）では、ＬＳＩ３０４では、ホワイトバランス調整における画素の最大出力ビットが、たとえば、１２ビットから１３ビットに変更（拡張）されている。したがって、（Ｂ２）および（Ｂ３）での画素値の最大出力ビットは、撮像素子と異なり、１３ビットになる。

　（Ｂ１）は、（Ａ１）と同様、撮像素子３５３から出力されたＲＡＷ画像データ内の隣接する３画素の画素値である。Ｒ画素値、Ｇ画素値およびＢ画素値については、（Ａ１）で同一であるため、説明を省略する。

　（Ｂ２）は、（Ｂ１）で示した画素を含むＲＡＷ画像データをホワイトバランス調整した結果を示す。Ｒ画素は、ホワイトバランスのゲインにより、１２ビットを超えるＲ画素値に調整されている。Ｂ画素も同様である。

　（Ｂ３）は、（Ｂ２）で示した画素を含むＲＡＷ画像データをホワイトバランス逆調整した結果を示す。（Ｂ３）のＲ画素は、（Ｂ２）のＲ画素値をホワイトバランス逆調整することにより、（Ｂ１）のＲ画素値と同じ画素値となる。Ｂ画素も同様である。

　このように、ＬＳＩ３０４では、ホワイトバランス調整における画素の最大出力ビットが１２ビットから１３ビットに変更されたため、Ｒ画素値やＢ画素値を、１２ビットを超えた画素値に調整することができる。したがって、ホワイトバランス逆調整した場合に、（Ｂ１）に示した元のＲ画素値およびＢ画素値に復元される。

　なお、図３４の例では、Ｇ画素値が飽和した時にホワイトバランス調整およびホワイトバランス逆調整をした例について説明したが、Ｂ画素値またはＲ画素値が飽和した場合、Ｒ画素値、Ｇ画素値、およびＢ画素値のうちいずれか２つの画素値が飽和した場合も同様に、ホワイトバランス調整により１２ビットを超えて調整可能であり、ホワイトバランス逆調整により、ホワイトバランス調整前の元の画素値に復元可能である。

　＜ホワイトバランス調整の処理例１＞
　図３５は、実施例６にかかるホワイトバランス調整の処理例１を示す説明図である。グラフ３５００において、ＸＢは、ＲＡＷ画像データにおけるＢ画素値であり、ＯＢは、ＲＡＷ画像データ１００の黒レベルであり、ＡＢは、Ｂ成分のホワイトバランス調整ゲイン係数である。ＹＢ´は、Ｂ画素値をホワイトバランス調整後のＢ画素値である。ＹＢは、ＹＢ´の値に応じて最終的に決定されるホワイトバランス調整後のＢ画素値である。

　Ｔｍａｘは、ホワイトバランス調整におけるＢ画素の最大出力ビットをＮ１からＮ２（＞Ｎ１）に変更した場合のＢ成分の最大画素値である。図３４の例では、Ｎ１は１２ビットであり、Ｂ２は１３ビットである。Ｔｍａｘは、たとえば、下記式（５）であらわされる。

　Ｔｍａｘ＝２^Ｎ２－１・・・（５）

　関数Ｆ１は、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢ＝１の線形な関数であり、ＸＢ＝ＹＢ´となる。すなわち、ホワイトバランス調整が実行されないことを示す。関数Ｆ２は、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢ＞１の線形な関数である。関数Ｆ２により、ＬＳＩ３０４は、ホワイトバランス調整を実行する。Ｐは、関数Ｆ１、Ｆ２においてＸＢとしてＯＢが与えられると、ＹＢ´としてＯＢを出力する基準点である。関数Ｆ２は、下記式（６）によりあらわされる。

　ＹＢ´＝（ＸＢ－ＯＢ）×ＡＢ＋ＯＢ・・・（６）

　そして、最終的に決定されるホワイトバランス調整後のＢ画素値ＹＢは、下記式（７）によりあわらされる。

　ＹＢ＝０　　　　　ＹＢ´＜０
　　　＝ＹＢ´　　　０≦ＹＢ´＜Ｔｍａｘ
　　　＝Ｙｍａｘ　　Ｔｍａｘ≦ＹＢ´・・・・・・（７）

　なお、実施例５に適用する場合は、上記式（６）のＡＢを、ＡＢ＝（１．０＋ａｂ×α）とすればよい。

　このように、ＬＳＩ３０４において、ホワイトバランス調整におけるＢ画素の最大出力ビットをＮ１からＮ２（＞Ｎ１）に変更することで、ホワイトバランス調整後のＢ画素の飽和値がＮ１ビットの場合に比べて大きくなり、ホワイトバランス調整後のＢ画素値をＮ１ビットとすることに起因した飽和画素の復号時の歪を抑制することができる。

　なお、図３５では、飽和していないＢ画素をホワイトバランス調整する場合を例に挙げて説明したが、飽和していないＲ画素やＧ画素をホワイトバランス調整する場合も同様である。

　＜ホワイトバランス調整の処理例２＞
　図３６は、実施例６にかかるホワイトバランス調整の処理例２を示す説明図である。図３５の処理例１との相違点は、ＹＢを求めるための条件である。処理例２の場合、ＹＢを求めるための条件は、下記式（８）であらわされる。

　ＹＢ＝ＸＢ　　　　ＸＢ＜ＯＢ
　　　＝ＹＢ´　　　０≦ＹＢ´＜Ｔｍａｘ
　　　＝Ｙｍａｘ　　Ｔｍａｘ≦ＹＢ´・・・・・・（８）

　上記式（８）により、図３５の処理例１と同様、ＬＳＩ３０４において、ホワイトバランス調整におけるＢ画素の最大出力ビットをＮ１からＮ２（＞Ｎ１）に変更することで、ホワイトバランス調整後のＢ画素の飽和値がＮ１ビットの場合に比べて大きくなり、ホワイトバランス調整後のＢ画素値をＮ１ビットとすることに起因した飽和画素の復号時の歪を抑制することができる。

　また、ＯＢよりも小さいＸＢはノイズ成分であり、ホワイトバランス調整を実行しても相関性の向上が期待できない。このため、ＹＢ＝ＸＢ（ＸＢ＜ＯＢ）で示したように、ＯＢよりも小さいＸＢについては、ホワイトバランス調整を実行せずに、そのままＸＢを出力する。これにより、ＯＢとしての情報を残しつつ、ＯＢよりも小さいＸＢに含まれるノイズ成分のゲインを抑制することができる。

　＜符号化装置４００の機能的構成例＞
　図３７は、実施例６にかかる符号化装置４００の機能的構成例を示すブロック図である。以下、図２３との相違点について説明する。ホワイトバランス調整部２３０１および符号化部４０２は、外部入力によりＮ１およびＮ２（＞Ｎ１）を受け付ける。Ｎ１は、ＲＡＷ画像データ１００の各画素の出力ビット幅である。具体的には、たとえば、Ｎ１は、撮像素子３５３からのＲＡＷ画像データをそのまま利用する場合には、撮像素子３５３の出力ビット幅と同一としてもよい。ただし、撮像素子３５３の出力ビット幅と異なるビット幅でもよい。

　ホワイトバランス調整部２３０１は、出力ビット幅Ｎ２でホワイトバランス調整を実行し、出力ビット幅がＮ２となるＷＢ調整済みＲＡＷ画像データを第１生成部４０１に出力する。図３４の例では、Ｎ１＝１２ビットであり、Ｎ２＝１３ビットであるが、１２ビットよりも大きければ１４ビット以上でもよい。

　符号化部４０２は、第１生成部４０１から出力された成分フレーム（Ｇ１画像データ１１１，Ｇ２画像データ１１２，Ｂ画像データ１１３，Ｒ画像データ１１４）を符号化する。成分フレームの各画素値の出力ビット幅は、Ｎ２ビットである。符号化前の成分フレームの各画素の出力ビット幅Ｎ２は、復号装置１９００の復号部１９０２の復号処理で用いられるため、符号化成分フレーム１７００のヘッダ情報１７０１内の画像形式情報１７１１に符号化成分フレーム１７００のサイズの一例として含まれている。

　また、実施例１で説明したように、符号化部４０２は、符号化部４０２が符号化した符号化成分フレーム１７００のヘッダ情報１７０１内の制御情報１７１２にホワイトバランス制御情報を付与する。このホワイトバランス制御情報には、実施例１で説明したように、ＷＢ調整済みＲＡＷ画像データ２２００がホワイトバランスを調整済みであることを示す情報（調整済み情報）と、ＷＢ調整済みＲＡＷ画像データ２２００のＢ成分のホワイトバランス調整ゲイン係数ＡＢと、ＷＢ調整済みＲＡＷ画像データ２２００のＲ成分のホワイトバランス調整ゲイン係数ＡＲと、が含まれる。実施例６では、さらに、符号化部４０２は、ＲＡＷ画像データ１００の各画素の出力ビット幅Ｎ１と、をホワイトバランス制御情報１７１２に含めてもよい。また、Ｎ１ではなく、Ｎ１とＮ２との差分値でもよい。また、実施例６により符号化するＲＡＷ画像の各画素のビット幅Ｎ１と、符号化部４０２が、各画素のビット幅をＮ２ビットとして符号化したことを示す符号とを、符号化成分フレーム１７００のヘッダ情報１７０１内の制御情報１７１２に付与してもよい。

　＜復号装置１９００の機能的構成例＞
　図３８は、実施例６にかかる復号装置１９００の機能的構成例を示すブロック図である。復号部１９０２は、符号化成分フレーム１７００を復号するとともに、ホワイトバランス制御情報１７１２に含まれているＲＡＷ画像データ１００の各画素の出力ビット幅Ｎ１と、画像形式情報１７１１に含まれている成分フレームの各画素の出力ビット幅Ｎ２と、を、ホワイトバランス逆調整部２５０４に通知する。

　ホワイトバランス制御情報１７１２にＮ１とＮ２との差分値が含まれている場合、復号部１９０２は、出力ビット幅Ｎ２と、Ｎ１とＮ２との差分値と、をホワイトバランス逆調整部２５０４に通知する。また、実施例６により符号化するＲＡＷ画像の各画素のビット幅Ｎ１と、符号化部４０２が、各画素のビット幅をＮ２ビットとして符号化したことを示す符号とが、符号化成分フレーム１７００のヘッダ情報１７０１内の制御情報１７１２に含まれている場合、これらをホワイトバランス逆調整部２５０４に通知してもよい。

　ホワイトバランス逆調整部２５０４は、ＲＡＷ画像データ１００の各画素の出力ビット幅Ｎ１と、成分フレームの各画素の出力ビット幅Ｎ２と、を取得する。Ｎ１とＮ２との差分値が通知された場合には、ホワイトバランス逆調整部２５０４は、出力ビット幅Ｎ２から当該差分値の絶対値を減算することにより、出力ビット幅Ｎ１を取得する。ホワイトバランス逆調整部２５０４は、第２生成部１９０３から得られたＷＢ調整済みＲＡＷ画像データ２２００に付与されているヘッダ情報１７０１内のホワイトバランス制御情報を参照して、ＷＢ調整済みＲＡＷ画像データ２２００についてホワイトバランス逆調整をし、元のＲＡＷ画像データ１００に復元する。

　具体的には、たとえば、ホワイトバランス制御情報１７１２に出力ビット幅Ｎ１が含まれている場合、ホワイトバランス逆調整部２５０４は、ホワイトバランス逆調整により、まず、各画素のビット幅がＮ２ビットであるＲＡＷ画像データを生成する。そして、ホワイトバランス逆調整部２５０４は、各画素の最大値をＮ１ビットで表現可能な最大値に制限して、各画素の最上位ビットから（Ｎ２－Ｎ１）ビット分のデータを消去して、各画素のビット幅がＮ１ビット幅のＲＡＷ画像データ１００に補正する。

　たとえば、図３４の（Ｂ３）に示したように、各画素のビット幅がＮ２＝１３ビット幅のＲＡＷ画像データから、最上位ビットからＮ２－Ｎ１＝１ビット分のデータが消去されて、各画素のビット幅がＮ１＝１２ビット幅のＲＡＷ画像データ１００に補正される。

　なお、ホワイトバランス制御情報１７１２に出力ビット幅Ｎ１が含まれていない場合、ホワイトバランス逆調整部２５０４は、ホワイトバランス逆調整により、各画素のビット幅がＮ２ビットであるＲＡＷ画像データ１００を生成することになる。

　また、ホワイトバランス制御情報１７１２に出力ビット幅Ｎ１が含まれていない場合、ホワイトバランス逆調整部２５０４は、逆調整を実行しないようにしてもよい。これにより、符号化装置４００は、出力ビット幅Ｎ１を、ホワイトバランス逆調整部２５０４へのイネーブル信号として用いることができる。したがって、復号装置１９００は、符号化装置４００から出力ビット幅Ｎ１により復元許可が与えられた場合に、画素のビット幅がＮ１ビットであるＲＡＷ画像データ１００に復元することができる。

　同様に、ホワイトバランス制御情報１７１２に出力ビット幅Ｎ１が含まれていない場合、第２生成部１９０３は、各画素の出力ビット幅がＮ２であるＲＡＷ画像データの生成を実行しないようにしてもよい。また、同様に、ホワイトバランス制御情報１７１２に出力ビット幅Ｎ１が含まれていない場合、復号部１９０２は、第１符号化画像データおよび第２符号化画像データの復号を実行しないようにしてもよい。これにより、符号化装置４００は、出力ビット幅Ｎ１を、第２生成部１９０３または復号部１９０２へのイネーブル信号として用いることができる。出力ビット幅Ｎ１をこのように活用することにより、復号装置１９００でのセキュリティの向上を図ることができる。

　以上説明したように、本実施例によれば、色相や彩度により成分フレーム間の相関性が高くなるという性質を利用して、ＲＡＷ画像データ１００を成分フレーム間予測することにより、成分フレーム間の相関性が高いＲＡＷ画像データ１００の符号化効率を高めることができる。また、このように成分フレーム間予測符号化により符号化した場合でも元のＲＡＷ画像データ１００に復元することができる。

　また、上述した実施例１～実施例６において、符号化対象としてＲＡＷ画像データ１００を用いたが、ＲＡＷ画像データから加工された画像データを符号化対象としてもよい。また、上述した実施例１～実施例６において、成分フレーム間予測符号化およびその復号について説明したが、時間軸方向のフレーム間予測符号化およびその復号でもよい。

　実施例５および実施例６では、ＲＡＷ画像データ１００にホワイトバランス調整する例を示した。しかし、たとえば、ホワイトバランス調整する代わりに、Ｒの色成分データの値とＧの色成分データの値との差、Ｇの色成分データの値とＢの色成分データの値との差、Ｂの色成分データの値とＲの色成分データの値との差のうち、少なくとも１つの差が小さくなる処理でもよい。

　この場合、たとえば、Ｒの色成分データの値とＧの色成分データの値との差、Ｇの色成分データの値とＢの色成分データの値との差、Ｂの色成分データの値とＲの色成分データの値との差のうち、少なくとも１つの差が小さくするための係数をかけたときに、所定の閾値以上となる場合に係数を調整すればよい。

　上述の実施例５および実施例６では、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分の画素値ＹＢがしきい値（例として輝度値２５５）以上かを判断し、しきい値以上の場合、Ｂ成分のホワイトバランス調整ゲイン係数ＡＢを補正した。しかしながら、ホワイトバランス調整部２３０１は、ホワイトバランス調整後のＢ成分（Ｒ成分）の画素値ＹＢ（ＹＲ）がしきい値（例として輝度値２５５）を超えるか否かを判断し、しきい値を超える場合、Ｂ成分（Ｒ成分）のホワイトバランス調整ゲイン係数ＡＢを補正することとしてもよい。また、上記しきい値（例として輝度値２５５）は一例であり、他の値であってもよい。

　なお、上述の実施例２、実施例４、実施例５および実施例６において、ホワイトバランス調整後に、符号化する際に、ホワイトバランス調整のゲインに応じて成分毎に重みづけして量子化してもよい。たとえば、一般に、太陽光源想定のホワイトバランス調整では、Ｒ成分の調整ゲインが１より大きい。たとえば、赤色絵柄部分は、信号レベルが、ホワイトバランス調整で増強されるので、発生符号量が大きくなる。

　このため、ホワイトバランス調整後に、符号化する際に、Ｒ成分をホワイトバランス調整しない場合と比べて、より粗く量子化するように重みづけしてもよい。また、たとえば、ホワイトバランス調整のゲインをＡで調整した画像データと、ホワイトバランス調整のゲインをＢ（Ａ＜Ｂ）で調整した画像データと、では、ホワイトバランス調整のゲインをＢで調整した画像データをより粗く量子化することとしてもよい。

１００　ＲＡＷ画像データ、１０１　色配列、１１１　Ｇ１画像データ、１１２　Ｇ２画像データ、１１３　Ｂ画像データ、１１４　Ｒ画像データ、１２１　Ｇ１符号化画像データ、１２２　Ｇ２符号化画像データ、１２３　Ｂ符号化画像データ、１２４　Ｒ符号化画像データ、３００　情報処理装置、３０１　プロセッサ、３０２　記憶デバイス、３５３　撮像素子、４００　符号化装置、４０１　第１生成部、４０２　符号化部、４０３　記録部、６１０　位置ずれ検出部、６１１　第１画素位置補償部、１７００　符号化成分フレーム、１７０１　ヘッダ情報、１７１１　画像形式情報、１７１２　制御情報、１９００　復号装置、１９０１　取得部、１９０２　復号部、１９０３　第２生成部、２００６　第２画素位置補償部、２２００　ＷＢ調整済みＲＡＷ画像データ、２３０１　ホワイトバランス調整部、２５０４　ホワイトバランス逆調整部、２７００　ＲＡＷ動画像データ、３０００　ＷＢ調整済みＲＡＷ動画像データ、３１０１　ホワイトバランス制御情報、３１１１　調整済み情報、３１１２　ホワイトバランス調整ゲイン係数、３１１３　異同フラグ

Claims

　第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて算出された第２係数により、前記第２色成分の画素値を調整する調整部と、
　前記調整部により画素値が調整された画像データと、前記第１係数と、前記第２係数と、を符号化する符号化部と、
　を有する符号化装置。
　請求項１に記載の符号化装置であって、
　前記調整部は、前記第１係数と前記第２色成分の画素値とに基づいて調整された画素値がしきい値以上である場合、前記第２係数を算出する、符号化装置。
　請求項２に記載の符号化装置であって、
　前記調整部は、前記しきい値以上の画素が所定画素数存在する場合、前記第２係数を算出する、符号化装置。
　請求項３に記載の符号化装置であって、
　前記調整部は、連結画素領域内において前記しきい値以上の画素が所定画素数存在する場合、前記第２係数を算出する、符号化装置。
　請求項２から４のいずれか一つに記載の符号化装置であって、
　前記符号化部は、前記符号化された画素値が調整済みの画像データに、前記第１係数と前記符号化された画素値が調整済みの画像データに付与された前記第２係数との異同を示す識別情報を付与する、符号化装置。
　請求項１に記載の符号化装置であって、
　前記調整部は、前記第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配列されたデータ列と、前記第１色成分と、前記第１色成分および前記第２色成分とは異なる第３色成分とが繰り返し配列されたデータ列と、が繰り返し配列された画像データの第２色成分と第３色成分との画素値を調整する、符号化装置。
　第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて、前記少なくとも第２色成分の画素値を調整する調整部と、
　前記調整部によって前記少なくとも第２色成分の画素値が調整された画像データを符号化するとともに、前記符号化された画像データに前記第１係数を付与する符号化部と、
　を有する符号化装置。
　請求項７に記載の符号化装置であって、
　前記符号化部は、前記符号化された画素値が調整済みの画像データに、前記第１係数と前記符号化された画素値が調整済みの画像データに付与された前記第１係数との異同を示す識別情報を付与する、符号化装置。
　第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置された画像データの各画素の第１出力ビット幅を前記第１出力ビット幅よりも大きい第２出力ビット幅に変更し、当該変更後の画像データのホワイトバランスを調整する調整部と、
　前記調整部によってホワイトバランスが調整された画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する生成部と、
　前記生成部によって生成された第１画像データに基づいて、前記生成部によって生成された第２画像データを符号化する符号化部と、
　を有する符号化装置。
　請求項１または７に記載の符号化装置であって、
　前記調整部は、調整に先立って、前記画像データの各画素の第１出力ビット幅を前記第１出力ビット幅よりも大きい第２出力ビット幅に変更する、符号化装置。
　請求項９または１０に記載の符号化装置であって、
　前記第１出力ビット幅は、前記画像データを出力した撮像素子の各画素の出力ビット幅である、符号化装置。
　請求項９または１０に記載の符号化装置であって、
　前記第１出力ビット幅および前記第２出力ビット幅に関する情報を記録する記録部と、
　を有する符号化装置。
　第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて算出された第２係数により、前記第２色成分の画素値が調整された調整済み画像データと、前記第１係数と、前記第２係数と、が符号化された符号化データを、取得する取得部と、
　前記取得部によって取得された符号化データを復号する復号部と、
　前記復号部によって復号された調整済み画像データを、前記復号部によって復号された第２係数に基づいて、調整する調整部と、
　を有する、復号装置。
　第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて前記少なくとも第２色成分の画素値が調整された調整済み画像データが符号化された符号化調整済み画像データと、前記符号化調整済み画像データに付与された前記第１係数と、を含む符号化データを取得する取得部と、
　前記取得部によって取得された符号化データを復号する復号部と、
　前記復号部によって復号された調整済み画像データを、前記符号化調整済み画像データに付与された前記第１係数に基づいて調整する調整部と、
　を有する、復号装置。
　請求項１４に記載の復号装置であって、
　前記符号化データは、さらに、前記第１係数と前記符号化調整済み画像データに付与された前記第１係数との異同を示す識別情報を含み、
　前記調整部は、前記識別情報における両第１係数の値の異同に基づいて、前記調整済み画像データを、前記符号化調整済み画像データに付与された前記第１係数に基づいて調整する、復号装置。
　請求項１５に記載の復号装置であって、
　前記調整部は、前記識別情報が両第１係数の値が同一であることを示す場合、前記調整済み画像データを、前記符号化調整済み画像データに付与された前記第１係数に基づいて調整する、復号装置。
　請求項１５に記載の復号装置であって、
　前記調整部は、前記識別情報が両第１係数の値が相違することを示す場合、前記調整済み画像データの調整を実行せずに、前記調整済み画像データを出力する、復号装置。
　請求項１６に記載の復号装置であって、
　前記調整部は、前記識別情報が両第１係数の値が相違することを示す場合、前記調整済み画像データを、前記符号化調整済み画像データに付与された前記第１係数に基づいて調整する、復号装置。
　第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置された画像データを復元する復号装置であって、
　前記第１色成分の画素群により構成される第１画像データを符号化した第１符号化画像データと、前記第２色成分の画素群により構成される第２画像データを前記第１画像データに基づいて符号化した第２符号化画像データと、前記第１画像データおよび前記第２画像データに施されたホワイトバランスに関する情報と、前記画像データの各画素の出力ビット幅よりも小さい特定の出力ビット幅と、を取得する取得部と、
　前記取得部によって取得された第１符号化画像データを前記第１画像データに復号するとともに、前記第１画像データに基づいて、前記取得部によって取得された第２符号化画像データを前記第２画像データに復号する復号部と、
　前記復号部によって復号された第１画像データおよび第２画像データに基づいて、前記第１色成分と前記第２色成分とが繰り返し配置された画像データを生成する生成部と、
　前記ホワイトバランスに関する情報と、前記特定の出力ビット幅と、に基づいて、前記生成部によって生成された画像データの色をホワイトバランスによる調整前の色に変換する調整部と、
　を有する復号装置。
　請求項１９に記載の復号装置であって、
　前記復号部は、前記特定の出力ビット幅が取得された場合に復号する、
　復号装置。
　請求項１９に記載の復号装置であって、
　前記生成部は、前記特定の出力ビット幅が取得された場合に生成する、
　復号装置。
　請求項１９に記載の復号装置であって、
　前記生成部は、前記特定の出力ビット幅が取得された場合に変換する、
　復号装置。
　第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて算出された第２係数により、前記第２色成分の画素値を調整する調整処理と、
　前記調整処理により画素値が調整された画像データと、前記第１係数と、前記第２係数と、を符号化する符号化処理と、
　を有する符号化方法。
　第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて、前記少なくとも第２色成分の画素値を調整する調整処理と、
　前記調整処理によって前記少なくとも第２色成分の画素値が調整された画像データを符号化するとともに、前記符号化された画像データに前記第１係数を付与する符号化処理と、
　を有する符号化方法。
　第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置された画像データの各画素の第１出力ビット幅を前記第１出力ビット幅よりも大きい第２出力ビット幅に変更し、当該変更後の画像データのホワイトバランスを調整する調整処理と、
　前記調整処理によってホワイトバランスが調整された画像データから、前記第１色成分の画素群により構成される第１画像データと、前記第２色成分の画素群により構成される第２画像データと、を生成する生成処理と、
　前記生成処理によって生成された第１画像データに基づいて、前記生成部によって生成された第２画像データを符号化する符号化処理と、
　を有する符号化方法。
　第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて算出された第２係数により、前記第２色成分の画素値が調整された調整済み画像データと、前記第１係数と、前記第２係数と、が符号化された符号化データを、取得する取得処理と、
　前記取得処理によって取得された符号化データを復号する復号処理と、
　前記復号処理によって復号された調整済み画像データを、前記復号処理によって復号された第２係数に基づいて、調整する調整処理と、
　を有する復号方法。
　第１色成分と前記第１色成分と異なる第２色成分とが繰り返し配列された画像データのうちの少なくとも第２色成分の画素値を調整する第１係数を用いて前記少なくとも第２色成分の画素値が調整された調整済み画像データが符号化された符号化調整済み画像データと、前記符号化調整済み画像データに付与された前記第１係数と、を含む符号化データを取得する取得処理と、
　前記取得処理によって取得された符号化データを復号する復号処理と、
　前記復号処理によって復号された調整済み画像データを、前記符号化調整済み画像データに付与された前記第１係数に基づいて調整する調整処理と、
　を有する復号方法。
　第１色成分と前記第１色成分とは異なる第２色成分とが繰り返し配置された画像データを復元する復号方法であって、
　前記第１色成分の画素群により構成される第１画像データを符号化した第１符号化画像データと、前記第２色成分の画素群により構成される第２画像データを前記第１画像データに基づいて符号化した第２符号化画像データと、前記第１画像データおよび前記第２画像データに施されたホワイトバランスに関する情報と、前記画像データの各画素の出力ビット幅よりも小さい特定の出力ビット幅と、を取得する取得処理と、
　前記取得処理によって取得された第１符号化画像データを前記第１画像データに復号するとともに、前記第１画像データに基づいて、前記取得処理によって取得された第２符号化画像データを前記第２画像データに復号する復号処理と、
　前記復号処理によって復号された第１画像データおよび第２画像データに基づいて、前記第１色成分と前記第２色成分とが繰り返し配置された画像データを生成する生成処理と、
　前記ホワイトバランスに関する情報と、前記特定の出力ビット幅と、に基づいて、前記生成部によって生成された画像データの色をホワイトバランスによる調整前の色に変換する調整処理と、
　を有する復号方法。
　請求項２３から２５のいずれか一項に記載の符号化方法をプロセッサに実行させる符号化プログラム。
　請求項２６から２８のいずれか一項に記載の復号方法をプロセッサに実行させる復号プログラム。