JP5974692B2 - 動画像復号装置およびプログラム - Google Patents

Description

本発明は、動画像復号装置およびプログラムに関する。

動画像の撮影に関し、撮像素子から出力される画像にカメラ内で現像処理を施さずに記録するＲＡＷ動画像の撮影モードを備えた撮像装置が提案されている。かかるＲＡＷ動画像の記録において、ベイヤ配列から各色成分を分離し、色成分ごとに圧縮符号化を行うことも提案されている。

特開２０１１−４１１４４号公報

ところで、ベイヤ配列の２つの同色成分は高い相関性を有する。そのため、かかる相関性を利用すれば、ＲＡＷ動画像の圧縮符号化の効率をより向上させることができる。

本発明の一例である動画像復号装置は、圧縮ＲＡＷ動画像データを取得する取得部と、復号処理部と、画像変換部とを備える。圧縮ＲＡＷ動画像データは、２行２列の色配列に従って異なる３つの色成分の画素が周期的に配置された複数のフレームについて、各フレームの奇数行の第１色成分に対応する第１画素群と偶数行の前記第１色成分に対応する第２画素群とをそれぞれ分離し、前記第１画素群を含む第１画像と前記第２画素群を含む第２画像とを時間軸方向に交互に配列して画像間予測符号化圧縮したものである。復号処理部は、圧縮ＲＡＷ動画像データを復号する。画像変換部は、復号されたＲＡＷ動画像データの第１画像と第２画像を色配列に従って並べ替える。

本発明によれば、圧縮符号化の効率がより向上されたＲＡＷ動画像を復号することができる。

第１実施形態の電子カメラの構成例を示す図 （ａ）〜（ｄ）：ベイヤ配列での各色画素の配列例を示す図 圧縮処理部の構成例を示す図 復号処理部の構成例を示す図 ＲＡＷ動画像記録モードでの電子カメラの動作を示す流れ図 符号化対象のＲＡＷ画像の例を示す図 （ａ）〜（ｄ）：第１動作例におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図 ＲＡＷ画像がすべてＩフレームである場合の動き補償予測の例を示す図 ＲＡＷ画像がＩフレーム，Ｐフレームである場合の動き補償予測の例を示す図 ＲＡＷ画像がＩフレーム，Ｐフレーム，Ｂフレームである場合の動き補償予測の例を示す図 ＲＡＷ画像がＩフレーム，Ｐフレーム，Ｂフレームである場合の動き補償予測の例を示す図 画素補間処理による画素値の予測例を示す図 画素補間処理による画素値の予測例を示す図 画素補間処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 画素ずらし処理による画素値の予測例を示す図 （ａ），（ｂ）：第２動作例におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図 （ａ），（ｂ）：第２動作例の変形例１におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図 （ａ），（ｂ）：第２動作例の変形例２におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図 （ａ），（ｂ）：第３動作例におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図 （ａ），（ｂ）：第３動作例の変形例におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図 ＲＡＷ動画像記録モードで圧縮されたＲＡＷ動画像の復号動作の例を示す流れ図 第２実施形態での動画像復号装置の構成例を示す図

＜第１実施形態の説明＞
図１は、撮像装置、動画像圧縮装置、動画像復号装置の一例である第１実施形態の電子カメラの構成例を示す図である。

第１実施形態の電子カメラ１００は動画撮影機能を有しており、動画撮影モードの１つとしてＲＡＷ動画像記録モードを有している。ＲＡＷ動画像記録モードでの電子カメラ１００は、デジタル現像処理前のＲＡＷ形式の動画像（ＲＡＷ動画像）に圧縮符号化を施して記録する。なお、デジタル現像処理とは、未加工のＲＡＷ画像を写真に相当する画像に変換する画像処理である。一例として、デジタル現像処理には、色補間処理、階調変換処理、ホワイトバランス調整処理、色変換処理が含まれる。

電子カメラ１００は、撮像光学系１０１と、撮像素子１０２と、信号処理部１０３と、画像処理エンジン１０４と、第１メモリ１０５および第２メモリ１０６と、記録Ｉ／Ｆ１０７と、モニタ１０８と、操作部１０９とを有している。ここで、信号処理部１０３、第１メモリ１０５、第２メモリ１０６、記録Ｉ／Ｆ１０７、モニタ１０８および操作部１０９は、それぞれ画像処理エンジン１０４と接続されている。なお、操作部１０９は、ユーザの操作（例えば動画撮影の指示や、モード切り替えの指示など）を受け付けるスイッチである。

撮像光学系１０１は、例えばズームレンズやフォーカスレンズを含む複数のレンズで構成されている。なお、簡単のため、図１では撮像光学系１０１を１枚のレンズで図示する。

撮像素子１０２は、撮像光学系１０１を通過した光束による被写体の結像を撮像（撮影）するデバイスである。撮像素子１０２の出力は、画像処理エンジン１０４に接続されている。上記の撮像素子１０２は、順次走査方式の固体撮像素子（例えばＣＣＤ）であってもよく、ＸＹアドレス方式の固体撮像素子（例えばＣＭＯＳ）であってもよい。

ここで、撮像素子１０２の受光面には、複数の受光素子（画素）がマトリクス状に配列されている。そして、撮像素子１０２の画素には、それぞれが異なる色成分の光を透過させる複数種類のカラーフィルタが所定の色配列に従って配置される。そのため、撮像素子１０２の各画素は、カラーフィルタでの色分解によって各色成分に対応する電気信号を出力する。例えば、第１実施形態では、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）のカラーフィルタが２行２列のベイヤ配列にしたがって受光面に周期的に配置されている。一例として、撮像素子１０２の画素配列の奇数行にはＧ，Ｂの画素が交互に並ぶとともに、画素配列の偶数行にはＲ，Ｇの画素が交互に並んでいる。そして、画素配列の全体では緑色画素が市松模様をなすように配置されている。これにより、撮像素子１０２は、撮影時にカラーの画像を取得することができる。本明細書の説明では、奇数行の緑色画素をＧ１と表記することがあり、偶数行の緑色画素をＧ２と表記することがある。また、ベイヤ配列での各色画素の配列パターンは上述の例に限定されることなく、奇数行に赤画素、偶数行に青画素を配置するものであってもよい。なお、図２（ａ）〜（ｄ）に、ベイヤ配列での各色画素の配列例を示す。

信号処理部１０３は、撮像素子１０２から入力される画像信号に対して、アナログ信号処理（相関二重サンプリング、黒レベル補正など）と、Ａ／Ｄ変換処理と、デジタル信号処理（欠陥画素補正など）とを順次施す。信号処理部１０３から出力される画像（ＲＡＷ画像）のデータは、画像処理エンジン１０４に入力される。

画像処理エンジン１０４は、電子カメラ１００の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン１０４は、撮像素子１０２から入力される画像信号を用いて、オートフォーカス（ＡＦ）、自動露出（ＡＥ）の制御を行う。

また、画像処理エンジン１０４は、現像処理部１１１と、画像変換部１１２と、圧縮処理部１１３と、復号処理部１１４とを有する。現像処理部１１１は、ＲＡＷ画像に対して上述したデジタル現像処理を行う。

画像変換部１１２は、ＲＡＷ動画像記録モードにおいて、ＲＡＷ動画像の各フレームを画素の色成分に基づいて複数の画像にそれぞれ分離する。例えば、画像変換部１１２は、ＲＡＷ動画像の１フレームの画素を色別に分離して並べ替える。そして、画像変換部１１２は、例えば、奇数行の緑色成分（Ｇ１）に対応する第１画素群を含む第１画像と、偶数行の緑色成分（Ｇ２）に対応する第２画素群を含む第２画像とに分離する。なお、第１画像および第２画像の例については後述する。

また、画像変換部１１２は、ＲＡＷ動画像記録モードにおいて、上述した第１画像および第２画像を時間軸方向に交互に配列して出力する。また、画像変換部１１２は、ＲＡＷ動画像記録モードで圧縮された動画像データを復号するときに、第１画像および第２画像を並べ替えて元のＲＡＷ画像に復元する。

圧縮処理部１１３は、動画像の各フレームを所定サイズのブロック単位に分割し、動き補償予測を用いて動画像のデータを圧縮符号化する。また、ＲＡＷ動画像記録モードでの圧縮処理部１１３は、画像変換部１１２で時間軸方向に配列された第１画像および第２画像を画像間予測符号化圧縮する。なお、圧縮処理部１１３の構成例については後述する。

復号処理部１１４は、圧縮処理部１１３で圧縮符号化された動画像のデータを復号する。なお、復号処理部１１４の構成例については後述する。

なお、画像処理エンジン１０４に含まれる現像処理部１１１、画像変換部１１２、圧縮処理部１１３および復号処理部１１４の機能ブロックは、ハードウェア的には任意のプロセッサ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現される。

第１メモリ１０５は、画像処理の前工程や後工程で画像のデータを一時的に記憶する。例えば、第１メモリ１０５は、揮発性の記憶媒体であるＳＤＲＡＭである。また、第２メモリ１０６は、画像処理エンジン１０４で実行されるプログラムや、このプログラムで使用される各種データを記憶する。例えば、第２メモリ１０６は、フラッシュメモリ等の不揮発性メモリである。

記録Ｉ／Ｆ１０７は、不揮発性の記憶媒体１１０を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１０７は、コネクタに接続された記憶媒体１１０に対して動画像のデータの書き込み／読み込みを実行する。記憶媒体１１０は、ハードディスクや、半導体メモリを内蔵したメモリカードなどである。なお、図１では記憶媒体１１０の一例としてメモリカードを図示する。

モニタ１０８は、各種の画像を表示する表示デバイスである。例えば、モニタ１０８は、画像処理エンジン１０４の制御により、動画撮影時のビューファインダ表示や、撮影した動画像の再生表示を行う。

次に、図３を参照しつつ、圧縮処理部１１３の構成例を説明する。図３では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで圧縮処理部１１３の各部を示している。

ここで、動き補償予測を行う画像圧縮符号化方式としては、例えば、ＩＳＯ／ＩＥＣ１３８１８−２に規定されるＭＰＥＧ−２などが知られている。上述の画像圧縮符号化方式では、Ｉピクチャ、Ｐピクチャ、Ｂピクチャを用いてフレーム内またはフレーム間で圧縮符号化が行われる。Ｉピクチャは画面内のみで完結する符号化により得られる画面内符号化画像である。Ｐピクチャは参照画像最大１枚を用いる予測符号化により得られる画面間予測符号化画像である。Ｂピクチャは参照画像最大２枚を用いる予測符号化により得られる画面間双予測符号化画像である。

圧縮処理部１１３は、第１蓄積部１１、減算部１２、直交変換部１３、量子化部１４、符号化部１５、逆量子化部１６、逆直交変換部１７、加算部１８、第２蓄積部１９、予測情報生成部２０、予測部２１を有している。

第１蓄積部１１は、画像変換部１１２から出力される第１画像および第２画像を蓄積する。第１蓄積部１１に蓄積された第１画像および第２画像は、符号化対象の画像として入力順に減算部１２へ出力される。なお、符号化の完了した画像は第１蓄積部１１から順次消去される。

減算部１２は、ＰピクチャまたはＢピクチャを生成するときには、入力された原画像と予測部２１で生成された後述の予測値との差分信号（予測誤差値）を出力する。また、減算部１２は、Ｉピクチャを生成するときには、入力された原画像の信号をそのまま出力する。

直交変換部１３は、Ｉピクチャを生成するときには、減算器をスルーして入力された原画像の信号に対して直交変換を行う。また、直交変換部１３は、Ｐピクチャ又はＢピクチャを生成するときには、上述の差分信号に対して直交変換を行う。

量子化部１４は、直交変換部１３から入力されたブロック単位の周波数係数（直交変換係数）を量子化係数に変換する。量子化部１４の出力は、符号化部１５および逆量子化部１６にそれぞれ入力される。

符号化部１５は、量子化係数や、動きベクトル等の予測情報を可変長符号化し、動画像の符号化ビットストリームを外部へ出力する。

逆量子化部１６は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部１７は、逆量子化部１６で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

加算部１８は、復号された予測誤差値と、予測部２１で生成された後述の予測値とを加算する。そして、加算部１８から出力されたピクチャの復号値（参照画像）は第２蓄積部１９に蓄積される。なお、以後の動き補償予測で参照されない画像は第２蓄積部１９から順次消去される。

予測情報生成部２０は、第２蓄積部１９の参照画像を用いて、符号化対象の画像を予測するための予測情報（動きベクトルなど）を生成する。予測情報は、予測部２１および符号化部１５に出力される。

予測部２１は、予測情報および参照画像に基づいて、符号化対象の画像をブロック単位で予測した予測値を出力する。この予測値は、減算部１２および加算部１８に出力される。

なお、或るブロックについて動き補償予測を行う場合、符号化対象の画像が予測値と完全に一致すると予測情報のみがデータ化される。また、符号化対象の画像が予測値と部分的に一致する場合、予測情報と差分の画像がデータ化される。また、符号化対象の画像が予測値からすべて外れる場合には、ブロック全体分の画像がすべてデータ化される。

次に、図４を参照しつつ、復号処理部１１４の構成例を説明する。図４では、ハードウェアやソフトウェアの連携によって実現される機能ブロックで復号処理部１１４の各部を示している。なお、復号処理部１１４の機能ブロックは、圧縮処理部１１３の同名称の機能ブロックと共有化されていてもよい。

復号処理部１１４は、符号復号部３１、逆量子化部３２、逆直交変換部３３、加算部３４、第１蓄積部３５、第２蓄積部３６、予測部３７を有している。

符号復号部３１は、入力される動画像の符号化ビットストリームを復号し、量子化係数や、動きベクトル等の予測情報を出力する。なお、復号された量子化係数は逆量子化部３２に入力され、復号された予測情報は予測部３７に入力される。

逆量子化部３２は、ブロック単位で量子化係数を逆量子化して周波数係数を復号する。逆直交変換部３３は、逆量子化部３２で復号された周波数係数を逆直交変換して予測誤差値（または原画像の信号）を復号する。

加算部３４は、復号された予測誤差値と予測部３７で生成された予測値とを加算することで、復号された画像をブロック単位で出力する。そして、加算部３４から出力された画像の復号値は第１蓄積部３５および第２蓄積部３６にそれぞれ入力される。

第１蓄積部３５は、復号した第１画像および第２画像を画像変換部１１２に出力するまで蓄積する。なお、画像変換部１１２への出力が完了した画像は第１蓄積部３５から順次消去される。また、第２蓄積部３６は、画像の復号値を参照画像として蓄積する。なお、以後の動き補償予測で参照されない画像は第２蓄積部３６から順次消去される。

予測部３７は、予測情報および参照画像に基づいて、復号対象の画像をブロック単位で予測した予測値を加算部３４に出力する。

（ＲＡＷ動画像記録モードでの第１動作例）
以下、第１実施形態におけるＲＡＷ動画像記録モードでの第１動作例を説明する。図５は、ＲＡＷ動画像記録モードでの電子カメラの動作を示す流れ図である。なお、図５の処理は、例えば、ＲＡＷ動画像撮影モードの起動時に画像処理エンジン１０４がプログラムを実行することで開始される。なお、第１実施形態での電子カメラは、例えば３０ｆｐｓのフレームレートで動画像の撮影を行う。

ステップ＃１０１：画像処理エンジン１０４は、撮像素子１０２を駆動させて画像を撮像する。撮像素子１０２から出力された画像信号は、信号処理部１０３の信号処理を経て画像処理エンジン１０４に入力される。これにより、画像処理エンジン１０４は、ＲＡＷ動画像の１フレームを構成する、符号化対象のＲＡＷ画像のデータを取得する。なお、図６は、符号化対象のＲＡＷ画像の例を示す図である。なお、以下の説明において、ＲＡＷ画像の水平方向画素数はＨで示し、ＲＡＷ画像の垂直方向画素数はＶで示す。

ステップ＃１０２：画像変換部１１２は、入力された符号化対象のＲＡＷ画像に対して色成分の並べ替えを行う。

図７（ａ）〜（ｄ）は、第１動作例におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図である。第１動作例での画像変換部１１２は、ＲＡＷ画像をＧ１，Ｂ，Ｒ，Ｇ２の４つの色成分に分離する。そして、画像変換部１１２は、分離したＧ１画素，Ｂ画素，Ｒ画素，Ｇ２画素を、色配列の位置に応じて並べ替える。これにより、１つのＲＡＷ画像から、Ｇ１画像，Ｂ画像，Ｒ画像，Ｇ２画像の４つの画像が生成される。Ｇ１画像は第１画像の一例であり、Ｇ２画像は第２画像の一例である。なお、Ｇ１画像，Ｂ画像，Ｒ画像，Ｇ２画像は、それぞれＲＡＷ画像の１／４の画像サイズ（Ｖ／２×Ｈ／２）となる。

ここで、第１動作例での画像変換部１１２は、圧縮処理部１１３に動画像を出力するときに、Ｇ１画像とＧ２画像とを時間軸方向に交互に配列して１つのチャネルで出力する。なお、第１動作例での画像変換部１１２は、圧縮処理部１１３に動画像を出力するときに、Ｂ画像，Ｒ画像についてはそれぞれ別のチャネルで出力する。

ステップ＃１０３：圧縮処理部１１３は、符号化対象のＲＡＷ画像から生成された複数の画像をそれぞれ圧縮符号化する。

ここで、第１動作例での圧縮処理部１１３は、順次生成されるＢ画像を画像間予測符号化圧縮し、Ｂ成分の動画像データを生成する。同様に、圧縮処理部１１３は、順次生成されるＲ画像を画像間予測符号化圧縮し、Ｒ成分の動画像データを生成する。Ｂ画像，Ｒ画像は、単体ではモノクロ画像とみなすことができ、画像内では隣接画素との相関も高くなる。そのため、圧縮処理部１１３は、Ｂ画像およびＲ画像をそれぞれ効率よく動画像として圧縮できる。

また、第１動作例での圧縮処理部１１３は、時間軸方向に交互に配列されたＧ１画像およびＧ２画像を画像間予測符号化圧縮し、Ｇ成分の動画像データを生成する。

Ｇ１画像，Ｇ２画像は、それぞれ単体ではＢ画像，Ｒ画像と同様にモノクロ画像とみなすことができる。また、Ｇ１画像，Ｇ２画像は、１つのＲＡＷ画像の同色画素を奇数列と偶数列とで分離して再配列したものである。同じＲＡＷ画像から分離されたＧ１画像，Ｇ２画像は、いずれも同じ時点の被写体を撮像した画像であり、色配列での画素位置の違いによる絵柄のズレは生じるものの画像間の相関は非常に高くなる。また、時間軸方向に前後した２つのＲＡＷ画像から分離されたＧ１画像，Ｇ２画像も、ほぼ同様の被写体が撮像されている可能性が高いため、画像間の相関は高くなる。そのため、第１動作例では、時間軸方向に交互に配列されたＧ１画像およびＧ２画像を、画像をブロック分割してブロックごとの画素補間、もしくは、画素ずらしを適応的に切り替える画像間予測符号化圧縮をすることで、ＲＡＷ動画像の圧縮符号化の効率をより向上させる。

画像をブロック分割してブロックごとの画素補間、もしくは、画素ずらしを適応的に切り替える画像間予測符号化は、例えば、動き補償予測符号化を適用することで容易にできる。

ここで、第１画像，第２画像を画像間予測符号化圧縮する場合、圧縮処理部１１３は以下のように動き補償予測を行えばよい。以下の説明では、ＩピクチャとしてのＲＡＷ画像をＩフレームと称し、ＰピクチャとしてのＲＡＷ画像をＰフレームと称し、ＢピクチャとしてのＲＡＷ画像をＢフレームと称する。また、図８から図１１において、ｎ番目のＲＡＷ画像から分離した第１画像は「ｎ−１」と表記し、ｎ番目のＲＡＷ画像から分離した第２画像は「ｎ−２」と表記する。

図８は、ＲＡＷ画像がすべてＩフレームである場合の動き補償予測の例を示している。図８の例では、圧縮処理部１１３は、各々の第１画像に対して画面内符号化圧縮を行う。また、圧縮処理部１１３は、同じＲＡＷ画像から分離された第１画像（Ｉピクチャ）を参照し、第１画像の復号値を用いて各ブロックで動き補償予測を行う。これにより、第２画像が画像間予測符号化圧縮される。なお、Ｉフレームの場合、第１画像はＩピクチャとなり、第２画像はＰピクチャとなる。

図９は、ＲＡＷ画像がＩフレーム，Ｐフレームである場合の動き補償予測の例を示している。Ｉフレームでの動き補償予測は、図８の例と同様であるので重複説明は省略する。

図９の例において、Ｐフレームでの第１画像の動き補償予測では、それぞれ１フレーム過去のＲＡＷ画像から分離した第１画像（Ｉピクチャ／Ｐピクチャ）または第２画像（Ｐピクチャ）が参照画像の候補となる。また、Ｐフレームでの第２画像の動き補償予測では、１フレーム過去のＲＡＷ画像から分離した第２画像（Ｐピクチャ）または同じＲＡＷ画像から分離された第１画像（Ｐピクチャ）が参照画像の候補となる。Ｐフレームの各画像を圧縮する場合、圧縮処理部１１３は、参照画像の候補のうちからブロックごとに参照画像を１つ選択し、その参照画像の復号値を用いて各ブロックの動き補償予測を行う。なお、Ｐフレームの場合、第１画像および第２画像はいずれもＰピクチャとなる。

図１０、図１１は、ＲＡＷ画像がＩフレーム，Ｐフレーム，Ｂフレームである場合の動き補償予測の例を示している。Ｉフレームでの動き補償予測は、図８の例と同様であるので重複説明は省略する。

図１０に示すように、Ｐフレームでの第１画像の動き補償予測では、それぞれＩフレームに対応する第１画像（Ｉピクチャ）または第２画像（Ｐピクチャ）が参照画像の候補となる。また、Ｐフレームでの第２画像の動き補償予測では、Ｉフレームの第２画像（Ｐピクチャ）またはＰフレームの第１画像（Ｐピクチャ）が参照画像の候補となる。Ｐフレームの各画像を圧縮する場合、圧縮処理部１１３は、参照画像の候補のうちからブロックごとに参照画像を１つ選択し、その参照画像の復号値を用いて各ブロックの動き補償予測を行う。なお、Ｐフレームの場合、第１画像および第２画像はいずれもＰピクチャとなる。

また、図１１に示すように、Ｂフレームでの第１画像，第２画像の動き補償予測では、（１）過去側でＢフレームから直近のＩフレーム（もしくはＰフレーム）から分離した第１画像または第２画像のうち１つと、（２）未来側でＢフレームから直近のＩフレーム（もしくはＰフレーム）から分離した第１画像または第２画像のうち１つとが、それぞれ参照画像の候補となる。Ｂフレームの各画像を圧縮する場合、圧縮処理部１１３は、参照画像の候補のうちからブロックごとに過去と未来の参照画像を１つずつ選択し、２つの参照画像の復号値を用いて各ブロックの動き補償予測を行う。

また、ＲＡＷ画像の同じ色配列から抽出されたＧ１画素とＧ２画素は、第１画像，第２画像で同じ画素位置にそれぞれ配置される。しかし、上述のように、第１画像と第２画像との間では色配列での画素位置の違いによる絵柄のズレが生じる。そのため、第１画像と第２画像との間で動き補償予測を行うとき、圧縮処理部１１３の予測情報生成部２０は、色配列での画素位置の違いを考慮して、Ｇ１，Ｇ２成分間での予測を以下の（Ａ），（Ｂ）のように行うことが好ましい。かかるＧ１，Ｇ２成分間での予測は符号化対象の画像のブロック単位で独立に行われる。

ここで、以下の（Ａ），（Ｂ）の説明に関し、図１２〜図２５ではＲＡＷ画像でのＧ１画素，Ｇ２画素の配列を丸印で示す。また、図１２〜図２５では１つの色配列の範囲（第１画像および第２画像の標本点）を枠線で示す。また、第１画像と第２画像との間において、予測先画像の注目画素の位置に対する予測元画像の参照画素の位置ズレを、動きベクトルＭＶ［ｘ，ｙ］と称する。動きベクトルＭＶは、右方向のズレによりｘが増加し、左方向のズレによりｘが減少する。同様に、動きベクトルＭＶは、下方向のズレによりｙが増加し、上方向のズレによりｙが減少する。以下の説明では、予測元画像が第１画像であり、予測先画像が第２画像である例を説明するが、両者の関係は逆であってもよい。

（Ａ）画素補間処理による予測
図１２、図１３は、画素補間処理による画素値の予測例を示す図である。画素補間処理では、第１画像と第２画像との間で、予測元画像での複数画素の補間値により予測先画像の注目画素の値が予測される。

図１２、図１３は、予測先画像（第２画像）の注目画素Ｇ２ｘの値を、注目画素に隣接する予測元画像（第１画像）の４画素（Ｇ１ａ〜Ｇ１ｄ）の平均値で求める例を示している。図１２、図１３の場合、注目画素の画素値を４つの隣接画素の平均で予測するため、予測元画像の復号値に含まれる符号化歪みを抑制できる。

図１２の例では、色配列の左上にＧ１画素、色配列の右下にＧ２画素が配置されている。図１２の場合、画素Ｇ１ａと画素Ｇ２ｘとが同じ標本点に属するが、注目画素（Ｇ２ｘ）は補間により画素Ｇ１ｂ〜Ｇ１ｄの影響を受ける。そのため、予測元画像での参照画素の範囲は、注目画素（Ｇ２ｘ）の位置に対して右に０．５画素、下に０．５画素ずれる。よって、図１２の例での動きベクトルＭＶは［０．５，０．５］となる。

また、図１３の例では、色配列の右上にＧ１画素、色配列の左下にＧ２画素が配置されている。図１３の場合、画素Ｇ１ｂと画素Ｇ２ｘとが同じ標本点に属するが、注目画素（Ｇ２ｘ）は補間により画素Ｇ１ａ，Ｇ１ｃ，Ｇ１ｄの影響を受ける。そのため、予測元画像での参照画素の範囲は、注目画素（Ｇ２ｘ）の位置に対して左に０．５画素、下に０．５画素ずれる。よって、図１３の例での動きベクトルＭＶは［−０．５，０．５］となる。

上述した画素補間処理による動き補償予測は、絵柄の変化が比較的に少ないブロックで選択される確率が高い。動画像には動きのない部分も数多く含まれるため、第１画像と第２画像との圧縮符号化では、図１２、図１３の予測が選択される頻度も高くなる。そのため、符号化部１５は、画素補間処理による動き補償予測の場合に最短の符号を割り当てて、圧縮効率を高めてもよい。

例えば、第１動作例での第１画像と第２画像との圧縮符号化において、符号化部１５は、図１２の場合には動きベクトルＭＶ［０．５，０．５］による動き補償予測に最短の符号を割り当てても良い。また、第１動作例での第１画像と第２画像との圧縮符号化において、符号化部１５は、図１３の場合には動きベクトルＭＶ［−０．５，０．５］による動き補償予測に最短の符号を割り当てても良い。

上述の予測値の算出方法は、適用される符号化方式に依存する。そのため、画素補間処理による予測は、図１２、図１３の例に限定されるものではない。例えば、図１４のように、予測先画像（第２画像）の注目画素Ｇ２ｘの値を、予測元画像（第１画像）の１６個のＧ１画素による補間値（例えば１６個のＧ１成分の平均値または重み付け平均値）で求めてもよい。なお、図１４の例での動きベクトルＭＶは［０．５，０．５］である。

（Ｂ）画素ずらし処理による予測
図１５〜図２５は、画素ずらし処理による画素値の予測例を示す図である。画素ずらし処理では、第１画像と第２画像との間で、予測先画像の注目画素の値が予測元画像で異なる位置の画素の値から予測される。

図１５〜図１８は、色配列の左上にＧ１画素、色配列の右下にＧ２画素が配置されている場合である。

図１５の場合、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、ＲＡＷ画像では右上に位置する画素Ｇ１ｂの値から予測される。図１５の場合、予測元画像の参照画素（Ｇ１ｂの属する標本点）は、予測先画像での注目画素（Ｇ２ｘの属する標本点）の位置に対して右に１画素ずれる。よって、図１５の例での動きベクトルＭＶは［１，０］となる。

図１６の場合、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、ＲＡＷ画像では左下に位置する画素Ｇ１ｃの値から予測される。図１６の場合、予測元画像の参照画素（Ｇ１ｃの属する標本点）は、予測先画像での注目画素（Ｇ２ｘの属する標本点）の位置に対して下に１画素ずれる。よって、図１６の例での動きベクトルＭＶは［０，１］となる。なお、図１５，図１６のような動き補償予測は、左下から右上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

図１７の場合、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、ＲＡＷ画像では左上に位置する画素Ｇ１ａの値から予測される。図１７の場合、予測元画像の参照画素（Ｇ１ａの属する標本点）は、予測先画像での注目画素（Ｇ２ｘの属する標本点）と同じ位置である。よって、図１７の例での動きベクトルＭＶは［０，０］となる。

図１８の場合、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、ＲＡＷ画像では右下に位置する画素Ｇ１ｄの値から予測される。図１８の場合、予測元画像の参照画素（Ｇ１ｄの属する標本点）は、予測先画像での注目画素（Ｇ２ｘの属する標本点）の位置に対して右に１画素、下に１画素ずれる。よって、図１８の例での動きベクトルＭＶは［１，１］となる。なお、図１７，図１８のような動き補償予測は、右下から左上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

一方、図１９〜図２２は、色配列の右上にＧ１画素、色配列の左下にＧ２画素が配置されている場合である。

図１９の場合、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、ＲＡＷ画像では右上に位置する画素Ｇ１ｂの値から予測される。図１９の場合、予測元画像の参照画素（Ｇ１ｂの属する標本点）は、予測先画像での注目画素（Ｇ２ｘの属する標本点）と同じ位置である。よって、図１９の例での動きベクトルＭＶは［０，０］となる。

図２０の場合、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、ＲＡＷ画像では左下に位置する画素Ｇ１ｃの値から予測される。図２０の場合、予測元画像の参照画素（Ｇ１ｃの属する標本点）は、予測先画像での注目画素（Ｇ２ｘの属する標本点）の位置に対して左に１画素、下に１画素ずれる。よって、図２０の例での動きベクトルＭＶは［−１，１］となる。なお、図１９，図２０のような動き補償予測は、左下から右上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

図２１の場合、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、ＲＡＷ画像では左上に位置する画素Ｇ１ａの値から予測される。図２１の場合、予測元画像の参照画素（Ｇ１ａの属する標本点）は、予測先画像での注目画素（Ｇ２ｘの属する標本点）の位置に対して左に１画素ずれる。よって、図２１の例での動きベクトルＭＶは［−１，０］となる。

図２２の場合、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、ＲＡＷ画像では右下に位置する画素Ｇ１ｄの値から予測される。図２２の場合、予測元画像の参照画素（Ｇ１ｄの属する標本点）は、予測先画像での注目画素（Ｇ２ｘの属する標本点）の位置に対して下に１画素ずれる。よって、図２２の例での動きベクトルＭＶは［０，１］となる。なお、図２１，図２２のような動き補償予測は、右下から左上への斜めエッジを含む絵柄のブロックで選択される確率が高い。

図１５〜図２２では、注目画素に対してＲＡＷ画像では斜め４５度で隣接する参照画素を予測に用いる例を説明したが、上述の例に限定されるものではない。他の例として、図２３〜図２５を説明する。なお、図２３〜図２５は、色配列の左上にＧ１画素、色配列の右下にＧ２画素が配置されている場合である。

図２３は、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、２つ右の色配列に属する画素Ｇ１ｆの値から予測される例を示している。図２３の例での動きベクトルＭＶは［２，０］となる。

図２４は、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、左下の色配列に属する画素Ｇ１ｇの値から予測される例を示している。図２４の例での動きベクトルＭＶは［１，１］となる。なお、図２３，図２４のような動き補償予測は、左下から右上に約１８．４度（＝ｔａｎ^−１（１／３））で傾いたエッジを含む絵柄のブロックで選択される確率が高い。

図２５は、予測先画像（第２画像）の注目画素Ｇ２ｘの値が、１つ右の色配列に属する画素Ｇ１ｇと２つ右の色配列に属する画素Ｇ１ｆとの平均値で予測される例を示している。図２５の例での動きベクトルＭＶは［１．５，０］となる。なお、図２５のような動き補償予測は、左下から右上に約２６．６度（＝ｔａｎ^−１（１／２））で傾いたエッジを含む絵柄のブロックで選択される確率が高い。

圧縮処理部１１３は、斜めエッジを含む絵柄のブロックでは、図１５〜図２５の画素ずらし処理による予測をエッジの角度や方向に応じて選択する。これにより、第１画像と第２画像との予測誤差を小さくでき、より効率的に符号化をすることができる。

＃１０３において、図１２〜図１４に示す画素補間処理や、図１５〜図２２の画素ずらし処理によれば、圧縮処理部１１３は動きベクトルの探索範囲を、注目画素の位置から空間方向に±１画素差の範囲にできる。また、図２３〜図２５の画素ずらし処理によれば、圧縮処理部１１３は動きベクトルの探索範囲を、注目画素の位置から空間方向に±２画素差の範囲にできる。

ところで、異なるＲＡＷ画像から分離された第１画像と第２画像との動き補償予測と比べると、同じＲＡＷ画像から分離された第１画像と第２画像との動き補償予測では、上述した画素補間処理や画素ずらし処理を適用できる頻度が高くなる。そのため、同じＲＡＷ画像から分離された第１画像と第２画像との動き補償予測では、圧縮処理部１１３は、画素補間処理や画素ずらし処理により動きベクトルの探索範囲を狭く設定することができ、演算負荷を抑制することができる。

ステップ＃１０４：画像処理エンジン１０４は、記録Ｉ／Ｆ１０７を介して、圧縮符号化された画像のデータ（＃１０３）を記憶媒体１１０に記録する。

ステップ＃１０５：画像処理エンジン１０４は、動画撮影の終了指示を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には＃１０６に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には＃１０１に戻って、画像処理エンジン１０４は上記動作を繰り返す。＃１０１から＃１０５のＮＯ側のループにより、順次取得されるＲＡＷ画像のフレームが色成分の入れ替え後に圧縮符号化され、記録媒体に動画像が記録されることとなる。

ステップ＃１０６：画像処理エンジン１０４は、ＲＡＷ動画像の付帯データを生成する。上記の付帯データには、元のＲＡＷ画像の画像サイズおよび色配列のパターン、画像変換部１１２による画像の並べ替えの方式（第１画像および第２画像の画素配列、画像サイズ）など、圧縮したＲＡＷ動画像の復号に用いる情報が含まれる。

そして、＃１０６での画像処理エンジン１０４は、圧縮されたＲＡＷ動画像データを含む圧縮ＲＡＷ動画像ファイルのヘッダ領域に上述の付帯データを記録する。以上で、図５の流れ図の説明を終了する。

なお、以下説明するＲＡＷ動画像記録モードの各動作例は、いずれも上述した第１動作例の変形例であって、画像変換部１１２でのＲＡＷ画像の並べ替え（＃１０２）が相違する。そのため、以下の動作例の説明では、図５の流れ図に従って第１動作例と異なる部分を説明し、上述した第１動作例との重複説明はいずれも省略する。

（ＲＡＷ動画像記録モードでの第２動作例）
図２６（ａ），（ｂ）は、第２動作例におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図である。

第２動作例の場合、＃１０２での画像変換部１１２は、ＲＡＷ画像をＧ１，Ｂ，Ｒ，Ｇ２の４つの色成分に分離する。画像変換部１１２は、画素の並べ替えにより、それぞれ２つの色成分を含む第１画像および第２画像を１つのＲＡＷ画像から生成する。そして、＃１０２での画像変換部１１２は、圧縮処理部１１３に動画像を出力するときに、第１画像と第２画像とを時間軸方向に交互に配列して１つのチャネルで出力する。

ここで、第２動作例での第１画像は、ＲＡＷ画像のＧ１画素，Ｂ画素から生成される（図２６（ａ））。この第１画像では、Ｇ１画素，Ｂ画素が水平方向に分離した状態で配置されている。第１画像の左側は、ＲＡＷ画像での色配列の位置に応じてＧ１画素が配列され、Ｇ１成分のモノクロ画像を構成している。また、第１画像の右側は、ＲＡＷ画像での色配列の位置に応じてＢ画素が配列され、Ｂ成分のモノクロ画像を構成している。

第２動作例での第２画像は、ＲＡＷ画像のＧ２画素，Ｒ画素から生成される（図２６（ｂ））。この第２画像では、Ｇ２画素，Ｒ画素が水平方向に分離した状態で配置されている。第２画像の左側に、ＲＡＷ画像での色配列の位置に応じてＧ２画素が配列され、Ｇ２成分のモノクロ画像を構成している。また、第２画像の右側は、ＲＡＷ画像での色配列の位置に応じてＲ画素が配列され、Ｒ成分のモノクロ画像を構成している。なお、第２動作例での第１画像および第２画像の水平方向の画像サイズはＲＡＷ画像と同じであり、垂直方向の画像サイズはＲＡＷ画像の１／２である。

また、第２動作例の場合、＃１０３での圧縮処理部１１３は、時間軸方向に交互に配列された第１画像および第２画像を画像間予測符号化圧縮し、圧縮された動画像のデータを生成する。第１画像および第２画像の左側部分の圧縮については、圧縮処理部１１３は、上述した第１動作例のＧ１画像およびＧ２画像の場合と同様に画像間予測符号化圧縮を行えばよい。なお、第１画像の右側部分および第２画像の右側部分は異なる色成分である。このため、圧縮処理部１３の画像間予測符号化は、異なるフレームの第１画像の右側部分間、もしくは異なるフレームの第２画像の右側部分間、すなわち同じ色成分間では効率的に機能する。しかしながら、同じフレームの第１画像の右側部分と第２画像の右側部分との間、すなわち異なる色成分間では画面内符号化の圧縮とほぼ等価となる。

上述の第２動作例の場合、第１画像のＧ１成分と第２画像のＧ２成分の圧縮については、第１動作例でのＧ１画像およびＧ２画像の画像間予測符号化圧縮とほぼ同様の効果を得ることができる。

なお、第１画像および第２画像の水平方向の画像サイズをＲＡＷ画像と同じにし、第１画像および第２画像の垂直方向の画像サイズをＲＡＷ画像の１／２とした場合には、動画像の偶奇フィールドを交互に圧縮するフィールド間予測符号化圧縮に対応した圧縮処理装置で適用することが容易である。また、動画像の左右視点画像を圧縮する２視点間予測符号化圧縮に対応した圧縮処理装置でも適用することが容易である。

また、図２７（ａ），（ｂ）は、第２動作例の変形例１におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図である。図２７の例では、第２画像の右側にＧ２画素が配列され、第２画像の左側にＲ画素が配列されている点で、図２６の例と相違する。

図２７の場合、＃１０３での圧縮処理部１１３は、第１画像と第２画像との間でＧ１，Ｇ２成分の動き補償予測をするときに、Ｇ１画素の領域とＧ２画素の領域との位置ズレを考慮してｘ方向にＨ／２分の位置補正を行えばよい。例えば、圧縮処理部１１３は、動きベクトルＭＶに［−Ｈ／２，０］のオフセットを付与すればよい。これにより、上述の図２６の場合とほぼ同様の効果を得ることができる。

また、図２８（ａ），（ｂ）は、第２動作例の変形例２におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図である。図２８の例では、第１画像および第２画像の水平方向の画像サイズがＲＡＷ画像の１／２であり、垂直方向の画像サイズはＲＡＷ画像と同じである。そして、図２８の第１画像では、Ｇ１画素，Ｂ画素が垂直方向に分離した状態で配置されている。第１画像の上側にはＲＡＷ画像での色配列の位置に応じてＧ１画素が配列され、第１画像の下側にはＲＡＷ画像での色配列の位置に応じてＢ画素が配列されている。また、図２８の第２画像では、Ｇ２画素，Ｒ画素が垂直方向に分離した状態で配置されている。第２画像の上側にはＲＡＷ画像での色配列の位置に応じてＧ２画素が配列され、第２画像の下側にはＲＡＷ画像での色配列の位置に応じてＲ画素が配列されている。図２８の例でも、上述の図２６の場合とほぼ同様の効果を得ることができる。

（ＲＡＷ動画像記録モードでの第３動作例）
図２９（ａ），（ｂ）は、第３動作例におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図である。

第３動作例の場合、＃１０２での画像変換部１１２は、ＲＡＷ画像をＧ１，Ｂ，Ｒ，Ｇ２の４つの色成分に分離する。画像変換部１１２は、第１動作例と同様に、１つのＲＡＷ画像からＧ１画像，Ｂ画像，Ｒ画像，Ｇ２画像の４つの画像を生成する。そして、画像変換部１１２は、これらの画像をグループ化していわゆる４：４：４形式の動画像フレームを生成する。

図２９の例では、画像変換部１１２は、第１フィールドのグループにＧ１画像，Ｂ画像，Ｒ画像を含める。また、画像変換部１１２は、第２フィールドのグループにＧ２画像と、４：４：４形式に合わせるためにＢ画像，Ｒ画像に対応するダミーデータとを含める。そして、画像変換部１１２は、上述の第１フィールドと第２フィールドとを時間軸方向に交互に配列して出力する。

第３動作例の場合、＃１０３での圧縮処理部１１３は、第１フィールドのＧ１画像，Ｂ画像，Ｒ画像をそれぞれフレーム内圧縮する。また、圧縮処理部１１３は、上述した第１動作例と同様に、Ｇ１画像を参照して第２フィールドのＧ２画像を画像間予測符号化圧縮すればよい。

第２動作例の場合、第２画像の画像間予測符号化圧縮については、第１動作例の場合とほぼ同様の効果を得ることができる。なお、図２９の構成によれば、第１フィールドのＧ１画像，Ｂ画像，Ｒ画像を復号すれば、第２フィールドを復号せずに簡易的に動画像を再生することができる。

また、図３０（ａ），（ｂ）は、第３動作例の変形例におけるＲＡＷ画像の色成分の並べ替えで生成される画像を示す図である。図３０の例では、画像変換部１１２は、第１フィールドのグループにＧ１画像，Ｂ画像と、ダミーデータとを含める。また、画像変換部１１２は、第２フィールドのグループにＧ２画像，Ｒ画像と、ダミーデータとを含める。この図３０の例においても、第２画像の画像間予測符号化圧縮については、第１動作例の場合とほぼ同様の効果を得ることができる。

（ＲＡＷ動画像の復号動作例）
以下、図３１の流れ図を参照しつつ、ＲＡＷ動画像記録モードで圧縮されたＲＡＷ動画像の復号動作の例を説明する。なお、図３１の処理は、画像処理エンジン１０４がプログラムを実行することで開始される。また、図３１の例では、ＲＡＷ動画像記録モードで生成された圧縮ＲＡＷ動画像ファイルが記憶媒体１１０に記録されていることを前提とする。

ステップ＃２０１：画像処理エンジン１０４は、上述のＲＡＷ動画像記録モードで生成された圧縮ＲＡＷ動画像ファイルのうち、ヘッダ領域に含まれる付帯データを参照する。これにより、画像処理エンジン１０４は、元のＲＡＷ画像の画像サイズおよび色配列のパターン、画像変換部１１２による画像の並べ替えの方式（第１画像および第２画像の画素配列、画像サイズ）などの情報を取得する。

ステップ＃２０２：画像処理エンジン１０４は、圧縮ＲＡＷ動画像ファイルのうちで復号対象となる画像のデータを記憶媒体１１０から取得する。

ステップ＃２０３：画像処理エンジン１０４は、＃２０２で取得した画像の復号処理を行う。＃２０３の復号処理は、ＲＡＷ動画像記録モードにおける＃１０３の圧縮符号化の逆処理である。

例えば、動き補償予測を用いて圧縮された画像は、復号された予測誤差値と参照画像の予測値との加算によってブロック単位で復号される。また、Ｇ１成分を含む第１画像とＧ２成分を含む第２画像との復号では、上述した画素補間処理や画素ずらし処理を適用して画像の復号が行われる。

ステップ＃２０４：画像変換部１１２は、上述の付帯データから得た情報に基づいて、＃２０３で復号された画像の並べ替えを行う。＃２０４の並べ替え処理は、ＲＡＷ動画像記録モードにおける＃１０２の逆処理である。画像変換部１１２は、時間軸方向に交互に配列された第１画像と第２画像から１フレーム分のＧ１画素とＧ２画素を取得する。そして、画像変換部１１２は、Ｇ１，Ｂ，Ｒ，Ｇ２画素を並べ替えて、圧縮前のＲＡＷ画像の１フレームを復元する。なお、復元された圧縮前のＲＡＷ画像は、例えば記憶媒体１１０や電子カメラ１００内のメモリに保持される。

ステップ＃２０５：画像処理エンジン１０４は、圧縮ＲＡＷ動画像ファイルの全フレームの復号が完了したか否かを判定する。

上記要件を満たす場合（ＹＥＳ側）には、画像処理エンジン１０４は図３２の流れ図の処理を終了する。ＲＡＷ画像はベイヤ配列に従って各色成分がモザイク状に配置された状態にあるため、動画像を再生する場合にはユーザはＲＡＷ画像に現像処理を施す必要がある。なお、ＲＡＷ動画像の場合、撮影後にユーザが現像処理を自由に行うことができるので、画像表現の自由度が大きく向上する。

一方、上記要件を満たさない場合（ＮＯ側）には＃２０２に戻って、画像処理エンジン１０４は上記動作を繰り返す。＃２０１から＃２０５のＮＯ側のループにより、圧縮前のＲＡＷ動画像の各フレームが順次復元されることとなる。以上で、図３１の説明を終了する。

＜第２実施形態の説明＞
図３２は、第２実施形態での動画像復号装置の構成例を示す図である。第２実施形態での動画像復号装置は、上述の圧縮ＲＡＷ動画像ファイルを復号するプログラムがインストールされたコンピュータである。

図３２に示すコンピュータ２０１は、データ読込部２０２、記憶装置２０３、ＣＰＵ２０４、メモリ２０５および入出力Ｉ／Ｆ２０６、バス２０７を有している。データ読込部２０２、記憶装置２０３、ＣＰＵ２０４、メモリ２０５および入出力Ｉ／Ｆ２０６は、バス２０７を介して相互に接続されている。さらに、コンピュータ２０１には、入出力Ｉ／Ｆ２０６を介して、入力デバイス２０８（キーボード、ポインティングデバイスなど）とモニタ２０９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ２０６は、入力デバイス２０８からの各種入力を受け付けるとともに、モニタ２０９に対して表示用のデータを出力する。

データ読込部２０２は、上述の圧縮ＲＡＷ動画像ファイルのデータや、プログラムを外部から読み込むときに用いられる。データ読込部２０２は、例えば、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。

記憶装置２０３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体である。この記憶装置２０３には、上述のプログラムや、プログラムの実行に必要となる各種データが記憶されている。なお、記憶装置２０３には、データ読込部２０２から読み込んだ圧縮ＲＡＷ動画像ファイルのデータなどを記憶しておくこともできる。

ＣＰＵ２０４は、コンピュータ２０１の各部を統括的に制御するプロセッサである。このＣＰＵ２０４は、プログラムの実行によって、第１実施形態の現像処理部１１１、画像変換部１１２、復号処理部１１４として機能する。

メモリ２０５は、プログラムでの各種演算結果を一時的に記憶する。このメモリ２０５は、例えば揮発性のＳＤＲＡＭである。

ここで、第２実施形態での動画像復号装置では、データ読込部２０２または記憶装置２０３から圧縮ＲＡＷ動画像ファイルを取得し、ＣＰＵ２０４が図３１の流れ図の各処理を実行する。かかる第２実施形態においても、第１実施形態におけるＲＡＷ動画像の復号動作例とほぼ同様の効果を得ることができる。

＜実施形態の補足事項＞
（補足１）：上述の実施形態で圧縮符号化を行うときに、Ｂ画素値，Ｒ画素値は、対応する色配列でのＧ画素値との差分値に置き換えてもよい。

（補足２）：また、上述の実施形態において、ＩＳＯ／ＩＥＣ１４４９６−１０に規定する、一般にＡＶＣ（Advanced Video Coding）と呼ばれる方式に基づき動画像を符号化してもよく、少なくともフィールド間予測符号化、もしくは２視点間予測符号化に相当する動き補償予測を含む他の符号化方式に基づき動画像を符号化してもよい。

（補足３）：さらに、動画圧縮する動画像の各フレームの画像信号は、撮像素子の出力階調を保持する画像信号でもよいし、より少ない階調に変換した、すなわち量子化した画像信号でもよい。

例えば、撮像素子の出力がサンプル当たり１４ｂｉｔの画像信号を、一様量子化や、低値の量子化誤差が小さな重み付け量子化により、サンプル当たり１０ｂｉｔの画像信号に変換した後に、動画像圧縮装置が動画圧縮してもよい。動画像圧縮装置は、予め定めた特性により量子化してもよいし、画像仕様や画像内容に応じて決定した特性により量子化してもよい。

一方、動画像復号装置は、圧縮した動画像のデータの復号後に、動画圧縮前の量子化特性に基づいた逆量子化をすることで、圧縮前の画像信号を復元すればよい。なお、上述した動画圧縮前の量子化特性を示す情報は、例えば、動画像のデータに付随して動画像圧縮装置が画像ファイルのヘッダ領域等に記録するか、もしくは、圧縮した動画像のデータに付随させて動画像圧縮装置が後段の装置に伝送すればよい。例えば、上記の場合には、量子化特性を示す情報として、予め定めた標準の量子化特性か否かを示す符号、予め定めた複数の量子化特性の１つを示す符号、復号に用いる逆量子化入出力特性を示すテーブル情報等を、それぞれ記録または伝送すればよい。

以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。

１００…電子カメラ、１０１…撮像光学系、１０２…撮像素子、１０３…信号処理部、１０４…画像処理エンジン、１０５…第１メモリ、１０６…第２メモリ、１０７…記録Ｉ／Ｆ、１０８…モニタ、１０９…操作部、１１０…記憶媒体、１１１…現像処理部、１１２…画像変換部、１１３…圧縮処理部、１１４…復号処理部、２０１…コンピュータ、２０２…データ読込部、２０３…記憶装置、２０４…ＣＰＵ、２０５…メモリ、２０６…入出力Ｉ／Ｆ、２０７…バス、２０８…入力デバイス、２０９…モニタ

Claims (4)

1. ２行２列の色配列に従って異なる３つの色成分の画素が周期的に配置された複数のフレームについて、各フレームの奇数行の第１色成分に対応する第１画素群と偶数行の前記第１色成分に対応する第２画素群とをそれぞれ分離し、前記第１画素群を含む第１画像と前記第２画素群を含む第２画像とを時間軸方向に交互に配列して画像間予測符号化圧縮した圧縮ＲＡＷ動画像データを取得する取得部と、
   前記圧縮ＲＡＷ動画像データを復号する復号処理部と、
   復号されたＲＡＷ動画像データの前記第１画像と前記第２画像を前記色配列に従って並べ替える画像変換部と、
   を備えることを特徴とする動画像復号装置。
2. 請求項１に記載の動画像復号装置において、
   前記復号処理部は、
   画像をブロック分割するとともに、
   前記第１画像と前記第２画像との間で、一方の画像における複数画素の補間値により他の画像における注目画素の値を求める画素補間処理、または、
   前記第１画像と前記第２画像との間で、前記他の画像における注目画素の値を前記一方の画像で異なる位置の画素の値から求める画素ずらし処理、
   をブロックごとに適応的に切り替えて実行することを特徴とする動画像復号装置。
3. 請求項１または請求項２に記載の動画像復号装置において、
   前記取得部は、前記第１画像および前記第２画像の画素配列を示す付帯データを前記圧縮ＲＡＷ動画像データとともに取得し、
   前記画像変換部は、前記付帯データを用いて、前記第１画像と前記第２画像を前記色配列に従って並べ替えることを特徴とする動画像復号装置。
4. ２行２列の色配列に従って異なる３つの色成分の画素が周期的に配置された複数のフレームについて、各フレームの奇数行の第１色成分に対応する第１画素群と偶数行の前記第１色成分に対応する第２画素群とをそれぞれ分離し、前記第１画素群を含む第１画像と前記第２画素群を含む第２画像とを時間軸方向に交互に配列して画像間予測符号化圧縮した圧縮ＲＡＷ動画像データを取得する処理と、
   前記圧縮ＲＡＷ動画像データを復号する復号処理と、
   復号されたＲＡＷ動画像データの前記第１画像と前記第２画像を前記色配列に従って並べ替える画像変換処理と、
   をコンピュータに実行させることを特徴とするプログラム。
   

Images