JPWO2004014085A1 - データ処理装置およびデータ処理方法 - Google Patents

Abstract

動画像に特に動きの激しい画像が含まれるような場合であっても符号化効率を低下することなく動画像データを圧縮符号化するデータ処理装置等を提供する。動画像は、各々が２つのフィールド画像から構成される複数のフレーム画像を連続的に表示して得られる。装置（１００）は、動画像データを格納するメモリ（１０１）と、２つのフィールド画像の動画像データに基づいて、動画像の変化の程度を示すパラメータを算出する算出部（１０８）と、算出されたパラメータに基づいて、画面内および前方向予測符号化方式によって圧縮符号化される画像単位、および、画像単位を規定するピクチャ構造を決定する決定部（１０９）と、メモリに格納された動画像データを、決定されたピクチャ構造にしたがって圧縮符号化し、圧縮データを生成する処理部（１０２−１０７，１１０）とを備えている。

Description

本発明は、動画像データを高能率に圧縮する動画像符号化技術に関する。

動画像データを高能率に圧縮する符号化技術として、画面内符号化、前方向予測符号化および双方向予測符号化のいずれかを選択して符号化するＭＰＥＧ１、ＭＰＥＧ２等が知られている。
このような動画像符号化技術を用いて符号化すると、動画像には、多くの場合、画面内符号化方式によって圧縮符号化された画像（以下、「Ｉピクチャ」と称する）と、前方向予測符号化方式によって圧縮符号化された画像（以下、「Ｐピクチャ」と称する）と、双方向予測符号化方式によって圧縮符号化された画像（以下、「Ｂピクチャ」と称する）とが混在する。Ｉピクチャは、時間方向の予測を用いることなくその画像のデータのみを用いて符号化される。Ｐピクチャは、前に位置するＩピクチャまたはＰピクチャを参照して予測符号化される。一方、Ｂピクチャは、前後に位置するＩピクチャおよびＰピクチャを参照して予測符号化される。参照される画像は参照画像と呼ばれ、各ピクチャタイプにしたがって予測に用いる参照画像が設定される。
図１は、双方向予測による動画像データの予測構造を示す。図中のＩ、ＰおよびＢは、それぞれＩピクチャ、ＰピクチャおよびＢピクチャを示す。図示される予測構造における符号化順序は、Ｉ１、Ｐ４、Ｂ２、Ｂ３、Ｐ７、Ｂ５およびＢ６である。図１において、ピクチャＩ１は画面内符号化される。ピクチャＰ４は、ピクチャＩ１を参照画像として前方向予測符号化される。ピクチャＢ２およびＢ３は、ピクチャＩ１とピクチャＰ４を参照画像として双方向予測符号化される。さらに、ピクチャＰ７はピクチャＰ４を参照画像として前方向予測符号化され、ピクチャＢ５およびＢ６は、それぞれピクチャＰ４およびＰ７の２枚のピクチャを参照画像として双方向予測符号化される。
通常、Ｉピクチャ、ＰピクチャおよびＢピクチャは周期的に配置される。図２は、Ｉピクチャ、ＰピクチャおよびＢピクチャの配置を示す。一般に、ＩピクチャはＮフレームおきに配置され、Ｉピクチャ同士の間にはＭフレームおきにＰピクチャが配置される。このとき、Ｉピクチャとその直後のＰピクチャとの間、またはＰピクチャとその直後のＰピクチャとの間には（Ｍ−１）枚のＢピクチャが設けられる。図３（ａ）、（ｂ）および（ｃ）は、それぞれ、Ｍ＝１、Ｍ＝２およびＭ＝３の場合における動画像データ入力時と符号化時の各ピクチャタイプの順序との対応関係を示す。
図３（ａ）に示すように、Ｍ＝１の場合は、動画像はＩピクチャとＰピクチャのみで構成されており、Ｂピクチャが存在しない。したがって、動画像内の画像の符号化順序は変更されず、符号化時の処理遅延は発生しない。次に、図３（ｂ）に示すように、Ｍ＝２の場合にはＩピクチャ（またはＰピクチャ）とその直後のＰピクチャとの間には１枚のＢピクチャが存在する。この場合には、Ｂピクチャの符号化開始までに１フレームの処理遅延が生じる。Ｂピクチャは、その前後に位置する参照画像（ＩピクチャおよびＰピクチャ）が符号化されるまでは符号化を開始できないため、入力時の各ピクチャタイプの順序を変更してＢピクチャを符号化しなければならないからである。
図３（ｃ）に示すように、Ｍ＝３の場合は、Ｉピクチャ（またはＰピクチャ）とその直後のＰピクチャとの間には２枚のＢピクチャが存在する。この場合には、図３（ｂ）と同様の理由により、Ｂピクチャの符号化開始までには２フレームの遅延が生じる。
Ｂピクチャを用いる理由は、前方向予測と後方向予測とを組み合わせた双方向予測を用いることにより予測効率を向上できるからである。また、Ｂピクチャは、ＩピクチャやＰピクチャのように、後に続く予測符号化において参照画像として利用されることがないため、予測符号化時の誤差が伝播することがない。従って、ＩピクチャやＰピクチャに比べて少ない割当て符号量で符号化しても視覚的に画質の劣化が目立ちにくいという利点もある。一方、Ｂピクチャを用いると、Ｐピクチャの前方向予測における参照画像の間隔Ｍは、Ｂピクチャが挿入される分だけ離れることになり、特に動きが速い動画像に対しては予測が当たりにくいという欠点がある。
これらに鑑みれば、動画像データの特性に応じて前方向予測における参照画像の間隔Ｍを動的に切り替えることによって符号化効率を向上させることができる。
前方向予測における参照画像の間隔Ｍを動的に切り替えて符号化を行う従来の技術として、例えば日本国特開平９−２９４２６６号公報、特開平１０−３０４３７４号公報および特開２００１−１２８１７９号公報に記載の技術が挙げられる。
特開平９−２９４２６６号公報には、符号化されたフレームの動きベクトルをスケーリングし、その大きさが次に符号化するフレームの動き探索範囲内に収まるように参照画像の間隔Ｍを制御する技術が記載されている。
特開平１０−３０４３７４号公報には、符号化ブロックで得られる予測誤差またはアクティビティを用いてフレーム間予測の予測効率を算出し、この予測効率に応じて参照画像の間隔Ｍを制御する技術が記載されている。
特開２００１−１２８１７９号公報には、各ピクチャタイプの発生符号量または符号化複雑度を用いてフレーム間予測性能を算出し、この予測性能に応じて参照画像の間隔Ｍを制御する技術が記載されている。
参照画像の間隔Ｍを切り替える以外にも、１フレームの画像が２つのフィールド画像から構成されるインターレース方式の動画像に対しては、ピクチャ構造を切り替えることによって参照画像を切り替え、符号化効率を向上させることができる。ピクチャ構造は符号化を行う単位であり、各符号化画像に対してフレーム構造またはフィールド構造を選択することができる。ピクチャ構造としてフレーム構造が選択されると、フレーム画像単位で符号化が行われる。一方、フィールド構造が選択されると、１フレームを構成する第１フィールド画像と第２フィールド画像のそれぞれを単位として符号化が行われる。
以下では、画面内符号化が行われるフィールド画像をＩフィールド、前方向予測符号化が行われるフィールド画像をＰフィールド、双方向予測符号化が行われるフィールド画像をＢフィールドと称する。また、第１フィールド画像のタイプに着目して、第１フィールド画像がＩフィールドであるフレームをＩフレーム、ＰフィールドであるフレームをＰフレーム、ＢフィールドであるフレームをＢフレームと称する。
図４（ａ）、（ｂ）および（ｃ）は、フィールド構造におけるピクチャタイプと参照画像との関係を示す。図４（ａ）はＩフレーム、図４（ｂ）はＰフレーム、図４（ｃ）はＢフレームを示す。図４（ａ）のＩフレームでは、第１フィールド画像および第２フィールド画像を共にＩフィールドとするタイプと、第１フィールド画像をＩフィールド、第２フィールド画像をＰフィールドとするタイプのいずれかが選択される。第２フィールド画像をＰフィールドにする場合には、同じフレーム内の第１フィールド画像を参照画像とする。図４（ｂ）のＰフレームでは、第１フィールド画像については直前に符号化されたＩフィールドまたはＰフィールドを予測符号化の参照画像とする。第２フィールド画像については、同じフレーム内の第１フィールド画像（直前のフィールド画像）を参照画像として用いることができる。この結果、第２フィールド画像に対する参照画像の間隔が１フィールドになるため、特に動きの速い画像に対して予測効率を向上させることができる。図４（ｃ）のＢフレームでは、第１フィールド画像および第２フィールド画像ともに、前後のフレームのＩフィールドまたはＰフィールドを予測符号化の参照画像とする。
近年は、動画像の動きが特に速い場合であっても、十分な品質を保持した圧縮符号化を実現するとともに、より効率的に圧縮符号化する技術が求められている。これらを実現するためには、動画像の動きが速いか否かの判定や、十分な品質を保持し、データサイズを小さくするための符号化制御等を改善する必要があり、従来の技術では十分ではない。
本発明の目的は、動画像データの圧縮符号化において、動画像の動きの速さをより確実に判定すること、および、特に動きの速い画像が含まれるような場合であっても、符号化方式および符号化単位を動的に切り替える制御を行うことにより、十分な品質を保持した効率的な圧縮符号化を実現することである。

本発明によるデータ処理装置は、動画像を表す動画像データを、画面内符号化方式、前方向予測符号化方式および双方向予測符号化方式のいずれかによって所定の画像単位で圧縮符号化する。前記動画像は、各々が２つのフィールド画像から構成される複数のフレーム画像を連続的に表示して得られる。データ処理装置は、前記動画像データを格納するメモリと、前記２つのフィールド画像の動画像データに基づいて、前記動画像の変化の程度を示すパラメータを算出する算出部と、前記算出部によって算出された前記パラメータに基づいて、画面内符号化方式および前方向予測符号化方式によって圧縮符号化される画像単位、および、前記所定の画像単位を規定するピクチャ構造を決定する決定部と、前記メモリに格納された前記動画像データを、前記決定部によって決定された前記ピクチャ構造にしたがって圧縮符号化し、圧縮データを生成する処理部とを備えている。
ある好ましい実施形態において、前記算出部は、前記２つのフィールド画像間の前記動画像データの変化量に基づいて時間方向変化量を求め、および、前記２つのフィールド画像の各々について画像内の前記動画像データの変化量に基づいて空間方向変化量を求め、前記時間方向変化量および前記空間方向変化量に基づいて前記パラメータを算出する。
ある好ましい実施形態において、前記２つのフィールド画像は、前記フレーム画像の奇数ラインに対応する第１フィールド画像および偶数ラインに対応する第２フィールド画像であり、前記算出部は、前記フレーム画像内で互いに隣接する前記第１フィールド画像のラインおよび前記第２フィールド画像のラインを特定して、各ラインの画像データの差分に基づいて前記時間方向変化量を算出し、かつ、前記算出部は、前記第１フィールド画像および前記第２フィールド画像の各画像内で隣接するラインを特定して、各ラインの画像データの差分に基づいて前記空間方向変化量を算出する。
ある好ましい実施形態において、前記算出部は、各フレーム画像を複数のブロックに分割して、前記ブロックごとの画像データに基づいて前記時間方向変化量および前記空間方向変化量を算出し、各ブロックの時間方向変化量および各空間方向変化量に基づいて、全てのブロック数に対する前記動画像の変化量が所定量以上のブロックの比を前記パラメータとして算出する。
ある好ましい実施形態において、前記決定部は、前記パラメータが所定の閾値よりも大きい場合には、前記ピクチャ構造をフィールド構造に決定し、前記処理部は、前記動画像データを前記フィールド画像単位で圧縮符号化する。
ある好ましい実施形態において、前記決定部は、前記画面内符号化方式によって圧縮符号化するフィールド画像の数および前記前方向予測符号化方式によって圧縮符号化するフィールド画像の数の少なくとも一方を増加する。
ある好ましい実施形態において、前記決定部は、フィールド画像を前記画面内符号化方式または前記前方向予測符号化方式のみによって圧縮符号化する。
ある好ましい実施形態において、前記決定部は、前記算出部によって算出された前記パラメータが前記所定の閾値よりも小さくなった場合には、前記ピクチャ構造をフレーム構造に決定し、前記処理部は、前記動画像データを前記フレーム画像単位で圧縮符号化する。
ある好ましい実施形態において、前記決定部は、前方向予測符号化方式によって圧縮符号化される第１画像と前記第１画像を参照して予測符号化される第２画像とが連続している場合には、前記第２画像のピクチャ構造をフィールド構造に決定し、連続していない場合には前記第２画像のピクチャ構造をフレーム構造に決定する。
ある好ましい実施形態において、前記決定部は、前方向予測符号化方式によって圧縮符号化される第１画像と前記第１画像を参照して予測符号化される第２画像とが連続している場合には、前記第２画像のピクチャ構造をフレーム構造またはフィールド構造に決定し、連続していない場合には前記第２画像のピクチャ構造をフレーム構造に決定する。
ある好ましい実施形態において、前記決定部は、画面内符号化方式によって圧縮符号化される複数の画像または前方向予測符号化方式によって圧縮符号化される複数の画像に基づいて決定される周期に応じて、前記前方向予測符号化方式によって圧縮符号化される画像のピクチャ構造を決定する。
ある好ましい実施形態において、前記決定部は、画面内符号化方式によって圧縮符号化される前記複数の画像に基づいて決定される周期に応じて、前記前方向予測符号化方式によって圧縮符号化される画像のピクチャ構造を決定する。
ある好ましい実施形態において、前記決定部は、前方向予測符号化方式によって圧縮符号化される前記複数の画像に基づいて決定される周期に応じて、前記前方向予測符号化方式によって圧縮符号化される画像のピクチャ構造を決定する。
ある好ましい実施形態において、前記決定部は、画面内符号化方式によって圧縮符号化される第１画像と、前記第１画像を参照して前方向予測符号化方式によって圧縮符号化される第２画像とが連続している場合には、前記第１画像のピクチャ構造をフィールド構造に決定し、かつ、前記第１画像を構成する第１フィールド画像および第２フィールド画像のうち、前記第１フィールド画像を画面内符号化方式によって圧縮符号化し、前記第２フィールド画像を前方向予測符号化方式によって圧縮符号化することを決定する。
ある好ましい実施形態において、前記決定部は、画面内符号化方式によって圧縮符号化される画像のピクチャ構造を、画面内符号化方式によって圧縮符号化された直前の画像または前方向予測符号化方式によって圧縮符号化された直前の画像のピクチャ構造に一致させることを決定する。
ある好ましい実施形態において、前記決定部は、画面内符号化方式によって圧縮符号化される画像のピクチャ構造を、画面内符号化方式によって圧縮符号化される直後の画像または前方向予測符号化方式によって圧縮符号化される直後の画像のピクチャ構造に一致させることを決定する。
ある好ましい実施形態において、前記決定部は、双方向予測符号化方式によって圧縮符号化される第１画像のピクチャ構造を、前記第１画像によって参照される参照画像のピクチャ構造に一致させることを決定する。
本発明によれば、データ処理システムは、上述のデータ処理装置と、前記データ処理装置の処理部によって生成された前記圧縮データを伝送媒体上に送信する送信部とを備えている。
本発明によれば、データ処理システムは、上述のデータ処理装置と、前記データ処理装置の処理部によって生成された前記圧縮データを記録媒体に記録する記録部とを備えている。
本発明による他のデータ処理装置は、動画像を表す動画像データを、画面内符号化方式、前方向予測符号化方式および双方向予測符号化方式のいずれかによって所定の画像単位で圧縮符号化する。前記動画像は、複数のフレーム画像を連続的に表示して得られる。データ処理装置は、前記動画像データを格納するメモリと、連続する２つのフレーム画像間の前記動画像データの変化量を示す時間方向変化量、および、前記２つのフレーム画像の各々について画像内の前記動画像データの変化量を示す空間方向変化量を算出し、前記時間方向変化量および前記空間方向変化量に基づいて、前記動画像の変化の程度を示すパラメータを算出する算出部と、前記算出部によって算出された前記パラメータに基づいて、前記複数のフレーム画像の各々について圧縮符号化方式を決定する決定部と、前記メモリに格納された前記動画像データを、前記決定部によって決定された方式にしたがって圧縮符号化し、圧縮データを生成する処理部とを備えている。
ある好ましい実施形態において、前記動画像は、各々が２つのフィールド画像から構成される複数のフレーム画像を連続的に表示して得られ、前記２つのフィールド画像は、前記フレーム画像の奇数ラインに対応する第１フィールド画像および偶数ラインに対応する第２フィールド画像であり、前記算出部は、前記フレーム画像内で互いに隣接する前記第１フィールド画像のラインおよび前記第２フィールド画像のラインを特定して、各ラインの画像データの差分に基づいて前記時間方向変化量を算出し、かつ、前記算出部は、前記第１フィールド画像および前記第２フィールド画像の各画像内で隣接するラインを特定して、各ラインの画像データの差分に基づいて前記空間方向変化量を算出する。
ある好ましい実施形態において、前記算出部は、前記２つのフレーム画像における同じ位置の２つのラインを特定して、各ラインの画像データの差分に基づいて前記時間方向変化量を算出し、かつ、前記２つのフレーム画像の一方の画像内で隣接するラインを特定して、各ラインの画像データの差分に基づいて前記空間方向変化量を算出する。
ある好ましい実施形態において、前記決定部は、前記画面内符号化方式によって圧縮符号化するフレーム画像の数および前記前方向予測符号化方式によって圧縮符号化するフレーム画像の数の少なくとも一方を増加する。
ある好ましい実施形態において、前記決定部は、前記フレーム画像を前記画面内符号化方式または前記前方向予測符号化方式のいずれかのみによって圧縮符号化する。
本発明によれば、データ処理システムは、上述のデータ処理装置と、前記データ処理装置の処理部によって生成された前記圧縮データを伝送媒体上に送信する送信部とを備えている。
本発明によれば、データ処理システムは、上述のデータ処理装置と、前記データ処理装置の処理部によって生成された前記圧縮データを記録媒体に記録する記録部とを備えている。
本発明によれば、データ処理方法は、動画像を表す動画像データを、画面内符号化方式、前方向予測符号化方式および双方向予測符号化方式のいずれかによって所定の画像単位で圧縮符号化する。前記動画像は、各々が２つのフィールド画像から構成される複数のフレーム画像を連続的に表示して得られる。データ処理方法は、前記動画像データを格納するステップと、前記２つのフィールド画像の動画像データに基づいて、前記動画像の変化の程度を示すパラメータを算出するステップと、算出された前記パラメータに基づいて、画面内符号化方式および前方向予測符号化方式によって圧縮符号化される画像単位、および、前記所定の画像単位を規定するピクチャ構造を決定するステップと、前記動画像データを、決定された前記ピクチャ構造にしたがって圧縮符号化し、圧縮データを生成するステップとを包含する。
また、本発明によれば、他のデータ処理方法は、動画像を表す動画像データを、画面内符号化方式、前方向予測符号化方式および双方向予測符号化方式のいずれかによって所定の画像単位で圧縮符号化する。前記動画像は、複数のフレーム画像を連続的に表示して得られる。データ処理方法は、前記動画像データを格納するステップと、連続する２つのフレーム画像間の前記動画像データの変化量を示す時間方向変化量、および、前記２つのフレーム画像の各々について画像内の前記動画像データの変化量を示す空間方向変化量を算出するステップと、前記時間方向変化量および前記空間方向変化量に基づいて、前記動画像の変化の程度を示すパラメータを算出するステップと、算出された前記パラメータに基づいて、前記複数のフレーム画像の各々について圧縮符号化方式を決定するステップと、格納された前記動画像データを、決定された方式にしたがって圧縮符号化し、圧縮データを生成するステップとを包含する。

図１は、双方向予測による動画像データの予測構造を示す図である。
図２は、Ｉピクチャ、ＰピクチャおよびＢピクチャの配置を示す図である。
図３（ａ）〜（ｃ）は、それぞれＭ＝１〜３の場合における動画像データ入力時および符号化時の各ピクチャタイプの順序の対応関係を示す図である。
図４（ａ）はＩフレームの参照関係を示す図であり、（ｂ）はＰフレームの参照関係を示す図であり、（ｃ）はＢフレームの参照関係を示す図である。
図５は、本実施形態における動画像符号化装置１００の機能ブロックの構成を示す図である。
図６は、動画像符号化装置１００の処理の流れを示すフローチャートである。
図７は、時間方向変化量（Ａ）および空間方向変化量（Ｂ）の概念を示す図である。
図８は、フレーム画像を複数のブロックに分割したときの例を示す図である。
図９は、予測方法決定部１０９がフレーム画像単位で符号化方式を決定し、圧縮符号化を行うピクチャ構造を決定する処理の手順を示すフローチャートである。
図１０は、フレーム画像単位で符号化方式を決定する処理の手順を示すフローチャートである。
図１１は、圧縮符号化を行うピクチャ構造を決定する処理の手順を示すフローチャートである。
図１２（ａ）は、フレーム構造によって圧縮符号化されたピクチャデータのデータ構造を示す図であり、（ｂ）は、フィールド構造によって圧縮符号化されたフレーム画像データのデータ構造を示す図である。
図１３は、変化度パラメータと圧縮データのピクチャ構造との関係を示す図である。
図１４は、所定の周期でフレーム画像の符号化方式を決定し、圧縮符号化を行うピクチャ構造を決定する処理の手順を示すフローチャートである。
図１５（ａ）は、符号化システム１０の機能ブロックの構成を示す図であり、（ｂ）は、復号化システム１１の機能ブロックの構成を示す図である。

以下、添付の図面を参照しながら、本発明の実施形態を説明する。
図５は、本実施形態における動画像符号化装置１００の機能ブロックの構成を示す。動画像符号化装置１００は、テレビ信号等の動画像信号に基づいて得られる動画像データを、例えばＭＰＥＧ２規格に基づいて圧縮符号化し、圧縮データを出力する。動画像データは、動画像を表すデータであり、個々のフレーム画像のデータを含む。また動画像データは、音声に関する音声データを含んでいてもよい。動画像は、複数のフレーム画像や音声が連続的に表示されることにより視聴の対象となる。
以下、動画像符号化装置１００の構成を説明する。動画像符号化装置１００は、入力画像用メモリ１０１と、復号画像用メモリ１０２と、動きベクトル検出部１０３と、動き補償予測部１０４と、ＤＣＴ／量子化部１０５と、逆量子化／逆ＤＣＴ部１０６と、可変長符号化部１０７と、変化度パラメータ算出部１０８と、予測方法決定部１０９と、符号化順序制御部１１０とを有する。
入力画像用メモリ１０１は、受け取った動画像信号を動画像データとして符号化時まで格納する。動画像データは、連続した複数の画像を特定できる形式でメモリ１０１に格納されている。また、メモリ１０１は、符号化順序に起因する各画像の処理遅延に対して十分な枚数分の画像データを格納できる。この結果、動画像符号化装置１００において動画像データを圧縮符号化するとき、各画像データの符号化順序が入力順序に対して変更された場合でも、処理を継続できる。例えば、図３（ｃ）に示すピクチャタイプの並びに対しては、入力画像用メモリ１０１は少なくとも４フレーム画像分の画像データを格納できる。動画像データは、後述する符号化順序制御部１１０で指定される符号化順序に従って符号化される。
復号画像用メモリ１０２は、逆量子化／逆ＤＣＴ部１０６で復号された画像データと、動き補償予測部１０４で得られた動き補償予測画像データとを加算した復号画像データを格納する。復号画像データは、後に、動きベクトル検出部１０３および動き補償予測部１０４において参照画像の画像データとして用いられる。
動きベクトル検出部１０３は、復号用画像用メモリ１０２に格納されている画像データを参照して、入力画像用メモリ１０１内の画像データの画像が動いた（変化した）量を動きベクトルとして検出する。
動き補償予測部１０４は、動きベクトル検出部１０３で検出された動きベクトルおよび復号画像用メモリ１０２内の復号画像データを用いて動き補償予測画像データを生成する。
ＤＣＴ／量子化部１０５は、予測誤差データを離散コサイン（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）変換し、指定された量子化値によって量子化する。予測誤差データは、入力画像用メモリ１０１内の画像データと動き補償予測部１０４によって生成された動き補償予測画像データとの差分に相当する。なお、ＤＣＴ／量子化部１０５は、動き補償予測画像データを用いることなく、入力画像データそのものを処理することも可能である。
逆量子化／逆ＤＣＴ部１０６は、処理対象の画像をＩピクチャおよびＰピクチャとして処理する場合に、ＤＣＴ／量子化部１０５で得られた符号化データに対して逆量子化および逆離散コサイン変換を行い、参照画像として用いるための復号画像を生成する。
可変長符号化部１０７は、ＤＣＴ／量子化部１０５で離散コサイン変換され、量子化されたデータ、および、動きベクトル検出部１０３で検出された動きベクトルに関する動き位置情報を可変長符号化し、圧縮データを出力する。
変化度パラメータ算出部１０８は、入力画像用メモリ１０１に格納されている各画像の画像データに対して、画像特徴量から得られる時間方向変化量および空間方向変化量を用いて変化度パラメータを算出する。ここで、画像特徴量とは、画像内の各座標の画素データ（例えば輝度データ）の値をいい、画像データを構成する要素である。また、変化度パラメータとは、動画像を構成する複数の画像を比較したときに、表示される各画像の内容に関する変化の程度（激しさまたは速さ）を示すパラメータである。変化度パラメータ算出部１０８のより具体的な処理は後に詳述する。
予測方法決定部１０９は、変化度パラメータ算出部１０８によって算出された変化度パラメータに基づいて、符号化する画像の参照画像およびピクチャ構造を決定する。
符号化順序制御部１１０は、予測方法決定部１０９において決定された予測方法に従って、入力画像用メモリ１０１に格納されている画像データの符号化順序を制御する。
本発明による動画像符号化装置１００の主要な特徴の一つは、変化度パラメータ算出部１０８および予測方法決定部１０９において行われる処理にある。そこで、以下では動画像符号化装置１００の動作を説明しながら、これらの構成要素の処理を詳細に説明する。なお、参照符号１０２〜１０７、１１０によって示される他の構成要素については、特に説明する場合を除き、包括的に「処理部」と称することとする。
また、以下では、動画像はインターレース方式の映像であるとして説明する。したがって、１つのフレーム画像は２つのフィールド画像から構成される。
図６は、動画像符号化装置１００の処理の流れを示す。まず、ステップ６０１において、動画像符号化装置１００は動画像信号を受け取り、動画像データとして入力画像用メモリ１０１に格納する。次に、ステップ６０２において、変化度パラメータ算出部１０８は、複数の画像の動画像データに基づいて、変化度パラメータを算出する。具体的には、まず、変化度パラメータ算出部１０８は、フレーム画像を構成する第１フィールド画像および第２フィールド画像間の画像データの変化量に基づいて時間方向変化量を求める。さらに、変化度パラメータ算出部１０８は、第１フィールド画像および第２フィールド画像のそれぞれについて、画像内の画像データの変化量に基づいて空間方向変化量を求める。その後、変化度パラメータ算出部１０８は、時間方向変化量および空間方向変化量に基づいて変化度パラメータを算出する。以下、図面を参照しながら、より詳しく説明する。
なお、本実施形態では、時間方向変化量および空間方向変化量を計算する対象となるフレーム画像は、ＩピクチャまたはＰピクチャとして圧縮符号化される候補画像とする。候補画像は動画像符号化装置１００において予め定められた規則に基づいて仮に決定されている。例えば、入力された動画像データに含まれるフレーム画像のうち、ＮフレームおきにＩピクチャの候補画像が決定され、Ｉピクチャ同士の間でＭフレームおきにＰピクチャの候補画像が決定される。なお、各フレーム画像が最終的にＩ，Ｐ，Ｂピクチャのいずれになるかは、動画像符号化装置１００の一連の処理によって後に決定される。
図７は、時間方向変化量（Ａ）および空間方向変化量（Ｂ）の概念を示す。まず、フレーム画像は、２つのフィールド画像によって構成される。便宜的に、第１フィールド画像をフレーム画像の奇数ライン（図の黒色のライン）に対応する画像とし、第２フィールド画像をフレーム画像の偶数ライン（図の白色のライン）に対応する画像とする。
時間方向変化量Ｄｔ（Ａ）は、フレーム画像内で垂直方向に互いに隣接する２画素の画像データの差分（Ａ）を加算して平均した値として求めることができる。「隣接する２画素」は、第１フィールド画像の画素および第２フィールド画像の画素である。一方、空間方向変化量Ｄｓ（Ｂ）は、第１フィールド内および第２フィールド内で、それぞれ垂直方向に隣接する２画素の画像データの差分（Ｂ）を加算して平均した値として求めることができる。
変化度パラメータ算出部１０８は、（数１）および（数２）により、時間方向変化量Ｄｔおよび空間方向変化量Ｄｓを算出する。

ここで、Ｆ（ｘ，ｙ）は画面内の座標（ｘ，ｙ）における画素値（例えば輝度）を表し、ＮｔおよびＮｓはそれぞれ（数１）および（数２）において加算される差分データの個数を表す。動画像の動き（変化）が小さい場合は、時間方向変化量Ｄｔは空間方向変化量Ｄｓに比べて相対的に小さくなる。これは、フィールド相関よりもフレーム相関が強いということを表す。一方、動画像の動きが速くなるにつれて時間方向変化量Ｄｔが大きくなり、フレーム相関に対してフィールド相関が強くなる。ここで、対象とする画像の変化度パラメータＣｆの値は、（数１）および（数２）で求めた時間方向変化量Ｄｔおよび空間方向変化量Ｄｓを用いて、（数３）により算出することができる。

ただし、Ａは変化度パラメータＣｆの取りうる値を調整するための定数であり、１より大きい数とする。
（数３）から理解されるように、時間方向変化量Ｄｔが大きいほど変化度パラメータＣｆの値は大きくなる。逆に言えば、変化度パラメータＣｆが大きいほど動画像の動きが速い。特に、１つのフレーム画像を構成する２つのフィールド画像の画像データに基づいて変化度パラメータＣｆを算出することにより、極めて動きが速い動画に対しても十分対応できる。
また、時間方向変化量のみに基づいて動画像の動きの速さを判断すると、動画像内のオブジェクトが１画素ずれただけでも動きが速いと判断してしまうことがあるが、さらに空間方向変化量に基づいて判断することにより、わずかな画素のずれの影響は低減される。よって動画像の動きの速さをより正確に判断できる。
なお、（数１）および（数２）においては、時間方向変化量Ｄｔおよび空間方向変化量Ｄｓを求める際に差分の絶対値平均を用いたが、（数４）および（数５）のように差分の２乗平均を用いてもよい。（数４）および（数５）における各項の意味は（数１）および（数２）と同じである。また、差分量を用いた他の算出式によって時間方向変化量Ｄｔおよび空間方向変化量Ｄｓを求めてもよい。

ここまでは、図７を参照しながら、フレーム画像またはフィールド画像全体の画素データを用いて時間方向変化量および空間方向変化量を求め、変化度パラメータＣｆの値を求める手順を説明した。しかし、変化度パラメータＣｆは他の手順によっても求めることができる。以下、その手順を説明する。
図８は、フレーム画像を複数のブロックに分割したときの例を示す。変化度パラメータ算出部１０８は、フレーム画像を複数のブロック（例えば１６×１６画素）に分割して、ブロックごとに（数６）および（数７）により時間方向変化量Ｄｔ＿ｂｌｋおよび空間方向変化量Ｄｓ＿ｂｌｋを算出する。時間方向変化量Ｄｔ＿ｂｌｋは、ブロック内で垂直方向に互いに隣接する２画素の画像データの差分を加算して平均した値として求めることができる。一方、空間方向変化量Ｄｓ＿ｂｌｋは、各ブロック内の奇数ラインに対応するフィールド内および偶数ラインに対応するフィールド内で、それぞれ垂直方向に隣接する画素同士の差分（Ｂ）を加算して平均した値として求めることができる。

ただし、Ｆ（ｘ，ｙ）はブロック内の座標（ｘ，ｙ）における画素データを表し、Ｎｔ＿ｂｌｋおよびＮｓ＿ｂｌｋはそれぞれ（数６）および（数７）において加算される差分データの個数を表す。
変化度パラメータ算出部１０８は、求めた時間方向変化量Ｄｔ＿ｂｌｋおよび空間方向変化量Ｄｓ＿ｂｌｋを用いて、ブロックごとにフィールド相関が高いか否かを（数８）により判定する。（数８）を満たす場合、そのブロックはフィールド相関が高いブロックと考えられ、動画像の動き（変化）が速いことを意味する。

ただし、（数８）におけるＫ１およびＫ２は定数とする。
変化度パラメータ算出部１０８は、フィールド相関が高いと判定したブロックの数をカウントし、“Ｈｉｇｈ＿ｂｌｋｓ”として保持する。そして、変化度パラメータ算出部１０８は、カウントしたブロック数Ｈｉｇｈ＿ｂｌｋｓと、判定に用いた全てのブロックの数（“Ａｌｌ＿ｂｌｋｓ”）との比を（数９）により算出し、これをそのフレーム画像の変化度パラメータＣｆとする。

なお、（数６）および（数７）においては、ブロックの時間方向変化量Ｄｔ＿ｂｌｋおよび空間方向変化量Ｄｓ＿ｂｌｋを求める際に差分の絶対値平均を用いたが、（数１０）および（数１１）のように差分の２乗平均を用いてもよい。（数１０）および（数１１）における各項の意味は（数６）および（数７）と同じである。また、差分量を用いた他の算出式によってブロックの時間方向変化量Ｄｔ＿ｂｌｋおよび空間方向変化量Ｄｓ＿ｂｌｋを求めてもよい。例えば、ＭＰＥＧ２等の符号化において、マクロブロック（１６×１６画素のブロック）のＤＣＴモード（フレームＤＣＴとフィールドＤＣＴ）を決定する際に用いる評価値をそれぞれ、時間方向変化量Ｄｔ＿ｂｌｋおよび空間方向変化量Ｄｓ＿ｂｌｋとして使用することも可能である。

なお、（数９）においては、フィールド相関が高いと判定されたブロックの割合を変化度パラメータＣｆとしているが、フィールド相関が高いと判定されたブロック数（“Ｈｉｇｈ＿ｂｌｋｓ”の値）そのものを変化度パラメータＣｆとしてもよい。
以上のようにして、変化度パラメータ算出部１０８は、１つのフレーム画像を構成する２つのフィールド画像の画像データに基づいて変化度パラメータＣｆを算出する。
次に図６のステップ６０３において、予測方法決定部１０９は、算出した変化パラメータに基づいて、圧縮符号化を行うフレーム画像ごとに符号化方式を決定する。この処理により、各フレーム画像が最終的にＩピクチャ、ＰピクチャおよびＢピクチャのいずれに圧縮符号化されるかが決定され、同時に図２に示すＭの値が決定される。続いて、ステップ６０４において、予測方法決定部１０９は、動画像データを構成する画像について圧縮符号化を行うピクチャ構造を決定する。
以下、予測方法決定部１０９が実行するステップ６０３および６０４の処理を詳しく説明する。図９は、フレーム画像単位で符号化方式を決定し、圧縮符号化を行うピクチャ構造を決定する処理の手順を示す。図９は、ステップ９０１〜９１４の処理から構成されている。このうち、ステップ９０１および９０２は上述の変化度パラメータ算出部１０８によって実行される処理であり、処理の流れを明確にするために記載している。予測方法決定部１０９は、ステップ９０３以降の処理を実行する。
図９のステップ９０３〜９１４のうち、ステップ９０３〜９１０がフレーム画像ごとに符号化方式を決定する処理であり、ステップ９１１〜９１４が圧縮符号化を行うピクチャ構造を決定する処理である。
まず、フレーム画像ごとに符号化方式を決定するためのステップ９０３〜９１０の処理を説明する。ステップ９０３において、予測方法決定部１０９は、変化度パラメータ算出部１０８によって算出された変化度パラメータＣｆが第１の閾値ＴＨ１よりも大きいか否かを判断する。変化度パラメータＣｆが第１の閾値ＴＨ１よりも大きい場合には、動画像の動きが速いとしてステップ９０４に進み、そうでない場合にはステップ９０７に進む。
ステップ９０４において、予測方法決定部１０９は、図２に示す参照画像の間隔Ｍを所定の値（例えば１）だけ小さくし、ＩピクチャとＰピクチャとの間隔またはＰピクチャとＰピクチャとの間隔をより狭くする。これにより、動画像符号化装置１００は、ＩピクチャまたはＰピクチャとして符号化するフレーム画像の出現頻度を多くすることができ、動きが速い動画像に対応することができる。
ただし、間隔を変更した後の参照画像の間隔Ｍが小さくなりすぎると（例えば０になると）不都合が生じるので、その値を制限する必要がある。そこで、ステップ９０５において、予測方法決定部１０９は変更後のＭの値が最小値Ｍｍｉｎよりも小さいか否かを判断する。Ｍの値が最小値Ｍｍｉｎよりも小さい場合にはステップ９０６に進み、そうでない場合にはステップ９１１に進む。ステップ９０６では、予測方法決定部１０９は、変更後のＭの値を最小値Ｍｍｉｎに設定してステップ９１１に進む。
ステップ９０７では、予測方法決定部１０９は、変化度パラメータＣｆの値を第２の閾値ＴＨ２と比較する。変化度パラメータＣｆの値が第２の閾値ＴＨ２よりも小さい場合には、ステップ９０８へ進み、小さくない場合にはステップ９１１に進む。ステップ９０８では、予測方法決定部１０９は、図２に示す参照画像の間隔Ｍを所定の値（例えば１）だけ大きくし、ＩピクチャとＰピクチャとの間隔またはＰピクチャとＰピクチャとの間隔をより大きくする。これにより動きが遅い動画像であっても効率的な符号化が可能になる。
ただし、変更後の参照画像の間隔Ｍが大きくなりすぎると、入力画像用メモリ１０１の容量、符号化時の処理遅延量等に関する不都合が生じるので、その値を制限する必要がある。そこで、ステップ９０９において、予測方法決定部１０９は変更後のＭの値が最大値Ｍｍａｘよりも大きいか否かを判断する。Ｍの値が最大値Ｍｍａｘよりも大きい場合にはステップ９１０に進み、そうでない場合にはステップ９１１に進む。ステップ９１０では、予測方法決定部１０９は、変更後のＭの値を最大値Ｍｍａｘに設定してステップ９１１に進む。 以上説明した処理により、予測方法決定部１０９は、ＩピクチャとＰピクチャとの間隔またはＰピクチャとＰピクチャとの間隔を決定することができる。この結果、特に、変化度パラメータが大きいとき、すなわち動画像信号の時間的変化が空間的変化よりも相対的に大きいときに、予測方法決定部１０９は参照画面の間隔Ｍを小さくして予測効率の低下を防止できる。
なお、ステップ９０１および９０２では、ＩピクチャまたはＰピクチャとして圧縮符号化される画像について変化度パラメータＣｆを算出するとしており、Ｂピクチャを考慮していない。これは、Ｂピクチャは参照画面として使用されることはなく、ここまでの処理を行う必要がないからである。ただし、Ｂピクチャの変化度パラメータを算出し、そのパラメータを用いて参照画面の間隔を決定することは可能である。
次に、圧縮符号化を行うピクチャ構造を決定するためのステップ９１１〜９１４の処理を説明する。まず「ピクチャ構造を決定する」とは、圧縮符号化する画像の単位をフレーム画像にするか、または、フレーム画像を構成する各フィールド画像にするかを決定することをいう。前者のピクチャ構造は「フレーム構造」と呼ばれ、後者のピクチャ構造は「フィールド構造」と呼ばれる。
まず、ステップ９１１では、予測方法決定部１０９は、ステップ９０２において算出された変化度パラメータＣｆが、第３の閾値ＴＨ３よりも大きいか否かを判断する。変化度パラメータＣｆが、第３の閾値ＴＨ３よりも大きい場合にはステップ９１２に進み、そうでない場合にはステップ９１３に進む。ステップ９１２では、予測方法決定部１０９は、その変化度パラメータが算出されたフレーム画像以降に符号化する画像のピクチャ構造をフィールド構造で符号化するように設定する。その理由は、動画像の変化が激しいと考えられるため、予測効率の低下を防ぐ必要があるからである。動画像の動きが速い場合にフィールド画像単位で圧縮符号化することにより予測を的確に行うことができ、圧縮符号化後の動画像の品質を高く維持できる。その後、処理は終了する。
一方、ステップ９１３では、変化度パラメータＣｆを第４の閾値ＴＨ４と比較する。変化度パラメータＣｆが第４の閾値ＴＨ４よりも小さい場合にはステップ９１４に進み、そうでない場合には処理を終了する。ステップ９１４では、予測方法決定部１０９は、以後符号化する画像のピクチャ構造をフレーム構造で符号化するように設定し、処理を終了する。
以上の動作により、特に、変化度パラメータが大きいとき、すなわち動画像データの時間的変化が空間的変化より大きいとき、ＩピクチャまたはＰピクチャをフィールド構造とすることによって予測効率の低下を防ぐことができる。なおＢピクチャについては、直前に符号化されるＩピクチャまたはＰピクチャのピクチャ構造と同じ構造で符号化すればよい。または、変化度パラメータＣｆを用いて直接Ｂピクチャのピクチャ構造を決定してもよいし、ピクチャ構造を固定してもよい。
なお、図９の処理では、ＩピクチャまたはＰピクチャの候補画像の変化度パラメータを算出し、その画像のピクチャ構造をフレーム構造またはフィールド構造に切り替えるとして説明したが、いずれか一方のピクチャ構造のみを切り替えるとしてもよい。
以上、図９を参照しながら、図６のステップ６０３および６０４に関連する処理を詳細に説明した。図９のステップ９０１〜９１４は、予測方法決定部１０９がステップ６０３および６０４の処理を連続的に実現する処理手順であるが、予測方法決定部１０９は、ステップ６０３に対応する処理のみ、またはステップ６０４に対応する処理のみを独立して行うことができる。図１０は、ステップ６０３に対応する、フレーム画像単位で符号化方式を決定する処理の手順を示し、図１１は、ステップ６０４に対応する、圧縮符号化を行うピクチャ構造を決定する処理の手順を示す。図１０および図１１に示す各ステップのうち、図９に示すステップと同じステップには同じ参照符号を付している。図から明らかなように、全てのステップは図９に含まれているので、各図の説明は省略する。
次に、図６のステップ６０５では、予測方法決定部１０９において決定された符号化方式にしたがって、かつ、同じく決定されたピクチャ構造で、処理部がメモリに格納された動画像データを圧縮符号化して圧縮データを生成する。例えば、ピクチャ構造がフレーム構造であり、かつ、各フレーム画像が図３（ｃ）上段（“入力順”）に示すようにＩ，Ｂ，Ｐピクチャとして圧縮符号化される場合には、符号化順序制御部１１０は、図３（ｃ）下段（“符号化順”）に示す順序で符号化を行うことを決定する。すると、動きベクトル検出部１０３およびＤＣＴ／量子化部１０５はその順序でフレーム画像の画像データを読み出して処理し、その後、さらに他の構成要素において処理されて、Ｉ，Ｂ，Ｐピクチャを含む圧縮データが生成される。
そして図６のステップ６０６において、全ての動画像データについて圧縮符号化が終了するまで、繰り返しステップ６０２〜６０５の処理を繰り返す。以上のようにして、動画像データから圧縮データが生成される。
図１２（ａ）および（ｂ）は、生成された圧縮データに含まれるピクチャデータのデータ構造を示す。図１２（ａ）は、フレーム構造によって圧縮符号化されたピクチャデータのデータ構造を示す。図から理解されるように、ピクチャヘッダの次に画像データが配置される。ピクチャヘッダは、主としてピクチャタイプフィールドとピクチャ構造フィールドを含む。ピクチャタイプフィールドには、そのピクチャデータのピクチャがＩピクチャ、ＢピクチャまたはＰピクチャのいずれであるかを示すピクチャタイプが記述される。またピクチャ構造フィールドには、そのピクチャデータのピクチャがフレーム構造かフィールド構造かを示す情報が記述される。図１２（ａ）では、ピクチャ構造フィールドには「フレーム構造」であることを示す情報が記述される。画像データは、第１フィールド画像のデータと第２フィールド画像のデータとを混在して含んでおり、圧縮符号化された画像データが再生されたときにフィールドが分離される。
一方、図１２（ｂ）は、フィールド構造によって圧縮符号化されたピクチャ（フレーム画像）データのデータ構造を示す。このデータ構造は、第１フィールド用ピクチャヘッダから順に、第１フィールド画像データ、第２フィールド用ピクチャヘッダおよび第２フィールド画像データを含む。第１フィールド画像は、第１フィールド用ピクチャヘッダと第１フィールド画像データに基づいて取得できる。同様に、第２フィールド画像は、第２フィールド用ピクチャヘッダと第２フィールド画像データに基づいて取得できる。ピクチャヘッダのデータ構造は、先に説明したフレーム構造の場合と同様、ピクチャタイプフィールドとピクチャ構造フィールドとを含む。ただしピクチャタイプはフィールドごとに特定されるので、Ｉフレームの場合には、第１フィールド用ピクチャヘッダには「Ｉフィールド」であることを示すピクチャタイプが記述され、第２フィールド用ピクチャヘッダには「Ｉフィールド」または「Ｐフィールド」であることを示すピクチャタイプが記述される。ピクチャ構造フィールドには、それぞれ、いずれのフィールドであるかを示す情報が記述される。
図１３は、変化度パラメータと圧縮データのピクチャ構造との関係を示す。図でＩ、ＢおよびＰは、それぞれＩピクチャ、ＢピクチャおよびＰピクチャを示す。Ｉ、ＢおよびＰの後の数字は、先頭のＩピクチャからのフレーム番号を示す。また、実線で囲まれたピクチャ（Ｉ１、Ｂ２、Ｐ３等）のピクチャ構造はフレーム構造であり、破線で囲まれたピクチャ（Ｐ４〜Ｐ６）のピクチャ構造はフィールド構造とする。
図１３において、まず、先頭部分のピクチャＩ１、Ｂ２、Ｐ３は、Ｍ＝２かつフレーム構造で符号化されている。このとき符号化順序は、ピクチャＩ１、Ｐ３、Ｂ２である。
ところが、後続のピクチャＰ４のピクチャ構造は、フィールド構造に変更されている。これは、ピクチャＰ３に関連して算出された変化度パラメータＣｆが、Ｃｆ＞ＴＨ１かつＣｆ＞ＴＨ３を満たしたからである。この結果、参照画像の間隔ＭはＭ＝２からＭ＝１に変更され（図９のステップ９０４）、さらにピクチャ構造はフィールド構造とされる（ステップ９１２）。よって、最終的に参照画像の間隔は１フィールドとなり、動きの速い画像に対しても予測効率を保つことが可能となる。
次に、ピクチャＰ４およびＰ５をフィールド単位で符号化する過程において、ピクチャＰ５に関連して算出された変化度パラメータＣｆがＣｆ＜ＴＨ４を満たしたので、ピクチャ構造がフィールド構造からフレーム構造に変更される（ステップ９１４）。さらに、ピクチャＰ６に関連して算出された変化度パラメータＣｆがＣｆ＜ＴＨ２を満たしたので、参照画面の間隔ＭがＭ＝１からＭ＝２に変更されている（ステップ９０７）。
以上の処理の結果、Ｐピクチャに関して、Ｍ＝１のときはピクチャ構造をフィールド構造に設定し、Ｍ≧２のときはピクチャ構造をフレーム構造に設定することができる。ただし、これは例であり、例えばＭ＝１のとき、Ｉピクチャの第１フィールドをＩフィールドとし、第２フィールドをＰフィールドとしてもよい。他の例としてＭ＝１であってもＭ≧２であっても、すなわちＭの値にかかわらず、Ｐピクチャのピクチャ構造をフレーム構造にしてもよい。また、Ｉピクチャ／Ｐピクチャのピクチャ構造を、直前のＩピクチャまたはＰピクチャのピクチャ構造に一致させてもよい。さらに、Ｂピクチャのピクチャ構造を、参照するＩピクチャまたはＰピクチャのピクチャ構造に一致させてもよい。
また、上述の閾値ＴＨ１〜ＴＨ４について、ＴＨ１＝ＴＨ３およびＴＨ２＝ＴＨ４と設定することによって、より簡単な制御を実現できる。図１３に示す例では、Ｍ＝２かつフレーム構造である状態１およびＭ＝１かつフィールド構造状態２の間の切り替えのみで足り、処理を単純化できる。
ここではＭ＝２とＭ＝１の切替えについて示したが、例えばＭ＝３とＭ＝１のようにＭの値を２以上離して切り替えてもよいし、Ｍ＝３、Ｍ＝２およびＭ＝１等のようにＭの値を３段階以上切り替えてもよい。
次に、図１４を参照しながら、予測方法決定部１０９が各ピクチャの符号化方式およびピクチャ構造を決定する際の他の処理を説明する。図１４は、所定の周期でフレーム画像の符号化方式を決定し、圧縮符号化を行うピクチャ構造を決定する処理の手順を示す。「所定の周期」とは、例えば、あるＩピクチャから次のＩピクチャまでの周期（図２の間隔Ｎ）、Ｐピクチャの周期（図２の間隔Ｍ）、それらの整数倍の周期を表すである。
なお、先の例と同様、「Ｉピクチャ」および「Ｐピクチャ」はＩピクチャおよびＰピクチャとして圧縮符号化される候補画像を意味する。なお、Ｉピクチャから次のＩピクチャまでに存在するピクチャのうち、先頭のＩピクチャ、後続の複数のＰ，Ｂピクチャからなるピクチャ群はＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれる。ＧＯＰは動画像の再生時間にすると約０．５秒の長さである。以下では、「周期」はＩピクチャから次のＩピクチャまでの周期（すなわちＧＯＰの周期）であるとして説明する。
まず、ステップ１４０１において、変化度パラメータ算出部１０８は符号化を行う画像がＧＯＰ先頭の候補画像（先頭画像）であるか否かを判断する。先頭画像である場合にはステップ１４０２に進み、先頭画像でない場合にはステップ１４０３に進む。ステップ１４０２では、変化度パラメータ算出部１０８はパラメータＳｕｍＣｆの値を０に初期化し、ステップ１４０３に進む。パラメータＳｕｍＣｆは、変化度パラメータＣｆの総和を保持するために用いられる。
ステップ１４０３では、変化度パラメータ算出部１０８は、画像の変化度パラメータＣｆを算出し、次のステップ１４０４においてパラメータＳｕｍＣｆの値と加算して、その結果によってパラメータＳｕｍＣｆを更新する。ステップ１４０５では、変化度パラメータ算出部１０８は、現在処理の対象になっている画像がＧＯＰ周期の最後の候補画像であるか否かを判断する。その画像が最後の候補画像である場合にはステップ１４０６に進み、そうでない場合には図１４に示す処理を終了して、これまでの符号化条件を変更することなくその画像を圧縮符号化する。そしてその画像の次の画像に対して、再びステップ１４０１からの処理が行われる。
ステップ１４０６では、予測方法決定部１０９は、以下の手順によって符号化条件を決定する。まず、ステップ１４０６において、予測方法決定部１０９はパラメータＳｕｍＣｆの値が第５の閾値ＴＨ５よりも大きいか否かを判断する。パラメータＳｕｍＣｆの値が閾値ＴＨ５よりも大きい場合にはステップ１４０７に進み、そうでない場合にはステップ１４１０に進む。
ステップ１４０７では、予測方法決定部１０９は、次の周期以降に含まれる参照画像（ＩピクチャまたはＰピクチャ）の間隔Ｍを所定の値（例えば１）だけ小さく設定する。これは、現在の周期に含まれる画像の傾向に基づいて、次の周期の画像に対して符号化条件を設定することを意味する。
その後、ステップ１４０８において、予測方法決定部１０９は変更後のＭの値が最小値Ｍｍｉｎよりも小さいか否かを判断する。Ｍの値が最小値Ｍｍｉｎよりも小さい場合にはステップ１４０９に進み、小さくない場合にはステップ１４１４に進む。ステップ１４０９では、予測方法決定部１０９は、変更後のＭの値を最小値Ｍｍｉｎに設定してステップ１４１４に進む。ステップ１４０８および１４０９は、図９のステップ９０５および９０６と同じ理由から設けられている。
ステップ１４１０では、予測方法決定部１０９は、パラメータＳｕｍＣｆの値を第６の閾値ＴＨ６と比較する。パラメータＳｕｍＣｆの値が閾値ＴＨ６よりも小さい場合にはステップ１４１１に進み、そうでない場合にはステップ１４１４に進む。
ステップ１４１１では、予測方法決定部１０９は、次の周期以降に含まれる参照画像の間隔Ｍを所定の値（例えば１）だけ大きく設定する。すなわち、ステップ１４０７で説明したとおり、現在の周期に含まれる画像の傾向に基づいて、次の周期の画像に対して符号化条件を設定する。
ステップ１４１２において、予測方法決定部１０９は変更後のＭの値が最大値Ｍｍａｘよりも大きいか否かを判断する。Ｍの値が最大値Ｍｍａｘよりも大きい場合にはステップ１４１３に進み、そうでない場合にはステップ１４１４に進む。ステップ１４１３では、予測方法決定部１０９は、変更後のＭの値を最大値Ｍｍａｘに設定してステップ１４１４に進む。
ステップ１４１４〜１４１７は、次の周期の画像の符号化条件であるピクチャ構造を決定する処理である。ステップ１４１４では、予測方法決定部１０９はパラメータＳｕｍＣｆの値と第７の閾値と比較する。パラメータＳｕｍＣｆの値が閾値ＴＨ７よりも大きい場合にはステップ１４１５に進み、そうでない場合にはステップ１４１６に進む。
ステップ１４１５では、次の周期以降に含まれる画像であって、指定したピクチャタイプの画像をフィールド構造で符号化するように設定する。パラメータＳｕｍＣｆの値が閾値ＴＨ７よりも大きく各画像の変化が激しいと考えられるため、次の周期に関して予測効率の低下を防ぐ必要があるからである。
一方、ステップ１４１６では、パラメータＳｕｍＣｆの値を第８の閾値ＴＨ８と比較する。変化度パラメータＣｆが第８の閾値ＴＨ８よりも小さい場合にはステップ１４１７に進み、そうでない場合には処理を終了する。ステップ１４１７では、予測方法決定部１０９は、次の周期以降に含まれる画像であって、指定したピクチャタイプの画像をフレーム構造で符号化するように設定し、処理を終了する。
以上の動作により、特に、変化度パラメータが大きいとき、すなわち動画像データの時間的変化が空間的変化に対して相対的に大きいとき、参照画像の間隔Ｍを小さくするとともにＩピクチャまたはＰピクチャをフィールド構造にすることよって、予測効率の低下を防止できる。
次に、圧縮データが生成された後の取り扱いを説明する。図１５（ａ）は、符号化システム１０の機能ブロックの構成を示す。符号化システム１０は、符号化装置１００と、送信部１５０と、記録部１５１とを備えている。符号化システム１０は、例えば放送局において放送設備として構築される。編集された動画像は動画像符号化装置１００によって圧縮データに変換され、送信部１５０から電波、伝送線等の伝送媒体を介して各家庭に伝送される。または、動画像符号化装置１００から出力された圧縮データは、記録部１５１によって記録媒体２００に記録される。記録媒体２００は、例えば光ディスク等の光記録媒体、ＳＤメモリカード等の半導体記録媒体、ハードディスク等の磁気記録媒体を含む。従来の画質と同程度の画質であれば、圧縮データのデータ量はより少なくなるので、伝送に必要な帯域、伝送時間等を低減でき、または記録媒体２００に必要な記録容量が低減できる。
また、符号化システム１０は汎用ＰＣを用いても実現される。動画像符号化装置１００は、例えばＰＣに組み込まれたエンコーダボードである。入力される動画像信号がテレビ信号の場合には、ＰＣ１０は、テレビ番組に関する圧縮データを、ハードディスクドライブ１５１内のハードディスク２００に記録する。
一方、図１５（ｂ）は、復号化システム１１の機能ブロックの構成を示す。復号化システム１１は、受信部１６０と、読み出し部１６１と、復号化装置３００と、表示部１７０とを含む。復号化システム１１は、例えばテレビ視聴者の家庭に構築された映像・音響システムとして構築される。このとき受信部１６０は、圧縮データが搬送されている電波を受信するためのアンテナであり、または圧縮データが搬送されている放送信号を受信するためのセットトップボックスの受信ポートである。読み出し部１６１は、記録媒体２００に記録された圧縮データを読み出すためのドライブ装置、メモリカードスロット（図示せず）等である。復号化装置３００は、圧縮データのデコード機能を備えており、例えば圧縮データがＭＰＥＧ規格に準拠して生成されているときは、図１２に示すデータ構造を解析し、解析結果に基づいてデコードが可能なＭＰＥＧデコーダである。ただし、本発明ではデコード機能を特に問題にしないので、復号化装置３００の説明は省略する。表示部１７０はスピーカを有するテレビである。視聴者は、復号化システム１１において圧縮データを受信し、または記録媒体２００から読み出してデコードし、動画像を視聴できる。
以上、動画像符号化装置１００の構成および動作を説明した。本発明による画像符号化装置１００は、動画像の変化の程度を示す変化度パラメータに基づいて、ＩピクチャとＰピクチャおよび／またはＰピクチャ同士の間隔を動的に制御する。さらに、ピクチャ構造をフレーム構造とフィールド構造をも動的に切り替えて、符号化効率を向上させることができる。よって、動画像符号化装置１００によって生成された圧縮データを従来の符号化装置によって生成された圧縮データと比較すると、同じデータ量であれば再生画像の品質は高く、また同じ画質であればデータ量がより少なくなる。よって、本発明によれば、十分な品質を保持した圧縮符号化を実現するとともに、より効率的に圧縮符号化を実現できる。
なお、これまでの説明で言及した閾値ＴＨ１〜ＴＨ８の具体的な値は、動画像符号化装置１００を製造するメーカーがその装置の仕様に応じて自由に決定することができる。または、必要とされる圧縮データの品質に応じて自由に決定することができる。
また、動画像符号化装置１００による処理対象の動画像はインターレース方式の映像であるとして説明したが、本発明はプログレッシブ方式の映像に対しても適用できる。ただしプログレッシブ方式の映像の場合には、フィールド画像が存在せずフレーム画像のみが存在するため、例えば１／６０秒ごとに表示される連続する２枚のフレーム画像を用いて、本明細書において説明した第１フィールドおよび第２フィールドとして取り扱うことができる。このように取り扱う場合には、（数１）等におけるＦ（ｘ，ｙ）を第１フレーム画像の画素値Ｇ_１（ｘ，ｙ）に置き換え、Ｆ（ｘ，ｙ＋１）を第２フレーム画像の画素値Ｇ_２（ｘ，ｙ）に置き換えればよい。また（数２）等では、Ｆ（ｘ，ｙ）を第１フレーム画像の画素値Ｇ_１（ｘ，ｙ）に置き換え、Ｆ（ｘ，ｙ＋２）を第１フレーム画像の画素値Ｇ_１（ｘ，ｙ＋１）に置き換えればよい。これにより、インターレース方式について説明した方法と全く同じ処理を行って時間方向変化量および空間方向変化量を求めることができる。
データ処理装置１００の上述の処理は、コンピュータプログラムに基づいて行われる。例えば、圧縮データを生成する処理は、図６、９、１４に示すフローチャートに基づいて記述されたコンピュータプログラムを実行することによって実現される。コンピュータプログラムは、光ディスクに代表される光記録媒体、ＳＤメモリカード、ＥＥＰＲＯＭに代表される半導体記録媒体、フレキシブルディスクに代表される磁気記録媒体等の記録媒体に記録することができる。なお、光ディスク装置１００は、記録媒体を介してのみならず、インターネット等の電気通信回線を介してもコンピュータプログラムを取得できる。

本発明によれば、十分な品質を保持しつつ、より効率的に動画像データの圧縮符号化を行うことができるデータ処理装置および方法が提供される。本発明は、圧縮符号化されたデータの記録、伝送、再生等を行うデータ処理の用途において有用である。

Claims (28)

1. 動画像を表す動画像データを、画面内符号化方式、前方向予測符号化方式および双方向予測符号化方式のいずれかによって所定の画像単位で圧縮符号化するデータ処理装置であって、
   前記動画像は、各々が２つのフィールド画像から構成される複数のフレーム画像を連続的に表示して得られ、
   前記動画像データを格納するメモリと、
   前記２つのフィールド画像の動画像データに基づいて、前記動画像の変化の程度を示すパラメータを算出する算出部と、
   前記算出部によって算出された前記パラメータに基づいて、画面内符号化方式および前方向予測符号化方式によって圧縮符号化される画像単位、および、前記所定の画像単位を規定するピクチャ構造を決定する決定部と、
   前記メモリに格納された前記動画像データを、前記決定部によって決定された前記ピクチャ構造にしたがって圧縮符号化し、圧縮データを生成する処理部と
   を備えたデータ処理装置。
2. 前記算出部は、前記２つのフィールド画像間の前記動画像データの変化量に基づいて時間方向変化量を求め、および、前記２つのフィールド画像の各々について画像内の前記動画像データの変化量に基づいて空間方向変化量を求め、前記時間方向変化量および前記空間方向変化量に基づいて前記パラメータを算出する、請求項１に記載のデータ処理装置。
3. 前記２つのフィールド画像は、前記フレーム画像の奇数ラインに対応する第１フィールド画像および偶数ラインに対応する第２フィールド画像であり、
   前記算出部は、前記フレーム画像内で互いに隣接する前記第１フィールド画像のラインおよび前記第２フィールド画像のラインを特定して、各ラインの動画像データの差分に基づいて前記時間方向変化量を算出し、かつ、前記算出部は、前記第１フィールド画像および前記第２フィールド画像の各画像内で隣接するラインを特定して、各ラインの動画像データの差分に基づいて前記空間方向変化量を算出する、請求項２に記載のデータ処理装置。
4. 前記算出部は、各フレーム画像を複数のブロックに分割して、前記ブロックごとの動画像データに基づいて前記時間方向変化量および前記空間方向変化量を算出し、各ブロックの時間方向変化量および各空間方向変化量に基づいて、全てのブロック数に対する前記動画像の変化量が所定量以上のブロックの比を前記パラメータとして算出する、請求項２に記載のデータ処理装置。
5. 前記決定部は、前記パラメータが所定の閾値よりも大きい場合には、前記ピクチャ構造をフィールド構造に決定し、
   前記処理部は、前記動画像データを前記フィールド画像単位で圧縮符号化する、請求項１〜４のいずれかに記載のデータ処理装置。
6. 前記決定部は、前記画面内符号化方式によって圧縮符号化するフィールド画像の数および前記前方向予測符号化方式によって圧縮符号化するフィールド画像の数の少なくとも一方を増加する、請求項５に記載のデータ処理装置。
7. 前記決定部は、フィールド画像を前記画面内符号化方式または前記前方向予測符号化方式のみによって圧縮符号化する、請求項６に記載のデータ処理装置。
8. 前記決定部は、前記算出部によって算出された前記パラメータが前記所定の閾値よりも小さくなった場合には、前記ピクチャ構造をフレーム構造に決定し、
   前記処理部は、前記動画像データを前記フレーム画像単位で圧縮符号化する、請求項７に記載のデータ処理装置。
9. 前記決定部は、前方向予測符号化方式によって圧縮符号化される第１画像と前記第１画像を参照して予測符号化される第２画像とが連続している場合には、前記第２画像のピクチャ構造をフィールド構造に決定し、連続していない場合には前記第２画像のピクチャ構造をフレーム構造に決定する、請求項１〜４のいずれかに記載のデータ処理装置。
10. 前記決定部は、前方向予測符号化方式によって圧縮符号化される第１画像と前記第１画像を参照して予測符号化される第２画像とが連続している場合には、前記第２画像のピクチャ構造をフレーム構造またはフィールド構造に決定し、連続していない場合には前記第２画像のピクチャ構造をフレーム構造に決定する、請求項１〜４のいずれかに記載のデータ処理装置。
11. 前記決定部は、画面内符号化方式によって圧縮符号化される複数の画像または前方向予測符号化方式によって圧縮符号化される複数の画像に基づいて決定される周期に応じて、前記前方向予測符号化方式によって圧縮符号化される画像のピクチャ構造を決定する、請求項１〜４のいずれかに記載のデータ処理装置。
12. 前記決定部は、画面内符号化方式によって圧縮符号化される前記複数の画像に基づいて決定される周期に応じて、前記前方向予測符号化方式によって圧縮符号化される画像のピクチャ構造を決定する、請求項１１に記載のデータ処理装置。
13. 前記決定部は、前方向予測符号化方式によって圧縮符号化される前記複数の画像に基づいて決定される周期に応じて、前記前方向予測符号化方式によって圧縮符号化される画像のピクチャ構造を決定する、請求項１１に記載のデータ処理装置。
14. 前記決定部は、画面内符号化方式によって圧縮符号化される第１画像と、前記第１画像を参照して前方向予測符号化方式によって圧縮符号化される第２画像とが連続している場合には、前記第１画像のピクチャ構造をフィールド構造に決定し、かつ、前記第１画像を構成する第１フィールド画像および第２フィールド画像のうち、前記第１フィールド画像を画面内符号化方式によって圧縮符号化し、前記第２フィールド画像を前方向予測符号化方式によって圧縮符号化することを決定する、請求項１〜４のいずれかに記載のデータ処理装置。
15. 前記決定部は、画面内符号化方式によって圧縮符号化される画像のピクチャ構造を、画面内符号化方式によって圧縮符号化された直前の画像または前方向予測符号化方式によって圧縮符号化された直前の画像のピクチャ構造に一致させることを決定する、請求項１〜４のいずれかに記載のデータ処理装置。
16. 前記決定部は、画面内符号化方式によって圧縮符号化される画像のピクチャ構造を、画面内符号化方式によって圧縮符号化される直後の画像または前方向予測符号化方式によって圧縮符号化される直後の画像のピクチャ構造に一致させることを決定する、請求項１〜４のいずれかに記載のデータ処理装置。
17. 前記決定部は、双方向予測符号化方式によって圧縮符号化される第１画像のピクチャ構造を、前記第１画像によって参照される参照画像のピクチャ構造に一致させることを決定する、請求項１〜４のいずれかに記載のデータ処理装置。
18. 請求項１〜４のいずれかに記載のデータ処理装置と、
    前記データ処理装置の処理部によって生成された前記圧縮データを伝送媒体上に送信する送信部と
    を備えた、データ処理システム。
19. 請求項１〜４のいずれかに記載のデータ処理装置と、
    前記データ処理装置の処理部によって生成された前記圧縮データを記録媒体に記録する記録部と
    を備えた、データ処理システム。
20. 動画像を表す動画像データを、画面内符号化方式、前方向予測符号化方式および双方向予測符号化方式のいずれかによって所定の画像単位で圧縮符号化するデータ処理装置であって、
    前記動画像は、複数のフレーム画像を連続的に表示して得られ、
    前記動画像データを格納するメモリと、
    連続する２つのフレーム画像間の前記動画像データの変化量を示す時間方向変化量、および、前記２つのフレーム画像の各々について画像内の前記動画像データの変化量を示す空間方向変化量を算出し、前記時間方向変化量および前記空間方向変化量に基づいて、前記動画像の変化の程度を示すパラメータを算出する算出部と、
    前記算出部によって算出された前記パラメータに基づいて、前記複数のフレーム画像の各々について圧縮符号化方式を決定する決定部と、
    前記メモリに格納された前記動画像データを、前記決定部によって決定された方式にしたがって圧縮符号化し、圧縮データを生成する処理部と
    を備えたデータ処理装置。
21. 前記動画像は、各々が２つのフィールド画像から構成される複数のフレーム画像を連続的に表示して得られ、
    前記２つのフィールド画像は、前記フレーム画像の奇数ラインに対応する第１フィールド画像および偶数ラインに対応する第２フィールド画像であり、
    前記算出部は、前記フレーム画像内で互いに隣接する前記第１フィールド画像のラインおよび前記第２フィールド画像のラインを特定して、各ラインの動画像データの差分に基づいて前記時間方向変化量を算出し、かつ、前記算出部は、前記第１フィールド画像および前記第２フィールド画像の各画像内で隣接するラインを特定して、各ラインの動画像データの差分に基づいて前記空間方向変化量を算出する、請求項２０に記載のデータ処理装置。
22. 前記算出部は、前記２つのフレーム画像における同じ位置の２つのラインを特定して、各ラインの動画像データの差分に基づいて前記時間方向変化量を算出し、かつ、前記２つのフレーム画像の一方の画像内で隣接するラインを特定して、各ラインの動画像データの差分に基づいて前記空間方向変化量を算出する、請求項２０に記載のデータ処理装置。
23. 前記決定部は、前記画面内符号化方式によって圧縮符号化するフレーム画像の数および前記前方向予測符号化方式によって圧縮符号化するフレーム画像の数の少なくとも一方を増加する、請求項２２に記載のデータ処理装置。
24. 前記決定部は、前記フレーム画像を前記画面内符号化方式または前記前方向予測符号化方式のいずれかのみによって圧縮符号化する、請求項２２に記載のデータ処理装置。
25. 請求項２１に記載のデータ処理装置と、
    伝送媒体を介して、前記データ処理装置の処理部によって生成された前記圧縮データを送信する送信部と
    を備えた、データ処理システム。
26. 請求項２１に記載のデータ処理装置と、
    前記データ処理装置の処理部によって生成された前記圧縮データを記録媒体に記録する記録部と
    を備えた、データ処理システム。
27. 動画像を表す動画像データを、画面内符号化方式、前方向予測符号化方式および双方向予測符号化方式のいずれかによって所定の画像単位で圧縮符号化する方法であって、
    前記動画像は、各々が２つのフィールド画像から構成される複数のフレーム画像を連続的に表示して得られ、
    前記動画像データを格納するステップと、
    前記２つのフィールド画像の動画像データに基づいて、前記動画像の変化の程度を示すパラメータを算出するステップと、
    算出された前記パラメータに基づいて、画面内符号化方式および前方向予測符号化方式によって圧縮符号化される画像単位、および、前記所定の画像単位を規定するピクチャ構造を決定するステップと、
    前記動画像データを、決定された前記ピクチャ構造にしたがって圧縮符号化し、圧縮データを生成するステップと
    を包含するデータ処理方法。
28. 動画像を表す動画像データを、画面内符号化方式、前方向予測符号化方式および双方向予測符号化方式のいずれかによって所定の画像単位で圧縮符号化するデータ処理方法であって、
    前記動画像は、複数のフレーム画像を連続的に表示して得られ、
    前記動画像データを格納するステップと、
    連続する２つのフレーム画像間の前記動画像データの変化量を示す時間方向変化量、および、前記２つのフレーム画像の各々について画像内の前記動画像データの変化量を示す空間方向変化量を算出するステップと、
    前記時間方向変化量および前記空間方向変化量に基づいて、前記動画像の変化の程度を示すパラメータを算出するステップと、
    算出された前記パラメータに基づいて、前記複数のフレーム画像の各々について圧縮符号化方式を決定するステップと、
    格納された前記動画像データを、決定された方式にしたがって圧縮符号化し、圧縮データを生成するステップと
    を包含するデータ処理方法。

Images