JP4856008B2 - 画像再符号化装置および画像再符号化方法 - Google Patents

Description

本発明は、画像を再符号化するための技術に関するものであり、特に、重複画像を含んで符号化されている画像を再符号化するための技術に関するものである。

近年におけるＡＶ機器の発展に伴い、一つの動画データを様々な規模の装置において再生することが一般に行われるようになった。すなわち、従来であれば、家庭用テレビのみを対象とした放送用の動画について、携帯機器でも再生することが行われている。しかし、家庭用テレビと携帯機器とでは、再生のための能力が異なっており、特に携帯機器においては、動画の容量に関する制限が強い。そのため、携帯機器において再生する動画は、より高圧縮率の符号化方式により符号化されていることが好ましい。このように、再生装置によって、動画の好ましい符号化方式が異なるため、符号化方式間の相互変換を行う技術が強く求められている。

ただし、テレビ用の動画は、３−２プルダウン処理等により、原データに重複している画像が挿入されている場合がある。これを利用して符号化方式間の相互変換の効率を向上させるための技術として特許文献１に記載の技術がある。

特許文献１には、第１の画像圧縮情報に含まれるフラグにより復号時に所定の挿入パターンで繰り返しフィールドが挿入される画像情報復号装置からの画像データを第２の画像圧縮情報に変換する画像情報変換装置において、上記第１の画像圧縮情報の復号時に上記繰り返しフィールドを挿入せず、上記繰り返しフィールドを除いた隣接するフィールドからフレームを形成するフォーマット変換手段を備え、上記フレームに基づいて上記第２の画像圧縮情報に変換することが記載されている。
特開２００３−１８５９６号公報（平成１５年１月１７日公開）

しかしながら、特許文献１に記載の方法は、フラグにより復号時に所定の挿入パターンで繰り返しフィールドが挿入される画像情報復号装置からの画像データにしか適用し得ない。そして、繰り返しフィールドが既に挿入されている画像について、該繰り返しフィールドを除去して、上記繰り返しフィールドを除いた隣接するフィールドからフレームを形成した場合、元データに基づかないフィールドの組換えがなされるので、生成される画像にゆがみが生じる。

本発明は、上記課題に鑑みてなされたものであり、繰り返しフィールドが既に挿入されている画像について、ゆがみを生じさせることなく、効率よく符号化方式間の相互変換を行う技術を提供することを目的とする。

（画像再符号化装置）
本発明に係る画像再符号化装置は、上記課題を解決するために、符号化された画像を再符号化する画像再符号化装置であって、該符号化された画像において、候補パターンに従って重複が発生しているか否かを判定して、該符号化された画像に含まれる重複画像を検出する重複画像検出手段と、検出された重複画像に含まれる画像のうち、少なくとも一の画像を、該重複画像に含まれる他の画像を参照画像として符号化する、画像符号化手段とを備えていることを特徴としている。

上記の構成によれば、画像再符号化装置は、まず、例えばＭＰＥＧ２等の符号化方式により符号化された画像を復号する。このとき、元データが３−２プルダウン処理されているものである場合、またはアニメーション画像であった場合等、重複画像が含まれている場合がある。ここで、上記画像再符号化装置には、上記３−２プルダウン処理された画像、アニメーション画像等において発生すべき重複画像のパターンが候補パターンとして予め入力されており、上記画像再符号化装置は、符号化された画像に発生している画像の重複が、該候補パターンに従っているか否かを判定する。これにより、負荷の掛かる処理を行うことなく符号化された画像における重複画像を検出し得る。そして、上記画像再符号化装置は、検出された一の重複画像を符号化する際、他の重複画像を参照画像として特定する。通常、参照画像を定める際には、動きベクトル探索等の複雑な処理が必要であるが、これを省くことができるので、再符号化処理における負荷を低減させることができる。

上記画像再符号化装置では、上記画像符号化手段が、上記一の画像を、上記他の画像と同一の画像として符号化することが好ましい。

上述したように、上記一の画像と、上記他の画像とは重複画像であるので、同一の画像として符号化することにより、符号化におけるゆがみを低減することができる。また、同一の画像として符号化するので、動きベクトルまたは差分等を検出する処理が必要でなく、再符号化の処理をさらに低減させることができる。

上記画像再符号化装置では、上記画像符号化手段が、上記一の画像を、上記他の画像との間の差分が０である画像として符号化するものであってもよい。

上記の構成によれば、差分を０として符号化するので差分を計算する処理が必要なく、さらに、符号量を低減させることができる。

上記画像再符号化装置では、上記画像符号化手段が、上記一の画像を、上記他の画像に対し、動きベクトルが０である画像として符号化するものであってもよい。

上記の構成によれば、動きベクトルおよび差分を０として符号化するので動きベクトルおよび差分を計算する処理が必要なく、さらに、符号量を低減させることができる。

上記画像再符号化装置では、上記画像符号化手段が、上記重複画像に画面内符号化画像が含まれていた場合、該重複画像に含まれる画像のうち少なくとも一の画像を、該画面内符号化画像を参照画像として符号化することが好ましい。

上記の構成によれば、上記一の画像を、上記画面内符号化画像を参照画像として符号化し得る。ここで、画面内符号化画像は、一般にゆがみが少なくなるように符号化されており、画面内符号化画像を参照画像とすることにより、上記一の画像のゆがみを低減させることができる。

上記画像再符号化装置では、上記画像符号化手段が、上記重複画像に画面内符号化画像が含まれていない場合、該重複画像に含まれる画像のうち少なくとも一の画像を、符号化順序が最先の画像を参照画像として符号化するものであってもよい。

上記の構成によれば、上記一の画像を、符号化順序が最先の画像を参照画像として符号化し得る。したがって、先に符号化される画像が参照画像となるので、簡便に符号化および復号させることができる。

（画像再符号化方法）
本発明に係る画像再符号化方法では、符号化された画像を復号する復号工程と、復号された画像において重複している画像を検出する重複画像検出工程と、検出された重複画像のうち、少なくとも１の画像を、他の重複画像を参照画像として符号化する画像符号化工程とを包含することを特徴としている。

上記の構成によれば、本発明に係る画像再符号化装置を使用した場合と、同様の効果を奏することができる。

本発明によれば、通常は動きベクトル探索等の負荷が高い処理が必要である符号化における参照画像の選択を、画像の重複を検出することにより行うことができるので、符号化データの再符号化の際の処理の負荷を低減させることができる。

本発明の画像再符号化装置の一実施形態について、図１〜２に基づいて説明すれば以下の通りである。なお、用語「画像再符号化装置」は、特定の符号化方式を用いて画像を符号化して得られたデータ（以降、符号化データと称する）を、他の符号化方式を用いて画像を符号化して得られるデータ（以降、再符号化データと称する）に変換（再符号化）するための装置が意図される。

図１は、本実施形態に係る画像再符号化装置１の要部構成を示すブロック図である。図１に示すように、画像再符号化装置１は、復号処理部１０、画像重複発生パターン検出部１１、画像重複パターンとピクチャタイプ並び順の対応付け部１２、符号化手法選択部１３、符号化処理部１４、ならびに、画像バッファおよびバッファ管理部１５を備えている。

（符号化データ）
符号化データは、ＭＰＥＧ２等の公知の符号化方式を用いて画像を符号化して得られるものであればよい。以下では、各画像の表示順序、およびピクチャタイプに関する情報を含んでいる一般的な符号化データを用いた場合について説明するが、本発明に適用できる符号化データはこれに限られない。例えば、表示順序に従ってデータが格納されている場合、および、すべてのピクチャタイプが同一である場合には、それぞれの情報を直接含んでいない符号化データであっても本発明に係る画像再符号化装置により再符号化し得ることを当業者は容易に理解する。すなわち、実質的に上記情報を取得し得る符号化データであれば、本発明に適用し得る。

また、後述するように、３−２プルダウン処理された画像およびアニメーション画像のように周期的に重複画像が含まれている符号化データは、本発明に好適に適用することができる。

なお、用語「表示順序」とは、符号化データにおいて、復号した各画像を表示するための順序が意図される。これは一般に、符号化する前の画像における各画像の順序に一致する。

また、用語「ピクチャタイプ」とは、符号化された画像が、画面内予測に基づいて符号化された画像（Ｉピクチャ）であるか、符号化順序が前の画像のみを参照画像として用いた画面間予測に基づいて符号化された画像（Ｐピクチャ）であるか、または、符号化順序が後の画像についても参照画像として用いた画面間予測に基づいて符号化された画像（Ｂピクチャ）であるかを示す分類が意図される。

（復号処理）
復号処理部１０は、符号化データを復号して、画像を画像バッファおよびバッファ管理部１５に出力する。その際、復号した各画像についての、符号化順序、表示順序、およびピクチャタイプの情報を画像再符号化装置１の他の構成要素が参照できるようにする。なお、用語「符号化順序」とは、各画像についての情報の、符号化データ中における順序が意図される。

上記情報を画像再符号化装置１の他の構成要素が参照できるようにするためには、例えば、復号処理部１０が、各画像について、符号化順序、表示順序、およびピクチャタイプを画像バッファおよびバッファ管理部１５に出力し、画像バッファおよびバッファ管理部１５が上記情報を各画像に関連付けて管理してもよい。「情報を関連付けて管理する」とは、各情報およびいずれの情報が関連付けられているかを保持することが意図され、これによって、画像再符号化装置１の構成要素に対し、関連付けられた複数の情報を連結して出力すること、該構成要素から特定の情報が入力された際に、該特定の情報に関連付けられた他の情報を該構成要素へと出力すること等を可能にするものである。一つの局面において、画像バッファおよびバッファ管理部１５は、内部的に使用する番号を、関連付けられたすべての情報に付すことによって、情報を関連付けて管理し得る。

また、復号処理部１０は、各画像および関連付けのための情報を、画像バッファおよびバッファ管理部１５に出力し、その他の情報については、復号処理部１０自身が保持したままでもよい。この場合、画像再符号化装置１の他の構成要素は、上記関連付けのための情報を復号処理部１０へと出力し、これに応じて、復号処理部１０が該他の構成要素へ関連付けられた情報を出力することによって、上記情報を該他の構成要素が参照できるようにさせる。上記関連付けのための情報としては、表示順序そのものを用いてもよいが、これに限られず、画像を特定し得る情報であればよい。

復号処理部１０における復号のための機構は、上記符号化データの符号化方式に応じて公知技術より適宜選択すればよいことを当業者は容易に理解する。一つの局面において、復号処理部１０は、各画像について表示順序およびピクチャタイプを検出した上で、該ピクチャタイプに応じて各画像を復号する。上述したように符号化順序は、符号化データにおける各画像の順序であり容易に検出可能であるので、復号処理部１０は、各画像について、符号化順序、表示順序、およびピクチャタイプを容易に出力し得る。

（画像重複発生パターンの検出）
画像重複発生パターン検出部１１は、画像バッファおよびバッファ管理部１５に保持された画像、ならびに該画像に関連付けられた表示順序に基づいて、画像の重複がどのようなパターンに従って発生しているのかを検出する。

画像の重複の発生パターンとしては、たとえば、事例１に後述する、３−２プルダウン処理された画像における５フレーム周期のパターン、および、事例２に後述する、アニメーション画像における５フレーム周期のパターン等がある（表１および２参照）。画像重複発生パターン検出部１１は、これらのパターンを候補パターンとして用いる。候補パターンの詳細については、後述する。

画像重複発生パターン検出部１１は、復号画像を表示順序に並べ、復号画像における画像の重複の発生パターンが、いずれの候補パターンに該当しているか、またはいずれの候補パターンにも該当していないかを判定する。判定は、候補パターンの一周期単位で行う。たとえば、事例１に記載の画像の重複の発生パターンを候補パターンとして用いる場合は、５フレームの復号画像について、該候補パターンに該当するか否かを判定する。事例１に記載の画像では、表１に示すように、２および３フレーム目のトップフィールド、ならびに、４および５フレーム目のボトムフィールドにおいて画像の重複が発生している。したがって、事例１に記載のパターンに該当するか否かの判定は、上記のフィールドが重複しているか否かを判定することにより行うことができる。

複数の画像が重複しているか否かの判定は、特に限られず、公知の手法を用いればよいが、たとえば、画像同士の輝度または色度等の差分をとり、差分が一定の閾値以下であるか否かを判定することにより行うことができる。

また、任意のフレームにおける復号画像における画像の重複が、特定の候補パターンに従って発生していた場合、続くフレームにおける復号画像も、同一の候補パターンに従って画像の重複が発生している可能性が高い。したがって、一つの局面において、画像重複発生パターン検出部１１は、任意のフレームから開始される復号画像が、特定のパターンに該当していることを検出したとき、続く復号画像では、該パターンの周期ごとに該パターンに該当するか否かのみを判定することにより、効率よく復号画像の重複画像の発生パターンを検出し得る。

候補パターンとしては、一定の法則に基づいて、画像の重複が発生するパターンを用いればよく、例えば、３−２プルダウン処理されたインターレス画像におけるパターン、および１２ｆｐｓのアニメーション画像を３０ｆｐｓに変換した場合の画像等、任意の画像の時間当たりの画像数を変換して得られた画像における画像の重複の発生パターンを好適に用い得る。

なお、画像重複発生パターン検出部１１は、復号画像がいずれの候補パターンにも該当しなかった場合、重複の発生はなしとする。

一つの局面において、画像重複発生パターン検出部１１は、表示順序に従って順次画像を画像バッファおよびバッファ管理部１５から取得し、候補パターンに該当するか否かを判定する。候補パターンのデータは、予め画像重複発生パターン検出部１１に入力されており、画像重複発生パターン検出部１１が自ら保持していることが好ましい。特定のフレームから開始される画像の重複の発生パターンが、特定の候補パターンに該当していた場合、重複がどの画像とどの画像との間において発生しているかを示す情報を示す信号を画像重複パターンとピクチャタイプ並び順の対応付け部１２へ出力する。そして、上記特定のフレームから上記該当した候補パターンの一周期後のフレームから、該周期毎に、該候補パターンに該当するか否かを判定する。上記特定のフレームから開始される画像の重複の発生パターンが、いずれの候補パターンにも該当していなかった場合、上記特定のフレームの次のフレームから開始される画像について、重複の発生パターンが、特定の候補パターンに該当するか否かを判定する。

画像重複発生パターン検出部１１から画像重複パターンとピクチャタイプ並び順の対応付け部１２への出力は、一つの局面において、上記該当した候補パターンを特定する名前または識別子、およびその開始フレームを示す信号とすることができる。

（画像重複パターンとピクチャタイプ並び順の対応付け）
画像重複パターンとピクチャタイプ並び順の対応付け部１２は、画像重複発生パターン検出部１１から入力された信号、および画像バッファおよびバッファ管理部１５等から取得する各フレームに関連付けられたピクチャタイプの情報に基づいて、重複している画像に対しそれぞれのピクチャタイプを関連付けたデータを符号化手法選択部１３に出力する。

一つの局面において、画像重複発生パターン検出部１１から入力された信号は、画像の重複の発生パターンを特定する名前または識別子、およびその開始フレームを示す信号であり、画像重複パターンとピクチャタイプ並び順の対応付け部１２に予め入力された各候補パターンの情報に基づき、いずれのフレームに重複画像が存在しているかを算出する。

重複画像が存在している各フレームについて、画像バッファおよびバッファ管理部１５から、該フレームの表示順序に関連付けられたピクチャタイプを取得し、重複している画像に対し、それぞれのピクチャタイプをセットにして符号化手法選択部１３に出力する。

（符号化手法の選択）
符号化手法選択部１３は、画像重複パターンとピクチャタイプ並び順の対応付け部１２から入力された、重複している画像に対しそれぞれのピクチャタイプを関連付けたデータに基づいて、該重複している画像の各画像を符号化する際の参照画像を選択する。

まず、符号化手法選択部１３は、画像重複パターンとピクチャタイプ並び順の対応付け部１２からの入力に基づき、復号画像において、重複している画像およびそれぞれのピクチャタイプの情報を示す重複画像テーブルを作成する。上記重複画像テーブルは、符号化手法選択部１３が保持していてもよく、画像バッファおよびバッファ管理部１５等のその他の部材によって保持されていてもよい。画像バッファおよびバッファ管理部１５によって画像重複テーブルが保持されている場合、上述した各画像の符号化順序、表示順序、ピクチャタイプ等の情報と関連付けられて保持されていることが好ましい。また、一つの局面において、重複画像テーブルは、表２〜４および９〜１１に示すような形式である。示すように、同一の記号を付すことによって画像が重複していることを示している。

用語「参照画像」とは、特定の画像が画面間予測に基づいて符号化されている場合に、該画像を復号する際に必要となる画像が意図される。具体的には、例えば、上記特定の画像が、差分または差分および動きベクトルによって符号化されている場合、該差分の元になる画像が意図される。

次に、符号化手法選択部１３は、重複画像テーブルに基づいて、各画像の参照画像を選択し、重複画像テーブルに追加する。この追加する部分を参照画像テーブルと称する。参照画像テーブルは、符号化処理部１４が参照できるように保持されている必要がある。また、参照画像の選択の際、画像バッファおよびバッファ管理部１５から取得した各画像の符号化順序を用いてもよい。詳細を図２に基づいて以下に説明する。

図２は、本発明に係る参照画像選択の手順を説明するフローチャートである。図２に示すように、上記手順はＳ１〜Ｓ１５のステップからなる。

符号化手法選択部１３は、参照画像の選択の開始（Ｓ１）後、まず、重複パターンテーブル内を検索し（Ｓ２）、重複している画像を検出する（Ｓ３）。重複画像テーブルが、表２〜４および９〜１１に示すような形式である場合、符号化手法選択部１３は、重複画像テーブル内において同一の記号を検索することにより検出し得る。

次に、符号化手法選択部１３は、重複している画像に含まれる各画像に、関連付けられたピクチャタイプがＩピクチャである画像（Ｉピクチャ重複画像）が存在しているか否かを検出する（Ｓ４）。Ｉピクチャ重複画像が存在していた場合、符号化手法選択部１３は、Ｉピクチャ重複画像以外の重複している画像に含まれる画像の参照画像を、Ｉピクチャ重複画像として、参照画像テーブルに記録する（Ｓ５）。これにより、再符号化におけるゆがみを低減することができる。すなわち、再符号化対象の符号化データにおいて、画面内符号化が行われていた画像（Ｉピクチャ）は、もともとの符号化データにおいても非参照画像として用いられており、一般に、ゆがみが少なくなるように（原画像に忠実になるように）符号化されている。これは、被参照画像にゆがみが存在すると、該画像を参照する画像もゆがんでしまうため、これを避けるためである。したがって、Ｉピクチャ重複画像を参照画像とすることにより、再符号化においても、被参照画像のゆがみを低減し、ひいては該画像を参照する画像のゆがみを低減させることができる。

なお、Ｉピクチャ重複画像の参照元は、ステップＳ５において、Ｉピクチャ重複画像を参照先とした画像のうち、最も符号化が最後になされるものとしてもよい（Ｓ６）。ただし、必ずしも参照元を参照画像テーブルに記録する必要はなく、Ｉピクチャ重複画像が、被参照画像であることを示すフラグを記録すればよい。

Ｉピクチャ重複画像が存在していなかった場合、符号化手法選択部１３は、重複している画像に含まれる各画像に、関連付けられたピクチャタイプがＰピクチャである画像（Ｐピクチャ重複画像）が存在しているか否かを検出する（Ｓ７）。Ｐピクチャ重複画像が存在していた場合、符号化手法選択部１３は、Ｐピクチャ重複画像以外の重複している画像に含まれる画像の参照画像を、Ｐピクチャ重複画像として、参照画像テーブルに記録する（Ｓ８）。もし、Ｐピクチャ重複画像が複数であった場合、画像バッファおよびバッファ管理部１５から各Ｐピクチャ重複画像の符号化順序を取得し、符号化順序が先頭であるＰピクチャ重複画像を被参照画像とする。Ｐピクチャは、Ｉピクチャと同様に、もともとの符号化データにおいても非参照画像として用いられ得、一般に、ゆがみが少なくなるように（原画像に忠実になるように）符号化されているので、上述のＩピクチャ重複画像を参照画像とした場合と同様に、ゆがみを低減し得る。

なお、Ｉピクチャ重複画像と同様に、Ｐピクチャ重複画像の参照元は、ステップＳ８において、Ｐピクチャ重複画像を参照先とした画像のうち、最も符号化が最後になされるものとしてもよい（Ｓ９）。ただし、必ずしも参照元を参照画像テーブルに記録する必要はなく、Ｐピクチャ重複画像が、被参照画像であることを示すフラグを記録すればよい。

Ｉピクチャ重複画像およびＰピクチャ重複画像が存在していなかった場合、すなわち、重複画像がすべて関連付けられたピクチャタイプがＰピクチャである画像（Ｂピクチャ重複画像）であった場合、符号化手法選択部１３は、符号化処理部１４において用いられる符号化手法が、Ｂピクチャを被参照画像とし得るかを判定する（Ｓ１０）。

符号化処理部１４において用いられる符号化手法が、Ｂピクチャを被参照画像とし得る場合、符号化手法選択部１３は、各Ｂピクチャ重複画像の符号化順序を画像バッファおよびバッファ管理部１５から取得し、符号化順序が先頭であるＢピクチャ重複画像を被参照画像とする（Ｓ１１）。先に符号化される画像を参照画像とすることにより、復号処理の効率を向上させ得る。被参照画像となったＢピクチャ重複画像の参照元は、符号化順序が最後であるＢピクチャ参照画像とする（Ｓ１２）。ただし、必ずしも参照元を参照画像テーブルに記録する必要はなく、被参照画像であることを示すフラグが記録されていてもよい。

その後、符号化手法選択部１３は、再度、重複画像テーブルからの重複画像の検出処理に戻る（Ｓ１３）。ただし、一度検出した重複画像は再度検出しない。検出すべき重複画像が重複画像テーブルになくなった場合、重複画像テーブルにおいて、参照画像が設定されていない画像の参照画像を「参照なし」とし（Ｓ１４）、参照画像の選択を終了する（Ｓ１５）。

（符号化処理）
符号化処理部１４は、復号処理部１０によって復号された画像を、再符号化する。再符号化の方式は特に限定されなく、画面間予測符号化が可能な方式であればよい。当業者であれば、ＭＰＥＧ２、Ｈ．２６４等の画面間予測符号化が可能な符号化方式を容易に理解する。ただし、上述したように、Ｂピクチャを被参照画像とし得る符号化方法である場合、重複している画像が、符号化データにおいてＢピクチャとして符号化されている画像のみであった場合も、符号化手法選択部１３において参照画像を選択し得るので好ましい。また、後述するように、同一の画像を参照画像としたときに、効率よく符号化可能な手法（マクロブロックスキップ等）を用い得る符号化手法であれはより好ましい。

符号化処理部１４は、画像に関連付けられている参照画像テーブルを参照して、「参照なし」である画像については、従来技術と同様に、動きベクトル探索（ブロックマッチング法、勾配法等）を用いて参照画像を求める。

一方、参照画像が画像再符号化装置１により参照画像が既に選択されている画像については、参照画像が既に決定されているので、符号化処理部１４は、動きベクトル探索なしで参照画像を決定することができる。さらに、参照画像と符号化すべき画像とは同一の画像であるので、符号化すべき画像は、参照画像と同一の画像であるように符号化すればよい。したがって、参照画像との間の動きベクトル探索および差分の検出も必要ない。一般に処理が負担となる動きベクトル探索を省くことができるので、符号化処理部１４における再符号化処理の負荷を軽減し得る。

符号化処理部１４が重複画像の一の画像を参照画像として選択されている画像の符号化の手法としては、同一の画像として符号化されるものであれば特に限られず、例えば、動きベクトルが０ベクトルであり、差分も０であるとして符号化すればよい。動きベクトルが０ベクトルであり、差分も０であるとして符号化する具体的な手法としては、周知慣用の手法を用いればよく、例えば、符号化処理部１４は、符号化すべき画像を矩形領域（マクロブロック）に分割し、そのすべての矩形領域において、動きベクトルが０であるという情報、参照画像との差分が０であるという情報を示すように符号化すればよい。また、符号化処理部１４は、最初に符号化される矩形領域について、上記のように符号化した後、続いて符号化される矩形領域については、既に符号化された矩形領域と同じ処理内容であるということを示すように符号化してもよい（マクロブロックスキップ）。なお、動きベクトルを指定することは必要ではなく、符号化処理部１４は、単に参照画像との差分が０であることを示すように画像を符号化してもよい。

（画像バッファおよびバッファ管理）
画像バッファおよびバッファ管理部１５は、以下の制御を受け、画像データの保持、出力、または削除を行う。
・復号処理部１０による復号画像の読み出し要求、書き込み要求、および削除許可；
・画像重複発生パターン検出部１１による復号画像の読み出し要求；
・符号化手法選択部１３における復号画像の読み出し要求；ならびに
・符号化処理部１４における復号および再符号化画像の読み出し要求、書き込み要求、および削除許可。

なお、画像バッファおよびバッファ管理部１５は、復号処理部１０および符号化処理部１４からのそれぞれにおいて不要となった画像についての削除の許可を受けて、両処理部が許可した画像について削除する。

また、画像バッファおよびバッファ管理部１５は、単一の部材によって実現され得、かつ、複数の部材によっても実現され得ることを、当業者は容易に理解する。すなわち、復号処理部１０、画像重複発生パターン検出部１１、画像重複パターンとピクチャタイプ並び順の対応付け部１２、符号化手法選択部１３、符号化処理部１４等が、それぞれ独自の画像バッファおよびバッファ管理部１５を備えていてもよいし、これに代えて、または、これに加えて、複数の処理部によって共有されている画像バッファおよびバッファ管理部１５を備えていてもよい。

ここで、具体的な事例について、データがどのように処理されるのかを説明するが、本発明はこれらの事例によって何ら限定されない。

（事例１）
本事例では、符号化データとして、３−２プルダウン処理された画像が符号化されたものが用いられる。３−２プルダウン処理とは、２４ｆｐｓ（毎秒フレーム）素材を３０ｆｐｓに変換する処理であり、５フレーム周期で重複画像が特定の位置に挿入される。３−２プルダウン処理がなされた画像の１周期分のパターン（フレーム３から７まで）を表１に示す。なお、同一の画像は同じ記号で表記し、異なる画像は異なる記号として表記した。表１に示すように、フレーム５のトップフィールド、および、フレーム７のボトムフィールドに、それぞれフレーム４のトップフィールド、および、フレーム６のボトムフィールドを同一の画像が挿入され、画像の重複が発生している。

画像重複発生パターン検出部１１は、上記のような符号化データに対しては、以下のような出力を行う。

出力内容：
名前 ３−２プルダウン；
先頭（表示順） ３。

また、本事例において、ピクチャタイプは表示順にＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＰＢＢと並んでいるものとする。このとき、画像重複パターンとピクチャタイプ並び順の対応付け部１２が出力する重複している画像に対しそれぞれのピクチャタイプを関連付けたデータは、表２〜４のいずれか１つに示すものとなる。

表２〜４に示す重複画像テーブルについて、参照画像を上記の手法により選択し、参照画像テーブルを作成した場合、表２について表５、表３について表６、表４について表７のような結果となる。

（事例２）
本事例では、符号化データとして、１２ｆｐｓのアニメーションが３０ｆｐｓに変換された画像が符号化されたものが用いられる。表８に上記アニメーション画像のパターンを示す。上記アニメーション画像では、事例１と同様、５フレーム周期で重複画像が特定の位置に挿入され、画像の重複が発生している。

画像重複発生パターン検出部１１は、上記のような符号化データに対しては、以下のような出力を行う。

出力内容：
名前 アニメーション１；
先頭（表示順） ２。

また、本事例においても、事例１と同様、ピクチャタイプは表示順にＩＢＢＰＢＢＰＢＢＰＢＢＰＢＢＰＢＢと並んでいるものとする。このとき、画像重複パターンとピクチャタイプ並び順の対応付け部１２が出力する重複している画像に対しそれぞれのピクチャタイプを関連付けたデータは、表９〜１１のいずれか１つに示すものとなる。

表９〜１１に示す重複画像テーブルについて、参照画像を上記の手法により選択し、参照画像テーブルを作成した場合、表９について表１２、表１０について表１３、表１１について表１４のような結果となる。

最後に、画像再符号化装置１の各ブロック、特に復号処理部１０、画像重複発生パターン検出部１１、画像重複パターンとピクチャタイプ並び順の対応付け部１２、符号化手法選択部１３、符号化処理部１４、および画像バッファおよびバッファ管理部１５は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。

すなわち、再符号化装置１は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである再符号化装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記再符号化装置１に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

また、再符号化装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモートコントロール装置のような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明はまた、以下のように表すこともできる。

（第１の構成）
ある画像に対して特定のパターンでフィールドまたはフレームを繰り返し挿入して得られる画像を、繰り返し情報なしに画像圧縮符号化したデータに対し、
復号時の内部処理情報を復号処理の外部から参照可能とする復号手段と、
前記符号化データの復号画像からフィールドもしくはフレーム繰り返しの挿入によって生じるフィールドもしくはフレームの重複パターンを検出する手段と、
前記画像圧縮符号化において各フレームまたはフィールドが、画面内符号化または画面間順方向予測符号化または画面間双方向予測符号化によって符号化された事を示すピクチャタイプの並び順を検出する手段と、
前記フィールドまたはフレーム重複パターンと前記ピクチャタイプの並び順を対応付ける手段と、
前記対応付けの結果に基づいて、重複フィールドまたはフレームのうち画面間予測により符号化されていたものについては重複している他方のフィールドまたはフレームをそのフィールドまたはフレームの参照画像として選択し、重複していないフィールドまたはフレームのうち画面間予測により符号化されていたものについては動きベクトル探索などにより参照画像を選択する手段と、
前記参照画像選択の結果、重複フィールドまたはフレームのうち被参照画像とはならなかったフィールドまたはフレームの符号化において、符号化対象となる画素または領域と参照画像上の同じ位置の画素または領域とが同一の画素値または画像となるよう符号化手法を選択する手段と、
前記参照画像選択結果および前記符号化手法選択結果に基づいて復号画像を再符号化することを特徴とする画像再符号化装置。

（第２の構成）
上記第１の構成に記載の画像再符号化装置における参照画像の選択手段において、重複フィールドまたはフレームが全て画面間双方向予測符号化が行われていた場合には、先に符号化されていたフィールドまたはフレームを優先的に後のフィールドまたはフレームの参照画像として選択することを特徴とする画像再符号化装置。

（第３の構成）
上記第１の構成に記載の画像再符号化装置における参照画像の選択手段において、重複フィールドまたはフレームで画面内符号化が行われていたフィールドまたはフレームがあれば、そのフィールドまたはフレームを優先的に被参照画像として選択することを特徴とする画像再符号化装置。

（第４の構成）
上記第１の構成に記載の画像再符号化装置における符号化手法の選択において、符号化対象となる画素または領域について参照画像に対して動きがなく参照画像との差分がないものとする符号化手法を選択することを特徴とする画像再符号化装置。

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

本発明を用いれば、画像の再符号化の負荷を軽減し得るので、画像処理分野において有用である。特に、テレビ等の据え置き機器用に符号化されたデータを、携帯電話等の携帯機器用に再符号化する場合に好適に用いることができる。

本発明の一実施形態に係る要部構成を示すブロック図である。 本発明の一実施形態に係る処理の流れを示すフローチャートである。

符号の説明

１ 画像再符号化装置
１０ 復号処理部
１１ 画像重複発生パターン検出部
１２ 画像重複パターンとピクチャタイプ並び順の対応付け部
１３ 符号化手法選択部
１４ 符号化処理部
１５ 画像バッファおよびバッファ管理部

Claims (7)

1. 符号化データを再符号化する画像再符号化装置であって、
   該符号化データを復号して復号画像を生成するとともに、該復号画像の各々に該符号化データにおけるピクチャタイプを関連付ける復号手段と、
   該復号手段が生成した該復号画像において、候補パターンに従って重複が発生しているか否かを判定して、重複画像を検出する重複画像検出手段と、
   該復号手段が生成した該復号画像を符号化する符号化手段と、を備えており、
   該符号化手段は、
   該重複画像検出手段が重複画像を検出した場合、
   検出された該重複画像を、当該重複画像の各々に関連付けられたピクチャタイプに従って符号化し、その際、該重複画像に含まれる画像のうち、少なくとも一つの画像を符号化するときの参照画像を、該重複画像の中から、当該重複画像の各々に関連付けられたピクチャタイプに基づいて選択することを特徴とする画像再符号化装置。
2. 上記符号化手段は、
   上記重複画像に、上記ピクチャタイプとしてＩピクチャが関連付けられている第１の種類の画像が含まれていた場合、
   該第１の種類の画像をＩピクチャとして符号化するとともに、該重複画像に含まれる、該第１の種類の画像以外の画像を、該第１の種類の画像を参照画像として、当該参照画像と同一の画像として符号化することを特徴とする請求項１に記載の画像再符号化装置。
3. 上記符号化手段は、
   上記重複画像に、上記ピクチャタイプとしてＩピクチャが関連付けられている第１の種類の画像が含まれておらず、上記ピクチャタイプとしてＰピクチャが関連付けられている第２の種類の画像が含まれていた場合、
   該第２の種類の画像のうち符号化順序が最先の画像をＰピクチャとして符号化するとともに、該重複画像に含まれる、該最先の画像以外の画像を、該最先の画像を参照画像として、当該参照画像と同一の画像として符号化することを特徴とする請求項１または２に記載の画像再符号化装置。
4. 上記符号化手段は、
   上記重複画像に、上記ピクチャタイプとしてＩピクチャが関連付けられている第１の種類の画像、および、上記ピクチャタイプとしてＰピクチャが関連付けられている第２の種類の画像が含まれていない場合、
   該重複画像のうち符号化順序が最先の画像をＢピクチャとして符号化するとともに、該重複画像に含まれる、該最先の画像以外の画像を、該最先の画像を参照画像として、当該参照画像と同一の画像として符号化することを特徴とする請求項１〜３の何れか１項に記載の画像再符号化装置。
5. 上記符号化手段は、
   上記重複画像に含まれる任意の画像を、参照画像と同一の画像として符号化するとき、
   該任意の画像と、該参照画像との間の差分値を全て０として符号化することを特徴とする請求項１〜４の何れか１項に記載の画像再符号化装置。
6. 上記符号化手段は、
   上記重複画像に含まれる任意の画像を、参照画像と同一の画像として符号化するとき、
   該参照画像に対する該任意の画像の動き量を０として符号化することを特徴とする請求項１〜４の何れか１項に記載の画像再符号化装置。
7. 符号化データを再符号化する画像再符号化方法であって、
   該符号化データを復号して復号画像を生成するとともに、該復号画像の各々に該符号化データにおけるピクチャタイプを関連付ける復号工程と、
   該復号工程において生成した該復号画像において、候補パターンに従って重複が発生しているか否かを判定して、重複画像を検出する重複画像検出工程と、
   該復号工程において生成した該復号画像を符号化する符号化工程と、を含んでおり、
   該符号化工程では、
   該重複画像検出工程において重複画像を検出した場合、
   検出された該重複画像を、当該重複画像の各々に関連付けられたピクチャタイプに従って符号化し、その際、該重複画像に含まれる画像のうち、少なくとも一つの画像を符号化するときの参照画像を、該重複画像の中から、当該重複画像の各々に関連付けられたピクチャタイプに基づいて選択することを特徴とする画像再符号化方法。

Images